制造假新闻和随心所欲现在很流行。尤其是今天的政治讨论，经常因为涉及一些几乎没有试图(或根本没有试图)提供支持性证据的断言而登上头条。但企业界缺乏证据也是一个严重的问题。
CPDA数据分析师对于这一方面问题，有着自己的理解：
事实上，尽管日常业务讨论并不是媒体消费的主要内容，但管理者经常会发布或接受缺乏事实依据的说法。早在美国白宫的媒体经理普及“另类事实”一词之前，他们就已经这么做了。正如托马斯·达文波特(Thomas Davenport)在2009年《哈佛商业评论》(HBR)的一篇文章中所指出的那样，企业决策者在“摆弄产品、尝试分配方法、改变工作完成方式时，通常只是根据直觉或表面上的常识行事”，往往忽视了对事实的需求。
更糟糕的是，许多商业赌注和猜测都被“用科学的语言包裹起来，造成了一种证据的错觉”。
正如达文波特所指出的，一些重大战略决策必须在没有完美证据的情况下做出，因为并非所有对公司运营方式的巨大改变都能得到检验。但除非他们有通灵的能力，否则在没有证据支持这些说法的情况下，大谈“免运费将充分促进销售，以弥补成本”或“重新设计的产品包装将大幅增加销售”等言论，要么是过于自信，要么是愚蠢的。
严格的调查收集证据来支持公司的主张一直很重要，但有效的证据收集的情况从来没有像今天这样大，因为即兴发挥的流行。知道自己在做什么往往更有利可图。
不幸的是，虽然组织通常定期收集的数据可能是有用的，但往往不足以正确回答许多相关问题。换句话说，所需要的证据通常还没有准备好进行分析。它通常需要通过现实世界的实验来开发。
让我们假设你刚刚完成了一款重新设计的产品一年的销售。销售额同比增长2%，就能证明重新设计奏效吗?如果一款没有经过重新设计的类似产品的销量增长了1.8%呢?或者，如果在没有重新设计产品的情况下，销售额每年增长1.5%是典型情况，又该怎么办?与同类产品的增加相比，重新设计可能造成了0.2%的差异;或者，与典型的年销售额增幅相比，增幅为0.5%;或者全部2%的涨幅;或者可能没有任何增长。分析历史数据是有用的，但这些数据究竟说明了什么?
数据可以表明最终结果，但通常需要更深入地挖掘。我们需要知道一个行为(例如，产品重新设计)是否在结果中引起了足够的变化，以确保如果没有它，结果会有有意义的不同。为了自信地理解我们行为的影响，我们必须解决三个关键问题:行为和结果之间的关系有意义吗?如果什么都不做会发生什么?这一结果纯属偶然吗?
在评估医疗治疗时，医学研究人员使用随机对照试验，这是实验的黄金标准，每个测试参与者被随机分配到一种条件下。这让他们更好地理解什么是真正重要的事情。本文探讨了企业如何做同样的事情。即使一个完美的实验无法进行，也有办法利用证据获取技术来更好地理解。为了帮助您更好地为自己的企业进行测试，我们还将解决另外三个问题:如果您无法在实验室进行随机对照试验怎么办?哪些组织应该进行测试?您应该如何进行测试?
行动与结果之间的关系
一个著名的格言说，相关性并不意味着因果关系。(相关性是两个事物一起运动的统计关系。例如，身高和体重正相关;在其他条件相同的情况下，个子高的人往往比个子矮的人重。)相关性和因果关系之间的区别对业务经理来说非常重要。如果宠物食品的销量随着某一特定地区幼儿数量的增加而增加，宠物食品企业是否应该在广告中针对幼儿?这似乎不明智。在一个不断发展的城市中，幼儿和宠物的数量可能会增加。幼儿和宠物食品销售之间并没有直接的因果关系。
管理者感兴趣的是他们的行为直接造成的影响。在一周的销售额增加后，经理可能想知道是否是特定的促销“导致”了销售。毕竟，如果你不知道是什么导致了结果——无论是积极的还是消极的——你就无法有效地重复成功或避免失败。
假设某种相关性意味着一种因果关系，可能会导致从有趣到灾难性的错误。严重的社会问题是由于将因果关系误认为相关性而产生的偏见造成的。哈佛法学院学生泰勒·维根(Tyler Vigen)编制了一个充满虚假相关性的网站(这种相关性不是直接因果关系的结果)。例如，维根表明，马苏里拉奶酪的消费量与土木工程博士学位之间存在显著的高度相关性。然而，在卡夫着手资助工程学院之前，我们应该注意到，没有理由认为一个会导致另一个。吃马苏里拉奶酪对工程计算没有帮助，学习工程也不会让你对奶酪产生兴趣。在这种情况下，缺乏因果关系是显而易见的，但如果不仔细考虑，管理者可能会得出同样虚假的结论，尽管是在不那么可笑的主题上。
在大数据的世界里，混淆相关性和因果关系的可能性只会变得更大。大量的数据和计算能力使公司能够广泛地挖掘数据。如果你挖掘了足够多的数据，你会发现大量的相关性，其中许多将是纯粹的虚假。解决办法是在寻找之前明确你希望看到什么。创建一个真实世界的实验，迫使经理在任何行动之前明确要测试什么。这种方法有助于业务经理对结果的意义产生信心。当你提前预测时，你的结果比你事后简单地解释结果更有说服力。
CPDA数据分析师建议:提前说明你希望找到什么。在考试前预测结果——特别是如果你是正确的——比事后编造一个故事来符合数据要令人印象深刻得多。
如果什么都没做呢?
历史数据告诉我们发生了什么，但它没有告诉我们如果不采取某种行动会发生什么。
仅凭历史数据是不够的。只有将采取某种行动的结果与不采取行动的基线进行比较，才能发现证据的影响。随机对照试验，即受试者被分配到一个对照或测试条件下，试图通过生成一个基线场景(对照)来解决这个问题。基线情景不会受到正在考虑的行动的影响。例如，在测试一个新的网站设计是否会促进销售时，营销人员可以通过将旧版网站展示给一个测试组，将新版网站展示给另一个测试组来建立控制。这种测试在网上很常见，而且非常有效。在线广告适合这种类型的研究，因为不同的网站访问者可以看到不同版本的广告，这使得比较广告效果变得很容易。
为了建立有效的比较，控制组和测试组由相似类型的人或测试对象组成是至关重要的。例如，让一组所有男性看一个广告，而让一组所有女性看另一个广告，这是毫无意义的。同样，这两个群体也不应该来自不同的地区。毕竟，当群体在一开始就不同时，在看到广告后很难确定任何差异的原因。是什么导致了这种差异:人的性别、人的地理位置、广告的具体内容，还是一些综合因素?
不同组之间的结果差异很容易发现，但如果不进行检测，则很难确定原因。在线测试通常是有效的，因为测试可以非常容易和随机地进行-一个网页的一个版本显示给试验组，另一个版本显示给对照组，以建立一个基线版本。大量的游客来自不同的地方，完全随机分配，提供了很大的可能性，有两个相似的群体。随机分配(受试者以完全随机的方式接受不同版本的测试)确保了两组在性别、地点、年龄和其他各种潜在相关因素方面具有相对可比性。如果在两个广告显示之前，两组人是相似的，那么结果的原因可以更安全地归结为广告。
CPDA数据分析专家建议:如果人们是随机选择的，那么两组人——一组接受行动，另一组没有接受行动——很可能是由相似的人组成的，这让人相信结果是由于行动造成的。
机遇起了什么作用?
销售额每天都在波动。如果我们在每一个微小的变化中寻找意义，我们最终会陷入无数毫无意义的死胡同，并在没有原因的地方分配原因。这就是统计复杂性的来源。然而，值得庆幸的是，运行随机对照试验可以将数学计算简化到Microsoft Excel的熟练程度，尽管也有用于更大或更复杂数据集的广泛专业软件可用。
统计测试允许我们比较看到特定操作(例如新广告)的客户与看到对照(例如旧广告)的客户之间的特定结果(例如销售数量)的分布情况。数据的可变性，加上一些标准假设，使我们能够估计我们观察到的任何差异仅仅是由于偶然的可能性。如果差异很小，很可能是偶然造成的，我们可以得出结论，我们的行为没有影响。然而，如果这种差异太明显，而不是由正常的数据波动引起的，我们可以得出结论，我们的行动产生了影响。
最简单的统计检验，通常足以有效地评估随机对照试验，是t检验(因其使用t分布而得名，类似于钟形曲线)。t检验可以检查两组数据，比如那些看到广告A或广告B的人的消费，并评估该群体消费模式相似的可能性，不管他们看的是哪个广告，忽略微小的概率变化。
但是我们如何衡量可能性呢?最广泛使用的显著性水平(假设是正确的，在不存在关系的情况下错误地声称存在关系的几率)是5%。尽管意义不大，但这一惯例可能有用，因为它被广泛接受，但如果有理由，它可以改变。较高的值被认为更自由，较低的值被认为更严格——企业经理应该根据错误后果的严重程度调整显著性水平。
要在运行测试之前确定适当的显著性水平，请问自己，“如果我们错误地得出测试成功的结论，会发生什么?”如果此错误的负面后果相对较小，例如利润的微小差异，则可能需要不那么严格的证明。如果一个错误的后果非常严重，关系到你企业的未来，你需要使用1%甚至0.1%的严格显著性水平。当然，进行多个实验可以降低出错的几率，这也是医学试验需要多个阶段测试的原因之一。
CPDA数据分析专家建议:通过使用简单的统计测试(如t检验)来确定结果是否显著，并在运行测试之前指定所需的显著性水平。
如果你不能进行随机实验室试验怎么办?
学者们喜欢实验室测试。这是有原因的。实验室使测试人员能够消除外来影响的影响。在实验室之外，甚至天气也会影响销售并混淆结果——想想由于下雨而导致的雨伞销售或热浪期间的泳衣销售。(有些人可能会说，特朗普总统的就职典礼上勤率低是因为有小雨的威胁。)
你可能想测试一下新的销售点展示对销售的影响。这可以在实验室里的商店模型中进行清晰的测试。然而，尽管我们可以从实验室实验中学到一些东西，但它们从来没有完全捕捉到现实世界的影响。例如，重要的是要知道当消费者在正常情况下看到广告时会发生什么，而不是当他们在实验室里对广告做出反应时。在复制不可预测的现实世界的同时，需要去除外来的影响，这对实验室实验来说是一个挑战。实验室实验的结果会反映现实世界的经验吗?
达到两全齐美的一种方法是使用现场实验——在现实世界中进行的实验，但尽可能去除许多混杂的影响。现场试验的价值是显而易见的。尽管比实验室测试更混乱，但现场实验激发了更大程度的信心，即结果将与业务相关，因为结果发生在日常情况中。一些现场实验的效果甚至可以与实验室实验相媲美，比如直接邮寄，它针对随机选择的消费者提供不同的服务
尽管实验可以实现高水平的控制，但在许多业务实例中，实验根本无法执行。例如，在特定位置的实体店无法使用实验来测试随机选择的客户的不同价格。在这种情况下，保持一个基线进行比较是很重要的。例如，在不同位置拥有门店的零售商可以在一个位置测试新设计的显示屏，而其他门店则使用传统显示屏。尽管这种方法并不完美，但考虑到显示尽可能具有可比性，以确保未经测试的差异不会导致销售结果的任何变化，这种方法是有用的。
例如，拥有Hardee 's和Carl 's Jr.的美国快餐集团CKE Restaurants在推出新产品时使用实地测试。该公司开发各种新产品创意，在内部完善选项，然后通过测量预先定义的指标，并使用测试组与对照组，在其门店中测试新产品。
按商店随机分配，而不是按顾客个人分配，绝不是理想的做法。如果两个商店彼此靠近，同一消费者最终可能同时访问测试商店和控制商店。其他不可控制的事件，如环境条件或道路工程，也可能影响一家商店的结果，而不是另一家。尽管如此，在商店之间进行测试仍然是有效的，这当然比根本不进行测试要好。如果随机选择的商店接受新设计包装的产品，经过适当的统计测试后，销售额明显高于旧包装的产品，则可以认为测试成功。
企业通常选择将测试与特定的基线进行比较，例如前一年的销售额，而不是随机选择的对照组。这可能是一种实用主义的妥协，但仍明显不如带有测试和控制的实验。年与年之间的差异可以归因于许多可能的原因。例如，在任何一年，由于当地主要雇主的关闭，销售额都可能下降。如果没有重新设计，其他因素会降低整体销量，那么新的包装设计可能非常有效，但只能将销量维持在前一年的水平。尽管不完美，但如果唯一可行的选择是不进行调查，我们不会阻止这种分析。
当实验不能使用正式的随机化的受试者，他们被称为准实验。这是一个违反随机分配条件的测试。当认识到局限性时，这些测试对于分析仍然是有用的，即使它们发生在业务控制之外。例如，一家汽车制造商可以通过比较省政府推出税收优惠政策的省份和没有这项优惠政策的省份的销量，来检验省政府对节能汽车销售的税收优惠政策的效果。
一般来说，一项试验与理想的随机对照试验偏离得越远，之后为弥补实验的缺陷所需要的统计分析就越复杂。在没有随机分配的情况下，我们必须修正使两组不可比较的因素。随机对照试验是黄金标准，但不要仅仅因为随机分配在你的行业中具有挑战性，就放弃尝试了解你的业务中发生了什么。
当你面对证据时，记住数据本身并不等于证据;如果没有基准(对照组)，你不知道如果你没有采取行动会发生什么。还要考虑到消费者往往对自己的决策知之甚少，而环境会改变他们的行为;调查本身的价值可能有限。一般来说，最好是对多种类型的证据进行三角测量。错误可以渗透到任何证据中，但如果证据来自不同的方法和来源，与单一方法相比，相同的错误在多种方法中出现的可能性更小。
记住，统计测试决定你的好结果是否可能是偶然发生的。但是，如果多次运行相同的测试，即使不太可能的结果也至少会出现一次。例如，你可能枪法不好，但经过多次尝试，你最终可能会把皱巴巴的纸放进回收筐里。
CPDA数据分析专家建议:小心挑选结果;如果您多次运行一个测试，不要只查看唯一的阳性结果并声称成功。
测试还是不测试?
传统上，企业对寻求正式证据持谨慎态度。但是，尽管在获取原因的证据方面存在许多障碍，但令人惊讶的是，范围广泛的组织能够有效地做到这一点。
Capital One等直销商一直走在测试的前沿。信用卡业务在控制良好的随机试验中使用大量个性化的优惠。在线营销人员也进行了广泛的测试，从慈善机构寻找最具吸引力的捐款请求，到亚马逊(Amazon)等零售商确定向客户提供的最佳价格。银行尝试提供不同的金融产品，政党测试他们的竞选材料，看看哪些有效，哪些无效。各种各样的组织一直在寻求了解他们在业务中所做的任何变化的影响。
高级业务策略仍然难以测试，但幸运的是，测试正变得比以往任何时候都更广泛地适用。近年来最有趣的发展之一是在世界各地广泛的政府机构中采用测试。英国的行为洞察小组是测试的早期支持者，经济合作与发展组织也在积极推进测试可以用来根据人们的行为制定政府政策的想法。加拿大枢密院办公室正在测试如何增加低收入家庭对政府教育激励的接受，并鼓励其他机构使用测试。加拿大税务局和加拿大就业和社会发展部已经开始测试，以帮助他们改善服务，造福服务用户和纳税人。安大略省(行为洞察单元)和不列颠哥伦比亚省(行为洞察小组)等省政府正在测试行为洞察，以改善他们为各自省级居民提供的服务。
CPDA数据分析专家建议:从Capital One到亚马逊，再到枢密院办公室，不同的组织已经确定他们可以从测试中受益——您的企业也可以。
如何进行测试?
实验就是承认你不一定知道最好的行动方案是什么，但你愿意去找出答案。高管们常常觉得有必要声称自己知道的比自己知道的多，这样才能显得自己大权在握，但当结果不如预期时，这就适得其反了。当管理者承认自己不具备通灵能力时，就会有更可靠的能力发挥出来。适当的测试可以深入了解原因，让公司从更明智的决策中受益。
成功收集证据的另一个因素是愿意犯错。当预测的准确性得到奖励时，测试很容易被操纵来证明管理者先前的信念是正确的。然而，在测试之前，不应该根据经理们的自信程度来评估他们，而应该根据他们学到了什么来评估。
拥抱实验意味着为了长期利益而接受短期的不便。杜克大学(Duke University)教授丹•艾瑞里(Dan Ariely)报告了管理者的担忧，即测试本质上意味着区别对待员工。经理们认为，当然所有的顾客都有权立即得到更好的服务。这种反测试逻辑的问题在于，它假定业务经理已经知道更好的方案是什么。但是没有测试，他们怎么能确定消费者想要什么呢?
试验用于确定新药的有效性，其中一组接受安慰剂，而不是新提出的医疗干预。这个过程可以让医生了解医疗干预是否真的有效。这样的测试被广泛认为是可以接受的，即使这意味着在试验中被分配到对照组的一些人没有服用可能救命的药物。与让具有潜在危险或至少无效的新药进入市场的风险相比，这被认为是更可取的。
在商业领域，同样，一项检测所能带来的长期利益超过了一些客户可能暂时得不到更好交易的短期风险。测试可以让组织了解为客户提供更好的交易是否可行。额外销售带来的利润能否弥补降价后单位利润率的下降?没有测试，答案是未知的。
在招聘时，企业最好雇佣一个鼓励测试的候选人，而不是一个声称不经过测试就知道答案的候选人。即使在今天的环境中，知道什么是更好的说法是正确的，但行业动态很可能会在没有任何警告的情况下发生变化，让候选人拥有过时的知识，除非他或她能够测试和学习新的环境。
CPDA数据分析师专家建议:能够认识到我们还不知道的东西，并通过测试来确定答案，这在整个职业生涯中都很有用。
测试远不是万能的，特别是在一些商业情况下，随机对照试验是一个挑战。然而，现在有许多机会可供业务经理进行测试。无论何时，只要你可以随机为你的客户提供什么，你就有可能更好地了解什么是最好的。
即使条件不完美，一个聪明的测试方法通常会提供关于建议的操作是否值得努力的见解。换句话说，说到做到，可以为你的组织节省资金，同时为客户改善结果。当然，你可以提出相反的观点，但不能拿出令人信服的证据来支持这一说法。