2011年，罗恩·约翰森辞去苹果高级副总裁一职，成为零售商杰西潘尼（J.C. Penney）的CEO。不久后，他的团队开展了大刀阔斧的改革，取消了优惠券和折扣专区，引入品牌专卖店，并用先进技术取代了店内所有收银员、收银机和收银台。但仅17个月后，杰西潘尼销售下滑、亏损严重，约翰森为此丢了工作，公司也恢复了原来的经营模式。
为何杰西潘尼会做出如此严重的误判？难道公司庞大的交易数据还不足以反映顾客的口味和偏好吗？
公司不会不清楚这点，但问题是，大数据反映的是顾客过去的行为习惯，并不能判断顾客对未来激进变化的反应。一旦涉及创新，大多数管理者都要在数据不足的情况下作出决策。因此，他们的决策通常依靠经验或直觉。但真正能重塑行业的创新思想，往往和高管们的经验以及传统观念相左。
然而，管理者可以通过精准测试，检验新产品或商业项目能否成功。比如，一家药物公司欲推出新药，必须先根据标准科学流程进行实验。（美国食品药品管理局（FDA）也要求进行大量临床实验）。很多公司在采纳新商业模式或推行新概念时也会先进行测试。如果杰西潘尼在CEO推行改革前，充分进行实验，公司或许能及时发现顾客并不喜欢他们要做的改变。
为什么在进行高风险改革和采用昂贵方案前进行实验的公司并不多？因为多数公司不愿在商业实验上投入成本，而且执行起来也很困难。尽管看似简单，但由于组织和技术上的重重挑战，实验流程操作起来异常艰难。这是我们依据40多年来实施和研究的商业实验所得出的结论，这些商业实践涉及公司包括美国银行、宝马、希尔顿酒店、卡夫食品、Petco宠物用品超市、史泰博文具、赛百味和沃尔玛。
通过网络这样的直接渠道进行标准的A/B对照测试，相对容易。例如，用一个世纪前发明的数学方法，就可以完成比较网页版本A和版本B的反应速度。但超过90％的消费行业具有更复杂的分销系统，比如门店网络、销售区域、银行分行、快餐连锁店等。要对此类环境下的商业实验进行分析很不容易。最重要的一点是，实验通常取样范围太小，无法得出有效结论。而一家大型网上零售商很容易就能随机挑选5万名消费者，并得到他们对某一实验产品的反馈。但哪怕是规模最大的实体零售店，也很难随机抽取5万家门店实验新的促销活动。对实体店而言，充其量只能在几十家门店实验，很难扩展到几千家。而且我们还发现，多数新的消费者项目实验远不够规范，没有按经过证实的科学和统计方法进行。高管因此将数据噪音错认为主因，错下结论。
理想的实验情况是，试验者将自变量（预设原因）和因变量（观察到的结果）分开，并保持其他因素恒定不变，然后通过改变自变量，来观察因变量发生的变化。然后通过仔细观察和分析，归纳出因果联系，将之在其他场合应用和测试。
为获得此类信息，并保证商业实验的成本和努力物有所值，公司需自问几个关键问题：此实验是否目的明确？利益相关方是否能保证按实验客观结果行事？实验可操作性如何？我们如何能保证其结果可靠？我们是否确保实验发挥最大效果？（详见“商业实验自检清单”）尽管这些问题看似寻常，但很多公司在进行实验时并没考虑周全。
