社会科学研究中最具挑战性的因素之一是，研究人员必须经常依赖来自人类的数据——而人是出了名的不可靠。疾控中心在2020年夏天发表的一份报告中称，4%的受访者报告自己为抵御新冠病毒而摄入了家用化学品，许多人对此感到震惊（可以理解）。研究人员复制了这项研究，增加了一些基本的质量控制措施，以消除不准确的数据，得出的结果大相径庭。在这篇文章中，笔者探讨了心不在焉或恶意捣乱的受访者会如何不经意或有意地歪曲数据，以及研究人员、记者和普通大众可以采取何种措施来识别这些问题，避免依据误导性信息仓促得出结论。
早在2020年夏天，美国疾病控制和预防中心(Centers for Disease Control and Prevention, CDC)就发布了一份关于美国新冠病毒不安全预防措施的报告。该报告称，502名受访者中有4%的人表示他们在前一个月喝过稀释的漂白剂或用其漱过口，4%的人表示用肥皂水做过同样的事，4%的人表示自己用家用消毒剂做过同样的事。这很快引发了许多骇人听闻的新闻标题（比如，路透社的一条新闻标题是“用漂白剂漱口？美国人滥用消毒剂来预防新冠病毒”）。
媒体的这种反应可以理解。虽然4%可能看似不多，但如果这一研究样本具有美国人口的代表性，这意味着约有1200万美国人有过这些危险行为——这确实是一个令人惊骇的数字。
不过，我们仍有理由质疑这一结论。首先，CDC的报告指出，仅对500名自愿加入的参与者进行的调查不一定能够代表美国人口（尽管CDC对调查回复进行了加权处理，使其与全国的年龄、性别和种族人口统计资料相符合，以便至少在某种程度上消除差异）。除了这些样本局限之外，旨在利用某种额外的质量控制来复制CDC的研究结果（目前正在进行同行评审）表明，数据本身可能存在一些严重缺陷。
具体而言，这项来自在线研究平台CloudResearch的新研究试图解决可能威胁到数据质量的两大问题：心不在焉（即，受访者不在乎或不专注）和恶意捣乱（即，受访者故意撒谎或误导研究者）。研究吸食成瘾毒品等相对罕见行为的心理学家早就知道这些挑战。比如，在1973年的一项吸毒研究中，研究人员发现，当他们在自己询问的毒品清单中列入了某种虚假毒品时，4%的受访者报告服用了一种不存在的药物，这表明数据可能并不完全可靠。
你或许已经注意到反复出现的4%这一数字。事实证明，这可能并非巧合。著名精神病学家和博主斯科特·西斯金德(Scott Siskind)早在2013年就为其创造了“蜥蜴人的常数”一词，其依据是一份广为人知的公共政策民调(Public Policy Polling)报告，在该报告中，4%的受访者表示，他们相信变形的蜥蜴人正在控制世界。这项民调在媒体上引起了很多关注，包括类似这样的标题：“阴谋热：为什么1200万美国人相信外星蜥蜴统治着我们。”但西斯金德和其他人认为，这4%的人更可能反映出受访者的心不在焉和恶意捣蛋，而不是真正相信这样一个稀奇古怪的阴谋。
就像蜥蜴人调查那样，CDC的报告引起了广泛关注，并且这些回复可能是合理的——也可能只是不良数据。
为了着手弄清此事的真相，第二项研究试图认定心不在焉及/或恶意捣乱是否可以解释CDC令人意外的发现。在问了与CDC调查相同的问题后，研究人员让参与者完成一个简短的词语联想练习（即，从列表中圈出不相关的单词）来测试他们的专注度。这些问题的设计之容易，只要专心一意，任何具备基本英语阅读水平的人都能答对。接下来，针对恶意捣乱的受访者，研究人员问的是“现状核实”问题：只有一个合理答案的问题，比如“你是否死于心脏病？或者“你是否曾使用过互联网？”（这项调查是在网上发布的。）
最后，作为一项额外的质量控制措施，任何对摄入家用化学品说“是”的人都会被问及一系列后续问题：他们必须确认自己有意选择了“是”，然后就他们摄入化学品的背景提供一些额外的细节。
那么，研究人员有何发现？他们总共收集了688名参与者的数据。其中，55人（8%）声称他们至少摄入了三种家用清洁化学品（消毒剂、肥皂或漂白剂）中的一种——这与CDC报告的结果相似。可是，在这55人中，只有12人通过了基本的质量控制问题。换言之，在声称摄入有毒化学品的受访者中，近80%（55人中有43人）未能准确识别简单的相关词语，并且/或者对现状核实问题给出的是完全不可信的答案。
这就只剩下12名通过了质量控制问题、貌似饮下了化学品的人。他们是否真的喝了漂白剂？如果是真的，这只占样本的1.7%，但这仍将代表数百万的美国人。
当被问及是否确实摄入了家用化学品时，12人中有11人表示，他们误选了“是”选项，而剩下的一名参与者——证实他们故意选择了“是”——在回答要求更多细节的问题时说“Yxgyvuguhih”。他们还称自己20岁，有4个孩子，体重1900磅，身高为“100”。（他们没有提供单位，但英寸和厘米都不太合理）。毋庸置疑，这些回答让人对最终参与者数据的有效性产生怀疑。
那么实际上有多少美国人摄入漂白剂来抵御新冠病毒呢？我们真的不得而知。我们需要更多的研究来可靠地回答这个问题，但在考虑了基本数据质量问题后，比例从4%下降到0%这一事实表明，实际数字很可能比新闻标题显示的要低得多。
说白了，这并不是说所有的调查数据都是垃圾。不过，尤其当数据用以支持具有严重社会影响的主张时，有必要用基本的质量控制介入来验证结果，如上述专注度和现状核实。在CDC的研究中，未能做到这一点（加上一些可能过于热心的报道）导致研究人员、媒体和公众认为，高达1200万美国人在喝漂白剂。这一说法不仅可能有误，而且可能有害，因为它可能有助于使这些危险行为正常化，从而增加可能会真正从事这些行为的人数。
就像化学家和物理学家需要确保他们的测量工具得到精确校准一样，社会科学家也必须确保他们的数据质量，以避免得出误导性的结论。虽然没有万全的解决方案，但一点基本的质量控制对于验证自我报告数据的准确性和可靠性大有帮助。与此同时，记者也肩负部分责任，他们要核实事实，准确报道研究结果——避免耸人听闻。当然，和任何内容一样，最终的看门人是身为读者的你。下次当你遇到一些听起来离谱得不可能是真实的事情时，要知道你的直觉可能是正确的。终归，一切得由我们所有人进行批判性思考，开展研究，并自行判断某一消息来源是否可信。
蕾切尔·厄恩斯托夫是北卡罗来纳大学教堂山分校(University of North Carolina at Chapel Hill)的博士生。她的研究重点是群际关系和政治两极分化。
蕾切尔·厄恩斯托夫(Rachel Ernstoff)| 文
刘隽 | 编辑