警报声响起，保安人员听不清楚贝斯·威廉姆斯（Beth Williams）在说什么。LED闪光灯在Cub House日托中心浅灰蓝、水粉色的墙上频闪。保安走上前去，拦住了走向教室接自己女儿的玛利亚·桑切斯（Maria Sanchez）。他将手臂挡在她的胸前。玛利亚吓坏了，Cub House的创始人兼总监贝斯也被吓了一跳。她冲向保安并喊道，“她没有问题！”随后，她掏出了电话，输入几个数字，然后警报和闪光灯都停了。大厅尽头的一个教室中再次传出了钢琴演奏的《彩虹之上》。
贝斯把手放在玛利亚的肩上说：“我真的很抱歉。我们正在测试面部识别安全系统。这个愚蠢的系统老是无缘无故发飙。”
存在缺陷的系统
当天下午晚些时候，在所有孩子及其托护人员离开大楼之后，贝斯与其首席技术官查尔斯·里弗斯（Charles Rivers）及安保负责人安东尼·迈克尔斯（Anthony Michaels）在教师休息室开了个会。2010年，贝斯在家乡俄亥俄州西南部城市戴顿成立了Cub House，这两位男士自此便在这家非营利机构工作。作为俄亥俄州占地面积最大的一家日托机构，Cub House为5岁以下儿童打造了众多的娱乐和教育空间，由托护人员灵活使用。一些孩子每天都会来，一些孩子每月来一次。但所有孩子及负责接送的成人都需注册，而且成人必须提供带照片的证件，及名下车辆的车牌号。
三个月之前，当接待人员和保安不在前台的时候，一位精神失常的年迈女士恍惚地走进了这家机构，吓坏了不少小孩，也让家长感到惊慌失措。查尔斯和安东尼建议贝斯安装一款基于面部识别的安全系统。它使用摄像头拍摄每一位到访者的面部图像，并通过软件分析面部几何特征，随后，每一张照片都会被赋予独特的代码，并打上姓名和访问许可标签。如果有人未被系统识别或陌生面孔进入大楼，或注册访客去了未授权的地方，例如儿童盥洗室或行政办公室，警报就会响起。
安东尼说过，受益于Cub House的非营利特征，供应商愿意免收维持系统正常运转的前期投入，而且系统仅需几周便能装好。查尔斯同意说：“整个项目在财务上可控，而且从技术层面来讲也是十分明智的，它能让大家在晚上睡个安稳觉。”
贝斯也曾质疑过该技术。他们真的打算把确保儿童和访客安全的重要工作交给一个自动化系统吗？在她看来，面部识别技术十分诡异，并不适用于儿童空间。然而，她同事却态度十分坚决，因此，她同意测试一下这个系统。她与同事放了三天假，其间对系统进行了非正式测试，并谢绝访客。当时，该技术表现得十分完美。当她让一名不具备完全访问权限的助教进入受限区域时，警报声响了。当她双手捂住脸冲过前台时，警报声响了。她手机上的安全应用抓拍到了“入侵者”的照片，然后贝斯通过输入密码关闭了警报。她开展了十几次类似的这种非正式测试，系统的反应完美无缺。贝斯的疑虑被打消了。
然而，在系统启动的那天早上，混乱接踵而至。警报响起了五次，没有一次与安全侵入有关。每一次，警报都会惊扰到机构里的员工、孩子们以及护理人员。第五次事故便涉及玛利亚·桑切斯。
贝斯当天下午对查尔斯和安东尼说：“我很担心。有人已经投诉了。这套系统似乎带来了巨大的社区关系风险和访客满意度风险。”
查尔斯回应说：“这些都是常见的首日故障。我们知道这个系统是有效的。供应商信誓旦旦地对我说，多家医院和学校已经测试过这一系统。我们只需要向父母们解释，所有这一切都是为了保护他们的孩子。如果人们看到我们将安全放在首位，他们选择这里的可能性更大。如果我们能够防止人们可能会受伤的事件，哪怕只有一次，那么这个项目就是值得的。”
安东尼打断查尔斯说：“但我觉得这里有一个问题。你有没有注意到触发警报的人都有什么共同之处？”
贝斯和查尔斯面面相觑，耸了耸肩。
安东尼说：“这五个人都是深肤色的女性。面部识别系统与其他自动化技术一样，十分依赖构建时使用的数据。如果使用的面部数据主要来自白人和男性——这正是该系统的大多数编程人员的特征——那么系统在评估黑人、棕色人种或女性面孔时就会出现更多的错误。我们可以通过技术手段部分解决这一问题，对吗，查尔斯？”查尔斯点点头，“但你能保证我们可以彻底解决这个问题吗？”
贝斯再一次感到后背发凉。如果触发假警报的大多为女性和有色人种——而且中心每天接待的大多数都是这些人——那么这套系统不仅会带来频繁、严重的干扰，以及潜在的声誉和法律责任风险，还违背了她尝试向孩子们讲授的“公平和同情理念”。尽管如此，有鉴于美国的校园枪击事件4、戴顿较高的犯罪率，以及精神病女性带来的惊吓，保障Cub House的安全无疑是她及她客户的重中之重。
贝斯说：“先暂时关闭这个系统吧，我会给你和供应商几周的时间来解决假警报这个问题。”
法律后果
第二天，贝斯与谭雅·马歇尔（Tanya Marshall）在戴顿市中心的小餐馆一块吃了个午饭。这两位女士在俄亥俄州立大学读本科时便是好友。谭雅如今是该市最大一家律所的首位黑人合伙人。当Cub House还只是PPT展示稿上的概念图时，她便鼓励贝斯组建这家机构。她的两个孩子在蹒跚学步时就会定期参加那里的学习班，而且她也是Cub House最活跃的董事会成员以及长期捐赠者之一。
谭雅在点菜后说：“我想跟你谈谈。玛利亚·桑切斯在Cub House家长的Facebook页面发帖，讲述了她以及另两位拉丁裔女性在进入中心时触发警报，然后被拦下的故事。”
贝斯说：“一共有五个人。”
“五个？”
她说：“是的，有五位有色人种女士触发了警报。在我们说话这会儿，系统依然处于改进当中。”贝斯向谭雅讲述了患有精神疾病的女士、面部识别软件以及软件存在的问题。谭雅说：“最好不要再次启用这一系统，至少现在别用。如果俄亥俄州通过新的隐私法，这可能会让中心惹上官司。”她提到了最近伊利诺伊州牵涉Facebook、谷歌以及Clearview AI的诉讼以及和解事宜。
谭雅说：“当公司使用这类技术时，大多数人都会觉得不舒服5。我觉得这一点对于Cub House来说亦是如此。”
贝斯问道：“即便它能够提升中心的安全性也不行吗？如果我们放弃了这个系统，然后出现了一起我们原本可以预防的误闯呢？万一哪天有人拿着枪闯入中心！我该怎么向父母们解释，我们有技术可以更好地保护孩子，但我们却没有使用？我们会不会也惹上官司？” 6
谭雅沉默了一会。她说：“我的意思是，我并没有说你不能使用面部识别软件，但你得三思，从法律和道德层面，而且你必须确保考虑方方面面的问题。如果有色人种女性觉得自己受到了安保人员的骚扰，那Cub House离关门就不远了。”
万事俱备？
接下来的一个月里，查尔斯一直与供应商合作，改进安全系统的精确度。他们在前台安装了三个高分辨率的摄像头，并使用它们从不同角度来拍摄进出机构的人群。前台上也摆放了标识：“出于安全考虑，摄像头会拍摄你的照片。”面部识别软件会给每一张照片贴上访客姓名和访问权限标签。每一份档案关联的照片越多，系统识别面部的精确度也就越高。为了直接应对女性以及深色面部问题，贝斯授权在前台安装了高功率照明灯，这样摄像头就可以更好地捕捉面部特征。
为了测试该系统在现实中的效果，查尔斯在夏季独唱会启用了这套系统，当时，大多数孩子及其看护人员都齐聚Cub House，倾听五岁孩童演唱电影《绿野仙踪》里的歌曲。他关掉了警报，但开启了提醒功能，这样一旦系统发现闯入行为，他便可以收到示警。那天晚上，他收到了两次。首次示警出现的原因是，一名未注册的客人进入了中心，但并未在前台登记。
第二次示警出现的原因是，一位父亲将孩子带到了儿童盥洗室换尿布。第二天早上，查尔斯带来了甜甜圈，然后他、贝斯和安东尼在Cub House后院的野餐桌上讨论了这个结果。查尔斯说，他相信系统已经得到了完善，而且就算误报不可避免，频率也会越来越低。他建议调低警报音量，这样就不会那么揪心。他还起草了一封写给社区的信，解释了这一系统以及误报的潜在原因，并呼吁父母谅解此举造成的任何不便。
安东尼对这一计划十分满意。最坏的情况下，这个系统将十分恼人。最好的情况下，它将保护孩子们，并为安保人员提供一些助力。
贝斯依然担心，一个月的修补以及一晚上的测试并不足以确保系统的精确度。音量更低的警报当然更好，然而如果不是所有人都能听到的话，那这个警报又有什么用呢？这项技术是否真的能让Cub House更加安全？抑或它会给贝斯的业务带来更多的麻烦？
玛丽·詹蒂莱是价值观表达法（Giving Voice to Values）的创始人和教学主任，曾任弗吉尼亚大学达顿商学院伦理学教授（Richard M. Waitzer Bicentennial）。大卫·丹克斯是加州大学圣地亚哥分校数据科学与哲学教授。马拉利·哈瑞尔是加州大学圣地亚哥哲学与公共卫生学教学教授。
贝斯是否应该在Cub House安装面部识别软件？
专家意见
约瑟夫·斯坦伯格（Joseph Steinberg）前SecureMySocial和Green Armor Solutions首席执行官。
我会问贝斯三个问题：
这项技术是否能解决你想要解决的问题？如果是，这是解决问题的最佳方式吗？它在解决问题的时候能否避免带来新的问题？这三个问题的答案都是否定的。
贝斯不需要也不应该使用面部识别技术作为防止未授权方进入Cub House的主要机制。有更好的方法来实现她的目标，而且这些方法在确保安全性方面效果更好，同时产生的不良副作用也更少。
例如，贝斯可以向授权进入者发放可扫描的认证卡。安保人员可以扫描任何试图进入Cub House的ID，并将准备进入人员的面孔与电脑屏幕上显示的照片进行比对。（安保人员必然会逐渐熟悉那些每天来这里的人。）贝斯可以从外部封锁除了Cub House前门之外的所有出入口，并配备警报装置，同时为保安人员提供所有门口的摄像头画面。她甚至可以效仿高危场所的那种结构，在入口处安装两套门。
经典的做法虽然没有面部识别那么高大上，但应该更有效。相对于保安人员，面部识别技术可能会带来更多的假警报，或允许更多未授权的人员进入Cub House，这一点取决于该技术的设置。此外，与保安不同的是，这类系统无法阻止持枪人员或其他未授权人员借助武力来进入建筑。总之，对于Cub House的安全保障来说，贝斯的面部识别系统可能还赶不上使用那些经过时间检验的替代方案。
希德里克·亚历山大（Cedric L. Alexander）著有《捍卫公共服务》（In Defense of Public Service）和《新守护者》（The New Guardians）。
面部识别是一项有用的技术。
面部识别是一项有用的技术。我们每天都在使用，例如开启手机、旅行、安保需要等。然而，人们不能测试或推广仅使用白人作为数据基础的面部识别技术产品，而且也不应该仅在一场晚间音乐会期间进行测试，就像贝斯团队做的那样。贝斯担负着所有孩子的安全问题，在她将该系统引入Cub House之前，她应该与其他供应商以及其他体验过面部识别系统的人士进行交流。人们需要可靠的数据来证明系统有能力做出精准的响应。当然，Cub House增加照明和升级摄像系统的举措也是有益的，但该技术的供应商需要向她展示更多的数据，以证明该系统的精确性。她应该直接询问供应商：“这款产品是否已经面向广泛人群进行了测试？”然后，她必须与供应商一道，为员工提供专业培训，而且她应该要求使用该系统的员工达到认证要求。
我会直接与家长进行沟通，而不仅仅是通过查尔斯给他们写信。贝斯本可以与他们进行一对一交流或集体交流。她本可以向他们解释事情的原委：“我们准备采用一项技术保障孩子们的安全。也就是我们正在考虑使用的供应商。下面，我想向大家介绍一下这项技术如何减少外人入内伤害孩子们的可能性。”当你告诉人们自己正在考虑使用一项新技术时，他们有机会同意你的观点或表达担忧。人们通常愿意参与体验一些全新的创新事物，尤其是那些有助于公平并能提高生产率的事物。但是如果贝斯没有与父母交谈，事情出了差错，那么她将面临更多的反对意见，哪怕查尔斯已经发送了信件。
在未来的10-15年里，面部识别系统将成为我们保障自身安全的常用工具。但这项技术必须得到完善，我们必须加大力度，更好地向公众宣传该技术的价值所在。
玛丽·詹蒂莱（Mary C. Gentile） 大卫·丹克斯（David Danks）
马拉利·哈瑞尔（Maralee Harrell）| 文
冯丰 | 译 廖琦菁 | 校 刘隽 | 编辑