来源：雷锋网

AI 威胁论并非空穴来风。

"

作者 | 贝爽

如果不谨慎对待 AI，未来它可能成为人类的终结者。

钢铁侠马斯克（Musk）曾经不止一次在公开社交平台表达对 AI 的担忧。

不过，并非所有科技大佬都对 AI 持悲观态度，贝索斯（Bezos）、扎克伯格（Zuckerberg）等人都抨击过马斯克的 AI 威胁论。扎克伯格认为，AI 技术的推动是为了让世界运转的更高效，帮助人们生活得更美好。

话虽没错，但马斯克的担忧也并非空穴来风。

如我们所见，近些年 AI 正在以超越想象的速度落地各行各业，如自动驾驶、仓储物流、信息安全等。但这些行业成功案例的背后，AI 也没少发生 " 翻车 " 事故。

根据最新 AI 事故数据集 AIID（AI Incident Database）显示，AI 在行业应用中已发生超 1000 次翻车事件，涉及 78 个不同类别。

https://incidentdatabase.ai/

在这些事故中，有的可能只是闹了个笑话，但有的已经对人类造成了实质性的伤害，或者为国家完全埋下了隐患。此外还可以看到，特斯拉、谷歌、微软、亚马逊、苹果等颇具影响力的科技巨头在这份 " 翻车 " 列表中也频频出现。

1

「自动驾驶」频翻车

从列表来看，自动驾驶是 AI" 翻车 " 事故较为频繁且影响恶劣的领域。

包括特斯拉、Uber 等大型车企均发生过多起受伤，或致死等交通事故。就在上个月，特斯拉还因险些造成事故登上了微博热搜。当日，正在高速行驶的特斯拉 Model S，玻璃天窗突然脱落，并顺势向后飞去，翻转数圈后险些砸到后面行驶的车辆。

随即特斯拉官博做出回应，称 " 该车辆曾在第三方授权钣喷中心进行过车顶玻璃的更换，会对此事展开详细调查 "。不少网友对此并不买账，认为 " 第三方也是特斯拉授权的，这是明显的甩锅行为 "。

事实上，近些年特斯拉频频爆出的交通事故问题，已经让部分用户失去了信任。虽然大部分事故主要由驾驶员违规驾驶导致，但因技术问题，尤其是自动驾驶系统引发的案例也不在少数。

在列表中，影响最大的是 2018 年发生在加利福尼亚州的一场交通事故。3 月 23 日，Uber 因自动驾驶系统故障在亚利桑那州撞死行人事件刚刚过去不足一个月，特斯拉再次因自动驾驶系统引发了一起伤亡事故。

当时，高速行驶在山景城 101 号公路上的 Model X，撞上了公路中间的混凝土分隔墙导致一名 38 岁的苹果工程师死亡。

https://futurism.com/officials-tesla-model-x-autopilot-killed-driver

经调查后发现，该工程师在撞上分隔墙之前，启动了 Model X 的自动驾驶系统。

此前，特斯拉曾表示其自动驾驶功能可以保持速度，改变车道和自动停车。在这项事故中，自动驾驶系统并未发挥作用，特斯拉的解释是，分隔墙之前已被损坏，系统并未作出正确识别，同时在撞击的前六秒，系统已发出了视觉和听觉上的警告。

但显然，仅六秒的时间不足以让驾驶员作出正确的应对。

2

「杀手」机器人

机器人是 AI 频繁发生翻车事故的第二大领域。从列表来看，机器人在医疗、仓储物流、、等多个场景中均发生过负面事故。例如：

2018 年，亚马逊新泽西仓库的一个自动机器人意外刺穿了驱蚊喷雾罐，导致 25 名工人被火速送往医院。

https://abcnews.go.com/US/24-amazon-workers-hospital-bear-repellent-accident/story?id=59625712

据了解，当时一个 9 盎司重的驱熊喷雾罐被机器人刺穿后，释放出了大量浓缩的辣椒素，导致 80 多名困在封闭区域内工人受到伤害。虽然最后事故并未造成人员伤亡，但已引起工会部门的高度警惕。

在医疗领域，机器人被广泛用于外科手术中，根据美国食品药品监督管理局（US Food and Drug Administration）的记录显示，机器人外科医生在 2000 年至 2013 年期间共造成 144 人死亡，1391 人受伤，并累计发生过 8061 起设备故障。

https://www.theregister.com/2015/07/21/robot_surgery_kills_americans/

其中造成患者受伤或死亡的原因包括，动作不正确、自发断电、电火花灼伤、机器人碎片调入患者体内等。这些失败案例多发生在头部、颈部和心胸外科手术中，是其他手术的 10 倍。

另外，大型科技公司微软在 AI 应用方面也发生过翻车事件。Tay 是微软在 2016 年推出的一款 AI 聊天机器人。微软称，Tay 的智能对话系统，可以通过 " 休闲而有趣的聊天 " 来学习与人类互动。

https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist

但推出后不久，Tay 便在 Twitter 上开始发表带有各种种族歧视、性别歧视和言论。Tay 甚至将女权主义称为 " 邪教 " 和 " 病毒 "，并指出 " 性别平等 = 女权主义 "。

随后微软立即删除了相关言论，并对 Tay 的公共数据集进行了过滤和清洗。虽然此事在女权、种族极为敏感的美国并没有引起轩然大波，但这表明，即使是全球领先的科技公司微软在 AI 应用方面也需要更加谨慎。

此外，谷歌在 2017 年推出的 AI 情感分析工具 Cloud Natural Language，也发生过种族歧视事件。

3

轻松破解「Face ID」

Face ID 是面部识别技术最广泛的应用场景之一。

该技术的目的是加强手机个人信息防护，但根据列表中的报道，这项技术在 2017 年已经能够被轻松破解。

一个来自德国的研究团队 Bkav 称，他们使用常见材质制成的人脸面具可以轻松解锁苹果的 Face ID。据了解，该面具非常简单，人人都可以制作。它由石粉制成的 3D 人脸（价格约为 200 美元），以及粘在眼睛上的 2D 图像构成。

https://mashable.com/2017/11/27/apple-face-id-mask-defeated-again/#N3QOEjviHiqW

其中，石粉可以代替口罩以更高的分数欺骗 Face ID ；眼睛是红外图像打印而成，与 Face ID 本身用于检测面部图像的技术相同。

另外，人脸模板也非常容易获取，它不需要近距离拍摄。当一个人走进房间，预先设置的不同角度的摄像机系统可以在几秒钟内远距离秘密拍摄照片，然后将照片通过算法制作成 3D 对象。

对此，Bkav 还提醒称，没有任何形式的生物识别是绝对可靠的。

除了以上案例之外，列表中还强调了几项重点 " 翻车 " 类型：

机器人在德国大众汽车工厂杀死工人

亚马逊 IA 招聘工具存在性别歧视。

AI 伪造政治领袖演讲视频

YouTube 使用的 AI 算法向儿童推荐不健康内容。

更多详细内容，请戳 AIID 数据集地址：https://incidentdatabase.ai/

4

One More Thing

最后需要说明的是，不止是 AI，任何新技术在刚刚推出或者在发展过程中，都会出现诸如此类的翻车事件。无论 AI 未来会对人类带来何种影响，技术向前发展的趋势都是不可避免的，而我们能做的只有不断修正和完善，同时更加谨慎的对待 AI。

这也是建立 AI 事故数据集的目的，以此警示相关领域的研究者避免类似的事故。另外，数据的收集工作仍在进行中，如果你感兴趣的话，可以点击下方链接了解更多。