五大引人注目的分析和人工智能灾难

【安防在线 www.anfang.cn】数据和机器学习算法所带来的洞察可能是无价之宝，但是错误会损害你的声誉，影响你的收入甚至生命安全。这些引人注目的分析和人工智能错误说明了一切可能出问题的地方。

2017年，《经济学人》宣布数据(而非石油)已成为全球最具价值的资源。从那以后，这样的评论屡见不鲜。各行各业的组织都已经在数据和分析方面进行大量投资并将持续投资。但是和石油一样，数据和分析也有不利的一面。

根据IDG公布的《2020年首席信息官现状报告》，有37%的IT领导者表示，今年，数据分析将成为组织最大的IT投资。机器学习算法驱动的分析和行动可以带来各种洞察，而这些洞察又可以为组织带来竞争优势，但是错误在声誉，收入甚至生命安全方面都可能造成巨大的损失。

了解你的数据及其含义很重要，但是了解你的工具，数据并牢记组织的价值观也同样重要。

下面来看看发生在过去十年的一些引人注目的分析和人工智能错误，以此来说明一切可能出问题的地方。

英国因为电子表格数据超出规定限制而丢失了数千起冠状病毒病例

2020年10月，负责清点新的冠状病毒感染的政府机构英国公共卫生局(PHE)透露，在9月25日至10月2日之间有近16000例冠状病毒病例没有列入报告，而问题的罪魁祸首就是Microsoft Excel的数据限制。

英国公共卫生局使用自动化流程将冠状病毒阳性实验测试结果以CSV文件的格式传输到报告仪表板和联系人跟踪所使用的Excel模板中。不幸的是，每个Excel电子表格最多支持1048576行和16384列。而且，英国公共卫生局将病例列为列而不是行。当病例超过16384列的限制时，Excel会切断底部的15841条记录。

虽然发生了“小小的故障”，但这并没有阻止接受测试的人获得测试结果，但这确实阻碍了联系追踪的工作，使英国国家卫生局(NHS)难以发现与感染者有密切联系的人并向他们发送通知。英国公共卫生局的临时首席执行官Michael Brodie在10月4日发表的声明中说，NHS Test and Trace应用和英国公共卫生局迅速解决了该问题并将所有没有记录的病例立即转移到NHS Test and Trace的联系人跟踪系统中。

英国公共卫生局实施了“快速缓解”措施，该措施可拆分大文件并对所有系统进行了全面的端到端评估以避免类似事件重蹈覆辙。

医疗算法无法标记黑人患者

在2019年，《科学》杂志上发表的一项研究显示，全美的医院和保险公司使用医疗预测算法来识别需要纳入“高风险护理管理”计划的患者，而这个算法不太可能特别选出黑人患者。

高风险护理管理计划为长期病患者提供训练有素的护理人员和初级护理监测以防止他们出现严重的并发症。但是，该算法更有可能推荐白人患者而不是黑人患者。

该研究发现，该算法以医疗支出作为指标了确定个人医疗需求。但是《科学美国人》的报道称，病情较为严重的黑人患者的医疗费用与病情较轻的白人患者的医疗费用相当，这意味着即使前者的需求更大，他们的风险评分也还是比较低。

开展该研究的研究人员认为有几个因素导致了这个结果。首先，有色人种的收入很可能较低，即使他们有医保也很可能无法获得医疗服务。隐性偏见也可能导致他们无法获得优质的护理。

尽管该研究没有提算法或开发者的名字，但研究人员告诉《科学美国人》，他们正在与开发者合作解决这种情况。

经由数据集训练的微软聊天机器人发了带有种族主义色彩的推文

2016年3月，微软获悉，使用推特互动作为机器学习算法的训练数据可能会产生令人失望的结果。

微软在社交媒体平台上发布了人工智能聊天机器人Tay并称其为对“对话理解”所做的实验。“对话理解”基于这样一种想法，即聊天机器人化身为一个青少女与人进行互动，其方法是使用结合了机器学习和自然语言处理功能的推特。微软使用匿名的公共数据和喜剧演员事先编写的一些笑料来使其内容更丰富，然后放任其在社交网络的交互中学习和发展。

在短短16小时的时间内，聊天机器人发布了95000多条推文，这些推文瞬间变调了，充斥着明显的种族主义，对女性的厌恶和反犹太主义。微软迅速暂停了该服务以进行调整并最终停用了Tay。

微软研究与孵化公司的副总裁Peter Lee表示(时任微软医疗的公司副总裁)：“尽管Tay无意冒犯，但还是发了令人发指的推文，对此我们深表歉意。这些推文既不代表微软的立场，也不代表微软设计Tay的方式。事发后，Lee在微软官方博客上发了这样的博文。

Lee指出，Tay的前身即微软于2014年在中国发布的Xiaoice，Xiaoice在Tay发布前的两年时间里已成功与超过4000万人进行了对话。微软没有考虑到的情况是有一群推特用户立即开始向Tay发推文，其中包括种族主义和厌恶女性的言论。该机器人很快从这样的材料中学到了这样的内容并将其纳入自身的推文中。

“尽管我们已经准备好应对多种滥用系统的情况，但我们对这种特定的攻击疏于监督。结果，Tay在推特上发了极为不当且应该受到谴责的文字和图像”，Lee这样写道。

支持Amazon AI的招聘工具仅推荐男性

和许多大公司一样，亚马逊希望获得有助于HR筛选工作申请以寻找最佳人选的工具。2014年，亚马逊开始研究基于人工智能的招聘软件。只是有这样一个问题：该系统极力推荐男性候选人。2018年，路透社爆料称亚马逊已经取消了该项目。

亚马逊的系统为候选人实施了从1分到5分的星级评分制。但是，系统核心的机器学习模型接受了训练，对其进行训练的是10年以来所有求职者提交给亚马逊的简历，而其中大多数简历是男性提交的。由于使用了这些培训数据，系统渐渐挑剔简历中的某些字眼，其中包括“女性”一词，甚至将所有毕业于女子大学的候选人降级。

当时，亚马逊表示，亚马逊招聘人员从未使用该工具来评估候选人。

亚马逊试图修改该工具以使其中立化，但最终还是无法保证它不会学习其他会对候选人产生歧视的分类方式，因此该项目遭到终止。

塔吉特的分析侵犯了隐私

在2012年，零售业巨头塔吉特(Target)的一项分析项目展示了这样一个事实。即公司到底可以从其数据中了解多少客户信息。据《纽约时报》报道，在2002，塔吉特的市场部年向知道公司可以通过方式确定客户是否怀孕。这个问题催生了一个预测性分析项目，该项目导致该零售商无意间向一个十几岁的女子的家庭透露了她怀孕的情况，这引起了轩然大波。反过来又导致各种文章和营销博客铺天盖地地引用这一事件，以此作为避免“令人发紫的因素”的建议的一部分内容。

塔吉特的市场部希望识别怀孕的人，因为在生命中的某些时期人们很有可能从根本上改变购买习惯，其中最重要的是怀孕期。如果塔吉特可以在这个时期接触到处于怀孕期的客户，它就可以在这些客户中培养新的购物行为，使她们到塔吉特购买杂货，服装或其他商品。

与所有其他大型零售商一样，塔吉特一直通过购物码、信用卡、调研等收集与客户有关的数据。它将数据与所购买的人口特点统计数据和第三方数据混合在一起。只要对所有这些数据进行处理，塔吉特的分析团队就可以确定其出售的大约25种产品可以一起进行分析以产生“怀孕预测”分数。然后，市场部可以通过优惠券和营销信息来针对高分客户。

进一步研究表明，研究客户的生育状况可能会使其中一些客户感到十分不安。据《泰晤士报》报道，塔吉特并没有放弃其精准营销，但它确实开始掺入了一些其他东西的广告，即明知道孕妇不会购买的东西(包括在尿布广告旁边添加除草机广告)，从而混淆视听。