面部识别技术已经渗透到日常生活中 - 从您的照片从Facebook上的照片到警察扫描Mugshots - 当Joy Buolamwini注意到一个严重的故障时：一些软件无法检测像贝尔斯这样的黑皮肤面孔。
该启示引发了马萨诸塞州理工学院研究员的研究人员，推出了一个项目，即对辩论对人工智能如何部署的辩论的影响。
亚马逊等名牌科技公司SoftwareCreats的Hertests在分类肤色的性别的情况下揭示了比较浅肤的女性的性别更高的错误率。
一路上，Buolamwini刺激了微软和IBM，改善了他们的系统和Irked Amazon，公开攻击了她的研究方法。星期三，一群艾吉学者，包括计算机科学的最终奖品，推出了她的工作的有吸引力的假人，并呼吁亚马逊停止将其面部识别软件销售给警方。
她的工作也引起了院位和国会的政治领导人的关注，并导致一些人寻求利用计算机视觉工具来分析人类面的限制。
“需要做出选择，”麻省理工学院媒体实验室研究生和研究人员Buolamwini说。“现在，发生的事情是这些技术正在广泛部署而不进行监督，他们认为，当我们醒来时，它几乎太晚了。”
Buolamwini难以谨慎地谨慎表达关于从商店到公寓综合体的警察，政府机构和企业的努力采用面部识别。许多其他研究人员已经显示了AI系统的研究，这些系统在巨大的数据旅行中寻找模式，将模仿嵌入在他们正在学习的数据中的机构偏差。例如，如果使用大多数白人的图像开发了AI系统，系统将在识别白人身上努力。
这些差异有时可能是生命或死亡问题：电脑视觉系统的onerecent研究，使自动驾驶汽车能够“看到”这条路表明，他们更加难以探测具有较深的肤色的行人。
关于Boulamwini的和弦的作品，这是测试由知名公司创建的系统的方法。她将这些系统应用于皮肤科医生使用的肤色级，然后姓名并欣赏那些展示种族和性别偏见的尺寸。Buolamwini，谁也成立了学者联盟，活动家和其他称为算法大法联盟的其他人，并将她的学术调查与激进主义共同组成。
“它增加了越来越多的证据，即面部识别对不同的群体不同，”华盛顿州的美国公民自由联盟的Shankar Narayan表示，该集团对该技术进行了限制。“欢乐的工作是建立这种意识的一部分。”
亚马逊，他的首席执行官杰夫贝斯，她去年夏天直接通过电子邮件发送电子邮件，通过积极瞄准研究方法来回应。
一年一多的Buolamwini-LED研究发表了一年一多的学习，发现了IBM，Microsoft和中国公司面孔Plus加上性别分类的面部分析系统的差异。肤色较暗的女性是最错误分类的小组，错误率高达34.7％。相比之下，较轻呈皮肤的雄性的最大误差率小于1％。
该研究要求“紧急注意”解决偏见。
“我几乎没有回应，”IBM Research首席科学家Ruchir Puri说，描述了他去年从Buolamwini收到的电子邮件。
从那时起，他说，“这是一个非常丰富的关系”知情IBM“揭幕是今年的新100万图像数据库，以便更好地分析人类面的普及。以前的系统过度依赖于Buolamwini称之为“苍白的男性”图像存储库。
Microsoft有最低的错误率，拒绝评论。留下了megvii的消息，它拥有面部加上加上，Weren立即返回。
在她第一次学习后的几个月后，当Buolamwini与多伦多大学研究员inioluwa deborah Raji一起进行后续测试时，所有三家公司都表现出重大改进。
但是，这次他们还添加了亚马逊，这已经销售了它调用重新识别的系统到执法机构。在1月下旬发布的结果表明，亚马逊严重误导了较暗的妇女。
“我们惊讶地看到亚马逊是竞争对手是一年前的竞争对手的地方，”Buolamwini说。
亚马逊驳回了所谓的Buolamwini“错误声称”，并表示研究了面部识别的困惑面部分析，用来评估后者的技术不当地测量前者。
“对新技术令人焦虑的答案是不与服务如何使用的”测试“不一致，并通过新闻媒体，通过新闻媒体（人）总经理Matt Woods亚马逊的云计算广告智能，在1月博客帖子中写道。亚马逊拒绝了接受采访的要求。
“我没有知道他们的反应会非常敌意，”Buolamwini最近在她的麻省理工学院实验室进行了面试。
周三来到她的国防是一个研究人员的联盟，其中包括TINES奖的最近赢家的冠军，据考虑了诺贝尔奖的科技领域。
他们批评了亚马逊的反应，特别是它在面部识别和分析之间的区别。
“与木材博士的索赔相比，一个系统中发现的偏见是对另一个系统的疑虑，特别是在使用案例中，这些情况可能严重影响人们的生命，例如执法申请，”他们写道。
它少数公知的客户捍卫了亚马逊的系统。
华盛顿县警长办公室俄勒冈州的克里斯·阿齐亚斯表示，该机构表示，亚马逊的重新识别以确定其收集大约350,000杯镜头的最有可能的匹配。但是，由于人类做出最终决定，“该计算机系统的偏见不会转移到任何结果或采取的任何行动中，”阿兹米纳说。
但越来越多的监管机构和立法者正在怀疑。国会的两党票据寻求对面部识别的限制。华盛顿和马萨诸塞州的立法机构正在考虑自己的法律。
Buolamwini表示，她的研究的主要信息是，如果他们“重新将用于公众使用，因此需要仔细审查和始终监测AI系统。她说，不仅仅是为了准确性，还要确保面部识别不是滥用侵犯隐私或导致其他危害。
“我们可以留下孤独的公司来做这些检查，”她说。
