作者 | David Weinberger

编译 | CDA数据分析师

偏见是机器学习的原始罪过。它嵌入在机器学习的本质中：系统从数据中学习，因此 很容易发现数据所代表的人为偏见。例如，接受过美国现有职业培训的ML招聘系统很可能会“学到”，女性与首席执行官之间的联系不佳。

彻底清除数据以使系统不会发现任何隐藏的有害关联可能非常困难。即使经过最大程度的照顾，机器学习系统也可能发现偏向模式是如此微妙和复杂，以至于无法被人类原本最好的关注所掩盖。因此，计算机科学家，政策制定者以及任何与社会正义有关的人们目前都在关注如何避免AI产生偏见。

然而，机器学习的本质也可能使我们以新的，富有成效的方式思考公平。我们与机器学习（ML）的相遇开始为我们提供概念，词汇和工具，使我们能够比以前更直接，更准确地解决偏见和公平问题。

我们长期以来将公平视为道德原始。如果您问某人一个不公平的例子，那么他们谈论两个收到不同数量Cookie的孩子的可能性就非常高。这显然是不公平的，除非他们之间存在一些相关的差异来证明这种差异是合理的：其中一个孩子年龄更大，或者更大，或者同意做额外的家务来换取饼干等。在这种简单的表述中，公平被定义为除非有一些相关的区别证明不平等待遇是合理的，否则人的平等待遇。

但是什么构成“相关区别”？事实是，我们比不公平更容易达成共识。我们可能都同意种族歧视是错误的，但是六十年后，我们仍在争论《平权行动》是否是一种公平的补救办法。

例如，我们都同意，在20世纪70年代，它是不公平的女性音乐家组成少的五大交响乐团的5％乐团。在这种情况下，我们可能会同意，实际的乐团乐队研究所似乎更为公平：通过将申请人的试镜放在幕后以掩盖性别的阴影下，五个顶级交响乐团中的女性比例在1997年上升到25％，现在上升到30％。

但是，是否存在性别盲目的过程足以使结果真正公平？也许文化偏见会给男性音乐家带来非生物学上的优势-例如，如果更多的男人被顶级音乐学院录取，他们可能会接受更好的音乐教育。几个世纪以来，音乐表现的水准一直围绕着典型的男性特征或喜好形成，例如手掌大小或表现的侵略性。是否有30％足以让我们宣布乐团现在在对待女性方面是公平的？也许，音乐家的性别比例应该达到51％，才能反映出整个国家的总体性别统计数据？还是应该反映出乐队中男女申请人的百分比？还是比部分纠正导致人们在乐团中人数过多的历史偏见更高的水平？（更不用说，整个讨论都假设性别是二元的，不是的。）

机器学习可以帮助我们进行此类讨论，因为它要求我们以高度精确的方式指导我们，从道德上讲我们会接受哪种结果。它为我们提供了以更清晰，更富有成效的方式进行这些讨论的工具（通常是争论）。

这些工具包括源自机器学习最常见任务的词汇：决定将给定输入放入哪个bin。如果输入是意大利面条酱工厂的传送带上的番茄的实时图像，则该垃圾箱可能会标记为“可接受”或“丢弃”。每个输入都将分配给具有附加置信度的垃圾箱：72例如，确定此番茄可食用。

如果对西红柿进行分类是系统的基本任务，那么您将要关心有多少西红柿被错误分类了：ML将哪些西红柿放入“丢弃”堆中，将多少坏西红柿放入“可接受的垃圾箱”中-错误的批准和错过的机会。而且，由于对垃圾箱的分配始终基于置信度，因此ML为其设计人员提供了滑块，以调整结果以反映公平的不同定义。

例如，如果是您的番茄工厂，那么您可能最在乎新ML番茄分选应用程序的整体准确性。但是，监管者可能会更担心坏番茄进入批准箱中，而不是将好番茄扔进丢弃箱中。或者，如果您是一个肮脏的番茄工厂老板，那么扔掉好番茄比在酱汁中加入一些烂番茄可能会更不高兴。

ML要求我们完全清楚自己想要什么。如果您担心坏番茄将其放入酱汁中，则必须决定您（以及您的客户以及律师）可以与多少坏番茄一起生活。您可以通过调整将西红柿放入批准箱中所需的置信度来控制此百分比：您是要将阈值置信度设置为98％还是将其降低到60％？将滑块向左或向右移动时，您将把更多好的西红柿放到“丢弃”箱中，或者将更多的坏西红柿放入“批准的”箱中。

用ML的话来说，放在“丢弃”箱中的被忽略的好西红柿是假阴性，而放入“批准”箱中的坏西红柿是假阳性。

当我们谈论将贷款申请分类到“批准”或“拒绝”箱中的过程时，这些术语会很有用。（出于此假设的目的，我们将忽略任何有关贷款批准程序的法规。）假设有30％的申请人是女性，但在“批准的垃圾箱”中只有10％的申请是女性。但是，除了查看女性获得批准的百分比或拖欠贷款的男性和女性比例之外，也许我们应该查看“拒绝女性”分类中误报的百分比是否高于女性的百分比。拒绝人员区中的误报。

ML领域的研究人员还为我们在这里以及其他地方讨论的公平类型提供了精确的定义，并使用了“人口统计平价”，“预测汇率平价”和“反事实公平”等名称。与专家讨论这些问题可以使这些讨论更容易进行，并且对论点的各个方面都有更全面的理解。他们没有告诉我们在任何情况下都采用哪种类型的公平性，但是它们使我们更容易就该问题提出富有成效的论据。

在更高的抽象水平上也是如此，因为我们可以决定什么才是ML系统的成功。例如，我们可以训练ML贷款应用程序分类程序来优化自身，从而为我们的业务带来最高的利润。或获得最高收入。或为最大数量的客户。我们甚至可以出于经济公正的考虑而决定，我们要向较贫穷的人提供一些贷款，而不是总是向周围的最富有的人提供贷款。我们的机器学习系统应使我们能够判断风险，调整我们希望在“批准的”收款箱中的低收入人群的百分比，或为我们提供的贷款设置最低盈利水平。

ML还清楚地表明，我们无法始终（甚至通常）针对我们可能拥有的每个价值来优化结果。例如，在这种假设下，贷款公司可能会发现，将更多的低收入申请人纳入“批准的垃圾箱”会影响该垃圾箱中女性的比例。可以想象您不能同时为两者优化系统。在这种情况下，您可能希望找到另一个愿意修改的值，以便为低收入人群和妇女创造更公平的结果。也许，如果您将公司的风险增加到可接受的程度，则可以实现两个目标。机器学习系统为我们提供了进行此类调整并预测其结果的杠杆。

当我们看到更高层次的抽象时-从使用滑块调整容器中的混合，到关于优化可能不一致的值的问题-ML告诉我们公平不是简单而是复杂的，它不是绝对的而是问题权衡。

ML无奈的字面性要求我们做出的决定自然可以导致讨论听起来像对道德的高尚论点或对技术的专业术语争执不休，而更像是具有不同价值观的人之间的政治论点：优质番茄酱或廉价酱能最大化我们的利润？增加乐队中女音乐家的比例还是维持当前乐器的配置？向低收入人群发放贷款，但也许会降低女性比例？

如果机器学习以新的精度提出了这些问题，为我们提供了讨论这些问题的词汇，并让我们尝试进行调整以查看针对所关注的值优化系统的最佳方法，那么这是向前迈出了一步。并且，如果机器学习使我们根据我们关心的价值观来讨论针对不公平情况的补救措施，并准备做出现实的妥协，那么对于许多道德论证来说，那也不是一个坏模型。