人们常常调侃，网购的初衷是为了省钱，结果却越花越多。这种事如果只发生在个别群体的日常生活中，还可以当作笑话看待。但如果发生在被视为未来的技术身上，而且还和社会管理制度相结合，那无疑就是悲剧了。

如今，这一情况正出现在AI技术上。

在美国，如果你在新泽西州犯了事，法官在决定把你是否送进监狱时，除了要从案件本身进行判断，还需权衡的一个重要因素：一种叫做PSA的算法的结果。这种算法会估计你这次犯罪之后，犯下其他罪行的可能性有多大。

新泽西州在2014年通过了算法风险评估制度，其中部分原因是因为审前司法研究所(PJI)的游说。这个相当有影响力的非政府组织多年来一直鼓吹使用算法代替现金保释制度，并希望将其推广到全美。

然而，就在这个月，PJI突然口风大变。他们早前在网上发布了一份声明，一改之前的观点，称自己以前提倡的风险评估工具在审前司法中是没有立足之地的，因为它们根本没能扭转司法审判中的种族歧视现象。

PJI的执行合伙人特尼勒·帕特森(Tenille Patterson)表示："我们看到，在使用这些工具的司法管辖区，虽然监狱里的人减少了，但具体到各种族时，不仅看不到差距缩小，在某些情况下甚至在增加。”

新泽西州是其中的典型。去年公布的州数据显示，在2017年取消现金保释和引入PSA算法的变革之后，监狱人口几乎减少了一半。但是，被关在监狱里的被告的人口结构基本保持不变：大约50%是黑人，30%是白人。

PJI从风险评估算法的拥护者转向反对者可以说是一个关键性的事件，这反映了业界对算法在刑事司法和其他领域中应用的担忧日益增长。

在去年7月的一封公开信中，27位知名学者联名建议废除审前风险评估。研究人员说，这些工具是建立在反映治安、指控和司法裁决的大数据上的，而这些现有的数据本身就存在种族歧视因素。"这些问题不能用技术修复来解决，"他们说。

随着AI应用实践的增加，算法的偏见日益受到重视。除了新泽西州，上个月，基于同样的担忧，俄亥俄州最高法院从一份拟议中的保释改革名单中删除了采用风险评估工具的建议。

去年12月，马萨诸塞州的一个委员会否决了该州保释改革报告中的风险评估工具，并列举了潜在的种族偏见。

除了保释系统，批评人士还指出多个领域内人们盲目相信算法的现象，比如面部识别，许多算法在有色人种方面存在更高的错误率;医疗保健方面，有证据证明，美国流行的护理管理系统会把黑人病人推到排队的末尾;在网络审核方面，算法也被指控放大阴谋论和仇恨言论。

让人更加难以接受的是，对于AI这种被视为“未来”的技术而言，上述问题可能是无法解决的。

过去人们常常简单地认为，AI的偏见可能来源于算法工程师将自身偏见无意识地带入。但事实是，AI的偏见潜藏在更根深蒂固的细枝末节中。

整体上看，可以把AI偏见的形成界定为3个关键阶段：

一、界定问题。

计算机科学家们在编写出一种新的深度学习算法后，要做的第一件事就是界定问题。

例如，信用卡公司可能希望了解购买者的信用状况，然而“信用状况”是一个比较模糊的概念。公司必须先界定问题，或者说是最终目标，比如到底是要要最大化其利润空间，还是最大化偿还贷款的选择，再从问题出发，衡量一些可以量化的东西，概述信用可靠性。

研究设备公平问题的康奈尔学院助理教授索伦•巴罗卡斯(Solon Barocas)解释，问题在于，“这些问题的界定可能是纯粹的经济因素，忽略了其中的公平或歧视。”

例如，假设有一套规则出台，说明发放次级贷款是实现利益最大化的一个好方法，那么，即使这不是企业的目标，最终可能以导致其形成掠夺性习惯而告终。

二、收集数据。

这就是我们常说的，数据的偏见导致算法的偏见。主要有2种情况：一是赋予算法的知识不能代表事实，二是它能代表事实，但事实本身包含了当前的偏见。

例如，如果一组深度学习的内容赋予了浅肤色的面孔比深肤色的面孔更多的镜头，那么建立在这一内容之上的面部识别小工具将不可避免地在识别深肤色面孔方面表现得更差。这种情况曾发生在亚马逊招聘中，它亚马逊在招聘上有优先选择男性的“黑历史”，所以他们开发的招聘工具也曾出现忽略女性求职者的情况。

三、准备知识。

在算法的知识准备阶段导致偏见，这是比较好理解的，因为在这一阶段，选取算法所需的特征是纯粹的主观问题(这并不会被问题框架的层次所困扰，即便是目标差异很大的算法，也可以使用相似的属性来指导)。

当涉及到信用价值建模时，一个“特征”很可能是客户的年龄、收入来源，或者是对已付贷款的选择。说到亚马逊的招聘工具，“特征”很可能是求职者的性别、培训阶段或多年的工作经验。这就是算法工程师们常说的深度学习的“艺术”:选择想象或忘记哪些属性会在很大程度上影响你的算法预测准确性。

那么，为什么说AI的偏见难以修补?

从上述介绍可以大概看出该如何修补AI的偏见，可以浓缩为4个方面：

一、未知的未知。

偏见的产生并不总是伴随着流行观念的发展，因为某些知识可能需要很长时间才能被理解，某些后续影响也需要一定的时机才能看出。

出现这种情况的时候，追溯偏见的来源成本相当之高，而且即使进行调整，同样会出现“未知的未知”的状况。

同样以亚马逊招聘为例，当算法工程师们发现相关算法歧视女性求职者时，很快进行了重新编程，让它忘记了“女士们的”这类带有明显性别特征的短语。但他们很快发现，尽管如此，修改后的小工具曾经选择了隐含性别的短语——例如更多出现在男性身上的动词——并使用这些词进行选择。

二、不完美的过程。

首先，在深度学习领域，许多老方法并没有从概念层面就纳入了偏见修正的。往往是在在深入学习算法投入使用之前，它们会被检查效率，开发出一种似乎是捕捉偏见的很好的替代方法。然而这意味着在，用来检查算法效率的知识与研究人员用来训练它的知识具有同样的偏见。因此，它根本无法标记偏见的影响。

三、社会背景的缺失。

电脑科学家处理某些边界问题的最佳方式，与人们思考社会问题的方式并不相称。例如，信息与社会分析研究所博士后安德鲁•赛博斯特(Andrew Selbst)在一篇新论文中指出一种他称之为“便携性诱惑”的错误。

在计算机科学领域内部，设计一个可以在多种情况下用于各种任务的小工具被认为是恰当的选择。

“然而，这样做的结果是忽视了大量的社会背景，” 赛博斯特表示，“你不能在犹他州设计一个算法，然后立即用于肯塔基州，因为其他地区也会产生不同的情况变化。同样，你也不能将一个用于衡量审判影响的算法直接用于就业领域。在某种情况下如何看待公平，放到另外的领域完全是另一回事。”

四、公平的定义。

一个更重要的情况是，在有偏见的算法越来越多地参与社会运作是，人们对什么是“没有偏见”的认定也会逐渐偏差。这实际上是个古来的问题，不仅在计算机科学领域，在哲学、社会科学和法学中有着严肃而漫长的讨论。

计算机科学的另一个特点是，公平的概念必须转换为二进制数学语言，比如“0”或“1”、“ture”或“false”。但是研究人的发现，有些在数学定义上的公平，在实际中是相互冲突的。例如，公平是否意味着，黑人和白人在可能性评估排名必须具有相同比例?亦或是，在同一可能性评估阶段，要排除种族因素进行排名?显然，一个算法不可能在相同的时间满足以上2种情况，所以必须选择一个。

从现实思考的角度来说，“具体问题具体分析”是最正确的，但对于计算机科学来说，它必须有一个固定解。赛博斯特说:“选择一个解决方案只是在单纯地解决一个问题，不包含社会倾向于如何考虑这些问题。”