算法也有偏见？纽约市通过美国首个算法问责法案

　　算法在我们生活中发挥着越来越重要的作用，它们往往出自硅谷，但对它们进行问责的努力则可能来自另一个中心：纽约市。上周，纽约市议会一致通过一项法案，以解决算法歧视问题。这是美国首次对算法制定措施。

　　这个正在等待纽约市长Bill de Blasio将其签署为法律的算法问责法案成立了一个专门工作组，以研究城市机构如何使用算法来做出影响纽约人生活的决策，以及这些算法是否对人有年龄、种族、宗教、性别、性取向或国籍方面的歧视。工作组的报告也将探讨如何使这些决策制定过程变得让公众可以理解。

　　纽约非盈利公司ProPublica调查了有种族偏见的算法，它们被用来评估被告的犯罪风险。上述法案的发起人、纽约市议员James Vacca说他受到了该调查的启发。

　　“我的目的在于透明化和问责。”Vacca说

　　之前，该法案有一个更彻底的版本，规定市政机构要公布所有用于“追踪服务”(targeting services)或“对人施加惩罚或维护治安”的算法的源代码，并让它们接受公众的“自我测试”。在10月份举行的一次市政厅听证会上，市长办公室的代表表示担心这种规定将威胁纽约人的隐私和政府的网络安全。

　　该法案是市议会在上周就算法提出的两项举措之一。上周四，卫生和公共安全委员会就纽约市的取证方法举行了一场听证会，包括首席法医办公室的犯罪实验室针对难以分析的DNA样本开发的有争议的工具。

　　在9月份详细披露的ProPublica/纽约时报调查中，科学专家和前犯罪实验室员工质疑该实验室针对复杂的DNA样本创建的一个算法。

　　这款软件名为“司法统计工具”(FST)，美国其他实验室从未采用过它。

　　纽约市议员、健康委员会主席Corey Johnson引用了ProPublica调查的两个主要结果：FST的开发者已经承认该程序的一个关键输入的误差范围为30%，以及该程序不考虑家庭成员可能会共享DNA。

　　纽约市不再在新案件中使用这个工具。但出席听证会的官员说，他们认为没必要重审过去数年里依赖这项技术的数千起刑事案件。

　　“你是否愿意审查那些涉及测试非常小的混合物的案件，或者是否对在每个分配到实验室的案件中所使用的所有方法和科学都充满信心?”Johnson问官员。

　　“我们完全有信心，”纽约市首席验尸官Barbara Sampson博士回答。

　　多年来，该算法的源代码一直处于保密状态。为此，ProPublica提交了一份申请，以解除对该算法的保护令。10月，一名联邦法官批准了该申请，然后ProPublica公布了源代码。

　　辩护律师在听证会上作证，批评首席法医办公室，认为他们DNA工具的开发过程不透明，而这很危险。

　　9月，一些人联合写信给纽约州检察长，要求调查犯罪实验室和审查之前的案件。检察长Catherine Leahy Scott尚未表示是否会进行追究。与此同时，纽约州法医科学委员会(它负责监督州内实验室的取证方法)在秘密会议上讨论了这些批评。这些会议不对公众开放，委员会委员也不能谈论它们。

　　听证后，Johnson表示，法医证词与辩护律师证词之间的不一致让他感到担忧，他打算进行进一步的探索。

　　“这是一个非常非常重要的问题，我们必须确保所使用的方法具有科学上的合理性，用适当的方式对其加以验证，让它们对公众和辩护律师保持透明，确保民众对司法系统更加信任，”Johnson说，“通过提出更多的问题，我们有望做到这些，并可能考虑在未来立法。”

　　编译：邓桂华。本文来自propublica