机器学习算法与社会歧视偏见(2)

在几个更有争议的结果被吐出算法并仔细检查后，它再一次引起了公众的注意。
然后，美国司法部长埃里克霍尔德警告说，风险评分可能会向法院注入偏见。他呼吁美国量刑委员会研究其使用情况。
"尽管这些措施是出于最好的意图而制定的，但我担心它们会无意中破坏我们确保个性化和平等正义的努力，"
他补充说，
"它们可能会加剧我们已经非常普遍的无根据和不公正的差异，在刑事司法系统和我们的社会。"
然而，量刑委员会没有开展风险评分研究。因此，ProPublica作为对美国生活中算法的强大考察。
ProPublica的检查得出了一些有趣的结论。不仅算法荒谬地不准确（不到20％的预测是真的），还表现出显着的种族差异，正如霍尔德所担心的那样。在预测谁会再次犯罪时，该算法以大致相同的速度但以非常不同的方式对黑白被告犯了错误。
这个公式特别容易将黑人被告作为未来的罪犯，将他们错误地贴上标签，这几乎是白人被告的两倍。 白人被告被误标为低风险，比黑人被告更频繁。黑人被告被钉住的可能性仍高出77％，因为未来暴力犯罪的风险更高，预计未来犯下任何罪行的可能性高45％。
这可能听起来很糟糕，但这个故事还有很多东西要比眼睛看到的要多。根据我们分析这个的方式，我们可以发现算法既是种族主义又不是种族主义，它取决于我们在模型中定义"平等"的方式。对于本文的其余部分，我将尝试帮助我们理解这个模型实际上是以可接受的方式设计的，但仍然可以产生据称的种族主义结果。
歧视的类型
我们首先需要定义算法中可能存在的歧视类型，以及我们在前面的示例中处理的类型。我们将两种形式的歧视称为不同的影响和不同的待遇。
不同的待遇 -涉及以不允许的方式对某人进行分类。它涉及歧视的意图，通过明确提及群体成员资格来证明。
不同的影响 -查看分类/决策对某些群体的影响。不需要任何意图，它是面向中立的。
不同的影响通常被称为无意识的歧视，而不同的处理则是故意的。
最高法院认为对特定群体产生不成比例影响的做法如果"基于合理的商业考虑"，则不会造成不同的影响。
在考虑以下任何受保护属性时，可能会导致不同的处理或不同的影响。