机器学习算法与社会歧视偏见

机器学习从业者应该关注算法带来的社会歧视问题，而不仅仅是准确度和给公司带来的利润。

机器学习中的伦理问题
大多数时候，机器学习并不涉及特别敏感的社会道德问题。有人给我们一个数据集，并要求我们根据给定的属性预测房价，将图片分类到不同的类别。当我们被要求基于受保护进行预测时，我们该怎么做才能遵守反歧视法律？
我们如何确保我们不会将种族主义、性别歧视或其他潜在的偏见嵌入我们的算法中，无论是明确还是暗示？
你可能并不会感到惊讶的是，美国在这个问题上已经有过几起重要的诉讼案件，其中最引人注目的可能是涉及Northpointe有争议的COMPAS--替代性制裁的惩教罪犯管理概况这个软件，它可以预测被告将犯下另一个犯罪案件的风险。专有算法考虑了137项问卷中的一些答案来预测这种风险。
2013年2月，Eric Loomis被发现驾驶一辆用于拍摄的汽车。他被捕并承认躲避一名军官。在判决他时，法官不仅要查看他的犯罪记录，还要看一个名为COMPAS的工具分配的分数。
COMPAS是目前在美国各地用于预测暴力犯罪热点的几种风险评估算法之一，确定囚犯可能需要的监督类型，或者提供可能对量刑有用的信息，如 - 如Loomis案。COMPAS将他列为重新犯罪的高风险，而Loomis被判处六年徒刑。
他对裁决提出上诉，理由是法官在考虑算法的结果时，其内部工作是秘密的，无法检查，违反了正当程序。上诉到了威斯康星州最高法院，法院指出，如果COMPAS从未被征询过，判决也将是相同的。然而，他们的裁决使用了敦促算法。
可以理解的是，这个案例在机器学习界引起了不小的轰动。
争议愈演愈烈
到目前为止，我们所讨论的只是一个据称是不公正的人，据称他被一种算法严厉地判断。然而，当我们快进到2014年时，这个软件背后的争议会变得更加激烈。