Null Compliance: NYC Local Law 144 and the Challenges of Algorithm Accountability

在2023年7月，纽约市成为全球首个强制商业算法系统进行偏见审计的管辖区，特别是针对自动化招聘和晋升决策系统(AEDTs)。《当地法律144号》(LL 144)要求每年独立审计AEDTs的种族和性别偏见，并公开发布审计报告。此外，雇主还有义务在招聘广告中发布透明度通知。在这项研究中，155名学生调查员记录了391个雇主对LL 144的遵守情况以及招聘者的用户体验。在这些雇主中，有18个发布了审计报告，13个发布了透明度通知。这些比率可能被解释为LL 144实施的责任机制存在重大限制。由于该法律赋予雇主相当大的自由裁量权，因此无法说空结果表明不遵守法律，这种情况被我们称为“空白合规”。雇主的自由裁量权也可能解释了我们的发现，即几乎所有的审计报告都报告了0.8以上的影响因素，这是就业歧视案件中经常使用的经验法则。我们还发现，LL 144对普通求职者的好处受到可访问性和可用性方面的缺陷的限制。我们的研究结果为政策制定者在考虑监管算法系统时提供了重要的教训，特别是要考虑授予受监管方的自由裁量权的程度以及依赖透明度和最终用户责任的限制。

研究如何监管算法系统中的种族和性别偏见，以及如何提高求职者的用户体验。

该论文提出了一种监管算法系统的方法，要求雇主每年进行种族和性别偏见审计，并公开报告。此外，雇主还需要在招聘信息中公开透明度声明。但是，该法律赋予雇主相当大的自由裁量权，可能会导致一些空白合规情况。此外，该论文还发现了法律在提高求职者用户体验方面的局限性。

该论文通过155名学生调查了391家雇主对该法律的遵守情况以及求职者的用户体验。发现只有18家雇主公开了审计报告，13家雇主公开了透明度声明。此外，该论文还发现，由于法律赋予雇主相当大的自由裁量权，几乎所有审计报告都报告了0.8以上的影响因素。该论文还指出了法律在提高求职者用户体验方面的局限性。

最近的相关研究主要集中在监管算法系统中的公平性和透明度方面。例如，"The Measure and Mismeasure of Fairness: A Critical Review of Fair Machine Learning"和"Transparency and Explanation in Deep Reinforcement Learning Neural Networks"等论文。