The Human Factor in AI Red Teaming: Perspectives from Social and Collaborative Computing

通用AI的快速进展引起了对“红队”测试的重大关注，这种对抗性测试起源于军事和网络安全应用。AI红队测试引发了许多有关人为因素的问题，例如如何选择红队成员、测试进行时的偏见和盲点，以及有害内容对红队成员心理的影响。越来越多的人机交互和计算机支持协同工作（HCI和CSCW）文献研究了相关实践，包括数据标记、内容审核和算法审计。然而，几乎没有人研究过红队测试本身。本研讨会旨在考虑与这种实践相关的概念和实证挑战，这些挑战通常由非披露协议使其不透明。未来的研究可以探讨从公平性到心理健康和其他潜在危害领域的话题。我们旨在促进一个研究人员和从业者的社区，他们可以以创造性、创新性和深思熟虑的方式开始应对这些挑战。

探讨人工智能红队行动的概念和实证挑战，以及相关的人类因素问题。

通过建立研究和实践社区来创新、反思和解决人工智能红队行动中的挑战，包括测试盲点、红队员选择、心理健康等问题。

该研究提出了人工智能红队行动的概念和挑战，并探讨了相关的人类因素问题。研究还呼吁建立研究和实践社区来创新、反思和解决这些挑战。

最近的HCI和CSCW文献探讨了相关实践，如数据标记、内容审核和算法审计，但很少有论文探讨红队行动本身。