The Foundation Model Transparency Index v1.1: May 2024

基础模型越来越重要，但也越来越难以理解。为了描述现状，基础模型透明度指数于2023年10月推出，以衡量领先的基础模型开发者的透明度。2023年10月的第一版指数评估了10个主要的基础模型开发者（例如OpenAI，Google）的100个透明度指标（例如开发者是否公开支付数据劳动力工资的信息）。当时，开发者公开披露的信息非常有限，平均得分为100分中的37分。为了了解现状如何改变，我们进行了一项跟进研究（v1.1），在6个月后对14个开发者进行了相同的100个指标评分。在v1.0中，我们搜索了公开的信息，而在v1.1中，开发者提交了关于100个透明度指标的报告，可能包括以前不公开的信息。我们发现，开发者平均得分为100分中的58分，比v1.0提高了21分。这种提高很大程度上是由开发者在v1.1过程中披露信息所推动的：平均而言，开发者披露了与16.6个指标相关的以前未公开的信息。我们观察到一些持续的（即在v1.0和v1.1中都存在）和系统性的（即在大多数或所有开发者中都存在）不透明度，例如版权状态、数据访问、数据劳动力和下游影响。我们为每个开发者发布透明度报告，整合信息披露：这些报告基于开发者向我们披露的信息。我们的研究结果表明，在这个新兴的生态系统中，透明度可以得到改善，基础模型透明度指数可能有助于这些改善，政策制定者应考虑在透明度没有得到改善的领域进行干预。

Foundation Model Transparency Index的更新版本v1.1旨在了解基础模型开发者的透明度情况，并比较其与先前版本v1.0的变化。该研究试图解决基础模型透明度不足的问题。

与先前版本v1.0不同，v1.1要求开发者提交关于100个透明度指标的报告，包括以前未公开的信息。结果显示，平均而言，开发者在v1.1中披露了16.6个指标的信息，透明度得分平均提高了21分。研究还发现，版权状况、数据获取、数据劳动和下游影响等方面存在持续和系统性的不透明度。

研究为每个开发者发布了透明度报告，总结了他们披露的信息。这篇论文强调了透明度在基础模型生态系统中的重要性，并提供了一种可行的途径来提高透明度。

在这个领域中，还有一些相关的研究，例如《人工智能的透明度和解释性：一个系统文献综述》、《基于可解释性的人工智能技术综述》等。