Credit Attribution and Stable Compression

2024年06月22日
  • 简介
    信用归属在各个领域都非常重要。在学术研究中,适当的引用可以承认先前的工作并确定原创贡献。同样,在生成模型中,例如那些在现有艺术品或音乐上训练的模型中,重要的是要确保任何受这些作品影响的生成内容适当地归功于原始创作者。我们研究机器学习算法的信用归属。我们提出了新的定义——松弛的差分隐私——这些定义减弱了对于指定的$k$个数据点的稳定性保证。这$k$个数据点可以在获得其所有者的许可下使用,可能会得到补偿。同时,其余的数据点保证不会对算法的输出产生重大影响。我们的框架扩展了广泛研究的稳定性概念,包括差分隐私($k=0$)、使用公共数据的差分隐私学习(其中$k$个公共数据点事先固定)和稳定样本压缩(其中$k$个数据点由算法自适应选择)。我们研究了这些稳定性概念在PAC学习框架中的表达能力,提供了对遵循这些原则的算法的可学性的全面描述,并提出了未来研究的方向和问题。
  • 图表
  • 解决问题
    本文研究机器学习算法中的信用归因问题,提出了一种新的定义,弱化了对于某个指定的数据点子集的稳定性保证,这些数据点可以在获得其所有者的许可并可能获得补偿的情况下被非稳定地使用,同时其余数据点的影响对算法的输出没有显著影响。
  • 关键思路
    本文提出的信用归因方法在差分隐私、公共数据差分隐私学习和稳定样本压缩等稳定性概念的基础上进行扩展,提供了算法可学习性的全面表征。
  • 其它亮点
    本文研究了机器学习算法中信用归因的问题,提出了一种新的定义,弱化了对于某个指定的数据点子集的稳定性保证,这些数据点可以在获得其所有者的许可并可能获得补偿的情况下被非稳定地使用,同时其余数据点的影响对算法的输出没有显著影响。本文的方法在差分隐私、公共数据差分隐私学习和稳定样本压缩等稳定性概念的基础上进行扩展,提供了算法可学习性的全面表征。
  • 相关研究
    最近的相关研究包括差分隐私、公共数据差分隐私学习和稳定样本压缩等方面的工作。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论