What Hides behind Unfairness? Exploring Dynamics Fairness in Reinforcement Learning

在涉及种族和性别等敏感属性的顺序决策问题中，强化学习（RL）代理必须在最大化回报的同时仔细考虑长期公平性。最近的研究提出了许多不同类型的公平概念，但是在RL问题中不公平是如何产生的仍然不清楚。本文通过因果镜头研究探究了不平等的来源，填补了文献中的这一空白。我们首先分析了数据生成过程中的因果关系，并将敏感属性对长期福祉的影响分解为不同的组成部分。然后，我们引入了一种新的概念，称为动态公平性，它明确地捕捉了环境动态引起的不平等，区别于决策制定或从过去继承而来的不平等。这个概念需要评估改变敏感属性的值而保持其他条件不变时，下一个状态和奖励的预期变化。为了定量评估这个反事实的概念，我们推导了识别公式，从而可以从数据中获得可靠的估计。广泛的实验证明了所提出的技术在解释、检测和减少强化学习中的不平等方面的有效性。

研究针对涉及种族和性别等敏感属性的顺序决策问题中的不公平性问题，探究不公平性的来源和原因。

引入动态公平性的概念，从因决策、环境动态和历史遗留问题等不同角度分析敏感属性对长期福利的影响，提出可从数据中估计的识别公式。

论文提出了动态公平性的概念，解决了当前研究中不公平性来源不清晰的问题；通过实验验证了提出方法的有效性，可以帮助解释、检测和减少RL中的不公平性。

在这个领域中，还有一些相关研究，如《A Survey on Bias and Fairness in Machine Learning》、《Fairness and Abstraction in Sociotechnical Systems》等。