From Reward Shaping to Q-Shaping: Achieving Unbiased Learning with LLM-Guided Knowledge

Q-shaping 是 Q 值初始化的扩展，作为一种替代奖励塑造的方法，用于将领域知识纳入智能体训练以加速训练过程，从而通过直接塑造 Q 值来提高样本效率。这种方法在各种任务中都具有普适性和鲁棒性，可以实现立即影响评估并保证最优性。我们使用大型语言模型（LLM）作为启发式提供者，在 20 个不同的环境中评估了 Q-shaping。结果表明，Q-shaping 显著提高了样本效率，在每个环境中都比最佳基线提高了 \textbf{16.87\%}，相比于基于 LLM 的奖励塑造方法，提高了 \textbf{253.80\%}。这些发现将 Q-shaping 建立为强大而无偏的替代传统奖励塑造的强有力方法。

本论文旨在探讨Q-shaping作为一种替代奖励塑造的方法，通过直接塑造Q值来加速智能体训练，从而提高样本效率。该方法是否比传统的奖励塑造更有效？

Q-shaping是一种新的方法，通过直接塑造Q值来加速智能体训练。该方法既通用又健壮，可在不同任务中保证最优性能，而且与当前领域的研究相比，具有更高的样本效率和更好的性能。

本论文通过使用大型语言模型（LLM）作为启发式提供者，对20个不同的环境进行了Q-shaping的评估。结果表明，Q-shaping显著提高了样本效率，在每个环境中都比最佳基线提高了16.87％，与基于LLM的奖励塑造方法相比，提高了253.80％。此外，本论文的方法具有通用性和健壮性，可在不同任务中保证最优性能。

最近的相关研究包括奖励塑造和其他Q值初始化方法。其中，奖励塑造是一种常见的方法，用于加速智能体的训练，但它容易引入偏差。而本论文提出的Q-shaping方法可以避免这种偏差，并且在不同任务中具有更好的性能。