Reinforcement learning for question answering in programming domain using public community scoring as a human feedback

在本研究中，我们通过将人类反馈的强化学习（RLHF）和来自Stack Overflow的分数相结合，探究了GPT Neo 125M在编程社区问答（CQA）中性能的提升。我们采用了两种不同的奖励模型训练策略，利用Proximal Policy Optimization（PPO）进行微调。值得注意的是，通过这种方法实现的性能提升与GPT Neo 2.7B参数变体相当。此外，我们引入了一个辅助评分机制，展示了传统语言度量在评估编程领域响应时的局限性。通过准确的分析，本文探讨了传统语言度量与基于人类偏好的奖励模型之间的差异，强调了领域特定评估方法的重要性。通过阐明将RLHF应用于编程CQA中涉及的复杂性，并强调上下文感知评估的重要性，本研究有助于通过专注于人类反馈来完善大型语言模型。

本文旨在通过人类反馈的强化学习和利用Stack Overflow得分，提高GPT Neo 125M在编程社区问答中的表现。

本文的关键思路是使用人类反馈的强化学习和利用Stack Overflow得分来改进GPT Neo 125M在编程社区问答中的表现，并引入辅助评分机制来强调领域特定的评估方法的重要性。

本文通过两种不同的奖励模型训练策略进行微调，取得了与GPT Neo 2.7B参数变体相当的性能改进。此外，引入了辅助评分机制，强调了传统语言评估指标在编程领域中的局限性。实验结果表明，本文的方法能够通过人类反馈来提高大语言模型的性能，具有重要的实际应用价值。

最近在这个领域中，还有一些相关的研究，如使用强化学习来改进自然语言生成，或使用Stack Overflow来帮助程序员解决问题。