Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation

人类反馈在学习和优化文本到图像生成的奖励模型中起着至关重要的作用，但反馈应该采取何种形式才能学习准确的奖励函数还没有得出最终结论。本文研究了细粒度反馈的有效性，该反馈可以捕捉图像质量和提示对齐的微妙差别，与传统的粗粒度反馈（例如，赞/踩或在一组选项中进行排名）进行了比较。虽然细粒度反馈很有前途，特别是针对不同社会偏好的系统，但我们表明证明其优于粗粒度反馈并不是自动的。通过对真实和合成偏好数据的实验，我们揭示了由于模型选择、反馈类型和人类判断与计算解释之间的相互作用而构建有效模型的复杂性。我们确定了引出和利用细粒度反馈的关键挑战，促使重新评估其假定的优点和实用性。我们的发现——例如，在某些情况下，对于固定预算，细粒度反馈可能会导致更差的模型；然而，在已知属性的受控环境中，细粒度奖励确实可以更有帮助——呼吁仔细考虑反馈属性，并可能引出新的建模方法，以适当地释放细粒度反馈在实际应用中的潜在价值。

论文探讨了fine-grained feedback在文本到图像生成中的有效性，并与传统的coarse-grained feedback进行比较，以此来寻找适合学习准确奖励函数的最佳反馈形式。

论文通过实验发现，fine-grained feedback并不总是比coarse-grained feedback更好，其优劣需要考虑模型选择、反馈类型和人类判断与计算机解释之间的相互作用。同时，fine-grained feedback在特定的场景中可以提高模型的性能。

论文提出了fine-grained feedback和coarse-grained feedback之间的比较，并探讨了如何利用fine-grained feedback来提高文本到图像生成的性能。实验使用了真实和合成的偏好数据，并揭示了fine-grained feedback的挑战和潜在价值。论文的研究方法和实验结果对于研究者在此领域进行深入研究具有参考价值。

与此论文相关的研究包括：1. Learning to Generate Images with Perceptual Similarity Metrics；2. Fine-Grained Evaluation of Text-to-Image Generation with Attribute- and Human-Based Metrics；3. Improved Techniques for Training GANs。