Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model

本文讨论了监督微调（SFT）在特定偏好方面调整基础大型语言模型（LLM）输出的直接方法，但也有人对其对齐深度提出了担忧，一些批评认为这只是“表面的”。在跨语言生成任务的范围内，我们对这一假设进行了批判性的检查，提出SFT的有效性可能受到其依赖先前标记以指导跨语言生成的限制。基于这一关键见解，并针对SFT的英语数据成本高昂和有限的挑战，我们引入了一种新的无需训练的对齐方法PreTTY，它采用最少的任务相关先前标记来连接基础LLM和SFT LLM，实现了可比较的性能而无需训练。在八种语言的机器翻译和词性标注实验中，PreTTY在跨语言环境中显示出了有效性。值得注意的是，通过仅使用一个或两个先前标记启动解码过程，基础LLMs可以实现与其SFT对应物相当的性能。这种方法提供了一种经济有效的替代SFT的选择，推进了多语言LLM的民主化。

本论文旨在解决基于先前标记的监督微调方法在跨语言生成任务中可能存在的局限性，提出了一种新的无需训练的对齐方法PreTTY，以实现与SFT相当的性能表现。

论文提出了一种无需训练的对齐方法PreTTY，利用最少的任务相关先前标记来连接基础LLM和SFT LLM，从而实现跨语言生成任务中的性能提升。

实验结果表明，PreTTY在机器翻译和词性标注等跨语言任务中表现出与SFT相当的性能表现，且只需使用一个或两个先前标记即可实现基础LLM与SFT LLM的性能提升。该方法为实现多语言LLM的民主化提供了一种经济实惠的替代方案。

最近的相关研究包括使用不同的对齐方法来提高跨语言生成任务的性能，如MUSE和LASER。