Self and Cross-Model Distillation for LLMs: Effective Methods for Refusal Pattern Alignment

本文探讨了如何使用对齐技术来缓解大型语言模型（LLMs）在文本生成中的安全风险，包括监督微调（SFT）和基于人类反馈的强化学习（RLHF）。作者进行了一项实证研究，发现具有均匀拒绝模式的模型（如Claude3）表现出更高的安全性。基于这些发现，作者提出了自我蒸馏和跨模型蒸馏方法来增强LLMs的安全性。结果表明，这些方法显著提高了拒绝率并减少了不安全的内容，其中跨模型蒸馏的拒绝率接近于Claude3的94.51%。这些发现强调了蒸馏对于保护LLMs免受有害提示的潜力。

本文旨在研究大型语言模型（LLMs）在生成文本时容易受到有害提示的影响，提出了一种对齐技术，包括监督微调（SFT）和从人类反馈中的强化学习（RLHF），以减轻这些风险。

本文提出了自我蒸馏和跨模型蒸馏方法来增强LLM的安全性，通过实验研究发现，拒绝率均匀的模型具有更高的安全性。

本文通过实验研究发现，模型的拒绝率与其安全性密切相关，提出了自我蒸馏和跨模型蒸馏方法来增强LLM的安全性，实验结果表明这些方法显著提高了拒绝率并减少了不安全的内容，跨模型蒸馏的拒绝率接近于最安全的模型Claude3的94.51%。

最近的相关研究包括对抗样本和语言模型的安全性研究，如“Adversarial Attacks on Large Language Models”和“Towards Robust and Secure Language Models”。