Machine Unlearning of Pre-trained Large Language Models

本研究探讨了“被遗忘权”概念在大型语言模型（LLMs）中的应用。我们研究了机器遗忘作为一个关键解决方案，重点关注了预训练模型——一个明显未经研究的领域。我们的研究勾勒出了一个全面的预训练LLMs机器遗忘框架，包括对七种不同遗忘方法的批判性分析。通过使用来自arXiv、书籍和GitHub的策划数据集进行严格评估，我们建立了一个强大的遗忘绩效基准，证明这些方法比重新训练高出10的5次方倍的计算效率。我们的结果表明，将梯度上升与梯度下降结合在分布数据上可以提高超参数的鲁棒性。我们还提供了详细的指导方针，以便在遗忘过程中进行高效的超参数调整。我们的发现推进了有关道德人工智能实践的讨论，为预训练LLMs机器遗忘的机制提供了实质性的见解，并强调了负责任的人工智能发展的潜力。

本论文旨在探讨大型语言模型（LLMs）中“被遗忘权”的概念，以及机器遗忘作为一个关键解决方案。具体而言，研究了预训练模型这一尚未得到充分研究的领域，提出了机器遗忘预训练LLMs的全面框架，并对七种不同的遗忘方法进行了评估。

论文提出了一种机器遗忘预训练LLMs的全面框架，包括七种不同的遗忘方法，并证明这些方法的计算效率比重新训练高达10^5倍。同时，研究表明在分布数据上将梯度上升与梯度下降相结合可以提高超参数的鲁棒性，并提供了高效超参数调整的详细指南。

论文使用了来自arXiv、书籍和GitHub的精选数据集进行了严格评估，建立了遗忘性能的强大基准。此外，论文提供了有关机器遗忘预训练LLMs的详细指南，以促进道德AI实践。值得注意的是，这篇论文的思路具有创新性和实用性，为机器学习领域提供了新的思路。

最近在这个领域中，还有一些相关的研究。例如，有关LLMs的其他研究包括《GPT-3的探索和评估》、《BERT：双向编码的Transformer的预训练深度学习模型》等。此外，还有一些研究关注于机器遗忘方法的改进，例如《基于梯度的机器遗忘方法的改进》等。