Legal Documents Drafting with Fine-Tuned Pre-Trained Large Language Model

随着大规模语言模型（LLM）的发展，微调预训练的LLM已成为解决自然语言处理下游任务的主流范式。然而，在法律领域训练语言模型需要大量的法律文件，以便语言模型可以学习法律术语和法律文件的特殊格式。典型的自然语言处理方法通常依赖于许多手动注释的数据集进行训练。然而，在法律领域的应用中，很难获得大量手动注释的数据集，这限制了应用于起草法律文件任务的典型方法。本文的实验结果表明，我们不仅可以利用大量无需中文分词的无注释法律文件来微调大规模语言模型，更重要的是，可以在本地计算机上微调预训练的LLM，以实现生成法律文件草案的任务，同时实现信息隐私保护和改善信息安全问题。

如何在缺乏大量标注数据的情况下，利用未分词的法律文档来训练预训练语言模型，以生成法律文档草案，并提高信息安全性？

利用未分词的法律文档来训练预训练语言模型，以生成法律文档草案，并提高信息安全性。

论文实验表明，该方法可以在本地计算机上对预训练语言模型进行微调，以完成生成法律文档草案的任务，并同时实现信息隐私保护和提高信息安全性。

最近的相关研究包括利用预训练语言模型进行文本生成的研究，以及利用未标注的数据进行预训练的研究。