TongGu: Mastering Classical Chinese Understanding with Knowledge-Grounded Large Language Models

古文是通往中国古代丰富遗产和智慧的门户，但其复杂性对于大多数没有专业知识的现代人来说构成了巨大的理解障碍。尽管大型语言模型（LLM）在自然语言处理（NLP）方面表现出了非凡的能力，但它们在古文理解（CCU）方面仍然存在困难，特别是在需要大量数据和知识密集型任务中。为了解决这个问题，我们提出了第一个专门针对CCU的LLM——\textbf{TongGu}（意为理解古今），其基于三个核心贡献。首先，我们构建了一个两阶段的指令调整数据集ACCN-INS，该数据集源自丰富的古文语料库，旨在释放LLM的完整CCU潜力。其次，我们提出了冗余感知调整（RAT）来防止灾难性遗忘，使TongGu在保留其基础知识的同时获得新的能力。第三，我们提出了一种CCU检索增强生成（CCU-RAG）技术，以基于知识的方式减少幻觉。在24个不同的CCU任务上进行的大量实验验证了TongGu的卓越能力，突显了RAT和CCU-RAG的有效性。该模型和数据集将公开发布。

本论文旨在解决大型语言模型在理解古汉语方面的困难，提出了一种针对古汉语理解的大型语言模型TongGu。

TongGu是一种针对古汉语理解的大型语言模型，通过构建一个两阶段的指令调整数据集、提出冗余感知调整（RAT）以及提出基于知识基础的CCU检索增强生成（CCU-RAG）技术，使其具有更好的古汉语理解能力。

论文提出的TongGu模型在24个不同的古汉语理解任务中表现出了优异的性能，并且通过RAT和CCU-RAG技术的应用，避免了模型遗忘和幻觉的问题。此外，论文提供了数据集和代码。

在古汉语理解领域，目前还没有太多相关的研究。