JaFIn: Japanese Financial Instruction Dataset

本研究在日本金融领域构建了一份用于大型语言模型（LLM）的指令数据集。随着语言模型的普及，包括LLM在内的领域自适应语言模型受到越来越多的关注。本研究通过指令调整展示了领域自适应的有效性。为了实现这一目标，我们提出了一份名为JaFIn的指令调整数据集，它是一份日语金融指令数据集，基于多个数据源手动构建，包括提供广泛金融知识的日本政府网站。我们利用JaFIn对多个LLM进行指令调整，证明了我们专门针对金融领域的模型比原始模型具有更好的领域适应性。通过定量的日本金融基准测试和定性的响应比较，评估了创建的金融专业LLM，显示出比原始模型更好的性能。

论文旨在通过指令调整提高日本金融领域的大型语言模型的领域自适应性能，解决金融领域语言模型领域自适应性能不足的问题。

论文的关键思路是通过手动构建一个名为JaFIn的日本金融指令数据集，利用该数据集对多个大型语言模型进行指令调整，从而提高它们在金融领域的领域自适应性能。

论文手动构建了一个名为JaFIn的日本金融指令数据集，并使用该数据集对多个大型语言模型进行指令调整，实验结果表明，这些在金融领域进行特化的语言模型具有更好的领域自适应性能，比原始模型表现更好。论文还使用了一个量化的日本金融基准和定性的响应比较来评估这些特化的语言模型的性能。论文的亮点在于提出了一种有效的领域自适应方法，并且手动构建了一个日本金融指令数据集。

最近在该领域中，还有一些相关的研究，例如：“Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing”和“Improving Language Understanding by Generative Pre-Training”等。