Advanced Natural-based interaction for the ITAlian language: LLaMAntino-3-ANITA

为了推进意大利语的自然语言处理，我们介绍了一种基于最新的Meta LLaMA-3模型的最先进的大型语言模型（LLM）：LLaMAntino-3-ANITA-8B-Inst-DPO-ITA。我们使用监督微调（SFT）技术在英语和意大利语数据集上微调了原始的8B参数指令调整模型，以改善原始性能。因此，使用动态偏好优化（DPO）过程来对齐偏好，避免危险和不适当的回答，并限制偏见和成见。我们的模型利用QLoRA的效率，在原始模型权重的较小部分上微调模型，然后专门为意大利语言结构适应模型，从而在性能和计算效率方面取得了显着的改进。同时，DPO用于完善模型的输出，确保生成的内容与高质量的答案相一致。SFT、QLoRA的参数效率和DPO的用户中心优化之间的协同作用，导致了一个强大的LLM，在各种任务中表现出色，包括但不限于文本补全、零-shot分类和上下文理解。该模型已在意大利语和英语的标准基准测试中进行了广泛的评估，表现出优异的结果。该模型可以在HuggingFace hub上免费获得，并且我们的GitHub存储库中可以找到使用示例。

论文旨在推进意大利语自然语言处理的发展，提出了一种基于Meta LLaMA-3模型的大型语言模型，通过监督微调和动态偏好优化等技术提高了模型性能和计算效率。

论文的关键思路是使用监督微调和动态偏好优化对原始模型进行改进，并利用QLoRA提高模型的计算效率，从而得到一个在文本补全、零样本分类和上下文理解等任务中表现出色的鲁棒性大型语言模型。

论文使用了监督微调和动态偏好优化等技术，提高了模型性能和计算效率，并在意大利语和英语数据集上进行了广泛评估。模型在HuggingFace Hub上免费提供，并在GitHub上提供了使用示例和开源代码。

近期在该领域的相关研究包括：GPT-3、XLNet、RoBERTa等大型语言模型的研究。