Data Augmentation using LLMs: Data Perspectives, Learning Paradigms and Challenges

在机器学习（ML）这个快速发展的领域中，数据增强（DA）已经成为一种关键技术，通过增加训练样本的多样性而无需额外的数据收集，从而提高模型性能。本文调查了大型语言模型（LLMs）在数据增强方面的变革性影响，特别是在自然语言处理（NLP）等领域中所面临的独特挑战和机遇。从数据和学习的角度出发，我们探讨了利用大型语言模型进行数据增强的各种策略，包括一种新颖的学习范式，其中LLM生成的数据被用于进一步的训练。此外，本文还勾勒了在这个领域面临的主要挑战，从可控的数据增强到多模态数据增强。本调查强调了LLMs在DA中引入的范式转变，旨在为这个领域的研究人员和从业者提供基础指南。

本篇论文旨在探讨大型语言模型（LLMs）在数据增强（DA）中的应用，特别是在自然语言处理（NLP）领域中的挑战和机遇。

通过使用LLMs生成数据来增强模型性能，从数据和学习角度探讨了各种策略，包括使用LLMs生成的数据进行进一步训练的新学习范式。

论文介绍了LLMs在数据增强中的重要性，同时探讨了该领域所面临的主要挑战，包括可控数据增强和多模态数据增强。实验使用了多个数据集，并提供了开源代码。

最近的相关研究包括《Data Augmentation using Pre-trained Transformer Models》和《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》。