Zero-shot LLM-guided Counterfactual Generation for Text

计数事实例常常被用于许多自然语言处理任务的模型开发和评估。虽然已经探索了自动生成计数事实例的方法，但这些方法依赖于诸如预训练语言模型之类的模型，然后在辅助数据集上进行微调，这些数据集通常是任务特定的。收集和注释这样的数据集以生成计数事实例是非常费时的，因此在实践中是不可行的。因此，在这项工作中，我们专注于一个新颖的问题设置：零-shot计数事实例生成。为此，我们提出了一种结构化的方法，利用大型语言模型（LLMs）作为通用计数事实例生成器。我们假设最近LLMs的指令遵循和文本理解能力可以有效地利用，以零-shot方式生成高质量的计数事实例，而无需任何训练或微调。通过在自然语言处理（NLP）的各种下游任务上进行全面的实验，我们证明了LLMs作为零-shot计数事实例生成器在评估和解释黑箱NLP模型方面的有效性。

论文旨在解决零样本反事实生成的问题，即不需要任何训练或微调，利用大型语言模型作为通用反事实示例生成器。

通过利用最近大型语言模型的指示遵循和文本理解能力，以结构化的方式将其作为通用反事实示例生成器，从而实现零样本反事实生成。

通过在各种自然语言处理（NLP）下游任务上进行全面实验，论文展示了大型语言模型作为零样本反事实生成器在评估和解释黑盒NLP模型方面的有效性。

最近的相关研究包括基于预训练语言模型的反事实生成方法，以及使用自监督学习的反事实生成方法。