ICLGuard: Controlling In-Context Learning Behavior for Applicability Authorization

在-context learning (ICL) 是大型语言模型(LLMs)能力的最新进展。这个特性允许用户在不更新模型的情况下执行新任务。具体来说，用户可以在推理时通过在测试输入和少量输入-标签对演示的条件下解决任务。这与传统的微调范式不同，提供了更大的灵活性。然而，这种能力也带来了潜在的问题。例如，用户可能会在没有限制的任何数据上使用模型，例如执行不当或敏感内容的任务，这可能会违反模型策略或与模型所有者的利益冲突。作为模型所有者，建立一种机制以控制模型在ICL下的行为对于模型所有者对于各种内容的要求至关重要。为此，我们介绍了针对LLMs量身定制的“适用授权”概念，特别是针对ICL行为，并提出了一个简单的方法ICLGuard。它是一个微调框架，旨在允许模型所有者在不同数据上调节ICL行为。ICLGuard保留原始的LLM，并仅微调一小组额外的可训练参数来“保护”LLM。实证结果表明，受保护的LLM可以在目标数据上停用其ICL功能，而不影响其在其他数据上的ICL功能和在所有数据上的一般功能。

如何控制大型语言模型的上下文学习行为，以适应不同数据的需求？

提出了一种名为ICLGuard的微调框架，用于控制大型语言模型的上下文学习行为，以适应不同数据的需求。ICLGuard保留了原始大型语言模型，并仅微调一小部分可训练参数来保护大型语言模型。

实验结果表明，被ICLGuard保护的大型语言模型可以在不影响其在其他数据上的ICL能力和总体功能的情况下，在目标数据上停用其ICL能力。

与ICLGuard相关的研究包括使用不同的方法来控制大型语言模型的行为，例如添加约束或使用不同的微调方法。相关论文包括“Controllable Inference for Large-Scale Language Models via Slots with Expansion”和“Leveraging Adversarial Attacks to Control Inference of Large-Scale Language Models”。