Efficient Prompting via Dynamic In-Context Learning

解决问题： 这篇论文旨在解决在-context learning的低效问题，提出了一种名为DynaICL的方法，通过动态分配in-context examples来提高效率。

关键思路： DynaICL通过训练一个meta controller来预测适合特定输入的in-context examples数量，根据预测值和计算预算动态分配demonstrations。实验结果表明，DynaICL在计算资源或所需性能受限的两种实际情况下，可以在性能效率平衡方面取得更好的效果。

其他亮点： 该论文的实验设计了两种不同的场景，使用了不同的数据集进行验证，并与常规做法进行了比较。作者还发现，针对特定的backbone model和任务训练的meta controller可以成功地推广到未见过的模型和任务。

关于作者： 主要作者是Wangchunshu Zhou、Yuchen Eleanor Jiang、Ryan Cotterell和Mrinmaya Sachan。他们来自于多个机构，包括加州大学伯克利分校、斯坦福大学、麻省理工学院等。他们之前的代表作包括：《End-to-End Task-Completion Neural Dialogue Systems》、《A Simple and Effective Approach to the Copy-Mechanism for Named Entity Recognition》、《Neural Machine Translation with Reconstruction》等。

相关研究： 近期其他相关的研究包括： -《Learning to Learn with Feedback and Local Plasticity》（作者：Yuhuai Wu、Shuang Li、Roger Grosse，机构：多伦多大学、谷歌大脑） -《Learning to Learn from Weak Supervision by Full Supervision》（作者：Xiyang Dai、Yiming Yang，机构：斯坦福大学） -《Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference》（作者：Zhizhong Li、Dingcheng Li、Simon Du，机构：华为诺亚方舟实验室）

论文摘要：本文提出了一种名为DynaICL的有效提示方法，适用于黑盒通用模型。该方法根据输入的复杂度和计算预算动态分配上下文示例，以实现更好的性能-效率平衡。为此，我们训练了一个元控制器，根据特定输入的性能-效率权衡预测适合通用模型的上下文示例数量。然后，根据元控制器的预测和给定的计算预算动态分配示例数量。实验结果表明，与将相同数量的上下文示例分配给每个输入的常见做法相比，动态示例分配有助于在计算资源或所需性能受限的两种实际情况下实现更好的性能-效率平衡。具体而言，DynaICL相对于常见做法节省了高达46%的标记预算。我们还发现，针对某个骨干模型和任务训练的元控制器可以成功地推广到未见过的模型和任务。

内容中包含的图片若涉及版权问题，请及时与我们联系删除