标题：循环智能｜ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization（ZeroPrompt：将基于提示的预训练扩展到1000 个任务改进了零样本泛化）

作者：Hanwei Xu, Yujun Chen, Yulun Du, Zhilin Yang等

简介：本文提出了一种多任务预训练方法ZeroPrompt用于零样本泛化，专注于任务缩放和零样本提示。虽然以前的模型是在只有几十个任务，作者扩展到 1,000 个任务首次使用真实世界的数据。 这导致一个重要的发现，即任务扩展可以是模型缩放的有效替代方案； 即，模型大小对数量巨大的性能的任务。作者的结果表明，任务扩展可以大幅度提高训练效率在 FLOP 中增加 30 倍。此外，作者提出一种结合了遗传算法的提示方法来自动搜索看不见的任务的最佳提示，以及一些其他改进。 根据经验，ZeroPrompt大大提高了效率和零样本学习的性能各种学术和生产数据集。

论文地址：https://arxiv.org/pdf/2201.06910.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除