THUNLP 团队前不久发布了 OpenPrompt 工具包和相关技术报告，笔者迫不及待上手尝试了一下，特意撰写此文来报告一下作为研究人员的使用感受。
本文将结合作者发布的技术报告以及个人使用感受向大家分享和介绍这个强大易用的 Prompt Learning 工具包。
主要分为四个部分：
  • 为什么我们需要 Prompt 工具包？

  • OpenPrompt 是什么？

  • OpenPrompt 的优势：为什么我们需要 OpenPrompt？

  • Next Step towards PromptCenter：不仅仅是 OpenPrompt

从 LAMA 和 GPT-3 起，Prompt Learning 在近两年开始飞速发展，涌现了一大批优秀的论文，粗略总结下可以分为 few-shot learning 和 parameter-efficient learning 两种应用场景。
尽管开源社区有很多相关论文的优秀实现，但是基于以下理由，我们仍然需要一个针对初学者可以开箱即用，对于研究者可以方便修改迭代，对于工业界容易部署的 Prompt 工具包。
  • Prompt learning 的性能并不是很稳定，需要考虑诸多的因素，诸如  template 和 verbalizer 的设计，tunable token 和 label words 的初始化和预训练模型的选择等。

  • 一些 Prompt 的工作仍基于传统 fine-tuning 的代码模版，用最小的更改成本来实现 Prompt learning，代码耦合程度较高，缺乏可读性和可复现性。

 

从上述两个因素看，作为 Prompt learning 的研究者而言，我们急需一个能够稳定实现各种经典的 Prompt learning 方法，同时对不同策略可以灵活配置，不同模块灵活组合的开源工具包。
于是，OpenPrompt 出现了。

内容中包含的图片若涉及版权问题，请及时与我们联系删除