Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels

我们开发了一种方法，用于训练规模较小（少于1亿个参数）的神经信息检索模型，只需要10个黄金相关性标签。该方法依赖于使用语言模型（LM）为文档生成合成查询，关键步骤是我们自动优化用于生成这些查询的LM提示，基于训练质量。在对BIRCO基准测试的实验中，我们发现使用我们的方法训练的模型优于RankZephyr，并且与RankLLama竞争，后者是使用超过100K个标签训练的7B参数模型。这些发现表明，自动提示优化对于合成数据集生成具有强大的作用。

本论文旨在通过使用语言模型生成合成查询来训练小规模（低于100M参数）的神经信息检索模型，并且只使用10个金标准相关性标签。这个方法的关键在于自动优化用于生成这些查询的LM提示，以基于训练质量进行优化。

本论文的关键思路是使用语言模型生成合成查询，并自动优化用于生成这些查询的LM提示，以提高模型的训练质量。

本论文的实验使用了BIRCO基准测试数据集，发现使用这种方法训练的模型优于RankZephyr，并且与RankLLama竞争，后者是使用超过100K标签训练的7B参数模型。这种方法为合成数据集生成提供了自动提示优化的强大功能。

与本论文相关的研究包括RankZephyr和RankLLama，它们是使用不同的方法进行信息检索的模型。