Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training

在本报告中，我们介绍了Piccolo2模型，它在对CMTEB基准测试的6个任务进行全面评估时超越了其他模型，创造了新的最高水平。Piccolo2主要利用高效的多任务混合损失训练方法，有效地利用了来自不同下游任务的文本数据和标签。此外，Piccolo2扩大了嵌入维度并使用MRL训练来支持更灵活的向量维度。最新的Piccolo模型信息可以通过以下链接访问：https://huggingface.co/sensenova/。

论文试图通过提出Piccolo2模型解决多任务学习中的文本嵌入问题，以在CMTEB基准测试上超越其他模型并取得最新的最佳表现。

Piccolo2模型主要利用高效的多任务混合损失训练方法，有效地利用来自不同下游任务的文本数据和标签，并扩大嵌入维度并使用MRL训练以支持更灵活的向量维度。

论文在6个任务上进行了全面评估，使用了CMTEB基准测试数据集，Piccolo2模型在多任务学习中的表现超越了其他模型，实验结果表明，Piccolo2模型在NLP领域具有很高的应用前景。论文作者还提供了Piccolo2模型的开源代码和相关信息。

最近在这个领域中，还有一些相关研究，如《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》、《Multi-Task Learning for Text Classification》等。