Refining Joint Text and Source Code Embeddings for Retrieval Task with Parameter-Efficient Fine-Tuning

最新的自然语言处理（NLP）发展已经在代码-文本检索问题上取得了显著进展。随着在此任务中使用的基于Transformer的模型不断增加规模，端到端微调所需的计算成本和时间变得相当可观。这在计算资源有限时利用和适应这些模型时带来了重大挑战。出于这些担忧，我们提出了一种微调框架，利用参数高效微调（PEFT）技术。此外，我们采用对比学习目标来提高Transformer模型学习的双模式表示的质量。此外，对于PEFT方法，我们提供了广泛的基准测试，这在文献中被强调为一个重要问题。基于对CodeT5+模型在两个数据集上进行的深入实验，我们证明了所提出的微调框架有潜力通过调整最多0.4％的参数来提高代码-文本检索性能。

本论文旨在解决使用Transformer模型进行代码-文本检索时，由于模型规模的增加，导致端到端微调的计算成本和时间成本也相应增加，从而在计算资源有限的情况下难以应用和利用这些模型的问题。

本论文提出了一种Fine-Tuning框架，利用参数高效微调（PEFT）技术来减少微调所需的计算成本和时间成本。此外，采用对比学习目标来提高Transformer模型学习的双模态表示质量。

本论文对PEFT方法进行了广泛的基准测试，并在两个数据集上对CodeT5+模型进行了详尽的实验，表明所提出的Fine-Tuning框架可以通过微调最多0.4％的参数来提高代码-文本检索性能。

最近在这个领域中，也有一些相关研究，例如“CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing”和“Improving Code Retrieval Effectiveness with Cross-Modal Projected Attention and Language Model Pre-Training”。