LlamBERT: Large-scale low-cost data annotation in NLP

大型语言模型（LLMs），如GPT-4和Llama 2，在各种自然语言处理（NLP）任务中表现出了显著的熟练程度。尽管它们非常有效，但与它们的使用相关的高成本带来了挑战。我们提出了LlamBERT，这是一种混合方法，利用LLMs对大型未标记数据库的一小部分进行注释，并将结果用于微调像BERT和RoBERTa这样的变压器编码器。这种策略在两个不同的数据集上进行了评估：IMDb评论数据集和UMLS Meta-Thesaurus。我们的结果表明，LlamBERT方法在稍微牺牲准确性的同时，提供了更高的成本效益。

LlamBERT试图解决使用LLMs进行自然语言处理任务时高昂的成本问题。

LlamBERT采用混合方法，利用LLMs注释一小部分大型未标记数据库，并使用结果对Transformer编码器进行微调，以实现更高的成本效益。

LlamBERT在IMDb评论数据集和UMLS Meta-Thesaurus数据集上进行了评估，并表明该方法在稍微降低准确性的同时，提供了更高的成本效益。

最近的相关研究包括使用自监督学习方法进行预训练的LLMs，如GPT-3和Turing-NLG，以及使用半监督学习方法进行微调的模型，如ULMFiT和Semi-Supervised BERT。