LLM-Ensemble: Optimal Large Language Model Ensemble Method for E-commerce Product Attribute Value Extraction

产品属性值提取是自然语言处理（NLP）和当代电子商务行业的关键组成部分。提供精确的产品属性值对于确保高质量的推荐和提高客户满意度至关重要。最近出现的大型语言模型（LLM）在许多属性提取任务中展示了最先进的性能，而无需特定领域的训练数据。然而，由于数据、架构和超参数的多样性，不同的LLM展示出不同的优缺点。这种差异使它们彼此互补，没有单个LLM能够统治所有其他LLM。考虑到LLM的不同优势和劣势，开发一种利用它们互补潜力的集成方法变得必要。本文提出了一种名为LLM-ensemble的新算法，用于集成不同LLM的输出以进行属性值提取。我们迭代地学习不同LLM的权重，以加权聚合标签以预测最终的属性值。我们提出的方法不仅可以从理论上证明最优，而且确保了高效的计算、快速的收敛和安全的部署。我们还在沃尔玛的内部数据上对各种最先进的LLM进行了广泛的实验，包括Llama2-13B、Llama2-70B、PaLM-2、GPT-3.5和GPT-4。我们的离线指标表明，LLM-ensemble方法在沃尔玛的内部数据集上优于所有最先进的单个LLM。这种方法已经在几个生产模型中推出，导致了毛利交易额（GMV）、点击率（CTR）、转化率（CVR）和加入购物车率（ATC）的提高。

该论文旨在解决产品属性值提取的问题，以提高自然语言处理和电子商务领域的推荐质量和客户满意度。

该论文提出了一种新的算法LLM-ensemble，通过集成不同LLMs的输出来提取属性值，利用它们的互补潜力，进一步提高准确性。

该论文通过对Walmart内部数据进行广泛的实验，证明LLM-ensemble方法在属性值提取方面优于所有最先进的单个LLM。该方法已在几个生产模型中推出，提高了GMV、CTR、CVR和ATC。

最近在这个领域中，还有其他相关的研究，例如《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、《RoBERTa: A Robustly Optimized BERT Pretraining Approach》等。