eCeLLM: Generalizing Large Language Models for E-commerce from Large-scale, High-quality Instruction Data

在开发有效的电子商务模型方面付出了巨大的努力，但传统的电子商务模型在通用电子商务建模方面显示出有限的成功，并且在新用户和新产品上表现不佳，这是一种典型的领域外泛化挑战。同时，大型语言模型在许多领域的通用建模和领域外泛化能力方面展现出了出色的性能。为了充分发挥它们在电子商务中的作用，本文构建了 ECInstruct，这是第一个开源、大规模、高质量的电子商务基准指令数据集。利用 ECInstruct，我们通过指令调整通用型语言模型开发了 eCeLLM 系列电子商务语言模型。我们的全面实验和评估表明，eCeLLM 模型在领域内评估中显著优于基线模型，包括最先进的 GPT-4 和最先进的任务特定模型。此外，eCeLLM 在领域外设置中表现出极好的通用性，包括看不见的产品和看不见的指令，突显了它作为通用电子商务模型的优越性。ECInstruct 数据集和 eCeLLM 模型展示了为电子商务赋能多功能和有效的语言模型的巨大潜力。ECInstruct 和 eCeLLM 模型可通过 https://ninglab.github.io/eCeLLM 公开获取。

论文旨在解决现有通用电子商务模型在新用户和新产品上的泛化能力不足的问题，提出了一个新的解决方案。

通过构建ECInstruct数据集，利用大规模语言模型（LLMs）进行指令调整，开发了一系列名为eCeLLM的电子商务LLMs，展现了其在泛化能力和性能方面的优越性。

ECInstruct数据集是一个开源、大规模、高质量的电子商务指令基准数据集，eCeLLM模型在内部评估中表现出比基线模型和最先进的任务特定模型更好的性能，同时在泛化能力方面也表现出色。

最近的相关研究包括使用LLMs的其他领域中的泛化性能研究，如自然语言处理和计算机视觉等。