Harnessing Large Language Models for Multimodal Product Bundling

产品捆绑为客户提供了一个由个别项目组成的战略组合。近年来，它已成为在线服务的基本前提条件，引起了重要的关注。最近的方法通过复杂的提取器利用多模态信息进行捆绑，但仍受到较差的语义理解、知识范围受限和无法处理冷启动问题的限制。尽管大型语言模型（LLMs）具有广泛的知识和复杂的推理能力，但它们的直接利用无法处理多模态信息并利用其知识进行多模态产品捆绑。为此，需要适应LLMs以展示不同模态之间的协同作用，并设计有效的捆绑优化策略，这仍然具有挑战性。为此，我们介绍了Bundle-LLM来弥合LLMs和产品捆绑任务之间的差距。具体而言，我们利用混合项标记化来集成多模态信息，其中一个简单但强大的多模态融合模块跟随一个可训练的投影器将所有非文本特征嵌入单个标记中。该模块不仅明确展示了模态之间的相互作用，而且缩短了提示长度，从而提高了效率。通过设计提示模板，我们将产品捆绑形式化为给定候选项的多项选择题。此外，我们采用渐进优化策略来微调LLMs以实现解耦的目标，从而实现了具有全面多模态语义理解的有效产品捆绑能力。对来自两个应用领域的四个数据集进行的广泛实验表明，我们的方法优于一系列最先进的方法。

本论文旨在解决产品捆绑中的多模态语义理解问题，提出了一种基于大型语言模型的捆绑方法，即Bundle-LLM。

Bundle-LLM利用混合项标记化来整合多模态信息，采用可训练的投影仪将所有非文本特征嵌入单个标记中，并通过渐进式优化策略实现对多个目标的细粒度优化，从而实现了有效的产品捆绑能力。

论文的亮点包括采用了混合项标记化来整合多模态信息，设计了一种多项选择问题的提示模板来表示产品捆绑，采用渐进式优化策略进行细粒度优化，实验结果表明该方法在四个数据集上均优于现有方法。

最近相关的研究包括使用多模态信息进行产品捆绑的方法，如MFB和MMOE，以及利用大型语言模型进行自然语言处理任务的方法，如BERT和GPT。