Enhancing Taobao Display Advertising with Multimodal Representations: Challenges, Approaches and Insights

尽管多模态数据被认为可以提高模型准确性，但许多大规模工业推荐系统，包括淘宝展示广告系统，主要依赖于其模型中的稀疏ID特征。在这项工作中，我们探索了利用多模态数据提高推荐准确性的方法。我们从确定在工业系统中以有效和成本效益的方式采用多模态数据的关键挑战开始。为了解决这些挑战，我们引入了一个两阶段框架，包括：1）预训练多模态表示以捕捉语义相似性，和2）将这些表示与现有的基于ID的模型集成。此外，我们详细介绍了我们生产系统的架构，旨在促进多模态表示的部署。自从在2023年中期集成多模态表示以来，我们已经观察到淘宝展示广告系统的显着性能提升。我们相信，我们所收集的见解将成为寻求在其系统中利用多模态数据的从业人员的宝贵资源。

本论文旨在探索如何利用多模态数据提高推荐系统的准确性，解决工业系统中采用多模态数据的挑战。

该论文提出了一个两阶段的框架，包括预训练多模态表示以捕捉语义相似性和将这些表示与现有的基于ID的模型集成。同时，论文详细介绍了生产系统的架构，以便于部署多模态表示。

论文在淘宝展示广告系统中集成多模态表示后，观察到了显著的性能提升。该论文的实验设计详细，使用了真实数据集，并开源了代码。此外，该论文的思路对于希望在其系统中利用多模态数据的从业人员来说，具有很高的参考价值。

最近的相关研究包括：1）多模态表示学习方法的改进；2）基于深度学习的推荐系统的研究；3）基于图像和文本的推荐系统的研究。