MMBee: Live Streaming Gift-Sending Recommendations via Multi-Modal Fusion and Behaviour Expansion

直播服务因其实时互动和娱乐而越来越受欢迎。观众可以聊天、发送评论或虚拟礼物来表达对主播的喜好。准确地建模赠送互动不仅可以增强用户体验，还可以增加主播的收入。以往的直播赠送预测研究将此任务视为传统的推荐问题，并使用分类数据和观察到的历史行为来建模用户的喜好。然而，使用有限的分类信息精确描述直播实时内容变化是具有挑战性的。此外，由于赠送行为的稀疏性，捕捉用户的偏好和意图非常困难。在这项工作中，我们提出了基于实时多模态融合和行为扩展的MMBee来解决这些问题。具体而言，我们首先提出了一个带可学习查询的多模态融合模块(MFQ)，以感知流媒体片段的动态内容和处理复杂的多模态交互，包括图像、文本评论和语音。为了缓解赠送行为的稀疏问题，我们提出了一种新颖的基于图形引导的兴趣扩展(GIE)方法，在具有多模态属性的大规模赠送图上学习用户和主播表示。全面的实验结果表明，MMBee在公共数据集和快手真实世界直播数据集上都取得了显著的性能提升，并且通过在线A/B实验进一步验证了其有效性。MMBee已经部署并为数亿用户提供服务。

本论文旨在解决直播送礼物预测中的问题，包括动态内容建模和用户意图捕捉等方面。相比于传统的推荐问题，直播送礼物预测更难以通过有限的分类数据和历史行为来准确描述实时内容变化和用户意图。

本论文提出了一种基于实时多模态融合和行为扩展的模型MMBee。该模型包括多模态融合模块和基于图的兴趣扩展方法。具体地，多模态融合模块利用可学习查询来感知流媒体的动态内容和处理复杂的多模态交互。基于图的兴趣扩展方法则通过在大规模送礼物图上学习用户和主播的表示来缓解送礼物行为的稀疏性问题。

本论文在公共数据集和快手真实世界流媒体数据集上实验，结果表明MMBee在送礼物预测方面取得了显著的性能提升，同时在线A/B实验也进一步验证了其有效性。此外，MMBee已经部署并为数亿用户提供服务。

近期在这个领域中的相关研究包括《Deep Learning for User-Generated Content Recommendation in Social Media》、《Multi-modal Neural Machine Translation》等。