USE: Dynamic User Modeling with Stateful Sequence Models

用户嵌入在用户参与度预测和个性化服务中起着至关重要的作用。最近序列建模的进展引起了从行为数据中学习用户嵌入的兴趣。然而，基于行为的用户嵌入学习面临着动态用户建模的独特挑战。由于用户不断与应用程序进行交互，因此应周期性地更新用户嵌入，以考虑用户的最近和长期行为模式。现有方法高度依赖于无状态序列模型，缺乏历史行为的记忆。他们必须丢弃历史数据并仅使用最近的数据，或者联合重新处理旧数据和新数据。这两种情况都会产生大量的计算开销。为解决这个限制，我们引入了用户状态嵌入（USE）。USE生成用户嵌入，并反映用户的不断变化的行为，无需耗费大量计算资源，通过存储先前的模型状态并在未来重新访问它们来实现。此外，我们引入了一种名为未来W行为预测的新型训练目标，以超越下一个标记预测的限制，通过预测更广泛的即将发生的用户行为来预测用户行为。通过将其与相同用户预测相结合，后者是一种基于对比学习的目标，用于预测行为序列的不同段是否属于同一用户，我们进一步提高了嵌入的独特性和代表性。我们在Snapchat用户的行为日志中进行了8个下游任务的实验，包括静态（即固定用户行为序列）和动态（即周期性更新用户行为序列）设置。我们证明了USE在已有基线上具有更好的性能。结果强调了USE在动态用户建模中将历史和最近的用户行为序列整合到用户嵌入中的有效性和效率。

本论文旨在解决基于行为数据学习用户嵌入时遇到的动态用户建模的问题，提出了一种新的方法来生成用户嵌入并反映用户的不断变化的行为模式。

该方法通过存储先前的模型状态并在未来重新访问它们，而无需进行详尽的重新处理，有效地将历史和最近的用户行为序列整合到用户嵌入中。此外，还引入了一种新的训练目标，名为未来W行为预测，以预测更广泛的未来用户行为。

论文在Snapchat用户的行为日志上进行了实验，并在静态和动态设置下进行了8个下游任务的测试，证明了该方法的优越性能。该方法的亮点包括使用了未来W行为预测和相同用户预测两种训练目标来提高嵌入的独特性和代表性。

最近的相关研究包括使用深度学习方法学习用户嵌入和解决动态用户建模问题。相关的论文包括《Deep Learning for User Embeddings in Sponsored Search》和《A Dynamic Recurrent Mixture Model for Session-based Recommendations》等。