IFA: Interaction Fidelity Attention for Entire Lifelong Behaviour Sequence Modeling

本文提出了一种新的高效模型，名为“交互保真度注意力（IFA）”，用于建模完整的用户行为序列。IFA将所有目标项一次性输入模型，并利用线性变换器降低了候选集与序列之间的交叉注意力的时间复杂度，从而避免了任何交互信息的丢失。此外，我们还额外建模了所有目标项的关系，以获得最佳的集合生成，并设计了损失函数以获得更好的训练和推断的一致性。我们在快手的推荐系统中进行了离线和在线实验，证明了我们模型的有效性和高效性。虽然用户的完整行为序列可以提供丰富的用户偏好信息并在推荐任务中取得了显著的改进，但它也显著增加了计算消耗。为了满足在线服务中的严格延迟要求，我们基于与目标项相似性采样了一个短的子序列，但不幸的是，未包含在子序列中的项被放弃，导致了严重的信息丢失。

本文旨在解决在在线服务中满足严格延迟要求的同时，避免严重信息丢失的问题。具体而言，如何通过模型对完整的用户行为序列进行建模，以提高推荐任务的效果和效率？

本文提出了一种新的高效模型范式，称为交互保真度注意力（IFA），通过将所有目标项一次性输入到候选集中，利用线性变换器来降低候选集和序列之间的交叉注意力的时间复杂度，同时不会有任何交互信息丢失。

本文的亮点包括：1.提出了一种新的模型范式，解决了在线服务中延迟和信息丢失的问题。2.使用了线性变换器来降低时间复杂度。3.通过优化集合生成和设计损失函数来提高训练和推理的一致性。4.通过离线和在线实验证明了模型的有效性和效率。

最近的相关研究包括《Lifelong User Behavior Sequence Modeling with Deep Streaming Transformer》和《Sequential User Modeling with Spatial-temporal Contextual Attention》。