Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems

学习特征交互是构建推荐系统的关键支柱。在Web规模应用中，由于输入特征空间稀疏且庞大，学习特征交互非常具有挑战性；同时，手动构建有效的特征交互在指数级解空间下是不可行的。我们提出利用基于注意力层的Transformer架构自动捕捉特征交互。Transformer架构在许多领域，如自然语言处理和计算机视觉中取得了巨大成功。然而，在工业界中，Transformer架构在特征交互建模方面的应用并不多见，我们旨在弥合这一差距。我们确定了将基本Transformer架构应用于Web规模推荐系统的两个关键挑战：（1）Transformer架构无法在自注意力层中捕捉异构特征交互；（2）Transformer架构的服务延迟可能过高，无法在Web规模推荐系统中部署。我们首先提出了异构自注意力层，这是对Transformer中自注意力层的简单而有效的修改，以考虑特征交互的异构性。然后，我们引入了\textsc{Hiformer}（\textbf{H}eterogeneous \textbf{I}nteraction Trans\textbf{former}），以进一步提高模型表达能力。通过低秩逼近和模型剪枝，\hiformer 可以享受快速推理以进行在线部署。广泛的离线实验结果证实了\textsc{Hiformer}模型的有效性和效率。我们已成功将\textsc{Hiformer}模型部署到Google Play的真实世界大规模应用排名模型中，在关键参与度指标上取得了显着提高（高达+2.66\%）。

解决问题：论文旨在解决在Web规模应用中学习特征交互的挑战，提出了使用基于Transformer架构的注意力层自动捕获特征交互的方法。

关键思路：论文提出了一种修改自注意力层以考虑特征交互异构性的异构自注意力层，并引入了Hiformer模型进一步提高模型表达能力。通过低秩逼近和模型剪枝，Hiformer具有快速推理的优势。

其他亮点：论文通过离线实验和Google Play的实际应用验证了Hiformer模型的有效性和效率，并取得了重要的用户参与度指标提高。论文还提到了使用的数据集和开源代码。

相关研究：Transformer架构在自然语言处理和计算机视觉领域取得了巨大成功，但在工业界中应用于特征交互建模的研究较少。与此相关的研究包括《Attention is All You Need》（Vaswani等人，谷歌），《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》（Guo等人，阿里巴巴）。