DTN: Deep Multiple Task-specific Feature Interactions Network for Multi-Task Recommendation

基于神经网络的多任务学习（MTL）已成功应用于许多推荐应用中。然而，这些MTL模型（例如MMoE、PLE）在优化过程中没有考虑特征交互，这对于捕捉复杂的高阶特征至关重要，并且在实际推荐系统中的排序模型中被广泛使用。此外，通过对MTL中各种任务的特征重要性分析，我们观察到一个有趣的分歧现象，即同一个特征在不同任务中的重要性可以有显著差异。为了解决这些问题，我们提出了具有新颖模型结构设计的深度多任务特定特征交互网络（DTN）。DTN引入了多种多样化的任务特定特征交互方法和任务敏感网络，使模型能够学习任务特定的多样化特征交互表示，从而在一般设置下提高了联合表示学习的效率。我们将DTN应用于公司的真实电子商务推荐数据集，该数据集包含超过63亿个样本，结果表明DTN显著优于最先进的MTL模型。此外，在大规模电子商务推荐系统的在线评估中，与最先进的MTL模型相比，DTN实现了点击率提高3.28%，订单量增加3.10%，以及GMV（商品交易总额）增长2.70%。最后，通过在公共基准数据集上进行的大量离线实验表明，DTN可以应用于推荐以外的各种场景，提升排序模型的性能。

该论文试图解决现有神经网络多任务学习（MTL）模型在推荐系统应用中未能考虑特征交互的问题，以及同一特征在不同任务中重要性显著不同的现象。这是一个旨在改进现有MTL模型性能的具体问题。

论文的关键思路是引入了一种名为Deep Multiple Task-specific Feature Interactions Network (DTN)的新模型结构。DTN通过引入多种多样化的任务特定特征交互方法和任务敏感网络，使模型能够学习任务特定的多样化特征交互表示，从而提高联合表示学习的效率。这一思路创新地将特征交互引入到MTL框架中，解决了现有模型的局限性。

论文在实际应用中展示了DTN的优越性能，特别是在一个大型电子商务推荐系统的在线评估中，DTN相比最先进的MTL模型在点击率、订单量和GMV方面分别提高了3.28%、3.10%和2.70%。此外，论文还进行了广泛的离线实验，证明DTN可以应用于多种场景，不仅限于推荐系统，还增强了排名模型的性能。论文使用的数据集包括公司内部的63亿样本数据和公共基准数据集，但未提及是否开源代码。未来的研究可以进一步探索DTN在其他领域的应用，并优化其模型结构以适应更多任务。

近年来，关于多任务学习在推荐系统中的应用有许多相关研究。例如，《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》(MMoE) 和《Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations》(PLE) 都是该领域的代表性工作。这些研究主要集中在如何有效地共享和提取任务之间的信息，但较少关注特征交互。相比之下，DTN通过引入任务特定的特征交互，为多任务学习提供了一个新的视角。