DCNv3: Towards Next Generation Deep Cross Network for CTR Prediction

Deep & Cross Network及其派生模型由于在计算成本和性能之间的有效平衡而成为点击率（CTR）预测中的重要范例。然而，这些模型面临四个主要限制：（1）尽管大多数模型声称可以通过深度神经网络（DNN）隐式且不可解释地捕捉高阶特征交互，但这限制了模型预测的可信度；（2）现有显式特征交互方法的性能通常弱于隐式DNN，从而削弱了它们的必要性；（3）许多模型在增强特征交互的同时未能自适应地过滤噪声；（4）大多数模型的融合方法不能为其不同的交互方法提供合适的监督信号。为了解决这些限制，本文提出了下一代Deep Cross Network（DCNv3）和Shallow & Deep Cross Network（SDCNv3）。这些模型确保在特征交互建模中具有可解释性，同时指数级增加特征交互的顺序，以实现真正的Deep Crossing而不仅仅是Deep & Cross。此外，我们采用了一种称为Self-Mask的操作来过滤噪声，并将交叉网络的参数数量减半。在融合层中，我们使用一种简单而有效的损失权重计算方法Tri-BCE来提供适当的监督信号。对六个数据集的全面实验表明了DCNv3和SDCNv3的有效性、效率和可解释性。代码、运行日志和详细的超参数配置可在以下网址找到：https://anonymous.4open.science/r/DCNv3-E352。

本文试图解决Deep & Cross Network及其衍生模型在CTR预测中存在的四个主要限制：模型预测的高阶特征交互通常是通过深度神经网络进行隐式和不可解释的，现有的显式特征交互方法的性能通常比隐式DNN差，许多模型无法自适应地过滤噪声并增强特征交互的阶数，大多数模型的融合方法无法为其不同的交互方法提供合适的监督信号。

为了解决上述限制，本文提出了DCNv3和SDCNv3模型，这些模型确保特征交互建模的可解释性，同时指数级地增加特征交互的阶数，以实现真正的Deep Crossing，而不仅仅是Deep & Cross。此外，我们采用自掩码操作来过滤噪声，并将交叉网络的参数数量减半。在融合层中，我们使用一种简单而有效的损失权重计算方法Tri-BCE来提供适当的监督信号。

本文的亮点包括：提出了DCNv3和SDCNv3模型，这些模型具有可解释性、高效性和有效性；采用自掩码操作来过滤噪声并减少参数数量；使用Tri-BCE方法提供适当的监督信号。实验使用了六个数据集，结果表明DCNv3和SDCNv3模型的有效性、高效性和可解释性。

在这个领域中，最近的相关研究包括：《Deep & Cross Network for Ad Click Predictions》、《xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems》、《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》等。