DCNv3: Towards Next Generation Deep Cross Network for CTR Prediction

深度交叉网络及其派生模型由于在计算成本和性能之间的有效平衡而成为点击率（CTR）预测中的重要范例。然而，这些模型面临四个主要限制：（1）虽然大多数模型声称捕捉高阶特征交互，但它们通常通过深度神经网络（DNN）隐式且不可解释地实现，这限制了模型预测的可信度；（2）现有显式特征交互方法的性能通常弱于隐式DNN，从而削弱了它们的必要性；（3）许多模型在增强特征交互的同时未能自适应地过滤噪声；（4）大多数模型的融合方法无法为其不同的交互方法提供适当的监督信号。为了解决这些限制，本文提出了下一代深度交叉网络（DCNv3）和浅层和深度交叉网络（SDCNv3）。这些模型确保在特征交互建模中具有可解释性，同时指数级地增加特征交互的顺序，以实现真正的深度交叉，而不仅仅是深度和交叉。此外，我们采用自掩蔽操作来过滤噪声，并将交叉网络的参数数量减半。在融合层中，我们使用一种简单而有效的损失权重计算方法Tri-BCE来提供适当的监督信号。对六个数据集的全面实验证明了DCNv3和SDCNv3的有效性、效率和可解释性。代码、运行日志和详细的超参数配置可在以下网址找到：https://anonymous.4open.science/r/DCNv3-E352。

论文试图解决CTR预测中Deep & Cross Network模型面临的四个主要限制，包括特征交互的隐式和不可解释性、现有显式特征交互方法的性能较弱、噪声过滤和融合方法的监督信号不足等问题。

论文提出了下一代Deep Cross Network (DCNv3)和Shallow & Deep Cross Network (SDCNv3)模型，通过自掩膜操作和Tri-BCE损失权重计算方法解决了上述限制，并实现了可解释性和指数级的特征交互。

论文的实验在六个数据集上进行，证明了DCNv3和SDCNv3的有效性、效率和可解释性。论文提供了代码、运行日志和详细的超参数配置。

近期的相关研究包括《Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks》和《xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems》等。