Unified Low-rank Compression Framework for Click-through Rate Prediction

深度点击率（CTR）预测模型在现代工业推荐场景中发挥着重要作用。然而，高内存开销和计算成本限制了它们在资源受限环境中的部署。低秩逼近是计算机视觉和自然语言处理模型的有效方法，但其在压缩CTR预测模型方面的应用尚未得到充分探索。由于内存和计算资源有限，CTR预测模型的压缩通常面临三个基本挑战，即（1）如何减小模型大小以适应边缘设备？（2）如何加速CTR预测模型推断？（3）如何在压缩后保留原始模型的功能？以往的低秩压缩研究大多使用张量分解，可以实现高参数压缩比，但会导致AUC下降和额外的计算开销。为了解决这些挑战，我们提出了一个统一的低秩分解框架来压缩CTR预测模型。我们发现，即使是最经典的矩阵分解SVD方法，我们的框架也可以比原始模型实现更好的性能。为了进一步提高我们框架的有效性，我们在本地压缩输出特征而不是压缩模型权重。我们的统一低秩压缩框架可以应用于各种CTR预测模型中的嵌入表和MLP层。在两个学术数据集和一个真实的工业基准测试上进行的大量实验表明，我们的压缩模型可以在3-5倍的模型大小减小的情况下，实现比未压缩的原始模型更快的推断和更高的AUC。我们的代码在https://github.com/yuhao318/Atomic_Feature_Mimicking。

论文旨在解决CTR预测模型在资源受限环境下的高内存和计算成本问题，同时保持模型性能。

论文提出了一种统一的低秩分解框架，通过局部压缩输出特征而不是压缩模型权重，来压缩CTR预测模型。该框架可以应用于各种CTR预测模型的嵌入表和MLP层。

实验结果表明，使用该框架可以将模型大小压缩3-5倍，同时实现更快的推理速度和更高的AUC性能。论文代码已经开源。

最近的相关研究主要使用张量分解来压缩CTR预测模型，但会带来AUC性能下降和额外的计算开销。