在深度推荐模型中，ID类特征的表示学习是至关重要的。其中，每一个特征值将会被映射成一个特征向量。对于同一个特征域的不同特征值，传统的特征表示学习方法会固定对应特征向量的维度大小。这样设置统一维度的模式对于表示学习以及对应向量存储而言，都是次优的。尽管，现有方法尝试从基于规则或网络搜索的角度去解决这个问题，这些方法需要额外的人工知识或者不易训练，且对于特征向量的热启动也不友好。因此，在本文中，我们提出一种新颖并且高效的特征维度选择方法。具体而言，我们在每一个表示层后面，设计了一个自适应孪生掩码层（AMTL）来去除每一个特征向量中不需要的维度。这样一种掩码的方式能够灵活的应用在各个模型中，很好的支持了模型特征向量的热启动。大量实验结果表明，所提方法在模型精度上相比于其他方法取得了最好的效果，且同时节省了60%存储开销。目前，该工作已被 CIKM 2021 接收。

论文下载：

https://arxiv.org/pdf/2108.11513.pdf

在本文中，我们提出一种新颖并且高效的为每一个特征值选择合适的 embedding 维度的方法。其核心想法是在 embedding layer 之后增加一个 Adaptively-Masked Twins-based Layer (AMTL)。这样一个 layer 可以自适应的学习出一个掩码(mask)向量来去除掉对应 embedding 中不需要的维度。经过掩码后的embedding向量可以被看成是一个拥有自适应维度的 embedding，然后被送到下一层进行前向计算。这样一种方法可以带来三个好处：

  • embedding 的学习是高效的。因为 embedding 的维度可以在一个连续的整数空间进行选择，并且不需要额外的人工知识以及特定的搜索空间设计。

  • 模型的存储是高效的。因为 embedding 的维度被自适应的调整。

  • embedding 的初始化是高效的。对于 embedding 的热启动十分友好。

自适应孪生掩码(AMTL)层是用来为每个特征生成掩码向量。整体的结构见下图。

AMTL结构图

内容中包含的图片若涉及版权问题，请及时与我们联系删除