颠覆传统「冷刷新」模型升级范式，腾讯 ARC Lab、清华大学及腾讯在线视频 BU-AI 技术中心针对大规模检索系统推出「热刷新」模型升级的新机制，实现新模型即时部署上线、精度稳步在线提升等特性，并针对刷新过程中的模型退化问题提出有效解决方案。论文已被 ICLR 2022 接收，这是热刷新模型升级在学术界的首秀，领域主席（AC）评价「这是真实世界的图像检索系统中一个非常实用且重要的问题」。「热刷新」模型升级算法已成功部署在腾讯 PCG 视频关系中台，为千亿级向量索引系统提供快速模型升级服务，迭代效率提升 4 + 倍。

论文链接：

https://arxiv.org/abs/2201.09724

代码链接：

https://github.com/binjiezhang/RACT_ICLR2022

如下图所示，「热刷新」模型升级机制无需等待离线特征回填，精度即时提升 (O→A) 且用户体验逐步改善(A→B)，离无缝模型升级更近一步。

「冷刷新」模型升级 &「热刷新」模型升级

为了缓解热刷新模型升级过程中的模型退化问题，作者提出了一种简单有效的正则化，即约束新→旧正样本对距离不光要小于新→旧负样本对距离，也要小于新→新负样本对距离（过往兼容学习算法只约束了前者），并以对比学习的形式呈现。如下图所示，该正则化被称之为缓解退化的兼容损失函数，具体公式不在此呈现，感兴趣的读者可翻阅论文。

缓解退化的兼容训练

内容中包含的图片若涉及版权问题，请及时与我们联系删除