Diversification as Risk Minimization

用户往往比多次成功更记住一次搜索会话中的失败。这一观察结果促使研究者关注搜索系统的鲁棒性，即当系统在某些查询上表现极差时应受到惩罚。然而，这种鲁棒性原则在单个查询内部却长期被忽视。一个模糊或信息不足的查询（例如“jaguar”）可能对应多种用户意图，其中主流意图通常主导排序结果，导致具有小众意图的用户需求得不到满足。尽管多样性检索领域的文献早已认识到这一问题，但现有评估指标仅衡量不同意图上的平均相关性，无法提供任何鲁棒性保障。更令人惊讶的是，我们通过理论和实证分析表明，许多广为人知的多样性检索算法在鲁棒性方面并不比一种简单的非多样化算法更好。为弥补这一关键缺陷，我们提出将多样性检索建模为风险最小化问题。我们引入了VRisk指标，用于衡量查询中服务最不足的那部分意图所面临的期望风险。优化VRisk能够生成更具鲁棒性的排序结果，降低用户遭遇糟糕体验的可能性。在此基础上，我们提出了VRisker——一种快速的贪心重排序算法，并具备可证明的近似性能保证。最后，在NTCIR INTENT-2、TREC Web 2012和MovieLens数据集上的实验揭示了现有方法的脆弱性。VRisker在最坏情况下的意图失败次数最多减少了33%，同时平均性能仅下降2%。

现有搜索系统和多样化排序算法在处理歧义或信息不全的查询时，往往只满足主流用户意图，忽视少数意图用户的需求。尽管多样化研究已关注此问题，但传统指标仅衡量平均相关性，缺乏对最弱势意图的鲁棒性保障，导致部分用户遭遇极差体验。这是一个长期被忽视的问题，尤其在单个查询内的公平性和鲁棒性方面。

将查询意图多样化重新建模为风险最小化问题，提出VRisk指标，用于衡量排名中服务最差的一小部分意图所面临的期望风险。通过优化VRisk实现鲁棒排序，确保即使是最小众意图也能获得可接受的结果。相比传统方法仅优化平均性能，该思路首次引入了对尾部意图的显式保护机制。

提出了VRisker——一种具有理论近似保证的快速贪心重排序算法；在NTCIR INTENT-2、TREC Web 2012和MovieLens三个真实数据集上验证了现有方法的脆弱性，并证明VRisker可将最坏情况下的意图失败减少最多33%，仅带来约2%的平均性能下降；实验设计严谨，结合理论分析与实证评估，代码虽未明确提及开源，但结果可复现性强，未来可拓展至个性化搜索与公平性系统研究。

1. Diversifying Search Results 2. Maximal Marginal Relevance for Information Retrieval 3. Intra-List Diversity and Intent Discovery in Web Search 4. Fair Ranking: From Static to Dynamic Fairness in Search 5. Risk-Aware Ranking for Two-Sided Marketplaces