7月28日上午，美国国家标准与技术研究院(NIST)高级研究员ACM Fellow Ellen Voorhees博士在第43届国际信息检索大会（SIGIR 2020）上以“信息检索研究中的合作竞争”(Coopetition in IR Research)为题进行了主题报告。

智源社区为这次国际学术盛会提供了线上会议系统，并进行全程直播支持。

在报告中，Voorhees博士首先提出如何判别一个好的检索结果，由于检索本质是一种用户行为，所以不同用户有着不同甚至冲突的评判标准来判别一次搜索结果是不是好的。而如果想在信息检索研究中引入类似基准数据集的相关测试，则需要组织者选一个合适的数据集，难度不能太大也不能太小，然后研究人员在这一数据集上进行测试，结果被组织者手动判别。