Eliciting Honest Information From Authors Using Sequential Review

本文讨论了会议同行评审的情境，会议旨在基于嘈杂的审稿分数接受高质量论文并拒绝低质量论文。最近的研究提出了保序机制，该机制可以从提交多篇论文的作者那里引出论文质量的排名，以帮助提高会议的决策。然而，保序机制依赖于这样一个假设，即作者的效用函数关于审稿分数是单调递增和凸函数，而这在同行评审的情境中经常被违反（例如当作者旨在最大化被接受的论文数量时）。因此，本文提出了一种顺序评审机制，可以在仅假设代理人的效用函数关于其被接受的论文的真实质量是单调递增的情况下，真实地引出作者的排名信息。其关键思想是根据提供的排名顺序逐个审查作者的论文，并将下一篇论文的审查置于前一篇论文的审查分数的条件下。顺序评审机制的优点包括：1）在比以前的工作更加现实的情境下引出真实的排名信息；2）提高被接受的论文的质量，减少审稿工作量并增加审阅的论文的平均质量；3）激励作者写出更少但质量更高的论文。

论文旨在解决会议同行评审中存在的问题，即如何在噪声评分的基础上接受高质量论文和拒绝低质量论文，并提出了一种新的连续审查机制来解决这个问题。

论文提出了一种新的连续审查机制，可以在只假设代理人效用随着其被接受的论文的真实质量而增加的情况下，真实地获取作者的排名信息。其核心思想是根据提供的排名顺序对作者的论文进行审查，并根据前一篇论文的评审分数来条件地审查下一篇论文。

该论文的亮点包括：1）在比以前的工作更真实的设置中获取真实的排名信息；2）提高了被接受的论文的质量，减少了审稿工作量，并提高了被审查论文的平均质量；3）鼓励作者写出更少但质量更高的论文。该论文的实验设计合理，使用了多个数据集，并开源了代码。

在这个领域最近的相关研究包括：1）使用机器学习方法来预测论文的质量；2）提出了一种基于排名的机制来选择高质量论文；3）提出了一种新的审稿模型，旨在提高会议的决策效率和公平性。相关论文包括：“Predicting the quality of academic papers using machine learning”，“Rank-based mechanisms for peer-review systems”，“A new peer-review model for conference decision making”。