ACL 2021的摘要截稿时间马上就要到来，并且一周后将截止接收全文投稿。ACL 2021邀请了130位高级领域主席（SACs）和领域主席（ACs）做了一项关于审稿的问卷调查，相关结果将用于后续的“审稿人指导计划”，同时也有助于作者了解审稿过程。本篇推文总结了相关结果，希望对正在准备投稿的作者有所帮助。

审稿人平均花多长时间来审我们的论文？

短文：

长文：

审短文的大部分时间跨度在1-4小时，其中1-2小时占49.6%，3-4小时占42.9%；而审长文大部分在3-6小时，其中3-4小时占48.9%，5-6小时占30.8%。

补充材料（附录、源代码、数据）有用吗？

• 审稿人应该检查附录吗？大部分人的选择是“有时”会检查。
• 审稿人应该检查代码吗？大部分人的选择是“很少”，说明审稿人一般没时间去检查源代码。不过有源代码说明论文的可复现性有一定的保证，可能会增加审稿人的主观判断，因此建议大家上传一些关键算法的实现。
• 审稿人应该检查数据吗？大部分人的选择是“有时”。

以上三者的对比来看，审稿人对补充材料的关注度排序为：附录 > 源代码 ≈ 数据。大家可以按照自己的实际情况上传以上补充材料。

另外，在领域主席（ACs）和高级领域主席（SACs）做出论文的推荐决定时，源代码的有无会有怎样的影响？从下图可以看到，对于一些汇报state-of-the-art任务结果或者语言模型的论文，AC和SAC会觉得提供源代码是一个较强的加分项，而对于一些比较研究或者数据集的论文来说，源代码就没有那么大的必要性了。

Rebuttal阶段最终应该达成的目标是？

Rebuttal（或Author Response）过后，通常审稿人和AC之间会进行一番讨论。当对一篇论文出现不同的看法时（比如两个4分，一个2分），最终AC和SAC希望达成怎样的目标？

• 让审稿人讨论并且最终解决任何不同意见，尽量避免打分不一致
• 审稿人给出明确录用建议并且提供支持的理由，所以有不一致的分数也无所谓，只要有相应的理由。

从上图来看，AC和SAC更希望通过审稿人之间的讨论，最终化解不一致的意见，并且最终达成一个较为统一的看法。

初次参与审稿的人是不是更严厉？

在SAC和AC看来，初次参与审稿的人是不是：

• 比有经验的审稿人更加严厉
• 和有经验的审稿人差不多
• 比有经验的审稿人更加包容 结果上来看，大多数AC和SAC觉得初次参与审稿的人要比有经验的审稿人更加严厉。随着近几年NLP/AI技术的飞速发展，这些旗舰会议的投稿规模越来越大，而有经验的审稿人的数量并没有太大的变化，因此势必需要引入大量新鲜血液。初次参与审稿的人容易看到论文的一些缺点而揪着不放，而忽视了论文的优点。大多数有经验的审稿人会积极地去思考论文的可取之处，并和相关缺点做一个平衡。

本次的问卷调查过后，ACL即将组织一次审稿人指导计划，希望能够对初次参与审稿的人给予一定的帮助，进一步提升审稿队伍的素质，这对整个研究社区的良性发展会是一个非常有意义的举措。

原文：https://2021.aclweb.org/blog/reviewer-mentoring-survey/

编辑：哈工大讯飞联合实验室编辑部

内容中包含的图片若涉及版权问题，请及时与我们联系删除