新智元报道
编辑：桃子
【新智元导读】ICLR 2025 评审已经开始了，今年审稿人高达 15000+ 名，为了提高审稿质量，多个大模型组成的智能体也要参与审稿了。
ICLR 2025 审稿正式开启了，预计截止到 11 月 3 日。
而且，每位审稿人最多被分配到 3 篇论文，就是为了让大家深思熟虑去撰写高质量反馈。
与 2024 年一样，今年论文提交数量再创新高！
ICLR 2025 共有 11000 多篇论文提交，同比增长 61%。ICLR 2024 同比增长 47%。
如此多的论文，究竟该怎么审？如何获得建设性、高质量同行评审？
而且，论文提交数增加，对评审员需求也会增加，往往导致评审质量不一致问题。
对此，ICLR 官方竟引入了「评审反馈智能体」（review feedback agent），让 AI 去识别审查中的问题，并向审稿人反馈改进。
更有意思的是，很少发声的 Bengio 转发了 ICLR 2025 官博，继续征集不同于学术论文的投稿形式——博客文章。
而且，截止日期就到 11 月 16 日。
ICLR 顶会每年举办一次，2025 年将是第 13 届年会，于 4 月 24 日-28 日将在新加坡举办。
今年顶会，着实有些不同。
官方让 AI 来参与审稿了
鉴于投稿数那么多，ICLR 2025 也是想要借 AI 洪荒之力解难了。
不过，不是让 AI 完全审稿。
目的是为了，让 AI 帮助审稿人的评审结果，更具建设性、可操作性。
为此，ICLR 使用了多个大模型设计出反馈系统，就是为了将化觉降到最低，提高反馈质量。而且，该系统已经在 ICLR 2024 评审意见上，进行了测试。
「评审反馈智能体」将就审稿中可能存在的三类问题，提供建议。
ICLR 2025 官方组委会通过汇编公众评论，并评估了以往 ICLR 审稿确定了这三类问题：
- 鼓励审稿人改写含糊的评论，让其对作者更具可操作性；
- 突出文章中可能已经回答了审稿人一些问题的部分；
- 在评审中，发现并处理不专业、不恰当的言论。
如下，是由 AI 为以上三种类别标记的评论的示例，并给出一个示例反馈。
首先，第一种提升准确性。
以往几届，不论是哪个顶会，都会被作者们吐槽的一个问题是——审稿人太糊弄了。
一句话——这篇论文还应提供更多实验数据，直接给了低分。
而这次，审稿人这种模棱两可的评论，就要被 AI「打回去」了。
AI 会给审稿人提供一种建议：
如果能提出您认为必须包括的具体基线，将会很有帮助。您是否认为目前的比较缺少某些方法？能否详细说明原因？
其次，内容明确。
当审稿人评论称，「在图 4 中，Transformer 的效率实验没有结果，这是一个关键的限制因素」。
而论文中，可能包含了这个结果，只是审稿人没有注意到。
AI 这时便会明确告诉他，图 5 回答了这个问题。
最后，针对不恰当评论。
比如，审稿人会说，「作者完全不知自己想要做什么」。
AI 会建议道，「我们感谢您的评论，但恳请您将评论重点放在论文的具体内容和方法上，而不是对作者发表个人意见」。
AI 不会取代审稿人
官方表示了，智能体系统不会取代任何人类审稿人，而且也不会撰写审稿评论，或直接对评论自动编辑。
相反，它将作为一个助手，提供可选的反馈。审稿人可以选择接纳，或者忽略。
与以往的 ICLR 顶会一样，每一份提交的论文皆由人类审稿人独立进行反馈，最终的「接收」决定，将由 ACS、SAS 和审稿人做出。
而且，AI 将为随机选择的一部分初始评审提供反馈，以便进行比较并评估其影响。
在评审意见对作者公开之前，审稿人将有机会更新他们的评审（如果愿意的话）。
AI 一般在提交评审后的几小时内，向审稿人提供建议。对后续的审稿人回应将不再提供反馈，审稿人与反馈系统之间也不会有进一步的互动。
此外，反馈只对评审员和 ICLR 项目主席可见；不会与其他评审员、作者或区域主席（AC）分享，也不会影响录用决定。
审稿人太多了
据官方统计，今年有 15249 位审稿人，824 位 AC，以及 71 位高级 AC。
由于邀请了太多的审稿人，导致许多人尽管收到了电子邮件通知，却没有收到任何评审的论文。
还有人指出，自己看到审稿人的自定义最大论文数（custom-max-papers）设置为0，本应无法分配到论文，但他们却被分配了一篇论文。这是怎么回事？
目前，这些问题还待 ICLR 去解决。
博客文章，也能提交
延续之前的传统，今年 ICLR 顶会继续批准提交博客类型的文章。
提交的文章，需要符合以下要点：
- 回顾过去的工作并总结结果，提出新的直觉，或指出一些不足之处
- 对现有的机器学习概念或技术提出新颖的观点或解释
- 从新的角度讨论机器学习中的重要问题，如可复现性
- 分析机器学习和人工智能最新进展的社会影响
- 你尝试过但未成功的有趣研究想法
去年被接收的博客文章，感兴趣的童鞋可作参考。
参考资料：
https://x.com/Yoshua_Bengio/status/1846197032966385867
https://blog.iclr.cc/2024/10/09/iclr2025-assisting-reviewers/
