学术期刊和会议担心人工智能（AI），特别是大型语言模型（LLM）辅助的同行评审可能会对同行评审系统的有效性和公正性产生负面影响，而同行评审是现代科学的基石。本研究通过对2024年国际学习表示会议（ICLR）这个大型、有声望的机器学习会议的背景下AI辅助同行评审的流行程度和影响进行了准实验研究，以解决这一担忧。我们的贡献有三个方面。首先，我们使用GPTZero LLM检测器获得了ICLR 2024中AI辅助评审的最低普及率，估计至少有15.8％的评审是由AI辅助撰写的。其次，我们估计了AI辅助评审对提交评分的影响。考虑到对同一篇论文分配不同评分的评审对，我们发现在53.4％的对中，AI辅助评审的评分比人工评审更高（$p=0.002$；评分更高的概率相对差异：AI辅助评审的优势为+14.4％）。第三，我们评估了接受AI辅助同行评审对提交接受率的影响。在一项匹配研究中，接近接受门槛的提交，如果接受了AI辅助同行评审，则比没有接受的提交更有可能被接受，差别为4.9个百分点（$p=0.024$）。总体而言，我们展示了AI辅助评审对同行评审过程的重要性，并就当前趋势的未来影响进行了讨论。

最近的研究探讨了使用人类反馈的强化学习（RLHF）将人类偏好融入模型行为的局限性，通常将社会选择理论作为参考点。社会选择理论对投票机制等场景的分析提供了技术基础，可以指导如何在意见分歧中汇总人类偏好。我们分析了社会选择和RLHF的问题设置，确定了它们之间的关键差异，并讨论了这些差异如何影响RLHF对社会选择中众所周知的技术结果的解释。

性别偏见研究在揭示大型语言模型中的不良行为方面起到了关键作用，揭示了与职业和情感相关的严重性别刻板印象。先前的研究中的一个关键观察是，模型会强化刻板印象，因为训练数据中存在性别相关的相关性。在本文中，我们关注的是训练数据效果不明显的偏见，并回答以下问题：即使在非刻板印象的情况下，语言模型仍然表现出性别偏见吗？为此，我们引入了UnStereoEval（USE），这是一个专门用于研究无刻板印象情境下性别偏见的新框架。USE基于预训练数据统计定义了一个句子级得分，以确定该句子是否包含最少的词性别关联。为了在无性别相关语言的情况下系统地评估流行的语言模型的公正性，我们利用USE自动生成基准测试。通过利用USE的句子级得分，我们还将先前的性别偏见基准（Winobias和Winogender）用于非刻板印象评估。令人惊讶的是，我们发现所有28个测试模型的公平性都很低。具体而言，在无刻板印象的句子中，模型仅表现出公平行为的比例为9％-41％，这表明偏见不仅仅源于性别相关的词语。这些结果引发了关于模型基础偏见来自何处的重要问题，并强调了需要更系统和全面的偏见评估。我们在https://ucinlp.github.io/unstereo-eval上发布了完整的数据集和代码。

公共部门中的预测风险模型通常使用行政数据进行开发，这些数据对于更大程度依赖公共服务的亚群体来说更加完整。例如，在美国，医疗保健利用信息对于由医疗补助和医疗保险支持的个人通常可供政府机构使用，但对于私人保险则不可用。公共部门算法的批评指出，这种差异性特征未报告是算法决策不公的驱动因素。然而，这种数据偏差在技术视角下仍然鲜为人知。虽然先前的研究已经研究了加性特征噪声和明确标记为缺失的特征对公平性的影响，但缺失指标的数据缺失设置（即差异性特征未报告）缺乏研究关注。在本研究中，我们提出了一个分析可追踪的差异性特征未报告模型，然后用它来表征这种数据偏差对算法公平性的影响。我们展示了标准缺失数据方法通常无法减轻这种偏差，在此基础上提出了一组专门针对差异性特征未报告的方法。我们的结果表明，在真实数据环境中，未报告通常会导致不公平性的增加。所提出的解决方案方法在减轻不公平性方面取得了成功。

减轻前沿AI系统的风险需要及时可靠的关于这些系统的信息。开发和部署前沿系统的组织可以获得这些信息。通过向政府、工业和民间社会的相关人员报告安全关键信息，这些组织可以提高对前沿系统新兴风险的可见性。有了这些信息，开发人员可以更好地决策风险管理，而政策制定者可以设计更有针对性和强大的监管基础设施。我们概述了负责任的报告的关键特征，并提出了在实践中实施它们的机制。

过去的研究试图设计AI伦理干预措施，如清单或工具包，以帮助从业人员设计更具伦理的AI系统。然而，其他研究表明，这些干预措施可能会限制批评范围，使更广泛的关注点不合法。在本文中，我们借鉴了研究标准如何实施话语封闭以及权力关系如何影响人们提出批评的方式和程度的研究，招募了三个企业团队和一个活动家团队，每个团队都有先前的合作背景，玩一个旨在引发关于AI伦理的广泛讨论的游戏。我们利用这个游戏作为对比的点，触发对他们团队过去讨论的反思，考察可能影响他们在AI伦理讨论中“批评许可证”的因素。然后，我们报告了这个游戏的特定优势如何影响讨论，并发现游戏中创造的假设情境不太可能成为现实世界变革的有效机制。我们讨论了小组内的权力动态和“范围”概念如何影响人们是否愿意在AI伦理讨论中提出批评，并讨论了我们的发现，即游戏不太可能直接改变产品或实践，但可能更有可能让成员找到未来集体行动的批判性盟友。

虚假社交媒体账户、ChatGPT等生成式人工智能机器人、金融市场上的高频交易算法以及街头的自动驾驶汽车等机器人、机器人和算法正在扩散并渗透到我们的通信渠道、社交互动、经济交易和交通动脉中。多个相互依存和相互作用的人类和自主机器人网络构成了复杂的适应性社会系统，其中集体结果不能仅仅从人类或机器行为中简单推导出来。在这个范式下，我们回顾了来自各个学科的最新实验、理论和观察性研究——机器人学、人机交互、Web科学、复杂性科学、计算社会科学、金融、经济学、政治学、社会心理学和社会学。我们确定了在竞争、协调、合作、传染和集体决策情况下的一般动态和模式，并将它们置于四个突出的现有人机社区的背景下：高频交易市场、社交媒体平台（前身为Twitter）、开放协作百科全书Wikipedia和新闻聚合和讨论社区Reddit。最后，我们提出了关于人机社会系统的研究、设计和治理建议，这些建议有助于减少错误信息、防止金融崩溃、提高道路安全、克服劳动力市场扰动，并实现更好的人类未来。

我们能否避免历史十字路口上的战争？这个问题已经被个人、学者、政策制定者和组织在人类历史中追寻了很长时间。在这项研究中，我们尝试根据人工智能（AI）和大型语言模型（LLM）的最新进展来回答这个问题。我们提出了一个名为\textbf{WarAgent}的LLM驱动的多智能体AI系统，用于模拟历史上的国际冲突，包括第一次世界大战（WWI）、第二次世界大战（WWII）和中国古代的战国时期（WSP）中参与国家的决策和后果。通过评估模拟的有效性，我们研究了尖端AI系统在研究复杂的集体人类行为（例如在不同环境下的国际冲突）方面的能力的进展和限制。在这些模拟中，智能体之间的紧密互动也为研究导致战争的触发因素和条件提供了一种新的视角。我们的发现提供了数据驱动和AI增强的见解，可以重新定义我们如何处理冲突解决和维和策略。这些影响超越了历史分析，为使用AI理解人类历史并可能预防未来国际冲突提供了一个蓝图。代码和数据可在\url{https://github.com/agiresearch/WarAgent}上获得。

近年来，XLogoOnline编程平台在初学者中变得越来越受欢迎。它将Logo编程语言与可视化编程相结合，为学习计算概念提供了一个可视化界面。然而，XLogoOnline只提供了有限的任务，这对于需要充分练习的学习者来说是不足够的，无法掌握需要大量实践的计算概念。为了解决这个问题，我们引入了一种新颖的技术——XLogoSyn，用于合成不同难度级别的高质量任务。给定一个参考任务，XLogoSyn可以生成适合不同学习者需求和能力的不同难度级别的练习任务。XLogoSyn通过结合符号执行和约束满足技术来实现这一点。我们的专家研究证明了XLogoSyn的有效性。我们还将合成的练习任务部署到XLogoOnline中，突显了这些合成练习任务的教育效益。

基础模型，例如 GPT-4，经过微调以避免不安全或其他有问题的行为，因此，例如，它们拒绝遵从犯罪或生成种族主义文本的请求。一种微调方法称为从人类反馈中进行的强化学习，它从人类对多个输出的表达偏好中学习。另一种方法是宪法人工智能，其中人类的输入是高级原则列表。但是，我们如何处理来自人类的潜在分歧的输入？我们如何将输入聚合成关于“集体”偏好的一致数据，或者以其他方式使用它来对模型行为做出集体选择？在本文中，我们认为社会选择领域有能力解决这些问题，并讨论这一议程的前进方式，借鉴了2023年12月在美国加利福尼亚州伯克利举行的关于AI伦理和安全的社会选择研讨会上的讨论。