“第四届中国情感计算大会”(Chinese Conference on Affect Computing, CCAC 2024)将于2024年7月在江西南昌召开。CCAC聚焦情感计算处理的前沿研究,为传播情感计算最新的学术和技术成果提供交流平台。

在本届大会中,我们将举办第四届智慧论辩评测(AI-Debater 2024)。本次评测分为两个阶段,阶段一包含三个任务,阶段二包含两个任务。本届评测鼓励参赛选手使用大语言模型(LLM)解决问题,因此不针对各个任务分别提供训练数据,而是统一提供论辩指令数据集。除阶段二的自主论辩任务外,每个任务都有相应的测试集。如需了解更多,请访问评测官网:

http://www.fudan-disc.com/sharedtask/AIDebater24/index.html




任务介绍

阶段一

任务一:论据发现

给定一个论点和一个候选句子,判断当前句子是否为支持当前论点的论据。输出有两种标签:1表示是论据,0表示非论据。数据样例如下:


输入:Controlling birth rates allows families to raise the future earnings power of the next generation.Note that the Millennium Development Goals have been superseded by the Sustainable Development Goals.

输出:0

任务二:立场分类

给定一个辩题和一个论点,判断该论点的立场为支持或反对。输出有两种标签:1表示支持,-1表示反对。数据样例如下:


输入:Should we ban the production of generic drugsOne long-standing solution to mitigating costs has been generics, a pharmaceutical drug with the same chemical substance as a drug whose patents have expired.

输出:-1


任务三:反论点生成

针对给定的话题和原始论点,由参赛模型自动生成反驳原始论点的1个句子(称为反论点)。数据样例如下:

 

输入:Should the phrase "under God" be retained in the Pledge of Allegiance?the under God line is actually a relatively new addition and can therefore be easily removed without significant consequences.

输出:Just because something is new doesn't mean it lacks importance or significance, and removing it can have unforeseen consequences.


阶段二

任务一:基于辩题的论点生成

针对既定的辩题,由参赛模型自动生成贴合辩题的5个论点。数据样例如下:


输入:公众事件中不应该批评不完美受害者

输出:将矛头调转向批评不完美的受害者,使受害者与加害者之间的力量进一步失衡,不符合媒体伦理。舆论的变动可能影响案件的走向。如果秉持着应该批评不完美的心态,无疑会使得将来更少受害者敢于向公众发声。


任务二:自主论辩智能体

基于阶段一构造的LLM实现一个自主论辩智能体,与基准智能体针对给定的辩题进行辩论赛。基准智能体持正方,参赛智能体持反方。辩论赛流程如下(以下流程中,发言顺序均为先正方后反方):

  • 陈词:提出本方的观点和论据,为辩论奠定基础。

  • 攻辩:主要对对方的论点进行反驳,并进一步强化自身立场。

  • 结辩:回应对方反驳,总结本方发言。


时间安排

2024年5月20日

任务发布与报名启动

2024年5月21日

阶段一:

数据发布、结果开放提交

2024年5月28日

阶段二:

数据发布、结果开放提

2024年7月5日

提交截止(报名结束)、核验开始

2024年7月12日

比赛结果公布

2024年7月19日

CCAC2024大会召开及颁奖典礼


赛事委员会

主办单位

            复旦大学数据智能与社会计算实验室


评测委员会

    

评测委员会主席

            魏忠钰(复旦大学)


评测委员

            林嘉昱(复旦大学)

            黄柏特(西安电子科技大学)


顾问委员

            黄萱菁(复旦大学)

            蒋昌建(复旦大学)




END

联系方式:disc_imcs@163.com

地址:复旦大学邯郸校区计算中心


点击“阅读原文”访问测评官网

内容中包含的图片若涉及版权问题,请及时与我们联系删除