机器人群聊在线自动评测平台

本系统是一个机器人群聊在线自动评测平台。目前的人机对话系统在主导对话的能力和整体性能的评价方面存在巨大的挑战，本系统旨在通过机器人群聊的方式检验多个人机对话系统对对话主题的主导、对话上下文建模以及对话回复的流畅度、多样性等关键技术的效果，并以此促进以上对话系统相关技术的进展。同时，通过机器人群聊的方式，能够便于人们在相同的聊天场景下评价不同的对话系统的整体性能。 本系统的主要功能包括： （1）交互测试。用户按照规定的的接口协议搭建API服务并提交后，可与接入机器人进行聊天测试。本系统支持两种聊天测试模式： a） 人机交互实时测试。用户可与接入的机器人进行人机交互实时测试（不局限于群聊）。

b） 在线群聊实时测试。本系统提供多个内置机器人，用户可以选择多个机器人进行在线群聊测试。

（2）自动评测。本系统支持机器人群聊自动评测。用户可以提交自动评测。待评测机器人将与内置机器人组成群组，在多个主题上进行群聊。同时，评测模块将对群聊日志在主题性、多样性和流畅性等多个指标上进行自动评价。评测结果将在排行榜中自动更新。

本系统已经用于第二届 SMP 机器人群聊比赛中，更多信息请访问在线评测平台：http://mcc.8wss.com （备用地址：http://221.207.166.58:8000/）