KgCLUE: 大规模中文开源知识图谱问答,中文KBQA测评基准,基于CLUE的积累和经验,并结合KBQA的特点和近期的发展趋势,精心设计了该测评,希望可以促进中文领域上KBQA领域更多的研究、应用和发展。

项目地址:

https://github.com/CLUEbenchmark/KgCLUE

在线演示:

https://www.cluebenchmarks.com/KgCLUEdemo

KgCLUE有什么特点:

1、KBQA利用的是结构化的知识,其数据来源决定了适合回答what,when 等事实性问题。

2、KBQA的研究,根据目标问题的性质,可以分为几个方向。第一个是单跳问题 (one hop) ,第二个是多跳问题 (multi hop)。单跳问题是指可以通过知识库中某一条事实三元组来回答,而多跳问题是指需要知识库中的多条事实三元组来回答。KgCLUE第一版(即KgCLUE1.0)针对的是单跳问题构建的数据集。

3、测评的主要目标是KBQA,根据KBQA任务的特点,可以考察近年来的实体识别、关系分类以及实体链接等子任务的发展。

此外,我们提供KBQA测评完善的基础设施。从任务设定,广泛的数据集,多个有代表性的基线模型及效果对比,一键运行脚本,到测评系统等完整的基础设施。

内容中包含的图片若涉及版权问题,请及时与我们联系删除