CCKS2023-PromptCBLUE中文医疗大模型评测比赛开放报名啦！

简介

以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。在LLM大行其道的背景下，几乎所有的NLP任务都转化为了基于提示的语言生成任务。然而，在中文医学NLP社区中，尚未有一个统一任务形式的评测基准。

为推动LLM在医疗领域的发展和落地，华东师范大学计算机学院王晓玲教授团队联合阿里巴巴天池平台、复旦大学、复旦大学附属华山医院、东北大学、哈尔滨工业大学（深圳）、鹏城实验室与同济大学推出PromptCBLUE评测基准(https://github.com/michael-wzhu/PromptCBLUE)，对CBLUE基准(https://tianchi.aliyun.com/dataset/95414)进行二次开发，将16种不同的医疗场景NLP任务全部转化为基于提示的语言生成任务，形成首个中文医疗场景的LLM评测基准。PromptCBLUE将作为CCKS-2023的评测任务之一，已在阿里巴巴天池大赛平台上线进行开放评测，欢迎各位师生报名参赛(刷榜)。

注意：本评测虽然立足于医疗垂直领域，但是其所考察的仍然是大模型面向落地的通用能力与关键技术。欢迎对大模型感兴趣的所有研究人员参与本次评测。

任务介绍

我们采用94个指令微调模板，对CBLUE基准中的各个任务进行改造。经过改造后，医疗文本NLP数据集都将转化为如下格式：input字段是模型的输入，target字段是模型的输出，type是原任务类型(不作为模型输入)，answer_choices字段是选项，只有分类、术语标准化、推理类任务上该字段才会有意义。

{
  "input": str,
  "target": str,
  "type": str,
  "answer_choices": str,
  "sample_id": str,
}

为了将CBLUE中的各种不同任务适配为符合LLM的输入输出格式，我们对CBLUE各个数据集进行了相应的改造。详见CBLUE任务改造。在本文中我们仅举两个例子：

CMeEE任务

本任务原本是标准的医学文本NER任务，选手需要给出医学实体mention在待抽取文本中的具体span位置。在PromptCBLUE中，本任务被改造为：根据指定的实体类型，生成实体mention。在评分时，我们只考虑实体mention及其类型标签，不再考虑span位置信息。而且，特别注意的是，为了考察模型的指令理解与服从能力(instruction following)，模型只能生成指令中指定的实体类型，而不能生成其他类型的实体。样例如下:

{
  "input": "医学实体识别：\n外周血白细胞计数常明显升高，伴核左移。\n实体选项：疾病，医学检验项目，医院科室，身体部位，微生物类，临床表现，药物\n答：", 
  "target": "上述句子中的实体包含：\n医学检验项目实体：外周血白细胞计数\n疾病实体：\n医院科室实体：\n药物实体：\n微生物类实体：", 
  "answer_choices": ["疾病", "医学检验项目", "医院科室", "身体部位", "微生物类", "临床表现", "药物"], 
  "task_type": "ner", 
  "task_dataset": "CMeEE-V2", 
  "sample_id": "train-134372"
}

上述样例中的target即为模型输出，而评测参与者需要根据自己的LLM输出进行解析，得到抽取结果。LLM输出的格式可以自己定义，也可以根据我们的样例来进行。

CHIP-CDN任务

CHIP-CDN任务在CBLUE中的原型是：给定一诊断原词，要求给出其对应的诊断标准词，而诊断标准词是从ICD-10这一个4w+的标准词库中选择。由于我们不可能一次性将四万个词输入到LLM中（即使是GPT-4服务，最多只能输入32000个token），所以我们将CDN任务改造为：给定原词，从候选的若干个ICD-10诊断标准词中选择出匹配的词(可能有多个, 可能一个都没有)。而在实际业务中，我们可以结合对本地知识库的检索+LLM判断的方式，完整的预测诊断原词对应的诊断标准词。

{
  "input": "主动脉弓缩窄心功能低下\n归一化后的标准词是？\n实体选项：胫前动脉假性动脉瘤，主动脉缩窄，男性性腺功能低下，男性性腺功能低下，垂体功能低下，心功能不全\n说明：从候选的若干个ICD-10诊断标准词中选择出与原诊断描述匹配的词\n答：", 
  "target": "主动脉缩窄，心功能不全", 
  "answer_choices": ["胫前动脉假性动脉瘤", "主动脉缩窄", "男性性腺功能低下", "男性性腺功能低下", "垂体功能低下", "心功能不全"], 
  "task_type": "normalization", 
  "task_dataset": "CHIP-CDN", 
  "sample_id": "train-17932"
}

赛程安排

报名方式

考虑到目前的LLM训练可能涉及商业数据，大规模模型开源受到各种外在条件的限制，我们将对PromptCBLUE评测开放两个赛道：

• 通用赛道：接受来自企业，高校，开源社区，各类研究团队或者个人对自研的LLM进行评测，不需要开源其模型。
• 开源赛道：接受各类参赛团队提交评测，但是其必须使用开源的大模型底座，且只能使用开源的或者可以全部提交至比赛组织方审核的数据集进行训练/微调。

本次评测依托于天池平台，参赛选手在天池平台选择自己想参加的赛道，进行注册报名即可。参赛选手报名后可在“我的团队”页面组队。每支队伍需指定一名队长，队伍成员总数最多不超过4人；报名截止日期之后不允许更改队伍成员名单，请谨慎选择队员组队。每名参赛选手只能参加一支队伍，一支队伍可以即参加PromptCBLUE评测的“通用赛道”也可以参加“开源赛道”。但是在评选奖励时，一只队伍只能选择一个赛道参与评奖。

评测入口：

• 通用赛道：https://tianchi.aliyun.com/competition/entrance/532085/introduction
• 开源赛道：https://tianchi.aliyun.com/competition/entrance/532084/introduction

报名成功后搜索钉钉群号 30560025118，或扫描以下二维码加入评测交流群：

比赛奖励

PromptCBLUE评测设置总奖励池16000元，奖金设置如下：

• 冠军奖：人民币3,000元，2名，分别奖励两个赛道获得最优总得分的团队。
• 亚军奖：人民币2,000元，2名，分别奖励两个赛道总得分排名第二的团队。
• 季军奖：人民币1,000元，2名，分别奖励两个赛道总得分排名第三的团队。
• 创新奖：人民币1,000元，4名，奖励在PromptCBLUE评测中采用了最为创新的方法并且成绩突出的团队。

欢迎广大同行，老师们，同学们一起加入到中文大模型，特别是中文医疗垂直领域大模型的建设与落地中，推进中文医疗信息处理领域的进一步发展。

周边资源

同时，为辅助LLM在医疗领域的各项能力提升，我们同时开源以下数据/代码/模型资源供参赛者使用：

• 🚀 中文医疗在线问诊数据集ChatMed_Consult_Dataset(https://huggingface.co/datasets/michaelwzhu/ChatMed_Consult_Dataset)：包含50w+在线问诊+ChatGPT回复。
• 🚀 中文问诊大模型ChatMed-Consult(https://github.com/michael-wzhu/ChatMed): 以中文医疗在线问诊数据集ChatMed_Consult_Dataset作为微调训练集。模型主干为LlaMA-7b,融合了Chinese-LlaMA-Alpaca的LoRA权重与中文扩展词表，然后再进行基于LoRA的参数高效微调。我们将全部数据和代码都进行了公开。

团队召集人：贺樑教授，现任“国家科技创新2030新一代人工智能重大项目”管理专家组成员。

各方向召集人：

• 知识计算：林欣教授

• 语言认知：兰曼教授

• 智能知识管理与服务：王晓玲教授

• 交叉智能应用：窦亮副教授、马天龙助理研究员