Patterns | 面向抗体CDR-H3区域的抗体语言模型及其抗体库分析方法

抗体库测序技术的发展使研究人员能够一次性获得数百万条抗体序列，为解析免疫应答和发现治疗性抗体提供了前所未有的数据资源。然而，从庞大的抗体库中识别真正具有功能的抗体仍然十分困难。目前，大多数抗体语言模型均基于完整可变区序列进行训练，不仅需要大量标注数据，而且保守框架区容易掩盖真正决定抗原识别的关键信号。研究人员提出H3BERTa，一种仅针对抗体重链互补决定区3（CDR-H3）训练的语言模型，探索这一高度可变短序列是否已经包含足够丰富的免疫学信息。研究结果表明，H3BERTa不仅能够学习J基因使用、B细胞成熟状态以及抗原结合等重要特征，还可利用伪困惑度（Pseudo-perplexity，PPL）分析健康人与HIV感染者抗体库之间的差异，并结合少量标注数据完成广谱中和抗体识别，为抗体库分析、抗体发现及免疫监测提供了一种更加轻量、高效且具有良好可解释性的人工智能方法。

近年来，高通量抗体测序不断推动免疫组库研究的发展，使研究人员能够在单个样本中获得数百万条B细胞受体序列，为感染、疫苗以及自身免疫疾病研究提供了丰富的数据来源。然而，真正具有抗原结合能力或能够发展成为治疗性抗体的序列仅占整个抗体库极小比例，因此如何从海量序列中快速发现功能抗体成为当前计算免疫学的重要挑战。

近年来，大规模蛋白语言模型开始被应用于抗体研究。包括AntiBERTa、Ab-RoBERTa以及HeavyBERTa等模型均通过学习完整抗体可变区序列获得丰富的结构和功能表示，并逐渐应用于抗体工程和抗体设计。然而，完整可变区不仅包含高度保守的框架区，还包括多个功能区域，大量与抗原识别无关的信息会稀释真正重要的免疫信号，同时增加模型规模和下游微调所需的数据量。

事实上，CDR-H3是抗体中变异程度最高、也是决定抗原识别特异性的关键区域。大量研究表明，抗体成熟、克隆扩增以及体细胞高频突变等免疫过程都会首先体现在CDR-H3序列中。因此，研究人员提出一个新的问题：是否仅利用这一短短十几至几十个氨基酸组成的超变区，就足以学习整个抗体库的重要免疫特征？

为回答这一问题，研究人员开发了H3BERTa，仅利用CDR-H3进行预训练，希望建立更加轻量、高效且具有更强可解释性的抗体语言模型，并进一步验证其在抗体库分析、疾病状态识别及广谱中和抗体发现中的应用潜力。

研究人员首先从Observed Antibody Space（OAS）数据库中收集健康供体IgG和IgA抗体序列，通过IMGT注释提取CDR-H3区域，并经过聚类去冗余和质量控制后获得约1800万条训练序列。随后以RoBERTa为基础构建H3BERTa模型，共包含约8600万个可训练参数，仅针对CDR-H3序列进行掩码语言模型预训练。完成预训练后，模型输出的序列嵌入用于抗体库表示学习，并进一步计算每条序列的伪困惑度（Pseudo-perplexity）作为抗体库整体特征。在下游任务中，研究人员分别采用支持向量机（SVM）和结合生成对抗网络的GAN-H3BERTa框架，对HIV广谱中和抗体进行识别，并利用真实HIV感染者抗体库验证模型的实际筛选能力。

图1: H3BERTa整体框架及基于CDR-H3序列的语言模型训练与广谱中和抗体预测流程。

研究首先验证仅使用CDR-H3是否能够学习完整抗体的重要信息。H3BERTa完成预训练后，在不同抗体亚型上均保持稳定表现，说明模型具有良好的泛化能力。

随后，研究人员将H3BERTa与目前代表性的全长抗体语言模型AntiBERTa2进行比较。结果发现，H3BERTa生成的序列嵌入主要按照J基因进行聚类，而AntiBERTa2则主要受到V基因影响。这一现象说明，全长模型更多学习了框架区保守信息，而H3BERTa则更加关注真正决定抗原识别的CDR-H3区域。

进一步分析治疗性抗体发现，全长模型能够较好地区分不同物种来源，而H3BERTa虽然物种聚类相对较弱，但仍保留部分物种特征，说明CDR-H3本身已经包含一定程度的进化信息。

更重要的是，当研究人员进一步分析B细胞成熟状态以及SARS-CoV-2、IL-6和TNF-α等不同抗原结合能力时，H3BERTa与AntiBERTa2均能够实现明显区分，说明即使仅利用短短的CDR-H3区域，模型依然能够学习到丰富的免疫学功能信息。

图2: H3BERTa与全长抗体语言模型在基因使用、物种来源及抗体功能表示学习中的比较。

为了进一步分析整个抗体库，研究人员提出利用伪困惑度（Pseudo-perplexity，PPL）描述每条CDR-H3序列在模型中的“合理程度”。

研究首先分析420万条健康供体抗体序列以及420万条HIV广谱中和抗体供体序列。虽然两类抗体库在UMAP空间中整体分布较为相似，但采用PPL分布进行分析后，可以明显区分健康人与HIV感染者。

进一步利用Wasserstein距离比较不同供体之间PPL分布发现，健康供体之间形成多个稳定聚类，而广谱中和抗体供体则形成另外两个主要聚类，仅少数健康供体与HIV供体出现部分重叠。这说明PPL能够反映整个抗体库长期免疫刺激所留下的整体特征，而不仅仅是单条抗体序列。

研究人员进一步分析PPL分布尾部发现，健康人与HIV抗体库最大的区别主要集中在高PPL和低PPL区域，而中间90%的序列几乎完全重叠。这意味着真正反映疾病状态的信息并非来自整个抗体库，而是来自少量具有特殊性质的抗体序列，为今后免疫监测提供了新的分析思路。

图3: H3BERTa利用Pseudo-perplexity分析健康人与HIV感染者抗体库差异及聚类结果。

为了理解PPL反映的生物学意义，研究人员进一步分析不同PPL区域对应的序列组成。

结果发现，低PPL序列通常具有较长的CDR-H3环，并富含酪氨酸残基，而酪氨酸正是抗原结合过程中最重要的芳香族氨基酸之一。相比之下，高PPL序列则富含亮氨酸、苏氨酸以及脯氨酸，同时整体长度明显缩短。

进一步计算净电荷和疏水性发现，不同PPL区域之间均存在显著差异。其中，高PPL序列通常带有更高净电荷，而低PPL序列则表现出更加成熟、更适于抗原识别的理化特征。

研究人员认为，这些规律无法简单通过序列长度或氨基酸组成解释，而是说明H3BERTa已经学习到了抗体成熟、亲和力成熟以及长期免疫选择过程中更加复杂的统计特征，因此PPL能够作为一种新的免疫组库分析指标。

研究随后评估H3BERTa在广谱中和抗体发现中的应用价值。

首先，研究人员构建包含390条实验验证CDR-H3序列的数据集，其中包括数量相同的广谱中和抗体和非中和抗体。利用H3BERTa生成的嵌入训练简单线性支持向量机后，在验证集和独立测试集上均获得约93%的总体准确率以及0.92的F1值，仅利用CDR-H3即可准确区分两类抗体。

随后，研究人员进一步开发GAN-H3BERTa半监督框架，引入大量未标注HIV抗体库共同训练。相比普通SVM，GAN-H3BERTa能够进一步优化嵌入空间，使广谱中和抗体与普通抗体之间形成更加清晰的边界，同时在真实HIV抗体库中成功定位实验验证的广谱中和抗体。

研究人员认为，这说明H3BERTa不仅能够用于抗体库整体分析，还能够支持真实治疗性抗体发现，在标注数据十分有限的情况下依然保持较高预测能力。

图4: H3BERTa与GAN-H3BERTa广谱中和抗体分类性能比较。

图5: GAN-H3BERTa在真实HIV抗体库中的广谱中和抗体筛选结果。

研究人员提出的H3BERTa证明，仅利用抗体中最短、但信息最丰富的CDR-H3区域，就能够学习到大量免疫学和功能学信息，而无需依赖完整抗体可变区。这不仅显著降低了模型规模和计算成本，也减少了框架区保守序列对功能信号的干扰，使模型更加关注真正决定抗原识别的关键区域。

研究进一步表明，H3BERTa不仅能够学习J基因使用、B细胞成熟以及抗原结合等传统特征，还能够通过伪困惑度刻画整个抗体库的免疫状态，为健康与疾病状态比较提供新的统计指标。同时，在广谱中和抗体发现任务中，仅利用极少量标注数据即可完成高精度分类，体现了该模型在数据稀缺场景下的重要优势。

不过，研究人员也指出，H3BERTa目前仅建模CDR-H3，因此尚未考虑其他互补决定区及框架区对抗原结合和结构稳定性的影响；此外，目前模型主要基于人类抗体数据训练，其跨物种泛化能力以及对工程化抗体的适用性仍需进一步验证。未来如果结合完整抗体结构信息、多模态学习以及更多实验功能数据，H3BERTa有望进一步扩展至抗原特异性预测、疫苗设计、免疫监测以及治疗性抗体发现等更广泛的应用场景。

Rodella, C., & Lemmin, T. (2026). H3BERTa: A CDR-H3-specific language model for antibody repertoire analysis. Patterns, 7(7).

https://doi.org/10.1016/j.patter.2026.101561