Depth $F_1$: Improving Evaluation of Cross-Domain Text Classification by Measuring Semantic Generalizability

最近对跨领域文本分类模型的评估旨在衡量模型在给定源领域标记样本的情况下，在目标领域中获得不变性能力的能力。这种评估的主要策略依赖于基准数据集中源域样本和目标域样本之间的假定差异。这种评估策略未能考虑源域和目标域之间的相似性，并可能掩盖模型无法将学习转移到与源域高度不相似的特定目标样本的情况。我们引入了Depth $F_1$，一种新的跨领域文本分类性能指标。Depth $F_1$旨在补充现有的分类指标（如$F_1$），衡量模型在与源域不相似的目标样本上的表现。我们使用标准的跨领域文本分类数据集来激发这种指标，并对几个最近的跨领域文本分类模型进行基准测试，以便深入评估跨领域文本分类模型的语义泛化能力。

论文旨在解决跨领域文本分类模型在目标领域中的泛化性能问题，并提出一种新的性能评估指标Depth F1。

Depth F1指标可以衡量模型在处理与源领域非常不同的目标领域样本时的性能，从而更全面地评估跨领域文本分类模型的语义泛化能力。

论文使用多个标准的跨领域文本分类数据集对Depth F1指标进行了实验验证，并与其他指标进行了比较。实验结果表明，Depth F1指标可以更全面地评估模型的性能。论文还介绍了几种最新的跨领域文本分类模型，并提供了开源代码。

在最近的相关研究中，有一些研究也关注了跨领域文本分类模型的泛化性能，例如《Cross-Domain Sentiment Classification Using Bidirectional LSTM》和《A Survey on Transfer Learning》。