Scoping Review of Active Learning Strategies and their Evaluation Environments for Entity Recognition Tasks

我们进行了一个关于自然语言处理（NLP）中主动学习的范围性综述，并根据PRISMA-ScR准则进行总结，内容如下： 目标：确定为实体识别提出的主动学习策略及其评估环境（数据集、指标、硬件、执行时间）。设计：我们使用Scopus和ACM作为搜索引擎，并与两个文献调查结果进行比较以评估搜索质量。我们包括了介绍或比较实体识别的主动学习策略的同行评审英文出版物。结果：我们分析了62篇相关论文，确定了106种主动学习策略。我们将它们分为三类：基于开发的策略（60个），基于探索的策略（14个）和混合策略（32个）。我们发现所有研究都使用F1分数作为评估指标。关于硬件（6个）和执行时间（13个）的信息只偶尔被包括。这62篇论文使用了57个不同的数据集来评估各自的策略。大多数数据集包含报纸文章或生物医学/医疗数据。我们的分析显示，57个数据集中有26个是公开可访问的。 结论：我们确定了众多的主动学习策略，但仍有一些重要的问题需要解决。研究人员和从业者在做出关于采用哪种主动学习策略的数据驱动决策时面临困难。使用本研究提出的评估环境进行全面的实证比较可以帮助建立该领域的最佳实践。

发现自监督学习中存在的问题，提出了一种新的解决方案

论文提出了一种新的自监督学习方法SimCLR，通过对比数据增强后的同一图像的相似度来训练模型，取得了优秀的性能

论文使用了大规模的图像数据集ImageNet进行实验，并且开源了代码，方便其他研究者使用。此外，论文还对比了SimCLR和其他自监督学习方法的性能，证明了SimCLR的优越性

最近在这个领域中，还有一些相关研究，如MoCo、CPC等