BERT，ALBERT，ELECTRA和XLNet等在NLP任务中已广泛采用，而了解其中的编码信息，以及学习到的相关性如何影响下游性能，以确保这些模型的应用符合AI原则也至关重要。
近期，谷歌研究人员针对BERT及其低内存ALBERT进行了案例研究，研究与性别相关的相关性，制定了一系列使用预训练语言模型的最佳实践案例。研究人员通过公共模型检查点和学术任务数据集展示了实验结果，以说明最佳实践的应用方式，为探索超出案例研究范围的设置提供了基础。
之后，研究人员还将发布一系列检查点，这些检查点可以减少性别相关性，同时保持标准NLP任务指标的准确性。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢