无监督分词和句法分析！原来BERT还可以这样用

BERT 的一般用法就是加载其预训练权重，再接一小部分新层，然后在下游任务上进行 finetune，换句话说一般的用法都是有监督训练的。基于这个流程，我们可以做中文的分词、NER 甚至句法分析，这些想必大家就算没做过也会有所听闻。

但如果说直接从预训练的 BERT（不 finetune）就可以对句子进行分词，甚至析出其句法结构出来，那应该会让人感觉到意外和有趣了。 本文介绍 ACL 2020 的论文 Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT，里边提供了直接利用 Masked Language Model（MLM）来分析和解释 BERT 的思路，而利用这种思路，我们可以无监督地做到分词甚至句法分析。

论文标题：Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT 论文来源：ACL 2020 论文链接：https://arxiv.org/abs/2004.14786 代码链接：https://github.com/LividWo/Perturbed-Masking

内容中包含的图片若涉及版权问题，请及时与我们联系删除