自然语言处理(NLP)建模方面的进步为许多 NLP 任务带来空前性能,尽管模型理解和评估方面的研究工作激增,但仍没有用于模型分析的“灵丹妙药”。这使得从业人员必须尝试多种技术,研究本地解释、汇总指标和输入的反事实变化,以更好地理解模型行为,而每一种技术通常都需要使用自己的软件包或定制工具。
考虑到以上挑战,谷歌构建并开放语言可解释性工具(LIT),一个用于理解NLP模型的交互式平台。LIT 可以从假设分析工具中获得经验教训,该平台具有极大的扩展功能,涵盖一系列 NLP 任务,包括序列生成,跨度标记,分类和回归,以及可自定义和可扩展的可视化和模型分析。
LIT 支持局部说明,包括显著性地图和模型预测的丰富可视化,以及包括度量,嵌入空间和灵活切片的聚合分析。用户可以轻松地在可视化效果之间进行切换,以测试局部假设并通过数据集对其进行验证。LIT 可以为反事实生成提供支持,可在其中即时添加新的数据点,并立即可视化它们对模型的影响,并排比较并同时显示两个模型或两个单独的数据点。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢