美国宾州坦普尔大学 | BERT 嵌入在 Twitter 数据中预测灾难的有效性

标题：美国宾州坦普尔大学 | BERT 嵌入在 Twitter 数据中预测灾难的有效性

作者： Ashis Kumar Chanda

推荐理由：社交数据预测灾难方面的预训练技术的应用

简介：Twitter 等社交媒体提供了一个与其他人分享和交流个人经历的通用平台。人们经常在社交媒体上发布他们的生活经历、当地新闻和事件以告知他人。许多救援机构定期监控此类数据，以识别灾害并降低生命风险。然而，人类无法手动检查海量数据并实时识别灾害。为此，研究者们之前已经提出了许多研究工作，以机器可理解的表示形式呈现单词，并在单词表示上应用机器学习方法来识别文本的情感。以往的研究方法提供给定文档中单词的单一表示或嵌入。然而，最近的高级上下文嵌入方法（BERT）已在不同的上下文中为同一个词构造不同的向量； BERT 嵌入已成功用于不同的自然语言处理（NLP ) 任务，但目前尚没有具体分析这些表示如何有助于灾难类型的推文分析。

在这项研究工作中，我们探索了 BERT 嵌入在从 Twitter 数据预测灾难方面的功效，并将其与传统的无上下文词嵌入方法（GloVe、Skip-gram 和 FastText）进行了比较。为此，我们同时使用传统的机器学习方法和深度学习方法。我们为这项研究提供了定量和定性结果。结果表明，BERT 嵌入在灾难预测任务中比传统词嵌入具有最好的结果。相关代码已开源、可供研究界免费访问。

论文地址：https://arxiv.org/abs/2108.10698

内容中包含的图片若涉及版权问题，请及时与我们联系删除