Transformers, Contextualism, and Polysemy

变压器架构是由Vaswani等人（2017）引入的，它是最近在语言模型开发方面取得显著进展的核心，包括Chat-gpt和Bard等著名聊天机器人。在本文中，我认为我们可以从变压器架构的工作方式中提取出上下文和含义之间关系的图像。我称之为变压器图像，并且我认为它在两个相关的哲学辩论中是新颖的：关于自然语言中上下文敏感度程度的上下文主义辩论，以及关于如何在词义解释中捕捉多义性的多义性辩论。虽然本文的大部分内容仅试图将变压器图像与这两个辩论相联系，但我也将开始为变压器图像辩护。

本文探讨transformer架构对于自然语言处理中上下文和多义词问题的新视角和解决方案。

transformer架构提供了一种新的理解上下文和多义词的方式，从而提高了自然语言处理的性能。

本文提出了transformer视角，探讨了上下文敏感性和多义词捕捉的问题，并提出了新的解决方案。实验使用了著名的Chat-gpt和Bard数据集，并展示了transformer架构的优越性。

近期相关研究包括《Attention Is All You Need》（Vaswani et al.，2017）和《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》（Devlin et al.，2018）等。