Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL

大型语言模型在捕捉结构化语义方面发挥着至关重要的作用，以增强语言理解、提高可解释性和减少偏见。然而，关于LLM能够理解结构化语义的程度存在持续的争议。为了评估这一点，我们提出使用语义角色标注（SRL）作为探索LLM提取结构化语义能力的基本任务。在我们的评估中，我们采用提示方法，从而创建了我们的少样本SRL解析器，称为PromptSRL。PromptSRL使LLM能够将自然语言映射到明确的语义结构，这为LLM的属性提供了可解释的窗口。我们发现有趣的潜力：LLM确实能够捕捉语义结构，并且扩大规模并不总是反映潜力。此外，LLM的限制在C-arguments等方面也有所观察。最后，我们惊讶地发现，LLM和未经训练的人之间在错误方面存在显着重叠，占所有错误的近30%。

本论文旨在评估大型语言模型（LLMs）对于提取结构化语义的能力，通过使用语义角色标注（SRL）作为基础任务来探索LLMs提取结构化语义的能力。

通过使用提示方法，创建了一种少样本SRL解析器PromptSRL，使LLMs能够将自然语言映射到明确的语义结构中，从而提供了LLMs属性的可解释窗口。研究发现，LLMs确实能够捕捉到语义结构，但在C-arguments等方面存在局限性。此外，研究发现LLMs和未经过训练的人类在错误方面存在显著重叠，占所有错误的近30%。

论文使用提示方法创建了PromptSRL解析器，进行了对LLMs提取结构化语义能力的评估，发现LLMs确实能够捕捉到语义结构。研究还发现LLMs和未经过训练的人类在错误方面存在显著重叠，占所有错误的近30%。

最近的相关研究包括：1）《Attention is All You Need》；2）《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》；3）《RoBERTa: A Robustly Optimized BERT Pretraining Approach》等。