Gaining More Insight into Neural Semantic Parsing with Challenging Benchmarks

Parallel Meaning Bank（PMB）是用于语义处理的语料库，重点关注语义解析和文本生成。目前，我们看到神经解析器和生成器在PMB上表现出色。这可能表明这些语义处理任务已经基本解决。然而，我们认为这并不是事实，过去在PMB上的表现分数被非最优的数据拆分和测试集过于简单的因素所夸大。因此，我们提出了几个改进。首先，我们提出了一种更系统的拆分方法，以提高标准测试数据的可靠性。其次，除了标准测试集外，我们还提出了两个挑战集：一个包含篇章结构的长文本，一个解决组合泛化问题。我们评估了五个神经模型用于语义解析和生成。我们的结果表明，在挑战集上模型的表现下降（在某些情况下甚至戏剧性下降），揭示出神经模型面对这些挑战时的局限性。

论文试图验证当前语义处理任务的性能是否被数据划分和测试集难度的问题所夸大。

通过引入更加系统的数据划分方法和两个挑战数据集，揭示神经模型在面对长文本和组合泛化等挑战时的局限性。

论文提出了更加系统的数据划分方法和两个挑战数据集，评估了五种神经模型在语义解析和文本生成任务上的表现。结果表明，模型在挑战数据集上的表现下降，揭示了神经模型的局限性。

相关研究包括但不限于：《A Survey of Neural Machine Translation: Insights and Directions》、《Attention Is All You Need》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。