End-to-End Trainable Soft Retriever for Low-resource Relation Extraction

本研究解决了使用文本生成模型进行基于实例的关系提取中的一个关键挑战：由于实例选择的不可微性，目标关系提取任务的端到端训练对检索器不适用。我们提出了一种新颖的基于神经提示方法的端到端可训练软K近邻检索器（ETRASK），利用软、可微的$k$个最近实例的选择。这种方法使得检索器在目标任务中可以进行端到端的训练。在TACRED基准数据集上，我们的方法在低资源设置下，训练数据减少到10％，实现了71.5％的最新F1分数。此外，ETRASK通过为所有设置添加实例，持续改进基线模型。这些结果突显了我们的方法在增强关系提取性能方面的功效，特别是在资源受限环境中。我们的发现为未来的提取研究和文本生成在自然语言处理中的广泛应用提供了一个有前途的方向。

论文旨在解决实例选择不可微的问题，提出了一种基于神经提示方法的可微选择k近邻实例的模型，从而实现检索器的端到端训练。

论文提出了一种新的End-to-end TRAinable Soft K-nearest neighbor retriever (ETRASK)模型，该模型使用可微分的方式选择k个最近邻实例，从而实现了检索器的端到端训练。

论文在TACRED基准数据集上进行了实验，结果表明该模型在低资源设置下取得了71.5％的F1得分，优于基线模型。此外，ETRASK模型在所有设置中都通过添加实例来改进基线模型。该研究为关系抽取的性能提升和自然语言处理中的文本生成应用提供了有益的方向。

最近的相关研究包括《End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures》、《Neural Relation Extraction with Multi-Level Attention》等。