《SAIS Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction》论文阅读笔记
代码
原文地址
预备知识：
1.什么是标记索引（token indices）？
标记索引是一种用于表示文本中的单词或符号的数字编码。它们可以帮助计算机理解和处理自然语言。例如，假如有一个字典{"我": 1, "是": 2, "Bing": 3, ".": 4}，那么文本"我是Bing."的标记索引就是[1, 2, 3, 4]。不同的模型或任务可能使用不同的字典或编码方式，因此标记索引也可能有所不同。
2.什么是交替段落标记索引（alternating segment token indices）？
交替段落标记索引是一种用于区分文档中不同句子的方法。它可以帮助PLM更好地理解文档的结构和语义。具体来说，就是在每个句子的开头和结尾添加一个特殊的标记，例如0或1，表示该句子属于哪个段落。这样，PLM就可以根据这些标记来分析文档中的句子之间的关系。
3.什么是Spacy?
spaCy是一个用于高级自然语言处理的开源软件库，用Python和Cython编程语言编写。
摘要
从句子级到文档级，关系抽取（RE）的研究需要处理更长的文本和更复杂的实体交互。因此，如何有效地编码关键信息源——相关上下文和实体类型，是一个挑战性的问题。然而，现有的方法在训练RE的过程中只是隐式地学习这些关键信息源的建模。这导致了它们在监督信号和模型预测的可解释性方面存在不足。为了解决这些问题，本文提出了一种显式地指导模型捕获相关上下文和实体类型的方法，即通过监督和增强中间步骤（Supervising and Augmenting Intermediate Steps ，SAIS）进行RE。本文基于一系列精心设计的任务，提出了SAIS方法，它不仅能够由于更有效的监督而提取更高质量的关系，而且能够更准确地检索出与RE实例相关的证据，从而提高模型的可解释性。此外，通过评估模型的不确定性，SAIS还能够通过基于证据的数据增强和集成推理进一步提升性能，同时降低计算成本。最终，SAIS在三个基准数据集（DocRED，CDR和GDA）上达到了RE的最新水平，并在DocRED上的证据检索任务上相对于第二名提高了5.04%的F1分数。
1 Introduction
RE：识别给定文本片段中的实体对之间的关系，将非结构化文本转化为结构化知识。
早期的RE研究主要关注句子级别的关系预测，而Peng等人(2020)通过大量的实验发现，这些方法之所以有效，是因为它们能够利用文本中的上下文和实体类型信息。
现有的文档级关系抽取（DocRE）在训练过程中，只是隐式地学习了文本上下文和实体类型的信息，导致了结果的不理想和不可解释。
本文提出了SAIS，来显式地指导模型捕获文本上下文和实体类型信息，从而进行RE。
本文认为，从带有注释实体提及的输入文档到RE的最终输出，推理过程包含四个中间步骤。如图1所示：
(1) 共指消解（Coreference Resolution，CR）：识别文档中指代同一实体的不同提及。
句子0提到了“Carl Linnaeus the Younger”的“国籍”，而句子1谈到了“Linnaeus filius”的“父亲”。其实，这两个名字都是指同一个人。因此，对于一个文档，要先用CR来确定同一实体的不同提及在上下文中的角色。
(2) 实体类型（Entity Typing ，ET）：标注实体的类型信息。
例如，实体A，“Linnaeus filius”，是“PER”（人）类型。在一个实体对中，头实体和尾实体的类型信息可以帮忙排除不合理的关系。比如，“year_of_birth”关系不可能存在于两个“PER”（人）类型的实体之间。
(3) 汇总证据检索（Pooled Evidence Retrieval，PER）：区分有和没有有效支持句的实体对。
(4) 细粒度证据检索（Fine-grained Evidence Retrieval，FER）：为每种有效关系提供具体的证据句子。
不是所有的实体对都有有效的关系（例如，示例中的实体D和B）。有些实体对还有多种关系（例如，实体A是实体D的“educated_at”和“employee”），每种关系都有自己的证据。所以，用PER来判断实体对是否有有效的支持句子，用FER来给出每种有效关系的独特和可解释的证据。
为了进一步提高性能，本文还采用了两种基于证据的数据增强方法和集成推理方法。基于证据的数据增强方法包括使用伪文档和注意力掩码来过滤出与关系相关的上下文，集成推理方法则是在模型对原始预测不确定时，结合多个模型的输出来提高置信度。这些方法只需要很少的额外计算代价，就可以显著提升模型的效果。
SAIS在三个RE基准测试（DocRED, CDR, GDA）上都取得了最好的性能，并且在DocRED上的ER F1分数相对于第二名提高了5.04%，说明SAIS不仅提高了关系的准确性，还提高了关系的可解释性。
2 Background
2.1 Problem Formulation
给定一个文档
2.2 Related Work
DocRE的两种方法：
（1）基于图的方法：通常将上下文信息融入到基于启发式的文档图中，并通过先进的神经技术进行多跳推理。
（2）基于Transformer的方法：利用预训练的语言模型的优势来编码长距离的上下文依赖。
然而，大多数之前的方法都是在训练RE模型的过程中隐式地学习上下文信息。因此，它们面临着监督不充分和模型预测不可解释的问题。
与EIDER相比，SAIS使用了更精确和可解释的FER来检索证据，并提出了两种不同的基于证据的数据增强方法，而且还通过只对不确定的关系三元组应用集成学习来节省计算成本。因此，SAIS不仅通过更有效的监督提高了RE的性能，而且还检索了更准确的证据，以提高可解释性。
3 Supervising Intermediate Steps
3.1 Document Encoding
为了利用预训练语言模型（PLM）在各种下游任务中的优势，本文使用PLM对文档进行编码。具体来说，对于一个文档
其中，
3.2 Coreference Resolution (CR)
作为一个案例研究，Yao等人(2019)报告了在DocRED数据集中，有17.6%的关系实例需要进行共指消解。因此，在对文档进行编码后，本文使用CR模块来将重复的上下文提及映射到同一个实体。具体来说，对于一对提及
其中
由于在DocRED数据集中，大多数提及对应不同的实体(每个实体平均只有1.34个提及)，本文使用焦点损失(Lin等人，2017)来缓解这种极度的类别不平衡，它是在二元交叉熵的基础上增加的：
其中
3.3 Entity Typing (ET)
在一对实体中，类型信息可以用来过滤掉不可能的关系。为了保证实体嵌入能够反映类型信息，本文通过ET模块来对实体嵌入进行正则化。具体来说，首先利用logsumexp池化来融合实体
由于实体
其中
无论实体
然后，使用多类交叉熵损失来优化类型预测：
其中
3.4 Pooled Evidence Retrieval (PER)
为了更好地理解文本中的上下文信息，本文使用 PER 模块来显式地让 PLM 关注每个实体对之间的关联句子。也就是说，目标是找出文档
上式中，
其中
这里同样遇到了一个严重的类别不平衡的问题，因为大多数实体对（在 DocRED 中占 97.1%）没有有效的关系或证据。因此，类似于第 3.2 节，本文也使用了带有二元交叉熵的焦点损失函数：
其中
3.5 Fine-grained Evidence Retrieval (FER)
为了进一步提高模型的可解释性，不仅要对实体对进行PER，还要对每个实体对和关系的三元组进行FER，从而恢复它们的特定上下文证据。具体来说，给定一个三元组
其中
然后，使用一个分组双线性层来计算一个句子
其中
由于 FER 只针对有有效关系的实体对，所以这里的类别不平衡问题比 PER 要小一些。因此，定义
3.6 Relation Extraction (RE)
根据上述四个互补任务，本文对每个实体对
其中 
接着，将上下文信息和类型信息结合起来，得到头实体和尾实体的表示：
接下来，使用一个分组双线性层来计算头实体
其中
正如前文所述，只有少数实体对之间有有效的关系，而且一个实体对之间可能有多个关系。因此，为了处理多标签不平衡分类的问题，本文参考Zhou等人 (2021)的方法，引入了一个阈值关系类
这个损失函数的目的是提高有效关系
总之，为了提高模型的 RE 性能，本文设计了四个任务来显式地监督模型在各个中间步骤的输出，从而更好地捕捉实体类型信息和文本上下文。在附录 A 中展示了整个流程
其中
在使用当前流程
4 Augmenting Intermediate Steps
4.1 When to Augment Intermediate Steps
FER 预测的证据是每个三元组
因此，本文采用了选择性预测的思想 (El-Yaniv等人, 2010)，从所有的三元组中选出一个子集
具体来说，用
为了确定拒绝率
本文既想降低关系预测的风险，又想降低拒绝率，这样才能减少数据增强的计算成本。为了平衡这两个目标，选择使
4.2 How to Augment Intermediate Steps
考虑一个三元组
（1）基于伪文档的方法（
（2）基于注意力掩码的方法（
为了综合这两种方法的优势，本文参考了Eider的工作，使用一个混合参数
通过最小化开发集上的
其中
这种方法可以在模型对原始预测不确定时利用证据信息提高关系抽取的性能，在模型对原始预测有信心时节省计算成本。在附录 B 中给出了基于证据的数据增强和集成推理的总体步骤
热门相关：随身英雄杀 少林武僧在异界 少林武僧在异界 顺明 陆爷的小祖宗又撩又飒