The Noisy Path from Source to Citation: Measuring How Scholars Engage with Past Research

学术引用被广泛用于评估研究和追踪知识流动。这些用途通常依赖于原始的引用次数，而忽视了引用类型的多样性。特别是，引用在忠实度上可能存在差异，因为被引用研究中的原始知识可能会被改写、概括或重新解释，甚至可能被错误地解读，从而导致从被引文献到引用文献之间的信息变化程度不同。在本研究中，我们引入了一种计算管道，以大规模量化引用的忠实度。利用论文的全文，该管道识别出引用文献中的引用及其对应被引文献中的主张，并应用监督模型在句子级别测量忠实度。通过对大约1300万对引用句子的大规模多学科数据集进行分析，我们发现当作者引用的论文具有以下特点时，引用忠实度更高：1）更为近期且在知识上更接近；2）更易于获取；3）第一作者的H指数较低且作者团队规模适中。通过准实验，我们确立了“电话效应”——当引用文献对原始主张的忠实度较低时，未来引用该引用文献及原始文献的论文对原始文献的忠实度也较低。我们的研究揭示了引用忠实度的系统性差异，强调了仅依赖引用数量进行分析的局限性以及证据扭曲的潜在可能性。

该论文试图解决学术引用中仅依赖原始引用次数而忽视引用类型多样性的局限性问题。具体来说，它探讨了引用保真度（即引用内容与原文的一致性）的量化问题，这是一个相对较少被研究的问题领域。

论文的关键思路是引入一个计算管道来大规模量化引用保真度。通过分析引用句子对，该方法不仅考虑了引用的存在，还评估了引用内容与原文之间的相似性和准确性。这种方法的新颖之处在于它能够系统地衡量引用的质量，而不仅仅是数量，从而揭示了引用过程中可能出现的信息扭曲。

该研究使用了大约1300万对引用句子的大规模多学科数据集，并发现引用保真度受到多种因素的影响，如引用文献的时效性、可访问性及作者团队特征等。此外，研究还通过准实验验证了“电话效应”，即低保真度引用会导致后续引用进一步偏离原始内容。这些发现强调了仅依靠引用数量进行研究评价的局限性。论文并未提及开源代码或特定数据集的公开。

最近的相关研究包括：1) 使用自然语言处理技术来分析学术文献中的引用关系；2) 探讨引用行为的社会学和心理学因素；3) 研究引用网络结构及其对知识传播的影响。例如，《Understanding the Dynamics of Citation Networks》和《The Role of Citations in Scientific Communication》等论文都从不同角度探讨了引用在学术交流中的作用。