Distinct citation distributions complicate research evaluations. A single indicator that universally reveals research efficiency cannot be formulated

2024年07月12日
  • 简介
    目的:分析不同研究主题出版物的引用分布的多样性,以研究基于排名的独立于规模的指标的准确性。基于前百分位的指标是这种类型最常见的指标,而对日本的评估是最明显的误判。 设计/方法:使用对数分箱直方图、双重排名图和对数转换的引用数量的正态概率图,分析了来自不同国家和期刊的几个研究主题的出版物的引用分布以及相应的全球出版物。结果:当本地出版物的全球排名符合幂律分布时,基于排名的独立于规模的指标是准确的,但在最少引用的论文中存在偏差,这在许多国家和所有高影响因子期刊中都很常见。在这些情况下,单一指标是误导性的。比较未引用论文的比例是预测这些偏差的最佳方法。研究限制:本研究基本上是分析性的,其结果描述了自证不疑的数学事实。实践意义:尊重的机构,如经合组织、欧洲委员会、美国国家科学委员会等,使用基于排名的独立于规模的百分位指标制作研究国家排名和个人评估,这在许多国家是误导性的。这些误导性的评估应该停止,因为它们会在研究政策制定者之间造成混乱,并导致不正确的研究政策。独创性/价值:以前没有进行过将引用分布的较低尾部(包括未引用的论文)与百分位研究指标联系起来的研究。目前的研究结果表明,这类研究是必要的,以找到可靠的研究评估程序。
  • 作者讲解
  • 图表
  • 解决问题
    本论文旨在分析不同研究主题中出版物的引用分布的多样性,以调查大小无关、基于排名的指标的准确性。研究发现,当本地出版物的全球排名符合幂律分布时,大小无关、基于排名的指标是准确的,但在一些国家和所有高影响因子期刊中,最少引用的论文存在偏差。这些情况下,单个指标是误导性的。比较未引用论文的比例是预测这些偏差的最佳方法。
  • 关键思路
    本论文通过分析引用分布的多样性,提出了一种新的方法来解决大小无关、基于排名的指标的准确性问题。研究发现,对于那些符合幂律分布的论文,这种指标是准确的,但对于那些存在偏差的论文,单个指标是误导性的。比较未引用论文的比例是预测这些偏差的最佳方法。
  • 其它亮点
    本论文的亮点包括:1.使用了多种可视化方法来分析引用分布的多样性;2.研究发现,大小无关、基于排名的指标在一些国家和高影响因子期刊中是误导性的;3.比较未引用论文的比例是预测这些偏差的最佳方法。
  • 相关研究
    最近在这个领域中,还有一些相关的研究被进行。例如,Stefano Allesina和Si Tang在《Nature》杂志上发表了一篇名为《Stability criteria for complex ecosystems》的论文,研究了复杂生态系统的稳定性标准。还有一篇名为《Citation distributions of in Physics: An empirical study》的论文,由Albert-László Barabási和Réka Albert发表在《Physical Review E》杂志上,研究了物理学中引用分布的经验研究。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问