这项研究旨在验证ChatGPT在化学领域生成内容的相似性指数。我们考虑了基于受控词汇工具的化学的二十个子主题，例如《杜威十进制分类法》、《Sears清单》和《LCSH》。我们使用iThenticate、Urkund和Turnitin来检查相似性指数。令人惊讶的是，匹配百分比相对较低。近年来，自然语言处理和机器学习的进步导致了像ChatGPT这样的强大语言模型的发展。这些基于GPT-3.5架构的模型旨在理解并生成类似人类的文本响应。虽然这些模型已被广泛应用于各种领域，但它们在化学及其子领域的潜力仍然大部分未被探索。通过利用该领域的大量知识和数据，ChatGPT有可能帮助研究者、学生和专业人士获取相关信息、解决问题和促进科学交流。ChatGPT有可能革命性地改变我们获取和互动的方式与化学及其子主题的科学知识。生成的内容可以涵盖广泛的主题，如有机化学、无机化学、分析化学、物理化学、生物化学和其他相关领域。已经发表了关于化学和ChatGPT的几篇论文，如药物发现、教学、计算化学等。ChatGPT可以用于提供关于化学的各个方面的快速和易于获取的信息，它可能成为研究者、学生和专业人士的宝贵工具。此外，ChatGPT可以用更简单的语言解释化学概念，帮助学生更好地理解复杂的主题，并可能在解决问题中起到帮助。ChatGPT使用多样化的数据集，包括科学交流，这使得它能够使用与化学相关的技术术语和行话，并在生成与特定查询相关的上下文响应时可能有益。因此，评估ChatGPT在化学中生成的内容的准确性和可靠性需要适当的评估，以帮助测量生成内容的质量，例如检查其相似性。因此，本研究的目的是研究ChatGPT在生成与化学相关的内容方面的能力，并检查相似性指数以评估生成响应的质量和准确性。首先，通过三个标准且全球知名的受控词汇工具选择化学及其相关主题，例如《杜威十进制分类法》(DDC)、《Sears主题标目清单》和《国会图书馆主题标目》(LCSH)。利用这些工具，排除重复或常见的主题，为本次工作选择了20个较大的主题（主题按字母顺序放在表1中）。下一步是捕获每一个这些术语，通过ChatGPT生成内容，并使用三个主要的查重软件检查该内容，以找到相似性指数。最后，通过表格分析相似性检查或查重报告，然后得出结论和发现。(I) 研究者或用户对ChatGPT生成的内容没有控制权，因此这项工作是基于特定查询由ChatGPT给出的答案来完成的。(II) 在检查抄袭或相似性指数时，必须依赖所有三个软件程序，并且研究者对它们的检测机制没有控制权。(III) 此外，为这项工作生成了20个主题和168段内容，但如果使用更多的样本进行此类工作，将获得更好的结果。表2显示了用于检查本研究中测试的不同来源相似性的软件程序的列表。(I) iThenticate显示了12%的相似性指数，这意味着ChatGPT生成的内容中约有12%与现有资源有相似之处。在检查的168段中，有75段发现有匹配内容，而93段没有任何匹配内容。(II) Urkund显示的相似性指数较低，为1%，表示ChatGPT生成的内容与现有资源之间的相似性很小。在168段中，只有23段被发现有匹配内容，而大多数段落（145段）没有显示任何匹配内容。(III) Turnitin报告显示5%的相似性指数，表示ChatGPT生成的内容与可用资源之间有适度的相似性。在168段中，有37段被识别为匹配内容，而131段没有显示任何相似性。(IV) 主题分析（参见表1）提供了关于ChatGPT生成的内容与化学不同领域的现有资源之间的相似性的洞察。从这些查重软件获得的结果显示，ChatGPT生成的内容与现有资源之间存在不同程度的相似性。与Urkund相比，iThenticate和Turnitin显示出更高的相似性指数。从主题领域的观点来看，化学的子领域，具有最新趋势和更多的已发布文献，显示出更高的相似性指数。相反，化学的较不常规的子主题，如农业化学、生物化学、植物化学、临床化学、微化学，或者已发布文献较少的，显示出相对较低的相似性指数得分。相似性指数的来源显示，ChatGPT生成的内容主要依赖于互联网资源，包括各种类型的网站。值得注意的是，查重报告显示，这些在线资源的句子和段落中主要发现了相似之处。例如：ChatGPT有时候倾向于直接从输入的查询或提示中提取信息，导致文本重叠，因为ChatGPT处理的文本范围很广，包括技术和科学已发布的文献，这可能会影响其响应。(2) 重要的是要注意，这些百分比只提供了相似性的量化度量，还需要进一步的分析来确定匹配的性质和上下文。总之，使用各种查重软件按主题分析ChatGPT生成内容的相似性指数，揭示了几个重要的发现。ChatGPT生成的内容与化学的不同主题中的现有资源相比，展现出相对较低的相似性水平，并且大部分段落并未显示出明显的匹配。不同主题之间的相似性指数存在差异。从不同的查重软件获得的结果存在不一致性。虽然相似性指数提供了一个关于相似性的量化度量，但对匹配段落进行手动检查和上下文分析以确定ChatGPT生成内容的适当性、原创性和准确性是至关重要的。查重软件应作为手动评估的补充工具，以对ChatGPT生成的内容的质量和原创性做出明智的判断。基于这些发现，可以得出的结论是ChatGPT处理了一个包括化学及其子学科的全面数据集，并且有潜力生成与现有资源相似性有限的内容。未来的研究和NLP模型的改进可以进一步增强生成内容的可靠性和可信度，扩大化学领域的科学交流和知识传播的可能性。ChatGPT Generated Content and Similarity Index in Chemistry†,Deep Kumar Kirtania,Journal of Chemical Information and Modeling Article ASAP,DOI: 10.1021/acs.jcim.3c01110注：本公众号推送内容以交流学习为目的，并非商业用途，如有侵权，请联系协商处理。欢迎各位专家学者投稿，分享Ai+材料最新科研成果！投稿邮箱：zyj1047587695@qq.com加群方式：添加编辑微信：zyj1047587695，请备注：单位-姓名-研究方向，由编辑审核后邀请入群斗转星移，光阴飞逝，AI使世界变化之快，如过隙白驹，让我们目不暇接。一种难以厘清的压迫感隐约而至。科学研究方式与生态是否处于大变革前夜？我们冥思，我们求索，为此创办此公众号，与大家分享和讨论AI在材料科学领域的最新进展、问题和挑战。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢