What's in an embedding? Would a rose by any embedding smell as sweet?

大型语言模型（LLMs）常常因缺乏真正的“理解”和“推理”能力而受到批评，被视为先进的自动补全系统。我们认为这种观点可能忽略了一个重要的洞见。我们建议LLMs确实会发展出一种类似于“几何”一样的经验性“理解”，这对于NLP、计算机视觉、编码辅助等一系列应用来说似乎足够了。然而，这种从不完整和嘈杂的数据中建立的“几何”理解使它们不可靠、难以推广，缺乏推理能力和解释能力，类似于几十年前启发式专家系统所面临的挑战。 为了克服这些局限性，我们建议将LLMs与包含专家系统中使用的符号AI元素的“代数”知识表示进行整合。这种整合旨在创建大型知识模型（LKMs），不仅具有基于第一原理的“深层”知识，而且具有推理和解释的能力，模仿人类专家的能力。为了安全有效地利用生成型AI的全部潜力，需要从LLMs转向更全面的LKMs的范式转变。

从LLMs到LKMs：实现更深层次的人工智能知识表示

将符号AI元素与LLMs集成，以实现更深层次的人工智能知识表示，具备推理和解释能力

论文认为LLMs虽然具备一定的“几何”式的经验理解能力，但由于数据不完整、噪声干扰等因素，导致其不可靠、难以推广和缺乏推理能力和解释能力。因此，论文提出了一种将符号AI元素与LLMs集成的方法，以构建更深层次的人工智能知识表示模型LKMs，具备推理和解释能力，从而实现更全面、更安全、更有效的生成式人工智能

最近的相关研究包括：《A survey of knowledge representation techniques for natural language processing》、《Symbolic Reasoning and Machine Learning》等