Recovering Mental Representations from Large Language Models with Markov Chain Monte Carlo

通过与人类进行模拟抽样算法已被证明是一种有效的方法，可以有效地探究和理解他们的心理表征。我们提出相同的方法可以用于研究大型语言模型（LLMs）的表征。虽然可以直接提示人类或LLMs通过内省揭示他们的心理表征，但我们展示了使用LLMs作为抽样算法元素可以提高效率。我们探讨了使用直接抽样和马尔可夫链蒙特卡罗（MCMC）对LLMs进行询问时，我们恢复人类类似表征的程度。我们发现，使用基于MCMC的自适应抽样算法可以显著提高效率和性能。我们还强调了我们的方法具有使用LLMs进行贝叶斯推断的潜力。

本论文旨在研究使用Large Language Models（LLMs）作为采样算法元素来探索LLMs的表示方法，以及使用自适应采样算法基于MCMC来提高效率和性能。

本论文提出了一种使用LLMs作为采样算法元素来研究其表示方法的方法，并展示了使用基于MCMC的自适应采样算法在效率和性能方面的提高。此外，该方法还有望成为进行贝叶斯推断的一种更普遍的方法。

论文使用了Direct Sampling和Markov Chain Monte Carlo（MCMC）等方法来探索LLMs的表示方法，并且使用自适应采样算法基于MCMC来提高效率和性能。实验结果表明，这种方法可以有效地提高效率和性能，并且有望成为进行贝叶斯推断的一种更普遍的方法。

最近的相关研究包括使用LLMs进行自然语言生成和对话系统的研究，以及使用MCMC进行贝叶斯推断的研究。