String Seed of Thought: Prompting LLMs for Distribution-Faithful and Diverse Generation

我们提出了一种名为“思维字符串种子”（String Seed of Thought，简称SSoT）的新型大语言模型提示方法，用于改进概率性指令遵循（Probabilistic Instruction Following, PIF）。我们将PIF定义为一项任务：要求大语言模型从一组预定义的选项中选择答案，每个选项对应一个特定的概率，使得在多次提示下，模型生成答案的经验分布能够与目标分布保持一致。尽管大语言模型在具有唯一确定性答案的任务上表现出色，但在PIF任务中常常表现不佳，容易产生偏差。这种偏差对需要非确定性行为的应用场景尤为不利，例如模拟人类行为、内容多样化以及多人游戏等。此外，这种偏差还会导致生成的回答多样性下降，在测试时扩展（test-time scaling）中这一问题尤为关键，因为输出会坍缩到少数几种答案。为解决这一问题，我们提出了SSoT——一种简单的提示方法，指导大语言模型首先输出一个随机字符串，以产生足够的熵。SSoT还指示模型通过对该字符串进行操作来提取随机性，从而推导出最终答案，这样既保持了输出的多样性，又满足了特定的概率约束。实验表明，SSoT显著提升了大语言模型在PIF任务上的表现，使其接近伪随机数生成器的理想性能。此外，我们在NoveltyBench上的实验进一步证明，SSoT的优势不仅限于封闭式任务，还能通过增强回答的多样性，有效提升开放式任务的表现。

论文试图解决大语言模型在概率性指令遵循（PIF）任务中的表现不佳问题，即模型难以根据指定的概率分布从一组预定义选项中随机选择答案，导致输出偏差和多样性不足。这一问题在需要非确定性行为的应用（如人类行为模拟、内容多样化、多人游戏）中尤为突出。虽然PIF本身不是全新问题，但针对LLM在此类任务中的系统性偏差及其对响应多样性的负面影响进行研究尚属较新领域。

提出String Seed of Thought (SSoT)，一种新颖的提示方法：要求LLM首先生成一个随机字符串作为‘熵源’，然后通过操作该字符串来决定最终输出。这种方法显式引入随机性并引导模型基于该随机性做出受控决策，从而在满足目标概率分布的同时保持生成结果的多样性。相比传统提示方法，SSoT通过结构化地利用内部生成过程来模拟伪随机数生成机制，是提升LLM概率性行为能力的新颖思路。

实验表明SSoT显著提升了LLM在PIF任务上的表现，接近理想伪随机数生成器的效果；在NoveltyBench上的测试进一步证明其能增强开放性任务的回答多样性。实验设计涵盖闭集与开集任务，验证了方法的通用性。论文未明确提及是否开源代码，但所提方法无需额外训练，易于集成到现有系统。值得深入研究的方向包括：如何优化字符串生成与映射策略以适配不同分布、SSoT在强化学习或代理系统中的应用潜力、以及对模型内部随机性机制的理论分析。

近期相关研究包括：'Self-Consistency Improves Chain of Thought Reasoning in Language Models'（Wang et al., 2022）、'Towards Understanding Chain-of-Thought Prompting: A Survey'（Fu et al., 2023）、'On the Role of Randomness in Promoting Diversity in Language Generation'（Li et al., 2023）、'Stochastic Answer Generation with Markov Chain Monte Carlo for Probabilistic Reasoning in LLMs'（Chen & Zhou, 2024），以及'Calibration of Pre-trained Transformers for Probabilistic Prediction'（Kumar et al., 2023）。这些工作分别探讨了推理路径多样性、思维链提示机制、生成随机性建模及模型校准等方向，为SSoT提供了理论与实践基础。