CreativityNeuro: Steering Language Model Weights to Improve Divergent Thinking and Reduce Mode Collapse

发散性思维是创造力的关键组成部分，然而大型语言模型（LLMs）在面对开放式问题时往往持续生成高度相似的回答，这种现象被称为“人工蜂群思维效应”。本文提出了一种无需数据的创新方法——CreativityNeuro，通过对比式权重引导（contrastive weight steering）来提升LLM的发散性思维能力。我们在多项创造力评估任务中对这一方法进行了系统评测，并得出若干核心发现：在词汇空间创造力测验——发散联想任务（Divergent Association Task, DAT）上，CreativityNeuro最多可将模型表现提升达14个人类百分位点；随后，在一项大规模人类评估实验（N=720）中，针对替代用途任务（Alternative Uses Test, AUT）和任务任务（Task Task），CreativityNeuro在原创性、意外性与整体创造力三个维度均实现了显著提升，并且该提升效果可有效迁移到篇幅更长、开放性更强的任务中。尤为重要的是，我们在全部三项任务中均观察到，CreativityNeuro能切实降低模式坍缩（mode collapse）程度的各项量化指标。此外，尽管激活引导（activation steering）在DAT上取得了与CreativityNeuro相近的性能，但它无法迁移到AUT和Task Task中，这凸显了权重空间引导（weight-space steering）在泛化至未见任务方面的独特优势。综上所述，CreativityNeuro无需依赖行为数据、无需重新训练、亦无需基于梯度的微调，即可有效提升LLM的发散性思维能力并缓解模式坍缩问题，为增强大语言模型在创造性领域的表现提供了一种简洁而实用的技术路径。

大型语言模型（LLMs）在开放性创意任务中表现出‘人工蜂群思维’（artificial hivemind effect）——即输出高度同质化、缺乏发散性，导致模式坍缩（mode collapse），严重制约其在创造性认知任务（如联想生成、非常规用途构想）中的表现。该问题本质上是LLM固有概率建模偏好与人类发散思维需求之间的根本张力，此前尚无数据-free、无需微调的通用解法。

提出CreativityNeuro：一种**数据无关、无需训练、基于对比式权重空间引导（contrastive weight steering）** 的新方法——通过在模型权重空间中构造正向（高发散性）与负向（低发散性）方向的对比梯度，动态偏置前馈权重，从而系统性激发语义空间中的边缘关联与非主流响应路径；区别于传统激活引导（activation steering）仅作用于中间表征，权重引导具有更强的任务泛化性与结构稳定性。

在Divergent Association Task（DAT）上提升达14人类百分位点；在N=720的大规模人类盲评中显著提升AUT和Task Task的originality、surprise与整体creativity评分；首次实证验证权重空间引导可跨任务降低模式坍缩指标（如响应熵、Jensen-Shannon散度）；对比实验表明激活引导在DAT有效但无法迁移至AUT/Task Task，凸显权重空间操作的泛化优势；全程无需监督数据、不修改参数、不依赖梯度反传或重训练——符合‘plug-and-play’部署范式；论文未提及其是否开源代码，但方法设计天然适配主流开源LLM（如Llama、Phi系列）。

1. 'Steering Language Models with Logits Offsets' (Huang et al., ACL 2023); 2. 'Activation Steering for Controllable Text Generation' (Kosheleva et al., NeurIPS 2022); 3. 'Prompting Is All You Need? On the Limitations of LLM Creativity' (Bender et al., TACL 2024); 4. 'The Divergent Association Task: A Novel Measure of Semantic Distance' (Beaty et al., PNAS 2019); 5. 'Mode Collapse in Large Language Models: A Diagnostic Framework' (Zhou et al., ICML 2023)