当前多模态大语言模型(MLLM)的标准评测基准仅针对每道题目的单一标准顺序进行评分,因而无法检测出答案是否受顺序无关的排列变化影响——而这种“顺序不变性”正是新兴人工智能评测指南所明确要求的一项基础可靠性属性。为此,我们提出“面元探针”(Facet-Probe),一种涵盖五个维度的系统性审计框架,包括选项顺序、证据片段顺序、文档排序、图像集合顺序以及混合模态顺序;该框架对18个前沿及开源权重的MLLM进行了全面评估。我们采用贝叶斯项目反应模型,将因顺序变动引起的噪声与各维度固有偏差分离开来;同时引入同序控制组(same-ordering control),用以估计观测到的答案翻转(flip)中由解码器随机性所致的下限水平。结果表明:在我们评测的18个MLLM中,无一具备真正的顺序不变性——经筛选后的各维度面板均值翻转率介于24%至50%之间。以Gemini模型为例,在温度为0的同序控制实验中,我们在经验证的测试单元中发现,其因顺序变动导致的额外翻转率显著高于仅由解码器随机性所决定的基线水平。模型能力虽能在一定程度上预测翻转发生概率,却无法彻底消除翻转现象:表现最优的模型在13.4%的测试样本中仍会出现答案翻转。在针对Gemini开展的缓解策略实验中,无需训练的提示词(prompt)优化方法呈现出模态依赖性——适用于文本推理的调整方案无法迁移到视觉推理任务中。上述结果表明,仅依靠提示层面的干预措施,难以实现普适性的顺序鲁棒性;未来研究亟需探索训练阶段和模型架构层面的改进路径。为此,我们建议将“跨顺序翻转率”(cross-ordering flip rate)确立为MLLM评测报告的一项标准指标。

