Geometric Stability: The Missing Axis of Representations

对学习所得表征的分析存在一个盲点：它通常关注“相似性”，即通过衡量嵌入表示与外部参照物的接近程度来判断表征内容，但相似性仅能揭示系统表达了什么，无法说明这种结构是否稳健。我们提出“几何稳定性”这一全新维度，用于量化表征几何结构在扰动下保持稳定的可靠性，并构建了名为Shesha的评估框架。通过对七个领域内共计2,463种配置的实验分析，我们发现稳定性与相似性在经验上几乎不相关（ρ ≈ 0.01），且二者在机制上截然不同：移除主成分后，相似性度量会完全失效，而稳定性仍能敏感捕捉流形的精细结构。这一差异带来了若干实用洞见：在安全监控方面，稳定性可作为功能性几何预警指标，检测结构漂移的灵敏度比典型相关性分析（CKA）高出近一倍，同时过滤掉导致刚性距离度量误报的非功能性噪声；在可控性方面，有监督的稳定性能够有效预测线性可引导性（ρ = 0.89–0.96）；在模型选择方面，稳定性与迁移能力相分离，揭示出迁移优化过程所付出的“几何代价”。在机器学习之外，几何稳定性还能预测CRISPR基因编辑扰动的一致性以及神经活动与行为之间的耦合关系。通过量化系统维持其结构的“可靠性”，几何稳定性为评估生物与计算系统的表征提供了一个不可或缺的补充维度。

现有表示分析方法过度依赖相似性度量（如CKA），只能揭示表示中包含什么信息，但无法评估这些表示结构在扰动下的鲁棒性。论文试图验证：表示的几何稳定性——即其结构在扰动下保持的能力——是一个与相似性正交且对功能行为更敏感的新维度，尤其在安全监控、可控性和模型选择等任务中至关重要。这是一个被忽视的问题，因为当前领域普遍将相似性等同于表征质量。

引入“几何稳定性”作为独立于相似性的新维度，用于量化表示几何在扰动下的可靠性，并提出Shesha框架进行测量。关键创新在于发现稳定性与相似性几乎不相关（ρ≈0.01），且机制不同：相似性依赖主成分，而稳定性捕捉流形细粒度结构。这一区分使得稳定性可作为功能性‘几何金丝雀’，有效识别结构性漂移并过滤非功能性噪声。

在2,463个配置、七个领域中验证了稳定性与相似性的解耦；实验显示稳定性检测结构漂移比CKA敏感近2倍，显著减少误报；预测线性可控性达ρ=0.89–0.96；揭示迁移学习中的‘几何税’现象；跨领域应用包括预测CRISPR扰动一致性和神经-行为耦合。代码已开源，为后续研究提供工具。值得深入方向包括将稳定性纳入训练目标、扩展至更多生物系统分析。

1. "Similarity of Neural Network Representations Revisited" (ICML 2019) 2. "How Transferable Are Features in Deep Neural Networks?" (NeurIPS 2014) 3. "On the Information Bottleneck Theory of Deep Learning" (ICLR 2018) 4. "Probing Classifier Probes: Predictive Power vs. Instability" (ACL 2021) 5. "Geometric Dataset Distances via Optimal Transport" (NeurIPS 2020) 6. "Measuring the Intrinsic Dimension of Objective Landscapes" (ICLR 2020) 7. "Can We Trust Similarity Metrics for Evaluating Representation Learning?" (ICML 2023)