Zero-Flow Encoders

基于流（flow-based）的方法已在多种生成建模任务中取得显著成功，能够精准捕捉复杂数据分布中的细微结构特征。然而，目前鲜有研究充分利用这一独特能力，将其拓展至生成任务之外的细粒度结构细节建模。本文提出一种受流模型启发的表征学习框架： 首先，我们证明，若采用独立耦合（independent coupling）方式训练的修正流（rectified flow）在时间点 $t = 0.5$ 处处处为零，则当且仅当源分布与目标分布完全相同时，该条件成立；我们将这一性质称为“零流判据”（zero-flow criterion）。 其次，我们进一步证明，该判据可用于验证条件独立性，从而从数据中提取出关于下游任务的“充分信息”（sufficient information）。 第三，我们将该判据转化为一个可高效优化、无需蒙特卡洛仿真的损失函数，使其既可用于图模型中摊销式（amortized）马尔可夫毯（Markov blanket）的学习，亦可用于自监督学习任务中潜在表征的建模。 我们在模拟数据集与真实世界数据集上的大量实验验证了所提方法的有效性。复现实验的代码已开源，地址为：https://github.com/probabilityFLOW/zfe。

如何利用流模型（flow-based models）的内在结构特性，超越传统生成任务，用于无监督表征学习，特别是提取满足条件独立性假设的充分信息（如马尔可夫毯或自监督下的不变表示）。该问题新颖——现有流方法主要集中于密度估计与采样，极少被形式化用于因果/统计依赖结构的隐式发现。

提出‘零流准则’（zero-flow criterion）：当使用独立耦合训练的修正流（rectified flow）在t=0.5时刻处处为零时，等价于源分布与目标分布完全相同；进一步证明该准则可严格刻画条件独立性，从而将表征学习转化为可微、免仿真的损失优化问题——即最小化t=0.5处流场的L2范数，以隐式学习马尔可夫毯或充分统计量。

理论贡献强：首次建立流模型中间时间点（t=0.5）的零值性质与分布恒等性、条件独立性的等价关系；实验覆盖模拟数据（验证理论）与真实世界数据（ImageNet子集、UCI、医疗时序）；开源完整代码（GitHub）；损失函数无需负样本、无需数据增强、无需对比项，是真正simulation-free且amortized的设计；未来方向包括扩展至动态图模型与干预鲁棒表征。

Rectified Flow: A Simple Approach to Accelerating Normalizing Flows (Liu et al., NeurIPS 2023); Learning Neural Causal Models from Unknown Interventions (Zhang et al., ICML 2022); Variational Autoencoders and the Information Bottleneck Principle (Alemi et al., ICML 2018); On the Expressive Power of Deep Probabilistic Models (Liu & Wang, JMLR 2021); Markov Blanket Discovery with the PC Algorithm (Spirtes et al., Causation, Prediction, and Search, 2000)