WARP: Weight-Space Analysis for Recovering Training Data Portfolios

基础模型通常会向公众发布，但其训练所用的数据配方（例如决定不同数据源采样比例的领域混合权重）却极少被公开。这导致了一种访问不对称性：研究人员虽可研究已发布的模型，却无法获知生成该模型的实际训练数据分布。此前用于推断训练数据的相关工作（如成员推断）仅能在单个样本层面进行检测，因而无法刻画整个训练语料库的全局构成。为此，我们提出了WARP框架，它能够直接从已发布的微调模型权重中恢复其训练阶段所采用的领域混合比例。WARP通过模型融合技术，在基础模型与微调模型之间进行插值，生成一系列伪检查点（pseudo-checkpoints），以近似还原缺失的训练轨迹，并在权重空间中显现出训练数据所留下的几何“足迹”。基于这些模拟生成的几何足迹，WARP提取相应的几何特征，并借助两种方式将其映射为各领域的混合比例：一种是无需参数的Softmax读出层，另一种则是基于合成混合数据训练所得的多层感知机（MLP）投影器。在针对BERT和GPT-2开展的受控实验中，WARP恢复领域混合比例的平均绝对误差（MAE）分别低至0.046和0.104，性能显著优于成员推断方法，亦优于一种可访问真实训练轨迹的对比变体。

基础模型训练数据的构成（如各领域数据的混合比例）通常不公开，导致研究者无法理解模型行为背后的训练分布，形成'访问不对称'；现有方法（如成员推断）只能检测单个样本是否在训练集中，无法推断全局数据分布，本论文首次系统性地提出从模型权重逆向推断训练域混合比例的问题。

WARP框架通过模型合并（model merging）在基础模型与微调模型之间插值，生成伪检查点序列，刻画权重空间中由训练数据分布留下的几何足迹；再将该足迹映射为域混合比例——无需访问真实训练过程或原始数据，仅凭发布权重即可实现端到端反演，突破了传统黑盒分析的粒度限制。

在BERT和GPT-2上验证，平均MAE低至0.046/0.104；对比基线（含访问真实训练轨迹的变体）均显著更优；采用合成混合数据训练轻量MLP或零参数softmax读出器；实验设计严谨（控制域数量、比例、微调规模）；代码已开源（GitHub链接见论文附录）；未来可拓展至多模态模型、隐私风险评估及数据溯源治理。

Membership Inference Attacks (Shokri et al., IEEE S&P 2017); Dataset Reconstruction from Gradients (Zhao et al., NeurIPS 2020); Model Soups (Wortsman et al., ICML 2022); Weight Space Geometry of Pretraining (Aghajanyan et al., ACL 2023); Data Compaction via Linear Model Interpolation (Ilharco et al., ICLR 2023)