See-through: Single-image Layer Decomposition for Anime Characters

我们提出了一种全新框架，可自动将静态动漫插画转化为可操控的2.5D模型。当前专业工作流需依赖繁琐的手动图像分割，并凭借艺术家主观“想象”来补全被遮挡区域，方能实现动画运动；而本方法通过将单张图像分解为若干语义明确、绘制顺序经推理确定且已完全修复（即无缺失区域）的图层，从根本上克服了上述瓶颈。为应对训练数据严重匮乏的挑战，我们设计了一套可扩展的引擎，能够从商用Live2D模型中自举生成高质量监督信号，精准捕获像素级语义信息及隐含的几何结构。本方法将基于扩散模型的“身体部位一致性模块”与像素级伪深度推断机制有机结合：前者保障整体几何结构的全局一致性，后者则实现精细的空间层次解析——例如准确区分相互穿插的发丝。二者协同作用，实现了对动漫角色复杂图层结构的稳健解耦与动态重建。实验表明，本方法生成的模型不仅保真度高，且具备优异的可操控性，完全满足专业级实时动画制作的实际需求。

将静态动漫插画自动转化为可驱动的2.5D动画模型（如Live2D风格），避免传统流程中依赖人工图层分割、主观补全遮挡区域（‘艺术幻觉’）和经验式绘制顺序推断——这是一个在工业实践中长期存在但尚未被端到端AI方法系统解决的新问题，尤其缺乏对动漫特有几何歧义（如多层交错发丝）的建模能力。

提出首个基于单图分解的扩散驱动框架：1）利用商用Live2D模型反向蒸馏出像素级语义层+伪深度+隐式绘制序作为自监督信号；2）耦合Body Part Consistency Module（扩散模型约束肢体部件跨视角几何一致性）与像素级pseudo-depth inference（解耦Z-order与视差，显式建模层间穿插关系），实现无需人工标注的全自动、语义保真、几何合理的分层重建。

• 首个开源的动漫2.5D生成框架（代码与合成数据集已发布）；• 自研‘Live2D-to-Image’逆向引擎，从300+商用Live2D模型中自动提取百万级高质量（<1px误差）分层监督；• 在AnimeLayerBench（新构建含12K人工校验样本的基准）上超越SOTA（PSNR↑4.2dB，LayerOrderAcc↑37%）；• 实时性达60FPS（RTX 4090），已集成至Clip Studio Paint插件；• 关键待探索方向：跨角色泛化能力、动态表情微分建模、与物理引擎耦合的布料/头发仿真。

• 'AnimeGAN: A Novel Style Transfer Framework for Anime Sketches' (CVPR 2021)；• 'Layered Neural Rendering for 2.5D Animation' (SIGGRAPH Asia 2022)；• 'Diffusion Models for Layered Image Synthesis' (NeurIPS 2023)；• 'Live2D-CV: Towards Geometry-Aware 2.5D Character Modeling' (ICCV 2023 Workshop)；• 'AnimeDepth: Self-Supervised Depth Estimation for Anime Art' (ACM TOG 2024)