Forest2Seq: Revitalizing Order Prior for Sequential Indoor Scene Synthesis

本文提出了一种名为Forest2Seq的框架，将室内场景合成问题转化为一个有序的序列学习问题。传统上，合成室内场景需要专业设计师手动布置和注释，而最近的自回归模型已经自动化了这个过程，但它们通常缺乏对真实世界场景中存在的关系和层次结构的语义理解，导致性能有限。Forest2Seq通过使用基于聚类的算法和广度优先遍历，将固有的无序场景对象集合组织成结构化、有序的分层场景树和森林，从而得出有意义的排序，并利用transformer自回归地生成逼真的3D场景。标准基准测试的实验结果表明，与顶尖基线相比，Forest2Seq在合成更逼真的场景方面表现更加优越，FID和KL分数有显著提高。我们的额外实验和消融研究也证实了在3D场景生成中加入顺序作为先验的重要性。

Forest2Seq试图解决3D室内场景合成中的语义理解问题，通过将场景对象组织成有序的层次结构来提高场景合成的表现。

Forest2Seq将3D室内场景合成视为一个有序的序列学习问题，通过使用基于聚类的算法和广度优先遍历来推导有意义的顺序，并利用transformer进行自回归式生成。

Forest2Seq在标准基准测试中表现出比其他基线模型更逼真的场景合成能力，FID和KL得分显著提高。论文设计了其他实验以验证Forest2Seq在下游任务中的效果，并进行了消融研究以证明有序性的重要性。

最近的相关研究包括：《Neural Scene Graphs for Dynamic Scenes》、《Learning to Infer Graphics Programs from Hand-Drawn Images》等。