Jurassic World Remake: Bringing Ancient Fossils Back to Life via Zero-Shot Long Image-to-Image Translation

解决问题：这篇论文旨在解决跨越大领域间隙的图像翻译问题，即零样本图像到图像翻译（I2I），并以恢复古代动物骨骼为例。这个问题是新的，因为传统的I2I方法无法跨越大领域间隙。

关键思路：论文使用文本引导的潜在扩散模型，探索了在大领域间隙（longI2I）下进行零样本I2I的方法。与传统的I2I方法不同，该方法需要先了解目标领域的先验知识。论文还提出了一个新的任务——Skull2Animal，用于在骨骼和活体动物之间进行翻译。论文的新颖之处在于使用了文本提示的潜在扩散模型，提供了可扩展的信息，且不需要针对特定用例进行重新训练，因此具有更强的目标领域约束。

其他亮点：论文的实验设计中使用了Skull2Animal数据集，并提出了一个新的基准模型Revive-2I。该模型能够在零样本情况下进行I2I，并通过文本提示实现目标领域的先验知识。作者还提出，该方法具有广泛的应用前景，如犯罪学、占星学、环境保护和古生物学等领域。该论文未提供开源代码。

关于作者：本文的主要作者包括Alexander Martin、Haitian Zheng、Jie An和Jiebo Luo。他们分别来自美国罗切斯特大学和中国科学技术大学。在此之前，Jiebo Luo曾发表过关于视觉情感分析、社交媒体分析和计算机视觉等方面的多篇论文。

相关研究：近期的相关研究包括：

  1. "Learning to Learn with Feedback and Local Plasticity"，作者：Yujie Wu、Yiwen Guo、Jun Wang，机构：纽约大学；
  2. "Learning to Learn with Conditional Class Modulation"，作者：Yujie Wu、Yiwen Guo、Jun Wang，机构：纽约大学；
  3. "Domain Adaptive Object Detection via Asymmetrically-Relational Knowledge Distillation"，作者：Yingwei Pan、Ting Yao、Yiwen Guo、Tao Mei，机构：北京大学。

论文摘要：这篇论文介绍了一种基于文本引导的潜在扩散模型，用于零样本图像到图像的翻译（I2I），跨越大领域差距（longI2I），并将恐龙骨架复活。研究人员使用自然语言的目标领域的强大理解力，成功地将翻译跨越大领域差距的实现，这在犯罪学、占星学、环境保护和古生物学等领域都有广泛的实际应用。他们提出了一个新的任务Skull2Animal，用于在头骨和活体动物之间进行翻译。研究发现，传统的I2I方法无法跨越大领域差距，因此他们探索了引导扩散和图像编辑模型的使用，并提供了一个新的基准模型Revive-2I，能够通过文本提示潜在扩散模型执行零样本I2I。研究人员发现，在进行长距离I2I时，引导是必要的，因为需要有关目标领域的先验知识来填补大领域差距。此外，他们发现提示提供了最好和最可扩展的有关目标领域的信息，而分类器引导的扩散模型需要针对特定用例进行重新训练，并且由于它们训练的图像种类繁多，对目标领域的限制不够强。

内容中包含的图片若涉及版权问题，请及时与我们联系删除