The Disappearance of Timestep Embedding in Modern Time-Dependent Neural Networks

动力系统通常是时变的，其建模需要一个随时间演变的函数。最近的研究，如神经常微分方程，提出了一个随时间变化的神经网络，提供了一个随时间变化的神经网络。然而，我们认为构建一个随时间变化的神经网络的架构选择显着影响其时间感知能力，但目前仍缺乏足够的验证。在本研究中，我们对现代随时间变化的神经网络的架构进行了深入分析。我们报告了一种消失的时间步嵌入漏洞，它禁用了随时间变化的神经网络的时间感知能力。此外，我们发现这种漏洞也可以在扩散模型中观察到，因为它们采用了类似的架构，将时间步嵌入到扩散过程中的不同时间步之间进行区分。我们的分析提供了对这种现象的详细描述以及几种解决根本原因的方法。通过对神经常微分方程和扩散模型的实验，我们观察到通过提出的解决方案确保活跃的时间感知能力可以提高它们的性能，这意味着它们当前的实现缺乏足够的时间依赖性。

论文旨在分析现代时间依赖神经网络的架构，并发现其中存在的潜在漏洞，提出解决方案以提高它们的时间感知性能。

论文发现了一种潜在的漏洞，即时间步嵌入的消失，导致时间依赖神经网络失去了时间感知性能。提出了一些解决方案以解决这个问题。

论文的实验结果表明，通过提出的解决方案，时间依赖神经网络和扩散模型的性能得到了提高。然而，当前实现仍然缺乏足够的时间依赖性。

最近的相关研究包括神经常微分方程和扩散模型。