Rewrite the Stars

最近的研究引起了人们对于“星操作”（逐元素乘法）在网络设计中未被充分利用的关注。虽然有很多直观的解释，但其应用背后的基本原理仍然被较少探索。我们的研究试图揭示星操作能够将输入映射到高维度、非线性的特征空间，类似于核技巧，而不需要扩大网络。我们进一步介绍了StarNet，这是一个简单而强大的原型，展示了在紧凑的网络结构和高效的预算下出色的性能和低延迟。像天空中的星星一样，星操作看起来不起眼，但拥有广阔的潜力。我们的工作鼓励在各种任务中进一步探索，代码可在https://github.com/ma-xu/Rewrite-the-Stars获得。

本论文旨在探索“星号操作”在网络设计中的潜力，解决如何在不扩大网络的情况下将输入映射到高维非线性特征空间的问题。该问题在当前领域中是否是新问题尚不确定。

通过使用“星号操作”实现将输入映射到高维非线性特征空间，从而实现类似于核技巧的效果，而无需扩大网络。作者提出了StarNet模型，该模型在紧凑的网络结构和高效的预算下表现出了出色的性能和低延迟。

本论文的亮点包括：1. 使用“星号操作”实现将输入映射到高维非线性特征空间；2. 提出了StarNet模型，该模型在紧凑的网络结构和高效的预算下表现出了出色的性能和低延迟；3. 作者提供了开源代码，可在github上获取。

最近在这个领域中，还有一些相关的研究，如：1.《Deep Kernel Learning》；2.《Convolutional Neural Networks with Low-rank Regularization》；3.《Neural Networks with Few Multiplications》等。