NdLinear Is All You Need for Representation Learning

许多高影响力的机器学习任务涉及多维数据（例如，图像、三维医学扫描、多元时间序列）。然而，大多数神经网络架构会将输入展平，从而丢失关键的跨维度信息。我们提出了 NdLinear，这是一种新颖的线性变换方法，能够在不增加额外开销的情况下保留这些结构特性。通过沿每个维度分别操作，NdLinear 捕获了标准全连接层容易忽略的依赖关系。大量实验表明，在卷积、循环和基于 Transformer 的网络中使用 NdLinear 可显著提升表示能力和参数效率。至关重要的是，NdLinear 作为大型基础模型的核心构建模块，能够直接处理任何形式的单模态或多模态数据，无需展平或特定于模态的预处理步骤。NdLinear 超越了注意力机制的限制，重新定义了架构设计的核心优先级，使得更大规模、更具表达能力且上下文感知的模型成为可能。我们建议将 NdLinear 作为标准线性层的即插即用替代方案，这标志着向下一代神经架构迈进的重要一步。

论文试图解决神经网络在处理多维数据（如图像、医学扫描和多变量时间序列）时，因输入扁平化而丢失跨维度信息的问题。这是一个常见但未被充分解决的问题，特别是在需要保留数据结构的任务中。

论文提出了一种名为NdLinear的新型线性变换方法，该方法通过沿每个维度独立操作来保留数据的多维结构，从而捕捉标准全连接层忽略的依赖关系。相比传统方法，NdLinear无需额外计算开销，并且可以作为标准线性层的直接替代方案，提升模型的表达能力和参数效率。

实验表明，NdLinear在卷积、循环和基于Transformer的网络中均显著提升了性能和参数效率。此外，它能够以原生形式处理单模态或多模态数据，避免了扁平化或特定于模态的预处理步骤。论文设计了广泛的实验，涵盖了多种任务和数据集，但未明确提及代码开源情况。未来可进一步研究NdLinear在更大规模模型中的应用潜力及其与注意力机制的结合。

相关研究包括：1) 标准全连接层和卷积层的设计优化；2) 针对多模态数据的融合方法，如《Multimodal Fusion with Transformers》；3) 提高参数效率的技术，如《Parameter-Efficient Transfer Learning for NLP》；4) 数据结构保留技术，如《Graph Neural Networks: A Review of Methods and Applications》。这些工作主要集中在改进现有架构或特定任务的优化，而NdLinear则提供了一个通用的解决方案。