如何在不牺牲性能的前提下减少神经网络（NN）的计算和存储要求？许多最近的研究使用稀疏的专家混合（MoEs）构建资源高效的大语言模型（LMs）。在这里，我们介绍了MoEs的几个新颖视角，提出了一个通用框架，统一了各种近似两层NN（例如Transformer的前馈块）的方法，包括产品键记忆（PKMs）。利用此框架的见解，我们提出了改进MoEs和PKMs的方法。与以前比较MoEs与密集基线的工作相比，我们的评估条件是参数相等的，这对于正确评估LMs至关重要。我们展示了我们的MoEs在WikiText-103和enwiki8数据集的两个不同规模上与密集Transformer-XL相竞争，同时更加资源高效。这表明MoEs不仅适用于极大的LMs，而且适用于任何规模的资源高效LMs。我们的代码是公开的。

常见的神经表示（不）相似度测量方法旨在对神经激活空间的旋转和反射不敏感。由于单个神经元的调谐可能很重要，因此最近出现了对表示（不）相似度进行更严格定义的兴趣，这需要在网络之间逐个匹配神经元。当两个网络具有相同的大小（即具有相同数量的神经元）时，可以通过优化神经元索引排列来制定距离度量，以最大化调谐曲线的对齐。然而，如何将此度量推广到测量不同大小的网络之间的距离尚不清楚。在这里，我们利用与最优传输理论的联系，基于“软”排列导出一种自然的推广。所得到的度量是对称的，满足三角不等式，并可解释为两个经验分布之间的Wasserstein距离。此外，我们提出的度量避免了替代方法所遭受的反直觉结果，并捕捉到完全被旋转不变度量所忽略的神经表示的补充几何见解。

语言模型在进行单个推理时，实际上只需要使用指数级别的神经元。为了证明这一点，我们介绍了一种名为FastBERT的BERT变体，它在推理过程中只使用了0.3\%的神经元，同时表现与类似的BERT模型相当。FastBERT只选择了每个层推理中的4095个神经元中的12个来进行推理。这是通过将前馈网络替换为快速前馈网络（FFFs）实现的。虽然目前还没有真正高效的实现来释放条件神经执行的全部加速潜力，但我们提供了高级CPU代码，相对于优化后的基准前馈实现，可以实现78倍的加速，并且提供了一个PyTorch实现，相对于等效的批处理前馈推理，可以实现40倍的加速。我们公开了我们的训练代码、基准测试设置和模型权重。

这篇文章介绍了时间采样框架（TSF）理论，认为阅读障碍的特征语音困难是由于一个或多个时间频率上的非典型振荡采样引起的。LEEDUCA研究对儿童进行了一系列脑电图（EEG）实验，让他们听带有慢节奏韵律（0.5-1 Hz）、音节（4-8 Hz）或音素（12-40 Hz）频率的幅度调制（AM）噪声，旨在检测可能与阅读障碍相关的振荡采样感知差异。本研究的目的是检查这些差异是否存在，以及它们与儿童在常用于检测阅读障碍的不同语言和认知任务中的表现之间的关系。为此，估计了时间和频谱间的EEG连接，并训练了一个去噪自编码器（DAE）来学习连接矩阵的低维表示。通过相关和分类分析研究了这种表示，发现它能够以高于0.8的准确度和约为0.7的平衡准确度检测出阅读障碍患者。DAE表示的某些特征与儿童在音韵假设类别的语言和认知任务中的表现（如音韵意识和快速符号命名，以及阅读效率和阅读理解）显著相关（$p<0.005$）。最后，对邻接矩阵进行了更深入的分析，发现DD患者颞叶电极（大致相当于主听觉皮层）之间的双侧连接减少，而F7电极（大致位于布罗卡区）的连接增加。这些结果为使用更客观的方法（如EEG）对阅读障碍进行补充评估铺平了道路。

深度神经网络（DNNs）已成为函数逼近的标准工具，大多数引入的架构都是为高维输入数据而开发的。然而，许多现实世界的问题具有低维输入，标准的多层感知器（MLPs）是默认选择。目前缺乏对专门架构的研究。我们提出了一种新颖的DNN层，称为单变量径向基函数（U-RBF）层，作为一种替代选择。类似于大脑中的感觉神经元，U-RBF层使用一组神经元处理每个单独的输入维度，其激活取决于不同的优选输入值。我们在低维函数回归和强化学习任务中验证了其与MLPs的有效性。结果表明，当目标函数变得复杂且难以逼近时，U-RBF尤为有优势。