神经科学研究在过去十年取得了巨大进展，但我们对大脑的理解仍然是零散的和片面的：探究任意一个脑区并自动读取其神经活动中编码的信息的梦想仍然遥不可及。在本研究中，我们建立了一个神经尖峰数据的第一个基础模型，可以解决多个脑区的多种任务。我们引入了一种新颖的自监督建模方法，用于人口活动，其中模型在不同的时间步长、神经元和脑区之间交替屏蔽和重建神经活动。为了评估我们的方法，我们使用国际脑科学实验室重复站点数据集设计了无监督和有监督的预测任务，该数据集由48只动物和实验会话中针对相同脑部位置的神经像素记录组成。预测任务包括单个神经元和区域级别的活动预测、正向预测和行为解码。我们证明了我们的多任务屏蔽（MtM）方法显著提高了当前最先进的人口模型的性能，并实现了多任务学习。我们还表明，通过训练多个动物，我们可以提高模型对未见动物的泛化能力，为单个细胞、单个尖峰分辨率的大脑基础模型铺平道路。

图像生成扩散模型的主要关注点是图像质量、结果的变化量以及结果与给定条件（例如类别标签或文本提示）的对齐程度。流行的无分类器引导方法使用无条件模型来引导有条件模型，从而在减少变化量的代价下同时实现更好的提示对齐和更高质量的图像。这些效果似乎本质上是纠缠在一起的，因此很难控制。我们惊奇地发现，通过使用模型本身的较小、较少训练的版本来引导生成，而不是无条件模型，可以获得对图像质量的脱钩控制，而不会影响变化量。这导致了在使用公开可用的网络时，ImageNet生成的显着改进，64x64和512x512的记录FID分别为1.01和1.25。此外，该方法也适用于无条件扩散模型，极大地提高了它们的质量。

描述生命起源时的一个重大挑战是解释“如何从纯分子动力学中自然而然地出现指令信息控制系统”。到目前为止，还没有人阐明信息控制是如何从一开始就出现的，以及生命中原始的控制机制是如何演化并变得越来越精细的。基于最近的实验结果，表明化学计算不需要存在与生命相关的化学物质，我们阐述了化学自动机信息处理的起源和早期演化，从信息处理（计算）到信息存储（记忆）和信息传输（通信）以及后来的数字信使，同时涵盖其句法、语义和语用特征。与其他假设存在初始复杂结构的理论不同，我们的表述从微不足道的自我复制体开始，它们的相互作用导致更强大的分子机器的出现。通过精确描述基于化学的计算中的原始转换，我们的框架能够解释上述空白，并可转化为其他计算模型，使我们能够探索多个空间和时间尺度上的生物现象。与自由能原理相容，我们已经开发了一个计算启蒙主义的理论框架，能够描述从生命起源到更高层次的认知，就像是一个纯粹的建构主义叙述。在我们的手稿结尾处，我们提出了一些扩展我们想法的方法，包括验证我们理论的实验（无论是在体内还是在体外）。

我们认为，AI模型中的表示，特别是深度网络中的表示，正在趋于一致。首先，我们在文献中调查了许多收敛的例子：随着时间的推移和跨多个领域，不同神经网络表示数据的方式越来越趋于一致。接下来，我们展示了跨数据模态的收敛：随着视觉模型和语言模型变得更大，它们以越来越相似的方式测量数据点之间的距离。我们假设这种收敛正在朝着一个共享的统计现实模型发展，类似于柏拉图的理念。我们将这样的表示称为柏拉图表示，并讨论了几种可能的选择压力。最后，我们讨论了这些趋势的影响、它们的局限性以及我们分析的反例。

毫无疑问，大型语言模型（LLMs）在机器学习研究领域引起了一场非凡的创新浪潮，对强化学习、机器人和计算机视觉等不同领域产生了重大影响。它们的应用是快速和变革性的，标志着机器学习研究领域的重大范式转变。然而，基于黑盒优化的实验设计领域受到这种范式转变的影响要小得多，尽管将LLMs与优化相结合呈现了一个独特的、值得探索的景观。在这篇立场论文中，我们将基于序列的基础模型作为黑盒优化领域的框架，并组织它们与先前文献的关系。我们讨论了基础语言模型可以革命性地改变优化的最有前途的方式，包括利用自由文本中封装的大量信息来丰富任务理解，利用高度灵活的序列模型（如Transformer）来设计更优秀的优化策略，并提高对以前未见过的搜索空间的性能预测。

Transformer模型越来越多地被用于求解偏微分方程(PDEs)。已经提出了几种改进方法，但它们都存在Transformer典型问题，如二次内存和时间复杂度等。此外，所有主要的PDE求解架构都缺少至少一个理想代理模型的几个理想特性，例如（i）泛化到训练期间未见过的PDE参数，（ii）空间和时间零样本超分辨率，（iii）连续时间外推，（iv）支持1D、2D和3D PDEs，以及（v）更长时间滚动的高效推断。为了解决这些限制，我们提出了向量化条件神经场(VCNeFs)，将时变PDE的解表示为神经场。与之前的方法不同，VCNeFs可以并行计算多个时空查询点的解，并通过注意机制建模它们之间的依赖关系。此外，VCNeF可以将神经场条件化为PDE的初始条件和参数。一系列广泛的实验表明，VCNeFs与现有的基于机器学习的代理模型相比具有竞争力，并且通常表现更好。

我们提出了一种新颖的应用进化算法来自动创建强大的基础模型。虽然模型合并已经成为LLM开发的一种有前途的方法，因为它具有成本效益，但目前它仍然依赖于人类的直觉和领域知识，限制了它的潜力。在这里，我们提出了一种进化的方法，通过自动发现不同开源模型的有效组合，利用它们的集体智慧，而不需要大量的额外训练数据或计算，从而克服了这种限制。我们的方法在参数空间和数据流空间中操作，允许优化超出单个模型的权重。这种方法甚至促进了跨领域合并，生成具有数学推理能力的日本LLM等模型。令人惊讶的是，我们的日语数学LLM在各种已建立的日语LLM基准测试中取得了最先进的性能，甚至超过了具有更多参数的模型，尽管它没有明确地针对这些任务进行训练。此外，通过我们的方法生成的文化感知的日本VLM展示了它在描述日本文化特定内容方面的有效性，超过了以前的日本VLM。这项工作不仅向开源社区贡献了新的最先进模型，而且引入了一种新的自动模型组合范例，为探索替代的高效基础模型开发方法铺平了道路。

我们提出了一个数学模型，将复杂传染的概念与收益偏向的模仿相结合，描述社会行为如何在人群中传播。传统的模仿社会学习模型基于简单传染，即一个个体在单次交互后可能模仿更成功的邻居。我们的框架将这一过程推广到包括复杂传染，这需要多次接触，才会考虑采用不同的行为。我们将其制定为有限人口的离散时间和状态随机过程，并将其导出为连续的常微分方程，该方程推广了复制者方程，这是进化博弈论中最广泛使用的动态模型。当应用于线性频率依赖游戏时，我们的具有复杂传染的社会学习产生了与传统模仿动态不同的定性结果：它可以将囚徒困境从唯一的全缺席者均衡转变为人口中合作者和缺席者的稳定混合或双稳态系统；它将雪崩游戏从单一均衡转变为双稳态均衡；它可以改变协调游戏从边界的双稳态到两个内部均衡。长期结果取决于传染过程的复杂性和选择力的平衡，选择力将模仿偏向更成功的类型。我们的分析将进化博弈论和复杂传染领域相互交织，提供了一个综合框架，描述了社会系统中更真实的行为变化形式。

生物神经网络具有高度可塑性的特点，这是自然有机体适应性强的核心属性。重要的是，这种能力影响到神经系统的突触强度和拓扑结构。另一方面，人工神经网络主要被设计为静态、全连接结构，在面对不断变化的环境和新的输入时容易出现脆弱性。在神经发育程序（NDPs）的基础上，我们提出了一类自组织神经网络，可以在活动和奖励依赖的方式下进行突触和结构可塑性，我们称之为终身神经发育程序（LNDP）。我们提出了一个基于图形转换器架构的网络实例，并提出了一种基于感觉神经自发活动的预体验可塑性机制。我们的结果表明，该模型能够从随机连接或空网络开始，在不同的控制任务中学习。我们进一步证明了结构可塑性在需要快速适应或非稳态奖励的环境中具有优势。

这篇摘要讲述了Cartesian Genetic Programming (CGP)的参考实现是用C编写的。C本质上遵循过程式编程范式，这在为复杂结构和方法提供可重用和可扩展的实现模型方面存在挑战。此外，由于C的限制因素，CGP的参考实现没有提供通用框架，因此只限于一组预定义的评估类型。除了参考实现之外，我们还观察到其他现有实现在提供功能方面存在限制。因此，在这项工作中，我们提出了CGP的现代C++实现的第一个版本，该实现采用面向对象的设计和通用编程范式，以提供有效的实现模型，可以促进发现新的问题领域和实现随着时间推移提出的复杂高级方法。通过提出我们的新实现，我们旨在在CGP领域中普遍促进可解释性、可访问性和可重现性。