Neural Computers

我们提出一个全新方向：神经计算机（Neural Computers, NCs）——一种新兴的机器形态，它将计算、存储与输入/输出（I/O）统一于一种通过学习获得的运行时状态之中。与传统计算机（执行显式程序）、智能体（在外部执行环境中采取行动）以及世界模型（学习环境动力学）不同，神经计算机的目标是让模型自身即成为正在运行的计算机。我们的长期目标是构建“完全神经计算机”（Completely Neural Computer, CNC）：这是该新兴机器形态走向成熟、具备通用能力的最终实现形式，其特征包括稳定的执行能力、明确可编程性，以及持久可用的能力复用机制。作为初步探索，我们首先研究：能否仅凭采集到的输入/输出（I/O）轨迹数据（而无需对程序内部状态进行仪器化监控或标注），就让早期的神经计算机基本原语得以习得？具体而言，我们将神经计算机实例化为视频生成模型，在命令行界面（CLI）和图形用户界面（GUI）场景下，依据指令、像素信息及（在可用时）用户操作，逐帧预测并生成屏幕画面。实验结果表明，这类经学习获得的运行时系统确实能够掌握若干早期界面原语，尤其是输入/输出对齐（I/O alignment）与短时程控制（short-horizon control）；但能力的常规复用、受控更新以及符号层面的稳定性等关键挑战，目前仍未解决。我们围绕上述挑战，进一步勾勒出通向完全神经计算机的发展路线图。倘若这些挑战终被攻克，完全神经计算机有望确立一种超越当下智能体、世界模型及传统计算机的全新计算范式。

论文试图验证一个新假设：能否仅从输入/输出（I/O）轨迹（如屏幕帧、指令、用户操作）中，端到端地学习一种统一计算、内存与I/O的‘神经计算机’（NC）——即让神经网络自身成为可运行、可重配置的计算实体，而非仅作为传统程序的替代预测器或世界模型的近似器。这是一个根本性新问题，区别于传统冯·诺依曼架构、LLM-based agents和环境建模的世界模型。

提出‘神经计算机’（NC）作为新型机器范式，将模型本身视为运行时计算机；其核心创新是放弃显式程序逻辑与符号状态追踪，转而通过视频生成式建模（CLI/GUI帧滚动）隐式学习I/O对齐、短程控制等运行时原语，且完全不依赖程序内部状态标注或仪器化监督。这是首次将‘可执行神经态’（executable neural state）作为第一性目标进行实证探索。

实验在真实CLI（如bash会话）和GUI（如网页交互）视频轨迹上训练自回归视频扩散/Transformer模型，以像素+指令+动作联合为条件生成下一帧；未使用任何程序状态标签或AST/trace监督；关键发现包括：I/O时间对齐和<5步控制可被有效学习，但长期稳定性、模块复用与符号可编辑性仍未解决；暂无开源代码公布；值得深入的方向包括神经态持久化机制、可验证的神经指令集设计、以及面向CNC的微分重编程框架。

1. 'World Models' (Ha & Schmidhuber, 2018); 2. 'Program Synthesis with Large Language Models' (Chen et al., 2021); 3. 'Agent-Driven World Modeling' (Hafner et al., DreamerV3, 2023); 4. 'Neural Turing Machines' (Graves et al., 2014); 5. 'VideoLLM: End-to-End Video-Language Modeling' (Zhang et al., 2024)