nanoTabPFN: A Lightweight and Educational Reimplementation of TabPFN

诸如TabPFN之类的表格基础模型已经彻底改变了表格数据的预测性机器学习。然而，推动这一变革的关键因素却难以理解。现有的开源表格基础模型通常采用复杂的流程实现，代码量超过一万行，缺乏架构文档且代码质量不佳。简而言之，这些实现难以理解、对初学者不友好，并且很难针对新实验进行修改和适配。我们提出了nanoTabPFN，这是TabPFN v2架构的一种简化且轻量级的实现，并配套提供了使用预生成训练数据的训练循环。nanoTabPFN使得表格基础模型对学生和研究人员都更加易于接触和使用。例如，在小规模数据设置下，仅用单块GPU进行一分钟的预训练（比TabPFN v2预训练快16万倍），其性能即可媲美传统的机器学习基线方法。这种对大规模计算资源需求的消除，使得表格基础模型的预训练过程得以应用于教学和教育场景。我们的代码可在 https://github.com/automl/nanoTabPFN 获取。

现有的表格基础模型（如TabPFN）虽然在预测性能上取得了突破，但其实现通常依赖复杂的代码库（超过10,000行代码），缺乏清晰的架构文档和良好的代码质量，导致难以理解、不便于教学和实验复现。这使得研究人员特别是初学者很难接触和深入研究这类模型，且原始模型训练需要大量计算资源，限制了其在教育和小规模实验中的应用。

提出nanoTabPFN，一个极简化的TabPFN v2架构实现和配套的预生成数据训练流程。通过大幅简化模型结构与训练流程，在保持可比性能的同时极大降低了计算需求——仅需单GPU上一分钟预训练即可达到传统机器学习基线水平，相比原TabPFN v2提速16万倍。这一设计使表格基础模型的教学、理解和快速实验成为可能。

nanoTabPFN代码简洁（远少于10,000行）、文档清晰、易于理解和修改；实验设计采用预生成训练数据，显著降低训练复杂度；在小型数据设置下验证了快速预训练的有效性；项目已完全开源（https://github.com/automl/nanoTabPFN），非常适合用于教学和探索性研究；为进一步开发轻量级基础模型提供了良好起点。

1. Tabular Foundation Models: Learning from Pre-trained Models for Tabular Data 2. Are Transformers Effective for Time Series Forecasting? 3. Foundation Models for Generalist Machine Learning on Tabular Data 4. TabPFN: Priors from a Single Foundation Model Capture Tabular Data