到底是什么地方错了？朱晓和坐在座位上，枕着头，神游天外。中了《自然》没几周，还没来得及开香槟庆祝，就已经有人抱怨结果无法复现。一开始他们以为自己实验做得差，是因为没有师兄、师姐的生花妙手，可等到各路大佬开始质疑，自己再重复了一遍时，竟发现也没办法复现结果了……是大师兄的理论设计错了，还是二师姐的实验做错了？还是，我把代码写错了？这是知名华人AI科学家田渊栋在他的最新科幻小说《破晓之钟》中的描写，开篇即用细腻的笔触刻画了一组顶尖实验室博士生日常科研生活的生动画卷，寥寥数语如在眼前。《破晓之钟》融合了看似平凡普通的科研日常和未来世界的瑰丽狂想。这些文字源自田渊栋读博早期的碎片化记录，在发论文开组会、改代码的片段当中却掺杂着纳米机器人、外星人、数字生命、彗星撞地球等等异于寻常的概念奇观。在他提笔书写的若干年之前，这些概念尚且距离现实生活十分遥远，展现出在AI尚未被大众广泛感知的年代，一名沉心技术的计算机研究者对于信息时代人类价值与命运的终极思考。「科幻小说带有时代的烙印，在人工智能时代，我们是否应该以更新的思维方式创作一部新的科幻小说？」这是他在最新一期智源访谈中的表达。科学的真谛，究竟意味着末日先知的降临还是一场集体主义的癔症，面对抉择时刻，科学家们如何突出重围，正是这部小说中探讨的核心议题。从上海交大、CMU到加入Meta FAIR实验室，他一直在追求做最酷的研究，努力让科幻走进现实；从自动驾驶走向深度学习理论研究，他的研究生涯见证了深度学习浪潮从萌芽到爆发。他既是严谨的研究者，更是拥有浪漫情怀和想象力的小说家。本期智源专访，田渊栋娓娓道来，职业生涯中的转折点、研究方向的灵感，以及在繁忙科研之余撰写科幻小说的日常。（为方便流畅阅读，笔者进行了不改变原意的编辑）。智源专访栏目意在展现行业顶尖技术研究者和创业者的研究经历和故事，记录技术世界的嬗变，激发当代AI从业者的创新思维，启迪认知、关注突破性进展，为行业注入灵感光芒。本次专访为总第21期。
田渊栋是Meta AI研究（FAIR）研究科学家，负责大型语言模型（LLMs）推理、规划和决策小组。他是OpenGo项目的项目负责人，该项目使用单个GPU在推理期间曾击败专业玩家。他曾荣获2021年ICML杰出论文荣誉提名和2013年ICCV Marr Prize荣誉提名。他曾于2013-2014年在谷歌自动驾驶汽车团队工作，并于2013年博士毕业于卡内基梅隆大学机器人研究所。他曾被任命为NeurIPS、ICML、AAAI、CVPR和AIStats的主席。
田渊栋：在上海交通大学期间，我加入了张丽清教授的实验室，该实验室专注于视觉、脑科学和人工智能领域的研究。当时，我就感觉人工智能领域非常酷且有趣，未来可能取代人类工作。在当时，这种想法看来还是相当「科幻」，并非现实。在上海交通大学就读期间，我学习了人工智能和机器学习的知识。毕业后，选择去了卡内基梅隆大学（CMU）深造。在CMU时期，我起初尝试研究层次化表征（hierarchical representation）。当时，我对理论研究也感兴趣，但基础较为薄弱。在一年中，我大约会九个月时间自己在乱想，另外三个月参与实验室工作。那时，学术压力并不像现在深度学习时代这样大，一年能发表一篇优秀文章就已足够。随着时间的推移，我慢慢毕了业。在这个过程中，我也经历了许多挑战。以前，我是个比较内向的人，表达能力也不强，但在研究阶段，我学到了很多技能，也变得更加自信，能够从事一些有趣的工作。毕业后，正值2012-2013年，深度学习刚刚兴起。许多人对AlexNet持怀疑态度，认为模型可能过拟合了，可能存在训练数据泄露或评估不严谨等问题。我当时觉得深度学习很有意思，差点去了研究机构深入研究，但最终选择了无人驾驶领域，因为它看起来更「高大上」。然而，我发现这份工作并不太适合我，因为当时我们主要负责修复各种小问题，这与我的研究风格不符。在无人驾驶领域工作一年多后，我就离开了，加入了现在的Meta公司的FAIR实验室，至今已近十年。在这里，我感到研究工作做得很好，Meta的研究环境很舒服。加入 Meta 后，我第一个项目是做「围棋」AI。当时，我对强化学习的了解也不多，需要大量补课。作为研究者，我们需要顺应时代的发展，跟进一些新的想法；同时，也需要坚持一些自己的想法，做到两条腿走路。在这个快速变化的时代，我们需要有很强的学习能力。在博士阶段做的工作，很有可能过段时间就过时了，必须要很快学习新的技术知识，运用到自己想要解决的问题上。当时，我们的 OpenGo 项目发布了两个版本。一个是 2015 年发布的「Dark Forest」，它比 AlphaGo 更早问世。其水平与当时顶尖的业余棋手相当。我原本从没有接触过围棋AI程序，能够很快做到这个水平，说明深度学习技术大有可为，可以自动化实现很多环节，无需花费大量时间和代价收集各种模式。接着，我们在2018年复现了 AlphaZero。这个 Bot 可以用单卡推理，战胜韩国棋院的四名顶尖棋手，包括当时世界排名第一的申真谞。这些工作都是我亲手做的。在此之后，我转向更偏研究的一些方向。首先就是「理解深度学习」，这也是我加入FAIR这样的研究机构的初心。这个方向很难，做了很多年才慢慢有一些心得，能够比较有科研效率。此外，我也领导了一个团队研究如何用 AI 做决策优化，将决策优化和神经网络结合。第三个方面就是具体在系统层面上优化，加速网络推理，实现稀疏化的注意力机制，也尝试提升训练的效率。Q2：您认为，与其它大厂相比，Meta 在大模型领域的主要优势是什么？关于带领技术团队完成一个共同的目标，您有哪些值得分享的经验？
田渊栋：主要还是商业结构和目标上的差别。对于谷歌这样的搜索引擎公司来说，大模型是命脉，如果别人的大模型做得很好，那大家就不需要搜索引擎了，可以直接用大模型来搜索。所以，谷歌一定要做出好的大模型。对 Meta 来说，大模型是重要的基础设施，支撑新的应用和人与人之间的互动，提升用户体验。所以Meta的模型以开源为主，而有的公司则不太愿意开源。对他们来说，有技术支撑新产品，直接提供服务比较重要。在带领技术团队方面，团队领导需要有方向感，知道应该做什么，不应该做什么。这是非常重要的一点。领导者必须对下属有强有力的支持，当他们遇到问题时，要帮助他们找到解决方案，满足他们的需求，获取资源并提供各种帮助。如果下属感到委屈，领导者需要与他们沟通，这也是非常重要的。领导者需要了解下属想要做什么，想要与哪些团队合作，并提供桥梁，创造机会，让他们能够发挥自己的能力。这些都是技术之外的事情，与技术关系不大，但同时要求领导者懂技术，并具备强大的沟通能力，推动事情完成。田渊栋：个人的经历和技术敏感度是关键要求。首先，需要具备一定的一手知识，了解如何带领团队。其次，需要有自己的研究品味，这意味着能够判断哪些事情可能不值得去做。这种品味通常是通过长期的研究所积累的。可能你对某个领域有感觉，认为不需要通过动手具体尝试就知道可能是对的或错的。通过这种方式，可以快速调整自己的研究方向。Q4：前一阵子，您在推特上和 Denny Zhou 针对他们的论文《Chain of Thought Empowers Transformers to Solve Inherently Serial Problems》有一些讨论。他认为推理能力没有极限，您认为 CoT 过长时训练难度较大。能否对此进行一些解析？如何看待o1的推理能力，以及未来大模型研究的走向？
田渊栋：虽然链式思维（CoT）非常有用，但我不同意只是一味地放大它就够了。Denny Zhou 他们这篇文章认为某个类型的问题如果可以用多项式数量的「与」门和「或」门表达，那么就可以用 CoT 解决。具体来说，通过显式构造Transformer权重，可以证明 CoT 能解决这些问题。但现实世界中有很多问题是 NP-hard 的，可能需要指数级别的门电路来构造它。这样的时候CoT的长度可能会非常长。相较之下，人类的推理链非常简洁，甚至在遇到未知问题时也能抓住关键因素。这种能力目前对研究者来说还是一个巨大的谜团。比如一个例子是鸽笼原理：“N件物品放进N-1个盒子里，那至少有一个盒子里有两件及以上物品”，这个例子不言自明，但大模型如果从来没有见过这种高层次的思考方式，那可能会产生用穷举法的CoT，列出一个N从1，2，3一直到无穷的穷举证明。虽然它每一步都是正确的，没有任何幻觉和不一致性，但其实是毫无效率的，也不代表我们所期望能产生的高层智能。更大的问题是，我们并不清楚这种显式构造的权重是否能通过梯度下降学习得到。我这也就是说，我们构造出来的Transformer，和真实训练完的Transformer，其实完全做的不是一件事情。梯度下降有什么魔力，我们现在还是不知道。研究社区对 LLM 的话题十分热衷，很大程度上是因为在大量数据上进行训练的模型可以具备小模型不具备的能力，也具有“涌现”能力。这种神秘的现象吸引了大量投资。当然关于这种能力存在一些争议，有些研究者认为是performance metric带来的，但我还是觉得这有一定程度是真的。我最近的论文《Composing Global Optimizers to Reasoning Tasks via Algebraic Objects in Neural Nets》（https://arxiv.org/abs/2410.01779v1）就试图去定量化分析一些特定的情况（比如说取模加法）。在这些情况下，梯度下降方法能自动发现数据中一些隐藏的代数结构，并且反映到网络权重中去。这种能力就和“涌现”息息相关。当然我们离真正揭开“涌现”的谜底还很早。Q5：能否概述您最近跟 Jurgen 合作的文章「Agent as a Judge」的主要思想？
田渊栋：这篇主要是一作诸葛明辰的工作，我只是给了些建议。为了得到反馈的信号，评判一个工作做的好坏非常重要。人类、LLM 都可以作为评判者。我们可以让 Agent 在每一步上都进行评判，得到更加细致的评判结果，得到更好的反馈信号。Q6：最近几年，何恺明、谢赛宁等许多著名的学者都从工业界回到了学术界，您如何看待这个趋势？
田渊栋：工业界处于一个常年在追赶的状态。特别是OpenAI成功之后，大家意识到必须大团队、多资源一起作战。特别是如果这个项目本身关系到公司存亡的时候，压力非常大。工业界更多会相信大模型，相信 Scaling Law。但不一定有时间思考新的想法，思考一些困难的问题，这需要个人对时间有很好的规划。Q7：您对青年研究有哪些建议？如何做好研究，如何选择研究问题？
田渊栋：要具备前瞻性，积极探讨问题，并思考可能的研究方向，勇于探索他人未涉及的领域。每个研究者都希望自己的工作是独一无二的。如果大家都在做相同的事情，就很难脱颖而出。因此，找到结合自己优势和研究方向的独特道路至关重要。很多时候，需要勇于尝试，不怕失败。我们团队现在的理论研究方向也是逐渐形成的。例如，我在读博期间曾经花费九个月时间去自由思考，这些思考可能看似无用，但实际上它们帮助我积累了感觉，引导我确定研究方向，对拓宽研究思路有很大帮助。可能你很早就考虑过某个问题，当时没有头绪，但三年后突然意识到之前思考的问题确实有答案。「浪费」的时间，不一定有害，自由的思考在将来可能有很好的反馈。要有持续的思考能力，进行有趣的尝试。如果总是跟风，那就没有意义。失败也没关系，证明你有能力、精力、时间和动机去把事情做好可能更为重要。Q8：您业余时间一直在撰写科幻小说，小说的灵感来源是什么？写作对科研有帮助吗？
田渊栋：写作与整理思路密切相关，因此它是一个非常重要的工具。实际上，我保留了很多我以前写的研究计划、心得和想法。你会发现，早期的研究记录中的想法是混乱的，非常零散或简单，可能会花费很多笔墨去描述不重要的细节。但随着时间的推移，你会逐渐明白哪些是重要的，哪些是不重要的，从而不再记录那些不重要的内容。这是一个很大的锻炼。写小说本身也是一个有趣的活动，它可以锻炼思维能力。一开始写作时，可能有很多内容想要表达，但写出来的内容可能不成段落或场景，别人看了一眼可能就不想继续阅读，也看不懂。在这种情况下，你需要想办法改进写作，去掉不重要的部分，保留和连接重要的部分。这实际上是一个思考的过程，能够培养自己的思维能力。Q9：通过《破晓之钟》这本科幻小说想传达怎样的核心思想？
田渊栋：有几个问题值得探讨。首先，科幻小说是与时俱进的，18世纪和19世纪的科幻小说内容不同。例如，《海底两万里》可能描述的是驾驶潜艇潜入水中，而当时的潜艇可能是木质或金属制的，结构比较传统，没有计算设备和计算机的概念。因此，科幻小说带有时代的烙印，在人工智能时代，我们是否应该以更新的思维方式和视角，特别在对智能有更深理解的情况下，创作一部新的科幻小说，这是一个有趣的问题。
科幻影片《海底两万里》，于1954年12月23日在美国上映。其次，如果未来大家都有优秀的Agent陪伴，任何事情都能立即实现，即「所思即所得」，那么人类的价值何在？每个人有什么样的价值，需要做出什么样的选择？这是一个有趣的问题。我在2020年到2021年间写小说时，还没有 ChatGPT，我并没有预料到这种情况会很快发生。但现在，通过给出提示词（prompt），就可以生成大量代码完成许多任务。你会发现，生活在虚拟世界中「所思即所得」这种当年我以为是非常科幻的东西，现在已经开始变成现实。在这种情况下，重复劳动变得没有意义，如何让自己变得独一无二，这是一个重要的问题。
第三，我也在思考，外星入侵地球是一个非常陈旧的主题。在信息时代，这个主题会以什么方式展现？大多数时候，小说家在写外星入侵地球时，还是偏向于十八九世纪的风格，描述外星人用大炮巨舰来消灭地球文明。如果大家都已经达到高级文明，他们的思维方式可能与我们完全不同，他们还有必要消灭么？他们内部有什么矛盾呢？社会发展的动力又是如何？那么，我该如何编写这个故事，以及什么样的逻辑和行为方式才是正确的，这是一个有趣的思考和思维锻炼。
此外，我也以小说为载体，描述了一些博士阶段的趣事，发生在几个博士生之间的日常桥段。现在回头看这些文字，有些文字比较久远，可能显得比较幼稚，不够成熟。未来如果写作第二部可能会有更好的写作方式和表达。
OpenAI研究员、思维树作者姚顺雨专访：人生是一场无限流游戏丨独家14万引用Sergey教授专访：好研究没有妙计，不好的研究却千篇一律丨独家
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢