如果你在一家大厂做出了一份行业里程碑式的研究，那么接下来的职场生涯你会怎么走？继续留在这家大厂？换一家待遇更好的大厂？还是创业或加入有前景的创业公司？
Transformer（出自论文《Attention Is All You Need》）几位作者的选择或许有一定的代表性：其中六人选择创业或加入创业公司，只有一人选择继续留在谷歌，还有一位去了 OpenAI。
图片
这篇重要论文发表于 2017 年，如今引用量已经突破 41000。论文注释中写道，几位作者对这份研究做出了不同但同等重要的贡献（排名随机）。具体来说，他们的分工可以概括为：

  • Jakob 提出用自注意力替代 RNN，并开始努力尝试这一想法；

  • Ashish 和 Illia 一起设计并实现了第一批 Transformer 模型，并重度参与了 Transformer 架构的各方面工作；

  • Noam 提出了缩放点积注意力、多头注意力和无参数位置表示，并成为几乎每一个细节的参与者；

  • Niki 在原始代码库和 tensor2tensor 中设计、实现、调优和评估了无数的模型变量；

  • Llion 还尝试了新的模型变体，负责初始代码库以及高效的推理和可视化；

  • Lukasz 和 Aidan 花了无数天的时间来设计和实现 tensor2tensor 的各个部分，替换了早期的代码库，极大地改善了结果、加速了研究进度。

可以说，每位作者都有自己擅长的工作，对于行业也都有自己的预判。论文发表五年之后，他们都在做什么呢？本文调查发现，时隔五年，Transformer 的八位作者仅有一位还留在谷歌。

内容中包含的图片若涉及版权问题，请及时与我们联系删除