训练许多现代 AI 工具背后的大型神经网络需要真正的计算能力：例如，OpenAI 最先进的语言模型 GPT-3 需要惊人的数亿次操作来训练，并且花费了大约 500 万美元的计算时间。工程师们认为他们已经找到了一种通过使用不同的数字表示方式来减轻负担的方法。

早在 2017 年，当时在 A*STAR 计算资源中心和新加坡国立大学联合任命的 John Gustafson 和当时在 Interplanetary Robot and Electric Brain Co. 任职的 Isaac Yonemoto 开发了一种表示数字的新方法。这些数字，称为 posits，被提议作为对当今使用的标准浮点算术处理器的改进。

现在，马德里康普顿斯大学的一组研究人员开发了第一个在硬件中实现 posit 标准的处理器内核，并表明，基本计算任务的精度逐位提高了四个数量级，与使用标准浮点数进行计算相比。他们在第29届 IEEE 计算机算术研讨会上展示了他们的结果。

图片

论文链接：https://spectrum.ieee.org/floating-point-numbers-posits-processor

「如今，摩尔定律似乎开始消退。」康普顿斯公司 ArTeCS 小组的研究生研究员 David Mallasén Quintana 说，「因此，我们需要找到一些其他方法来从同一台机器中获得更多性能。做到这一点的方法之一是改变我们对实数进行编码的方式，以及我们表示它们的方式。」

Complutense 团队并不是唯一一个用数字表示来挑战极限的人。近期，英伟达、Arm 和英特尔就使用 8 位浮点数而不是通常的 32 位或 16 位机器学习应用程序达成了一项规范。使用更小、更不精确的格式可以提高效率和内存使用率，但代价是计算准确性。

实数不能简单地用硬件完美地表示，因为它们的数量是无限的。为了适应指定的位数，许多实数必须四舍五入。命题的优势在于它们准确代表的数字沿数轴分布的方式。在数轴的中间，大约 1 和 -1，有比浮点更多的位置表示。在两翼，对于大的负数和正数，定位精度比浮点数下降得更优雅。

内容中包含的图片若涉及版权问题，请及时与我们联系删除