黄仁勋与 Transformer 七作者：浪费资源，世界亟需更优模型

变革式论文：Transformer 的诞生

提出 Transformer 架构的七位作者与 NVIDIA 首席执行官黄仁勋共同探讨了生成式人工智能的过往、现在和未来。他们首次集体亮相，出席了 NVIDIA GTC 大会上的“变革 AI”圆桌会议。

计算机成本的下降和生成式 AI 的兴起

黄仁勋认为，计算技术的本质自 1964 年以来没有改变，但计算机成本的持续下降带来了新的机遇。生成式人工智能的出现为我们理解数据背后的含义提供了新的途径，开启了一次“全新工业革命”。

Transformer 架构在这一过程中发挥了关键作用。黄仁勋强调：“你不会想错过接下来的十年。”

“注意力就是你所需要的一切”：划时代的论文

2017 年，谷歌大脑团队的八位研究人员发表了论文“注意力就是你所需要的一切”，提出了一种基于自注意力机制的神经网络模型，即 Transformer 模型。这八位研究人员随后离开谷歌，创办了自己的公司，继续从事人工智能相关工作。

Transformer 的创建：面向未来的展望

在这场讨论中，八位作者分享了 Transformer 创建初期的故事，并对人工智能的未来进行了展望。他们认为，Transformer 模型的局限性需要得到超越。

戈麦斯表示：“世界需要比 Transformer 更好的东西。我们都希望它被一些能将我们带到更新性能高度的东西所取代。”

迈入人工智能的下一阶段

琼斯指出，要进入人工智能的下一阶段，从业者需要“做得更好，还必须非常明显地做到更好”。

尽管 Transformer 模型仍在发展，但研究人员们正在探索人工智能的未来，相信未来会出现更加强大的技术，将人工智能带到新的高度。

Jones强调，每个人都对希望拥有的个人工具有所了解，例如更大的上下文窗口和更快的token生成能力。他表示：“我不确定你们是否喜欢这个说法，但人们目前过度使用了计算资源，我认为大家浪费了很多计算资源。”

随后，Huang邀请了几位在座人员介绍他们目前工作的公司。多位创业者都表示希望将AI技术带出实验室，让这项具有世界改变潜力的技术尽早惠及更多人，同时降低其成本。

作为第一个离开Google并选择研究区块链技术的Polonsky表示：“我坚信，我们正在朝着几乎使整个世界软件化的方向发展，而机器学习正是软件的一部分。最直接的方法是教会机器进行编码，这样你就可以生成软件，并改变所有人的访问方式。”

当Jones谈到推理是“下一个重要的发展方向”时，其他研究人员表示赞同。Keiser指出，作为“与现实世界互动的地方”，数据的质量在未来将变得更加重要：“我认为一个新时代即将来临，其中仍然会有一些免费的预训练模型，但更重要的是那些更大、更高质量的模型。”