奥特曼最新万字访谈：GPT-5能力提升超乎想象，算力将成为未来最重要的货币(21)

Lex Fridman
在 GPT-4 和 GPT-4 Turbo 之间，将上下文窗口从 8K 令牌增加到 128K 令牌，会有什么样的区别呢？
Sam Altman
大部分情况下，人们并不总是需要128这么长的上下文。虽然若我们将目光投向遥远的未来，我们可能会有几十亿的上下文长度。你可以输入你所有的信息，你的整个历史记录，它将逐渐更深入地了解你，那会非常棒。但是就目前的情况来看，人们使用这些模型的方式并不是这样的。有时候，人们可能会在一篇论文中贴上大量的代码库，不过，大多数时候模型的使用并不涉及长时间的上下文。
Lex Fridman
我喜欢这种感觉，就像是你的 “我有一个梦想” 演说。有朝一日，你会被依据你性格的全貌或是你一生的总体来评价。这很有意思。那么，你所期望的扩展的一部分，就是一个越来越全面的背景环境了。
Sam Altman
我记得看过一段网络视频，数字可能记错了，但是内容大致是比尔·盖茨在谈论一款早期电脑的内存容量，可能是 64K，也许是 640K 之类的。那时候，大多数内存都被用作屏幕的缓冲区。他当时似乎无法真正理解，为什么未来的世界会需要计算机有几个 GB 甚至 TB 的内存。不过实际上，你总是要跟上技术发展的指数级曲线，我们总会找出利用更先进技术的方法。所以，我现在真的很难想象，未来有一天，上下文链接扩散到十亿设备的情景会是怎样的。它们可能不会真的达到那个数字，但在效果上可能会有那种感觉。不过我知道，一旦我们拥有了这种技术，就绝不会想要回到没有它的日子。
Lex Fridman
是的，即便是现在说十年后可能是数十亿的规模，也可能显得很愚蠢，因为到那时它可能已经达到了数以万亿计的规模。
Sam Altman
当然
Lex Fridman
将会出现一些使人感觉像是拥有无限上下文的突破性进展。不过即便是 120 字符，老实讲，我也没尝试过把它推到那个极限。可能的用例包括输入整本书或书的某些部分，比如论文之类的。你见过 GPT-4 有哪些有趣的应用场景吗？
Sam Altman
我最感兴趣的不是任何我们可以讨论的具体应用案例，而是那些将其作为任何知识工作任务的默认起点的人，特别是年轻人。令人瞩目的是它在很多方面都能做得相当不错。你可以使用 GPT-V 来帮助你编写代码，进行搜索，或者编辑论文。对我来说，最有意思的是那些直接以此为他们工作流程开端的人。