AI赋予文字无限力量：“由文本生成一切”的一年(8)

正如我所提到的，ChatGPT似乎还只能对它所阐述的主题作比较浅层次的描述，无法太深入。它可以写得足够流畅，并给你一些所需要的细节，但如果你能提供它所缺乏的深入分析和深刻理解，它就还不能替代你的工作。
文本能超越自己吗？
通过在多模态数据集上训练模型，我们可以理解文字、语言中编码的信息如何映射到图像、三维图像和我们周围世界的其他表现形式。“文本到图像”表明，生成的图像可以反映精确的文字描述。但是生成式AI还不能做到尽善尽美，Stable Diffusion模型在其生成的图像中明显存在着赋予人类正确手指数量的问题。
但值得注意的是，在“文本到图像”系统中，仅仅通过扩大语言模型就能实现改进。Imagen使用仅在文本上训练的T5编码器（110亿个参数），产生的图像比DALL-E 2更逼真，后者的文本编码器已被训练为产生类似于匹配图像嵌入的文本嵌入。
也就是说，将文本转化为其他模态的可能性（我们可以做什么，以及我们用目前的方法能走多远）并不明显。对那些看到真正发展限制的观点，我感同身受：尽管“文本到图像”数据集可以告诉我们这个世界的很多景象，但它们不存在于物质世界中，缺乏像我们一样能够与物体、与其他人类互动的能力，并通过互动从周围世界中收集视觉和非视觉信息。
但是显然，有很多事情可以做。谷歌最近的RT-1（变形机器人）展示了如何利用自然语言来解决机器人任务。

“ChatGPT可以为你策划一场主题派对，但它能帮你在派对结束后打扫屋子吗？很可惜不能。我在谷歌机器人的朋友刚刚公布了RT-1，一款带有眼睛、手臂和轮子的变形机器人！”
正如François Chollet在一次采访中向我指出的那样，在“文本到图像”这个领域，神经网络的能力可以大放异彩。我也对潜在的二级应用场景感到兴奋，比如在文本指导下的分子设计和其他并不显而易见的创意。
然而，我认为要真正发掘“文本到X”模型的潜能，着实需要有更好的界面：我们需要以更好的方式，向模型表达我们的意思、概念和想法。提示工程作为一门学科出现，可以反映出我们目前与GPT-3等模型的交流方式是低效的。