ChatGPT的前世今生，以及未来(21)

Switch Transformer 在许多下游任务上有所提升。研究人员表示，它可以在使用相同计算资源的情况下使预训练速度提高7倍以上。他们证明，大型稀疏模型同样可以用于创建较小的、稠密的模型，通过微调，这些模型相对大型模型会有30％的质量提升。

在一项测试中，Switch Transformer模型以在100多种不同语言之间的翻译测试中，研究人员观察到“普遍改进”，与基准模型相比，91％的语言翻译有4倍以上的提速。
研究人员认为，在未来的工作中，Switch Transformer可以应用到其他模态或者跨模态的研究当中。模型稀疏性可以多模态模型中发挥出更大的优势。
从结果看，这个版本，意味着谷歌的新模型在翻译等领域获得了绝对的胜利。
但从另一方面看，模型越大，部署的难度越高，成本也越高，从效率来看是低的，未必能赢得最终的胜利。
这也能解释，为什么 Switch Transformer 这样开源的万亿参数模型，许多人没听说过，影响力不大。
2021年1月，120亿参数的DALL-E
2021年1月，OpenAI放了个大招：发布了文本生成图像的模型 DALL-E。它允许用户通过输入几个词来创建他们可以想象的任何事物的逼真图像。
和GPT-3一样，DALL·E也是基于Transformer的语言模型，它同时接受文本和图像数据并生成图像，让机器也能拥有顶级画家、设计师的创造力。
为什么叫DALL·E？这是为了向西班牙超现实主义大师萨尔瓦多·达利（DALL）和皮克斯的机器人WALL-E致敬。
达利被誉为鬼才艺术家，他充满创造力的作品揭示了弗洛伊德关于梦境与幻觉的阐释，创造了极具辨识度的达利风格，用荒诞不羁的表现形式与梦幻的视觉效果。