ChatGPT的前世今生，以及未来(16)

2019年10月，110亿参数的T5
2019年10月，谷歌在论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》提出了一个新的预训练模型：T5。该模型涵盖了问题解答，文本分类等方面，参数量达到了110亿，成为全新的NLP SOTA预训练模型。在SuperGlue上，T5也超越了Facebook提出的的RoBERTa，以89.8的得分成为仅次于人类基准的SOTA模型。

为啥叫T5？因为这是“Transfer Text-to-Text Transformer”的缩写。
T5作为一个文本到文本的统一框架，可以将同一模型、目标、训练流程和解码过程，直接应用于实验中的每一项任务。研究者可以在这个框架上比较不同迁移学习目标、未标注数据集或者其他因素的有效性，也可以通过扩展模型和数据集来发现 NLP 领域迁移学习的局限。
Flan-T5通过在超大规模的任务上进行微调，让语言模型具备了极强的泛化性能，做到单个模型就可以在1800多个NLP任务上都能有很好的表现。
微调的目的是让语言模型学习理解指令，不是想让语言模型解决成千上万任务，当然训练方式中是有很多任务，因为不同任务有不同的指令，所以目的还是想让模型理解这些指令，解决各种任务问题。在真实世界中，总会有新任务，模型只要学习新任务的新指令，那么就能解决新任务。指令学习本质是把语言模型的问题用语言讲出来。
一旦模型训练完毕，可以直接在几乎全部的NLP任务上直接使用，实现一个模型解决所有问题（One model for ALL tasks），这就非常有诱惑力！
从创新来看，T5算不上出奇制胜，因为模型没有用到什么新的方法，而是从全面的视角来概述当前 NLP 领域迁移学习的发展现状。
简单来说，还是通过大力出奇迹，用110亿参数的大模型，在摘要生成、问答、文本分类等诸多基准测试中都取得了不错的性能。一举超越现有最强模型。