为什么所有GPT-3复现都失败了？使用ChatGPT你应该知道这些(13)

谷歌唯一剩下的步骤是通过人类反馈使这个 LLM 与对话场景对齐（alignment）。如果他们很快发布类似 ChatGPT 的或者更好的聊天机器人，我不会感到惊讶 —— 尽管他们最近 “失败” 地展示了一版可能基于 LaMDA 的 Bard。
关于作者
英文原版作者：杨靖锋，现任亚马逊科学家，本科毕业于北大，硕士毕业于佐治亚理工学院，师从 Stanford 杨笛一教授。
杨昊桐 译，王骁 修订 。
感谢靳弘业对第一版稿件的建议，感谢陈三星，符尧的讨论和建议。
英文原版：https://jingfengyang.github.io/gpt
推特原文：https://twitter.com/JingfengY/status/1625003999387881472
参考文献
[1] HELM: Holistic Evaluation of Language Models and its board: https://crfm.stanford.edu/helm/v0.2.0/?group=core_scenarios
[2] GPT3: Language Models are Few-Shot Learners
[3] PaLM: Scaling Language Modeling with Pathways
[4] OPT: Open Pre-trained Transformer Language Models
[5] BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
[6] FLAN-T5/PaLM: Scaling Instruction-Finetuned Language Models
[7] The Flan Collection: Designing Data and Methods for Effective Instruction Tuning
[8] InstructGPT: Training language models to follow instructions with human feedback
[9] Yao Fu’s blog on “Tracing Emergent Abilities of Language Models to their Sources”