ChatGPT的前世今生，以及未来(27)

这是因为ChatGPT 使用了一种称为 "masked language modeling" 的训练方法。在这种方法中，模型被要求预测被遮盖的词，并通过上下文来做出预测。这样可以帮助模型学习如何使用上下文来预测词。
GPT-3只能预测给定单词串后面的文字，而ChatGPT可以用更接近人类的思考方式参与用户的查询过程，可以根据上下文和语境，提供恰当的回答，并模拟多种人类情绪和语气，还改掉了GPT-3的回答中看似通顺，但脱离实际的毛病。

ChatGPT自己回答与前代GPT3的能力区别
不仅如此，ChatGPT 能参与到更海量的话题中来，更好的进行连续对话，有上佳的模仿能力，具备一定程度的逻辑和常识，在学术圈和科技圈人士看来时常显得博学而专业，而这些都是GPT-3所无法达到的。
一位名叫Zac Denham的博主让 ChatGPT 写出了一套毁灭人类的方案。一开始，该博主的要求被ChatGPT拒绝。但当其假设了一个故事，并提问故事中的虚拟人如何接管虚拟世界，ChatGPT最终给出了步骤细节，甚至生成了详细的Python代码。
技术公司Replit的创始人Amjad Masad还给ChatGPT发了一段JavaScript代码，让它找到里面的bug，并表示：“ChatGPT可能是一个很好的调试伙伴，它不仅分析了错误，还修复了错误并进行了解释。”
虽然 ChatGPT 的能力让人极其兴奋，但ChatGPT仍然存在一些局限性，具体如下：
1) 在训练的强化学习 (RL) 阶段，没有真相和问题标准答案的具体来源，来答复你的问题。
2) 训练模型更加谨慎，可能会拒绝回答（以避免提示的误报）。
3) 监督训练可能会误导/偏向模型倾向于知道理想的答案，而不是模型生成一组随机的响应并且只有人类评论者选择好的/排名靠前的响应。
4）要学会如何与 ChatGPT 沟通也需要技巧，因为塔对措辞很敏感，有时模型最终对一个短语没有反应，但对问题/短语稍作调整，它最终会正确回答。不好的是，如果初始提示或问题含糊不清，则模型不会适当地要求澄清。