GPT-4大模型硬核解读！看完成半个专家(19)

OpenAI的研究表明，GPT-4可以在许多领域与人类宣传员相媲美。6）GPT-4仍存在幻觉和推理错误。尽管OpenAI声称GPT-4相对于以前的模型可以显着减少幻觉（在其内部评估中得分比GPT-3.5高40%）。GPT-4仍然可能会产生有害的建议（尽管GPT-4更有可能拒绝回答）、错误代码或不准确的信息，因此，GPT-4暂不应该用于错误成本高的区域（比如医学手术？）。7）GPT-4存在泄露隐私可能。GPT-4可从各种内部许可和公开可用的数据源中学习，其中可能包括大量公开有效的个人信息。包括互联网上学习到有重要影响力人物（例如名人和公众人物）的大量隐私信息。GPT-4还可以聚合不同信息，将大量隐含信息关联挖掘出来形成有效的隐私信息。5.2未来改进方向5.2.1减少人类反馈的RLAIF2020年底，OpenAI前研究副总裁Dario Amodei带着10名员工创办了一个人工智能公司Anthropic。
Anthropic的创始团队成员，大多为OpenAI的早期及核心员工，并在2022年12月，发表论文《Constitutional AI: Harmlessness from AI Feedback》介绍人工智能模型Claude。
▲CAI模型训练过程（来源：Anthropic）
Claude和GPT-4都依赖于强化学习（RL）来训练偏好（Preference）模型。CAI（Constitutional AI）也是建立在RLHF的基础之上，不同之处在于，Claude的CAI的排序过程使用模型（而非人类）对所有生成的输出结果提供一个初始排序结果。这种模式的好处是节约了大量人工标注的时间和资源，可以加速大模型的训练进程，并降低成本。CAI用人工智能反馈来代替人类对表达无害性的偏好，即RLAIF，人工智能根据一套法规（Constitution）原则来评价回复内容。
▲CAI与RLHF技术对比（来源：Anthropic）
5.2.2数理能力的增强GPT-4虽然已经具备解物理题的能力，但毕竟不是专门的解题算法，一些复杂的数理问题对话中仍会出现一本正经胡说八道的情况。计算机学家Stephen Wolfram为这一问题提出了解决方案。Stephen Wolfram创造了的Wolfram语言和计算知识搜索引擎Wolfram|Alpha，其后台通过Mathematica实现。