GPT-4大模型硬核解读！看完成半个专家(18)

从目前GPT-4的部署需求来看，GPT-4大模型具有数据量大、数据带宽要求高、算力要求高的计算特点，且算法相对单一。如果要提高计算效率和性价比，就应该像超算那样选择更高计算密度的算力芯片。从这个角度上看，具备存算一体结构的DSA可以很好的满足这些要求，并且具备比GPGPU更高的计算性能，未来很有可能与CPU或GPU组合，形成GPT-4这类算法的主要部署芯片。在GPT-4这类大模型训练中，一般需要使用Infiniband进行大算力芯片间的协同工作，整合海量芯片的算力。Infiniband摒弃了传统网络和应用程序之间消息传递的复杂结构，使应用程序之间直接进行通信，绕过了操作系统，大大提高了效率。
05.GPT-4的局限与未来改进方向
5.1 GPT-4局限尽管GPT-4表现出出色的上下文对话能力甚至编程能力，以及能看懂图梗和分析数据图。我们也要看到，GPT-4技术仍然有一些局限性，还在不断的进步。1）GPT-4在其未经大量语料训练的某些领域缺乏“人类常识”和引申能力”。GPT-4在很多领域可以“创造答案”，但当用户寻求正确答案时，GPT-4也有可能给出有误导的回答。大预言模型的安全性问题仍是横亘在其大规模商用上的拉路虎。如果遇到关系重大利益的抉择时，我们是该相信GPT-4的结果还是不相信呢？
▲大语言模型的SWOT分析（来源：互联网）
2）GPT-4需要非常大量的算力（芯片）来支持其训练和部署。抛开需要大量语料数据训练模型不说，在目前，GPT-4在应用时仍然需要大算力的服务器支持，而这些服务器的成本是普通企业在大流量服务时无法承受。对于私有化部署来说，还需等待更轻量型的模型或更高性价比的算力平台。3）GPT-4还没法在线的把新知识纳入其中，而出现一些新知识就去重新预训练GPT模型也是不现实的，无论是训练时间或训练成本，都是普通训练者难以接受的。如果对于新知识采取在线训练的模式，看上去可行且语料成本相对较低，但是很容易由于新数据的引入而导致对原有知识的灾难性遗忘的问题。另一方面，缺乏检查的新的不良知识也可能导致模型本身的安全性问题。特别是GPT-4可能会继承从新数据中学到的偏见和不平等性。如果数据集中存在种族、性别、地理位置等方面的偏见，GPT-4也可能会在生成文本时出现类似的偏见。
4）GPT-4仍然是黑盒模型。目前还未能对GPT-4的内在算法逻辑进行分解，因此并不能保证GPT-4不会产生攻击甚至伤害用户的表述。OpenAI提供的文档报告称，GPT-4-launch的错误行为率为0.02%，远低于GPT-3.5的0.07%和GPT-3的0.11%1。这意味着GPT-4-launch生成的文本在10000次完成中只有2次违反OpenAI的内容政策或用户偏好。但即便这2次违反依然可能导致OpenAI受到严重的法律诉讼。5）GPT-4仍存在社会和道德风险。由于GPT-4这类大型语言模型仍然存在根本性的黑盒特征。GPT-4仍然可以生成有偏见的、虚假的和仇恨的文本；仍然可以被黑客攻击（例如Prompt越狱）以绕过它的安全防护墙。尽管OpenAI提出了多项措施来减轻其模型的风险和挑战，但GPT-4仍然可能被滥用于创建假新闻、宣传、垃圾邮件或有害内容，还可能产生可能误导或伤害用户的事实错误或偏见。