GPT-4大模型硬核解读！看完成半个专家(20)

▲ChatGPT与Wolfram|Alpha结合处理梳理问题（来源：Wolfram）
目前Woflframe已经可以通过ChatGPT调用（通过插件），未来也会实现GPT-4的集成。在这一结合体系中，GPT-4可以像人类使用Wolfram|Alpha一样，与Wolfram|Alpha“对话”，Wolfram|Alpha则会用其符号翻译能力将从GPT-4获得的自然语言表达“翻译”为对应的符号化计算语言。在过去，学术界在GPT-4使用的这类“统计方法”和Wolfram|Alpha的“符号方法”上一直存在路线分歧。但如今GPT-4和Wolfram|Alpha的互补，给NLP领域提供了更上一层楼的可能。
▲ChatGPT调用Wolfram（来源：Wolfram）
GPT-4不必生成这样的计算代码，只需生成常规自然语言，然后使用Wolfram|Alpha翻译成精确的Wolfram Language，再由底层的Mathematica进行计算。5.2.3 GPT-4的本地化与小型化虽然GPT-4很强大，但其模型大小和使用成本也让很多人望而却步。有三类模型压缩（model compression）技术可以降低模型的大小和成本。第一种方法是量化（quantization），即降低单个权重的数值表示的精度。比如Transformer从FP32降到INT8对其精度影响不大，但是会显著提升计算效率。笔者团队已研发出INT4量级的Transformer高精度量化算法，无需再次训练或更改模型，即可部署到GPT-4算力平台上，大大提升计算效率并降低成本。第二种模型压缩方法是剪枝（pruning），即删除GPT-4的网络元素，包括从单个权重（非结构化剪枝）到更高粒度的组件如权重矩阵的通道。
这种方法在视觉和较小规模的语言模型中有效，也是很多框架（Framework）上自带的功能。第三种模型压缩方法是稀疏化。例如奥地利科学技术研究所（ISTA）提出的SparseGPT可以将GPT系列模型单次剪枝到50%的稀疏性，而无需任何重新训练。当然这种稀疏结构目前还仅仅是基于GPU架构实现的，在其他硬件平台上并不兼容，而且GPT-4的稀疏化是否在综合成本上优于压缩还有待观察。
▲SparseGPT压缩流程（来源：ISTA）
06.GPT-4的产业未来与投资机会