“多云多模型”时代到来,火山引擎的数字化升级“刀法”(2)
2023-04-26 来源:飞速影视
具体到产品端,近日,火山引擎发布新版机器学习平台:支持万卡大模型训练、微秒级延迟网络,让大模型训练更稳更快。
同时,火山引擎发布了基于自研DPU的Intel CPU计算实例、AMD CPU计算实例、NVIDIA GPU计算实例,以其中“DPU AMD Genoa CPU平台的计算实例”为例,整机性能最高提升138%,单核性能最高提升39%。
算力是实现大模型迭代的关键一环,而火山引擎通过与字节跳动国内业务并池,将抖音等业务的空闲计算资源极速调度给火山引擎客户使用,确保企业在大模型建设中的数据支持与算力保障。
字节跳动副总裁杨震原表示,“并池”意味着可以调度一些资源,去错峰互用,把运力提上去,“比如其实也有波峰和波谷,凌晨用的人少,这种资源就很适合科学计算的能力。”
字节跳动副总裁杨震原分享抖音的机器学习实践
基于字节系的算力资源和生态能力,火山引擎所提供的大模型基础设施,在运算效率和性价比方面更有优势。
以火山引擎的合作客户MiniMax为例,这是一家已经推出自研大模型产品的独角兽公司,其与火山引擎合作建立的超大规模推理平台,拥有万卡级算力池,支撑单日过亿次调用。
再比如抖音的推荐系统,在火山引擎的算力支持下,工程师用15个月的样本训练某个模型,5小时就能完成训练,成本只有5000元。
“火爆全网的抖音’AI绘画’特效,从启动到上线只用一周多,模型由一名算法工程师完成训练。”杨震原介绍说。
杨震原还认为,业务创新需要试错,试错要大胆、敏捷,但试错也一定要控制成本。
效率更优、算力资源丰富、成本可控的大模型训练与迭代方式,往往是初创型科技公司最为看重的模式,也是火山引擎努力实现的目标。
谭待指出,火山引擎要服务好那些立志做好大模型的公司,为其提供基础算力支持和技术平台。“如何在工程上帮它们优化,提高效率,稳定性,都是我们关注的重点。”
当然,不同企业在不同应用场景下,对云服务和大模型的需求千差万别,火山引擎又如何做好个性化的企业级解决方案?
本站仅为学习交流之用,所有视频和图片均来自互联网收集而来,版权归原创者所有,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传
若本站收录的节目无意侵犯了贵司版权,请发邮件(我们会在3个工作日内删除侵权内容,谢谢。)
www.fs94.org-飞速影视 粤ICP备74369512号