瀚博首款AI推理芯片出炉，性能超越英伟达T4，年内即将量产(2)

瀚博提出的 SV100 系列芯片，对于视频任务进行了特别的优化。当前，计算机视觉任务占据了 AI 市场的大部分，视频流占据数据流的 70%，而且比例持续攀升。这些任务需要强大的视频解码能力，对于处理延迟、吞吐量和能耗效率提出了较高要求。
SV102 是一款高性能人工智能与视频处理芯片，深度学习推理性能指标数倍于现有主流数据中心 GPU（如英伟达 T4、A10）。基于瀚博自研的，针对多种深度学习推理负载而优化的通用架构，该芯片支持计算机视觉、视频处理、自然语言处理和搜索推荐等推理应用场景，同时集成高密度视频解码，广泛适用于云端与边缘解决方案，节省设备投资、降低运营成本。
通用 AI 推理加速卡，效率超越英伟达
基于 SV102 芯片，瀚博推出了适用于云服务器的 VA1 机器学习加速卡，其提供高效率深度学习 AI 推理加速，在同等能耗下可以实现 2-10 倍于 GPU 的最高 AI 吞吐率，适合实时应用，同时兼备良好的通用性和可扩展性，支持 FP16, BF16 和 INT8 数据类型的众多主流神经网络快速部署——包括检测，分类，识别，分割，视频处理，LSTM/RNN，NLP/BERT，搜索推荐等。

瀚博半导体 CTO 张磊向我们介绍了 VA1 加速卡的性能指标。
VA1 具备强大的视频处理性能：支持 64 路以上 H264，H265 或 AVS2 1080p 解码，分辨率支持最高达 8K。另一方面，作为标准半高半长 75W 功率的 PCIe 4.0 板卡，VA1 适用于绝大多数服务器，被动散热且无需额外供电，可实现高密度的部署。
和英伟达最新发布的安培架构 A10 板卡对比，在 ResNet-50（int8）任务上，瀚博芯片在 75W 功率时效率是对手的两倍以上。「即使英伟达的产品运行在 150W，我们的芯片运行在 75W 功率时性能也是超过它的，」张磊介绍道。「在 BERT int8 任务上，VA1 的性能也是 A10 在 75W 上的两倍，T4 的两倍多。」