麒麟9000全球首创ISP NPU融合架构强在哪儿？超越极限的“慧眼”(8)

【融合架构背后的难度 超出你的想象】
你可能会说，这一切看起来似乎也没什么难的，但是芯片层面的创新，从来和简单二字无关，ISP NPU融合的难度和技术挑战也是常人难以想象的，简单来说主要是如何达成算法效果、计算性能、计算能耗三者的平衡。
为此，在设计硬件融合架构的同时，为了释放硬件潜力，华为也在软件算法上花费了大量心思，做出了大量创新，比如说IPS链路的像素级别(pixel level)的AI算法，搭档算力强悍的AI芯片，实现高能效的端侧软硬结合完整方案。
同时，如今的影像场景下，数据处理都是海量级别的，而且极为复杂，这就需要整个流程方案具备很强的鲁棒性(稳健性)，而且为了提高处理大数据量的效率，模型结构也要满足一定的计算约束，必须利用网络结构搜索、混合量化等技术，让模型结构与加速硬件高效配合。
特别是在4K超清分辨率下捕捉视频，流水线中的图像数据量比以往多了几个数量级，毕竟单帧4K图像处理就已经对AI提出了很高的要求，更何况视频场景下需要实时进行多帧处理。
举例来说，4K 30fps的视频捕捉场景下，整个ISP链路必须在33ms内完成单个帧的计算工作，其中留给AI算法进行计算处理的时间就更短，真正的电光火石之间就要处理到位，而一旦计算效率、性能不能满足，视频处理过程的效率就会急剧下降，反应在用户体验上就是严重的卡顿，这自然是无论如何不能接受的。
另外，任何硬件设计、算法设计都要考虑功耗，必须在可控范围内，否则就会导致明显的手机发热。相信大家都有感触，日常连续拍照、拍视频的时候，手机会明显发热，更何况加入如此复杂的计算流程。
因此，为了达成最佳的影像效果和用户体验，突破性的算法效果、快速高效的计算性能、优秀可控的计算能耗，三者是缺一不可的，而麒麟9000 ISP NPU融合架构，恰恰几乎完美地做到了这一点，才有了最终呈现在我们眼中的精彩影像。