盡管由于限制,華為擁有設計先進芯片的能力但沒法制造出來,但是軟硬件優化還是讓華為的平臺展示出了優秀的性能,日前OpenCV就實現了對華為AI平臺晟騰的優化,速度提升很恐怖,差不多是蘋果M1處理器的7倍。
據南方科技大學計算機系的于仕琪老師介紹,OpenCV中國團隊實現了OpenCV4.7對華為晟騰的支持,在華為硬件上,3毫秒就可以完成ResNet50的推理。
這個速度的確很恐怖!要知道,我們把OpenCV針對arm cpu加了winograd conv等的優化了,在蘋果標桿CPU m1上都要跑20+ms。
這一工作的最大意義在于,用戶不需要學習華為晟騰的復雜API,正常調用OpenCV,就能實現晟騰NPU硬件加速。
據悉,昇騰CANN(Compute Architecture for Neural Networks)是華為針對AI場景推出的異構計算架構。
昇騰CANN支持昇思MindSpore,OpenCV DNN,飛槳Paddle、PyTorch、TensorFlow等神經網絡推理和訓練框架,并兼容多種底層硬件設備,提供強大異構計算能力。
其中昇騰CANN為用戶提供了模型轉換工具ATC,以及C/Python的API庫AscendCL。
用戶可使用ATC將ONNX、TF和Caffe模型轉換為被AscendCL支持的OM格式,并調用AscendCL的API讀取和在昇騰AI處理器上推理模型。