近期,一場科技與通信領域的強強聯合引發了廣泛關注。騰訊會議與聯發科技宣布達成戰略合作,攜手推出了基于天璣平臺的虛擬背景功能,這一創新舉措將虛擬背景技術與AI算力深度融合,為移動端會議體驗帶來了革命性的提升。
此次合作中,聯發科技的天璣移動平臺扮演了至關重要的角色。該平臺以其高智能、高性能、高能效和低功耗的卓越特性,為虛擬背景功能提供了堅實的AI性能基礎。特別是最新發布的天璣9400,集成了聯發科技第八代AI處理器NPU 890,其AI性能和能效遠超以往。天璣9400還支持多項先進技術,如時域張量硬件加速技術和端側高畫質視頻生成技術,這些技術的加持使得天璣9400不僅在高分辨率圖像生成方面表現出色,還支持端側動圖和視頻生成,為用戶提供了更多創新玩法。
騰訊會議的虛擬背景功能是一種基于人像分割技術的創新應用。在視頻會議中,該功能能夠自動識別參會人員,并將其周圍環境替換為指定的圖像或視頻,既保護了參會者的隱私,又增加了會議的趣味性。同時,虛擬背景還可以替代傳統的布展背景墻,有效降低了會議成本。為了確保在各種實際應用場景中實現穩定而精準的人像分割,騰訊會議采用了自建的多樣性數據集,并采用了先進的卷積神經網絡架構和注意力機制等技術,確保了人像分割的流暢性和準確性。
此次深度合作中,騰訊會議與聯發科技共同針對模型在GPU和NPU架構上的運行能力進行了協同優化。通過優化,顯著提升了處理速度和能效表現,為用戶帶來了更加流暢和高效的會議體驗。聯發科技不僅提供了強大的NPU算力支持,還為騰訊會議提供了天璣AI開發套件NeuroPilot軟件工具和API。通過這一站式軟件解決方案,騰訊會議得以高效開發和部署基于神經網絡的AI應用程序,極大地簡化了開發步驟。
為了充分發揮天璣移動平臺NPU的AI性能,騰訊會議對自研模型中的自定義模塊進行了調整和替換。同時,雙方還共同設計了模型的最大并行度,進一步提升了AI應用在天璣移動平臺NPU上的執行效率。經過聯合優化,虛擬背景功能在天璣移動平臺NPU上的性能相較于CPU FP16模式提升了3.5至4倍,耗時縮短至6毫秒以內。功耗的降低還有助于減少手機發熱,為長時間會議提供了更好的續航保障。
騰訊會議智能應用研發中心負責人表示,長期以來,騰訊會議一直致力于通過AI算法在軟件層優化性能。此次與聯發科技的合作,是探索在硬件層提升性能與優化用戶體驗的重要一步。憑借天璣移動平臺強大的AI算力支持,騰訊會議的AI人像分割模型得以遷移至天璣AI引擎上運行,不僅AI算法運行更快,還大幅降低了CPU占用,節省了更多資源。目前,騰訊會議已經在天璣9400、天璣9300、天璣9200、天璣9000等多個平臺上線了虛擬背景的端側NPU版本。