上萬款抖音特效是如何生產(chǎn)出來的?
7月28日,抖音聯(lián)合火山引擎在北京舉辦智能特效技術(shù)開放日。火山引擎相關(guān)特效技術(shù)專家分享了抖音特效背后的算法技術(shù)和工程能力。
火山引擎認(rèn)為,在算法技術(shù)上,抖音特效主要使用了計算機視覺(CV)和計算機圖形學(xué)(CG)技術(shù)。但僅有這些技術(shù)還是不夠的,還需要有完善的工程能力,只有把工程做好,才能夠把相應(yīng)的技術(shù)落地、產(chǎn)生價值。
火山引擎在抖音特效上的工程能力主要體現(xiàn)為四個方面。
其一是模塊化組件。抖音特效用了100多種CV算法,但在實踐中,火山引擎的企業(yè)客戶可能并不需要全部的算法,而是只需要一部分能力。基于此,火山引擎在工程上提供了模塊化組件,定義了標(biāo)準(zhǔn)化的接口與模塊設(shè)計,提供給客戶可定制的方案。
其二是適配和兼容。用戶不僅僅需要豎屏的屏幕,還有很多用戶需要橫屏。火山引擎通過工程化的支持,現(xiàn)在已經(jīng)適配豎屏、橫屏,也可以適配不同的分辨率以及長寬高比例。
其三是資源下發(fā)。火山引擎非常了解客戶對體積優(yōu)化的訴求,所以很多素材、資源、算法模型,都可以下發(fā)更新。在減少包體積的同時,也讓客戶可以快速響應(yīng)需求。
其四是穩(wěn)定性。火山引擎在工程上可以做到非常低的崩潰率,抖音特效在接口層面的崩潰率現(xiàn)在低于十萬分之一,正在向一百萬分之一努力,而且已經(jīng)非常接近了。
火山引擎之所以能夠做到以上四點是因為還有一個堅實的AI算法底層工程。
在算法的研發(fā)過程種,一樣也離不開各種工程的支持。從一個算法的訓(xùn)練,到算法的優(yōu)化,最后到算法能夠在一些設(shè)備上高效率的運行,火山引擎都有成熟的平臺框架,來支撐做這些事情。
有了這些AI基礎(chǔ)能力,AI算法就不僅僅是某個團隊的獨門秘笈,每一個團隊都可以把AI算法看作是一個解決問題的可選方案。抖音特效在內(nèi)部使用過的訓(xùn)練平臺、優(yōu)化工具,還有高效率的執(zhí)行框架,目前都在陸續(xù)通過火山引擎向企業(yè)用戶開放。
火山引擎在服務(wù)客戶的過程中,也已經(jīng)形成一個特效服務(wù)體系。比如在了解到客戶真正需要哪些能力之后,火山引擎會派出專業(yè)的工程師團隊和客戶對接,幫助他去定制解決方案,并幫助解決在對接接入、上線之后遇到的各種問題。
在分享抖音特效背后的技術(shù)之外,火山引擎相關(guān)負(fù)責(zé)人也表示,作為字節(jié)跳動的技術(shù)服務(wù)平臺,火山引擎不僅支持了抖音、今日頭條等公司內(nèi)部產(chǎn)品,也在向外部企業(yè)開放,為客戶提供特效創(chuàng)作工具套件、定制算法、工程化部署和對接聯(lián)調(diào)等產(chǎn)品及服務(wù)。此外,火山引擎資源商城提供了上萬款抖音同款特效,企業(yè)可以根據(jù)熱度、類型等方式選擇使用。