8月24日,2023浪潮信息新產品“互聯網+AIGC”行業巡展暨大模型智算軟件棧OGAI發布會在北京舉辦。作為浪潮合作伙伴,快手StreamLake深入參與此次大會,快手異構計算負責人劉凌志博士進行了《“芯”驅動:釋放智能視頻之力 》主題演講,重點分享了快手SL200芯片的最新進展,介紹了智能視頻SOC芯片的典型架構和主要功能,以及基于此芯片搭建的智能視頻處理云端基礎設施,展示在多種場景所表現的優異性能,并在圓桌論壇環節與嘉賓們探討了如何與上下游企業進行深度合作。
構建大算力基礎設施體系,應對視頻和大模型挑戰
伴隨快手用戶、內容、商業生態的快速發展,AI特效、AI數字人等應用在快手廣泛落地。在AI大模型進入AGI時代的過程中,快手緊跟大模型應用浪潮,在搜廣推場景、內容創作、提高研發效能等方面持續深耕大模型領域,并于近期發布了“快意”大語言模型,在 CMMLU 中文向排名中,KwaiYii-13B 同時位列 five-shot 和 zero-shot 第一。
劉凌志指出,大模型在音視頻上的應用更加復雜。根據音視頻第一性的原理,音視頻主要是要解決清晰度、成本和流暢度三個問題,需要在這三者之間做到平衡。在此過程中,處在核心地位的就是視頻的壓縮和增強。
快手的大模型和視頻編解碼如何結合?劉凌志表示,在傳統生產和消費的過程中,生產端視頻首先經過編碼器產生碼流并傳送到消費端,消費端通過解碼器把視頻解碼出視頻展示出來。利用大模型來做視頻壓縮和增強,視頻通過理解網絡生成出高維特征,并傳輸Text和Prompt,這是一個非常小的信息量,用戶通過生成網絡大模型再把視頻恢復出來,這樣可以極大地減少傳輸成本,得到更好的效果。
在劉凌志看來,快手在大模型和視頻領域面對的挑戰歸根到底是大算力的挑戰,包括視頻算力挑戰和大模型算力挑戰兩個方面。
快手又是如何解決這兩大挑戰中的各類問題?劉凌志表示,快手構建了大規模的基礎設施,來支撐主站、電商、商業化、本地生活和海外在內的產品矩陣。快手核心技術包括音視頻、AI和數據中心三大類,每一類技術都需要十分龐大的基礎設施,比如千萬級別的CPU核、10萬級別的GPU和算力、10EB級別的數據存儲,帶寬需求也到了100TB規模。
為此,快手搭建了大模型架構體系。通過AI算力中心、平臺、數據等高性能、高并發、高算力的大基建,可以支撐快手多模態大模型,而多模態大模型通過生成或理解,可以支持快手的搜廣推、AIGC、增長或研發效能等大應用。
更進一步來看,快手AI大基建的數據已有日均數千萬的短視頻和數千萬小時的直播,一方面是傳輸給用戶,另一方面也是作為輸入持續不斷的輸送到大模型之中,不斷打磨大模型,達到更佳的效果。劉凌志強調,“更重要的是,我們在算力中心里面進行了比較深入的開發,這個深入開發最終體現在自研芯片SL200上。”
首款智能視頻處理芯片,SL200節省30%碼率,支持8K應用
作為快手StreamLake首款自研智能視頻處理芯片,快手SL200芯片具有非常優秀的視頻效果。提及該款芯片可以做哪些工作,劉凌志表示,SL200芯片首先是高質量、高密度的編解碼器。比如,把快手自研的算法固化到硬件中,作為一個硬件的視頻處理引擎;高質量的編碼器在同樣的質量下,可以節省30%的碼率,在同樣的帶寬下,可以提升相應的清晰度。依托SL200芯片,不僅自然場景視頻能夠獲得非常好的效果,較難處理的游戲、數字人等場景也會得到非常顯著的清晰度的提升。
同時,劉凌志指出,SL200也已實現了智能視頻的處理,這在未來視頻領域尤其重要,在同樣主觀質量下,可以繼續降低20%以上的帶寬。比如把感興趣的區域找出來,然后對它投入更多的帶寬,而對不感興趣的地方可以降低清晰度以平衡帶寬。傳統視頻的任務,如去模糊、降噪、去視頻效應等,除了可以用自己硬件的傳統算法來做,也可以用AI獲得更好的效果,并且可以二者在流水線上進行疊加獲得疊加的效果。SL200芯片在其他智能視頻應用中也展示優異性能,比如超分,可以實時的把一個小的幅面放大到4K/8K,或者是大的變小;在視頻內容識別和檢測應用中,SL200有較高的處理速度,準確率也是比較高的。
據悉,具備高質量、高性能、智能化特點的快手SL200,已達到行業領先的壓縮效率,客觀質量相比X265 medium可以節省30%碼率,單卡可以支持8K120幀/秒的處理或者8路4K60幀/秒的處理,內置智能畫質處理引擎,支持內容自適應編碼。
劉凌志認為,從芯片設計來看,進入到智能視頻時代,需要的是一個具有多種功能的SOC芯片。這就要求芯片不僅要有高質量高密度的編解碼器,還需要有能夠支持實時視頻處理的AI引擎。另外,為了支持未來視頻算法的迭代,需要有較強的可編程的能力,所以SL200集成了多核GPGPU和高性能多核CPU,RISC-V處理器,以及數據中心里面的功耗檢測、溫度檢測等功能,為了保護用戶的隱私也需要內嵌硬件安全模塊。
SL200芯片也獲得了業內高度認可,在今年7月舉辦的MSU2022世界編碼器大賽中,SL200一舉奪得4K和1080P賽道24項指標中的16項第一,在全部6個賽道中獲得5項“最佳ASIC編碼器”。
劉凌志透露,基于SL200芯片,快手自研了板卡、服務器,也與浪潮等合作開發了云服務器,同時搭建了算力中心,開發了全套自主軟硬件的生態系統,已經在快手部署了數萬片,并在各大公有云廠商進行測試。快手StreamLake持續通過成熟的技術賦能產業,并與浪潮等生態伙伴深入合作。
活動現場,快手StreamLake還圍繞芯片、快手智播等核心產品進行了重點展示,向現場嘉賓展示了產品的廣泛應用場景。
據悉,基于浪潮與快手StreamLake的深度合作,雙方將在硬件生態等領域攜手發展,布局算力未來。劉凌志表示,快手StreamLake希望通過卓越的技術能力,能夠更好地助力各行各業在智能視頻新時代、大模型新時代獲得成功。