作為2022年首屆“興智杯”全國(guó)人工智能創(chuàng)新應(yīng)用大賽創(chuàng)新專(zhuān)題賽的技術(shù)支持方,聯(lián)匯科技的自研多模態(tài)預(yù)訓(xùn)練大模型平臺(tái) OmVision Studio 與中科院紫東太初、百度文心成為本次大賽三大技術(shù)平臺(tái)。
針對(duì) OmVision Studio 平臺(tái)核心技術(shù)和場(chǎng)景化使用,聯(lián)匯科技首席科學(xué)家趙天成博士在興智杯活動(dòng)周首日應(yīng)邀進(jìn)行主題分享。重點(diǎn)解讀 OmModel 視覺(jué)語(yǔ)言大模型之于加速普及人工智能應(yīng)用的推動(dòng)作用,詳細(xì)介紹了聯(lián)匯自研視覺(jué)語(yǔ)言大模型 OmModel 和本次大賽平臺(tái) OmVision Studio 的架構(gòu)和使用,并為參賽選手提供了技術(shù)方向指導(dǎo)。
Q:如何滿(mǎn)足80%碎片化的場(chǎng)景需求?
隨著互聯(lián)網(wǎng)技術(shù)和視頻技術(shù)的飛速發(fā)展,大視頻時(shí)代到來(lái),視頻數(shù)據(jù)成為各個(gè)行業(yè)沉淀最多的數(shù)據(jù)類(lèi)型之一。數(shù)億的攝像頭、工業(yè)和商業(yè)環(huán)境下的智能機(jī)器人、超高清視頻和短視頻平臺(tái)等不同渠道中沉淀了海量視頻數(shù)據(jù),但其中真正能夠被企業(yè)、行業(yè)所挖掘和使用的數(shù)據(jù)占比只有10%-20%。
AI技術(shù)在視覺(jué)融合分析領(lǐng)域的利用率、普及率不高的重要原因之一是因?yàn)閭鹘y(tǒng)AI算法依賴(lài)于大量樣本和人工標(biāo)注,算法訓(xùn)練成本高、周期長(zhǎng)、需求響應(yīng)效率低,無(wú)法滿(mǎn)足在市場(chǎng)容量超80%的碎片化、個(gè)性化長(zhǎng)尾場(chǎng)景需求,對(duì)于企業(yè)而言,存在成本高、周期長(zhǎng)、效率低等問(wèn)題,很難滿(mǎn)足實(shí)際的使用需求,技術(shù)難以為產(chǎn)業(yè)智能化升級(jí)服務(wù)。
在面對(duì)各行各業(yè)數(shù)字化改革、智能化建設(shè)浪潮,如何讓人工智能成為企業(yè)的“通用能力”?真正幫助企業(yè)技術(shù)應(yīng)用難題,視覺(jué)語(yǔ)言預(yù)訓(xùn)練大模型為企業(yè)提供了高效的技術(shù)路徑。
Q:什么是“視覺(jué)語(yǔ)言預(yù)訓(xùn)練大模型”?
算法和算力的協(xié)同應(yīng)用是人工智能更好發(fā)揮認(rèn)知、理解能力的重要前提,而大模型則是算法、算力達(dá)到了一定高度后的“新物種”。
其中,“視覺(jué)語(yǔ)言預(yù)訓(xùn)練大模型”是將視覺(jué)模態(tài)和文本模態(tài)進(jìn)行深度對(duì)齊及轉(zhuǎn)換,計(jì)算機(jī)可以了解兩種模態(tài)下的信息關(guān)聯(lián),使圖片信息和文本信息實(shí)現(xiàn)雙向轉(zhuǎn)化,這是視覺(jué)語(yǔ)言大模型解決的核心問(wèn)題。
聯(lián)匯科技自研視覺(jué)語(yǔ)言大模型 OmModel ,將自然語(yǔ)言作為人類(lèi)知識(shí)載體,將自然語(yǔ)言和視覺(jué)打通,基于大規(guī)模的自監(jiān)督學(xué)習(xí),產(chǎn)生全新的視覺(jué)識(shí)別、認(rèn)知能力,實(shí)現(xiàn)語(yǔ)言模態(tài)和視覺(jué)模態(tài)之間的跨模態(tài)融合理解。
OmModel 擁有零樣本識(shí)別、小樣本調(diào)優(yōu)、長(zhǎng)尾識(shí)別、通用精準(zhǔn)四大核心優(yōu)勢(shì)。基于大規(guī)模自監(jiān)督學(xué)習(xí)技術(shù),OmModel 已經(jīng)具有強(qiáng)大的認(rèn)知理解能力,能夠?qū)崿F(xiàn)通用場(chǎng)景下的精準(zhǔn)識(shí)別,而對(duì)于企業(yè)大量的長(zhǎng)尾識(shí)別任務(wù),僅需要通過(guò)小樣本的標(biāo)注、學(xué)習(xí),就可以滿(mǎn)足大量碎片化的識(shí)別需求。
OmModel 還支持包括視覺(jué)問(wèn)答(VQA)、人物行為檢測(cè)(HOI)、語(yǔ)義指代(Grounding)、跨模態(tài)檢索(IR)、屬性識(shí)別(Attr)、開(kāi)放詞表目錄檢索(OVOD)等不同的響應(yīng)任務(wù),可以通過(guò)同一套網(wǎng)絡(luò)結(jié)構(gòu)、微調(diào)方式以及預(yù)訓(xùn)練參數(shù)完成視覺(jué)任務(wù)識(shí)別。
與同期大模型相比,OmModel 的優(yōu)勢(shì)非常顯著。
在具體應(yīng)用中,OmModel 可以完成各種視覺(jué)任務(wù)的視覺(jué),包括屬性、狀態(tài)、動(dòng)作等的識(shí)別,打破傳統(tǒng)標(biāo)注方式,可以通過(guò)自然語(yǔ)言定義任務(wù),實(shí)現(xiàn)按需識(shí)別。
Q:OmVision Studio:OmModel的能力外延
OmVision 提供零代碼的AI訓(xùn)練平臺(tái)服務(wù)、泛場(chǎng)景的算法資源服務(wù)以及低要求的AI技能培訓(xùn)服務(wù),企業(yè)可以通過(guò)很方便的方式獲得人工智能能力。
OmVision 由 OmVision Studio 算法模型工廠和 OmVision OS 視覺(jué)操作系統(tǒng)兩大支撐體系構(gòu)成。 OmVision Studio算法模型工廠是業(yè)界首個(gè)視覺(jué)2.0開(kāi)放SaaS平臺(tái)。提供預(yù)訓(xùn)練大模型的算法訓(xùn)練,讓普通工程師可以實(shí)現(xiàn)免代碼訓(xùn)練復(fù)雜算法,將算法訓(xùn)練門(mén)檻降到“0”,為企業(yè)客戶(hù)提供行業(yè)化、場(chǎng)景化的視覺(jué)識(shí)別技術(shù)能力。OmVision OS 視覺(jué)認(rèn)知操作系統(tǒng)實(shí)現(xiàn)多場(chǎng)景視覺(jué)算法協(xié)同識(shí)別。支持高并發(fā)視頻處理、自動(dòng)優(yōu)化協(xié)同算法、算法冷啟動(dòng)定義等個(gè)性化需求,讓每個(gè)攝像頭擁有聰慧的“大腦”,讓攝像頭根據(jù)場(chǎng)景進(jìn)行個(gè)性化協(xié)同預(yù)測(cè)。通過(guò) OmVision 用戶(hù)和企業(yè)可以通過(guò)可視化、低樣本的方式快速搭建,使大模型能力得到充分的發(fā)揮和應(yīng)用。
OmVision 平臺(tái)開(kāi)創(chuàng)了全新算法訓(xùn)練模式,利用預(yù)訓(xùn)練大模型強(qiáng)大的通識(shí)能力,提出算法聲場(chǎng)“三部曲”:“0樣本冷啟動(dòng)+小樣本訓(xùn)練+算法在線調(diào)優(yōu)迭代”的方式可用算法的應(yīng)用交付,重塑視覺(jué)算法的生產(chǎn)流程,更好地保證了每個(gè)算法在實(shí)際環(huán)境中的識(shí)別精準(zhǔn)度,產(chǎn)生真正可應(yīng)用、可交付的算法,實(shí)現(xiàn)技術(shù)在各行業(yè)的場(chǎng)景落地。
平臺(tái)打破傳統(tǒng)算法倉(cāng)的局限,實(shí)現(xiàn)基于預(yù)訓(xùn)練大模型的按需組裝的零件搭建模式,在底層由各類(lèi)應(yīng)用零件組成,在上層可以根據(jù)各種語(yǔ)義定義的方式,實(shí)現(xiàn)零樣本的數(shù)據(jù)啟動(dòng)和小樣本加強(qiáng),以快速生產(chǎn)算法應(yīng)用,解決響應(yīng)速度和使用成本的問(wèn)題。同時(shí),還可以實(shí)現(xiàn)多目標(biāo)及復(fù)雜行為的識(shí)別。
Q:如何使用OmVision Studio?
使用開(kāi)發(fā)流程主要包含“創(chuàng)建應(yīng)用”“應(yīng)用評(píng)估”“小樣本訓(xùn)練”“應(yīng)用部署”四大步驟。
●創(chuàng)建應(yīng)用
通過(guò)可視化應(yīng)用創(chuàng)建器,多模型的排列組合,構(gòu)建滿(mǎn)足多場(chǎng)景、碎片化場(chǎng)景的算法應(yīng)用;
●應(yīng)用評(píng)估
選擇要評(píng)估的應(yīng)用和測(cè)試數(shù)據(jù)集,評(píng)估任務(wù)基本信息、各標(biāo)簽指標(biāo)分?jǐn)?shù)、評(píng)估速度、樣本告警效果,生成評(píng)估報(bào)告;
●小樣本訓(xùn)練
當(dāng)缺乏應(yīng)用構(gòu)建“零件”或者交付上線效果和實(shí)驗(yàn)室差距較大時(shí),需要通過(guò)小樣本的標(biāo)準(zhǔn)訓(xùn)練增強(qiáng)識(shí)別精度;
●應(yīng)用部署
最終API等方式進(jìn)行調(diào)用、部署的方式,讓更多的下游應(yīng)用獲得完整的閉環(huán)系統(tǒng)。
OmVision真正實(shí)現(xiàn)機(jī)器視覺(jué)2.0的技術(shù)優(yōu)越性,包括響應(yīng)速度、識(shí)別精度的提升,以及使用成本的降低。
作為通用技術(shù),預(yù)訓(xùn)練大模型OmModel擁有的四大核心,即能力語(yǔ)義目標(biāo)識(shí)別、復(fù)雜行為識(shí)別、環(huán)境狀態(tài)識(shí)別以及內(nèi)容協(xié)同預(yù)測(cè),正在持續(xù)賦能千行百業(yè)場(chǎng)景落地,從城市安防到智慧校園、智慧工地、智慧社區(qū)等場(chǎng)景中具備了充分的技術(shù)應(yīng)用基礎(chǔ)。
