——且看深度賦智全自動(dòng)機(jī)器學(xué)習(xí)頂刊TPAMI論文
導(dǎo)讀：「深度賦智」首推以知識(shí)驅(qū)動(dòng)的全自動(dòng)機(jī)器學(xué)習(xí)架構(gòu)，應(yīng)用于2020四月結(jié)束的國際自動(dòng)機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)賽事 NeurIPS-AutoDL競(jìng)賽，并以壓倒性優(yōu)勢(shì)獲得世界冠軍，相關(guān)論文于近日被人工智能頂刊IEEE TPAMI接收。「深度賦智」已將該成果應(yīng)用于天機(jī)自動(dòng)機(jī)器學(xué)習(xí)平臺(tái)，致力于讓每家企業(yè)都具有開箱即用的AI能力。
作為國內(nèi)AI行業(yè)的頂尖團(tuán)隊(duì)，「深度賦智」一直專注于MetaAI技術(shù)的自主研發(fā)與落地。近日，「深度賦智」與廈門大學(xué)紀(jì)榮嶸教授聯(lián)合團(tuán)隊(duì)的研究成果“Evolving Fully Automated Machine Learning via Life-Long Knowledge Anchors”（基于知識(shí)錨點(diǎn)進(jìn)化的全自動(dòng)機(jī)器學(xué)習(xí)）被IEEE TPAMI錄用。TPAMI全稱Transactions on Pattern Analysis and Machine Intelligence，是人工智能，機(jī)器視覺，模式識(shí)別等多個(gè)領(lǐng)域的頂尖國際期刊，對(duì)原創(chuàng)性有很高要求，側(cè)重于發(fā)表能引領(lǐng)廣泛興趣的突破性前沿研究，并以嚴(yán)苛的審稿過程著稱，收錄論文數(shù)量十分有限（當(dāng)前影響因子17.861，在中國計(jì)算機(jī)學(xué)會(huì)認(rèn)定的人工智能領(lǐng)域四個(gè)A類期刊中排名第一）。
困局
深度學(xué)習(xí)讓機(jī)器可以從大量的數(shù)據(jù)中學(xué)習(xí)經(jīng)驗(yàn)并加以應(yīng)用，已經(jīng)在圖像分類，序列標(biāo)注等多個(gè)任務(wù)上取得了驚人的成果。但是，這一過程需要大量的人工干預(yù)，比如特征提取，模型選擇，參數(shù)調(diào)節(jié)等，既費(fèi)時(shí)又費(fèi)力。
所以專家們自然而然想到了引入自動(dòng)化讓機(jī)器自己“學(xué)習(xí)如何學(xué)習(xí)”。然而機(jī)器學(xué)習(xí)的自動(dòng)化離不開幾個(gè)關(guān)鍵難題：我們?cè)摻淌谑裁粗R(shí)和配備什么工具？在哪一部分實(shí)現(xiàn)自動(dòng)化？自動(dòng)化訓(xùn)練如何保證穩(wěn)定的效果？如何在最短時(shí)間內(nèi)找到又簡單又高效的方案？
論文指出，當(dāng)前的自動(dòng)機(jī)器學(xué)習(xí)多是在整個(gè)流程中的某個(gè)或某幾個(gè)獨(dú)立分段實(shí)現(xiàn)自動(dòng)化，這種“半自動(dòng)”讓搜索自然受限于“次優(yōu)”并導(dǎo)致最終結(jié)果的偏差。而且搜索空間往往“精心設(shè)計(jì)”，與自動(dòng)學(xué)習(xí)的初衷相違背，實(shí)際落地時(shí)也易出現(xiàn)過擬合的情況。自動(dòng)機(jī)器學(xué)習(xí)需要對(duì)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)更高層、更進(jìn)一步的理解。
破局
——論文提出的基于終身知識(shí)錨點(diǎn)的進(jìn)化算法
作者創(chuàng)新性地提出了一種新型的全自動(dòng)機(jī)器學(xué)習(xí)框架，首次打破了現(xiàn)有自動(dòng)機(jī)器學(xué)習(xí)中各搜索空間的獨(dú)立設(shè)計(jì)，并使用數(shù)據(jù)集知識(shí)錨點(diǎn)加進(jìn)化算法來加速搜索，解決了在超大空間搜索最優(yōu)方案的設(shè)計(jì)難題。
圖1 全自動(dòng)機(jī)器學(xué)習(xí)框架
承襲現(xiàn)有的終身學(xué)習(xí)與元學(xué)習(xí)思想，該框架中的知識(shí)錨點(diǎn)使用了全新的元特征和概率抽樣方法，極大減少了人工，緩解了搜索過程中的過擬合。該框架實(shí)現(xiàn)了全流程自動(dòng)化，極大降低了機(jī)器學(xué)習(xí)應(yīng)用門檻，用戶只需根據(jù)提示進(jìn)行“傻瓜式”操作，自助服務(wù)，時(shí)間成本低，即使不懂算法和代碼，也不是問題。
從實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，該框架在圖像/音頻/視頻/文本/表格五種模態(tài)的典型數(shù)據(jù)集上的效果都遠(yuǎn)超當(dāng)前SOTA方案，以下圖的圖像任務(wù)實(shí)驗(yàn)為例：
表1 提出的框架（左）和AutoCV2第一（右）的對(duì)比
消融實(shí)驗(yàn)也證明了知識(shí)錨點(diǎn)方法的有效性：
圖2 “各搜索方法+ 知識(shí)錨點(diǎn)”與原搜索方法的效果對(duì)比
使用該框架，「深度賦智」于2020年4月獲得國際自動(dòng)機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)賽事 NeurIPS-AutoDL系列競(jìng)賽總決賽世界冠軍，在圖像/音頻/視頻/文本/表格不同場(chǎng)景的十個(gè)數(shù)據(jù)集上穩(wěn)定獲得八項(xiàng)第一和均分第一，證明了該框架在不同場(chǎng)景的普適性。
圖3 競(jìng)賽得分情況
價(jià)值
——降低AI應(yīng)用門檻，助力企業(yè)走上智能化快車道
根據(jù)目前消息，「深度賦智」已將該成果應(yīng)用于其自研的天機(jī)自動(dòng)機(jī)器學(xué)習(xí)平臺(tái)，支持圖像/音頻/視頻/文本/表格模態(tài)的任務(wù)和多個(gè)復(fù)雜AI場(chǎng)景，并計(jì)劃向自動(dòng)學(xué)習(xí)中引入更多數(shù)據(jù)集知識(shí)，提升搜索效率。
圖4 搜索空間設(shè)計(jì)示意
天機(jī)自動(dòng)機(jī)器學(xué)習(xí)平臺(tái)是「深度賦智」產(chǎn)業(yè)智能化的前沿創(chuàng)新技術(shù)應(yīng)用之一，已為零售/鞋服、工業(yè)、交易平臺(tái)、金融等行業(yè)的多個(gè)頭部客戶提供了相應(yīng)服務(wù)。
在天機(jī)自動(dòng)機(jī)器學(xué)習(xí)平臺(tái)的幫助下，無需花費(fèi)高額的成本打造工程師團(tuán)隊(duì)，有效避免AI應(yīng)用成本高、周期長、效果難以保障等問題，降低時(shí)間成本和機(jī)會(huì)成本，助力企業(yè)走上智能化快車道，提升綜合競(jìng)爭力。
在使用體驗(yàn)上，用戶無需深入掌握數(shù)據(jù)知識(shí)，就能建立高質(zhì)量的人工智能模型；無需深入學(xué)習(xí)編程知識(shí)，就能建立整套生產(chǎn)級(jí)人工智能應(yīng)用，即使算法小白也能玩轉(zhuǎn)AI，實(shí)現(xiàn)事半功倍的效果。平臺(tái)從數(shù)據(jù)、模型、部署等多個(gè)方面進(jìn)行了打磨，內(nèi)含近百模塊組件，涉及內(nèi)容理解，計(jì)算機(jī)視覺，音頻分析和數(shù)據(jù)預(yù)測(cè)等多領(lǐng)域國內(nèi)頂尖方案，通過自動(dòng)機(jī)器學(xué)習(xí)技術(shù)進(jìn)行組件的銜接與調(diào)優(yōu)，將復(fù)雜方案定制的成本降低到1%，克服了傳統(tǒng)AI產(chǎn)品的落地周期長、效果迭代久、投入產(chǎn)出比低的瓶頸，為用戶實(shí)現(xiàn)了超過60%的人力成本節(jié)約和顯著的凈利率提升。
圖5 全自動(dòng)AI中臺(tái)=AI中臺(tái)+Full-AutoML
2021年1月，工信部印發(fā)《工業(yè)互聯(lián)網(wǎng)創(chuàng)新發(fā)展行動(dòng)計(jì)劃（2021-2023年）》指出，要進(jìn)一步完善新型基礎(chǔ)設(shè)施、彰顯融合應(yīng)用成效、提升技術(shù)創(chuàng)新能力、健全產(chǎn)業(yè)發(fā)展生態(tài)和增強(qiáng)安全保障能力。智能化制造和個(gè)性化定制等新模式新業(yè)態(tài)的廣泛普及是融合應(yīng)用成效的關(guān)鍵，智能化成為“新三年”的核心工作目標(biāo)。
人工智能行業(yè)即將迎來政策紅利大年，充滿新的產(chǎn)業(yè)圖景、新的機(jī)遇和挑戰(zhàn) 。目前「深度賦智」已經(jīng)匯聚了國內(nèi)外高校頂尖人才，行內(nèi)資深研究員、架構(gòu)師，以SaaS產(chǎn)品提供端到端AI服務(wù)，具有豐富的行業(yè)賦能經(jīng)驗(yàn)，在2B/2C領(lǐng)域均有千億級(jí)數(shù)據(jù)的復(fù)雜AI場(chǎng)景定制與落地案例。在未來一段時(shí)間，將會(huì)充分發(fā)揮自己豐富的算法資源、深度的技術(shù)合作支持、不斷完善的生態(tài)資源等優(yōu)勢(shì)，不斷完善MetaAI技術(shù)，持續(xù)建設(shè)全自動(dòng)機(jī)器學(xué)習(xí)平臺(tái)，與更多開發(fā)者、服務(wù)商一起面向終端客戶推出更多的AI解決方案。（來源網(wǎng)易）
