【ITBEAR】在具身智能領(lǐng)域，環(huán)境感知與理解能力被視為其核心競(jìng)爭(zhēng)力。特別是在Transformer架構(gòu)問(wèn)世后，視覺(jué)模型與其融合，經(jīng)歷了一場(chǎng)從“小模型到大型模型，從多任務(wù)到單一模型”的變革，顯著提升了全場(chǎng)景視覺(jué)感知能力，為技術(shù)的實(shí)際應(yīng)用開(kāi)辟了更廣闊的道路。
近日，IDEA研究院在深圳舉辦的2024 IDEA大會(huì)上，隆重發(fā)布了最新的DINO-X通用視覺(jué)大模型。該模型具備物體級(jí)別的理解能力，能夠無(wú)需人工提示，實(shí)現(xiàn)對(duì)開(kāi)放世界目標(biāo)的自動(dòng)檢測(cè)。同時(shí)，IDEA研究院還推出了行業(yè)平臺(tái)架構(gòu)，通過(guò)大模型基座與通用識(shí)別技術(shù)的結(jié)合，使得模型能夠在不重新訓(xùn)練的情況下，邊使用邊學(xué)習(xí)，滿(mǎn)足多種應(yīng)用需求。
IDEA研究院創(chuàng)院理事長(zhǎng)、美國(guó)國(guó)家工程院外籍院士沈向洋在會(huì)上表示，當(dāng)前具身智能正處于新一輪的落地浪潮中，技術(shù)路徑更加注重泛化性和現(xiàn)實(shí)場(chǎng)景的適應(yīng)性。為此，IDEA研究院宣布了三項(xiàng)重要合作：與騰訊合作，在深圳福田區(qū)及河套深港科技創(chuàng)新合作區(qū)建設(shè)福田實(shí)驗(yàn)室，專(zhuān)注于人居環(huán)境具身智能技術(shù)的研發(fā)；與美團(tuán)攜手，探索無(wú)人機(jī)視覺(jué)智能技術(shù)；與比亞迪合作，拓展工業(yè)化機(jī)器人的智能應(yīng)用。
傳統(tǒng)機(jī)器人在工廠(chǎng)制造、汽車(chē)生產(chǎn)車(chē)間、物流倉(cāng)儲(chǔ)等半結(jié)構(gòu)化領(lǐng)域中已有所應(yīng)用，但面對(duì)真實(shí)場(chǎng)景時(shí)，其認(rèn)知能力仍有待提升。IDEA研究院計(jì)算機(jī)視覺(jué)與機(jī)器人研究中心負(fù)責(zé)人張磊指出，不同類(lèi)型的機(jī)器人，如雙臂機(jī)器人和移動(dòng)機(jī)器人，在面對(duì)復(fù)雜環(huán)境時(shí)，需要更高的認(rèn)知與決策能力。特別是移動(dòng)機(jī)器人，在室外環(huán)境中，其面臨的挑戰(zhàn)與無(wú)人駕駛類(lèi)似，需要應(yīng)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化甚至非結(jié)構(gòu)化的道路環(huán)境。
AI大模型的引入，為機(jī)器人的認(rèn)知和決策能力帶來(lái)了顯著提升。騰訊Robotics X實(shí)驗(yàn)室智能體中心負(fù)責(zé)人韓磊認(rèn)為，語(yǔ)言是人類(lèi)知識(shí)和思維的高度抽象，而機(jī)器人則是通過(guò)第一人稱(chēng)視角來(lái)感知世界，因此，視覺(jué)理解是機(jī)器人首要的任務(wù)。
在圓桌討論《從視覺(jué)到行動(dòng)：具身智能的挑戰(zhàn)和機(jī)遇》中，與會(huì)專(zhuān)家一致認(rèn)為，多模態(tài)信息的加入，結(jié)合物理世界的認(rèn)知，可以顯著增強(qiáng)機(jī)器人對(duì)世界的理解角度。這對(duì)于機(jī)器人的運(yùn)動(dòng)控制、環(huán)境適應(yīng)以及任務(wù)執(zhí)行等方面都具有重要意義。
美團(tuán)副總裁兼無(wú)人機(jī)業(yè)務(wù)部負(fù)責(zé)人毛一年表示，機(jī)器人應(yīng)用的首要場(chǎng)景應(yīng)該是人類(lèi)的高風(fēng)險(xiǎn)任務(wù)，如上山巡檢、深海檢測(cè)、油田鉆井、高樓清潔等。通過(guò)從小場(chǎng)景切入，逐步擴(kuò)大應(yīng)用范圍，可以逐漸提升用戶(hù)對(duì)機(jī)器人的接受度和信任度。他強(qiáng)調(diào)，機(jī)器人的應(yīng)用需要確保安全穩(wěn)定，避免給用戶(hù)帶來(lái)不必要的麻煩或損失。
沈向洋院士在會(huì)上還指出，在技術(shù)大爆發(fā)的時(shí)期，對(duì)技術(shù)的深度理解尤為重要。深圳這座城市以其快速的迭代速度，不僅在硬件領(lǐng)域不斷創(chuàng)新，也在軟件領(lǐng)域取得了顯著成果。IDEA研究院除了與福田實(shí)驗(yàn)室合作外，還與前海深港合作區(qū)、深圳龍崗區(qū)、橫琴粵澳深度合作區(qū)等地建立了多個(gè)分支機(jī)構(gòu)，共同推動(dòng)技術(shù)創(chuàng)新和成果轉(zhuǎn)化。
在初創(chuàng)生態(tài)方面，IDEA研究院還孵化了一批生態(tài)企業(yè)，如識(shí)淵科技、AI玩伴機(jī)器人愛(ài)小伴、GPU加速電影工業(yè)渲染器Smaray慧光追等，這些企業(yè)在各自的領(lǐng)域內(nèi)取得了不俗的成績(jī)，為IDEA研究院的創(chuàng)新生態(tài)增添了新的活力。
