一場由蘋果引發的空間計算時代革命，鐫刻在AR（增強現實）發展的里程碑上。由Vision Pro打造的沉浸式空間，正在為用戶帶來全新的人機交互體驗，比如：突破傳統顯示屏的限制，用戶瀏覽 app 時，只要輕松地看著它們、捏合手指來選擇，即可在空中任意拖拉點擊。
事實上，這也是Rokid一直探索的方向——將人、現實世界與虛擬世界的融合，更自然真實地結合在一起。
在今年3月的Rokid Open Day上，Rokid發布了全新一代自研AR空間操作系統——YodaOS-Master：基于Rokid Max Pro眼鏡，張開手掌，菜單立馬浮現在眼前。點擊圖標，便可進入應用，享受靈動隨心的空間多屏互動體驗。其中，業內首創基于單攝像頭即可實現SLAM及3D裸手交互等能力，這一全新的技術路線，發布即引發行業的關注與熱議。
今天，中國開發者最重要的年度盛典之一“2023年Unity技術開放日”首站在北京隆重舉行，Rokid出席本次活動。會上Rokid系統研發總工程師石文峰帶來了主題為《Rokid YodaOS-Master系統介紹及應用開發與落地》的演講，分享了這一備受關注的技術路線，以及Rokid最新的技術發展，與現場開發者們進行了深入的交流與探討。
Rokid全新一代自研空間AR系統
業內首創單攝SLAM技術
在今天的游戲論壇上，Rokid系統研發總工程師石文峰，結合多年豐富的AR行業技術研發經驗，向現場開發者們介紹了備受關注的YodaOS-Master系統，以及Rokid背后的技術思考。
圍繞感知、理解、交互、展現、協同和數字創作五個方面，YodaOS-Master從芯片優化、硬件設計、軟件架構、AR算法還有創作工具等諸多方面都做了巨大升級，或是目前最為完整的一套面向AR時代的空間操作系統。
基于Rokid Max Pro眼鏡，首創基于單攝像頭即可實現SLAM、3D裸手交互、第一視角分享、視覺定位VPS等能力，可以支持多任務運行、空間創作等AR體驗，給更輕量化、普惠的AR眼鏡帶來無限可能。
在YodaOS操作系統誕生之初，Rokid就秉持著一個觀點，通過YodaOS操作系統賦能開發者，釋放想像力，創造價值。
石文峰表示，“YodaOS-Master操作系統通過模塊化的方式，將Rokid語音識別、手勢識別、SLAM等在內的多項核心技術進行‘打包’處理，形成SDK供開發者高效開發，比如SDK for Unity，可以讓Unity開發者能夠快速使用Rokid核心技術進行開發。”
Rokid一直致力于更自然的AR交互體驗。相比于傳統的2D手勢識別，3D手勢識別更具有挑戰性。基于YodaOS-Master的底層系統能力，文峰老師重點談到了Rokid目前的單目3D手勢識別技術。
基于深度學習算法和大量實驗數據，Rokid自研的單目3D手勢算法能在移動端實時重建手部姿態參數，包括手部6DoF、手部關節點26DoF，以及Hand Mesh信息，為AR的手勢交互提供良好的算法基礎。
目前，Rokid的手勢識別在3D空間中可實現多種操作，包括點、捏、抓、握、拖、拉等等，完全可以滿足AR交互應用需求。例如，戴上Rokid Max Pro，伸出手，在眼前張開手掌即可呼出菜單。
值得一提的是，Rokid軟硬件于一體的AR空間體驗已在全國多個場景落地，包括全國首個基于AR眼鏡的元宇宙街區項目——杭州文三元宇宙AR數字生活街區、全國文旅行業內首個基于單目視覺SLAM的AR眼鏡導覽方案——敦煌AR智能導，以及釘釘攜手Rokid所打造的全國首個企業AR數字展廳等等。
若琪數字人+AIGC
多模態交互體驗全新升級
隨著AI時代的加速發展，人機交互方式的發展趨勢為多模態交互。單一的鍵盤交互、觸摸交互、語音交互等方式，已經不能滿足未來人們更深層次的需求。
試想，如果你想要邊聽音樂邊辦公的話，需要先通過語音或觸摸交互的方式喚醒音響，再通過鍵盤交互的方式打開辦公軟件。但如果你擁有一個“數字人”助手，一切變得簡單起來，只需一個指令，就可以同時完成這兩件事。
這也是Rokid做AI數字人的原因之一。石文峰表示，AI數字人技術可以串連系統所有的能力，包括語音助手AI數字人、SLAM、3D手勢、6DOF空間音頻等Rokid核心技術，從而為用戶帶來更豐富的人機交互體驗。
目前，Rokid所打造的“若琪”數字人已經全面接入AIGC，用戶可以隨時喚起“若琪”，和這位虛擬助手探討任何有趣的話題。
石文峰介紹，這背后采用的是AIGC多模態數字智能驅動的模式，通過ASR、NLP、TTS等自研算法技術，驅動“若琪”產生準確的面部表情、語音表達、肢體動作，并且表現得更真實、自然、流暢。
Rokid全方位賦能開發者
共同迎接下一個人機互交時代
觀影、游戲、辦公、教育等多種場景，隨著AR、MR等技術的趨向成熟，未來將有著無限的想像空間。多重生態內容的重新構建，亟待開發者們帶來更多突破與創新。
Unity技術開放日是中國開發者最重要的年度互動盛典之一，通過每年的若干場線下巡回活動，為創作者群體搭建技術交流平臺，傳達技術演進路徑，營建多元活躍的開發者社區氛圍，同時聆聽來自開發者的聲音，賦能實時3D技術的內容創新與應用延展。
Rokid作為AR行業領軍企業，參與共促行業繁榮。當天的活動中，Rokid除了帶去最新的技術分享演講，還在現場設置展臺區，帶來了包括Rokid最新AR產品與生態建設場景，供現場開發者們體驗，幫助他們更直觀地了解Rokid的最新技術與生態。
近年來，Rokid始終致力于賦能更多的開發者，打造了專門的AR開放平臺（ar.rokid.com），推出了“若琪空間站”開發者助力計劃，舉辦全球范圍的AR應用開發大賽等，激勵開發者共同參與生態共建，促進AR生態繁榮。
文峰介紹，Rokid為開發者們量身打造的“若琪空間站”開發者助力計劃，在硬件設備、算法能力、開發支持、市場推廣等方面全方位支持開發者。同時，Rokid聯合多個行業頭部企業與VC成立10億人民幣規模的生態智投聯盟，對優秀的開發者直接進行投資。
在大力扶持開發者的同時，Rokid成功舉辦了首屆全球AR應用開發大賽，為全球開發者頒出11項重磅大獎。今年5月，Rokid首屆高校XR內容創作大賽面向全國高校正式啟動，激發高校創新力量。
未來，Rokid愿攜手更多合作伙伴，一起加入AR生態構建中，打造開放共贏的生態體系，持續為行業賦能，推動AR行業加快發展，共同迎接下一個人機交互時代。
