從PC時代,借助鼠標鍵盤與數字世界進行交互,到智能手機時代通過觸屏進行交互,人類一直在追求以更加自然的交互方式與數字世界進行交流。
但不管是PC時代,還是智能手機時代,人類與信息世界的交互都局限于方寸之間,都是二維的交互。隨著元宇宙時代的到來,人、物、場的關系被重置,數字世界與現實世界逐漸融合,人們該如何通過聽、說、看、推、拉、拖、拽等自然的動作,在三維的真實世界和數字世界中,在真人與虛擬人,在真實物體與虛擬物體之間進行自然的交互?交互方式的升級又將為交互設計及設備帶來怎樣的變革?
8月12日-8月15日,阿里巴巴U設計周(U Design Week,簡稱UDW)在杭州舉行。Rokid技術VP、XR中心負責人王俊杰 和 XR設計負責人張墨受邀出席,分享了對元宇宙時代全新交互設計變革的思考。
交互升級,AR眼鏡將成為下一代個人計算平臺
“個人電腦時代創造的鼠標、鍵盤和圖形界面(GUI)的交互方式,極大簡化了普通人的操作難度,讓電腦走進千家萬戶;智能手機的出現,又創造了觸屏和實體界面(TUI)的交互方式,讓人們可以在一塊屏幕上實現顯示和操作的融合。可以看到,伴隨著每一次交互升級,人們獲取信息的效率和體驗都得到了巨大的提升,而這也正是個人計算平臺升級的核心。”
圖:Rokid技術VP、XR中心負責人王俊杰
在王俊杰看來,PC和智能手機時代的交互都是二維的,局限于方寸之間;在元宇宙時代,交互將從二維走向三維,伴隨交互升維,AR眼鏡有望成為下一代個人計算平臺,與PC和智能手機共存。
“AR眼鏡擺脫了屏幕的限制,讓人們可以在真實世界和虛擬世界中,與數字信息進行三維交互。”對此,王俊杰從企業服務、文旅展陳、協同辦公、空間交互等場景進行了舉例和展示。
在企業服務場景,當下一線員工主要通過手機、Pad等設備進行信息化處理,雙手被操作設備占據。但通過AR眼鏡,員工實現雙手解放的同時還能從第一視角回傳現場畫面,獲得后臺專家的指導。通過虛實結合的三維交互方式,員工可以更精準地理解現場環境,讓效率和體驗都得到顯著增強。
在文旅展陳場景則是另一番景象。傳統的文旅展陳主要通過語音講解器或者現場導游輔助,很難給觀眾帶來更直觀生動的體驗。但通過AR眼鏡,就可以讓文物或展品生動地展現在眼前,結合三維交互,可以讓整個參展過程更加自然有趣。
在協同辦公領域,AR眼鏡讓用戶告別了手機、電腦等單屏幕設備只能通過窗口切換實現多個應用跳轉的辦公模式,能夠獲得便攜多屏、輕松協同的辦公體驗。
在空間互動場景,利用數字人驅動和空間同步技術,打破了當下電話或視頻溝通帶來的隔閡感和無秩序感,可以讓溝通與互動更沉浸、更有趣、更有臨場感。
從二維到三維,多模態交互方式讓虛實共舞
“三維交互從信息流的角度來看,主要包含感知、理解、協同、展現、數字資產等幾個模塊,具體到三維交互方式上,則包含了控制器射線、手勢識別、頭部追蹤、語音識別、全息現實、虛實結合、空間音頻、數字人驅動等。”王俊杰分享了對AR眼鏡如何支持人們進行三維交互的思考。
那么如何讓三維交互更加自然,更加符合人的下意識行為?張墨從用戶直觀感知的看、聽,以及交互方式上做了更具像化的展示。
圖:Rokid XR設計負責人張墨
“橫向左右30度是人眼可以看到文字等符號的范圍;左右62度是雙眼視野覆蓋的區域,這個區域內可以看到立體的畫面;62度到188度范圍是單眼視野區,看到的就是2D效果了。因此我們的UI交互設計也需要遵循這樣的信息從中心向兩邊擴散的排布規律。”
Rokid自研的多人在線協同應用MSpace就采用了這樣的交互設計理念。同時,在縱向深度排布上,Rokid 也做了設計探索和驗證。MSpace將信息分為個遠近不同的三個層級:信息層、操作層、協同層。協同層最遠,但與眼睛的距離保持在5米以內,以此保證最佳視覺效果最佳;工具欄的距離則保持在1.3米,能隨時隨地被用戶喚起進行操作;信息層距離人眼最近,用于做重要信息提示。
圖:多人在線協同應用MSpace多層交互設計
為了帶來更自然的感知,除了看,在聽這件事上也需要盡可能復刻現實世界中人類對聲音的感受。Rokid自研空間聲場技術讓這一交互方式得到了實現。通過空間聲場技術,可以在AR眼鏡中模擬聲源與人耳之間因空間位置變化、有無遮擋物等帶來的聲音強弱與方向的變化,從而讓AR眼鏡為用戶帶來更具臨場感的聽覺體驗。
在交互方式層面,張墨對未來發展進行了預判。“當下由于技術限制,交互方式還是以控制器為主,但未來手勢交互會成為主流,因為這是最自然的交互方式。而控制器則將被用在特殊場景,例如游戲。語音和其他交互方式將作為輔助能力存在。當然,隨著技術的發展也可能有別的方式出現,如眼球追蹤等,更遠的未來還有可能出現腦機交互。”
“Rokid面向未來設計的XR交互體驗將更加靈動、更加自由,戴上AR眼鏡后,只需‘一抬、一拉、一拽、一拖’,信息與應用界面隨心而動。”張墨表示。
時代向前,設計不止。交互設計正在從二維升級到三維,迎來真正的革新。為推動無限趨近于更自然的交互方式,Rokid將把三維交互能力融入自研操作系統YodaOS-XR中,搭載在豐富的AR眼鏡產品矩陣上,為開發者提供全面的開發套件、通用標準,共同構建AR生態內容,讓用戶更輕松無感地穿梭于現實世界和數字世界中。
2022年,阿里巴巴設計周正式更名為U設計周(U Design Week),全新升級的U設計周「不止于設計」,由阿里巴巴聯合騰訊、字節跳動、小紅書等多家行業頭部企業聯袂出品,用開放的心態探討設計,匯聚更多元行業和更多元內容,為大家呈現更多精彩。