元宇宙應(yīng)用對硬件提出更清晰的需求，將推動人機(jī)交互逐步升級
我們認(rèn)為 VR/AR/腦機(jī)接口是集合了微顯示、傳感器、芯片和算法等多項(xiàng)技術(shù)在內(nèi)的下一代 人機(jī)交互平臺。回顧整個人機(jī)交互發(fā)展歷程，我們看到人機(jī)交互的指令輸入形式和反饋輸 出形式都在朝著更低的操作門檻和更高的交互效率演變。當(dāng)前我們正站在智能手機(jī)時代和 下一個交互形態(tài)的交界處，我們認(rèn)為盡管 VR/AR 在輸入技術(shù)（傳感）和輸出技術(shù)（顯示） 方面均較上一代交互設(shè)備有顯著飛躍，但目前仍處于發(fā)展的早期階段。隨著元宇宙應(yīng)用的 發(fā)展和內(nèi)容生態(tài)的完善，元宇宙對硬件的需求逐步清晰，將推動 VR/AR/腦機(jī)接口設(shè)備的逐 步升級，最終有望出現(xiàn)可以和 PC、智能手機(jī)媲美的下一代硬件。
從人機(jī)交互發(fā)展史來看，當(dāng)前我們處在什么階段？
低操作門檻與高交互帶寬是人機(jī)交互平臺核心發(fā)展方向
我們梳理了人機(jī)交互不同發(fā)展階段下輸入和輸出形式的特征和演變趨勢，認(rèn)為兼具便捷操 作性和高交互帶寬的 AR/VR/腦機(jī)接口將有望引領(lǐng)下一代交互方式。人機(jī)交互主要是指人和 系統(tǒng)互相影響、互相作用的循環(huán)過程。具體而言，人類在接收并處理信息后通過行為輸出 指令，計(jì)算機(jī)接受指令后改變系統(tǒng)形態(tài)，再通過顯示輸出反饋信息并被人類感知，從而引 發(fā)人腦的信息處理和下一個人機(jī)交互過程。回顧人機(jī)交互發(fā)展歷程，過去的人機(jī)交互主要 經(jīng)歷了卡帶式交互、問答式交互和音視覺交互這三個階段，輸入和輸出形式持續(xù)向貼近人 類本能進(jìn)化。
從指令輸入形式的演變來看，在最早期的卡帶式交互階段，人們只能用穿孔卡向計(jì)算機(jī)單 向傳遞數(shù)字指令，指令單一且具有極高的使用門檻；隨著主機(jī)的出現(xiàn)，人類可通過鍵盤鍵 入命令語句來實(shí)現(xiàn)與計(jì)算機(jī)的問答（對應(yīng)命令行界面），雖然較上一代輸入設(shè)備提高了鍵入 效率，但仍要求操作者記住大量命令語言；隨著個人 PC 時代全面到來（對圖形用戶界面 GUI），通過使用鼠標(biāo)鍵盤組合，結(jié)合“點(diǎn)/敲擊、滾動、拖拽”等動作，操作者可輕易實(shí)現(xiàn) 快速切換和精準(zhǔn)定位，顯著降低了操作門檻；而在手機(jī)時代，實(shí)體按鍵的消失及音頻輸入、 觸摸屏的陸續(xù)出現(xiàn)則進(jìn)一步豐富了用戶輸入方式，簡化交互流程。我們看到人機(jī)交互的輸 入形式從用機(jī)器語言與機(jī)器交互，進(jìn)化到了用自然語言與機(jī)器交互。
從反饋輸入形式的角度，人機(jī)交互經(jīng)歷“命令行界面（CLI）-圖形用戶界面（GUI）-自然 用戶界面（NUI）”的更迭過程，對應(yīng)視覺輸出內(nèi)容從單調(diào)的一維語句到二維圖形，最終有 望以三維空間物體的形式呈現(xiàn)，同時輔以聲學(xué)設(shè)備強(qiáng)化聽覺輸出效果。此外輸出設(shè)備也從 大型主機(jī)、臺式屏顯，演變至筆記本電腦、手機(jī)甚至微型投影，逐步走向可移動化。
元宇宙來臨，有望帶動 VR/AR/腦機(jī)接口蓬勃發(fā)展
我們認(rèn)為 VR/AR/腦機(jī)接口將是下一個交互時代的代表性操作平臺，主要因?yàn)槠涓叨确陷?入和輸出形式上的演變趨勢。輸入角度，VR/AR 消除以往的實(shí)體按鍵，主要結(jié)合了手勢輸 入、眼動追蹤、面部表情識別以及語音操控，而腦機(jī)接口則由肌電輸入進(jìn)一步轉(zhuǎn)變?yōu)槟X電 輸入；輸出角度，VR 將為用戶構(gòu)建一個融合視覺、聽覺、觸覺等多維感官體驗(yàn)的移動虛擬 空間，AR 則將其與現(xiàn)實(shí)空間疊加，充分實(shí)現(xiàn)虛實(shí)融合。
初期的 VR/AR 概念分別在上世紀(jì) 50-60 年代先后提出，之后 20 年內(nèi)經(jīng)歷了漫長的實(shí)驗(yàn)室 開發(fā)和 B 端商用探索，波動上升中產(chǎn)品形態(tài)不斷向輕量化、小型化、深度沉浸迭代。2010 年以后，隨著互聯(lián)網(wǎng)和智能手機(jī)終端的逐步成熟和消費(fèi)端持續(xù)滲透，ARVR 應(yīng)用開始 C 端 落地的探索。進(jìn)入 21 世紀(jì)的第二個十年，元宇宙被預(yù)言將成為互聯(lián)網(wǎng)的下一個形態(tài)，而 ARVR 也被寄希望成為元宇宙中全新的人機(jī)交互平臺。
Qculus quest 2 帶動 VR 出貨量首次達(dá)千萬。2020 年 9 月 Oculus quest 2 推出后迅速成 為爆款，持續(xù)銷售火熱。2021 年在這款 VR 產(chǎn)品的推動下，VR 銷售量近 1000 萬臺，達(dá)歷 史新高，其設(shè)計(jì)范式也為國內(nèi)廠家競相模仿。未來，我們看到隨著應(yīng)用生態(tài)的持續(xù)成熟， 相應(yīng)的對 VR 硬件也提出了升級要求。我們認(rèn)為下一代的顯示單元的清晰度或?qū)哪壳暗?4K 提升到 8K，重量也將從近 500g 下降到 300g 左右，同時目鏡厚度將降至目前的 1/3， 也將搭載更多傳感器，實(shí)現(xiàn)眼動追蹤、手勢追蹤等更多的交互方式。
AR 技術(shù)路徑繁多，micro-LED+衍射光波導(dǎo)被寄予厚望，但短期難出現(xiàn)成熟產(chǎn)品。現(xiàn)階段 AR 仍處于探索期，從出貨量來看，2020 年至 2021 年均維持在 20-30 萬件之間（IDC 數(shù)據(jù)）； 從產(chǎn)品形態(tài)來看，目前仍然以大廠為主導(dǎo)，以一體機(jī)產(chǎn)品為主流；從技術(shù)來看，目前路徑 繁多，但均存在性能、良率、體積等問題。micro-LED+衍射光波導(dǎo)被認(rèn)為是最有望實(shí)現(xiàn)大 規(guī)模商用的 AR 光學(xué)系統(tǒng)，但由于 micro-LED 在巨量轉(zhuǎn)移等仍存在技術(shù)問題，短期或難以 實(shí)現(xiàn)大規(guī)模商用。
元宇宙應(yīng)用場景依次落地，或?qū)⒍x下一代 VR/AR/腦機(jī)接口升級方向
我們認(rèn)為隨著元宇宙應(yīng)用場景的清晰化，未來 VR/AR/腦機(jī)接口的發(fā)展方向逐漸明確。早期 的硬件設(shè)備受制于應(yīng)用場景和內(nèi)容單一化、用戶對硬件設(shè)備的體驗(yàn)不完善等缺陷，初代 VR/AR 并未實(shí)現(xiàn)大規(guī)模增長。當(dāng)前時點(diǎn)，我們看到游戲、電商、協(xié)同辦公、社交、健身、 醫(yī)療、視頻和模擬訓(xùn)練（教育）等元宇宙應(yīng)用場景正逐漸清晰，這對 VR/AR/腦機(jī)接口硬件 端提出了更高的需求，有望驅(qū)動包括微顯示技術(shù)、三維重建、生物傳感器、肌電/腦電處理、 全身追蹤、空間定位在內(nèi)的多項(xiàng)底層技術(shù)不斷完善。
元宇宙時代的應(yīng)用比移動互聯(lián)網(wǎng)時代更強(qiáng)調(diào)沉浸感和交互感，不同應(yīng)用對兩種效果的側(cè)重 各有不同。其中，沉浸感可通過更豐富的音畫效果和更多維度的感官交互獲得，例如借助 場景渲染、沉浸聲場、溫度模擬、觸覺傳感等技術(shù)營造出逼真的虛擬場景，使大腦產(chǎn)生“身 臨其境”的感覺；交互感則需借助多樣化的輸入方式來降低人機(jī)交互的操作門檻，例如直 接通過識別語音或讀取手勢來傳達(dá)指令，無需打字或操作鍵鼠/按鈕，增強(qiáng)互動效率。 我們認(rèn)為根據(jù)不同應(yīng)用對沉浸感和交互感的要求高低，可以將其分為三個層次：
1) 漸成熟：視頻和模擬訓(xùn)練（教育）。其中模擬訓(xùn)練（教育）包括安全教育、公共安 全演練、思政教育等等，對沉浸感和交互感要求最低，目前已有商業(yè)化案例；而視 頻領(lǐng)域?qū)Τ两械囊笙鄬Ω撸捎诹髅襟w平臺內(nèi)容生態(tài)已經(jīng)較為完善，隨著 VR 配套硬件向 C 端滲透，我們認(rèn)為視頻將是率先成熟的領(lǐng)域之一。
2) 發(fā)展中：電商、社交、游戲、辦公、健身。其中電商與游戲更側(cè)重于追求沉浸感， 而社交和協(xié)同辦公對交互感的要求更高。
3) 萌芽期：醫(yī)療，具體包括疾病監(jiān)測、輔助微創(chuàng)手術(shù)、信號讀取、刺激干涉和仿生等。 疾病監(jiān)測隨著 ECG 心電圖、血糖、血氧等生物傳感技術(shù)的成熟有望加速落地，而 輔助手術(shù)、刺激干涉和仿生等領(lǐng)域?qū)斎牒洼敵龅木_度要求極高，相關(guān)企業(yè)及醫(yī) 療機(jī)構(gòu)仍在探索中。
游戲：強(qiáng)調(diào)“沉浸感”的元宇宙游戲需要多平臺/VRAR/云原生技術(shù)作為底層技術(shù)支撐
當(dāng)前游戲已具備元宇宙所擁有的虛擬身份、朋友、經(jīng)濟(jì)系統(tǒng)等特點(diǎn)，但未能給玩家完全帶 來“沉浸感”，硬件方面主要受制于近眼顯示和多維感官傳感技術(shù)不夠成熟。未來，元宇宙 游戲?qū)⒊鼜?qiáng)的沉浸感與更豐富的內(nèi)容生態(tài)方向發(fā)展，需要借助成熟的場景渲染和沉浸聲 場技術(shù)增強(qiáng)聲畫效果，借助全身運(yùn)動追蹤、傳感器、空間定位等技術(shù)增強(qiáng)臨場感。我們認(rèn)為 優(yōu)質(zhì)的游戲內(nèi)容創(chuàng)新將與 VR/AR 硬件升級互相形成正反饋效應(yīng)，促進(jìn)元宇宙游戲生態(tài)的發(fā)展， 并為高性能計(jì)算芯片、硅基 OLED、Micro LED 以及相關(guān)設(shè)備組裝企業(yè)帶來增量空間。
電商：虛實(shí)交融的沉浸式購物模式為近眼顯示、AI 芯片、傳感器帶來發(fā)展機(jī)遇
傳統(tǒng)電商平臺仍主要以圖片和視頻等平面化形式展示商品。盡管近年來電商直播、AR 試妝 等形式興起，一定程度上彌補(bǔ)了傳統(tǒng)電商在購物時較為單薄的觀感體驗(yàn)，然而對于服飾等 SKU 豐富的非標(biāo)品類商品，用戶仍然無法對其進(jìn)行在線試品。在“在線即在場”的終極需 求驅(qū)動下，元宇宙時代的電商有望進(jìn)一步突破物質(zhì)世界屏障，通過 AR/VR/MR 等新一代人 機(jī)交互平臺實(shí)現(xiàn)視聽甚至觸覺等多感官交互的購物體驗(yàn)，創(chuàng)造如 3D 虛擬商場、數(shù)字展館等 消費(fèi)者購買場景。我們認(rèn)為這一進(jìn)程主要依賴于近眼顯示、三維重建、觸覺傳感乃至虛擬 人等技術(shù)的成熟，將為相關(guān)微顯示、傳感器、芯片企業(yè)帶來增長空間。
協(xié)同辦公/社交：借助手勢追蹤、語音識別、眼動追蹤、虛擬化身實(shí)現(xiàn)互動感
未來元宇宙辦公/社交有望突破物理空間的局限，將帶來最接近實(shí)地面對面的工作和交友體 驗(yàn)，提升辦公生產(chǎn)、溝通、協(xié)作效率。當(dāng)前移動互聯(lián)網(wǎng)階段的遠(yuǎn)程辦公距離理想模式有一 定差距，工作效率與溝通效果仍存在局限性。而元宇宙辦公/社交則強(qiáng)調(diào)互動感，例如，用 戶可以全程通過手勢操作，即可滿足在 VR 虛擬空間中舉手、豎大拇指點(diǎn)贊等功能，顯著降 低人機(jī)交互平臺操作門檻，同時實(shí)現(xiàn)無距離感互動。這一場景的實(shí)現(xiàn)將主要借助手勢讀取、 眼動追蹤、語音識別、空間定位等 VR/AR 底層技術(shù)。
醫(yī)療與健康：VR/AR/腦機(jī)硬件將搭載先進(jìn)生物監(jiān)測以及腦電信號處理技術(shù)
在 VR/AR 方面，盡管目前已出現(xiàn)了拳擊、攀巖、球類運(yùn)動等輔助健身的應(yīng)用，欠佳的硬件 佩戴體驗(yàn)卻限制了用戶使用時長。一方面，VR 設(shè)備的眩暈感仍未完全消除，運(yùn)動健身應(yīng)用 中高速變換的場景將進(jìn)一步加劇不適感；另一方面，目前主流 VR 頭顯的重量大多在 300g 以上，VR 一體機(jī)甚至普遍超過 500g，大大增加了佩戴者運(yùn)動時的負(fù)擔(dān)。因此，顯示技術(shù) 和輕薄化是硬件廠商重點(diǎn)攻克的方向，我們看好具有超輕薄、高清晰度、低功耗、低延遲 等特點(diǎn)的硅基 OLED（索尼、視涯等），以及具有無感佩戴且不妨礙正常視線優(yōu)勢的入眼式 AR 設(shè)備（InWith 和 Mojo Vision 等）的發(fā)展機(jī)會。
在生物監(jiān)測方面，當(dāng)前隨著心率監(jiān)測、血氧檢測技術(shù)的成熟，已有部分智能手環(huán)和手表產(chǎn) 品中引入了醫(yī)療級功能，我們認(rèn)為向著更專業(yè)的醫(yī)療設(shè)備進(jìn)化將是智能穿戴重要發(fā)展方向。 未來，智能穿戴產(chǎn)品有望大規(guī)模搭載 ECG 心電圖以及無創(chuàng)血糖檢測等新功能，針對老年群 體、慢病群體提供更專業(yè)的服務(wù)，這也對血糖、血氧等生物監(jiān)測技術(shù)提出了更高的要求。 長期來看，人機(jī)交互硬件在醫(yī)療與健康領(lǐng)域有望拓展到服務(wù)神經(jīng)系統(tǒng)和肌肉系統(tǒng)癱瘓的患 者（如腦、脊髓疾病、中風(fēng)、外傷等），這一需求將為腦機(jī)接口技術(shù)創(chuàng)造可觀的發(fā)展前景。
視頻：VR/AR 技術(shù)帶來高沉浸感的流媒體觀賞體驗(yàn)
傳統(tǒng)影視作品、長視頻與短視頻仍主要通過電視、影院、視頻平臺等媒介傳播，受制于平 面化的表現(xiàn)形式，內(nèi)容的表現(xiàn)力仍有較大提升空間。元宇宙時代，觀眾有望使用先進(jìn) VR/AR 設(shè)備更沉浸地觀看電影、現(xiàn)場實(shí)況、音樂會等內(nèi)容，娛樂性與體驗(yàn)感將迎來質(zhì)的飛躍。目 前包括.NETflix 和愛奇藝在內(nèi)的長視頻平臺已對“元宇宙+視頻”的落地做出了積極探索，例 如 Netflix 為美劇《怪奇物語》推出 VR 體驗(yàn)，愛奇藝推出主打觀影功能的手機(jī)盒子。借鑒 移動互聯(lián)網(wǎng)時代對短視頻生態(tài)的孵化歷程，元宇宙作為互聯(lián)網(wǎng)的下一站，也為視頻創(chuàng)作提 供了新的可能性，例如通過建模、動作捕捉、人工智能制作出的虛擬人物能夠參演影視劇 集，影視與視頻內(nèi)容創(chuàng)作有望迎來新的高光期。
模擬訓(xùn)練/教育：將實(shí)現(xiàn)虛擬空間中對實(shí)體環(huán)境的仿真映射
模擬訓(xùn)練是指將現(xiàn)實(shí)中的場景復(fù)刻到虛擬世界中，應(yīng)用于軍事訓(xùn)練、工業(yè)設(shè)計(jì)、教學(xué)訓(xùn)練、 安全應(yīng)急演練等較為復(fù)雜或具有高危險系數(shù)的領(lǐng)域。工業(yè)領(lǐng)域中，制造業(yè)企業(yè)將在仿真虛 擬空間中充分利用各類數(shù)據(jù)，優(yōu)化工業(yè)生產(chǎn)環(huán)節(jié)中的設(shè)備工藝和作業(yè)流程。軍事和安全應(yīng) 急領(lǐng)域均有進(jìn)行模擬演練的需求，未來有望在虛擬場景開展更大規(guī)模和更復(fù)雜的軍事和應(yīng) 急訓(xùn)練，實(shí)現(xiàn)節(jié)省訓(xùn)練成本、提高安全性的目的，如曼恒科技研發(fā)出上海浦東機(jī)場的 VR 火 災(zāi)應(yīng)急演練系統(tǒng)，使用 VR 和 5G 云渲染技術(shù)模擬機(jī)場火災(zāi)突發(fā)事件及機(jī)場消防員在危險場 景下如何開展消防應(yīng)急救援，幫助提升機(jī)場系統(tǒng)整體應(yīng)急能力。鑒于模擬訓(xùn)練用途的特殊 性，其對沉浸感和交互感的要求相對而言較低，無需依賴高端硬件設(shè)備加成，目前已有曼 恒科技、壹傳誠等企業(yè)實(shí)現(xiàn)了商業(yè)化。
2 AR/VR：下一代人機(jī)交互平臺
VR：Oculus quest 2 打造爆款范式，技術(shù)創(chuàng)新路徑清晰
VR 是 Virtual Reality（虛擬現(xiàn)實(shí)）的縮寫，指計(jì)算機(jī)圖形技術(shù)、計(jì)算機(jī)仿真技術(shù)、傳感器 技術(shù)、顯示技術(shù)等多種科學(xué)技術(shù)，在多維信息空間上創(chuàng)建一個虛擬信息環(huán)境，提供使用者 關(guān)于視覺、聽覺、觸覺等感官的模擬，能使用戶具有身臨其境的沉浸感，具有與環(huán)境完善 的交互作用能力的一種嶄新的人機(jī)交互手段。
目前常見的 VR 由頭戴式顯示設(shè)備和手柄組成。其中，頭戴式顯示設(shè)備集成了顯示、計(jì)算、 傳感器等設(shè)備，通過將人對外界視覺、聽覺的封閉，并由左右眼屏幕分別顯示左右眼的圖 像，引導(dǎo)用戶產(chǎn)生一種身在虛擬環(huán)境中的立體感。而手柄則負(fù)責(zé)輔助追蹤使用者手的位置、 提供交互使用的按鍵，以及簡單的觸覺震動反饋。
VR 頭顯經(jīng)歷 VR 盒子、VR 頭盔、VR 一體機(jī)三階段，爆款產(chǎn)品持續(xù)主導(dǎo)硬件消費(fèi)市場。 2Q21 全球 VR 產(chǎn)品出貨量達(dá) 212.6 萬臺，同比增長 136.4%，其中 Oculus Quest 2 出貨量 占 75%，持續(xù)主導(dǎo)市場。從 2014 年開始，行業(yè)銷量由爆款產(chǎn)品主導(dǎo)的特點(diǎn)仍然沒有變化 （2015-2017 年三星 VR 盒子、2016-2018 年 PS VR、2019 年至今 Oculus 一體機(jī)）。
1） 三星 Gear VR：VR 盒子時代的主流產(chǎn)品。三星與 Oculus 合作打造，推出時與 Galaxy 系列進(jìn)行了捆綁營銷，2016 年年銷量達(dá)到最高，近 400 萬臺。使用方法是 將手機(jī)放在 VR 盒子前，使用專用 App 進(jìn)行觀影。但因發(fā)熱、暈眩等問題，事實(shí) 上體驗(yàn)并不優(yōu)秀。
2） PS VR：VR 頭盔時代銷量第一。事實(shí)上 VR 頭盔時代 HTC/Valve 等產(chǎn)品性能比 PS VR 更加優(yōu)秀，但主要偏向商用，價格高昂，出貨量較低。而 PS VR 價格相對 較低，且與 PS 4 進(jìn)行了捆綁營銷，年銷量在 100-200 萬臺之間。
3） Oculus quest 2：VR 一體機(jī)爆款。為一大批其他 VR 品牌打下產(chǎn)品樣板。
Oculus Quest 2 是一款充滿妥協(xié)藝術(shù)的產(chǎn)品，成本、硬件性能、消費(fèi)者體驗(yàn)等多方向平衡 下，實(shí)現(xiàn) VR 產(chǎn)品基本功能設(shè)想。
與 VR 頭盔相比，我們認(rèn)為 Quest 能夠成功的原因包括以下幾點(diǎn)：
1） 盡管會加大設(shè)備的重量（電池+芯片），但也省去了用戶花近 10000 元購買 PC 主 機(jī)的成本，降低了用戶的進(jìn)入門檻。 2） 去除了與主機(jī)相連的連接線，提升了用戶的移動空間和使用場景，用戶不再需要一個 獨(dú)立的空間并且配備主機(jī)，而只需要在室內(nèi)任意閑置空間即可使用。 3） 在追蹤方式上，摒棄了傳統(tǒng)的采用的 outside-in 方式，因而不需要外部立發(fā)射接收 器。轉(zhuǎn)而采取基于攝像頭的 inside-out 方式，實(shí)現(xiàn) 6DoF 頭、手追蹤。 4） 當(dāng)遇到芯片算力不足的情況，Quest 2 同樣支持串流模式，可以作為 PCVR 使用， 也滿足了消費(fèi)者對于高渲染 3A 大作的需求。
與 Quest 1 等前代一體機(jī)對比：
1） 與 Oculus quest 1 相比，第二代產(chǎn)品將 OLED 換為 Fast-LCD 屏幕，將外觀設(shè)計(jì)簡化， 縮減了成本。 2） 將芯片從驍龍 835 升級到 XR2，提升了處理器、顯示、影像和 AI 性能。改變后產(chǎn)品刷 新率顯著提高，分辨率有所改善，眩暈問題得到極大改善，基本實(shí)現(xiàn)一款入門級 VR 產(chǎn) 品的設(shè)想。
當(dāng)前 VR 硬件組成與智能手機(jī)供應(yīng)鏈高度重合：通過 Ifixit 的拆機(jī)我們看到 Oculus quest 2 頭顯主要零部件包括顯示、光學(xué)透鏡、傳感器、主板、電池產(chǎn)品：
1) 顯示模塊主要使用 Fast-LCD 顯示屏，接近 4K 分辨率，并具備 90-120Hz 刷新率； 2) 光學(xué)使用軟件預(yù)處理搭配菲涅爾透鏡提供寬視場、失真色差少的正確圖像； 3) 傳感器：包括四顆攝像頭，用于追蹤頭部、手部運(yùn)動以及顯示灰白透視畫面； 4) 主板：包括高通的 SoC 芯片 XR2、電源管理芯片，DRAM（三星、鎂光、海力士）、 NAND（Sandisk）、wifi 等芯片； 5) 電源：3640mAh。
2022 年 VR 將迎來一波創(chuàng)新技術(shù)潮流， MetaVR 產(chǎn)品迎來升級，蘋果推出高端產(chǎn)品。根據(jù) digitimes，我們推測 Meta 下一代 VR 升級產(chǎn)品將于明年推出，將引入 pancake 光學(xué)模組和 更多傳感器，以實(shí)現(xiàn)產(chǎn)品輕量化，并升級手勢識別、眼動跟蹤等功能；而蘋果也將在 2022 年底推出一款高端 VR 方案，這款高端產(chǎn)品能夠會重新定義 VR 這個產(chǎn)品形態(tài)。我們預(yù)計(jì)這 款產(chǎn)品將配備 Micro-OLED 顯示屏，復(fù)合菲涅爾透鏡 pancake 方案，全彩影像透視、搭載 更多傳感器，為消費(fèi)者帶來全新混合現(xiàn)實(shí)體驗(yàn)。
Pancake 短焦光學(xué)是公認(rèn)的下一代 VR 升級方向，使 VR 頭顯更加輕薄。在 Meta 較早的 pancake 技術(shù)專利中，我們可以看見一個顯示組件包括具有四分之一波片和部分反射表面 的第一透鏡、具有反射偏振器的第二透鏡和顯示器，實(shí)現(xiàn)頭顯的輕薄化。我們認(rèn)為，蘋果 同樣在探索使用三個菲涅爾透鏡堆疊，形成輕薄透鏡組的方案。改進(jìn)光學(xué)透鏡后的 VR 產(chǎn)品 將實(shí)現(xiàn)輕薄化，頭顯重量或由原來的 500g 降低至 200-300g。
Meta 攝像頭數(shù)量或提升，充分利用驍龍 XR2 芯片算力。我們認(rèn)為 Meta 下一代 VR 產(chǎn)品與 蘋果 MR 產(chǎn)品將會增加傳感器，主要是攝像頭的種類與數(shù)量。高通在其官網(wǎng)上披露，高通 驍龍 XR2 芯片算力最多可支持 7 顆攝像頭（2 顆眼動追蹤，2 顆混合現(xiàn)實(shí)，2 顆頭部 6DoF 追蹤，1 顆其他），并可以此實(shí)現(xiàn) MR 混合現(xiàn)實(shí)功能。我們認(rèn)為 Meta 下一代或充分利用驍 龍 XR2 算力，為產(chǎn)品進(jìn)行功能升級。
顯示實(shí)現(xiàn)方法：Meta 或沿用 Fast-LCD 顯示屏幕，而蘋果或使用 Micro-OLED，提供升級 視覺體驗(yàn)。我們認(rèn)為 Meta 下一代或沿用 FastLCD 屏幕，與 quest 2 分辨率差別不大，但 具有像素級控制的先進(jìn)背光，可以展示和 OLED 一樣的純黑底色；而蘋果或使用高分辨率、 高對比度、寬色域、快速響應(yīng)的 Micro-OLED 顯示屏，隨之而來的或是高昂的售價，新一代蘋果 MR 產(chǎn)品售價可能達(dá)到 1500-3000 美元，高于當(dāng)前 Oculus quest 2 的最低售價 299 美元。
AR：產(chǎn)品處于概念期，Micro-LED + 衍射光波導(dǎo)技術(shù)突破被寄予厚望
AR（Augmented Reality，增強(qiáng)現(xiàn)實(shí)）是促使真實(shí)世界信息和虛擬世界信息內(nèi)容之間綜合在 一起的較新的技術(shù)內(nèi)容，與 VR 不同的是，AR 能夠?qū)⒄鎸?shí)環(huán)境和虛擬物體之間重疊之后， 在同一個畫面以及空間中同時存在。AR 中的關(guān)鍵技術(shù)包括跟蹤定位技術(shù)、虛擬與現(xiàn)實(shí)合并 技術(shù)、顯示技術(shù)與交互技術(shù)。
目前 AR 眼鏡也可以分為一體式和分體式，從出貨量看當(dāng)前一體式為主流。分體式指計(jì)算 單元或電池等結(jié)構(gòu)與頭顯分開，如 Nreal 頭顯支持通過 type-C 接口與智能手機(jī)、PC 連接， 允許將智能手機(jī)中、PC 的內(nèi)容無縫傳輸?shù)窖坨R中，用戶可以在其中查看內(nèi)容。而一體式 AR 產(chǎn)品則將顯示器、傳感器、計(jì)算、人類理解、環(huán)境理解等系統(tǒng)集成在一個頭顯上，提供 更便捷體驗(yàn)。
AR 銷量較小，增速波動明顯，仍處于概念期。根據(jù) IDC，2020-2021 年 AR 年出貨（不含 Screenless viewer）在 20-30 萬之間，增速波動大。從品牌來看，除 Epson 和微軟外，其 他較多品牌并沒有實(shí)現(xiàn) AR 的持續(xù)大規(guī)模銷售，常常在 1-2 個季度的爆發(fā)后銷聲匿跡，消費(fèi) 端市場上沒能出現(xiàn)標(biāo)桿性的品牌，我們認(rèn)為 AR 作為一款消費(fèi)電子產(chǎn)品仍然處于概念期階段。
長期看 AR 增量潛力更大，C 端市場仍在等待成熟技術(shù)方案。我們認(rèn)為長期來看 AR 終端有 望替代手機(jī)，實(shí)現(xiàn)年出貨量超過 10 億臺（對比手機(jī)出貨量超過 13 億臺），但目前來看實(shí)現(xiàn) 這個目標(biāo)時日尚早。從應(yīng)用看，AR 產(chǎn)品仍未出現(xiàn)殺手級的應(yīng)用場景。從技術(shù)角度看，雖然 OLED+Birdbath 方案已經(jīng)比較成熟，但因透光性差等原因，形似墨鏡的設(shè)計(jì)不能支持全環(huán) 境的使用。而其他微顯示系統(tǒng)如 LBS/LCoS/DLP 等搭配光波導(dǎo)的方案仍在探索過程中。
從需求講起：一款合格 AR 眼鏡需要怎樣的配置
顯示：微顯示單元與光機(jī)模組決定亮度、對比度、刷新率、分辨率等指標(biāo)。目前市場上 AR 眼鏡的近眼顯示系統(tǒng)即使用微顯示器作為圖像源器件，由其產(chǎn)生圖像后投射到自由曲面/光 波導(dǎo)等光學(xué)模組中，再進(jìn)入人眼。由于 AR 像源產(chǎn)生的圖像將與太陽光一起進(jìn)入人眼，戶外 若不加墨鏡，入眼亮度需超過 2,000nits，甚至達(dá)到 5,000nits，才能在各種天氣狀況下清楚的 顯示圖像。據(jù)我們估算，目前一款光波導(dǎo)眼鏡的光效率大約為 3-5%，即像源亮度至少要在 10 萬 nits 左右，才能滿足 AR 眼鏡的亮度需求。此外，75Hz 以上的刷新率、25°視場下 720P 的分辨率、支持局部刷新及低功耗狀態(tài)下靜態(tài)圖像的維持，是一款 AR 眼鏡的及格線。
人、機(jī)、環(huán)境的有效交互：SLAM+傳感器+AI 用于理解環(huán)境、理解使用者、實(shí)現(xiàn)虛擬信息 和現(xiàn)實(shí)世界的結(jié)合。為了實(shí)現(xiàn)虛擬信息和真實(shí)場景的疊加，需要實(shí)現(xiàn)使用者的空間定位追 蹤和虛擬物體在真實(shí)空間中定位。除此之外，為了將虛擬信息與輸入的現(xiàn)實(shí)場景無縫結(jié)合 在一起，增強(qiáng) AR 使用者的體驗(yàn)，還需要考慮虛擬事物與真實(shí)事物之間的遮擋關(guān)系以及實(shí)現(xiàn) 幾何一致、模型真實(shí)、光照一致和色調(diào)一致。從上世紀(jì) 80 年代發(fā)展到現(xiàn)在，SLAM 傳感器、 算法、技術(shù)框架等持續(xù)改進(jìn)，是實(shí)現(xiàn)自我姿態(tài)評價以及虛擬圖像反饋，構(gòu)建人與虛擬內(nèi)容 的有效交互的主要手段。
其他：能耗、適應(yīng)性、體積重量。一般來說，一款比較成熟的 AR 產(chǎn)品還需要滿足其他要求， 包括-40°~80°的溫度適應(yīng)區(qū)間、5000 多小時的整體使用壽命，合適的配重，300g 左右的重量 等等要求，這些要求也會對微顯示系統(tǒng)、電池、光學(xué)模組等其他零部件的選擇提出約束。
微顯示技術(shù)： MicroLED 有望成為 AR 主流
當(dāng)前已提出的微顯示技術(shù)包括 OLED（有機(jī)發(fā)光二極管）/ LCoS（硅基液晶）/ DLP（數(shù)字 光處理）/LBS（激光束掃描儀）等待，但這些技術(shù)均無法兼顧成熟性、性能、成本等指標(biāo)。 MicroLED 是業(yè)內(nèi)公認(rèn)的 AR 顯示最佳解決方案，但存在技術(shù)尚不成熟、量產(chǎn)難度大等問題， 真正大面積商用可能要到 2025 年左右。
LCoS —— 限制較多，逐漸淡出
LCoS 作為微顯示技術(shù)存在比較明顯的限制，逐漸淡出微顯示領(lǐng)域。LCoS 的優(yōu)勢在于技術(shù) 成熟，成本低廉，像素密度高且功耗低，在早期的 AR 設(shè)備中應(yīng)用較多，如靈犀微光靈犀 AR(LCoS+幾何光波導(dǎo))，Magic Leap One (LCoS+衍射光波導(dǎo))。但劣勢也相對明顯，如對 比度較低，特別是在大入射角情況下；由于必須和 PBS 配合使用而限制了整體光機(jī)的小型 化和輕量化進(jìn)程（目前較小的 digilens 的 LCoS 光機(jī)體積為 2.5 立方厘米）；低溫狀態(tài)下無 法工作，環(huán)境適應(yīng)性較差等。因此，大量廠商都在積極尋求使用 LBS/DLP 等方案代替 LCoS， 2018 年以后搭載 LCoS 的新機(jī)型逐漸淡出。
硅基 OLED —— 亮度較低，目前難以應(yīng)用于戶外 AR 場景
硅基 OLED 的缺點(diǎn)也比較明確，應(yīng)用局限于 VR 及類似設(shè)備。目前市場上主流的硅基 OLED 產(chǎn)品亮度均小于 3000nits，與 10 萬 nits 的要求相去甚遠(yuǎn)，難以應(yīng)用于戶外 AR 場景。同時， 由于產(chǎn)品的生產(chǎn)工藝更加復(fù)雜，其價格比 LCoS 貴 50%以上，但使用壽命在高亮度模式下 將低于 3000 小時且極有可能出現(xiàn)燒屏的情況，整體性價比更低。因此，雖已有部分 AR 廠 商使用硅基 OLED 替代 LCoS，但其仍不是 AR 像源的最佳解決方案。
LBS —— 激光二極管對溫度敏感、分辨率較差
與 LCoS 等其他顯示技術(shù)相比，LBS 技術(shù)優(yōu)勢明顯。LBS 系統(tǒng)主要由激光、光學(xué)器件和 MEMS Mirror 組成由于 LBS 使用激光光源進(jìn)行逐像素渲染，相較其他非激光、逐幀渲染方 案天然具有延遲低（激光納秒 vs 普通光源毫秒）、畫面滯留時間短、亮度高、能耗低、色 彩豐富的優(yōu)勢。此外，為獲得更大的視場角和更高的解析度，其他技術(shù)必須增加微鏡的數(shù) 量并放大產(chǎn)品尺寸，而 LBS 方案僅通過改變 MEMS 微鏡的振動頻率和反轉(zhuǎn)角度即可實(shí)現(xiàn)， 因而更易實(shí)現(xiàn)光機(jī)的輕量和小型化。（目前 LBS 光機(jī)體積大致在 0.5-1.5 立方厘米）。
對 LBS 技術(shù)可能的限制來自于較低的分辨率和畫像質(zhì)量。當(dāng)前主流的 LBS 產(chǎn)品分辨率約 720P，提高分辨率可能需要較高的成本。AR 硬件/軟件企業(yè) Rave 首席科學(xué)家 Karl Guttag 將搭載 LBS 光機(jī)的 HoloLens 2 代和搭載 LCoS 光機(jī)的 HoloLens 1 代進(jìn)行對比測試后發(fā)現(xiàn)， 雖然 HoloLens 2 的垂直視場角較 1 代提升近一倍（30 度 vs 17.5 度），但其在分辨率、色 彩均勻性等方面的表現(xiàn)均更差。此外，HoloLens 2 實(shí)拍圖色彩飽和度更低，觀感模糊，霧 度也更大。
DLP —— 對溫度敏感，難以小型化
DLP 由于成本高、體積大等缺陷，在 AR 場景中的應(yīng)用有一定限制。DLP（Digital Light Processing）系統(tǒng)的核心是 TI 專利的 DMD 芯片（Digital Micromirror Device），它由數(shù)百 萬個高反射的鋁制獨(dú)立微型鏡片組成，每個鏡片通過數(shù)量龐大的超小型數(shù)字光開關(guān)控制角 度。這些開關(guān)可以接受電子訊號代表的資料字節(jié)，然后產(chǎn)生光學(xué)字節(jié)輸出，將輸入 DMD 的 視頻或圖形信號轉(zhuǎn)換成高清晰度的、高灰度等級的圖像。DLP 由于以鏡片為基礎(chǔ)，提高了 光通效率，因此 DLP 投影系統(tǒng)比所有其他顯示系統(tǒng)具有更強(qiáng)的亮度。然而，由于其設(shè)計(jì)難 度大、結(jié)構(gòu)復(fù)雜、生產(chǎn)成本高、體積大等劣勢，目前在 AR、HUD 等設(shè)備中應(yīng)用并不普及。
MircoLED —— 仍處在早期階段，較多技術(shù)問題需要解決
MicroLED 產(chǎn)品性能絕佳，是業(yè)內(nèi)公認(rèn)的 AR 顯示最佳解決方案。Micro LED 即 LED 微縮 技術(shù)，通過將傳統(tǒng) LED 陣列化、微縮化后定址巨量轉(zhuǎn)移到電路基板上形成超小間距 LED， 可將毫米級別的 LED 長度進(jìn)一步縮小到微米級（50um 左右，原本 LED 的 1%）。相較其它 技術(shù)，MicroLED 產(chǎn)品性能在亮度、對比度、工作溫度范圍、刷新率、分辨率、色域、功耗、 延時、體積、壽命等多方面具備較大優(yōu)勢，被期望為下一代主流顯示技術(shù)的重要路徑。
MicroLED 的發(fā)展瓶頸在于微米級的像素尺寸和間距給量產(chǎn)和全彩方案所帶來的巨大挑戰(zhàn)。 MicroLED 的生產(chǎn)包括芯片和背板制造、巨量轉(zhuǎn)移、接合、驅(qū)動和檢測維修等環(huán)節(jié)，由于其 晶粒尺寸在微米級，生產(chǎn)單個成品即需要處理數(shù)百萬甚至數(shù)千萬晶粒，對技術(shù)的效率和良 率提出了極為嚴(yán)苛的要求，現(xiàn)有技術(shù)水平還無法滿足其量產(chǎn)需求。而 MicroLED 晶粒的發(fā) 光效率、波長一致性和良率也尚未達(dá)到 MicroLED 彩色化顯示的要求。基于此，現(xiàn)有 MicroLED 屏幕價格高昂，單片售價即大于 1000 美金。2018 年三星演示的采用 microLED 技術(shù)的 The Wall 電視，146 寸版報(bào)價高于 10 萬美元。
光學(xué)模組：從幾何光學(xué)到納米光學(xué)
與 VR 的不同之處在于，AR 眼鏡需要透視（see-through），既要看到真實(shí)的外部世界，也 要看到虛擬信息，所以成像系統(tǒng)不能擋在實(shí)現(xiàn)前方，這就需要多加一個或一組光學(xué)組合， 通過層疊的方式，將虛擬信息和真實(shí)場景融為一體，設(shè)計(jì)包括自由曲面，光波導(dǎo)等。
生產(chǎn)方式從幾何光學(xué)到納米光學(xué)。傳統(tǒng)的光學(xué)透鏡加工方式為切割/注塑/涂層/拋光等等，但 隨著光波導(dǎo)等光學(xué)模組的復(fù)雜化，傳統(tǒng)加工工藝帶來了生產(chǎn)流程復(fù)雜、良率低等問題，國 內(nèi)外包括 Digilens，WaveOptics，至格科技，瓏璟光電等廠家開始探索納米壓印、紫外光 加工等加工方案。
自由曲面解決方案：自由曲面棱鏡/反射鏡，BirdBath
三種方案微顯示器的光線來源都來自于眼睛上方：
1) BirdBath 方案：分光鏡同時反射和投射光線，使用戶在看清現(xiàn)實(shí)世界的物理景象時， 也可看到微顯示器生成的數(shù)字影像。位于分光鏡一側(cè)的凹面鏡用來反射光線，將光重 新導(dǎo)向眼睛。采用 Birdbath 結(jié)構(gòu)的 AR 眼鏡通常體積較大，視場角中等（50°左右）。 由于分光鏡為半透半反鏡，光線經(jīng)過分光鏡時被多次反射，每次反射都會產(chǎn)生 50%的 光損，因此能量損失嚴(yán)重。
2) 自由曲面反射鏡：僅使用一個曲面反射鏡收集來自于微顯示器和現(xiàn)實(shí)世界的光線。 采用自由曲面反射鏡結(jié)構(gòu)的 AR 眼鏡也具有較大體積，可實(shí)現(xiàn)的視場角為 50°~100°， 但視場角大小取決于光源大小。由于光線僅被反射一次，自由曲面反射鏡結(jié)構(gòu)的光損 明顯降低。
3) 自由曲面棱鏡：巧妙地將兩個折射面，一個全內(nèi)反射面和一個部分反射面合并到一個 元件中，增加了結(jié)構(gòu)的自由度。此種結(jié)構(gòu)可以增大視場角，同時提高成像質(zhì)量，但光 學(xué)元件的厚度較大，通常需要一個校正棱鏡來消除環(huán)境光從自由曲面棱鏡的折射。
光波導(dǎo)技術(shù)解決方案：幾何/陣列光波導(dǎo)，浮雕光柵光波導(dǎo)，布拉格光柵光波導(dǎo)
光波導(dǎo)技術(shù)是應(yīng) AR 需求而生的一個比較有特色的光學(xué)組件。因它的輕薄與外界光線的高穿 透特性而被認(rèn)為是消費(fèi)級 AR 眼鏡的必選光學(xué)方案。
AR 眼鏡中光的傳輸關(guān)鍵在于“全反射”。其實(shí)，波導(dǎo)技術(shù)并不是新發(fā)明，光纖就是波導(dǎo)的 一種，只不過傳輸?shù)氖俏覀兛床灰姷募t外波段的光。光機(jī)完成成像過程后，波導(dǎo)將光耦合 進(jìn)自己的玻璃基底中，通過“全反射”原理將光傳輸?shù)窖劬η胺皆籴尫懦鰜恚屯瓿闪藞D 像的傳輸。
對視場角的需求對玻璃基底材料提出要求。越是大的視場角，就需要越高折射率的玻璃基 底來實(shí)現(xiàn)。因此傳統(tǒng)玻璃制造商比如康寧(GLW US)和肖特(Schott，未上市)，近年來都在 為近眼顯示市場研制專門的高折射率并且輕薄的玻璃基底，還在努力不斷增大晶元尺寸以 降低波導(dǎo)生產(chǎn)的單位成本。
具體來看，當(dāng)前光波導(dǎo)技術(shù)可以分為下面三種：
1) 幾何/列陣光波導(dǎo)。該概念和專利一直由以色列公司 Lumus 提出并持續(xù)優(yōu)化迭代，基本 原理是耦合光進(jìn)入波導(dǎo)的一般是一個反射面或者棱鏡。在多輪全反射后光到達(dá)眼鏡前 方時，會遇到一個“半透半反”鏡面陣列，將光耦合出波導(dǎo)。
幾何/列陣光波導(dǎo)目前大都只能實(shí)現(xiàn)一維擴(kuò)瞳。這里的“半透半反”鏡面陣列相當(dāng)于將 出瞳沿水平方向復(fù)制了多份，每一個出瞳都輸出相同的圖像，這樣眼睛在橫向移動時 都能看到圖像，這就是一維擴(kuò)瞳技術(shù)(1D EPE)。
幾何/列陣光波導(dǎo)工藝流程復(fù)雜，良率提升難度極大。“半透半反”鏡面陣列的鍍膜工 藝中，由于光在傳播過程中會越來越少，陣列中這五六個鏡面的每一個都需要不同的 反射透射比(R/T)，以保證整個動眼框范圍內(nèi)的出光量是均勻的。并且由于幾何波導(dǎo)傳 播的光通常是偏振的，每個鏡面的鍍膜層數(shù)可能達(dá)到十幾甚至幾十層。
這些鏡面是鍍膜后層層摞在一起并用特殊的膠水粘合，然后按照一個角度切割出波導(dǎo) 的形狀，這個過程中鏡面之間的平行度和切割的角度都會影響到成像質(zhì)量。因此，即 使每一步工藝都可以達(dá)到高良率，這幾十步結(jié)合起來的總良率卻是一個挑戰(zhàn)。每一步 工藝的失敗都可能導(dǎo)致成像出現(xiàn)瑕疵，常見的有背景黑色條紋、出光亮度不均勻、鬼 影等。
2) 浮雕光柵衍射光波導(dǎo)。傳統(tǒng)的光學(xué)結(jié)構(gòu)被平面的衍射光柵取代，通過材料表面浮雕出 來的高峰和低谷，在材料中形成了一個折射率的周期性變化。通過設(shè)計(jì)光柵的參數(shù)(材 料折射率、光柵形狀、厚度、占空比等)可以將某一衍射級(即某一方向)的衍射效率優(yōu) 化到最高，從而使大部分光在衍射后主要沿這一方向傳播。
用衍射光柵可以實(shí)現(xiàn)二維擴(kuò)瞳，digilens 和 WaveOptics 分別具有兩種技術(shù)方案。 Hololens I, Vuzix Blade, Magic Leap One, Digilens 等使用的方法是，當(dāng)入射光柵將光 耦合入波導(dǎo)后，會進(jìn)入一個轉(zhuǎn)折光柵的區(qū)域，這個區(qū)域內(nèi)的光柵溝壑方向與入射光柵 呈一定角度，那么它就像一個鏡子一樣將 X 方向打來的光反射一下變成沿 Y 方向傳播。 另外一種實(shí)現(xiàn)二維擴(kuò)瞳的方式是直接使用二維光柵，即光柵在至少兩個方向上都有周 期，將單向“溝壑”變?yōu)橹鶢铌嚵小aveOptics 就是采用的這種結(jié)構(gòu)，從入射光柵耦 合進(jìn)波導(dǎo)的光直接進(jìn)入一個具有二維柱狀陣列發(fā)區(qū)域，可以同時將光線在 X 和 Y 兩個 方向?qū)崿F(xiàn)擴(kuò)束，并且一邊傳播一邊將一部分光耦合出來進(jìn)入人眼。
3) 布拉格光柵衍射光波導(dǎo)（也叫全息光柵光波導(dǎo)）。利用光全息術(shù)在記錄材料薄膜上記錄 點(diǎn)光源的干涉條紋，再經(jīng)過處理制成光柵條紋結(jié)構(gòu)的薄膜光學(xué)元件，具有光束準(zhǔn)直、聚 焦、偏轉(zhuǎn)等功能。其對光的衍射符合布拉格定律，只有滿足布拉格條件的入射光才會 被衍射，不滿足布拉格條件的入射光不被衍射。目前在做全息體光柵(VHG)波導(dǎo)方案 的廠家比較少，包括十年前就為美國軍工做 AR 頭盔的 Digilens，曾經(jīng)出過單色 AR 眼 鏡的 Sony，還有由于被蘋果收購的 Akonia。
優(yōu)點(diǎn)顯著，探索持續(xù)進(jìn)行。這種技術(shù)具有體積薄，重量輕，且可同時記錄多個全息圖 等優(yōu)點(diǎn)，使它能夠替代許多傳統(tǒng)的光學(xué)元件，如棱鏡、立方體分束器和光柵等，進(jìn)一 步減小 AR 頭戴式顯示器體積。由于體光柵由于受到可利用材料的限制，能夠?qū)崿F(xiàn)的 折射率差有限，導(dǎo)致它目前在 FOV、光效率、清晰度等方面都還未達(dá)到與表面浮雕光 柵同等的水平。但是由于它在設(shè)計(jì)壁壘、工藝難度和制造成本上都有一定優(yōu)勢，業(yè)內(nèi) 對這個方向的探索從未停歇。
SLAM：理解環(huán)境與使用者，實(shí)現(xiàn)虛擬信息和現(xiàn)實(shí)世界的結(jié)合
SLAM（Simulataneous Localization and Mapping），同步定位與地圖構(gòu)建，指在運(yùn)動過程 中通過重復(fù)觀測到的環(huán)境特征定位自身位置和姿態(tài)，再根據(jù)自身位置構(gòu)建周圍環(huán)境的增量 式地圖，從而達(dá)到同時定位和地圖構(gòu)建的目的。
現(xiàn)代流行的 SLAM 系統(tǒng)大概可以分為前端和后端。前端通過傳感器實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)，研究幀 與幀之間變換關(guān)系，主要完成實(shí)時的位姿跟蹤，對輸入的圖像進(jìn)行處理，計(jì)算姿態(tài)變化。 后端主要對前端的輸出結(jié)果進(jìn)行優(yōu)化，得到最優(yōu)的位姿估計(jì)和地圖。
SLAM 傳感器、算法、技術(shù)框架等持續(xù)改進(jìn)，實(shí)現(xiàn)自我姿態(tài)評價以及虛擬圖像反饋，構(gòu)建 人與虛擬內(nèi)容的有效交互。從上世紀(jì) 80 年代發(fā)展到顯現(xiàn)，配合 SLAM 算法的傳感器出現(xiàn)了 視覺（單目、雙目、RGBD、ToF 等各種相機(jī)），慣性/磁性（IMU 等傳感器），以及聲吶， 2D/3D 激光雷達(dá)等一系列解決方案。SLAM 算法也從開始的基于濾波器的方法（EKF、PF 等）向基于優(yōu)化的方法轉(zhuǎn)變，技術(shù)框架也從開始的單一線程向多線程演進(jìn)。
SLAM 在 ARVR 中有較多應(yīng)用，AR 中主要是 1）現(xiàn)實(shí)物體與虛擬物體的有效交互，2）實(shí) 現(xiàn)語義理解，優(yōu)化智能輔助功能：
實(shí)現(xiàn)虛擬世界和現(xiàn)實(shí)世界之間坐標(biāo)疊加、實(shí)現(xiàn)幾何物理信息交互。與電腦、平板、手機(jī)的 3D 顯示不同，AR 更注重虛擬信息與真實(shí)信息的無縫融合，即圖像出現(xiàn)的平面位置與景深 準(zhǔn)確、帶來沉浸感的良好體驗(yàn)。這就需要利用 SLAM 算法，準(zhǔn)確疊加虛擬坐標(biāo)系和真實(shí)坐 標(biāo)系。同時，真實(shí)環(huán)境中有高低起伏、有障礙物、有遮擋關(guān)系，AR 可以讓虛擬信息跟這些 真實(shí)環(huán)境中的物理信息進(jìn)行交互。
實(shí)現(xiàn)語義理解，優(yōu)化智能輔助功能。隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展，虛擬信息可以“理 解”真實(shí)世界，讓二者的融合更趨于自然。當(dāng)前計(jì)算機(jī)已經(jīng)可以已經(jīng)可以認(rèn)出圖片上的內(nèi) 容，但沒有理解內(nèi)容之間的關(guān)系，當(dāng)前的一項(xiàng)研究方向是，應(yīng)用 SLAM+AI 技術(shù)，通過特征 提取，實(shí)現(xiàn)機(jī)器的語義理解，優(yōu)化 AR 系統(tǒng)的輔助功能。
傳感器：交互方式與應(yīng)用場景升級推動傳感器升級
AR 中交互方式的升級，帶來更多樣信息需求。隨著人機(jī)交互由 2D 走向 3D，交互方式逐 漸多樣化，向人類本能發(fā)展，手勢交互、姿勢交互、眼動交互、語音交互，甚至結(jié)合生物 信號、周圍環(huán)境交互的方式不斷進(jìn)化，這對更多種類的信息提出了要求，用戶運(yùn)動類、生 物類信息，以及其他環(huán)境信息都將為人機(jī)交互提供底層支持。
大量信息需求為運(yùn)動類、生物類、環(huán)境類各型傳感器提供增量機(jī)會。當(dāng)前蘋果手機(jī)、手表 廣泛運(yùn)用多種運(yùn)動、生物型傳感器，與之對比，VR 爆款產(chǎn)品 Oculus quest 2 頭顯僅搭載了 4 顆黑白攝像頭，手柄配備了兩組陀螺儀加速度計(jì)傳感器。未來，為實(shí)現(xiàn)更深度沉浸和更便 捷交互，測距攝像頭、眼動追蹤攝像頭、精細(xì)化壓力傳感器，甚至生物型、環(huán)境型傳感器， 都將逐漸配備。
3 腦機(jī)接口：我們離科幻電影還有多遠(yuǎn)？
對于大多數(shù)人來說，最早接觸腦機(jī)接口概念是從科幻電影中。不管是《X-戰(zhàn)警》中博士的 意念控物，還是《黑客帝國》中錫安人通過接口與電腦相連，迅速學(xué)會各種各樣的知識和 技能，并進(jìn)入 Matrix 的虛擬世界中，再或是《沙丘》中人們通過腦科學(xué)的探索，不斷開發(fā) 大腦潛能，通過訓(xùn)練的領(lǐng)航員的大腦能夠媲美大型計(jì)算機(jī)，這些情節(jié)都讓人印象深刻，也 是科學(xué)家不斷探索的方向。
人腦的潛能：一臺超級計(jì)算機(jī)？
使用電子計(jì)算機(jī)對人腦進(jìn)行模擬需要 172PFlops 計(jì)算量。人的大腦有接近 860 億個神經(jīng)元， 每個神經(jīng)元有 1 萬個連接點(diǎn)，掌管人類運(yùn)動、聽覺、語言、嗅覺、記憶、思考、性格、情 緒等功能。根據(jù)我們估算，如果想要以計(jì)算機(jī)來模擬人腦的活動需要 172PFlops（對應(yīng)神 威太湖之光 93PFlops，美國 Summit 超算 122.3PFlops）。人腦的潛能或能夠達(dá)到一臺超級 計(jì)算機(jī)的運(yùn)算能力。
腦機(jī)接口或支持人腦潛力持續(xù)開發(fā)。馬斯克提出的一個經(jīng)典論述是“人類不能被 AI 淘汰， 要與 AI 融合，在大腦和電腦之間創(chuàng)建一個接口”。隨著我們對腦科學(xué)的不斷認(rèn)識和腦機(jī)接 口技術(shù)下對人類肢體限制的不斷突破，人腦的潛能或得到釋放。
腦機(jī)接口（Brain-machine Interface）：我們該如何定義？
腦機(jī)接口（Brain Computer Interface，BCI）1976 年由加州大學(xué)洛杉磯分校的雅克·維達(dá) 爾(Jacques J. Vidal)提出。一個完整的腦機(jī)接口過程包括信號采集、信息解碼處理、信號 輸出/執(zhí)行、反饋四個步驟實(shí)現(xiàn)。
腦機(jī)接口可以通過電、磁、光、聲進(jìn)行信號采集與反饋，而腦電技術(shù)是目前主流探索方向。 事實(shí)上采集中樞神經(jīng)信號以監(jiān)測大腦活動的方法有很多種，包括腦電、功能近紅外光譜 （functional near-infrared spectroscopy, fNIRS）、功能磁共振成像（functional magnetic resonance imaging, fMRI）等，反饋技術(shù)也同樣包括電、磁、聲、光多種。在這些監(jiān)測技 術(shù)中，腦電因?yàn)闀r間分辨率高、設(shè)備價格低廉且便攜等優(yōu)點(diǎn)，逐漸成為腦機(jī)接口研究最主流的探索方向。
1) 腦電采集：腦電采集是 BCI 的關(guān)鍵步驟，采集的效果、信號強(qiáng)弱、穩(wěn)定性及帶寬大 小直接決定后續(xù)的處理及輸出。由于大腦的中樞神經(jīng)元膜電位的變化會產(chǎn)生鋒電位 （spikes），或動作電位（action potentials），并且神經(jīng)細(xì)胞突觸間傳遞的離子移動會 形成場電位（field potentials），通過在大腦皮質(zhì)的運(yùn)動神經(jīng)位置外接或植入微型電極， 可以采集并放大這些神經(jīng)生理信號。
2) 信號解碼處理：信號處理是將轉(zhuǎn)化為電信號的大腦活動，去除干擾電波以及其他信號， 并將目標(biāo)分類并處理，轉(zhuǎn)化為可以執(zhí)行輸出的對應(yīng)信號。
3) 信號輸出及執(zhí)行：信號輸出指將收集并處理后的腦電波信號傳輸至已連接的設(shè)備器材， 作為數(shù)據(jù)基礎(chǔ)加工內(nèi)容，或反饋到終端機(jī)器以形成指令，甚至實(shí)現(xiàn)直接交互。
4) 反饋：在信號執(zhí)行后，設(shè)備將產(chǎn)生動作或顯示內(nèi)容，參與者將通過視覺、觸覺或聽覺 感受到第一步產(chǎn)生的腦電波已被執(zhí)行，并觸發(fā)反饋信號。
根據(jù)腦電的采集方式，當(dāng)前的腦機(jī)接口又可以分為侵入式、非侵入式
非侵入式更多用于消費(fèi)端的腦電監(jiān)測。非侵入式是在人/動物大腦外部佩戴腦機(jī)接口設(shè)備， 通過采集腦電、神經(jīng)電獲取腦部信息，但信息精度及分辨率較低，可用于簡單的信號判斷 與反饋，但較難傳達(dá)復(fù)雜指令，如幫助肢體殘障人士通過意念操控機(jī)械骨骼，或用于 VR/AR 游戲應(yīng)用的基礎(chǔ)手勢控制。非侵入式根據(jù)收集信息的不同可以分為 EEG（收集腦電）和 MEG（收集磁場）兩種。
1） EEG：通過導(dǎo)電凝膠將 Ag/AgCI 電極固定在頭皮上，以測量頭皮腦電信號，但一般只 能監(jiān)測到 0-50Hz 相對較窄頻帶中的信息。
2） MEG：通過測量細(xì)胞內(nèi)離子電流引起的小磁場獲得信號，但由于高昂的成本和操作方 法的繁瑣（電磁封鎖環(huán)境，保持絕對靜止），MEG 并不是一個理想的解決方案。
侵入式腦機(jī)接口主要應(yīng)用于醫(yī)療康復(fù)領(lǐng)域。侵入式將設(shè)備直接植入到人/動物大腦灰質(zhì)或顱 腔內(nèi)，能夠獲取相對高頻、準(zhǔn)確的神經(jīng)信號，不僅能夠通過讀取腦電信號來控制外部設(shè)備， 還能夠通過精確的電流刺激讓大腦產(chǎn)生特定感覺。侵入式腦機(jī)接口可以分為 ECoG、LFP、 SUA 等類型。
1） ECoG：測量大腦皮層電位，與 EEG 技術(shù)相似，但能夠監(jiān)測到更大帶寬的信息；
2） LFP、SUA：測量大腦皮層場電位與鋒電位，可以通過 Mircowire array，Michigan array， Utah array，Neurotrophic electrode 等多種傳感器實(shí)現(xiàn)。
侵入式采取電信號的方法，具有較高的空間分辨率、良好的信噪比和更寬的頻帶，但目前 仍然面臨著有創(chuàng)帶來的安全問題、難以獲得長期穩(wěn)定的記錄、需要醫(yī)護(hù)人員長時間連續(xù)的 觀察等問題，目前應(yīng)用仍局限于醫(yī)療康復(fù)領(lǐng)域。
侵入式工具也出現(xiàn)了全新不開顱植入方案。2021 年 8 月，來自美國加州伯克利大學(xué)的 Synchron 公司開發(fā)的微創(chuàng)腦機(jī)接口獲得美國食品藥品監(jiān)督管理局(FDA)的人體臨床試驗(yàn)批 文。其腦機(jī)裝置微小，可以安全地穿過血管，因此直接利用頸靜脈植入 BCI，使用導(dǎo)管手術(shù) 將設(shè)備輸送到大腦和脊柱中，在兩小時無需開顱手術(shù)內(nèi)即可將設(shè)備植入了患者大腦內(nèi)。
由于不需要開顱手術(shù)，因此這種傳感器可以靈活布置在大腦多個位置，從而捕捉各種類型 的信號。與傳感器相連的 BrainPort 接收裝置植入病人的胸口，它沒有內(nèi)置電池，而是通過 無線的方式進(jìn)行供電以及數(shù)據(jù)傳輸，進(jìn)一步提升了安全性。通過 Synchron 研發(fā)的 BrainOS 操作系統(tǒng)，可以將傳感器讀取到的信號轉(zhuǎn)化為與外界交互的通用信號，從而實(shí)現(xiàn)用大腦與 外界交流溝通。
應(yīng)用持續(xù)拓展支撐起近千億美元商用市場
醫(yī)療、消費(fèi)市場應(yīng)用的持續(xù)拓展或支撐起千億市場規(guī)模。隨著人們對大腦的認(rèn)知、電極設(shè) 計(jì)、和人工智能算法的精進(jìn)，腦機(jī)接口領(lǐng)域應(yīng)用也持續(xù)拓展，并向更加精細(xì)化發(fā)展。腦機(jī) 接口相關(guān)的研發(fā)已經(jīng)在仿生學(xué)、醫(yī)療診斷與干預(yù)、消費(fèi)電子等多個領(lǐng)域進(jìn)行持續(xù)探索，我 們認(rèn)為相關(guān)產(chǎn)品可能將在未來 20-30 年內(nèi)陸續(xù)商業(yè)化，支撐起近千億美元的市場規(guī)模。
二十世紀(jì)七十年代到九十年代末，腦機(jī)接口技術(shù)經(jīng)歷了從概念期到科學(xué)論證期的發(fā)展。二 十世紀(jì)七十年代至八十年代，“腦機(jī)接口”專業(yè)術(shù)語出現(xiàn)，1977 年 Jacques J. Vidal 開發(fā)了 基于視覺事件相關(guān)電位的腦機(jī)接口系統(tǒng)，通過注視同一視覺刺激的不同位置實(shí)現(xiàn)了對 4 種 控制指令的選擇。1980 年德國學(xué)者提出了基于皮層慢電位的腦機(jī)接口系統(tǒng)。 二十世紀(jì)八十年代后，少數(shù)先驅(qū)研發(fā)了實(shí)時且可執(zhí)行的腦機(jī)接口系統(tǒng)，并定義了至今仍在 使用的幾種范式：
1） 1988 年 L.A. Farewell 和 E.Donchin 提出了著名且廣泛使用的腦機(jī)接口范式 P300 拼寫 器，表明系統(tǒng)有望幫助嚴(yán)重癱瘓患者與環(huán)境進(jìn)行通信和交互。不久后研究人員都開發(fā) 出基于感覺運(yùn)動節(jié)律的腦機(jī)接口系統(tǒng)，該系統(tǒng)可以控制一維光標(biāo)向使用者反饋運(yùn)動節(jié) 律幅度，從而通過訓(xùn)練實(shí)現(xiàn)通過想象控制小球向上或向下移動。
2） 1990 年左右 Gert Pfurtscheller 開發(fā)出另一種基于感覺運(yùn)動節(jié)律的腦機(jī)接口，用戶必須 明確地想象左手或右手運(yùn)動，并通過機(jī)器學(xué)習(xí)將其轉(zhuǎn)化為計(jì)算機(jī)命令，這定義了基于 運(yùn)動想象的腦機(jī)接口。
3） 1992 年 Erich E. Sutter 提出了一種高效的基于視覺誘發(fā)電位的腦機(jī)接口系統(tǒng)，在該系 統(tǒng)中設(shè)計(jì)了 8x8 拼寫器，利用從視覺皮層采集的視覺誘發(fā)電位識別用戶眼睛注視方向 來確定他選擇拼寫器中的哪一個符號。肌萎縮側(cè)索硬化癥患者可以實(shí)現(xiàn) 10 個單詞/分 鐘的通信速度。
二十一世紀(jì)以來腦機(jī)接口技術(shù)高速成長，新范式、新算法、新設(shè)備層出不窮，早期范式性 能明顯提高。新型腦機(jī)接口實(shí)驗(yàn)范式相繼涌現(xiàn)，如聽覺腦機(jī)接口、言語腦機(jī)接口、情感腦 機(jī)接口以及混合腦機(jī)接口。先進(jìn)的腦電信號處理和機(jī)器學(xué)習(xí)算法被應(yīng)用于腦機(jī)接口，如空 間模式算法、xDAWN 算法等，新型的腦信號獲取方法如功能核磁共振成像測量的血氧水平 依賴信號以及功能近紅外光譜測量的皮層組織血紅蛋白濃度等被用于構(gòu)建非侵入式腦機(jī)接 口。除此之外，早期開發(fā)的基于 P300 和視覺誘發(fā)電位的腦機(jī)接口性能得到了明顯提高，并 在初步的臨床試驗(yàn)中證明適用于肌萎縮側(cè)索硬化癥、腦卒中以及脊髓損傷患者。
近十年腦機(jī)接口研究范圍和規(guī)模持續(xù)擴(kuò)大。規(guī)模上看，2018 年第七屆國際腦機(jī)接口會議聚 集了 221 個研究團(tuán)隊(duì)。從技術(shù)普及方面看，消費(fèi)級腦電傳感器和腦機(jī)接口系統(tǒng)問世并進(jìn)入 市場，免費(fèi)開源的腦機(jī)接口軟件也不斷更新，腦電信號處理算法的性能顯著提高，同時提 出了腦機(jī)接口人因工程，從用戶層面（即用戶體驗(yàn)、心理狀態(tài)、用戶訓(xùn)練）提高腦機(jī)接口 的滿意度和實(shí)用性。目前腦機(jī)接口應(yīng)用已經(jīng)超過臨床醫(yī)學(xué)領(lǐng)域，拓展應(yīng)用到情緒識別、虛 擬現(xiàn)實(shí)和游戲等非醫(yī)學(xué)領(lǐng)域，被動腦機(jī)接口、協(xié)同腦機(jī)接口、互適應(yīng)性腦機(jī)接口、認(rèn)知腦 機(jī)接口、多人腦-腦接口等眾多范式涌顯。
應(yīng)用場景#1：醫(yī)療健康領(lǐng)域是腦機(jī)接口當(dāng)前最接近商業(yè)化的領(lǐng)域
腦機(jī)接口可以幫助實(shí)時監(jiān)控和測量神經(jīng)系統(tǒng)狀態(tài)，輔助臨床判讀。“監(jiān)測”型腦機(jī)接口應(yīng)用 方向十分多樣，包括評測陷入深度昏迷患者的意識等級，測量視/聽覺障礙患者神經(jīng)通路狀 態(tài)協(xié)助醫(yī)生定位病因等等。除此之外，通過結(jié)合腦電、視頻等多元信息進(jìn)行診療，能夠輔 助醫(yī)生判讀腦損傷、腦發(fā)育等多種臨床適應(yīng)癥。
監(jiān)測到的腦電信息可以用于加工、反饋，針對多動癥、中風(fēng)、抑郁癥等做對應(yīng)的恢復(fù)訓(xùn)練。 例如，對于運(yùn)動皮層相關(guān)部位受損的中風(fēng)病人，腦機(jī)接口可以從受損的皮層區(qū)采集信號， 然后刺激失能肌肉或控制矯形器，改善手臂運(yùn)動；運(yùn)動想象類腦機(jī)接口可以用于孤獨(dú)癥兒 童的康復(fù)訓(xùn)練，提升他們對于感覺運(yùn)動皮層激活程度的自我控制能力，從而改善孤獨(dú)癥的 癥狀，也可以通過腦電信號的反饋，訓(xùn)練使用者的專注力。
基于電、聲、光、磁刺激進(jìn)行神經(jīng)調(diào)控的腦機(jī)接口已經(jīng)實(shí)現(xiàn)商業(yè)化。相關(guān)應(yīng)用包括：通過 電刺激治療進(jìn)行神經(jīng)康復(fù)，主要針對腦卒中、 帕金森等中樞神經(jīng)或周圍神經(jīng)損傷所致的運(yùn) 動功能障礙，如偏癱、肌萎縮、肌力低下、步行障礙、手功能障礙；通過顱磁刺激治療抑 郁癥，以及對腦卒中所致的言語功能障礙、吞咽障礙、認(rèn)知功能障礙進(jìn)行治療。經(jīng)顱磁刺 激用于抑郁癥治療已在美國、 加拿大、新西蘭、以色列等國家明確獲批，與藥物治療相比， 經(jīng)顱磁刺激具有副作用小、安全性高、無痛苦、不易成癮、不會影響認(rèn)知功能等優(yōu)勢。
非侵入式腦機(jī)接口智能義肢已經(jīng)實(shí)現(xiàn)消費(fèi)端使用。BrainCo 強(qiáng)腦科技在 2019 年推出世界上 第一款可以意識控制每一根手指的非侵入式智能仿生手后，在今年再次推出一款適合不同 傷殘等級的仿生腿產(chǎn)品。根據(jù)公司介紹，這款產(chǎn)品每秒可提取 2 萬個肌電神經(jīng)電數(shù)據(jù)，因 此能快速、準(zhǔn)確地識別用戶意圖，并根據(jù)環(huán)境、肌肉情況調(diào)整步態(tài)防止摔倒，實(shí)現(xiàn)高仿生 體驗(yàn)，還能夠支持攀巖、涉水等多種復(fù)雜操作，為殘障人士創(chuàng)造高品質(zhì)生活，拓展了腦機(jī) 接口技術(shù)在義肢方向的應(yīng)用。
腦機(jī)接口也可以使喪失說話能力的人能夠恢復(fù)溝通能力。通過腦機(jī)接口輸出文字，或通過 語音合成器發(fā)生，幫助脊髓側(cè)索硬化癥患者、重癥肌無力患者、以及事故導(dǎo)致高位截癱患 者等重度運(yùn)動障礙患者群體，通過腦機(jī)接口系統(tǒng)將自己腦中所想表達(dá)出來。
應(yīng)用場景#2：消費(fèi)電子與 AIoT 領(lǐng)域展開消費(fèi)端應(yīng)用
腦機(jī)接口技術(shù)可以與消費(fèi)產(chǎn)品相結(jié)合，提供更直覺交互體驗(yàn)。早在 2014 年，加難道公司 Thalmic Labs 就推出了一款臂帶式控制器 Myo，通過感知肌肉的生物電活動，可以讓使用 者只需要動動手指就可以無線控制身邊的計(jì)算機(jī)和其他數(shù)字產(chǎn)品。隨著技術(shù)的持續(xù)升級， 當(dāng)前臂帶式控制器可以實(shí)現(xiàn)通過識別活動意念帶來的電流進(jìn)行控制，意念打字、意念操作 玩具等已經(jīng)不是幻想。
在腦機(jī)接口的支持下，游戲玩家可以用意念來控制 VR 界面的菜單導(dǎo)航和選項(xiàng)控制，獲得了 獨(dú)立于傳統(tǒng)游戲控制方式之外的新的操作體驗(yàn)；同時人們也可以用意念控制開關(guān)等，甚至 控制家庭服務(wù)機(jī)器人，實(shí)現(xiàn)全新意義上的智能家居。
滲透率或隨 AR 及其他可穿戴產(chǎn)品普及持續(xù)提升。當(dāng)前更加簡單形式的控制，比如眼動追 蹤攝像頭、觸摸控制等或限制腦機(jī)接口交互需求。我們認(rèn)為未來隨著一系列可穿戴設(shè)備比 如 AR 眼鏡的普及，以及元宇宙的持續(xù)建設(shè)，基于腦機(jī)接口技術(shù)的消費(fèi)電子產(chǎn)品滲透率將持 續(xù)提升。
本文轉(zhuǎn)自聚鎂Art0X用戶“貓的憤怒”，如有侵權(quán)請聯(lián)系刪除。
