像經(jīng)常被傳聞的蘋果眼鏡智能眼鏡或增強(qiáng)現(xiàn)實(shí)或虛擬現(xiàn)實(shí)頭顯這樣的項(xiàng)目，必須依靠為用戶提供令人信服的視覺效果和足夠的音頻來實(shí)現(xiàn)完全的沉浸感。然而，這兩種元素都提供了自己獨(dú)特的問題，生產(chǎn)頭戴式顯示器的公司必須克服。對于音頻來說，AR和智能眼鏡的音頻需求和VR的音頻需求有天壤之別。前者可能希望音頻有限，并且還能聽到其他環(huán)境的聲音，而VR的使用通常是依靠屏蔽外部聲音，只留下虛擬世界的音頻。目前的頭戴式頭顯可以實(shí)現(xiàn)這一點(diǎn)，但那些內(nèi)置音頻系統(tǒng)的頭戴式頭顯通常不能提供用戶想要的靈活性。
在美國專利和商標(biāo)局周二授予的一項(xiàng)名為 "具有多模態(tài)音頻的顯示設(shè)備 "的專利中，蘋果描述了帶有音頻組件的頭戴式視覺系統(tǒng)，該組件可以在頭顯的支撐結(jié)構(gòu)上的不同位置之間轉(zhuǎn)換。因此，蘋果AR眼鏡或VR頭顯可能包括一個(gè)可切換的音頻系統(tǒng)，可以提供一系列不同的聽覺模式，同時(shí)還加入了一個(gè)可以將現(xiàn)實(shí)世界的景象與虛擬圖像平滑地高速融合的系統(tǒng)。蘋果提出，音頻系統(tǒng)可以在耳外模式和耳內(nèi)模式之間切換，前者是將活動式頭顯系統(tǒng)的揚(yáng)聲器放在離耳朵一小段距離的地方使用，后者是將揚(yáng)聲器放在耳道內(nèi)。在耳外模式下，系統(tǒng)將使外部聲音能夠被更清晰地聽到，而第二個(gè)版本將更多地阻礙環(huán)境聲音被用戶聽到。
在模式之間的切換，蘋果建議在每個(gè)頭顯中使用一個(gè)驅(qū)動器，可以改變它通過不同端口投射聲音的方式，以匹配兩種不同的位置。這包括根據(jù)是否靠近耳朵來調(diào)整低音單元的功率水平，甚至是一個(gè)可切換的物理元件，可以改變聲音的運(yùn)動。聲音產(chǎn)生模塊將使用一個(gè)樞軸上的短臂，離樞軸最遠(yuǎn)的點(diǎn)包含用于放置在耳朵里的元件。根據(jù)它的樞軸方式，該裝置要么通過一種方法將音頻送入耳朵，要么使用另一種方法進(jìn)行聽外音，并自動進(jìn)行改變。除了樞軸，蘋果公司還表示，該音頻元件可能還能夠向耳朵傾斜和遠(yuǎn)離耳朵，以方便放置，并可能包括一個(gè)伸縮部分。
在第二項(xiàng)專利中，蘋果試圖解決AR頭顯如何在現(xiàn)實(shí)世界的視頻源上呈現(xiàn)虛擬物體，并結(jié)合現(xiàn)實(shí)世界的攝像頭數(shù)據(jù)和數(shù)字制作的版本為用戶即時(shí)執(zhí)行。由于這需要準(zhǔn)確而快速地執(zhí)行，這樣的過程可能需要大量的計(jì)算資源來完成，以達(dá)到高標(biāo)準(zhǔn)。在名為 "結(jié)合真實(shí)和虛擬圖像的方法和設(shè)備 "的專利中，蘋果提出了一種系統(tǒng)可以用盡可能少的資源來計(jì)算混合后的虛擬圖像的方法。
對于該系統(tǒng)，專利中提到了攝像頭的進(jìn)樣可以為 "真實(shí)像素 "創(chuàng)建一系列的數(shù)值，而這些數(shù)值以 "虛擬像素 "的形式存在于其虛擬對應(yīng)物中。每一個(gè)都有自己的像素值，用來進(jìn)行計(jì)算，以確定應(yīng)該使用什么最終像素值并顯示給用戶。兩個(gè)像素值可以合并成一個(gè)值，這個(gè)值可以基于真實(shí)像素值和虛擬像素值之間的加權(quán)平均值。蘋果公司估計(jì)，加權(quán)可以部分地根據(jù)真實(shí)或虛擬像素的alpha或透明度值來確定。確定真實(shí)像素的alpha值，可以通過對完整的相機(jī)圖像進(jìn)行下采樣，根據(jù)相機(jī)圖像創(chuàng)建一個(gè)模板，并根據(jù)下采樣圖像和模板生成一個(gè)消光參數(shù)矩陣。該消光參數(shù)圖像可以進(jìn)行上采樣，進(jìn)而可以創(chuàng)建兩個(gè)像素值可以合并成一個(gè)值，這個(gè)alpha值也可以用來為一個(gè)特定的像素創(chuàng)建顏色組件像素值，使各個(gè)顏色能夠混合，而不是整個(gè)像素值本身。通過使用該技術(shù)，人們認(rèn)為將圖像傳輸?shù)斤@示屏所需的帶寬可以 "少于 "單獨(dú)由攝像頭產(chǎn)生的數(shù)據(jù)的十分之一。
蘋果每周都會提交大量的專利申請，但雖然專利的存在表明了該公司研發(fā)工作感興趣的領(lǐng)域，但并不能保證這些概念會出現(xiàn)在未來的產(chǎn)品或服務(wù)中。
