來(lái)源:DeepTech深科技
鋼鐵與肉體,虛擬與現(xiàn)實(shí),鮮活的思想和冰冷的機(jī)器,諸如此類的人機(jī)共生畫面與賽博朋克情節(jié),早已在科幻 " 教父 " 詹姆斯卡梅隆的系列大片中得到了淋漓盡致地展示。
幸運(yùn)的是,這些刷新人類認(rèn)知的 " 黑科技 " 并沒(méi)有止步于大熒幕,而是真的被科學(xué)家們一步步變成了現(xiàn)實(shí)。比如,2009 年上映的《阿凡達(dá)》主打的腦機(jī)接口技術(shù),就于 2020 年 8 月被 " 硅谷鋼鐵俠 " 馬斯克搬上了新聞發(fā)布會(huì),當(dāng)眾宣布他的公司(Neuralink)成功在豬腦中植入了腦機(jī)接口芯片。此消息一出,立刻在全球引發(fā)了廣泛的關(guān)注與熱議。
當(dāng)所有人都慨嘆馬斯克在腦機(jī)接口領(lǐng)域已經(jīng)處于絕對(duì)領(lǐng)軍地位時(shí),一個(gè)華人卻站出來(lái)說(shuō)," 我們已完成超過(guò) 15000 個(gè)小時(shí)的人體植入和實(shí)驗(yàn),推進(jìn)速度遠(yuǎn)超馬斯克。"
圖 | 受試者用思想靈活控制假肢
這個(gè)人就是楊知,本科就讀于浙江大學(xué),后又前往加州大學(xué)圣克魯斯分校攻讀電氣工程學(xué)碩士與博士學(xué)位,師從劉文泰(Wentai Liu)教授。現(xiàn)任美國(guó)明尼蘇達(dá)大學(xué)雙城分校生物醫(yī)學(xué)工程系副教授。
圖 | 實(shí)驗(yàn)性人體研究受試者(左);楊知(右)
與馬斯克 Neuralink 所采用的在大腦中植入微電極陣列并進(jìn)行皮層解碼不同的是,楊知團(tuán)隊(duì)研發(fā)的新一代生物電神經(jīng)接口技術(shù)平臺(tái),是通過(guò)外周神經(jīng)通路在人的思想與機(jī)器之間建立新的信息管道,從而讓截肢者能真正靈巧而直觀地控制假肢。試驗(yàn)結(jié)果表明,這一技術(shù)能夠更加準(zhǔn)確地理解人體神經(jīng)系統(tǒng)中的信號(hào),因而有可能成為未來(lái)人機(jī)共生的基礎(chǔ)。
" 我認(rèn)為,這一研究成果是腦科學(xué)技術(shù)領(lǐng)域的一個(gè)里程碑式突破,特別是讓一個(gè)失去手的人與假肢真正融合為一體,做到‘所想即所得’。" 楊知十分自信地表示。
該研究成果于 2020 年 10 月 22 日發(fā)表在《神經(jīng)工程雜志》(Journal of Neural Engineering),標(biāo)題為《面向截肢者的生物電神經(jīng)接口,可實(shí)現(xiàn)直觀的假肢控制》(A bioelectric neural interface towards intuitive prosthetic control for amputees)。
圖 | 相關(guān)論文(來(lái)源:Journal of Neural Engineering)
共同第一作者為明尼蘇達(dá)大學(xué)生物醫(yī)學(xué)工程系的 Anh Tuan Nguyen 和 Jian Xu。通信作者為楊知和 Fasikl 公司的聯(lián)合創(chuàng)始人 Edward W. Keefer。
如何做到思想靈活控制假肢?
據(jù)介紹,該技術(shù)平臺(tái)包括三個(gè)組成部分:植入式束內(nèi)微電極,神經(jīng)芯片組,和人工智能(AI)解碼器。具體來(lái)說(shuō),就是研究人員首先根據(jù)截肢殘疾人的情況確定電極數(shù)量,目標(biāo)神經(jīng),和手術(shù)方案。比如最近的一個(gè)病例,該團(tuán)隊(duì)使用顯微外科束狀靶向法技術(shù)(FAST)將縱向束狀內(nèi)電極(LIFE Electrodes)植入截肢者的正中神經(jīng)和尺神經(jīng)中,形成與單個(gè)神經(jīng)束的接口。
通過(guò)超低噪聲的神經(jīng)芯片組來(lái)記錄極微弱的神經(jīng)電圖。然后由人工智能模型通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)來(lái)解碼神經(jīng)電圖,從而掌握受試者的想法。該平臺(tái)理論上可以將人的的思想和外界機(jī)器連接起來(lái),比如讓殘疾人控制一個(gè)假肢,又或是一臺(tái)電腦。
圖 | 新一代生物電神經(jīng)接口示意圖(來(lái)源:Journal of Neural Engineering)
其硬件系統(tǒng)包括完全集成的 Neuronix 小型前端記錄器。它由兩個(gè)子單元組成:頭部件和輔助部件,通過(guò)柔性線路連接;其植入的微電極陣列中,每個(gè)陣列由四個(gè)袖帶觸點(diǎn)、一個(gè)束內(nèi)柄和十個(gè)間隔為 0.5mm 的縱向束內(nèi)電極觸點(diǎn)組成。該設(shè)計(jì)旨在記錄來(lái)自單軸突和神經(jīng)元群體的神經(jīng)電圖。
圖 | 實(shí)驗(yàn)范式和硬件組件(來(lái)源:Journal of Neural Engineering)
在一個(gè)實(shí)驗(yàn)中,德州大學(xué)西南醫(yī)學(xué)院的神經(jīng)外科醫(yī)生 Jonathan Cheng 為一位經(jīng)橈骨截肢患者植入了四個(gè)縱向束狀內(nèi)電極陣列,其中兩個(gè)位于正中神經(jīng),另外兩個(gè)位于尺神經(jīng)。這樣的設(shè)計(jì)和手術(shù)方案是為了能更好的,有區(qū)別性的采集和調(diào)控神經(jīng)電圖中的運(yùn)動(dòng)控制信號(hào)和本體感受信號(hào)。
為驗(yàn)證人腦對(duì)假肢的控制效果,該團(tuán)隊(duì)采用鏡像雙邊訓(xùn)練法,即要求患者用能動(dòng)的手執(zhí)行各種手勢(shì),同時(shí)讓患者腦中想象讓受傷的手也執(zhí)行相同的動(dòng)作。受傷的手的神經(jīng)電圖是從微電極上獲取,而健全的手的運(yùn)動(dòng)會(huì)被數(shù)據(jù)手套捕獲。
基于深度學(xué)習(xí)的 AI 模型則負(fù)責(zé)處理這些數(shù)據(jù),包括預(yù)處理程序和神經(jīng)電圖解碼。在這項(xiàng)工作中,解碼有離線和在線兩種模式,分別用于測(cè)量系統(tǒng)帶寬和評(píng)估實(shí)際神經(jīng)解碼結(jié)果。
研究發(fā)現(xiàn),該平臺(tái)能從神經(jīng)系統(tǒng)中獲取大量的信息,且?guī)挸跸胂螅灾劣谀茏寶埣踩擞米杂梢庵緛?lái)控制假肢。并且,該平臺(tái)還支持雙向交流,除了可以讀取人腦的信號(hào)以外,還可以通過(guò)精密的微電刺激向神經(jīng)系統(tǒng)寫入信號(hào),從而讓殘疾人對(duì)機(jī)械手產(chǎn)生接近自然的感覺(jué)。目前殘疾人能夠執(zhí)行高達(dá) 15 自由度(DOF)的動(dòng)作,包括五個(gè)手指的彎曲 / 伸展和外展 / 內(nèi)收運(yùn)動(dòng),實(shí)現(xiàn)靈巧地控制機(jī)械手。
這種腦機(jī)接口到底強(qiáng)在哪里?
楊知表示,目前市場(chǎng)上的絕大部分腦機(jī)接口都是無(wú)創(chuàng)的,在皮膚以外或者貼著皮膚。但就像隔著墻壁拍照一樣,哪怕用紅外照相機(jī)也很難拍清楚,通過(guò)無(wú)創(chuàng)的方法很難拿到高質(zhì)量的腦信號(hào)。
這些無(wú)創(chuàng)的腦機(jī)接口分兩類。一類是基于腦信號(hào),提前設(shè)定幾個(gè)選項(xiàng),再由腦信號(hào)來(lái)激活其中的某個(gè)選項(xiàng)。所以目前基于腦信號(hào)的假肢只能執(zhí)行有限的動(dòng)作,達(dá)到 3-4 個(gè)自由度。
另一類在嚴(yán)格意義上并不是基于腦信號(hào)。例如 Facebook 收購(gòu)的 CTRL-labs 其實(shí)是基于體表肌電信號(hào)(EMG)。還有其他也聲稱是腦機(jī)接口的產(chǎn)品其實(shí)是基于眼球、舌頭及身體各部位的移動(dòng)。
楊知認(rèn)為,不管是哪一類,只要是基于無(wú)創(chuàng)的,獲取的信號(hào)質(zhì)量就會(huì)受到限制,性能也就必然受到影響,因此都無(wú)法做到像他們的技術(shù)一樣,能讓殘疾人用自由意志來(lái)控制假肢。
當(dāng)然,還有一大類植入式的腦機(jī)接口,比較知名的就是馬斯克去年宣布的 Neuralink。這需要在人腦中植入電極和芯片,做一個(gè)相當(dāng)有風(fēng)險(xiǎn)的開(kāi)顱手術(shù)。
" 但馬斯克是鋼鐵俠,他不 Care 這些所謂的風(fēng)險(xiǎn)和可能的感染。我自己也在做這方面的研究,所以我很清楚他們的技術(shù)目前還有很多無(wú)法解決的問(wèn)題和挑戰(zhàn)。也是因?yàn)檫@一點(diǎn),他們現(xiàn)在只推進(jìn)到動(dòng)物實(shí)驗(yàn)階段,離長(zhǎng)期的人體試驗(yàn)和拿到有效的實(shí)驗(yàn)數(shù)據(jù)還有一段路。" 楊知說(shuō)道。
相比而言,楊知團(tuán)隊(duì)所推出的平臺(tái)能與神經(jīng)系統(tǒng)做對(duì)接,而且其有效性和安全性已被人體試驗(yàn)驗(yàn)證。楊知強(qiáng)調(diào)稱," 完成人體試驗(yàn)并獲取大量有說(shuō)服力的數(shù)據(jù),是我們技術(shù)最大的優(yōu)勢(shì)之一。"
其次,他們的植入方式風(fēng)險(xiǎn)小很多。他們采用的方式是向手臂植入電極,屬于微創(chuàng)手術(shù),所以病人當(dāng)天或者第二天就可以出院。
未來(lái)或?qū)?shí)現(xiàn) " 用意念隔空打游戲 "
楊知告訴 DeepTech,早在 2004 年,他就開(kāi)始做神經(jīng)芯片方面的研究,并在當(dāng)時(shí)參與過(guò)人造視網(wǎng)膜的項(xiàng)目,即在盲人眼球里植入芯片電極,讓他們恢復(fù)部分視力。這一經(jīng)歷讓他對(duì)植入式系統(tǒng)有了大概的了解。
畢業(yè)后,他從 0 開(kāi)始組建自己的團(tuán)隊(duì)與神經(jīng)電子實(shí)驗(yàn)室。最初 5 年在做腦機(jī)界面和植入式神經(jīng)電子學(xué)研究,后又耗時(shí) 5 年走通各種臨床道路。在此期間,楊知于 2019 年 7 月 8 日在美國(guó)得克薩斯州成立了初創(chuàng)公司 Fasikl Inc.,致力于開(kāi)發(fā)神經(jīng) AI 技術(shù),推動(dòng)先進(jìn)的腦機(jī)通信技術(shù)的商業(yè)化落地。
" 從開(kāi)始到現(xiàn)在,我們耗費(fèi)了大概 10 余年時(shí)間,才從科研走到應(yīng)用以及創(chuàng)新創(chuàng)業(yè)。" 楊知感慨道。
回顧這一路求學(xué)和科研之路,他坦言,自己非常幸運(yùn)能遇到一位知識(shí)廣博且要求近乎苛刻的導(dǎo)師。一直以來(lái),其導(dǎo)師秉持著 " 不應(yīng)該以文章為導(dǎo)向做研究,而且一定要選擇自己真正感興趣的有意義的課題 " 的信條,這讓他真正學(xué)會(huì)了如何做科研,并開(kāi)始重新審視個(gè)人價(jià)值觀。
受到恩師的影響,楊知開(kāi)始慢慢從青年時(shí)代看重基礎(chǔ)性研究,轉(zhuǎn)到后來(lái)的 " 更看重研究的影響力 ", 最關(guān)心的問(wèn)題也變成了這項(xiàng)研究究竟能否為社會(huì)帶來(lái)好處,否則就沒(méi)有現(xiàn)實(shí)意義。
因此,他們的團(tuán)隊(duì)十分注重病患對(duì)其設(shè)計(jì)的假肢的使用感受。一位常年佩戴商業(yè)假肢的患者曾對(duì)他說(shuō):" 有了你們的技術(shù),我可以回歸自然的手部動(dòng)作,這太棒了。" 這對(duì)團(tuán)隊(duì)來(lái)說(shuō)就是前行道路上最大的鼓勵(lì)。
視頻 | 受試者與團(tuán)隊(duì)交流使用新一代腦機(jī)接口的感受
為了讓每一個(gè)研究進(jìn)展都有的放矢,真正貼合病患們的實(shí)際需求,他們?cè)儐?wèn)大家," 你覺(jué)得我們研發(fā)的腦機(jī)接口技術(shù)未來(lái)最大的應(yīng)用前景是什么?"
其中一位病患的回答給他們留下了深刻印象:
" 我覺(jué)得會(huì)是電腦游戲,這種接口也許不止能讓殘疾人,還能讓健全的人實(shí)現(xiàn)‘用意念打游戲’,完全不需要?jiǎng)邮志湍芨艨胀孓D(zhuǎn)《孤島驚魂》"。
" 真的會(huì)有健全的人愿意為了打游戲而去做一個(gè)微創(chuàng)手術(shù),往身體里植入電極嗎?"
" 當(dāng)然,你不知道用意念就能控制游戲中的角色,這對(duì)玩家來(lái)說(shuō)有多酷!如果你們能夠把這個(gè)技術(shù)做得更好,結(jié)果如何,who knows?"
病患的話讓人驚詫,同時(shí)也讓楊知得以從全新的視角審視這一研究的意義與應(yīng)用前景。
因此,未來(lái)他將分兩步繼續(xù)推進(jìn)這項(xiàng)研究工作,第一是繼續(xù)做研究,把現(xiàn)有框架進(jìn)一步開(kāi)發(fā)成在線范例,做到實(shí)時(shí)解碼神經(jīng)數(shù)據(jù),更加靈活地控制假肢。并努力優(yōu)化平臺(tái)的各部分組件,使其無(wú)縫地協(xié)同工作,讓處理延遲最小化。第二則是大力推動(dòng)產(chǎn)業(yè)化與實(shí)際應(yīng)用,并進(jìn)行大規(guī)模的臨床實(shí)驗(yàn),讓這項(xiàng)技術(shù)得到充分利用,最大程度普惠大眾。