一臺(tái)鼻竇癌手術(shù)正在進(jìn)行。這類手術(shù)的畫面頗具視覺沖擊力，外科醫(yī)生需要“掀開”患者的半張臉，才能暴露出腫瘤所在的位置。

后來有了微創(chuàng)技術(shù)，如今對(duì)于一些病例，用一個(gè)直徑三到四毫米的小內(nèi)窺鏡就能穿過鼻腔、切割腫瘤。

【資料圖】

但這就像把主刀醫(yī)生置于一條陷阱重重的狹窄小巷——鼻竇位于人的頭骨上，在鼻子和眼眶稍后一點(diǎn)的位置，周遭遍布著精密又重要的組織，視神經(jīng)、眼球、硬腦膜……甚至還有為大腦供血的頸動(dòng)脈。一毫米的誤差都可能深刻影響患者的術(shù)后人生。

這次手術(shù)不同尋常的是：主刀醫(yī)生面前的儀器里打出了一道光，手術(shù)區(qū)域隨即出現(xiàn)了腫瘤的 3D 影像，疊加在了患者身上。影像里，腫瘤是一塊亮粉色的立體建模，邊緣清晰可見，這就是他需要下刀的地方。

圖源：參考資料 [1]

隨著手術(shù)進(jìn)行，投影儀上的光學(xué)傳感器也在持續(xù)運(yùn)作，追蹤、重新校準(zhǔn)，以準(zhǔn)確反映患者頭顱的內(nèi)部構(gòu)造。它像是給了醫(yī)生一副透視眼。“這樣我就知道，打開那扇門，去掉這塊骨頭，有一條頸動(dòng)脈或者視神經(jīng)隱藏在后面。”主刀醫(yī)生如此形容道。

癌癥手術(shù)的恒久難題

這并非真人身上進(jìn)行的手術(shù)，而是加拿大腫瘤外科醫(yī)生 Jonathan Irish 在 2021 年運(yùn)用 AR 技術(shù)進(jìn)行的一場模擬實(shí)驗(yàn)。

他和團(tuán)隊(duì)試圖破解一個(gè)恒久難題：在癌癥手術(shù)中，如何盡量切除干凈癌變細(xì)胞，同時(shí)最大限度保留下健康組織？

這個(gè)問題在鼻竇癌手術(shù)中尤為突出。鼻竇是頭骨上的四對(duì)腔室，靠近鼻子和眼眶的位置。平時(shí)，它們加熱吸入的空氣，又像汽車安全氣囊一樣，在我們被“打臉”的時(shí)候起到緩沖作用。

圖源：維基百科

但由于一些原因，比如長期暴露于化工粉塵，這部分可能發(fā)生病變，發(fā)展成惡性腫瘤。鼻竇腫瘤發(fā)病率并不高，但早期癥狀不明顯，常被誤認(rèn)為感冒，因而真正發(fā)現(xiàn)時(shí)往往已經(jīng)是晚期。

此時(shí)，腫瘤可能已經(jīng)走出鼻竇，擴(kuò)散到眼窩甚至淋巴結(jié)處。人體的頭面部本就結(jié)構(gòu)復(fù)雜，在腫瘤壓迫下還發(fā)生了組織變形。這讓手術(shù)變得困難重重——切得過于保守，癌癥復(fù)發(fā)的幾率就會(huì)增加；過度切除則可能讓患者喪失一些正常生理功能。

常見的手術(shù)方案有兩種，開放式手術(shù)和內(nèi)窺鏡手術(shù)。但即便是視野更開闊的前者，也常常無法完全切除癌變細(xì)胞，還會(huì)留下大塊的面部瘢痕。同時(shí)，每次切開患者皮膚，都可能發(fā)生感染。因此，執(zhí)刀醫(yī)生都對(duì)提高手術(shù)精確度、縮短手術(shù)時(shí)間的需求尤為強(qiáng)烈。

過去，手術(shù)會(huì)借助 X 光、MRI、CT 等手段對(duì)患者進(jìn)行術(shù)前掃描，以二維的模式顯示病灶信息，進(jìn)行圖像引導(dǎo)。但這種方法存在一些顯著缺點(diǎn)：可讀性差，組織結(jié)構(gòu)的空間位置和毗鄰關(guān)系缺乏立體感。

因此，醫(yī)生仍非常依賴經(jīng)驗(yàn)和直覺來判斷動(dòng)刀的大小、切除的深度。而且，手術(shù)期間，醫(yī)生需要不斷在患者和電腦屏幕之間來回查看，難免造成分神與干擾。

Irish 想到，能不能干脆將腫瘤圖像投影到患者頭上？

使用 AR 對(duì)不同類型的鼻腔鼻竇腫瘤進(jìn)行投影，綠色的點(diǎn)用于位置對(duì)齊 ｜參考資料 [1]

跟著 AR“導(dǎo)航儀”走

AR 手術(shù)跟熒光引導(dǎo)手術(shù)異曲同工。熒光引導(dǎo)手術(shù)是通過向體內(nèi)注入熒光染料，更明確地顯示病灶與健康組織的邊界，協(xié)助醫(yī)生進(jìn)行切除。AR 則是通過投影的方式來展現(xiàn)這個(gè)邊界。

在這方面，鼻竇癌手術(shù)天然適合：它生長于骨頭上——這是一個(gè)固定不變的組織，術(shù)前依據(jù)掃描圖像生成的建模，與手術(shù)時(shí)器官的大小、位置，是幾乎一致的。這樣一來，投影圖像才能夠與腫瘤位置完全重疊。

相比之下，肺或是舌頭這類柔軟的組織更加不穩(wěn)定，可能在手術(shù)期間移位變形。它們的術(shù)前掃描在術(shù)中只能作為一個(gè)參考，具體位置還要視情況而定。

建模過程就相當(dāng)于“做了一次手術(shù)”。

團(tuán)隊(duì)里有五名工程師，每一位都有進(jìn)入手術(shù)室的特權(quán)，他們雖然不進(jìn)行手術(shù)，卻會(huì)在建模上標(biāo)注出虛線和路徑，設(shè)置各種參數(shù)，設(shè)定好該如何切割下腫瘤以及周圍的骨骼或軟組織。到真正手術(shù)的時(shí)候，“我的工作基本上就是去執(zhí)行這些設(shè)定。” Irish 表示。

2021 年，Jonathan Irish 開始帶領(lǐng)醫(yī)療團(tuán)隊(duì)運(yùn)用 AR 技術(shù)進(jìn)行鼻竇癌手術(shù)的模擬實(shí)驗(yàn)。他們使用人造頭骨、丙烯酸膠的可塑材料模擬出晚期鼻竇癌的狀況，交由五名擁有 3 到 5 年的外科醫(yī)生在模型上進(jìn)行虛擬的腫瘤移除。

AR 設(shè)備包括了便攜式高清投影儀、立體紅外相機(jī)、攝像頭和筆記本電腦。

AR 手術(shù)布局 ｜參考資料 [1]

對(duì)比傳統(tǒng)手術(shù)， AR 輔助的手術(shù)將殘留腫瘤組織的錯(cuò)誤率從 20.7% 降低至 9.4% 。

(A) 傳統(tǒng)圖像引導(dǎo)手術(shù)系統(tǒng)布局，(B) (C) (D) 由監(jiān)視器顯示的腫瘤三維重建模型｜參考資料 [1]

利用眼球追蹤技術(shù)，研究團(tuán)隊(duì)還記錄了手術(shù)期間醫(yī)生的視線位置。他們發(fā)現(xiàn)，通過監(jiān)視器引導(dǎo)手術(shù)的時(shí)候，醫(yī)生的視線有超過 20% 的時(shí)間并非集中于手術(shù)區(qū)域；AR 輔助手術(shù)時(shí)，這個(gè)比例則是零。

這個(gè)方法還不需要借助礙人的眼鏡或笨重的頭盔，使得醫(yī)生在長時(shí)間手術(shù)中更加輕便靈活，不會(huì)因?yàn)殚L期設(shè)備而引起眩暈。

Jonathan Irish 將手術(shù)中的 AR 技術(shù)運(yùn)用比作車輛導(dǎo)航系統(tǒng)。

二十年前司機(jī)開車迷路時(shí)，需要停下車，從抽屜里拿出地圖，鋪開它，查看想去的路線。

現(xiàn)在，大部分人車?yán)锒疾辉儆屑堎|(zhì)地圖，取而代之的是導(dǎo)航系統(tǒng)。只要輸入地址，導(dǎo)航系統(tǒng)就會(huì)自動(dòng)規(guī)劃，用藍(lán)色標(biāo)注出該走的路線，并幫助司機(jī)選出最短的那一條。經(jīng)過不熟悉或復(fù)雜的地段時(shí)，導(dǎo)航系統(tǒng)也會(huì)提示該如何繞過障礙物，找到最佳路徑。

除此之外，導(dǎo)航系統(tǒng)還能在前方出現(xiàn)緊急路況，或是車輛將與其他物體發(fā)生碰撞時(shí)，向司機(jī)發(fā)出警報(bào)，以避免誤入禁區(qū)。

對(duì)于鼻竇癌手術(shù)而言，“禁區(qū)”可能是眼睛和大腦的敏感區(qū)域。由于位置非常靠近，手術(shù)時(shí)，醫(yī)生稍不留神就會(huì)觸碰到眼球轉(zhuǎn)動(dòng)神經(jīng)和視神經(jīng)，對(duì)視力造成永久傷害。AR 設(shè)備會(huì)在醫(yī)生們距離重要神經(jīng)還有幾毫米時(shí)，以不同的聲響發(fā)出信號(hào)，避免觸及。

幾毫米的差別，對(duì)于患者的術(shù)后生活卻是質(zhì)的不同。

AR 手術(shù)，其實(shí)早就不新鮮啦

據(jù)統(tǒng)計(jì)， 2023 年至 2032 年，AR/VR 在醫(yī)療領(lǐng)域中的市場規(guī)模預(yù)計(jì)增長超過 20% 。此時(shí)距離 AR 手術(shù)的首次探索其實(shí)已經(jīng)過去了 25 年。

1997 年，B. Peuchet 等醫(yī)生在法國的 University Hospital Clermont-Ferrand 首次進(jìn)行了 AR 在脊柱手術(shù)的應(yīng)用。他們開發(fā)了一個(gè)名叫“虛擬現(xiàn)實(shí)椎體視覺”的系統(tǒng)，通過熒光鏡，將生成的 3D 透明椎體圖像重疊在手術(shù)視野中，方便醫(yī)生準(zhǔn)確定位椎體移位的位置。

多年來 AR 技術(shù)一直被限于教室中，培訓(xùn)醫(yī)學(xué)生進(jìn)行血塊清除，但近幾年， 真實(shí)的應(yīng)用案例開始嶄露頭角。2020 年 6 月，約翰霍普金斯大學(xué)的神經(jīng)外科醫(yī)生在手術(shù)中成功使用 AR 技術(shù)，醫(yī)生們利用 AR 技術(shù)將六個(gè)螺絲釘植入患者的脊柱，緩解了患者長期嚴(yán)重的背部疼痛。

與此同時(shí)，阿拉巴馬大學(xué)與埃默里大學(xué)也使用谷歌眼鏡試行了一起骨科肩關(guān)節(jié)置換術(shù)；斯坦福大學(xué)則在開發(fā)自己的 AR 手術(shù)設(shè)備。

中國也存在這樣的案例。 2018 年，西安市兒童醫(yī)院的醫(yī)生們?cè)?AR 輔助下，完成了一例兒童顱內(nèi)血管畸形切除手術(shù)。

但 Jonathan Irish 也表示，任何一項(xiàng)科學(xué)技術(shù)都無法取代一名優(yōu)秀的外科醫(yī)生。

這項(xiàng)技術(shù)并非沒有局限。首先，3D 圖像的疊加可能會(huì)導(dǎo)致醫(yī)生出現(xiàn)“視野盲區(qū)”——視野中出現(xiàn)一個(gè)意料之外的物體卻沒有看見。AR 呈現(xiàn)的復(fù)雜信息，也可能會(huì)分散醫(yī)生的注意力。因此在手術(shù)前，醫(yī)生以及技術(shù)人員對(duì)于重要信息的篩選尤為重要。

AR 手術(shù)對(duì)設(shè)備的要求也很高。病灶部位通常都是凹凸的表面，投影需達(dá)到足夠的圖像對(duì)比度才能足夠看清；獲取高精度的三維掃描數(shù)據(jù)需要額外的設(shè)備和時(shí)間，對(duì)于資源有限的醫(yī)療機(jī)構(gòu)，很難負(fù)擔(dān)其高昂的成本。

依賴設(shè)備的弊端也在于，一旦手術(shù)過程中設(shè)備出現(xiàn)故障或者數(shù)據(jù)出現(xiàn)問題，很可能會(huì)影響到手術(shù)的進(jìn)行。追蹤系統(tǒng)的反應(yīng)延遲會(huì)導(dǎo)致投影儀無法及時(shí)重新定位，降低精準(zhǔn)度，影響手術(shù)質(zhì)量。

除了手術(shù)，AR 在醫(yī)院還能干啥？

如今，AR 技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用不僅限于手術(shù)，在其他醫(yī)療場景也運(yùn)用廣泛。

疫情期間，由于個(gè)人防護(hù)設(shè)備緊缺以及病房內(nèi)的人員限制，英國國民醫(yī)療服務(wù)體系下的醫(yī)療機(jī)構(gòu)借助微軟的 HoloLens 搭建遠(yuǎn)程病房巡視團(tuán)隊(duì)。

這項(xiàng)技術(shù)只需要一名醫(yī)生進(jìn)入病房巡視，通過 HoloLens 全息可視化圖像顯示病人的掃描圖像及實(shí)時(shí)數(shù)據(jù)，遠(yuǎn)程聯(lián)系醫(yī)療團(tuán)隊(duì)提供指導(dǎo)，輔助診斷。HoloLens 大大提高了病房巡視效率，使得巡視次數(shù)減少了 30%。

AR 技術(shù)也在悄悄造福自閉癥患兒。波士頓兒童醫(yī)院主任 Howard Shane 曾表示，自閉癥兒童的口語交際能力相對(duì)困難，大部分學(xué)習(xí)都是通過觀看進(jìn)行的。“他們通常非常安靜，但對(duì)視覺的東西有很強(qiáng)的偏愛。”

因此，視覺互動(dòng)是自閉癥兒童學(xué)習(xí)口語能力和理解能力的有效辦法，而 AR 技術(shù)則提供了一個(gè)非常有趣的解決方案。

波士頓兒童醫(yī)院為一組傳統(tǒng)兒童玩具設(shè)計(jì)了虛擬化身：一個(gè)包含不同角色的農(nóng)舍，例如男孩、馬、谷倉、雞、雞蛋。

孩童可以將它們搬進(jìn)搬出。隨著不同的排列組合，設(shè)備會(huì)給出語音提示。給自閉癥兒童架起一座視覺與聽覺的橋梁。實(shí)驗(yàn)發(fā)現(xiàn)，原本無法玩過家家游戲的小孩子，在 AR 的視覺模式下，完成了所有的單步指令。

AR 技術(shù)的圖像與物理環(huán)境疊加，幫助自閉癥患兒感知世界 ｜ 參考資料 [11]

標(biāo)簽：