集成眼球凝視跟蹤用於立體觀看器的醫療裝置、系統和方法與流程

2024-03-05 06:14:15

外科手術程序能夠以微創方式使用遠程操作醫療系統執行。微創外科手術的好處是眾所周知的，並且當與傳統的開放式切口外科手術相比時包括較少的患者創傷、較少的失血和較快的恢復時間。另外，諸如由加利福尼亞森尼韋爾的直觀外科手術公司(Intuitive Surgical，Inc.)商業化的DA 手術系統的遠程操作醫療系統的使用是已知的。當與手動微創手術相比時，此類遠程操作醫療系統可以允許外科醫生用直觀控制和增加的精確性操作。

遠程操作醫療系統可以包括聯接到一個或更多個機器臂的一個或更多個器械。如果所述系統用於執行微創手術，則所述器械可以通過諸如小切口的患者體內的一個或更多個小開口或諸如例如口、尿道或肛門的自然腔道進入手術區域。在一些情況下，不通過(一個或更多個)開口直接插入(一個或更多個)器械，套管或其他引導元件能夠插入每個開口中，並且器械能夠通過套管插入以進入手術區域。諸如內窺鏡的成像工具能夠用於觀看手術區域，並且由成像工具捕獲的圖像能夠顯示在圖像顯示器上，以在外科手術期間由外科醫生觀看。

提供遠程操作醫療系統是可取的，遠程操作醫療系統能夠有效地並精確地採用眼球凝視跟蹤用於在微創醫療程序期間的各種應用。本文公開的系統和方法克服現有技術的缺點中一個或更多個。

技術實現要素：

在一個示例性方面，本公開涉及一種包括圖像顯示器、右眼球跟蹤器、左眼球跟蹤器和至少一個處理器的眼球跟蹤系統。圖像顯示器經配置向使用者顯示術野的圖像。在一方面，右眼球跟蹤器經配置測量關於使用者的右眼球的第一凝視點的數據。在一方面，右眼球跟蹤器包括右立體成像裝置。在一方面，左眼球跟蹤器經配置測量關於使用者的左眼球的第二凝視點的數據。在一方面，左眼球跟蹤器包括左立體成像裝置。在一方面，至少一個處理器經配置處理關於第一凝視點和第二凝視點的數據，以確定其中使用者的凝視點指示的所顯示的圖像中的觀看位置。

在另一個示例性方面，本公開涉及一種包括圖像顯示器、右眼球跟蹤器、左眼球跟蹤器、光學組件和至少一個處理器的眼球跟蹤系統。圖像顯示器經配置向使用者顯示術野的圖像並經配置發射在第一波長範圍中的光。在一方面，右眼球跟蹤器經配置發射在第二波長範圍中的光並測量關於使用者的右眼球的第一凝視點的數據。在一方面，左眼球跟蹤器經配置發射在第二波長範圍中的光並測量關於使用者的左眼球的第二凝視點的數據。在一方面，光學組件設置在圖像顯示器和使用者的右眼球和左眼球之間。在一方面，光學組件經配置指示第一波長範圍的光和第二波長範圍的光，使得第一波長和第二波長共享左眼球和圖像顯示器之間的左光學路徑的至少一部分並共享右眼球和圖像顯示器之間的右光學路徑的至少一部分，而右眼球跟蹤器和左眼球跟蹤器對使用者不可見。在一方面，至少一個處理器經配置處理關於第一凝視點和第二凝視點的數據，以確定其中使用者的凝視點指示的所顯示的圖像中的觀看位置。

在另一個示例性方面，本公開涉及一種用於執行醫療程序的遠程操作醫療系統。在一方面，遠程操作醫療系統包括眼球跟蹤系統和控制單元。在一方面，眼球跟蹤系統包括圖像顯示器、至少一個右眼球跟蹤器、至少一個左眼球跟蹤器和至少一個處理器。圖像顯示器經配置向使用者顯示術野的圖像。在一方面，至少一個右眼球跟蹤器經配置測量關於使用者的右眼球的第一凝視點的數據，並且至少一個左眼球跟蹤器經配置測量關於使用者的左眼球的第二凝視點的數據。在一方面，至少一個處理器經配置處理關於第一凝視點和第二凝視點的數據，以確定其中使用者的凝視點指示的所顯示的圖像中的觀看位置。在一方面，控制單元經配置基於所確定的觀看位置控制遠程操作醫療系統的至少一個功能。

在另一個示例性方面，本公開涉及一種包括圖像顯示器、至少一個右眼球跟蹤器、至少一個左眼球跟蹤器、右眼球光發射器和左眼球光發射器、光學組件和至少一個處理器的眼球跟蹤系統。圖像顯示器經配置向使用者顯示術野的立體圖像。在一方面，至少一個右眼球跟蹤器經配置測量關於使用者的右眼球的第一凝視點的數據，並且至少一個左眼球跟蹤器經配置測量關於使用者的左眼球的第二凝視點的數據。在一方面，右眼球光發射器經配置向使用者的右眼球發射第一波長範圍的光，並且左眼球光發射器經配置向使用者的左眼球發射第一波長範圍的光。在一方面，光學組件定位在圖像顯示器和使用者的眼球之間。在一方面，光學組件包括經布置提供在使用者的眼球、眼球跟蹤器和光發射器之間的光學連通的右眼球反射鏡組和左眼球反射鏡組。在一方面，至少一個處理器經配置處理關於第一凝視點和第二凝視點的數據，以確定其中使用者的凝視點指示的所顯示的立體圖像中的觀看位置。

這些實施例和其他實施例相對於下列附圖在下面進一步討論。

附圖說明

當結合附圖閱讀時，本公開的各方面從下列具體實施方式最好地理解。強調的是，根據本行業中的標準慣例，各種特徵部不按比例繪製。實際上，為了便於討論，各種特徵部的尺寸可以任意地增大或減小。另外，本公開可以在各種示例中重複參考標號和/或字母。此重複是為了簡單和清楚起見並且本身不指示所討論的各種實施例和/或配置之間的關係。

圖1A根據本公開的一個實施例示出示例性遠程操作醫療系統。

圖1B、圖1C和圖1D根據本公開的各種實施例示出遠程操作醫療系統的示例性部件。具體地，圖1B根據本公開的一個實施例示出示例性遠程操作組件的正視圖。圖1C根據本公開的一個實施例示出示例性操作員輸入系統的正視圖。圖1D根據本公開的一個實施例示出示例性視覺手推車(vision cart)部件的前視圖。

圖2A根據本公開的一個實施例示出相對於示例性圖像顯示器和術野的使用者的3D坐標框架的方框圖。

圖2B是根據本公開的一個實施例示出使用眼球跟蹤單元來影響遠程作業系統和/或手術器械的示例性方法的流程圖。

圖3A-3D根據本公開示意性地示出由圖1A、圖1B和圖1C的遠程操作醫療系統使用的立體觀看器的眼球跟蹤系統的各種實施例。

圖4A根據本公開的一個實施例示出用於使用圖3A-3D的眼球跟蹤系統確定外科醫生的3D凝視點的方法。

圖4B是根據本公開的一個實施例示出當預定目標T在校準過程期間在顯示器上示出時眼球跟蹤單元跟蹤外科醫生的角膜反射和瞳孔的示例的示意圖。

圖4C是根據本公開的一個實施例示出與外科醫生的角膜反射和瞳孔位置對應的2D坐標框架的示例的示意圖。

具體實施方式

為了促進對本公開的原理的理解，現在將參考附圖中所示的實施例，並且將使用具體語言來描述相同的實施例。然而，將理解的是，不意在限制本公開的範圍。在下列具體實施方式中，許多具體細節將詳細闡述，以便提供對所公開的實施例的全面理解。然而，將對本領域的技術人員明顯的是，本公開的實施例可以在無這些具體細節的情況下實踐。在其他情況下，眾所周知的方法、過程、組件和電路尚未詳細描述，以便不會不必要地模糊本公開的實施例的各方面。

對所描述的裝置、器械、方法和本公開的原理的任何進一步應用的任何變化和進一步修改被充分地設想為將通常被本公開涉及的本領域的技術人員容易想到。具體地，充分地設想到，相對於一個實施例描述的特徵部、組件和/或步驟可以與相對於本公開的其他實施例描述的特徵部、組件和/或步驟組合。另外，本文提供的尺寸是用於具體示例並設想到不同大小、尺寸和/或比例可以用於實施本公開的概念。為了避免不需要的描述性重複，根據一個說明性實施例描述的一個或更多個組件或動作在適用時能夠根據其他說明性實施例使用或省略。為了簡便起見，這些組合的許多重述不會單獨地描述。為了簡單起見，在一些情況下，相同的參考標號在整個附圖中使用，以指代相同或類似的部件。

下面的實施例將就其在三維空間中的狀態而言描述各種器械和器械的各部分。如本文所用，術語「位置」是指物體或物體的一部分在三維空間(例如，沿笛卡爾X、Y、Z坐標的三個平移自由度)中的位置。如本文所用，術語「取向」是指物體或物體的一部分的旋轉放置(三個旋轉自由度——例如，滾動(roll)、俯仰(pitch)和搖動(yaw))。如本文所用，術語「姿態」是指物體或物體的一部分在至少一個平移自由度中的位置，並指物體或物體的一部分在至少一個旋轉自由度(多達六個總自由度)中的取向。如本文所用，術語「形狀」是指沿伸長物體測量的一組姿態、位置或取向。

將理解的是，術語「近端」和「遠端」通過參照臨床醫生操縱從臨床延伸至手術部位的器械的端部在本文使用。術語「近端」是指更接近臨床醫生的器械的部分，並且術語「遠端」是指遠離臨床醫生並更接近手術部位的器械的部分。為了簡潔和清楚起見，諸如「水平的」、「垂直的」、「在上面」和「在下面」的空間術語可以相對於附圖在本文使用。然而，手術器械在許多取向和位置中使用，並且這裡的術語不意在是限制性的和絕對的。

本公開通常涉及使用眼球跟蹤系統在包括但不限於診斷、手術和/或治療過程的各種醫療程序中所用的遠程操作醫療系統和/或器械的使用期間觀察並測量使用者眼球的特徵(例如，眼球凝視跟蹤)。具體地，在一些實施例中，本文公開的眼球跟蹤系統依賴於在手術控制臺上跟蹤使用者的眼球凝視的精確位置(例如，2D位置或3D位置)的能力。在一些實施例中，眼球跟蹤系統可以用於通過直接地作業系統器械和/或通過影響系統特徵來控制遠程作業系統來實現全系統變化。具體地，本公開的一些實施例涉及通過在手術控制臺上精確地跟蹤操作員的眼球凝視的系統和器械控制，而操作員在微創手術期間使用遠程操作醫療系統。

在遠程操作手術系統中，外科醫生的眼球凝視點可以由諸如立體攝像機的一個或更多個眼球跟蹤器在外科手術期間跟蹤。然而，由於通過非限制性示例的方式包括使用者的頭部位置的變化和用於每個眼球的單獨圖像顯示器(例如，產生立體視圖)的各種因素，眼球凝視跟蹤可以是不精確的。例如，外科醫生的眼球的瞳孔位置和角膜反射能夠通過外科醫生的頭部和眼球取向的組合確定。在許多情況下，外科醫生的頭部運動、在控制臺上的外科醫生的頭部壓力和/或由眼球跟蹤器在外科手術期間的圖像遮擋可以危害使用常規技術的精確和有效眼球凝視跟蹤。常規地，眼球凝視跟蹤技術要求設置在遠程操作手術系統外部的外部裝置在眼球跟蹤過程期間使用。例如，外部裝置可以安裝在由外科醫生在外科手術期間戴的一副眼鏡上。在外部眼球跟蹤裝置和外科醫生的眼球之間通常有距離和相對運動。因此，此類外部眼球跟蹤裝置不僅可以對外科醫生產生不便和不舒服的感覺，而且可以影響外科醫生的操作的精確性。可替代地，常規的眼球凝視跟蹤裝置可以位於目鏡附近。當外科醫生正在看向目鏡時，此配置可以對外科醫生的視覺產生幹擾。例如，眼球凝視跟蹤裝置的邊緣可以出現在外科醫生的視覺中，這可以使外科醫生分心或危害其術野的視圖。在一些實施例中，本文描述的眼球凝視跟蹤裝置經配置使眼球跟蹤器能夠共享相同的光學路徑的至少一部分作為所顯示的圖像，同時保持對外科醫生不可見。

本文公開的實施例通過補償諸如通過非限制性示例的方式的使用者頭部運動、頭部壓力、由攝像機或跟蹤器的圖像遮擋和/或到每個眼球的獨立圖像顯示器的共同錯誤引起的因素，改進眼球跟蹤裝置的精確性。通過使用模型基於從用於每個眼球的一個或更多個眼球跟蹤器獲得的位置數據和恆定的瞳孔間距(和/或其他眼球跟蹤特徵)的假設更精確地預測3D眼球凝視位置，本文的實施例考慮到這些錯誤引起的因素。具體地，使用者的每個眼球由其自己的獨立眼球跟蹤器測量。本領域的技術人員將認識到本文公開的眼球跟蹤系統可用在從更精確的凝視協助系統和/或器械控制獲益的類似的(例如，非遠程操作)應用中。通過使用本文公開的眼球跟蹤系統和方法，使用者可以經歷與遠程操作醫療系統的更直觀且更有效的交互。

根據各種實施例，微創醫療程序可以使用遠程作業系統以引導器械輸送和操作而執行。參照附圖的圖1A，用於在例如包括診斷、治療或手術過程的醫療過程中的遠程操作醫療系統通常由參考標號10指示。如將描述，本公開的遠程操作醫療系統是在外科醫生的遠程操作控制下。在可替代的實施例中，遠程操作醫療系統可以在經編程執行程序或子程序的計算機的部分控制下。在其他可替代的實施例中，在經編程執行程序或子程序的計算機的完全控制下的全自動化醫療系統可以用於執行程序或子程序。如圖1中所示，遠程操作醫療系統10通常包括接近或安裝到其上定位患者P的手術臺O的遠程操作組件12。遠程操作組件12可以稱為患者側操縱器(PSM)。醫療器械繫統14可操作地聯接到遠程操作組件12。操作員輸入系統16允許外科醫生或其他類型的臨床醫生S觀看手術部位的圖像或表示手術部位的圖像並控制醫療器械繫統14的操作。操作員輸入系統16可以稱為主控制臺或外科醫生的控制臺。能夠用於實施本公開中描述的系統和技術的遠程操作手術系統的一個示例是加利福尼亞森尼韋爾的直觀外科手術公司製造的da 外科手術系統。

遠程操作組件12支持醫療器械繫統14並且可以包括一個或更多個非伺服控制的連杆(例如，可以手動地定位並鎖定在適當位置中的一個或更多個連杆，通常稱為裝配結構)和遠程操作操縱器的動態結構(參見例如圖2)。遠程操作組件12包括驅動醫療器械繫統14上的輸入的多個電動機。這些電動機響應於來自控制系統22的命令移動。電動機包括驅動系統，其在聯接到醫療器械繫統14時可以推進醫療器械到自然或手術產生的解剖孔口。其他機動化的驅動系統可以以多個自由度移動醫療器械的遠端，多個自由度可以包括三個線性運動度(例如，沿X、Y、Z笛卡爾軸線的線性運動)和三個旋轉運動度(例如，圍繞X、Y、Z笛卡爾軸線的旋轉)。此外，電動機能夠用於致動器械的可鉸接末端執行器。

遠程操作醫療系統10也包括圖像捕獲系統18，圖像捕獲系統18包括諸如內窺鏡的圖像捕獲裝置和相關的圖像處理硬體和軟體。遠程操作醫療系統10也包括控制系統22，其操作性地連接到遠程操作組件12的傳感器、電動機、致動器和其他組件、操作員輸入系統16和圖像捕獲系統18。

操作員輸入系統16可以位於外科醫生的控制臺處，外科醫生的控制臺通常位於與手術臺O相同的房間中。然而，應該理解的是外科醫生S能夠位於與患者P不同的房間或完全不同的建築物中。操作員輸入系統16通常包括用於控制醫療器械繫統14的一個或更多個控制裝置。更具體地，響應於外科醫生的輸入命令，控制系統22影響伺服機械運動醫療器械繫統14。該(一個或更多個)控制裝置可以包括任何數量的諸如手柄、操縱杆、跟蹤球、數據手套、觸發槍、手操作控制器、足操作控制器、聲音識別裝置、觸控螢幕、身體運動或存在傳感器等各種輸入裝置中的一個或更多個。在一些實施例中，該(一個或更多個)控制裝置將提供有與遠程操作組件的醫療器械相同的自由度，以提供外科醫生遠程呈現的感知，其中，(一個或更多個)控制裝置與器械成一整體，使得外科醫生具有直接控制器械就好像存在於手術部位處的強的感知。在其他實施例中，(一個或更多個)控制裝置可以具有比相關聯的醫療器械更多或更少的自由度，並且仍然提供外科醫生遠程呈現。在一些實施例中，(一個或更多個)控制裝置是手動輸入裝置，手動輸入裝置以六自由度移動並且也可以包括用於致動器械(例如，用於關閉抓爪，施加電勢至電極，輸送醫學治療等)的可致動手柄。

系統操作員看見由圖像捕獲系統18捕獲的圖像，圖像經呈現用於在操作地聯接到或併入操作員輸入系統16的顯示系統20上觀看。顯示系統20顯示由圖像捕獲系統18的子系統產生的手術部位和(一個或更多個)醫療器械繫統14的圖像或表示。顯示系統20和操作員輸入系統16可以經取向，使得操作員能夠在遠程呈現的感知下控制醫療器械繫統14和操作員輸入系統16。顯示系統20可以包括多個顯示器，如用於向操作員的每個眼球呈現單獨圖像的單獨右顯示器和左顯示器，從而允許操作員觀看立體圖像。

可替代地或另外地，顯示系統20可以呈現使用諸如計算機層析術(CT)、磁共振成像(MRI)、螢光檢查、溫度記錄、超聲波、光學相干斷層成像(OCT)、熱成像、阻抗成像、雷射成像、納米管X射線成像等成像技術在手術前或在手術中記錄和/或成像的手術部位的圖像。所呈現的手術前或手術中圖像可以包括二維、三維或四維(包括例如基於時間或基於速度的信息)圖像和用於再現圖像的相關聯圖像數據組。

控制系統22包括至少一個存儲器和至少一個處理器(未示出)，和典型地多個處理器，用於實現在遠程作業系統12、醫療器械繫統14、操作員輸入系統16、圖像捕獲系統18和顯示系統20之間的控制。控制系統22也包括編程指令(例如，存儲指令的計算機可讀介質)，以實施根據本文公開的各方面描述的一些或全部方法。雖然控制系統22被示出作為圖1的簡化示意圖中的單個方框，但是系統可以包括兩個或更多個數據處理電路，其中處理的一部分可選地在遠程操作組件12上或鄰近遠程操作組件12執行，處理的另一部分在操作員輸入系統16處執行等。可以採用廣泛的各種集中或分布式數據處理構造中的任何一個。類似地，所編程的指令可以實施作為若干單獨程序或子例程，或者它們可以集成到本文的遠程作業系統的若干其他方面中。在一個實施例中，控制系統22支持諸如藍牙、IrDA、HomeRF、IEEE 802.11、DECT和無線遙測的無線通信協議。

在一些實施例中，控制系統22可以包括從醫療器械繫統104接收力和/或轉矩反饋的一個或更多個伺服控制器。響應於反饋，伺服控制器傳送信號至操作員輸入系統16。(一個或更多個)伺服控制器也可以傳送指示遠程操作組件12移動(一個或更多個)醫療器械繫統14的信號，(一個或更多個)醫療器械繫統14經由身體中的開口延伸到患者身體內的內部手術部位中。可以使用任何合適的常規或專門的伺服控制器。伺服控制器可以與遠程操作組件12分離，或者與遠程操作組件12集成。在一些實施例中，伺服控制器和遠程操作組件設置作為與患者的身體鄰近定位的遠程操作臂手推車的一部分。

在此實施例中，遠程操作醫療系統10也包括可以操作地聯接到或併入操作員輸入系統16的眼球跟蹤單元24。眼球跟蹤單元24操作地聯接到控制系統22用於在操作員正在觀看顯示器20和/或在操作員輸入系統16處操作操作員控制時感測、測量、記錄和傳送與操作員的眼球相關的信息。

遠程操作醫療系統10還可以包括諸如照明系統的任選操作和支持系統(未示出)、轉向控制系統、灌注系統和/或抽吸系統。在可替代的實施例中，遠程作業系統可以包括一個以上的遠程操作組件和/或一個以上的操作員輸入系統。準確數量的操縱器組件將取決於手術過程和手術室內的空間限制等其他因素。操作員輸入系統可以並置，或者它們可以定位在單獨的位置中。多個操作員輸入系統允許一個以上的操作員以各種組合控制一個或更多個操縱器組件。

圖1B是根據一個實施例的遠程操作組件100(例如，圖1A中所示的遠程操作組件12)的正視圖。組件100包括依靠在地板上的底座102、安裝在底座102上的支持塔104和支撐手術工具(包括圖像捕獲系統18的各部分)的若干臂。如圖1B中所示，臂106a、106b、106c是支撐並移動用於操縱組織的手術器械的器械臂，並且臂108是支撐並移動內窺鏡的攝像機臂。圖1B還示出分別安裝在器械臂106a、106b、106c上的可交換手術器械110a、110b、110c，並且示出安裝在攝像機臂108上的內窺鏡112。內窺鏡112可以是立體內窺鏡，用於捕獲手術部位的立體圖像並提供單獨的立體圖像至顯示系統20。知識淵博的人將理解到，支撐器械和攝像機的臂也可以由安裝到天花板或牆壁，或者在一些情況下安裝到手術室中的另一件設備(例如，手術臺)的(固定的或可移動的)底座平臺支撐。同樣地，將理解到可以使用兩個或更多個單獨底座(例如，一個底座支撐每個臂)。

如圖1B中進一步所示，器械110a、110b、110c和內窺鏡112分別包括器械接口150a、150b、150c和150d，並分別包括器械軸152a、152b、152c和152d。在一些實施例中，遠程操作組件100可以包括用於相對於套管固定器械110a、110b、110c和內窺鏡112的套管的支撐件。在一些實施例中，每個器械臂106a、106b、106c和108的各部分可以由手術室中的工作人員可調節，以便相對於患者定位器械110a、110b、110c和內窺鏡112。臂106a、106b、106c和108的其他部分可以由操作員在操作員輸入系統120處致動和控制(如圖1C中所示)。手術器械110a、110b、110c和內窺鏡112也可以由操作員在操作員輸入系統120處控制。

圖1C是操作員輸入系統120(例如，圖1A中所示的操作員輸入系統16)的正視圖。操作員輸入系統120包括配備有左右多自由度(DOF)控制接口122a和122b的控制臺121，左右多自由度控制接口122a和122b是用於控制手術器械110a、110b、110c和內窺鏡112的運動鏈。外科醫生典型地用大拇指和食指抓持在每個控制接口122上的夾錠鉗(pincher)組件124a、124b，並且能夠移動夾錠鉗組件至各種位置和取向。當選擇工具控制模式時，每個控制接口122經配置控制對應手術器械和器械臂106。例如，左控制接口122a可以經聯接控制器械臂106a和手術器械110a，並且右控制接口122b可以經聯接控制器械臂106b和手術器械110b。如果第三器械臂106c在手術過程期間使用並定位在左側上，則左控制接口122a能夠從控制臂106a和手術器械110a切換到控制臂106c和手術器械110c。同樣地，如果第三器械臂106c在手術過程期間使用並定位在右側上，則右控制接口122a能夠從控制臂106b和手術器械110b切換到控制臂106c和手術器械110c。在一些情況下，控制接口122a、122b和臂106a/手術器械110a的組合和臂106b/手術器械110b的組合之間的控制分配也可以交換。例如如果內窺鏡滾動180度使得在內窺鏡的視場中移動的器械看上去在與外科醫生正在移動的控制接口相同的一側上，這可以完成。夾錠鉗組件典型地用於在手術器械110的遠端處操作帶卡爪的手術末端執行器(例如，剪刀、抓持牽開器等)。

附加的控制項提供有足踏板128。每個足踏板128能夠啟用在所選擇的器械110之一上的某些功能。例如，足踏板128能夠啟用鑽頭或燒灼工具，或者可以操作灌注、抽吸或其他功能。多個器械能夠通過壓下多個踏板128啟用。器械110的某個功能可以由其他控制項啟用。

外科醫生的控制臺120也包括立體圖像觀看器系統126(例如，圖1A中所示的顯示系統20)。立體圖像觀看器系統126包括左目鏡125a和右目鏡125b，使得外科醫生可以在立體圖像觀看器系統126內分別使用外科醫生的左右眼觀看左右立體圖像。由內窺鏡112捕獲的左側圖像和右側圖像在對應的左右圖像顯示器上輸出，外科醫生感知作為顯示系統(例如，圖1A中所示的顯示系統20)上的三維圖像。在一個有利的配置中，控制接口122定位在立體圖像觀看器系統126下面，使得顯示器中所示的手術工具的圖像看上去在位於顯示器下面的外科醫生的手附近。這個特徵允許外科醫生在三維顯示器中直觀地控制各種手術器械，就好像直接觀看手部。因此，相關聯的器械臂和器械的伺服控制基於內窺鏡圖像參考框架。

如果控制接口122切換到攝像機控制模式，則也使用內窺鏡圖像參考框架。在一些情況下，如果選擇了攝像機控制模式，則外科醫生可以通過一起移動控制接口122中的一個或兩者來移動內窺鏡112的遠端。外科醫生然後可以通過移動控制接口122就好像保持圖像在他的或她的手部中而直觀地移動(例如，平移、傾斜、縮放)所顯示的立體圖像。

如在圖1C中進一步所示，頭靠件130定位在立體圖像觀看器系統126上面。隨著外科醫生正在通過立體圖像觀看器系統126觀看，外科醫生的前額頭緊貼頭靠件130定位。在本公開的一些實施例中，內窺鏡112或其他手術器械的操縱能夠通過頭靠件130的操縱，而不是通過控制接口122的利用實現。在一些實施例中，頭靠件130能夠例如包括壓力傳感器、搖板、光學監測的滑動板或能夠檢測外科醫生的頭部的運動的其他傳感器。關於使用感測方法操縱頭靠件以便控制內窺鏡攝像機的附加細節可以例如在題為「ENDOSCOPE CONTROL SYSTEM(內窺鏡控制系統)」的美國申請No.61/865,996中發現，該申請通過引用併入本文。

圖1D是手術系統的視覺手推車部件140的前視圖。例如，在一個實施例中，視覺手推車部件140是圖1A中所示的醫療系統10的一部分。視覺手推車140能夠封裝醫療系統的中央電子數據處理單元142(例如，圖1A中所示的所有控制系統22或部分控制系統22)和視覺設備144(例如，圖1A中所示的圖像捕獲系統18的各部分)。中央電子數據處理單元142包括用於操作手術系統的很多數據處理。然而，在各種實施方式中，電子數據處理可以分布在外科醫生控制臺120和遠程操作組件100中。視覺設備144可以包括用於內窺鏡112的左右圖像捕獲功能的攝像機控制單元。視覺設備144也可以包括提供照明用於使手術部位成像的照明設備(例如，氙氣燈)。如圖1D中所示，視覺手推車140包括可選的觸控螢幕監視器146(例如，24寸監視器)，其可以安裝在其他地方，例如組件100上或者安裝在患者側手推車上。視覺手推車140還包括用於諸如電外科手術單元、吹藥器、抽吸灌注器械或第三方燒灼設備的可選的輔助手術設備的空間148。遠程操作組件100和外科醫生的控制臺120例如經由光纖通信鏈路聯接到視覺手推車140，使得三個組件一起用作為外科醫生提供直觀遠程呈現的單個遠程操作微創手術系統。

注意在一些實施例中，遠程操作手術系統的一些或全部組件100能夠在虛擬的(模擬的)環境中實施，其中由外科醫生在外科醫生的控制臺120處看到的一些或全部圖像能夠是器械和/或解剖結構的同步圖像。在一些實施例中，此類同步圖像能夠由視覺手推車部件140提供和/或直接地在外科醫生的控制臺120處(例如，經由模擬模塊)產生。

在用參照圖1A-1D描述的遠程操作手術系統的典型微創手術過程期間，向患者身體中做出至少兩個切口(通常使用套管針以放置相關聯的套管)。一個切口是用於內窺鏡攝像機器械，並且其他切口是用於手術器械。在一些手術過程中，若干器械和/或攝像機埠用於提供進入和成像手術部位。雖然切口與用於傳統開放式外科手術的較大切口相比是相對小的，但是需要最小數量的切口，以進一步減少患者創傷和用於改進的美容術。在其他實施例中，遠程操作醫療系統10可以被使用，其中，利用單個切口進入患者解剖結構，或其中穿過諸如鼻、口、肛門、陰道等自然腔道進入。

在典型的遠程操作外科手術期間，對於外科醫生用身體操縱各種控制項以控制手術系統、成像裝置和/或與系統相關聯的其他手術器械，通常是必要的。例如，外科醫生可能需要通過用身體操縱控制項來引導並影響裝置而調節成像裝置的視場。外科醫生可以使用他的或她的手部，以手動地控制操縱杆或滑鼠，或者使用他的或她的腳部，以在外科醫生的控制臺處輕踏足踏板，以登陸至手術系統，以搜索在內窺鏡的視圖內的目標手術部位，以操作諸如夾鉗的手術器械的運動和/或以調節系統設置或顯示設置。常規方法要求外科醫生將一隻手從手術操作釋放，或者使用一隻腳輕踏足踏板，其均可以不必要地延遲或打擾手術操作。例如，手部動作或腳部動作可以從目標手術部位重新引導外科醫生的凝視和注意至外科醫生的控制臺，這可以延遲或打擾操作。在執行所需要的手動調節之後，外科醫生可能需要花費附加時間將他的或她的注意和凝視點重新聚集在目標手術部位上。

本文公開的實施例利用凝視檢測，以增強一個或更多個使用者(例如，外科醫生和/或培訓師)與手術系統交互的方式。通過將使用者的眼球凝視(例如，相對於顯示系統或其他醫療或手術系統部件的使用者的眼球凝視的3D位置)轉換為指引至手術系統的命令中，本文公開的實施例可以允許比由常規的控制方法提供的更快和更有效的對遠程操作醫療系統10的控制。眼球跟蹤或眼球凝視跟蹤是測量凝視點(POG)(即，通常在3D空間中，使用者正看的地方)或眼球相對於頭部的運動的過程。換句話說，POG是在其中一個人的凝視指示的空間中的點，並且也已經定義為在每個眼球的視網膜(即小凹)的最高敏銳區域的中心上成像的空間中的點。

圖2A示出相對於圖像顯示器151(例如，圖1A中所示的圖像顯示系統20)和術野155的使用者U(例如，外科醫生S或代理人)的方框圖。使用者(和他的或她的眼球)存在於第一3D坐標框架160中，圖像顯示器151包括第二3D坐標框架165，並且術野存在於第三3D坐標框架170中。每個坐標框架160、165、170包括彼此不同的尺寸和屬性。隨著使用者相對於第二框架165中的圖像顯示器165轉移在第一框架160中他的或她的凝視，本文公開的實施例能夠將該眼球運動轉換為控制信號，以對應地影響遠程操作醫療系統10和/或顯示器的第二框架165和/或術野的第三框架170中的手術器械。

在一方面，其他眼球特徵的眼球凝視跟蹤和觀察能夠用於整體地與遠程操作醫療系統10連通和/或影響遠程操作醫療系統10的行為。例如，由圖1A中所示的眼球跟蹤單元24觀察的眼球特徵和動態可以用於外科醫生識別和登陸(例如，以與視網膜掃描類似的方式)。在一些情況下，使用者的眼球凝視能夠用於更好地校準空間中(例如，第三坐標框架170中)的手術器械的3D位置並考慮遙控機器人臂運動鏈的可能的不精確性。在一些實施例中，使用者接口(例如，菜單)可以重疊在圖像顯示器上所示的術野的圖像上。在一些情況下，使用者在第一坐標框架160中的眼球凝視可以用於確定在第二坐標框架165中的圖像顯示器151上的觀看位置，並且能夠識別與所確定的觀看位置對應的使用者接口的使用者可選擇選項之中的使用者的選擇。在一些情況下，使用者的凝視的3D位置可以用於量化使用者是否基於兩隻眼球之間觀察的動態正在觀看立體。

在另一方面，實時眼球凝視跟蹤能夠用於啟用、停用和以其他方式控制區別的手術器械，通過非限制性示例，區別的手術器械如成像裝置和/或能量輸送裝置聯接到遠程操作醫療系統10。例如，如果控制系統(例如，處理器)確定觀看位置在預定的時間長度匹配手術器械的位置，則系統10可以經配置啟用手術器械。

圖2B示出描述使用眼球跟蹤單元控制並影響遠程操作醫療系統100和/或任何相關聯手術器械的示例性方法的流程圖180。本文描述的任何方法過程可以至少部分地以存儲在可以由一個或更多個處理器運行的非臨時性、有形的機器可讀介質上的可執行代碼的形式實施。在過程182處，使用者U在圖2A中所示的第一坐標框架160中凝視圖像顯示器151中的特定3D位置，圖像顯示器151中的特定3D位置是在第二坐標框架165中。在過程184處，眼球跟蹤單元(例如，圖1A中所示的眼球跟蹤單元24)的左眼球跟蹤器和右眼球跟蹤器觀察並測量使用者U的眼球特徵(如，反應眼球凝視的特徵)。在一些實施例中，眼球跟蹤器測量相對於圖像顯示器151的第二坐標框架165的使用者的每個眼球的眼球凝視。在過程186處，控制系統(例如，圖1A中所示的控制系統22)使用從眼球跟蹤器測量的眼球凝視數據，以確定其中使用者的眼球指示的(第二坐標框架165內的)圖像顯示器151上的3D位置。在一些實施例中，控制系統可以通過跟蹤由眼球跟蹤器接收的從眼球反射離開的光的入射角確定所觀看的位置。在一些實施例中，處理器206可以初始地執行校準過程(例如，圖4A中所示的校準過程302)，以確定當使用者觀看在圖像顯示器151上的已知位置處顯示的目標標記時的基線入射角，並且產生檢測角和在圖像顯示器151上的觀看位置之間的函數關係。控制系統然後能夠跟蹤當使用者觀看圖像顯示器151上的其他位置時的入射角並使用所產生的函數關係確定(例如，從所校準的角和位置推斷)對應觀看位置。

在過程188處，控制系統確定圖像顯示器151上的顯示標記(例如，菜單選項)之一是否由使用者以滿足用於該標記的選擇的定義條件的方式觀看。如果是，則在過程190處，使用者的標記的選擇引起控制系統啟動與所顯示的標記對應的功能。例如，在一些實施例中，使用者的凝視可以指示與登陸遠程操作醫療系統100相關聯或與圖像顯示器151的照明相關聯或與各種其他系統設置相關聯的標記的選擇。

如果否，則在過程192處，控制系統將第二參考框架165中的觀看3D位置圖像融合(co-register)至第三坐標框架170中的術野155中的對應3D位置。在過程194處，控制系統確定使用者是否正在以滿足用於操縱成像裝置或其他手術器械的定義條件觀看術野。如果是，則在過程196處，使用者在術野的特定區域或術野內的特定器械上的凝視引起控制系統206以與使用者的凝視的特徵對應的方式影響相關器械。例如，在一些實施例中，如上所述，如果使用者凝視術野155的特定區域，成像裝置可以「遵循」使用者的凝視並將其視場重定中心(例如，以將其視場的中心定位在使用者的凝視點處)。在其他實施例中，如果使用者在預定義的時間長度凝視特定手術器械，則可以啟用手術器械。如果否，則在過程198處，眼球跟蹤器繼續評價使用者的凝視用於可能的指令。

有許多方法用於測量眼球運動和凝視方向。在本文所述的一個方法中，紅外(IR)光發射器朝向使用者的眼球發射IR光。IR光從使用者視網膜(穿過瞳孔)反射回到IR單元(例如，IR攝像機或其他成像裝置)，並且所反射的IR光的量是基於相對於發射器的人的凝視的方向。在一些實施例中，一旦所反射的IR光在某一時間段內達到特定閾值，就可以確定在3D空間中的使用者的凝視點。凝視的小的失誤能夠解釋為眨眼並且通常被忽視。其他眼球跟蹤方法使用從其提取眼球位置的視頻圖像，使用搜索線圈，或者是基於眼電圖。

圖3A示意性地示出用於測量諸如眼球位置和眼球運動的使用者的眼球特徵來確定他的或她的凝視點(例如，「使用者正在看的地方」)或相對於頭部的眼球的運動的眼球跟蹤系統220。眼球跟蹤系統200包括圖像顯示器208、至少一個光發射器210、眼球跟蹤單元212和光學組件213。一個或更多個眼球跟蹤系統200能夠集成在外科醫生的控制臺120中。光學組件213定位在眼球202和光發射器210、眼球跟蹤檢測器212和圖像顯示器208之間的光傳送路徑中。光學組件213指示來自光發射器210的眼球跟蹤光(例如，IR光)至眼球202，指示來自圖像顯示器208的可見光至眼球202，並指示來自眼球202的所反射的眼球跟蹤光(例如，IR光)至眼球跟蹤檢測器212。在此實施例中，所發射的眼球跟蹤光、所反射的眼球跟蹤光和可見光共享眼球202和光學組件213之間的光學路徑。如在圖3B、圖3C和圖3D中更詳細地描述，眼球跟蹤單元可以是採用兩個或更多個攝像機或其他成像裝置或者採用單個立體捕獲成像裝置的立體成像裝置。每個眼球跟蹤系統200能夠用於獨立地跟蹤外科醫生的左眼球或右眼球。例如，如果光學組件213用於指示光至外科醫生的左眼球(例如，圖3B中的眼球202a)，眼球跟蹤系統200經配置檢測指示左眼球凝視的特徵。如果光學組件213用於指示光至外科醫生的右眼球(例如，圖3B中所示的眼球202b)，眼球跟蹤系統200經配置檢測指示右眼球凝視的特徵。如在圖3B中更詳細地描述，眼球跟蹤系統200能夠與用於處理由眼球跟蹤檢測器212跟蹤的眼球202的眼球特徵數據(例如，瞳孔位置數據或角膜反射數據)的一個或更多個處理器聯接。

如圖3A中所示，從圖像顯示器208發射的可見光211a由光學組件213朝向外科醫生的眼球202指示。由光發射器210發射的眼球跟蹤光(例如，IR光)211b由光學組件213朝向外科醫生的眼球指示，並且由外科醫生的眼球202朝向光學組件213反射回來。光學組件213指示來自外科醫生的眼球202的所反射的眼球跟蹤光朝向眼球跟蹤單元212。

在一些實施例中，光學組件213包括經布置反射可見光和眼球跟蹤光的一個或更多個鏡。在可替代的實施例中，光學組件213可以包括分束器或在傳送其他光束的同時反射一些光束的其他光學過濾元件。例如，如圖3C中所述，光學組件能夠包括二向色元件(例如，濾光器或鏡)，其經配置選擇性地通過在特定波長範圍中的光，如IR光，同時反射在該特定波長範圍之外的光，如可見光。光學組件213也可以包括任何其他合適數量和布置的鏡和/或其他光學裝置，如通過非限制性示例的方式，二向色鏡(例如，部分反射和部分透明的部分反射鏡)、具有二向色光學塗層的反射器、二向色鏡狀稜鏡、雙折射材料和/或極化分束器。光學組件213允許眼球跟蹤系統200內的部件具有更大的各種可能布置，因為光學組件213的鏡和/或濾光器可以有效地從外科醫生的視線「隱藏」眼球跟蹤單元212，即使來自眼球跟蹤單元212的光211b至少部分共享與來自於圖像顯示器208的可見光相同的光學路徑。

圖3B是根據本公開的一個實施例示出眼球跟蹤系統220的圖示。眼球跟蹤系統220可以由圖1A、圖1B和圖1C的遠程操作醫療系統10使用。例如，根據本公開的一些實施例，眼球跟蹤系統220能夠部分地或全部地包括在外科醫生的控制臺120處的立體觀看器126中。眼球跟蹤系統220包括左目鏡125a和右目鏡125b，光學組件235包括左眼球反射鏡組204a和右眼球反射鏡組204b、左眼球圖像顯示器208a和右眼球圖像顯示器208b、左眼球光發射器210a和右眼球光發射器210b、和左眼球跟蹤單元212a和右眼球跟蹤單元212b。在所示的實施例中，眼球跟蹤系統220包括左眼球處理器214a、右眼球處理器214b和集成器216。

系統220的左目鏡125a和右目鏡125b可以是外科醫生的控制臺120的部件(參見圖1C)。左目鏡125a和右目鏡125b包括透鏡，並且外科醫生可以分別用外科醫生的左右眼球通過左目鏡125a和右目鏡125b觀看左圖像顯示器208a和右圖像顯示器208b。透鏡可以將來自於光源(例如，光發射器210a、210b和/或圖像顯示器208a、208b)的光(例如，從光源發射或反射的光)朝向檢測器(如眼球202a、202b)聚焦。透鏡可以包括物鏡，物鏡收集來自於目標的光並聚焦光束以產生真實圖像。在一些實施例中，左目鏡125a和右目鏡125b之間的距離是可調節的，以適應不同使用者的不同瞳孔間距離。在一些實施例中，可以分別基於外科醫生的左右眼球視覺需要獨立地調節左目鏡125a和右目鏡125b。在一些實施例中，左目鏡125a和右目鏡125b可以包括合適的光學塗層，其經配置最小化來自於光發射器和/或左眼球圖像顯示器208a和右眼球圖像顯示器208b的光的反射並最大化該光的傳送。

左眼球光發射器210a、右眼球光發射器210b發射光211b，以分別給外科醫生的左眼和右眼照明，並且所反射的光能夠分別由左眼球跟蹤單元212a和右眼球跟蹤單元212b捕獲，以跟蹤分別用於左眼和右眼的凝視點。在一些實施例中，左光發射器210a和右光發射器210b可以是紅外(IR)光發射器，如IR光發射二極體(IR LED)。在一些實施例中，可以有一個以上的光發射器用於每個眼球(例如，兩個光發射器用於每個眼球)。用於每個眼球的多個光發射器可以以預定距離間隔開，使得從每個光發射器發射的光出現作為在單個眼球中的單獨反射。在一些實施例中，一個或更多個左眼球光發射器210a可以與左眼球跟蹤單元212a集成在一起，並且一個或更多個右眼球光發射器210b可以與右眼球跟蹤單元212b集成在一起。各種實施例可以包括任何數量的跟蹤單元用於每個眼球。一些實施例可以包括不相等數量的跟蹤單元用於左眼和右眼。

左眼球跟蹤單元212a能夠用於跟蹤外科醫生的左眼的凝視點，並且右眼球跟蹤單元212b可以用於跟蹤外科醫生的右眼的凝視點。如圖3B中所示，眼球跟蹤單元212a、212b中的每個是一種包括用於立體眼球跟蹤的兩個眼球跟蹤攝像機的三維成像系統。每個眼球跟蹤單元可以用於跟蹤用於外科醫生的相應眼球的瞳孔位置和角膜反射。例如，在所示的實施例中，兩個左眼球跟蹤攝像機212a1、212b2用於跟蹤外科醫生的左眼的瞳孔位置和角膜反射。類似地，在所示的實施例中，兩個右眼球跟蹤攝像機212b1、212b2用於跟蹤外科醫生的右眼的瞳孔位置和角膜反射。用於每個眼球的多個眼球跟蹤單元經定位以預定的距離彼此間隔開，使得每個瞳孔位置和角膜反射的立體圖像可以由一個以上的眼球跟蹤單元獨立地跟蹤，並且每個瞳孔位置和角膜反射的3D位置可以基於從用於每個眼球的獨立眼球跟蹤單元收集的數據計算。在可替代的實施例中，每個眼球跟蹤單元可以包括具有例如立體攝像機的單個成像裝置，或者可以包括兩個以上的成像裝置。

在一些實施例中，眼球跟蹤單元212a和212b是電荷耦合器件(CCD)攝像機。在一些實施例中，眼球跟蹤單元212a和212b是IR攝像機，其對IR光敏感並能夠捕獲從IR光發射器發射的紅外光。在一些實施例中，眼球跟蹤單元212a和212b可以包括高變焦透鏡，以提供具有眼球(例如，瞳孔)的較高放大的圖像。

在一些實施例中，眼球跟蹤單元212a、212b和光發射器210a、210b分別放置在左眼球圖像顯示器208a和右眼球圖像顯示器208b的底部處。在一些實施例中，眼球跟蹤單元212a、212b可以位於圖1C中所示的立體圖像觀看器系統126中。光發射器210a和210b可以分別與左眼球跟蹤單元212a和右眼球跟蹤單元212b集成在一起。典型地，使用者將定位他的或她的左右眼，以直接地分別面向左眼球圖像顯示器125a和右眼球圖像顯示器125b。因此，用此布置，每個眼球跟蹤單元212a、212b經定位直接地面向要跟蹤的眼球。具體地，左眼球跟蹤單元212a和右眼球跟蹤單元212b經定位直接地分別面向左眼和右眼。本文公開的配置可以改進眼球跟蹤過程的方便性和精確性，因為此配置消除對諸如眼鏡的外部跟蹤裝置的需要。另外，如上所述，常規的眼球凝視跟蹤裝置可以位於目鏡附近，從而當外科醫生正在觀看目鏡時產生幹擾。例如，眼球凝視跟蹤裝置的邊緣可以出現在外科醫生的視覺中，潛在地使外科醫生分心或者部分地模糊術野的視圖。因此，當前配置可以通過消除在外科醫生的視覺內的任何不必要幹擾圖像改進外科醫生在使用眼球跟蹤技術中的體驗。

在所示的實施例中並參照圖2A，處理器214a、214b分別聯接到左眼球跟蹤單元212a和右眼球跟蹤單元212b，並經配置計算相對於圖像顯示器151(例如，顯示器208a、208b)的第二坐標框架165的外科醫生的凝視點的3D位置，並將該3D位置轉換成術野155(圖2A中所示)的第三坐標系統170的對應3D位置。例如，能夠校正由左眼球跟蹤單元212a、右眼球跟蹤單元212b捕獲的凝視點，並且能夠確定外科醫生的左右眼的凝視點之間的不一致。然後，外科醫生的凝視點的3D位置能夠使用左眼球跟蹤單元212a、右眼球跟蹤單元212b之間的距離、與左眼球跟蹤單元212a和右眼球跟蹤單元212b中的每個的焦距相關的參數和所確定的不一致計算。

術野的3D立體圖像可以由外科醫生經由眼球跟蹤系統220感知。在一些實施例中，位於遠程操作組件100的內窺鏡112能夠經操縱在外科手術期間(圖2A中所示)捕獲術野155的圖像，並且這些圖像能夠在左圖像顯示器208a和右圖像顯示器208b上示出。在一些實施例中，圖像顯示器208a、208b與圖2a中所示的圖像顯示器151相同。在一些實施例中，內窺鏡112包括立體攝像機。然後由內窺鏡112捕獲的圖像可以分別由處理器214a、214b處理，以產生左立體圖像和右立體圖像。所產生的左立體圖像和右立體圖像可以分別在左圖像顯示器208a和右圖像顯示器208b上示出。具體地，左眼球圖像顯示器208a通信地聯接到內窺鏡112，並經配置在外科手術期間顯示術野的左眼球立體圖像。類似地，右眼球圖像顯示器208b聯接到立體攝像機112並經配置顯示術野的右眼球立體圖像。左眼球立體圖像和右眼球立體圖像由立體攝像機112捕獲並經處理分別用於左眼球視覺和右眼球視覺。左眼球圖像顯示器208a和右眼球圖像顯示器208b可以是2D或3D顯示屏幕。在一些實施例中，左眼球圖像顯示器208a和右眼球圖像顯示器208b是液晶顯示器(LCD)屏幕。在一些情況下，圖像顯示器208a、208b可以同時呈現在多個顯示屏幕或裝置(例如，外部屏幕或移動裝置)上。

如上所述，眼球跟蹤系統220包括左眼球處理器214a、右眼球處理器214b和集成器216。處理器214a、214b和集成器216經配置處理從眼球跟蹤單元212a、212b接收的凝視點數據，以確定其中使用者的凝視點指示的圖像顯示器208a、208b上的觀看位置，並基於所確定的觀看位置控制遠程操作醫療系統10的至少一個功能。具體地，處理器214a、214b可以處理由左眼球跟蹤單元212a和右眼球跟蹤單元212b接收的瞳孔位置和角膜反射點數據。在一些實施例中，由每個眼球跟蹤單元接收的瞳孔位置和角膜反射點數據可以由處理器214a和214b處理，以確定瞳孔位置和角膜反射的3D位置。集成器216可以用於集成從每個眼球接收的瞳孔位置和角膜反射數據，以在外科手術期間形成外科醫生的3D凝視點或位置。

在一些實施例中，左眼球處理器和右眼球處理器(和/或集成器)的功能可以由單個處理器執行。在一些實施例中，集成器216集成由兩個處理器214a、214b接收的信息，以確定並處理使用者的眼球凝視位置。在一些實施例中，處理器214a、214b和/或集成器216可以位於遠程作業系統10內的其他位置(例如，位於作為中央電子數據處理單元142的一部分的視覺手推車140內，位於遠程操作組件100處，和/或位於外科醫生的控制臺120內)。在一些實施例中，處理器214a、214b和/或集成器216也能夠聯接到存儲器，以存儲凝視點測量、配準(registration)和校準數據。在一些實施例中，處理器214a、214b和/或集成器216可以用於計算外科醫生的凝視點的2D位置。如在下面進一步詳細地描述，在一些實施例中，當確定瞳孔位置和角膜反射的3D位置時，可以補償外科醫生的頭部運動。

在一些實施例中，所計算的外科醫生的凝視點的2D或3D位置能夠以示出外科醫生的凝視點的變化的諸如點、標記或矢量的各種合適表示中的任何表示顯示。外科醫生的凝視點能夠與左圖像顯示器208a和右圖像顯示器208b上的術野155的圖像組合顯示。在一些實施例中，眼球跟蹤系統220也可以用在與例如da Skills SimulatorTM的模擬模塊集成的外科醫生的控制臺120中，其中虛擬圖像能夠在左圖像顯示器208a和右圖像顯示器208b上示出。

光學組件235相對於眼球202、光發射器210、眼球跟蹤單元212和圖像顯示器208布置，以指示來自光發射器210的IR光至眼球202，指示來自圖像顯示器208的可見光至眼球202，並指示來自眼球202的反射的IR光(從光發射器210發射的)至眼球跟蹤單元212。具體地，光學組件235的左反射鏡組204a和右反射鏡組204b中的每個包括多個鏡，其經布置將來自左光發射器210a和右光發射器210b的IR光分別反射到外科醫生的左眼和右眼，並將來自左眼和右眼的IR光分別反射到左眼球跟蹤單元212a和右眼球跟蹤單元212b。

因此，左眼反射鏡組204a包括一組鏡，其經布置提供在外科醫生的左眼、左眼跟蹤單元212a和左眼光發射器210a之間的光學連通。例如，鏡204a可以如圖3B中所示布置，使得左眼球圖像顯示器208a上示出的立體圖像的左眼球部分能夠經由可見光211a指示到外科醫生的左眼球中，以由外科醫生觀看。左眼球反射鏡組204a也可以允許從左眼球光發射器210a發射的IR光211b指示到外科醫生的左眼上。從外科醫生的左眼反射的IR光211b可以由左眼球反射鏡組204a指示至左眼球跟蹤單元212a，從而使左眼球跟蹤單元212a能夠跟蹤反射的IR光，以確定外科醫生的左眼的凝視點的3D位置。

類似地，右眼球反射鏡組204b包括一組鏡，其經布置提供在外科醫生的右眼、右眼跟蹤單元212b和右眼光發射器210b之間的光學連通。例如，鏡204b可以如圖3B中所示布置，使得右眼球圖像顯示器208b上示出的立體圖像的右眼球部分能夠經由可見光211a指示到外科醫生的右眼球中，以由外科醫生觀看。右眼球反射鏡組204b也可以允許從右眼球光發射器210b發射的IR光211b指示到外科醫生的右眼上。從外科醫生的右眼反射的IR光211b可以由右眼球反射鏡組204b指示至右眼球跟蹤單元212b，從而使右眼球跟蹤單元212b能夠跟蹤反射的IR光，以確定外科醫生的右眼的凝視點的3D位置。在圖3B中，所發射和反射的IR光211b的路徑與顯示器208a和眼球202a之間和顯示器208b和眼球202b之間的可見光211a共享光學路徑。

如上所述，在一些實施例中，左眼球跟蹤單元212a和右眼球跟蹤單元212b也可以用於跟蹤外科醫生的3D頭部運動(例如，在圖2A中所示的第一坐標框架160中)。在一些實施例中，跟蹤單元212a、212b通過監視外科醫生的頭部(例如，包括面部)上的固定參考點跟蹤外科醫生的頭部的3D運動。因為參考點不具有與外科醫生的眼球凝視點的連續同步運動，所以參考點可以用於估計外科醫生的頭部位置和取向。參考點可以包括外科醫生的頭部上的各種解剖標誌或特徵中的任何標誌或特徵。例如，參考點可以包括頭部特徵，如眼瞼曲率、眼角、虹膜和/或眉毛。在一些示例中，用作參考點的頭部特徵可以被分段並被跟蹤。例如，在一個實施例中，眼角可以通過眼的兩個樣條(spline)的交叉檢測和定位。當使用兩個立體單元(例如，左眼球跟蹤單元212a和右眼球跟蹤單元212b)時，頭部特徵可以在3D空間中跟蹤。外科醫生的左眼和右眼之間的瞳孔間距被假設是恆定的，並且由處理器使用作為在其計算中的恆定因素。當外科醫生移動他的或她的頭部或面部而不轉移他的或她的凝視點時，外科醫生的瞳孔相對於眼球跟蹤單元212a、212b保持靜止。因此，頭部上的參考點移動，而外科醫生的瞳孔相對於眼球跟蹤單元212a、212b保持固定。因此，左右瞳孔和面部/頭部上的參考點之間有相對運動。此相對運動可以由左眼球跟蹤單元212a和右眼球跟蹤單元212b跟蹤和監視，以計算適當的補償值。這些補償值可以用於在確定外科醫生的雙眼中的每個眼的凝視點的3D位置中補償所跟蹤的3D頭部運動。

圖3C是示出包括作為分束器操作的光學組件255的眼球跟蹤系統250的圖示。眼球跟蹤系統250是圖3A的眼球跟蹤系統200的一個示例性實施例。根據本公開的各種實施例，眼球跟蹤系統250能夠部分地或全部地包括在外科醫生的控制臺120上的立體圖像觀看器系統126中。眼球跟蹤系統250包括左眼球跟蹤單元212a(具有眼球跟蹤攝像機212a1、212a2)、右眼球跟蹤單元212b(具有眼球跟蹤攝像機212b1、212b2)、左眼球光發射器210a、右眼球光發射器210b、左眼球圖像顯示器208a、右眼球圖像顯示器208b、左眼球處理器214a、右眼球處理器214b和集成器216。然而，在圖3C中所示的眼球跟蹤系統250中，這些部件布置在與在眼球跟蹤系統220中不同的配置中。在圖3B中所示的眼球跟蹤系統220中，眼球跟蹤單元212a、212b和光發射器210a、210b位於圖像顯示器208a、208b(相對於使用者)下面。光學組件235定位在圖像顯示器208a、208b和目鏡125a、125b之間。相比之下，在圖3C中所示的眼球跟蹤系統250中，左眼球跟蹤單元212a和右眼球跟蹤單元212b位於左眼球圖像顯示器208a、右眼球圖像顯示器208b和光學組件255之間的區域或空間中的圖像顯示器208a、208b的前面。光學組件255包括左眼球反射鏡組204a和右眼球反射鏡組204b。左眼球反射鏡組204a包括第一光學元件256和第二光學元件257。右眼球反射鏡組204b包括第三光學元件258和第四光學元件259。光學元件256、257、258和259能夠是各種光傳送和/或光反射的光學裝置中的任何裝置，其包括但不限於鏡、濾光器和稜鏡。雖然兩個處理器214a、214b在圖3C中示出，但是本領域的技術人員將理解到任何數量的處理器可以布置在任何合適的拓撲結構中。

在一些實施例中，光學組件255包括至少一個反射鏡組，其包括分束器，如通過非限制性示例的方式，二向色鏡或二向色濾光器。分束器可以包括能夠傳送並反射在不同波長範圍內的光的任何裝置。例如，如圖3C中所示，左眼球反射鏡組204a的第二光學元件257包括左分束器257，其允許IR光211b通過，同時反射可見光211a，如從左眼球立體圖像顯示器208a發射的可見光。因此，從左眼球光發射器210a發射的IR光211b能夠穿過左分束器257，以給左眼照明，並且從外科醫生的左眼球202a反射的IR光112b也能夠穿過左分束器257以由左眼球跟蹤單元212a捕獲。同時，從左眼球圖像顯示器208a發射的可見光211a能夠由反射鏡組204a的光學元件256和257指示，以由外科醫生的左眼球202a觀看。在一些實施例中，左分束器257包括二向色鏡。

類似地，右眼球反射鏡組204b的第三光學元件258包括右分束器，其允許IR光211b穿過，同時反射可見光211a，如從右眼球立體圖像顯示器208b發射的可見光。因此，從右眼球光發射器210b發射的IR光211b能夠穿過右分束器258，以給右眼球照明，並且從外科醫生的右眼球202b反射的IR光211b也能夠穿過右分束器258，以由右眼球跟蹤單元212b捕獲。同時，從右眼球圖像顯示器208b發射的可見光211a能夠由反射鏡組204b(和分束器258)指示，以由外科醫生的右眼球202b觀看。在一些實施例中，右分束器258包括二向色鏡。

光學組件255中包括分束器257、258允許其中眼球跟蹤單元212a、212b共享光學路徑的至少一部分用於來源於圖像顯示器208a、208b的所顯示的圖像而對外科醫生不可見(例如，在圖像顯示器208a、208b中)的配置。換句話說，所反射的IR光211b共享可見光211a的光學路徑的一部分，也就是眼球和相應分束器之間(例如，眼球202a和分束器257之間和眼球202b和分束器258之間)的光學路徑的該部分。如圖3C中所示，左眼球跟蹤單元212a和右眼球跟蹤單元212b定位在分束器203a、203b後面並且直接地面向外科醫生的眼球。此配置允許眼球跟蹤單元212a、212b捕獲分別來自於外科醫生的左眼202a和右眼202b的信息，而不阻礙可見光路徑且在不使任何光學反射路徑影響圖像顯示器208a、208b(例如，圖像顯示器208a、208b不接收來自於外科醫生的眼球的任何反射IR光)。相比之下，如圖3B中所示，來自於外科醫生的眼球202a、202b的反射IR光(由虛線箭頭示出)朝向圖像顯示器208a、208b反射回來，以由眼球跟蹤單元212a、212b接收。

在一些情況下，眼球跟蹤系統250的光學組件255中的分束器(例如，分束器257、258)的併入允許來自於眼球跟蹤單元212a、212b的光211b共享來自於所顯示的圖像的可見光211a的光學路徑的至少一部分，而不使眼球跟蹤單元212a、212b對外科醫生可見。在一些情況下，外科醫生可以較少地由幹擾圖像分心並且更多地集中在當前程序上，因為此配置可以消除來自外科醫生的圖像顯示器208a、208b中的眼球跟蹤單元的幹擾圖像。另外，圖3C中所示的配置也可以為眼球跟蹤系統250的設計和製造提供更多的靈活性或緊湊性。系統250的配置可以產生顯示器(在眼球跟蹤單元不可見的情況下)的更清晰視圖，同時適應最小化的空間和設計限制。

圖3D是根據本公開的一個實施例示出包括作為分束器操作的光學組件260的示例性眼球跟蹤系統280的圖示。眼球跟蹤系統280是圖3A中所示的眼球跟蹤系統200的另一個示例性實施例。根據本公開的一些實施例，眼球跟蹤系統280可以部分地或全部地包括在外科醫生的控制臺120上的立體圖像觀看器系統126中。眼球跟蹤系統280包括左眼球跟蹤單元212a(具有眼球跟蹤攝像機212a1、212a2)、右眼球跟蹤單元212b(具有眼球跟蹤攝像機212b1、212b2)、左眼球光發射器210a、右眼球光發射器210b、左眼球圖像顯示器208a、右眼球圖像顯示器208b、左眼球處理器214a、左眼球處理器214b和集成器216。在圖3D中所示的眼球跟蹤系統280中，這些部件布置在與在眼球跟蹤系統250中不同的配置中。具體地，在圖3C中所示的眼球跟蹤系統250中，眼球跟蹤單元212a、212b和光發射器210a、210b定位在圖像顯示器208a、208b和光學組件255之間。相比之下，在圖3D中所示的眼球跟蹤系統280中，眼球跟蹤單元212a、212b和光發射器210a、210b與光學組件260鄰近(例如，在其側面)定位(或者相對於眼球旋轉大約90°)。在圖3D的所示實施例中，光學組件260和圖像顯示器208a、208b之間的空間未被佔據，從而提供在圖像顯示器208a、208b和光學組件260之間的未阻礙光學路徑。

與圖3C中所示的光學組件255相同，眼球跟蹤系統280的光學組件260包括用作分束器的兩個光學元件。在圖3D中所示的光學組件260中，第一光學元件256和第四光學元件259用作分束器。具體地，左眼球反射鏡組204a的第一光學元件256包括左分束器，並且右眼球反射鏡組204b的第四光學元件259包括右分束器。如圖3D中所示，左眼球反射鏡組204a的左分束器256傳送IR光211b通過，同時反射可見光211a，如從左眼球立體圖像顯示器208a發射的可見光。因此，從左眼球光發射器210a發射的IR光211b能夠穿過左分束器256，以給左眼照明，並且從外科醫生的左眼球202a反射的IR光也能夠穿過左分束器256，以由左眼球跟蹤單元212a捕獲。同時，從左眼球圖像顯示器208a發射的可見光能夠由反射鏡組204a(包括分束器256)指示，以由外科醫生的左眼球202a觀看。在一些實施例中，左分束器256包括二向色鏡。

類似地，右眼球反射鏡組204b的右分束器259傳送IR光211b通過，同時反射可見光211a，如從右眼球立體圖像顯示器208b發射的可見光。因此，從右眼球光發射器210b發射的IR光211b能夠穿過右分束器259，以給右眼照明，並且從外科醫生的右眼202b反射的IR光211b也能夠穿過分束器259，以由右眼球跟蹤單元212b捕獲。同時，從右眼球圖像顯示器208b發射的可見光211a能夠由反射鏡組204b(和分束器259)指示，以由外科醫生的右眼球202b觀看。在一些實施例中，右分束器259包括二向色鏡。

光學組件260中包括分束器257、259允許其中來自於眼球跟蹤單元212a、212b的光211b共享光學路徑的至少一部分用於來源於圖像顯示器208a、208b的所顯示的圖像，而眼球跟蹤單元對外科醫生不可見的配置。具體地，如圖3D中所示，左眼球跟蹤單元212a和右眼球跟蹤單元212b定位在分束器257、259後面並與外科醫生雙眼呈一定角度(例如，90°)。此配置允許眼球跟蹤單元212a、212b分別從外科醫生的左右眼捕獲信息，而不阻礙來自於顯示器的可見光的路徑並且不使任何光學反射路徑影響圖像顯示器208a、208b(例如，圖像顯示器208a、208b不從外科醫生的雙眼接收任何反射IR光)。

在一些情況下，眼球跟蹤系統280的光學組件260中的分束器(例如，分束器256、259)的併入允許來自於眼球跟蹤單元212a、212b的光211b共享來自於所顯示的圖像的可見光211a的光學路徑的至少一部分，而不使眼球跟蹤單元212a、212b對外科醫生可見。在一些情況下，外科醫生可以較少地由幹擾圖像分心並且更多地集中在當前程序上，因為此配置可以消除來自於外科醫生的圖像顯示器208a、208b中的眼球跟蹤單元的幹擾圖像。另外，圖3D中所示的配置也可以為眼球跟蹤系統280的設計和製造提供更多靈活性或緊湊性。系統280的配置可以產生顯示器(無可見的眼球跟蹤單元)的更清晰視圖，同時適應最小化的空間和設計限制。

應當理解的是，光發射器210(例如，左眼球光發射器210a和右眼球光發射器210b)的位置是靈活的。眼球跟蹤單元212(例如，左眼球跟蹤單元212a和右眼球跟蹤單元212b)的位置也是靈活的。本領域中的普通技術人員將理解到，光發射器212和/或眼球跟蹤單元212能夠位於相對於外科醫生和圖像顯示器(例如，在外科醫生的控制臺120上)的任何合適位置處，以最小化對外科醫生的視覺的幹擾並改進眼球跟蹤過程的精確性和效率。

圖4A根據本公開的一個實施例示出用於使用如圖3A-3D中所示的眼球跟蹤系統確定外科醫生的3D凝視點的方法300。方法300包括兩個過程：校準過程302和測量過程304。在一些實施例中，校準過程302是3D校準過程，其中在3D空間中的外科醫生的凝視點用已知的3D位置參數與3D空間中的預定目標比較。

3D空間中所示的目標T的圖像可以分成左立體圖像和右立體圖像，並且分別在左圖像顯示器208a和右圖像顯示器208b上顯示。左眼球光發射器210和右眼球光發射器210b可以發射能夠分別由左眼球跟蹤單元212a和右眼球跟蹤單元212b跟蹤的光。左眼球反射鏡組204a和右眼球反射鏡組204b可以經布置，使得左眼球圖像顯示器208a和右眼球圖像顯示器208b上顯示的目標的左眼球立體圖像和右眼球立體圖像能夠分別反射並指示到外科醫生的左眼202a和右眼202b中。在一些實施例中，如圖3A-3D中所示，左眼球反射鏡組204a和右眼球反射鏡組204b經布置，使得左眼球光學連通和右眼球光學連通之間沒有「串擾」或共享的光學路徑。從光發射器210a、210b發射的諸如IR光211b的光也能夠穿過左眼球反射鏡組204a和右眼球反射鏡組204b指示，以給外科醫生的左眼202a和右眼202b照明。在校準過程期間，例如用在3D空間中的已知3D位置參數預先確定目標的3D位置，使得所測量的數據可以與目標主體的預定位置數據比較，以在下列過程中確定補償值和/或凝視點確定模型。

圖4B示出當預定目標T(具有3D坐標aT，bT，cT)在校準過程期間在左眼球圖像顯示器208a上示出時左眼球跟蹤單元212a跟蹤外科醫生的左眼202a的角膜反射和瞳孔位置的示例。校準過程302可以通過示出3D空間中的目標T在過程312處開始。如圖4B中所示，目標T能夠放置在具有坐標值(aT，bT，cT)在左眼球圖像顯示器208a上的預定3D坐標框架350中。左眼球圖像顯示器208a上示出的目標T可以是由立體單元112捕獲並由處理器214a處理的左眼球立體圖像。在其他實施例中，目標T可以是虛擬產生的圖像。左眼球反射鏡組204a(未示出)能夠位於相對於左眼球跟蹤單元212a和外科醫生的左眼202a的任何合適位置處，如關於圖3A-3D在上面討論。應當理解的是，雖然僅外科醫生的左眼的一個角膜反射為了簡便起見在圖4B中示出，但是可以有來自於一個以上的光發射器210的一個以上的角膜反射用於每個眼球202。

在一些示例中，目標T可以是在3D空間350中所示的手術工具圖標。目標T也可以是移動目標或可以動態地改變大小的目標。可替代地，目標也可以是在術野中的實際手術工具，其位置能夠使用任何合適的工具跟蹤技術跟蹤和識別。例如，校準過程302可以包括2005年5月16日提交的題為「Methods and system for performing 3D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery(用於在微創機器人外科手術期間通過傳感器和/或攝像機得到的數據的融合執行3D工具跟蹤的方法和系統)」的美國專利公開No.2006/0258938中公開的特徵，其通過引用併入本文。在校準過程302期間，例如用3D空間中的已知3D位置參數(例如，坐標值(aT，bT，cT))預先確定目標T的3D位置，使得所測量的數據可以與目標T的已知位置參數比較，以在下列步驟中確定各種模型。

在所示的實施例中，通過接收分別由左眼球跟蹤單元212a和右眼球跟蹤單元212b捕獲的左右眼的瞳孔2D位置和2D角膜反射數據，校準過程302前進到過程314。在一些實施例中，2D瞳孔位置和2D角膜反射數據可以包括坐標值、位移和/或角度。在一些實施例中，左眼球反射鏡組204a和右眼球反射鏡組204b如圖3A-3D中所示布置，使得外科醫生的左眼球202a和右眼球202b的角膜反射能夠分別指示到左眼球跟蹤單元212a和右眼球跟蹤單元212b中以進行跟蹤。然後，所跟蹤的2D數據可以由左眼球處理器214a和右眼球處理器214b和/或集成器216接收和處理，以獲得外科醫生的左眼球202a和右眼球202b的3D瞳孔位置和角膜反射數據。

圖4C示出與外科醫生的眼角膜對應的2D坐標框架360和與外科醫生的瞳孔對應的2D坐標框架370。如圖4C中所示，當左眼球光發射器210a朝向外科醫生的眼球202a發射光時，光(例如，IR光)反射離開外科醫生的左眼球202a的眼角膜的表面，並且反射圖像變成具有角膜反射中心365(具有坐標(uR，vR))放置在預定2D坐標框架360中的明亮區域。在一些情況下，角膜反射數據包括用於每個眼球的一個以上角膜反射的跟蹤信息。在預定2D坐標框架370中的瞳孔375(具有坐標(xP，yP))的中心也能夠由左眼球跟蹤單元212a跟蹤。

通過跟蹤頭部運動以更精確地分別確定左右眼的瞳孔位置和角膜反射數據，校準過程302前進到過程316。換句話說，頭部運動數據可以用於補償瞳孔位置和角膜反射數據的頭部運動引起的不精確性。例如，頭部的旋轉能夠通過頭部運動數據中的變化近似。在一些實施例中，如關於圖3A在上面描述，外科醫生的頭部特徵(例如，眼角)可以經跟蹤確定頭部運動。在一些實施例中，可以請求外科醫生執行一個或更多個頭部運動，同時集中在圖像顯示器208a、208b中的目標T上，以確定適當補償值和/或補償模型。例如，可以請求外科醫生移動他的或她的頭部更接近目鏡125a、125b，同時集中在圖像顯示器208a、208b上的預定目標T上。還可以請求外科醫生在一系列運動(例如，上下、左右、旋轉和/或進一步遠離目鏡)中移動他的或她的頭部，以收集更多校準信息。

左眼球跟蹤單元212a和右眼球跟蹤單元212b可以捕獲在外科醫生的瞳孔和面部/頭部特徵之間的相對運動，以確定與面部/頭部運動相關的補償值。在一些實施例中，外科醫生的頭部運動也可以由安裝在頭靠件130上的一個或更多個傳感器跟蹤。所計算的2D或3D凝視點位置還可以基於所跟蹤的外科醫生的頭部運動調整或補償。由傳感器收集的數據可以與在過程316處獲取的數據組合，以確定補償值。關於使用感測方法來操縱頭靠件的附加細節可以例如在題為「(ENDOSCOPE CONTROL SYSTEM)內窺鏡控制系統」的美國申請No.61/865,996中發現。

在一些實施例中，補償值和/或補償模型可以保存在聯接到處理器214a、214b和/或集成器216的存儲器中，用於未來的測量或計算。在一些實施例中，具體使用者的補償值和/或補償模型可以保存在存儲器中作為使用者的輪廓數據的一部分，使得當使用者再次登陸系統中時相同的使用者不需要重複校準過程。

通過分別確定外科醫生的左眼球202a和右眼球202b中的每個眼球的3D瞳孔位置和3D角膜反射數據，校準過程302前進到過程318。在一些實施例中，眼球跟蹤單元212a包括立體攝像機，並且包括2D瞳孔位置和2D角膜反射數據的立體圖像能夠捕獲和由處理器214a處理，以計算多個立體圖像之間的不一致。例如，如圖4B中所示，當一個或更多個左眼球跟蹤單元212a包括能夠捕獲外科醫生的左眼球202a的立體圖像的立體攝像機時，來自於每個單獨左眼球跟蹤單元212a的2D瞳孔位置375(xP，yP)和2D角膜反射數據365(uR，vR)可以經處理計算在多個立體圖像之間的不一致。在一些實施例中，所確定的位置數據可以包括外科醫生的左眼球202的2D瞳孔位置和2D角膜反射數據。

然後，所確定的每個眼球的2D數據可以經組合估計外科醫生的3D眼球凝視位置。在一些實施例中，所確定的位置數據可以包括瞳孔的3D位置和3D角膜反射數據。與深度轉換圖的不一致可以使用此方法在校準過程期間獲得。然後可以使用不一致估計包括外科醫生的瞳孔(坐標點zP)的深度和角膜反射(坐標點wR)的深度的3D數據。例如，外科醫生的左眼球202a的3D眼球凝視數據可以使用在左眼球跟蹤單元212a之間的距離、與每個左眼球跟蹤單元212a的焦距相關的參數和所計算的不一致進行計算。與深度轉換圖的不一致可以使用此方法在校準過程期間獲得。在一些實施例中，外科醫生的頭部運動也可以由左眼球跟蹤器204a和右眼球跟蹤器204b捕獲。

在一些實施例中，外科醫生的瞳孔可以示出當觀看具有不同深度的目標T時的聚散度(vergence)(例如，如由圖4B中所示的角度γ指示)。外科醫生的瞳孔和角膜反射的深度可以通過監視外科醫生的每個瞳孔的聚散度以及在所測量的瞳孔間距和目標T在3D坐標框架350中的深度之間形成換算表進行估計。在一些實施例中，外科醫生的瞳孔的深度(例如，zP)和角膜反射的深度(例如，wR)可以使用如圖4B中所示的三角形法計算。例如，多個左眼球跟蹤單元212a之間的距離設定為距離dC(例如，在圖4B中的點A和B之間的距離)，並且當外科醫生的眼球正在觀看在3D坐標框架350中的不同位置處的目標T時，可以跟蹤三角形角度α和β。在一種情況下，當目標T位於不同深度處時，角度α和β可以相應地改變，以便能夠計算在眼球跟蹤單眼212a和瞳孔之間的距離dP(例如，在點C和瞳孔之間的距離)。距離值dP還能夠用於計算3D瞳孔位置(例如，坐標(xP，yP，zP))。外科醫生的右眼球的3D瞳孔位置(例如，坐標(xP，yP，zP))和角膜反射數據(例如，坐標(uR，vR，wR))可以以與外科醫生的左眼球的確定基本上類似的方式確定。

在校準過程302的過程322處，所確定的3D瞳孔位置和3D角膜反射數據與預定目標T的預定3D位置參數比較，以確定凝視點確定模型。換句話說，通過確定3D瞳孔位置和3D角膜反射數據和預定目標T的3D位置之間的關係，能夠形成凝視點確定模型。在一些示例中，所確定的外科醫生的左眼球202a的3D瞳孔位置375』(坐標(xP，yP，zP))和3D角膜反射數據365』(坐標(uR，vR，wR))與在過程312處選擇的目標T的左立體圖像的3D位置數據T(坐標(aT，bT，cT))比較，以獲得下列關係或函數f：

(aT，bT，cT)＝f(xP，yP，zP，uR，vR，wR)

在一些實施例中，多個校準目標用於校準過程，並且函數f的參數可以在校準過程期間使用從多個目標點收集的瞳孔位置和角膜反射數據確定。在一些實施例中，諸如最小二乘優化或最大可能估計的方法可以用於確定函數f的參數。在一些實施例中，用於每個眼球的凝視方向矢量能夠使用每個眼球的3D瞳孔位置和3D角膜反射數據形成，並且每個凝視方向矢量的交叉點可以確定為外科醫生的凝視點。然後，所確定的凝視點可以與目標T的3D位置數據比較，以確定函數f。在一些實施例中，在校準過程期間，使用諸如最小二乘優化、最大可能估計的優化方法可以最小化在使用函數f計算的3D位置和目標T的實際預定位置之間的錯誤。在一些實施例中，凝視點確定模型也可以使用外科醫生的雙眼的2D位置數據、目標的2D位置數據和外科醫生的瞳孔的聚散度(例如，角度γ)形成。在一些實施例中，凝視點確定模型也可以包括示出從瞳孔3D位置和3D角膜反射數據至3D空間中的坐標系統中的目標T的3D位置的轉換的矩陣。

類似地，外科醫生的右眼球202b的3D瞳孔位置和3D角膜反射數據可以與在過程312處選擇的目標T的右立體圖像的3D位置數據比較。

在一些實施例中，校準過程302可以重複多次，使得凝視點確定模型的精確性可以得到改進，直到精確性滿足預定系統要求。在一些實施例中，在形成第一凝視點確定模型(例如，函數f)之後，一個或更多個真實目標可以用於估計第一凝視點確定模型的精確性。例如，通過使用(一個或更多個)真實目標重新運行映射優化，第一凝視點確定模型可以更新，以形成第二凝視點確定模型。比較並評價第一模型和第二模型之間的精確性，以便可以形成更精確的凝視點確定模型。

在完成校準過程302之後，方法300前進到測量過程304。當內窺鏡或立體攝像機112正在捕獲手術部位的圖像時，測量過程304可以在外科手術或訓練過程期間執行。在一些實施例中，校準過程302和測量過程304也可以使用模擬模塊，例如使用da Skills SimulatorTM(例如，其可以與外科醫生的控制臺120集成)在模擬練習中實行。

當外科醫生正在觀看在左眼球圖像顯示器208a和右眼球圖像顯示器208b上顯示的圖像(例如，手術部位或虛擬圖像)時，通過分別接收外科醫生的左眼球202a和右眼球202b的2D瞳孔位置和2D角膜反射數據，測量過程304在過程324處開始。用於過程324的配置和方法可以如前面討論基本上類似於方法300的過程314。在一些實施例中，手術部位的圖像可以由內窺鏡或立體攝像機112捕獲，並經處理分成分別在左眼球圖像顯示器208a和右眼球圖像顯示器208b上顯示的左眼球立體圖像和右眼球立體圖像。外科醫生的左右眼的2D瞳孔位置和2D角膜反射數據分別由左眼球跟蹤單元212a和右眼球跟蹤單元212b捕獲，並由處理器214a、214b和/或集成器216處理獲得3D瞳孔位置數據。

通過使用在過程316處確定的補償值和/或補償模型估計用於外科醫生的左眼球202a和右眼球202b中的每個的瞳孔位置和角膜反射數據，測量過程304前進到過程326。在一些實施例中，在步驟316處捕獲的頭部/面部運動也可以用於補償瞳孔位置和角膜反射數據或外科醫生的3D凝視點。如上所述，頭部運動數據可以通過使用左眼球跟蹤單元212a和右眼球跟蹤單元212b跟蹤頭部特徵而在校準過程302期間跟蹤，並且補償值和/或補償模型可以用於計算對由頭部運動引起的瞳孔位置和/或角膜反射數據的變化。所計算的變化值可以用於調整用於在過程324處確定的外科醫生的左右眼的瞳孔位置和角膜反射數據(例如，補償外科醫生的頭部運動)。具體地，在頭部運動和眼角的跟蹤運動之間的函數能夠在校準過程302期間形成。在測量過程304期間，也可以跟蹤頭部/眼球特徵的運動，並且可以使用從校準過程302形成的函數估計外科醫生的頭部運動。然後3D瞳孔位置和3D角膜反射數據可以通過使用在步驟322處獲得的凝視點確定模型由處理器214轉換為外科醫生的3D凝視點位置。

通過確定外科醫生的左眼球202a和右眼球202b中的每個的3D瞳孔位置和3D角膜反射數據，測量過程304前進到過程328。用於確定3D瞳孔位置和3D角膜反射數據的過程可以如前面討論基本上類似於方法300的過程318。在一些實施例中，從每個左眼球跟蹤單元212a接收的2D瞳孔位置和2D角膜反射數據可以由左眼球處理器214a處理。然後，左眼球202a的瞳孔位置和角膜反射能夠使用角膜反射的角膜反射中心365和瞳孔375的中心(圖4C中所示)之間的相對位置計算。外科醫生的右眼球的3D瞳孔位置和3D角膜反射數據可以以與外科醫生的左眼球的確定基本上類似的方式確定。例如，從每個右眼球跟蹤單元212b接收的2D瞳孔位置和2D角膜反射數據可以由右眼球處理器214b處理。然後，右眼球202b的瞳孔位置和角膜反射能夠使用在右角膜反射的角膜反射中心和右瞳孔的中心之間的相對位置計算。

通過使用在校準過程302的過程322處獲得的凝視點確定模型確定外科醫生的3D凝視點，測量過程304前進到過程330。在一些實施例中，在過程328處確定的外科醫生的雙眼的3D瞳孔位置和3D角膜反射數據可以使用凝視點確定模型處理，以確定外科醫生的凝視點的3D位置。在一些示例中，用於每個眼球的凝視方向矢量能夠使用在過程328處所確定的每個眼球的3D瞳孔位置和3D角膜反射數據形成。然後，每個凝視方向矢量的交叉點可以用於確定外科醫生的凝視點。

在測量過程304之後，在一些實施例中，所確定的3D凝視點位置可以在圖3A-3D中所示的圖像顯示器208上示出。3D凝視點位置可以以諸如但不限於點、線、矢量、箭頭和半透明圓的各種合適的任何表示進行表達。如上面討論，由遠程操作醫療系統10測量的凝視點可以在包括實時醫療程序和虛擬訓練手術二者的各種應用中使用。

雖然已經示出並描述說明性實施例，但是在前述公開中設想了寬範圍的修改、變化和替代並且在一些情況下，可以採用實施例的一些特徵，而無其他特徵的對應使用。本領域中的普通技術人員將認識到許多變化、替代和修改。因此，本公開的範圍應該僅由隨附權利要求限制，並且應當理解，權利要求應該以廣義地並以與本文公開的實施例的範圍一致的方式進行解釋。

權利要求書(按照條約第19條的修改)

1.一種眼球跟蹤系統，所述眼球跟蹤系統包括：

圖像顯示器，其經配置向使用者顯示術野的圖像，所述圖像顯示器經配置發射在第一波長範圍中的光；

右眼球跟蹤器，其經配置發射在第二波長範圍中的光並測量關於所述使用者的右眼球的第一凝視點的數據；

左眼球跟蹤器，其經配置發射在所述第二波長範圍中的光並測量關於所述使用者的左眼球的第二凝視點的數據；

光學組件，其設置在所述圖像顯示器和所述使用者的所述右眼球和左眼球之間，所述光學組件經配置指示所述第一波長範圍的光和第二波長範圍的光，使得所述第一波長和第二波長共享左眼球和所述圖像顯示器之間的左光學路徑的至少一部分並共享所述右眼球和所述圖像顯示器之間的右光學路徑的至少一部分，而所述右眼球跟蹤器和左眼球跟蹤器對所述使用者不可見；和

至少一個處理器，其經配置處理關於所述第一凝視點和所述第二凝視點的所述數據，以確定其中所述使用者的凝視點指示的所顯示的圖像中的觀看位置。

2.根據權利要求1所述的眼球跟蹤系統，其中所述光學組件包括分束器，所述分束器經配置反射在所述第一波長範圍中的光並允許在所述第二波長範圍中的光的穿過。

3.根據權利要求2所述的眼球跟蹤系統，其中所述分束器包括分色鏡。

4.根據權利要求2所述的眼球跟蹤系統，其中所述光學組件還包括經配置接收從所述分束器反射的光的鏡。

5.根據權利要求1所述的眼球跟蹤系統，其中所述右眼球跟蹤器包括右立體成像裝置，並且所述左眼球跟蹤器包括左立體成像裝置。

6.根據權利要求1所述的眼球跟蹤系統，其中所述右立體成像裝置和左立體成像裝置均包括多個眼球跟蹤攝像機。

7.根據權利要求1所述的眼球跟蹤系統，其中所述至少一個處理器經配置處理關於所述第一凝視點和所述第二凝視點的所述數據，以基於與恆定瞳孔間距對應的恆定因素確定所述觀看位置。

8.根據權利要求1所述的眼球跟蹤系統，其中所述右眼球跟蹤器經配置檢測所述右眼球的2D角膜反射數據，並且所述左眼球跟蹤器經配置檢測所述左眼球的2D角膜反射數據。

9.根據權利要求1所述的眼球跟蹤系統，其中所述右眼球跟蹤器經配置檢測所述右眼球的2D瞳孔位置數據，並且所述左眼球跟蹤器經配置檢測所述左眼球的2D瞳孔位置數據。

10.根據權利要求1所述的眼球跟蹤系統，其中所述右眼球跟蹤器和所述左眼球跟蹤器經配置跟蹤關於與所述使用者的頭部特徵對應的固定參考點的位置數據。

11.根據權利要求10所述的眼球跟蹤系統，其中所述至少一個處理器經配置處理關於所述第一凝視點和所述第二凝視點的所述數據並補償所述使用者的頭部運動，以基於關於所述固定參考點的所述位置數據確定所述觀看位置。

12.根據權利要求1所述的眼球跟蹤系統，其中所述光學組件經配置反射來自所述圖像顯示器的所述第二波長範圍的光並傳送來自所述光發射器的所述第一波長範圍的光。