包括支撐機器人面部及懸吊式攝像機的推車的遠程呈現系統的製作方法

2023-06-02 07:43:31

技術領域

所公開的主題一般地涉及機器人遙現（tele-presence）系統的領域。

背景技術：

機器人已經被用在從對危險材料的遠程控制到輔助外科手術的施行的各種應用中。例如，頒發給Wang等人的美國專利No.5,762,458公開了一種允許外科醫生通過使用機器人控制的儀器來施行微創醫療程序（medical procedure）的系統。Wang的系統中的機器人臂中的一個移動具有攝像機的內窺鏡。該攝像機允許外科醫生觀察患者的手術區（surgical area）。

已經有由本申請的受讓人InTouch科技公司引入的以RP-7為商標的移動遙現機器人在市場上被銷售。該InTouch機器人由在遠程站處的用戶來控制。該遠程站可以是具有允許用戶遠程控制機器人的移動的操縱杆的個人計算機。機器人和遠程站都具有攝像機、監控器、揚聲器以及麥克風，以考慮到雙向視頻/音頻通信。機器人攝像機向在遠程站處的屏幕提供視頻圖像，使得用戶可以觀察機器人的周圍環境並相應地移動機器人。

InTouch還提供了一種包括被附著到吊臂的機器人面部的以VisitOR被出售的系統。吊臂和機器人面部可以被安裝到手術室中。在手術室中使用機器人面部可能要求面部的消毒。另外，VisitOR要求在手術室中安裝吊臂。這可以增加安裝這樣的系統的成本和複雜度。

附圖說明

圖1是遙現系統的圖解；

圖2是該系統的推車（cart）的透視圖；

圖3是推車的關節臂以及機器人面部的後視圖；

圖4是推車的懸吊式攝像機（overhead camera）的放大的透視圖；

圖5是遠程站的顯示用戶界面的圖解；

圖6是顯示用戶界面的示出了被同時顯示的通過機器人攝像機捕獲的視頻圖像以及通過懸吊式攝像機捕獲的視頻圖像的圖解。

具體實施方式

公開的是一種包括推車的遙現系統。該推車包括具有機器人監控器、機器人攝像機、機器人揚聲器、機器人麥克風的機器人面部以及包括懸吊式攝像機。該系統還包括被耦合到機器人面部以及懸吊式攝像機的遠程站。遠程站包括站監控器、站攝像機、站揚聲器和站麥克風。遠程站可以顯示通過機器人攝像機和/或懸吊式攝像機所捕獲的視頻圖像。舉例來說，推車可以被用在手術室中，其中懸吊式攝像機可以被放置在消過毒的區域（sterile field）上方，以提供更加有益的有利位置來觀察程序。遠程站處的用戶可以通過機器人面部進行電話會議，並且還可以通過懸吊式攝像機獲得對醫療程序的觀察。

更特別地通過參考數字參照附圖，圖1、2和3示出了遙現系統10。該系統10包括被耦合到遠程控制站14的推車12。推車12具有機器人面部16以及懸吊式攝像機18。遠程控制站14可以通過網絡20被耦合到推車12。舉例來說，網絡20可以是諸如網際網路之類的分組交換網絡或諸如公共交換電話網絡（PSTN）之類的電路交換網絡或其它寬帶系統。可替換地，推車12可以通過衛星被耦合到遠程站14。

遠程控制站14可以包括具有監控器24、攝像機26、麥克風28以及揚聲器30的計算機22。計算機22還可以包含諸如操縱杆或滑鼠之類的輸入設備32。控制站14通常位於遠離推車12的地方。雖然只有一個遠程控制站14被示出，但是系統10可以包括多個遠程站14。一般地，任意數目的推車12都可以被耦合到任意數目的遠程站14或其它推車12。例如，一個遠程站14可以被耦合到多個推車12，或者一個推車12可以被耦合到多個遠程站14或多個推車12。該系統可以包括控制推車12與遠程站14之間的接入的仲裁器（未示出）。

如在圖3中示出的那樣，推車12可以包括支撐並且可以移動機器人面部16的關節臂40。關節臂40可以具有分別允許機器人面部14被搖動（pan）和被傾斜的主動關節（active joint）42和44。主動關節42和44可以響應於由遠程站提供的命令而移動。關節42和44可以分別包含提供臂40的位置反饋的位置傳感器46和48。

參照圖2和3，每個機器人面部16都包括（多個）攝像機50、監控器52、（多個）麥克風54以及（多個）揚聲器56。機器人攝像機50被耦合到遠程監控器24，使得遠程站14處的用戶可以觀察通過機器人攝像機50所捕獲的視頻圖像。同樣地，機器人監控器52被耦合到遠程攝像機26，因此手術地點（surgical site）處的人員可以觀察遠程站14的用戶。麥克風28和54以及揚聲器30和56都考慮到在系統操作者與手術地點處的人員之間的有聲通信。

懸吊式攝像機18可以被耦合到吊臂60。吊臂60可以包括多個（主動的或被動的（passive））關節62。關節62可以包括位置傳感器，以提供關於懸吊式攝像機18的位置的反饋。

如在圖4中所示出的那樣，推車12可以包括懸吊式麥克風64以及可拆式把手66。懸吊式麥克風64可以提供可替換的聲音源。可拆式把手66可以被用來移動吊臂60以及懸吊式攝像機18。如果推車12被用在消過毒的區域中，例如在手術室中，那麼在每個醫療程序之前，把手66都可以被消過毒的把手替換，以允許在消過毒的區域內的外科醫生在程序期間定位吊臂。

再次參照圖2，推車12可以包括直線驅動器70，所述直線驅動器70可以遠程地或本地地被驅使來使機器人面部16以及懸吊式攝像機18的高度變化。使高度變化允許推車12被滾動穿過門，並且接著被驅使來將面部16以及攝像機18移動到被升高的位置。例如，面部16以及攝像機18可以被降低，以允許推車12被移動進入手術室。攝像機18可以接著被抬高，以提供期望的對手術臺的觀察。推車12可以包括位於吊臂60上的雷射指示器72和/或定向照明（未示出）。推車12還可以包括本地控制面板74，以移動關節臂40、驅動器70和/或吊臂60。在無論人是正站著、坐著或者以臥姿躺著都將面部16移動到處於基本上與人相同的水平方面，直線驅動器70也是有利的。

機器人面部16可以包括處理器、硬碟驅動器以及使得面部16能夠起到計算機作用的其它電路。面部16可以包括允許用戶提供輸入的輸入面板76。舉例來說，遠程站的操作者可以通過機器人面部16提供一個或多個問題，其中推車的用戶通過輸入面板76提供答覆。

系統10可以具有與由在加利福尼亞州的戈拉塔的受讓人InTouch科技公司提供的名稱為RP-7的機器人系統相同或類似的特定的部件和軟體，並且具體表現在通過引入作為參考的美國專利6,925,357中所描述的系統。

圖5示出了可以被顯示在遠程站14處的顯示用戶界面（「DUI」）120。DUI 120可以包括顯示通過機器人攝像機和/或懸吊式攝像機所捕獲的視頻圖像的機器人觀察區域122 。DUI 120還可以包括顯示通過遠程站14的攝像機所提供的視頻圖像的站觀察區域124。DUI 120可以是通過遠程站14的計算機22所存儲並操作的應用程式的部分。

DUI 120可以包括允許用戶在通過機器人攝像機提供的視頻圖像與通過懸吊式攝像機提供的視頻圖像之間進行選擇的圖形開關126。DUI 120還可以具有允許用戶選擇如在圖6中所示出的同時顯示來自機器人和懸吊式攝像機的視頻圖像的圖形開關128。來自兩個攝像機的視頻圖像都可以從推車被流向遠程站。通過呈現每個圖像的中心矩形（例如320×480中心區），圖像可以被合併。通過操縱任一圖像上的光標，縮放或加亮特徵可以被利用。當光標被移出所顯示的視野時，該系統還可以自動搖動攝像機鏡頭。

該系統可以自動呈現來自具有對對象的最佳觀察的攝像機的視頻圖像。例如，該系統可以利用模式識別技術來確定哪個視頻圖像提供了對象的更清楚的圖像。該系統可以確定哪個攝像機更緊靠對象並且提供來自更接近於該對象的攝像機的圖像。該系統可以利用來自推車的位置反饋來確定攝像機的相對於對象的接近性。該系統還可以具有可以確定攝像機到對象的接近性的諸如雷射器、聲納等之類的傳感器。該系統可以使用反饋和/或傳感器來確定哪個攝像機更接近於對象。

該系統可以自動移動攝像機，使得每個攝像機都指向相同的或基本上相同的視野。例如，如果機器人面部被指向對象，則懸吊式攝像機可以被自動移動來捕獲相同對象的視頻圖像。同樣地，如果懸吊式攝像機正在捕獲對象的視頻圖像，則機器人面部可以被自動移動，以指向相同的對象。這增強了遠程操作者的「存在」，因為這些遠程操作者正面對懸吊式攝像機正在觀察的相同對象。

DUI 120可以具有允許用戶在通過機器人麥克風或懸吊式麥克風所捕獲的聲音之間進行切換的圖形開關130。該系統可以基於通過麥克風所捕獲的聲音的（多個）特徵在麥克風之間自動切換。例如，該系統可以切換到提供最高的聽覺清晰度的麥克風，或者切換到最緊靠生成該聲音的人或對象的麥克風。

DUI 120可以包括提供機器人面部的定位的定位顯示138。「改變」按鈕140可以被選擇來在新的會話中改變預設的機器人面部。「改變」按鈕140可以被用來在具有多個機器人面部的系統中選擇並控制不同的機器人面部。用戶可以通過選擇框142發起並終止會話。當用戶選擇該框來發起會話時，框142從「連接」改變為「斷開」。系統設置以及系統支持可以通過按鈕144和146來選擇。

機器人觀察區域122以及站觀察區域124都可以具有相關聯的圖形，以使視頻顯示以及音頻顯示變化。每個區域都可以具有相關聯的圖形音頻滑動條148，以使所選擇的麥克風的音頻水平變化，並且具有另一滑動條152，以使揚聲器的音量變化。

DUI 120可以具有滑動條150、154和156，以分別使所選擇的攝像機的縮放、聚焦和亮度變化。通過選擇圖形攝像機圖標之一158，靜止圖片可以在機器人面部或遠程站處被拍攝。靜止圖片可以是在攝像機圖標158被選擇的時候被呈現在相對應的區域122或124處的圖像。捕獲並且播放視頻可以通過圖形圖標160進行。返回到實時視頻可以在拍攝靜止圖片、所捕獲的視頻或者審閱幻燈片之後通過選擇圖形「實況播送」按鈕162來重新開始。

靜止圖片可以通過選擇圖標164從磁碟被加載用於進行觀察。所存儲的靜止圖像通過選擇按鈕166來審閱。相對於圖像總數的所顯示的圖像的數目通過圖形框168被示出。通過移動滑動條170，用戶可以快速地經過幻燈片方式的靜止圖像或經過所捕獲的視頻片斷。所捕獲的視頻圖像可以通過選擇圓圈174被暫停。播放可以通過相同的按鈕174來重新開始。視頻或靜止圖像通過按鈕172可以從現役列表中被消除。視頻或靜止圖像可以通過選擇圖標176被傳送到機器人。例如，遠程站處的醫生可以將x光照片傳送到機器人的屏幕。

該系統可以提供注釋184被顯示在區域122和/或124中的圖像的能力。例如，遠程站處的醫生可以注釋通過機器人面部攝像機所捕獲的圖像的某個部分。被注釋的圖像可以被該系統存儲。該系統還可以考慮到通過圖標176被發送到機器人面部的圖像的注釋。例如，醫生可以將x光照片發送到機器人面部，所述x光照片由機器人屏幕被顯示。醫生可以注釋該x光照片，以向位於機器人地點處的人員指出該x光照片的部分。這可以協助允許醫生指示在機器人地點處的人員。

顯示用戶界面可以包括圖形輸入186，所述圖形輸入186允許操作者接通和關斷遠程站以及遠程攝像機的觀察。

參照圖1，推車12可以被使用在手術室中。舉例來說，吊臂60可以被移動來把懸吊式攝像機18放置在手術臺200上方。懸吊式攝像機18可以位於消過毒的區域上方。機器人面部16可以鄰近於消過毒的區域被放置。利用這樣的配置，人員可以通過機器人面部16進行雙向視頻會議。懸吊式攝像機18可以提供對患者以及手術程序的更期望的觀察。這會允許在遠程站處的醫師觀察該程序並且召開視頻會議，以向在手術地點處的人員提供指令、指導等。

對於本領域的技術人員將是顯而易見的是，可以對上面描述的實施例的細節進行改變，而不偏離本發明的基本原理。當某些示例性實施例已經被描述並且在所附的附圖中被示出時，應理解的是，這樣的實施例僅僅是說明本概括性的發明（broad invention），並不是對本概括性的發明進行限制，並且應理解的是，本發明並不限於被示出的和被描述的特定的構造和裝置，因為本領域技術人員可以想到各種其它修改方案。在權利要求書中，連接詞「和」是包含的，連接詞「或」是排他的，並且連接詞「和/或」是包含的或排他的。本發明的其中請求保護專有的所有權或特權的實施例被如下限定。