具有雙應用屏幕呈示的遙控機器人系統的製作方法

2023-12-07 23:01:21 3

具有雙應用屏幕呈示的遙控機器人系統的製作方法
【專利摘要】監理系統包括耦合到遠程站的通信裝置。遠程站具有顯示涉及對對象造成影響的動作的第一信息並且同時顯示涉及對對象的影響的第二信息的視覺顯示器。遠程站包括允許通過操作員向通信裝置傳送通信的至少一個輸入裝置。舉例來說，在心臟支架的部署期間，專科醫生可遠程觀察實時的螢光檢查成像和患者的血液動力學。專家可在用於安裝支架的適當的方向和時間選擇要求上遠程監理醫療人員。
【專利說明】具有雙應用屏幕呈示的遙控機器人系統
【技術領域】
[0001]公開的主題通常涉及監理(proctoring)領域。
【背景技術】
[0002]機器人已經被用於從危險材料的遠程控制到幫助外科手術執行的範圍中的多種應用。例如，頒給Wang等人的美國專利編號5762458公開了通過機器人控制的儀器的使用允許外科醫生執行微創的醫療過程的系統。Wang系統中的機器手臂中的一個移動具有照相機的內診鏡。照相機允許外科醫生觀察患者的外科手術區域。
[0003]移動機器人已經由本申請的受讓人InTouch科技公司在市場上銷售。InTouch機器人通過在遠程站的用戶控制。遠程站可以是允許用戶遠程控制機器人移動的具有操縱杆的個人計算機。機器人和遠程站都具有允許遠程站操作員和機器人站點人員之間的雙向視頻/音頻通信的照相機、監視器、揚聲器和麥克風。
[0004]InTouch系統已經被用於遠程援助和培訓醫療人員。例如，在一個位置的醫療專家可以觀察在遠程位置的患者並且對在患者站點的醫療人員提供監理。期望增強InTouch系統的監理能力。
【專利附圖】

【附圖說明】
[0005]圖1是機器人系統的圖示；
[0006]圖2是機器人的電氣系統的示意圖；以及
[0007]圖3是具有第一屏幕域和第二屏幕域的遠程站的顯示器用戶界面。
【具體實施方式】
[0008]公開的是包括耦合到遠程站的通信裝置的監理系統。遠程站具有顯示涉及對對象造成影響的動作的第一信息並同時地顯示涉及對對象的影響的第二信息的視覺顯示器。遠程站包括允許通過操作員向通信裝置傳送通信的至少一個輸入裝置。舉例來說，在心臟支架的部署期間，專科醫生可以遠程地觀察實時的螢光檢查成像和患者的血液動力學。專家可以在用於安裝支架的適當的方向和時間選擇的要求上遠程監理醫療人員。螢光檢查成像顯示正被插入跳動的心臟的支架圖像。支架將造成對心臟的影響，例如心跳的變化。血液動力學提供關於跳動的心臟的數據，即支架的影響。患者血液動力學和螢光檢查成像的同時顯示為專家提供了實時數據，使得他們可以發出例如「現在部署」的命令以便插入支架。備選地，監理的專家將與在手術中的外科醫生交談以便商量正在被接收的血液動力學信息的模式並且通過此信息建議「如我們可以觀察到的，這是植入部署的理想時間選擇」。
[0009]通過參考標號更具體地參考附圖，圖1示出系統10。機器人系統包括機器人12、基站14和遠程控制站16。遠程控制站16可通過網絡18耦合到基站14。舉例來說，網絡18可以是例如網際網路的分組交換網絡，或例如公共交換電話網絡(PSTN)的電路交換網絡或其他寬帶系統。基站14可通過數據機20或其他寬帶網絡接口裝置耦合到網絡18。舉例來說，基站14可以是無線路由器。備選地，機器人12可通過例如衛星具有到網絡的直接連接。
[0010]遠程控制站16可包括具有監視器24、照相機26、麥克風28和揚聲器30的計算機
22。計算機22還可包括例如操縱杆或滑鼠的輸入裝置32。控制站16通常位於遠離機器人12的位置。雖然只示出了一個遠程控制站16，但是系統10可包括多個遠程站。通常，任何數量的機器人12可通過任何數量的遠程站16或其他機器人12控制。例如，一個遠程站16可耦合到多個機器人12，或一個機器人12可耦合到多個遠程站16或多個機器人12。
[0011]每個機器人12包括被附於機器人外殼36的移動平臺34。照相機38、監視器40、麥克風42和揚聲器44也被附於機器人外殼36。麥克風42和揚聲器30可產生立體聲。機器人12還可具有被無線耦合到基站14的天線48的天線46。系統10允許在遠程控制站16的用戶通過輸入裝置32的操作移動機器人12。機器人照相機38耦合到遠程監視器24使得在遠程站16的用戶可以觀察患者。同樣地，機器人監視器40耦合到遠程照相機26使得患者可以觀察用戶。麥克風28和42以及揚聲器30和44考慮到患者和用戶之間的可聽通信。
[0012]遠程站計算機22可操作微軟作業系統軟體和WINDOWS XP或例如LINUX的其他作業系統。遠程計算機22還可操作視頻驅動器、照相機驅動器、音頻驅動器和操縱杆驅動器。可以用例如MPEG CODEC的壓縮軟體傳送和接收視頻圖像。
[0013]機器人12可耦合到一個或多個醫療監視裝置50。醫療監視裝置50可以從患者處採集醫療數據。舉例來說，醫療監視裝置50可以是聽診器、脈搏血氧儀和/或EKG監視器。醫療監視裝置50可包括向機器人12傳送患者數據的無線傳送器52。無線傳送的數據可以通過天線46或獨立天線(未示出)接收。然後，機器人12可傳送數據至遠程站16。醫療裝置50可包括可以產生螢光檢查圖像的螢光檢查器。此外，醫療裝置可產生例如心率的患者血液動力學數據。
[0014]來自醫療監視裝置50的無線傳送可符合例如IEEE的多種無線標準。用於傳送來自醫療監視裝置50的數據的標準不應該幹擾機器人12和基站14之間的無線通信。雖然示出和描述了無線傳送，可以理解醫療監視裝置50可以通過電線(未示出)耦合到機器人12。
[0015]當傳送螢光檢查成像和患者血液動力學時，系統可以將血液動力學數據與螢光檢查成像的幀結合成被傳送至遠程站用於分屏顯示的雙寬度幀。兩個幀的縫合將在壓縮之前發生，使得壓縮算法(例如MPEG-4)能夠利用可以發生在兩個幀之間的冗餘信息。與分別壓縮和傳輸的兩個流相比，這將潛在地導致同等的質量和更低的帶寬。備選地，螢光檢查成像和血液動力學可以通過去耦的方式被傳送並且然後通過例如在傳送前被插入到信息中的時間戳的時間選擇信息來結合。
[0016]遠程站16可通過網絡18耦合到伺服器54。伺服器54可包括患者的電子醫療記錄。舉例來說，電子醫療記錄可包括治療、病歷、藥物治療信息、例如e_ray、MRI或CT掃描、EKG的醫療圖像、實驗結果、醫師筆記等的書面記錄。醫療記錄可從伺服器54檢索並且通過遠程站16的監視器24顯示。替代地，或者另外地，醫療記錄可以被存儲在移動機器人12中。遠程站16可允許醫師修改記錄並且然後將修改的記錄存儲回伺服器54和/或機器人12中。[0017]圖2示出機器人12的實施例。每個機器人12包括高等級控制系統60和低等級控制系統62。高等級控制系統60可包括連接至總線66的處理器64。總線通過輸入/輸出(I/O)埠 68耦合到照相機38，並且通過串行輸出埠 70和VGA驅動器72耦合到監視器40。監視器40可包括允許患者通過觸摸監視器屏幕鍵入輸入的觸控螢幕功能。
[0018]揚聲器44通過數字模擬轉換器74耦合到總線66。麥克風42通過模擬數字轉換器76耦合到總線66。高等級控制器60還可包括都耦合到總線72的隨機存取存儲器(RAM)裝置78、非易失性RAM裝置80和大容量存儲裝置82。大容量存儲裝置82可包括可以通過在遠程控制站16的用戶訪問的患者醫療檔案。例如，大容量存儲裝置82可包括患者的照片。用戶，尤其是健康護理提供商，可取回舊照片並且在監視器24上與通過照相機38提供的患者的當前視頻圖像做並排比較。機器人天線46可耦合到無線收發器84。舉例來說，無線收發器84可根據IEEE802.1lb的信息傳送和接收。收發器84還可根據IEEE (也被稱為藍牙)來處理來自醫療監視裝置的信號。機器人可具有獨立的天線以便接收來自醫療監視裝置的無線信號。
[0019]控制器64可用LINUX OS作業系統操作。控制器64還可操作MS WINDOWS以及視頻、照相機和音頻驅動器用於與遠程控制站16的通信。可使用MPEG CODEC壓縮技術收發視頻信息。軟體可允許用戶向患者發送e-mail並且反之亦然，或允許患者訪問網際網路。通常高等級控制器60操作以便控制機器人12和遠程控制站16之間的通信。低等級控制器可以控制機器人12的移動。該系統可以與由加利福利亞州聖巴巴拉市的受讓人InTouch科技公司提供的名為RP-7的機器人系統相同或相似，其通過參考併入本文。
[0020]圖3示出遠程站的視覺顯示器120。視覺顯示器120顯示第一屏幕域122和第二屏幕域124。兩個屏幕域可通過兩個不同的監視器創建。備選地，兩個屏幕域也可通過一個監視器顯示。第一和第二屏幕域122和124可以是由遠程站16的計算機22存儲和操作的應用程式的一部分。
[0021]第一屏幕域122可顯示涉及對對象造成影響的動作的第一信息。第二屏幕域124可同時顯示涉及對對象的影響的第二信息。舉例來說，系統可用於在醫療過程期間的監理。第一屏幕域122可顯示示出支架正被插入穿過跳動心臟的大動脈的螢光檢查成像。第二屏幕域124可顯示患者血液動力學例如心率。支架在適當的位置並且在心跳的某些時序期間被插入是關鍵的。遠程站的醫療專家可同時觀察支架的位置和血液動力學數據。這允許專家監理位於患者位置的某人關於某個支架移動的時間選擇。監理可通過從遠程站傳送到機器人的視頻和/或音頻通信完成。儘管示出和描述了支架的插入，系統可在任何類型的過程中使用，例如血塊粉碎藥的部署。
[0022]視覺顯示器120可包括提供在兩個同步屏幕域122和124中顯示的信息的發送和接收之間的延遲的延遲指示器126。例如，圖3示出來自手術室的螢光檢查成像和血液動力學數據的發送與遠程站的成像和數據的接收之間的92毫秒的延遲。備選地，延遲值可指示從手術室到遠程站並且返回至手術室的往返延遲，因此表示手術室中圖像的捕獲和手術室中相關監理指示的接收之間的時間。此延遲信息對於部署可以是關鍵的，因為遠程專家必須確定當聲明例如「現在部署」的命令時，消息在適當的時刻而不是在之後的不適當的時間到達。視覺顯示器120還可包括提供當延遲超過閾值時的指示的指示器128。圖4示出當延遲低於閾值時顯示的「安全時間選擇」的指示。在一個實施例中，醫師可從下拉菜單(未示出）中選擇正被監理的過程的類型，並且表示最大安全延遲以便提供時間選擇敏感指令的閾值將從通過過程類型索引的值的表設置。
[0023]系統允許操作者同時觀察涉及將影響對象的動作的信息以及涉及對對象的影響的信息。這允許操作者向對象的站點提供通信，例如醫生可監理在外科病房站點的另一位醫生。
[0024]多種類型的過程可從這項技術中獲益。除上述的輸導管心臟瓣膜部署之外，該系統還可用於腦深部刺激（DBS)過程中。患者的頭顱為神經外科作好準備並且清醒，而外科醫生鑽穿顱骨並在大腦特定的目標區域放置掃描/刺激探針。外科醫生同時讀取DBS監視器記號（波形和數字）並且然後要求患者舉起手臂並且從100倒數。患者為這個任務努力。外科醫生可放大到大腦的目標區域的刺激並要求患者重複這個任務直到患者可以更容易地執行這個任務。在這個過程中，監理的外科醫生必須同時看到：
[0025](a)患者頭部所在的床頭，包括執行鑽孔和刺激的本地外科醫生；
[0026](b)涉及本地外科醫生正在做什麼的DBS監視器；以及可能地
[0027](c)手術視野的平面圖。
[0028]在使用中，當接收請求監理的呼叫時，醫師可以是在移動中的，並且可以在走向辦公室時利用例如iPad的移動裝置開始監理會話。在移動顯示器上僅有用於螢光檢查成像的空間，其僅足夠在程序的起始段用於監理。到達辦公室後，醫師可從可使用3G和/或802. 11連接的移動裝置斷開，並從乙太網連接上的寬屏桌面系統重新連接。醫師現在可以具有螢光檢查和血液動力學的高解析度視圖，並且可監理最終的部署。這個轉變考慮到跨越兩個裝置的護理的連續性。備選地，當仍通過移動裝置連接時，醫師可開始使用桌面系統，並且系統將實現無縫自動的從移動裝置的斷開以及到桌面系統的重連接。
[0029]雖然在附圖中描述和示出了某些示範性的實施例，將理解的是這樣的實施例僅僅是說明並且不限制本寬泛的發明，並且本發明不限於示出和描述的特定構造和布置，因為本領域普通技術人員可以想到多種其他的修改。
【權利要求】
1.一種監理系統，包括: 通信裝置；以及 耦合到所述通信裝置的遠程站，所述遠程站具有視覺顯示器，其顯示涉及對對象造成影響的動作的第一信息並且同時顯示涉及對所述對象的所述影響的第二信息，所述遠程站包括允許通過操作員向所述通信裝置傳送通信的至少一個輸入裝置。
2.權利要求1的系統，其中所述通信裝置包括監視器和揚聲器。
3.權利要求2的系統，其中所述通信裝置包括通過所述遠程站控制的移動平臺。
4.權利要求1的系統，其中所述第一信息包括螢光檢查圖像並且所述第二信息包括至少一個血液動力學數據。
5.權利要求1的系統，其中所述遠程站顯示表示所述第一信息和所述第二信息的本地捕獲與所述第一信息和第二信息的遠程顯示之間的網絡遲滯的延遲。
6.權利要求1的系統，其中所述遠程站顯示涉及延遲是否超過閾值的指示器。
7.權利要求1的系統，其中所述遠程站的所述至少一個輸入裝置包括照相機和麥克風。
8.權利要求1的系統，還包括將所述通信裝置耦合到所述遠程站的網絡。
9.權利要求1的系統，其中所述通信裝置包括耦合到監視器的照相機以及耦合到揚聲器的麥克風的機器人。
10.權利要求9的系統，其中所述機器人包括通過所述遠程站控制的移動平臺。
11.權利要求1的系統，其中所述通信裝置將視頻幀和附加信息結合，壓縮所述視頻幀和附加信息的所述結合，並傳送所述視頻幀和所述附加信息的所壓縮的結合，並且所述遠程站接收所述視頻幀和所述附加信息的所述壓縮的結合。
12.一種用於監理的方法，包括: 在遠程站顯示涉及對對象造成影響的動作的第一信息並且同時在所述遠程站顯示涉及對所述對象的所述影響的第二信息；以及 從所述遠程站的操作員向與所述動作有關的人員傳送通信。
13.權利要求12的方法，其中所傳送的通信包括所述操作員的圖像和來自所述操作員的語音通信。
14.權利要求13的方法，還包括在機器人監視器上顯示所述圖像並且從機器人揚聲器發出所述語音通信。
15.權利要求14的方法，還包括通過所述遠程站的輸入移動所述機器人。
16.權利要求12的方法，其中所述第一信息包括螢光檢查圖像並且所述第二信息包括至少一個血液動力學數據。
17.權利要求12的方法，還包括顯示表示所述第一信息和所述第二信息的本地捕獲與所述第一信息和第二信息的遠程顯示之間的網絡遲滯的延遲。
18.權利要求12的方法，還包括顯示涉及延遲是否超過閾值的指示器。
19.一種用於醫療諮詢的方法，包括: 從遠程健康裝置傳送患者的圖像； 在第一遠程站顯示患者的所述圖像； 啟動所述遠程健康裝置和第二遠程站之間的連接；以及在所述第二遠程站處顯示帶有附加信息的所述患者的所述圖像。
20.權利要求19的方法，其中所述遠程健康裝置是機器人。
21.權利要求19的方法，其中通過所述第一遠程站顯示的所述患者的所述圖像是螢光檢查圖像。
22.權利要求19的方法，其中所述附加信息是血液動力學數據。
23.權利要求19的方法，其中所述附加信息是較大解析度的視頻圖像。
24.權利要求19的方法，其中與所述第一遠程站視圖的通信在所述第二遠程站連接的啟動時被終止。`
【文檔編號】G06Q50/24GK103503017SQ201280006058
【公開日】2014年1月8日 申請日期:2012年1月18日 優先權日:2011年1月21日
【發明者】D·A·斯圖爾特, M·C·陳, T·C·賴特, Y·王, F·賴 申請人:英塔茨科技公司