機器人、醫療工作檯和用於將圖像投影到對象表面的方法

2023-07-15 17:06:01 2

專利名稱：機器人、醫療工作檯和用於將圖像投影到對象表面的方法
技術領域：
本發明涉及一種機器人、一種醫療工作檯和一種將圖像投影到對象表面上的方法。
背景技術：
例如，在外科手術當中越來越多地使用基於計算機的信息系統向為生命體做手術 的外科醫生提供信息。對於手術而言，這些信息例如包括生命體的生命體徵、風險結構或對 象位置。所述信息例如可以由信息系統的顯示裝置示出，並且該信息系統同樣包括用於操 控的輸入裝置。由於利用顯示裝置所示出的信息，外科醫生必須在手術臺和顯示裝置之間 進行視角轉換，在必要情況下可能還有輸入裝置。

發明內容
因此本發明的目的在於，提出一種裝置，該裝置可以允許簡化的採集可視信息的 前提條件。本發明的目的通過一種機器人實現，該機器人具有機器人臂、固定在機器人臂上 或集成在機器人臂中的裝置，該裝置用於將圖像投影在對象表面上。本發明的目的還通過一種將圖像投影在對象表面上的方法來實現，該方法包括以 下步驟利用集成在機器人的機器人臂中或固定在機器人臂上的用於投影圖像的裝置，將 圖像投影在對象、特別是一種生命體的表面上。雖然根據本發明的方法或根據本發明的機器人特別考慮用於醫療領域，但是也可 以考慮將它們應用到非醫療領域，例如，對機器進行保養、檢查和維修。工業機器人通常是執行機器，其裝備有特定的工具，並對多個運動軸，特別是關於 方向、位置和工作流程是可編程的，以自動地處理對象。工業機器人通常包括也被稱為機械 臂的機器人手臂、控制裝置，必要時還有執行器，執行器可以設計為，例如作為用於抓住工 具的夾持器，或者例如應用於醫療技術中時，用於傳送醫療器械。機械臂或機器人手臂實質 上描述了機器人的可運動部分。機器人手臂尤其是具有多個軸，它們例如通過電動驅動器 由例如實施為計算機的控制裝置來控制。為了將圖像投影在特別是生命體的對象的表面上，根據本發明，將圖像投影裝置 集成在機器人的機器人臂中或固定在機器人臂上。因此可以相對簡單的方式，根據對機器 人臂的適當控制來將圖像投影在對象的表面上。所述圖像投影裝置尤其可以被集成在或固 定在所謂的機器人的工具中心點(TCP)的附近。投影的位置例如可以通過軟體來選擇。根據本發明的機器人的一種實施方式，該機器人具有特別是固定在機器人臂上或 集成在機器人臂中的裝置，用於從投影在對象表面上的圖像拍攝圖像，其中，特別設置一種 機器人的數據處理裝置，用於分析圖像數據組，該圖像數據組對應於通過所述圖像拍攝裝 置從投影在對象表面上的圖像所拍攝的圖像。用於從投影在對象表面的圖像拍攝圖像的裝
4置例如是照相機或傳感器，它們尤其可以提供2. 5D的周圍環境的圖像。但是，所述圖像拍 攝裝置也可以例如固定在三角架、牆壁或覆蓋物上。如果例如投影的圖像涉及特別是機器人的數據處理裝置的虛擬輸入裝置，或者涉 及其他數據處理裝置的虛擬輸入裝置，則根據本發明的機器人的一種擴展，將機器人的數 據處理裝置設置為，對基於工作人員的身體語言的圖像數據組進行分析，以識別對虛擬輸 入裝置的操作。虛擬輸入裝置可以具有，例如虛擬的、藉助於所投影的圖像在對象的表面上 所示出的操作元件，其中，數據處理裝置例如利用模式識別算法對圖像數據組進行分析，以 確定工作人員是否接觸到虛擬示出的操作元件。根據對圖像或圖像數據組的分析，可以相 應地識別工作人員的身體語言，並將其解釋為對虛擬輸入裝置的操作。如果所述對象特別 涉及到生命體，例如等待治療的患者，則工作人員，例如外科醫生或普通醫生，能夠在無菌 環境中操作虛擬輸入裝置。根據本發明的機器人的另一種實施方式，機器人具有用於識別由對象表面的表面 幾何形狀所引起的投影圖像的畸變的裝置，該裝置控制圖像投影裝置，以使圖像投影裝置 至少能夠部分地對投影的圖像的畸變進行補償。可以將畸變理解為圖像高度，即以非線性 方式取決於相應的對象點(Objektpimkt)的高度的投影圖像的圖像點與圖像中心之間的 距離。也可以說，成像比例取決於相應的對象點的高度。畸變會導致，例如，成像沒有通過 投影圖像的圖像中心的直線被曲折地再現。根據本發明的機器人的一種擴展，所述用於識別畸變的裝置具有特別是集成在 機器人臂中或固定在機器人臂上的圖像拍攝裝置，以及數據處理裝置，根據這種實施方式， 數據處理裝置設置為，根據所分析的圖像數據組對畸變進行識別。這可以例如通過下述方 法實現將與從投影圖像拍攝的圖像相對應的圖像數據組與對應的投影圖像的圖像數據組 進行對比。由此產生用於確定畸變的立體系統(Stereosystem)。在對投影圖像進行投影 時，可以考慮投影圖像的顛倒成像，從而能夠至少部分地對畸變進行補償。例如，可以在圖像投影期間確定畸變。但是，畸變的確定也可以在使用參考圖像對 圖像投影裝置的校正過程中進行。根據本發明的機器人的另一種實施方式，數據處理裝置設置為，根據事先建立的 對象的其他圖像數據組，尤其是對象的三維圖像數據組，對圖像投影裝置進行控制，以使圖 像投影裝置至少部分地補償投影圖像的畸變。如果對象涉及生命體，則可以特別使用成像 醫療設備，如磁共振成像儀、計算機斷層掃描設備、X光機或超聲波來建立對象的其他圖像 數據組。根據本發明的機器人特別設計為應用於醫療工作檯的範圍內。根據本發明醫療工 作臺的一種實施方式，位於根據本發明的機器人旁的醫療工作檯具有用於檢測生命體和機 器人位置的導航系統，其中機器人的數據處理裝置設置為，控制圖像投影裝置，從而在至少 部分地補償投影圖像的畸變時考慮到機器人和生命體的位置。因此這種根據本發明的醫療 工作檯的擴展被實現為，對於根據本發明的方法還實施以下步驟特別是利用導航系統確定機器人和生命體的位置，根據生命體和機器人的位置，並根據事先從生命體拍攝的圖像數據組，確定投影 在生命體表面上的圖像的預期的畸變，並根據機器人和生命體的位置以及根據生命體的圖像數據組，至少部分地對投影在
5表面上的圖像的預期的畸變進行補償。導航系統在醫療技術中，特別是在最小介入醫療技術中，是普遍公知的，例如由專 利文獻DE 19951503B4所公知的。導航系統包括例如，設置在機器人上的標記；設置在生 命體上或患者躺在其上的病床上的標記；和用於採集標記的裝置。用於採集標記的裝置例 如是光學採集裝置，如立體照相機。導航系統根據利用採集標記的裝置所採集到的標記以 基本上普遍公知的方式確定機器人和生命體的位置。根據機器人和生命體的位置以及由生 命體採集到的圖像數據組，尤其是三維圖像數據組，數據處理裝置可以計算出投影圖像的 預期畸變，並相應地調整圖像投影的畸變，從而至少部分地對預期的畸變進行補償。用於採集導航系統的標記的裝置也可以用於從投影圖像拍攝圖像。對應於圖像的 圖像數據組也可以用於識別畸變的裝置中。如果在治療生命體期間，為了確定生命體的位置而使用導航系統，則可以通過患 者的移動來更新對預期畸變的部分補償。例如，這種補償可以通過相同的投影裝置來實施。但是根據本發明的方法的一種實施方式，對至少部分補償進行更新，其中，對機器 人臂相應於生命體的移動一同引導。在根據本發明的機器人或根據本發明的方法中，可以相應地採用所謂的增強現實 (英語Augmented Reality)。通常把增強現實理解為真實感知的計算機輔助增強。


在所附簡圖中示例性描述了本發明的實施例。圖1示出了機器人，圖2示出了具有醫療工作檯的圖1中的機器人，圖3示出了虛擬輸入裝置，和圖4示出了成像醫療技術系統。
具體實施例方式圖1示出了具有機器人臂A的機器人R，在當前實施例的情況下，機器人臂A被固 定在基座S上。機器人臂A基本上示出了機器人R的可運動的部分，其具有多個軸1-6、多 個槓桿7-10和法蘭F，例如工具或醫療器械可以固定在法蘭F上。在當前實施例的情況下，每個軸1-6都利用電動驅動裝置運動，所述電動驅動裝 置以未示出的方式電動連接機器人R的控制計算機17，使得控制計算機17或在控制計算機 17上運行的電腦程式能夠控制電動驅動裝置，從而可以基本上在空間中自由地調整機器 人R的法蘭F的位置和方向。機器人R的電動驅動裝置每一個都具有例如電動機11-16，必 要時還具有控制電動機11-16的功率電子電路。在當前實施例的情況下，投影儀18集成在機器人臂A中，特別是集成在法蘭F中， 投影儀18可以將圖像投影在對象的表面上。也可以選擇將投影儀18例如可鬆脫地固定在 機器人臂A的結構上，特別是固定在法蘭F上。投影儀18以未示出的方式電連接計算機，例如控制計算機17。在當前實施例的情況下，機器人R被設置成圖2中所示的醫療工作檯的一部分。在上當前實施例的情況下，示出的醫療工作檯具有位於機器人R旁邊的病床L，
6病床L必要時是高度可調的；以及導航系統。病床L被設置為，在圖2中所示出的患者P可 以躺在病床上。在圖2中未示出的外科醫生可以例如對患者P實施手術。在當前實施例的情況下，機器人R被設置為，利用機器人R的投影儀18將圖像20 投影在患者P的表面上。在本實施例中，圖3所示出的投影圖像20描述了用於控制計算機 17的輸入裝置，或用於在圖中未示出的其他數據處理裝置的輸入裝置，並且投影圖像20具 有例如鍵盤的形狀。投影圖像20形狀的虛擬輸入裝置也具有虛擬操作元件21，虛擬操作元 件21例如與真實的鍵盤的鍵相同。在當前實施例的情況下，機器人R還具有與控制計算機17電連接的照相機19，照 相機19集成在機器人臂A中或固定在機器人臂A上。照相機19被設置為，能夠從患者P 身上的投影圖像20拍攝圖像。利用模式識別算法，控制計算機17或在控制計算機17上運 行的電腦程式對與從投影圖像20所拍攝的圖像相對應的圖像數據組進行分析，在圖中 未示出的工作人員(例如治療患者P的外科醫生)是否在操作虛擬的並以投影圖像20的 形式示出示出的虛擬輸入裝置的虛擬操作元件21。如果根據所提到的圖像數據組，在控制 計算機17上運行的電腦程式可以識別外科醫生例如碰觸到虛擬操作元件21的範圍，則 在控制計算機17上運行的電腦程式可以引起與操作虛擬操作元件21相對應的反應。投影圖像20由於患者P起伏的表面而具有畸變。這當前實施例的情況下，畸變至 少能夠部分地通過在將圖像20投影到患者P上之前，利用投影儀18將未在附圖中詳細示 出的參考圖像投影在患者P上得到補償。在此，參考圖像通常投影在患者P表面上與投影 圖像20相同的位置上。隨後，利用照相機19拍攝所投影的參考圖像的圖像，並使用另一個在控制計算機 17上運行的電腦程式對屬於該圖像的圖像數據組進行分析。控制計算機17根據對應於 由投影的參考圖像拍攝的圖像的圖像數據組和投影的參考圖像的標稱顯式來控制投影儀 18，使投影儀18至少能夠部分地對稍後要成像的投影圖像20的畸變進行補償。在另一種實施方式中，在對患者P進行治療之前，利用在圖4中示出的成像醫療技 術設備22特別是產生患者P的三維圖像數據組。成像醫療技術設備22例如是磁共振成像 儀、計算機斷層掃描設備、X光機(例如C形臂X光機)或超聲波設備。由患者P產生的三維圖像數據組例如可以用於對患者P的診斷，並在機器人R的 控制計算機17中運行。根據機器人R和患者P的位置以及根據患者P的三維圖像數據組， 另一個在控制計算機17中運行的電腦程式可以確定投影圖像20的預期的畸變，並由此 使投影儀18的投影發生改變，從而至少部分地補償投影圖像20的預期的畸變。為了確定機器人R和患者P的位置，使用以上所述的導航系統。導航系統通常對 於專業人員而言是普遍公知的，導航系統例如包括立體照相機23、設置在患者P上的參考 標記Ml和設置在機器人R上的參考標記M2。為了確定機器人R和患者P的位置，採用立體 照相機23對參考標記Ml、M2拍照，而後利用導航系統的計算機24以普遍公知的方式對屬 於Ml和M2的圖像數據組進行分析。此外，導航系統的計算機24以未示出的方式與機器人 R的控制計算機17連接，以為控制計算機17提供關於機器人R的位置、特別是機器人R的 投影儀18的位置以及患者P的位置的信息。此外，在上述實施例中還能夠，對由於患者P的移動而變化的投影圖像20的畸變 進行校正，其中，例如根據已知的患者P的移動或患者P的由於移動而改變的位置，調整投
7影儀18，或者隨著患者P的移動來一同引導機器人臂A，使得改變了的畸變至少能夠部分地 得到補償。
8
權利要求
一種機器人，其具有機器人臂(A)和固定在所述機器人臂(A)上或集成在所述機器人臂(A)中的裝置(18)，該裝置(18)用於將圖像(20)投影到對象(P)的表面。
2.如權利要求1所述的機器人，具有數據處理裝置(17)。
3.如權利要求2所述的機器人，具有特別是固定在所述機器人臂(A)上或集成在所述 機器人臂(A)中的裝置，該裝置用於從所述投影在對象(P)表面上的圖像(20)拍攝圖像 (19)，其中，所述數據處理裝置(17)設置用於分析圖像數據組，該圖像數據組對應於利用 拍攝圖像(19)的裝置從所述投影在對象(P)表面上的圖像(20)所拍攝的圖像。
4.如權利要求3所述的機器人，其中，所述投影圖像(20)表示所述數據處理裝置(17) 的虛擬輸入裝置，或者另一數據處理裝置的虛擬輸入裝置，所述數據處理裝置(17)設置 為，用於分析基於工作人員身體語言的圖像數據組，以識別對所述虛擬輸入裝置的操作。
5.如權利要求1到4中任一項所述的機器人，具有用於識別(19，17)由所述對象(P) 表面的表面幾何形狀引起的所述投影圖像(20)的畸變的裝置，該裝置對所述圖像投影裝 置(18)進行控制，使該圖像投影裝置(18)至少能夠部分地對所述投影圖像(20)的畸變進 行補償。
6.如權利要求5所述的機器人，其中，所述用於識別畸變的裝置包括特別是集成在所 述機器人臂㈧中或固定在所述機器人臂㈧上的用於拍攝圖像(19)的裝置，以及所述數 據處理裝置(17)，其中，所述數據處理裝置(17)設置為，根據所分析的圖像數據組對畸變 進行識別。
7.如權利要求2到6中任一項所述的機器人，該機器人的數據處理裝置(17)設置為， 根據事先建立的所述對象(P)的其他圖像數據組、尤其是三維圖像數據組來控制所述圖像 投影裝置，使該圖像投影裝置至少部分地對所述投影圖像(20)的畸變進行補償。
8.如權利要求7所述的機器人，其中，所述對象(P)是生命體，所述對象的其他的圖像 數據組是利用成像醫療技術設備(22)產生的。
9.一種醫療工作檯，具有如權利要求1到8中任一項所述的機器人(R)。
10.一種醫療工作檯，具有如權利要求8所述的機器人(R)和用於採集生命體(P)和機 器人(R)的位置的導航系統(23，24，M1，M2)，其中，所述數據處理裝置(17)設置為，對所述 圖像投影裝置(18)進行控制，使得在至少部分地對所述投影圖像(20)的畸變進行補償時 考慮該機器人(R)和生命體(P)的位置。
11.如權利要求10所述的醫療工作檯，其中，所述導航系統(23，24，Ml,M2)具有設置 在所述機器人(R)上的標記(M2)、設置在所述生命體(P)上或設置在該生命體位於其上的 病床(L)上的標記(M2)，和用於採集所述標記(M1，M2)的裝置(23)。
12.如權利要求11所述的醫療工作檯，其中，所述用於採集標記(Ml，M2)的裝置(23) 還用於，從投影在所述對象(P)上的圖像(20)拍攝圖像，其中，所述機器人(R)的數據處理 裝置(17)設置成，對對應於利用所述採集標記(M1，M2)的裝置(23)對投影在所述對象⑵ 上的圖像(20)所拍攝的圖像的圖像數據組進行分析。
13.一種將圖像投影在對象表面的方法，包括以下步驟利用特別是集成在機器人(R)的機器人臂(A)中或固定在所述機器人臂(A)上的圖像 投影裝置(18)，將圖像(20)投影到對象的表面，該對象特別是生命體。
14.如權利要求13所述的方法，還包括以下步驟2特別是利用導航系統(23，24，M1，M2)確定所述機器人(R)和所述生命體(P)的位置，根據所述機器人(R)和所述生命體(P)的位置，以及根據事先從所述生命體(P)拍攝 的圖像數據組，確定投影在所述生命體(P)表面上的所述圖像(20)的預期的畸變，以及根據所述機器人(R)和所述生命體(P)的位置，以及根據所述生命體(P)的圖像數據 組，至少部分地對所述投影在表面上的圖像(20)的預期的畸變進行補償。
15.如權利要求14所述的方法，包括根據所述生命體(P)的移動，對所述投影在表面 上的圖像(20)的預期的畸變的至少部分的補償進行更新。
16.如權利要求15所述的方法，包括根據所述生命體(P)的通過所述機器人臂(A)相 應於該生命體(P)的移動而引導的移動，對所述投影在表面上的圖像(20)的預期的畸變的 至少部分的補償進行更新。
17.如權利要求13到16中任一項所述的方法，其中，所述生命體(P)的圖像數據組是 利用成像醫療技術設備(22)拍攝的。
18.如權利要求13到17中任一項所述的方法，還包括以下步驟利用固定在所述機器人臂(A)上或集成在所述機器人臂(A)中的照相機(19)，從所述 投影在生命體(P)表面上的圖像(20)拍攝圖像，其中，所述投影圖像(20)示出了虛擬輸入 裝置，和基於工作人員的身體語言，對與利用所述照相機(19)拍攝的圖像相對應的其他圖像 數據組進行分析，以識別對所述虛擬輸入裝置的操作。全文摘要
本發明涉及一種機器人(R)、一種醫療工作檯和一種將圖像(20)投影到對象(P)表面上的方法。所述機器人(R)具有機器人臂(A)和固定在機器人臂(A)上或集成在機器人臂(A)中的裝置(18)，該裝置(18)用於將圖像(20)投影在對象(P)的表面上。
文檔編號B25J13/00GK101903140SQ200880116876
公開日2010年12月1日 申請日期2008年11月18日 優先權日2007年11月19日
發明者德克·雅各布, 託拜厄斯·奧爾特邁爾, 格奧爾·帕辛 申請人:庫卡羅伯特有限公司