相機系統的坐標系統的校準和變換的製作方法

2023-09-13 01:54:30 1

相機系統的坐標系統的校準和變換的製作方法
【專利摘要】本發明公開多種系統和方法，其確定第一相機系統的坐標系統與第二相機系統的坐標系統之間的映射；或確定機器人的坐標系統與相機系統的坐標系統之間的變換，且/或基於在所述相機的坐標系統中的工具位置來在機器人的坐標系統中定位從所述機器人的臂延伸的工具。所述所公開的系統和方法可以使用從在一個或多個圖像中找到的特徵的坐標導出的變換。所述變換可用來使各種坐標系統相互關聯，從而促進相機系統的校準，包括在機器人系統中，所述機器人系統諸如為用於毛髮採集和/或植入的圖像引導式機器人系統。
【專利說明】相機系統的坐標系統的校準和變換
【技術領域】
[0001]本發明大體上涉及如機器人系統的自動化系統，並且具體地說，涉及用於校準圖像引導式機器人系統的相機系統的系統和方法。
[0002]背景信息
[0003]機器人系統，如包括安裝有工具、檢查單元或其它裝置的可動機器人臂的機器人系統，通常包括用來將機器人臂從一個位置定位至另一個位置的引導系統。圖像引導式機器人系統通常至少部分基於經過處理的圖像來定位機器人臂，所述圖像在某些應用中可通過一個或多個相機來獲取。為了幫助準確地定位圖像引導式機器人系統，可能希望執行校準。例如參考Bodduluri等人的美國專利公布號2007/0106306的圖4描述了這類校準程序的實施例。
[0004]概述
[0005]在一個實施方案中，提供一種用於確定第一相機系統的坐標系統與第二相機系統的坐標系統之間的映射的方法，其中所述第一相機系統和所述第二相機系統具有至少部分重疊的視場，且其中所述第一相機系統和所述第二相機系統具有固定的空間關係。所述方法包括:使用一個或多個處理器，確定在來自所述第一相機系統和所述第二相機系統的對應圖像對中所找到的一組特徵(例如，一個或多個 特徵)在所述第一相機系統的坐標系統和所述第二相機系統的坐標系統中的坐標，進而產生在所述第一相機系統的坐標系統中的第一特徵坐標集合和在所述第二相機系統的坐標系統中的對應第二坐標集合；以及通過使用與所述一個或多個處理器相同的處理器或不同的處理器中的一個，基於所述第一特徵坐標集合和所述第二特徵坐標集合，確定所述第一相機系統的坐標系統與第二相機系統的坐標系統之間的映射。所述方法可將所述映射存儲在存儲器中，以便稍後用來在所述第一相機系統的坐標系統與所述第二相機系統的坐標系統之間轉換坐標。在一些實施方案中，所述方法可任選地從所述第一相機系統和所述第二相機系統中的每一個捕捉、接收或接受多個對應圖像。
[0006]在另一個實施方案中，提供一種系統，其包括一個或多個處理器，所述處理器被配置來:為第一組圖像中的一組特徵確定在第一相機系統的坐標系統中的坐標，進而產生在所述第一相機系統的坐標系統中的第一特徵坐標集合；為第二組圖像中的一組特徵確定在第二相機系統的坐標系統中的坐標，其中所述第二組圖像中的特徵對應於所述第一組圖像中的第一組特徵，進而產生在所述第二相機系統的坐標系統中的第二特徵坐標集合；以及基於所述第一特徵坐標集合和所述第二特徵坐標集合，計算所述第一相機系統的坐標系統與第二相機系統的坐標系統之間的變換。所述系統可將所述映射存儲在存儲器中，以便稍後用來在所述第一相機系統的坐標系統與第二相機系統的坐標系統之間轉換坐標。單個處理器可執行所陳述的全部操作。在一些實施方案中，所述系統還包括:第一相機系統，其具有第一視場並且被配置來捕捉所述第一組圖像；以及第二相機系統，其具有第二視場並且被配置來捕捉對應於所述第一組圖像的所述第二組圖像，其中所述第一相機系統和所述第二相機系統定位在相對於彼此固定的位置中，且其中所述第一視場和所述第二視場至少部分重疊。
[0007]在又一個實施方案中，所述第一相機系統和所述第二相機系統中的每一個包括立體相機對。在再一個實施方案中，所述第一相機系統和所述第二相機系統在其視場的大小上不同。在又一個實施方案中，所述第一相機系統和所述第二相機系統安裝至機器人臂上，所述機器人臂可以是機器人系統(例如，用於毛髮採集和/或植入的機器人系統)的一部分。在再一個實施方案中，可以大致同時捕捉、接收或接受所述圖像。在又一個實施方案中，所述特徵是校準特徵，其可以選自由棋盤角、點圖案或質心組成的群組中的一個或多個。
[0008]在再一個實施方案中，來自所述第一相機系統和所述第二相機系統中的每一個的對應圖像的數目是m，來自所述第一相機系統的第j個圖像和來自所述第二相機系統的第j個圖像彼此對應，其中j = 1...m，每個圖像中被確定坐標的特徵的數目是n，在所述第一相機系統的坐標系統中所確定的第一坐標集合是IvljlJ，並且在所述第二相機系統的坐標系統中所確定的第二坐標集合是Ιν2Λ}，其中j是圖像1...m當中的第j個圖像的索引，並且k是所述第j個圖像中的特徵1...η當中的第k個特徵的索引。在一些實施方案中,m ^ I且η≥2,並且mn≥6。根據一個實施方案，m = 48且η = 6。
[0009]在又一個實施方案中，所述映射是將坐標從所述第二坐標系統變換為所述第一坐標系統的變換矩陣Q，且尋找所述映射的步驟包括尋找至少大致使量
【權利要求】
1.一種用於確定第一相機系統的坐標系統與第二相機系統的坐標系統之間的映射的方法，其中所述第一相機系統和所述第二相機系統具有至少部分重疊的視場，且其中所述第一相機系統和所述第二相機系統具有固定的空間關係，所述方法包括: 使用一個或多個處理器，確定在來自所述第一相機系統和所述第二相機系統的對應圖像對中找到的一組特徵在所述第一相機系統的坐標系統和所述第二相機系統的坐標系統中的坐標，進而產生在所述第一相機系統的坐標系統中的第一特徵坐標集合和在所述第二相機系統的坐標系統中的對應第二坐標集合；以及 通過使用與所述一個或多個處理器相同或不同的處理器，基於所述第一特徵坐標集合和所述第二特徵坐標集合，確定所述第一相機系統的坐標系統與所述第二相機系統的坐標系統之間的映射。
2.如權利要求1所述的方法，其進一步包括: 大致同時從所述第一相機系統和所述第二相機系統中的每一個捕捉多個對應圖像。
3.如權利要求1所述的方法，其中所述第一相機系統和所述第二相機系統中的每一個是立體相機對。
4.如權利要求1所述的方法，其中所述第一相機系統和所述第二相機系統在其視場的大小上不同。
5.如權利要求1所述的方法，其中所述第一相機系統和所述第二相機系統安裝至機器人臂上，所述機器人臂是用於毛髮採集和/或植入的機器人系統的一部分。
6.如權利要求1所述的方法，其中所述特徵是選自由棋盤角和點質心組成的群組中的一個或多個的校準特徵。
7.如權利要求1所述的方法，其中來自所述第一相機系統和所述第二相機系統中的每一個的對應圖像的數目是m，來自所述第一相機系統的第j個圖像和來自所述第二相機系統的第j個圖像彼此對應，其中j = 1...m，每個圖像中被確定坐標的特徵的數目是n，在所述第一相機系統的坐標系統中所確定的所述第一坐標集合是IvljlJ，並且在所述第二相機系統的坐標系統中所確定的所述第二坐標集合是Iv2^j，其中j是所述圖像1...m當中的第j個圖像的索引，並且k是所述第j個圖像中的特徵1...η當中的第k個特徵的索引。
8.如權利要求7所述的方法，其中m≥I且η≥1，並且mn≥6。
9.如權利要求8所述的方法,其中m= 48且η = 6。
10.如權利要求7所述的方法，其中所述映射是將坐標從所述第二坐標系統變換成所述第一坐標系統的變換矩陣Q，且其中所述尋找所述映射的步驟包括尋找至少大致使量
11.如權利要求10所述的方法，其中Q是4X4矩陣，並且所述坐標矢量呈如下形式:
12.如權利要求10所述的方法，其中所述距離函數d是d= I Qv2jk-YljkI I。
13.如權利要求10所述的方法，其中尋找所述變換矩陣Q包括使用最優化技術。
14.一種用於確定第一相機系統的坐標系統與第二相機系統的坐標系統之間的映射的系統，所述系統包括: 第一相機系統，其與第二相機系統具有固定的空間關係，所述第一相機系統和所述第二相機系統具有至少部分重疊的視場； 用於在來自所述第一相機系統和所述第二相機系統的對應圖像對中確定在所述第一相機系統的坐標系統中的第一特徵坐標集合和在所述第二相機系統的坐標系統中的第二特徵坐標集合的裝置；以及 用於基於所述第一特徵坐標集合和所述第二特徵坐標集合來確定所述第一相機坐標系統與所述第二相機坐標系統之間的映射的裝置。
15.如權利要求14所述的系統，其進一步包括用於從所述第一相機系統和所述第二相機系統中的每一個捕捉多個對應圖像的裝置。
16.—種用於確定機器人的坐標系統與相機系統的坐標系統之間的變換的方法,其中所述機器人包括安裝有所述相機系統的可動臂，所述機器人的坐標系統定義所述可動臂的位置，並且所述相機系統的坐標系統定義在所述相機系統的視場內的目標的位置，所述方法包括: 圍繞所述目標將所述可動臂定位至多個圖像捕捉位置，以使得在各個圖像捕捉位置處，所述目標在所述相機系統的所述視場內，並且從一個圖像捕捉位置到另一個圖像捕捉位置，使所述可動臂圍繞 所述目標旋轉並且相對於所述目標平移； 在所述各個圖像捕捉位置處，使用所述相機系統來捕捉所述目標的一組圖像，並且在所述機器人的坐標系統中記錄所述可動臂的位置； 在所述相機系統的坐標系統中確定在所述組圖像中所識別的所述目標的一組校準特徵的坐標；以及 基於在所述各個圖像捕捉位置處所述可動臂的所述位置和所述組校準特徵的所述坐標，確定所述機器人的坐標系統與所述相機系統的坐標系統之間的所述變換。
17.如權利要求16所述的方法，其中自動執行所述圍繞所述目標定位所述可動臂的步驟、所述捕捉所述目標的所述組圖像的步驟、所述記錄所述可動臂的所述位置的步驟、所述確定所述組校準特徵的所述坐標的步驟以及所述確定所述機器人的坐標系統與所述相機系統的坐標系統之間的所述變換的步驟。
18.如權利要求16所述的方法，其中所述可動臂安裝有毛囊單位採集工具、毛囊單位植入工具或兩者，並且所述機器人被配置來採集毛囊單位、植入毛囊單位或兩者，且所述方法進一步包括: 在所述相機系統的坐標系統中識別在體表的圖像中的毛囊單位的位置； 基於所述毛囊單位在所述相機系統的坐標系統中的所述位置以及所述機器人的坐標系統與所述相機系統的坐標系統之間的所述變換，在所述機器人的坐標系統中確定所述毛囊單位的位置；以及 基於所述毛囊單位在所述機器人的坐標系統中的所述位置，將所述可動臂定位在鄰近於所述毛囊單位處，以使得可使用所述毛囊單位採集或植入工具來採集或植入所述毛囊單位。
19.如權利要求16所述的方法，其中所述目標的位置是固定的，並且所述確定所述機器人的坐標系統與所述相機系統的坐標系統之間的所述變換的步驟包括迭代地為所述機器人的坐標系統與所述相機系統的坐標系統之間的所述變換選擇值，並且比較(A)在一個圖像捕捉位置處的用於所述變換的所述選定值、所述可動臂的位置以及校準特徵的坐標的乘積與(B)在另一個圖像捕捉位置處的用於所述變換的所述選定值、所述可動臂的位置以及所述對應校準特徵的坐標的乘積，以便確定使(A)與(B)之間的差最小化的用於所述變換的值。
20.如權利要求16所述的方法，其中所述機器人的坐標系統與所述相機系統的坐標系統之間的所述變換包括變換矩陣T，並且所述確定所述變換的步驟包括尋找至少大致使量

21.如權利要求20所述的方法，其中 所述可動臂的所述位置包括形式為
22.如權利要求16所述的方法，其中所述機器人的坐標系統與所述相機系統的坐標系統之間的所述變換是使用最優化算法來確定的，所述最優化算法包括最速下降最優化算法、模擬退火算法或最佳擬合算法中的一個或多個。
23.如權利要求16所述的方法，其中所述各個圖像捕捉位置大致位於中心點大致與所述目標重合的球體的表面上。
24.如權利要求16所述的方法，其中從一個圖像捕捉位置到另一個圖像捕捉位置，使所述可動臂相對於所述目標徑向移動。
25.如權利要求16所述的方法，其中所述相機系統包括安裝至所述可動臂的相應第一立體相機對和第二立體相機對，所述第一立體相機對被聚焦且被配置來獲取第一視場的圖像，所述第二立體相機對被聚焦且被配置來獲取第二視場的圖像，所述第二視場實質上比所述第一視場窄，所述第一視場與所述第二視場至少部分重疊，並且所述確定所述機器人的坐標系統與所述相機系統的坐標系統之間的所述變換的步驟包括使用最優化算法來針對所述第一立體相機對確定第一變換，並且使用最優化算法來針對所述第二立體相機對確定第二變換，且所述方法進一步包括: 確定變換矩陣Q，其將所述第一立體相機對的坐標系統中的坐標映射至所述第二立體相機對的坐標系統。
26.—種用於確定機器人的坐標系統與相機的坐標系統之間的變換的系統，所述系統包括: 機器人，其包括安裝有相機系統的可動臂，其中所述機器人的坐標系統定義所述可動臂的位置，並且所述相機系統的坐標系統定義在所述相機系統的視場內的目標的位置； 用於以下操作的裝置:a)圍繞所述目標將所述可動臂定位至一個或多個個別圖像捕捉位置，以使得在所述各個圖像捕捉位置處所述目標在所述相機系統的所述視場內，以及b)將所述可動臂從一個個別圖像捕捉位置移動至另一個個別圖像捕捉位置； 用於在所述各個圖像捕捉位置處捕捉所述目標的一組圖像的裝置； 用於在所述機器人的坐標系統中記錄在所述各個圖像捕捉位置處所述可動臂的位置的裝置； 用於在所述相機系統的坐標系統中確定所述目標的一組校準特徵的坐標的裝置；以及 用於基於在所述各個圖像捕捉位置處所述可動臂的所述位置和所述組校準特徵的所述坐標來確定所述機器人的坐標系統與所述相機系統的坐標系統之間的變換的裝置。
27.如權利要求26所述的系統，其進一步包括毛囊單位採集工具或毛囊單位植入工具或兩者。
28.—種在機器人的坐標系統中定位從所述機器人的臂延伸的工具的方法，所述方法包括: 從圖像數據確定所述工具在相機系統的坐標系統中的位置；以及 使用預定變換將所述工具的所述位置從所述相機系統的坐標系統轉化為所述機器人的坐標系統。
29.如權利要求28所述的方法，其進一步包括: 捕捉圖像數據，其中所述圖像數據包括一對圖像，且其中所述確定步驟包括:從所述圖像數據檢測第一外周側壁邊緣段和第二外周側壁邊緣段，其對應於在所述相機系統的視場內的所述工具的側面；基於所述檢測到的第一外周側壁邊緣段與第二外周側壁邊緣段之間的平均值來計算中心線；以及在所述相機系統的坐標系統中沿所述中心線定位所述工具的遠端末端的位置。
30.如權利要求29所述的方法，其中所述中心線平分在所述第一外周側壁邊緣段與所述第二外周側壁邊緣段之間形成的角。
31.如權利要求29所述的方法，其中所述檢測步驟包括:將第一數據轉變和第二數據轉變定位在所述圖像數據的各個行中，以便建立第一數據轉變集合和第二數據轉變集合；通過從所述相應的第一數據轉變集合和第二數據轉變集合執行回歸來計算所述第一外周側壁邊緣段和所述第二外周側壁邊緣段，且其中所述定位步驟包括沿所述中心線定位所述圖像數據中的遠端末端數據轉變，以使得所述遠端末端數據轉變的位置表示所述遠端末端在所述相機系統的坐標系統中的空間位置。
32.如權利要求31所述的方法，其中所述第一數據轉變和所述第二數據轉變包括所述圖像數據的對比度轉變、強度轉變、顏色轉變或亮度轉變中的一個或多個。
33.如權利要求31所述的方法，其中所述檢測步驟進一步包括處理所述圖像數據，以使得所述遠端末端被表示為所述圖像數據內的唯一值。
34.如權利要求31所述的方法，其中所述檢測步驟進一步包括使所述圖像數據二值化，以使得所述遠端末端由第一唯一顏色來表示並且背景特徵由第二唯一顏色來表示。
35.如權利要求31所述的方法，其中所述數據轉變包括灰階邊緣點。
36.如權利要求31所述的方法，其中所述回歸包括大致連接相應的第一數據轉變集合與第二數據轉變集合的最佳擬合算法，和/或大致連接相應的第一數據轉變集合與第二數據轉變集合的最小二 乘法擬合。
【文檔編號】A61F2/10GK103702607SQ201280033235
【公開日】2014年4月2日 申請日期:2012年7月2日 優先權日:2011年7月8日
【發明者】約翰·A·坦尼, 艾瑞克·R·伯德, 張惠, 羅伯特·F·比羅 申請人:修復型機器人公司