確定場景中的對象的三維姿態的方法和系統的製作方法

2023-06-12 03:37:06

專利名稱：確定場景中的對象的三維姿態的方法和系統的製作方法
技術領域：
本發明總體上涉及三維對象的檢測和識別，更具體地說，涉及確定
對象的姿態(pose)。本方法的實際輸出(即，對象的姿態)使得能夠進 行多種有用的應用，尤其是用於製造現場(setting)的料箱提取機械(bin picking machine)。
背景技術：
工業機器人通常被設計用來以高準確度和高精確度來重複執行相同 任務。在多種工業應用中(諸如製造和裝配中)，機器人用於從料箱中 '提取'零件(零件獲取)，並以正確的位置和方向(姿態)來放置這 些零件，用於後續處理。
機器人依賴於要提取的零件的一致姿態。任何偏差都會導致機器人 或者零件的損壞，這會增加成本。通常，定製設計的機械及機電系統用 於以特定的姿態向機器人供給零件。在有些情況下，零件是由人工預先 定位的，使得機器人能夠容易地提取零件。
最近，計算機視覺技術已經被用於使零件定位及提取的過程自動化。 大多數傳統的自動化技術只能提取單個非封閉(non-occluding)零件，或 者彼此間隔放置的零件(例如，零散地分散在傳送帶上的零件)。
雖然一些視覺輔助系統能夠提取堆疊(stacked)的零件，但是這隻 能在使用複雜的機械系統或者人工幹預的情況下實現。大多數視覺輔助 系統缺乏可靠性、準確度和魯棒性，並且使用昂貴的視覺傳感器和硬體。 當零件被隨機放置、被以隨意的方式彼此上下放置成一堆或放置在料箱 中時，傳統的視覺輔助系統缺乏三維零件獲取的能力。
三維姿態估計及零件獲取的問題是公知的。手工零件獲取包括人工 地進行獲取、放置以進行裝配。對於對沉重的零件進行工作的人是存在風險的。另外，要求人類操作者具備特定水平的一系列技巧。期望通過 取代人類操作者來降低成本。
自動的零件獲取系統通常使用機電裝置，諸如裝備有特別設計的用
於提取零件的抓取器(gmsper)的機械手。然而，機器人需要了解要提 取零件的姿態。諸如精確固定(precision fixturing)的一些方法能夠用於 以特定的姿態將零件遞交給機械手。這些系統是昂貴的，缺乏互操作性 (即，需要針對特定的零件專門地設計這些系統)，而且不能處理成箱的 隨機堆疊的零件。
計算機視覺系統能夠用於確定對象的姿態。這些系統通常使用一個 或更多個照相機。能夠對由這些照相機所獲取的圖像進行分析，以對這 些對象進行定位，並為機械手提供用於進行後續操作的反饋。大多數視 覺系統是二維的，並且只能用於二維的任務，諸如檢查和簡單的零件獲 取。那些系統只能夠確定該零件在平面內的方向和位置，但是不能確定 在平面外的任何旋轉和到該零件的距離。通常，那些二維系統要求零件 沒有交疊，並且放置在平坦的表面上。所以，那些系統不能對成堆(pile) 的隨機放置的對象進行操作。
一些系統通過使得到該對象的距離基於在圖像中該對象的尺寸，來 改進二維視覺系統。但是，那些2.5維系統不能估計平面外的旋轉，而且 它們的距離估計通常不可靠。
三維視覺系統通常使用傳感器來估計場景(scene)的三維幾何尺寸。 立體(stereo)系統使用兩個照相機來估計到對象的距離。首先，相應的 特徵都位於立體圖像中。這些照相機之間的幾何關係能夠用於識別這些 特徵的深度(距離)。然而，對相應的特徵進行定位本身就是一個挑戰性 的問題，尤其是對於在外表上通常具有高反射性並相似(homogeneous) 的機器零件。如果圖像關於特徵是嘈雜的，則立體系統可能會錯誤地估 計深度。立體系統的另一個問題在於，只針對特徵、而不是覆蓋整個對 象來恢復深度。所降低的準確度不足以進行準確的料箱提取。
雷射三角測量(triangulation)使用結構光(structured light)來生成 其全部圖像都通過照相機獲取的對象表面的模型(pattem)。雷射三角測量能夠恢復該對象表面的三維形狀。這種技術例如已經被用於包括對柔
性的且尺寸不穩定的零件進行焊接(wdding)、密封(sealing)、膠漿澱 積(glue deposition )、研磨(grinding )、水射流切割(waterjet cutting )以 及去毛剌(deburring)的邊緣跟蹤(edge tracking)的應用。
雷射三角測量要求圖像配準(image registration),並考慮陰影 (shadow)和遮擋(occlusion)。那些系統對於一般、隨機的料箱提取應 用還不夠完善。另外，當在人類操作者附近設置雷射時經常會引起安全 問題。

發明內容
本發明的實施方式提供一種用於檢測和識別在場景中的對象的系統 和方法。此外，這些實施方式確定了各個對象的三維姿態。這裡將姿態 定義為對象的三維位置和方向。
在實際應用的示例中，這些對象在料箱中彼此上下成堆。距離照相 機最近的對象位於堆的頂部，並且能夠從料箱中被提取出來而不幹擾其 它對象。
當使用光源對該場景進行照明時，照相機獲取該場景的圖像。光源 投下陰影。這些陰影用於獲得該場景中的對象的深度邊緣和陰影邊緣。 使用深度邊緣與陰影邊緣之間的物理及幾何約束來將這些深度邊緣連接 起來，得到閉合輪廓(contour)。這些輪廓用於將該圖像場景劃分成多個 區域。
構造一個"遮擋圖(occlusiongraph)"。該圖針對每個所劃分的區域 都具有一個節點。如果與一個節點相關的區域將陰影投到(遮擋)與另 一節點相關的區域上，則將這兩個節點通過邊(edge)連接起來。遮擋 圖標識出該場景中的未被遮擋對象。未被遮擋對象對應於該堆頂部的對 象，該對象具有完整的連接輪廓。
使用這些對象的三維計算機輔助設計(CAD)模型來生成對象廓影 (silhouette)的資料庫(存儲器)。這些廓影針對不同的視角。該資料庫 還包括針對不同視角的該對象的部分廓影。這些廓影也表示為深度邊緣。對該遮擋圖進行遍歷以找到潛在的候選未被遮擋對象。將頂層(未 遮擋)對象的輪廓與該資料庫的這些廓影進行匹配，以估計該未被遮擋 對象的三維位置和方向(三維姿態)。
可以將所估計的三維姿態與機械手一起用於多種機器人任務，包括 用於處理或裝配的零件獲取。該系統使得能夠進行沒有約束的三維料箱 提取。


圖1是示出根據本發明實施方式的定位和提取對象的系統和方法的
框圖2是示出根據本發明實施方式的一個對象及該對象所投下陰影的 示意圖；以及
圖3是示出根據本發明一個實施方式的遮擋圖。
具體實施方式
系統結構
圖1示出了根據本發明實施方式的定位和提取對象的系統和方法。 在本發明的一個實施方式中，這些對象在外觀和形狀上相似。在另一實 施方式中，這些對象不同。
料箱101裝有機器人103要提取的對象102。由多個光源104對該 料箱進行照明。這些光源在該料箱上投下多個陰影。照相機105獲取110 當照明發生變化時該料箱中的這些對象的一組(多個)圖像lll。例如， 如圖2中所示，根據光源104的位置，陰影201-202可以是對象102的任
確定120由於圖像111中的陰影201-202而造成的深度邊緣121及 陰影邊緣122。連接深度邊緣121以形成130經連接的輪廓131。這些輪 廓用於將該圖像劃分140成多個區域141。然後，將這些區域141用於構 造150遮擋圖151。
該圖用於對預先存儲在資料庫(存儲器)162中的廓影161進行定位160。這些廓影也採用深度邊緣的形式。各個廓影都具有相關的姿態
106。選擇170該資料庫中的與根據該圖的未被遮擋對象的輪廓131最佳 匹配的廓影161的姿態106，作為該料箱中的對象的姿態。機器人103使 用這些姿態來從該料箱中提取對象，用於進一步處理。
方法操作
圖像獲取
通過一個或者更多個照相機105獲取110—組(多個)圖像lll。這 些照相機可以是攝像機或者是靜態照相機。這些照相機可以被設置在機 械手107上，或者被固定在靠近該機器人及料箱的工作空間內。使用光 源104來獲取這些圖像。這些光源可以是放置在照相機附近或者工作空 間中的發光二極體(LED)或其它類型的發光裝置。出於校準的目的， 確定這些光源相對於這些照相機的設置。在目前的實現中，我們使用多 閃光燈(m扁ash)照相機，參見授予Raskar的美國專利7，218，792，以 引用的方式將該專利合併於此。
當只由環境(ambient)光對該場景進行照明時，還獲取環境圖像。 從該組圖像中的每一個圖像中減去該環境圖像，以消除環境光的影響。
確定深度邊緣及陰影邊緣
在獲取這些圖像之後，我們確定該料箱中的這些對象的深度邊緣121 和陰影邊緣122。深度邊緣被定義為對象的邊界與背景之間的不連續性 (discontinuity)。陰影邊緣被定義為對象所投下的陰影與背景之間的不連 續性。
通常，工業對象具有非朗伯反射(non-Lambertian reflectance)及鏡 面反射(specularity),這導致噪聲及偽深度邊緣。因為亮度隨著視角發 生改變，所以很難處理非朗伯表面。本方法也能夠處理具有孔的對象。 與自投影(self-shadowing)類似，當存在由於鏡面反射而產生的偽深度 邊緣時，本方法能夠通過去除偽深度邊緣而忽略鏡面輝亮(specular highlight)的影響。
為了簡化該描述，這組圖像包括通過將這些光源放置在該照相機的 上方、下方、左方、右方而獲得的四個不同照明的圖像A、 /2、 /3、 /4。我們通過確定在各個像素處的梯度的中值並根據這些梯度重構回去，來從
這組圖像中確定本徵圖像(intrinsic image) /me￡tol,參見Raskar。
然後，用/i-min(4 /^^")來替換各個圖像/i。也就是說，在圖像/i
中的各個像素處，用亮度值或者中值4w。n中的最小值來替換該亮度11。
然後，我們獲得比值圖像^=/// ^,。 。這個操作的作用在於使這些圖像中
的鏡面反射最小化。
在這些比值圖像中檢測邊緣。根據對該圖像照明的方向，這些邊緣
對應於深度邊緣或陰影邊緣。 輪廓形成
深度邊緣121可能是不完整的，g卩，由於軟陰影(soft shadow)或 者缺少陰影而可能缺少深度邊緣和陰影邊緣的某些部分。使用格式塔規 則(Gestaltrule)的用於連接邊緣的啟發式方法(heuristic method)是公 知的。但是，我們使用物理及幾何約束來進行邊緣連接，而不使用啟發 式方法。這些約束是在深度邊緣與陰影邊緣之間。所投下的陰影具有半 陰影區(penumbra region),以上所定義的深度邊緣對應於位於該半陰影 的一側的不連續性，而陰影邊緣對應於該半陰影的另一側的不連續性。 因此，我們定義兩個約束
1) 對於每一個深度邊緣，存在平行的陰影邊緣；以及
2) 深度邊緣和陰影邊緣不能在同一像素處共存。 這兩個約束使得我們能夠完成(complete)缺失的深度邊緣，以形成
閉合輪廓。我們通過使線段與深度邊緣擬合(fit)並且延長各條線段， 來實現該處理。將符合上述約束的各條延長線段保留為輪廓131。 劃分
由深度邊緣121形成的輪廓131將該圖像劃分成多個區域141。如 下面所述，通過合併對過度劃分進行修正。 遮擋圖構造
如圖3中所示，遮擋圖被定義為節點301、 303及有向弧302的二維 有向圖。在該圖中，這些節點表示區域，而當由第一節點所代表的區域 在由第二節點所代表的區域上投下陰影時，有向弧從第一節點前進到第二節點。對於一個圖像，可能存在一組圖。例如，如果有兩堆單獨的對 象，則我們構造兩個遮擋圖，每一堆一個遮擋圖。
如下來構造該遮擋圖。令^和S表示一對區域。將這對區域作為節 點插入到該圖中。然後，我們確定區域^(是否在區域B上投下陰影，反 之亦然。如果是，貝'J由有向弧以投下陰影的方向來連接節點^和萬。如 果否，則可以將這些區域合併，並合併這些節點。
定位未被遮擋對象
該遮擋圖標識出該料箱裡的未被遮擋對象。源節點303是沒有入 (incoming)有向弧的節點。源節點必須表示未被遮擋對象的區域。 姿態估計
姿態估計是兩階段處理，第一階段處理是粗處理，第二階段處理是 精處理。姿態估計使用預先存儲在資料庫中的廓影的深度邊緣。 預處理
將在不同視角下的對象的廓影預先存儲在資料庫中。針對各個視角， 還將對象的部分廓影存儲在資料庫中。視角得到相應的姿態。這些部分 廓影有助於對存在自投影及自遮擋(selfocclusion)的對象進行匹配。假 定在製造和裝配應用中很容易獲得對象的CAD模型。
粗姿態估計
將與根據該圖的未被遮擋對象相關的輪廓與存儲在資料庫中的廓影 進行匹配，以獲得最佳匹配姿態。這種匹配可以使用任何已知的技術， 諸如斜面(chamfer)匹配或者匹配圖像矩(moment)。由於存儲在數據 庫中的廓影的數量是有限的，所以我們只能獲得粗姿態估計。
精姿態估計
我們使用整個三維CAD模型來細化該三維姿態。使用通過將該三維 CAD模型的廓影與給定區域進行匹配而對旋轉及位移(translation)進行 優化的傳統技術，來對姿態進行細化。這種優化從粗姿態估計開始，並 收斂於正確的姿態。
對象提取
機器人可以使用該姿態來從該料箱中提取最上層的對象。如果具體的圖像顯示出多個未被遮擋對象，則可以依次提取這些對象。 多個對象類型
當該資料庫存儲了不同對象的對應廓影時，針對類似的對象描述了 以上方法。
多個圖像獲取
針對位於固定視角的單個照相機描述了以上方法。但是，該系統也 可以工作於多個照相機視角。然後，額外的圖像可以用於驗證劃分以及 姿態估計結果。另選的是，可以組合來自多個圖像的信息，以提高姿態 估計的準確度。
本發明的效果
根據本發明的實施方式的系統和方法確定料箱中的未被遮擋零件的姿態。該系統使用裝備有廉價發光二極體(LED)的單個照相機。可以
將姿態饋送給機械手，以在製造應用中從料箱中提取出這些零件。由於 本方法相對簡單而且執行快捷，所以它可用於實時應用。
本發明執行三維對象識別和姿態估計而不使用三維獲取設備(諸如 立體攝像機、雷射或者結構光)。重構場景的深度圖是費時而昂貴的，尤 其是對具有鏡面反射及非朗伯表面的發亮的工業零件。本發明的系統不 對三維深度進行估計。而是根據所投下的陰影獲得深度邊緣。與一般所 用的特徵(諸如亮度邊緣、角部和接合點)不同，可以將深度邊緣用作 用於劃分場景和估計姿態的特徵。
使用深度邊緣使得本系統能夠對有紋理的(textured)對象、沒有紋 理的(non-textured)對象、發亮的或者鏡面的對象進行操作。使用基於 亮度邊緣的特徵的系統很難處理髮亮的金屬工業零件和無紋理的對象。
本發明提供了一種新穎的邊緣連接處理，以完成場景中缺失的深度 邊緣。傳統的邊緣連接處理試圖通過使用啟發式方法來完成亮度邊緣， 以從亮度圖像獲得封閉輪廓。我們使用實際的物理及幾何約束連接深度 邊緣，而不使用任何啟發式方法。
我們還提供了一種新穎的場景遮擋圖。從被深度邊緣包圍的區域構 造該遮擋圖。該遮擋圖中的各個節點對應於被深度邊緣所包圍的二維區域。如果區域A在區域B上投下陰影，則在節點A與節點B之間存在有 向弧。該遮擋圖的源節點對應於該場景中的未被遮擋對象。
該圖減少了將對象與它們的廓影進行匹配所需執行的匹配次數。 雖然通過優選實施方式的示例的方式對本發明進行了描述，但是可 以理解的是，可以在本發明的精神和範圍內作出各種其它改動和修改。 因此，所附權利要求的目的在於覆蓋落入本發明真實的精神和範圍內的 所有這些變形和修改。
權利要求
1、一種用於確定場景中的對象的三維姿態的方法，該方法包括以下步驟在變化包括多個對象的場景中的照明時根據所獲取的所述場景的一組圖像確定多個深度邊緣；連接所述深度邊緣，來形成多個輪廓；根據所述輪廓來將所述圖像劃分成多個區域；使用所述區域來構造遮擋圖，其中，所述遮擋圖包括源節點，該源節點代表在所述場景中的未被遮擋對象的未被遮擋區域；將與所述未被遮擋區域相關的輪廓與所述多個對象的一組廓影進行比較，其中，每一個廓影都具有已知的姿態；以及選擇最佳匹配的廓影的已知姿態，作為所述未被遮擋對象的姿態。
2、 根據權利要求1所述的方法，該方法還包括以下步驟 根據所述姿態將所述未被遮擋對象從所述場景中提取出來。
3、 根據權利要求2所述的方法，其中，由機械手執行所述提取的步驟。
4、 根據權利要求1所述的方法，其中，所述多個對象在外表和形狀 上類似。
5、 根據權利要求1所述的方法，其中，所述多個對象具有非朗伯表面。
6、 根據權利要求1所述的方法，其中，所述變化的照明來自位於照 相機上方、下方、左方及右方的光源。
7、 根據權利要求6所述的方法，其中，所述照相機是攝像機。
8、 根據權利要求3所述的方法，其中，照相機被設置在所述機械手上。
9、 根據權利要求1所述的方法，該方法還包括以下步驟-將所述深度邊緣定義為所述對象的邊界與所述場景中的背景之間的不連續性；以及將所述陰影邊緣定義為由所述對象投下的陰影與所述背景之間的不 連續性。
10、 根據權利要求1所述的方法，其中，所述多個對象包括鏡面反射。
11、 根據權利要求10所述的方法，其中，所述一組圖像為^，並且該方法還包括以下步驟-根據所述一組圖像中的各個像素處的梯度的中值來確定對於各個圖像/,的本徵圖像4e細；用/產m/"(J,，/^^J來替代各個圖像/, ; 獲得比值圖像i/4^^;以及根據所述比值圖像來確定所述深度邊緣，以使所述鏡面反射最小化。
12、 根據權利要求9所述的方法，其中，所述連接的步驟具有以下 的約束對於每一個深度邊緣存在平行的陰影邊緣，並且所述深度邊緣 和所述陰影邊緣不能在所述一組圖像中的同一像素處共存。
13、 根據權利要求1所述的方法，其中，當由第一節點所代表的第 一區域在由第二節點所代表的第二區域上投下陰影時，有向弧從所述第 一節點前進到所述第二節點，並且所述源節點沒有入有向弧。
14、 根據權利要求13所述的方法，該方法還包括以下步驟 如果所述第一節點與所述第二節點之間沒有有向弧，則將所述第一節點與所述第二節點合併。
15、 根據權利要求1所述的方法，其中，所述廓影及已知姿態都預 先存儲在存儲器或資料庫中。
16、 根據權利要求1所述的方法，其中，從所述多個對象的不同視 角的計算機輔助設計模型來獲得所述廓影及已知姿態。
17、 根據權利要求l所述的方法，其中，所述廓影包括部分廓影。
18、 根據權利要求1所述的方法，其中，由多個照相機獲取所述一 組圖像。
19、 一種用於確定場景中的對象的三維姿態的系統，該系統包括 照相機，該照相機被設置為在改變包括多個對象的場景中的照明時獲取所述場景的一組圖像；用於根據所述一組圖像來確定多個深度邊緣的裝置； 用於連接所述深度邊緣來形成多個輪廓的裝置； 用於根據所述輪廓來將所述圖像劃分成多個區域的裝置； 用於使用所述區域來構造遮擋圖的裝置，其中，該遮擋圖包括源節點，該源節點代表所述場景中的未被遮擋對象的未被遮擋區域；用於存儲所述多個對象的一組廓影的資料庫，其中，每一個廓影都具有己知姿態；用於將對應於所述遮擋圖的子圖的深度邊緣與所述一組廓影進行比 較的裝置；以及用於選擇最佳匹配的廓影的已知姿態作為所述未被遮擋對象的姿態 的裝置。
20、根據權利要求19所述的系統，該系統還包括 用於根據所述姿態從所述場景提取出所述未被遮擋對象的裝置。
全文摘要
本發明涉及確定場景中的對象的三維姿態的方法和系統。根據在改變包括多個對象的場景中的照明時所獲取的所述場景的一組圖像確定多個深度邊緣。連接所述深度邊緣來形成多個輪廓。根據所述輪廓來將所述圖像劃分成多個區域。使用所述區域來構造遮擋圖。所述遮擋圖包括代表場景中的未被遮擋對象的未被遮擋區域的源節點。將與所述未被遮擋區域相關的輪廓與所述多個對象的一組廓影進行比較，其中，每一個廓影都具有已知姿態。選擇最佳匹配的廓影的已知姿態作為所述未被遮擋對象的姿態。
文檔編號G01B11/24GK101430192SQ20081017561
公開日2009年5月13日 申請日期2008年10月17日 優先權日2007年11月7日
發明者拉梅什·拉什卡爾, 阿米特·K·阿格拉瓦爾 申請人:三菱電機株式會社