用於感測反光物體的表面形狀的方法和系統的製作方法

2023-10-05 16:59:54 1

專利名稱：用於感測反光物體的表面形狀的方法和系統的製作方法
技術領域：
本發明總體涉及計算機視覺，更具體地涉及感測具有鏡面反射面以 及鏡面-漫射混合反射面的物體的三維形狀。
背景技術：
感測面用於釆集三維數據的傳感器用於多種用途。例如，工廠中的自動"箱 拾取"系統可採集三維數據以作為判斷箱內物體姿勢的預報器。於是， 可指引機械手取回所選出的一個物體。物體姿勢是物體的三維位置以及 在該位置的三維取向。用於感測表面三維形狀的基於視覺的一系列技術假設物體具有非鏡 面反射面，例如漫反射面。另一系列技術假設物體具有鏡面反射面，例 如鏡面或透明表面。非鏡面反射面用於感測非鏡面反射面三維形狀的基於計算機視覺的技術包括結構 光、飛行時間雷射掃描儀、立體照相機、移動照相機、光度立體視覺、 由明暗重構形狀以及由聚焦(離焦)求取深度。這些技術都假設入射到表面上的入射光發生漫反射，因此反射光在 具有至該表面的瞄準線的任何傳感器處都可見。此外，許多技術假設可 見特徵為三維物理位置可測的物理特徵，而不是反射特徵。當表面漫反 射少而鏡面反射多時，由於上述假設不再成立，因此所述技術變差。鏡面反射面用於感測鏡面反射面三維形狀的基於計算機視覺的技術假設在被鏡 面反射面反射的周邊場景中存在多個特徵。這些特徵可能是稀疏的，例如由場景中的點光源產生的鏡面反射強光，如在1988年的ICCV (國際
計算機視覺大會)會刊中收錄的A. Blake和G. Brelstaff的"Geometry from specularity"中所述。若特徵是稀疏的，感測到的表面三維形狀也是稀疏 的。這對於很多用途來說並不理想。例如，當感測到的特徵稀疏時難以 計算可靠的物體姿勢。通過相對於表面移動照相機或特徵可改善該問題， 但是這耗費時間。所述特徵可以是密集的，例如密集二進位編碼圖案，如在2006年的 ICCV會刊中收錄的T. Bonfort等的"General Specular Surface Triangulatkm"中所述。然而，當感測變化的表面形狀時，使用密集個體 特徵的密集二進位編碼圖案存在問題。諸如平面鏡的平坦鏡面反射面中 的密集特徵的反射不會失真，而在諸如凹面鏡的彎曲鏡面反射面中的特 徵的反射可能嚴重失真。若密集特徵為在平坦反射面中可見的合適尺寸， 則相同的特徵在大多數彎曲反射面中通常太小而不能識別。若密集特徵 為在彎曲反射面中可見的合適尺寸，則相同特徵太大而不能提供平坦表 面的高解析度測量。使用密集二進位編碼圖案的第二個問題在於，所述圖案是通過在屏 幕上顯示一系列圖像而形成的。若二進位代碼例如為8位，則必須顯示8 個圖像。若圖案必須顯示兩次，如在以上參考的Bonfort所述的方法中， 則必須顯示16個圖像。這耗費時間。當照相機像素(或像素組)記錄圖案的單個特徵的反射時，會引起 使用密集二進位編碼圖案的第三個問題。所記錄的特徵用於確定表面的 --個三維測量。但是無法為該三維測量分配亞像素精度的像素位置。相 反，必須作出估計判斷(arbitrary decision),例如為該三維測量分配照相 機像素中心(或者像素組中心)。由於在測量階段損失精度，因此這樣是 不理想的。Bonfort等所述的方法試圖通過在後續平滑階段使該三維測量平滑 而解決該問題。然而，由於該平滑作用可能會去除三維形狀表面的重要 細節，因而不利於在測量階段獲得亞像素精度的像素位置。混合面在本領域中公知一些用於具有鏡面-漫射混合反射面的物體的基於視覺的傳感器，所述鏡面-漫射混合反射面例如磨砂金屬，在這種情況下 表面以鏡面反射方式反射一部分入射光，以漫反射方式反射一部分光。 這是由於這樣的表面沒有為對非鏡面反射面有效的技術提供足夠強的漫 反射響應，也沒有為對鏡面反射面有效的技術提供足夠強的鏡面反射。 例如，當相鄰二進位編碼特徵的反射由於漫反射分量而彼此混淆時，Bonfort等所述的方法就失效了。因此，不能確定二進位編碼圖案。因而，需要一種用於感測鏡面反射面的方法和系統，其在平面表面 和彎曲表面上都能很好地發揮作用。還需要一種系統，該系統所使用的 圖案不包含大量的時間序列圖像因而是快速的。還需要一種方法和系統， 其以亞像素精度使照相機像素位置和所求出的三維測量值相關聯。而且， 需要一種用於感測鏡面反射面的方法和系統，其可應付表面反射中出現 的漫反射分量。發明內容本發明的實施方式提供了一種用於感測具有鏡面反射面和鏡面-漫 射混合反射面的物體的三維形狀的系統和方法。照相機釆集由物體的鏡面反射面或鏡面-漫射混合反射面反射的平 面屏幕的圖像，所述屏幕示出平滑的空間變化圖案。例如，該圖案顯示 或投影在屏幕上。所述屏幕以受控方式沿與該屏幕的平面垂直的方向從初始第一位置 經過後續位置移動到最終位置。在所述屏幕位於所述最終位置的情況下，所述照相機採集該屏幕的 被物體的鏡面反射面或鏡面-漫射混合反射面反射的多個圖像，該屏幕顯 示經歷一系列橫向位移的圖案。對於各個像素，記錄與初始圖像的像素值和所有最終圖像的像素值 之間的最小差值相對應的圖案位移。對於各個像素，利用所述圖案位移與已知系統標定相結合來求取物 體表面上的被該像素成像的點處的表面法線。利用求出的表面法線導出該表面的其它幾何特徵，例如各個點處 的主曲率、參數物體的主軸線、利用相位展開方法導出的三維形狀、以 及物體姿勢。


圖1是根據本發明實施方式的用於確定物體表面形狀的系統的示意圖；圖2是根據本發明實施方式的用於確定物體表面形狀的方法的流程圖；圖3是系統標定的示意圖；圖4表示通過本系統進行測量的示意圖；圖5是與確定表面法線的中間結果相對應的一組平面的示意圖；以及圖6是表示藉助鏡面-漫射混合反射面使用本系統的效果的示意圖。
具體實施方式
系統結構圖1示出了根據本發明實施方式的用於感測反光物體的表面法線的 系統100。該系統包括照相機110、物體120、可動平面屏幕130 (其示 出了平滑的空間變化圖案132)以及與照相機110相連的處理器140。照相機採集物體120的表面121的輸入圖像(/) 111。表面121具 有鏡面反射特性或鏡面-漫射混合反射特性。圖案132被表面121反射。 通過在初始位置的屏幕130採集圖像。該屏幕以受控量131經過後續位 置移動到最終位置133，使得在不同位置處的屏幕的平面都保持與位於初 始位置時的屏幕相平行。通過位於最終位置133的屏幕以及在屏幕上移 動一系列後續位置134的圖案來採集圖像。在這種情況下，位移在與屏 幕平行的平面中。照相機像素記錄由入射光線101以及被表面點122反射的反射光線 102到達的光作為圖像值(亮度)。表面121在點122處具有表面法線123。 目標是確定可表示物體形狀的表面法線123。
圖案132可列印在屏幕上，或者可利用前照明或後照明而顯示在屏 幕上。如本領域中公知的，處理器140包括存儲器和輸入輸出埠。該 處理器能夠運行根據本發明實施方式的感測方法200。處理器輸出的是表 面法線123。表面法線可表示物體的表面形狀。該表面法線可被其它系統 (例如，機械臂150)利用來操縱物體。操作方法圖2表示根據本發明一個實施方式的用於感測反光物體的表面法線 的方法200的步驟。初始步驟對該系統進行標定(步驟201)，從而產生 標定數據202。該標定執行一次。照相機IIO釆集屏幕130的被物體120的表面反射的圖像lll(步驟 210)。屏幕具有初始位置、後續位置和最終位置。對於屏幕上的圖案的 一系列位移，照相機採集屏幕位於初始位置的一個圖像以及屏幕位於最 終位置的多個圖像。對於各個圖像的各個像素，該方法求出初始圖像的 像素圖像值與所有最終圖像的後續圖像值之間的最小差值(步驟220)， 並記錄圖案的相關位移221。對於各個圖像的各個像素，利用位移221求出從圖案到物體表面上 的點122的入射光線101的方向231 (步驟230)。對於各個圖像的各個 像素，利用入射光線101確定點122的表面法線123的取向(步驟240)。 表面法線123可以表示物體在點122處的形狀。詳細操作標定' 如圖3所示，標定的第一階段確定照相機的固有參數。第二階段確 定照相機的物理位置以及屏幕在初始位置301和最終位置302的物理位 置。該階段要求輸入圖像至少包括在屏幕上的已知位置的三個特徵，例 如屏幕的四個角點中的三個。如果不能通過照相機直接看到屏幕時，可通過平面鏡觀察屏幕。借 助在己知位置的至少三個點來標記該鏡。該標定涉及確定鏡子的位置、 當屏幕顯示在鏡中時確定屏幕的虛像位置，然後推斷屏幕的物理位置。標定的第三階段確定屏幕的水平方向和垂直方向。該操作需要至少
一條在屏幕上位於水平方向的線，從而可推斷出垂直方向。標定的第四階段確定圖案在屏幕上移動時圖案位移的大小。該操作需要照相機觀察在屏幕上至少經歷一次移動的圖案。 感測圖4表示具有像素c 112的圖像111，該像素c U2對應於圖案中的 特徵屍，該特徵屍在表面點S 122處被三維光線v 101和三維光線w 102 反射。該圖案為平滑地空間變化的一維圖案，例如在屏幕130上沿水平 方向變化的亮度漸變或多種色譜漸變。像素c處的像素值(亮度或顏色) 為; 。在該圖中，圖像lll中的像素c直接對應於照相機110的傳感器的 像素。因此，可將該像素稱為照相機像素。屏幕沿其法線從初始位置301經過後續位置平移距離D到達最終位 置302，此時照相機像素c對應於圖案中的特徵^。屏幕上的圖案移動通過一系列水平位移303，即，在與屏幕平行的平 面中移動。位移序列在照相機像素c處的像素值表示成&， Z=l，…，w。求出與/7-仏的最小值對應的圖案的水平位移i/。若已知照相機像素c 的D和H，就能夠求出一組平行面401，如圖5中的垂直視圖所示。該 組平面中的任何給定平面都由兩條線限定，第一條是圖案位於初始位置 的線，第二條是圖案位於最終位置的線，橫向位移為//。該組平面中的 一個平面包含從圖案特徵P (或至表面點^ 122並反射至照相機像素 c的入射光線v。在一維圖案在屏幕上轉動的情況下重複所述過程，使得圖案沿垂直 方向而不是水平方向變化，圖案在最終位置的位移是垂直的而不是水平 的。若最終位置處的圖案位移序列在照相機像素c處的像素值表示成。， ^=1，…，"，則可求出對應於p力的最小值的圖案垂直位移TK。於是可 得到第二組平行平面，其與第一組不同並且其中一個平面包含從特徵屍 (或g)至表面點S 122並反射至照相機像素c的入射光線。由第一組平面的任意平面與第二組平面的任意平面相交得到入射光 線101的三維光線v-(wX打)，其中仿是第一組平面的法線，"是第二組 平面的法線，"X"表示交叉相乘的運算符。注意，三維光線v 101僅規
定了方向，其並不處於三維空間中的已知位置。三維光線V101規定了從特徵屍(或2)到表面點S 122的方向，該三維光線v 101反射至照相機像素Co從照相機標定數據202可以獲得圖1中的用於照相機像素c的三維 光線wl02。給定方向v和w，則點5處的表面法線123為"=0 +>0/2， 其中v"是對應於方向v的單位矢量，w"是對應於方向w的單位矢量。可用;7-^的最小值的計算結果修正//的計算結果，從而不必使圖案 大範圍地移動。可通過由仏的值進行線性內插或外插而僅由仏的兩個值 (以及與其相關的M)計算//。如果已知^的兩個以上的值，則可利用 更好的函數逼近(例如二次逼近)，從而得出更接近/f的估計值。對於K 來說也是如此。其它實施方式在另一實施方式中，由於在任何圖像中其值都不發生變化的像素不 與圖案的反射相對應，因而忽略這樣的像素。例如，位於場景的周圍背 景中的像素。在其它實施方式中，圖案可以是屏幕上的固定圖樣，或者是投影在 屏幕上的圖案。在另一實施方式中，利用單個圖案而不是兩個圖案來進行感測。該 圖案在各個點處都具有唯一值。例如，圖案是具有沿水平方向的紅色亮 度漸變和沿垂直方向的綠色漸變的彩色圖案，並且在屏幕位於最終位置 的情況下，該圖案沿對角線方向移動。而且如之前一樣利用最終圖像來計算和P-〃並進行後續計算。在另一實施方式中，圖案在屏幕上周期性重複。為了避免/7- 和,r出現多個最小值，屏幕的平移足夠小，以使得反射到初始圖像和最終圖像中的給定像素的圖案部分都位於周期圖案的一個周期內。在另一實施方式中，在初始位置以及在最終位置，圖案都在屏幕上 移動，並且多個初始圖像和最終圖像都用於確定表面形狀。在另一實施方式中，在初始位置之後，屏幕移動到兩個或多個後續 位置，對於各個後續位置重複所述步驟。對於圖像中的像素，此時通過 結合在各單獨位置計算出的光線而計算入射至表面的入射光線，從而提供更準確的估計值。在另一實施方式中，利用表面法線估算物體上的各個點處的主曲率。 在另一實施方式中，利用表面法線確定參數物體(例如柱體或球體)的主軸線。在另一實施方式中，將表面法線輸入相位展幵方法以確定物體的三 維形狀。相位展開方法在本領域中是公知的。在另一實施方式中，利用表面法線確定物體的三維形狀之後確定物 體的姿勢。在另一實施方式中，利用經過表面某區域的表面法線的變化來分析 該表面。表面法線的變化可用來識別表面形狀的不連續性，例如兩個表 面之間的邊緣，或者表面的凹凸部分。表面法線的變化還用於表徵表面 的平滑性。表面法線的變化還用於識別主曲率，並且對於參數物體來說， 表面法線的變化還用於識別諸如主軸線的特徵。表面法線的變化還用於 表徵表面的各向異性，例如磨砂金屬上的方向紋理，這是由於表面法線 很少沿磨砂紋理的方向變化，而在大多數情況下沿垂直於磨砂紋理的方 向變化。表面法線的不連續性還可用於識別表面上的反射不連續性，例 如當某些反射直接來自圖案而某些反射來自圖案的經由其它鏡面反射面 的雙重反射時會出現反射不連續。在另一實施方式中，利用初始圖像和多個最終圖像中的各個圖像之 間的像素值之差的變化來表徵表面的各向異性，例如磨砂金屬上的方向 紋理。在另一實施方式中，屏幕包括多個小平面，從而物體表面的多個部 分反射圖案。在另一實施方式中，利用兩個以上的照相機觀察物體表面，從而可 處理表面的多個部分。在另一實施方式中，利用變焦照相機觀察物體表面，從而可得到變 焦區域的更髙解析度結果。在另一實施方式中，用分束器和兩個固定屏幕代替移動屏幕，從而 不使用移動部件而提供同樣有效的結構。在另一實施方式中，利用出現的和的多個最小值來識別物體 表面上的多個層。發明效果由於本方法僅基於像素值p力之差而不基於照相機的任何預標定或 期望特徵、環境照明、表面材料或者屏幕上的圖案，因而本方法不因照相機110的響應特性、環境照明、表面121的反射特性、表面121上的 瑕疵或汙物以及屏幕130上的圖案的絕對外觀而變化。由於本方法僅基於像素值p-《之差而不受由不同形狀的表面反射所 引起的反射圖案失真以及尺度差影響，因而本方法可有效地用於平坦或 彎曲表面且不需要調整圖案的形式。在示出兩個不同圖案(水平和垂直)的情況下，本方法最少利用圖案的六個圖像。即在初始屏幕位置的一個圖像、在最終屏幕位置的兩 個圖像(針對圖案的位移)。當示出一個圖案，例如具有沿水平方向的紅 色亮度漸變以及沿垂直方向的綠色亮度漸變的彩色圖案時，本方法最少 利用三個圖像。對於圖像中的像素來說，本方法能夠使像素值p^的多個差值相結 合而求出的最小值的更準確的估算值，由此求出相關表面法線的更準 確的估算值。本方法對於鏡面反射面和鏡面-漫射混合反射面都有效。當表面為鏡 面時，到達照相機像素的光是來自圖案上的單個點的反射。但是當表面 為鏡面-漫射混合反射面時，到達照相機像素的光是來自圖案區域的鏡面反射和漫反射的產物。在圖6中，當屏幕位於初始位置時，所述區域是 620，當屏幕位於最終位置時，所述區域為630。該方法僅基於像素值; -《 之差，像素值p對應於區域620的反射，像素值？對應於區域630的反 射，從而不需要確切模擬該複雜反射。儘管已通過優選實施方式的實施例描述了本發明，然而應理解在本 發明的精神和範圍內可進行各種其它改進和修改。因此，所附權利要求 旨在覆蓋落於本發明的實際精神和範圍內的所有此類變型和修改。
權利要求
1、一種用於感測反光物體的表面形狀的方法，該方法包括以下步驟在所述表面反射位於初始位置的可見物時，記錄所述物體上的表面點的初始圖像值；當所述可見物經過與所述初始位置不同的後續位置而經歷預定動作時，記錄後續圖像值；識別所述可見物的位置，在該位置處，所述表面點的圖像值變得與所述初始圖像值大致相同；以及利用所述可見物的初始位置和識別出的位置確定所述表面點的表面法線。
2、 根據權利要求1所述的方法，其中，所述可見物是平面屏幕，該 平面屏幕顯示空間變化的圖案，並且該方法還包括以下步驟在所述屏幕位於初始位置的情況下，採集被所述物體的表面反射的 該屏幕的初始圖像；按照預定動作將所述屏幕移動到與所述初始位置平行的最終位置；在所述屏幕位於最終位置並且所述圖案在該屏幕上經歷了一系列位 移的情況下，採集被所述物體的表面反射的該屏幕的最終圖《象；對於所述圖像中的像素，確定所述初始圖像的像素值與所有最終圖 像的像素值的最小差值，並記錄所述圖案的相關位移；對於經過位移的像素，求出在被該像素成像的點處從所述圖案至所 述物體表面的入射光線的方向；以及對於一像素，由該像素的已確定的入射光線求出所述物體在被該像 素成像的點處的表面法線，該表面法線代表該表面點處的表面形狀。
3、 根據權利要求1所述的方法，其中，利用所述表面法線確定表面 的三維屬性，所述三維屬性選自由主曲率、參數表面的主軸線、三維形 狀以及物體姿勢構成的組。
4、 根據權利要求1所述的方法，其中，僅記錄所述物體的反射所述 可見物的部分的圖像值。
5、 根據權利要求1所述的方法，其中，所述可見物是帶有印刷圖案 的物體。
6、 根據權利要求1所述的方法，其中，所述可見物是帶有投影圖案 的物體。
7、 根據權利要求1所述的方法，其中，所述可見物是具有一維亮度 漸變的圖案的物體。
8、 根據權利要求7所述的方法，其中，所述一維亮度漸變包括多種 顏色漸變。
9、 根據權利要求2所述的方法，其中，所述步驟執行兩次，第一次 僅利用沿所述屏幕的水平方向變化的一維圖案，圖案位移是水平的，第 二次僅利用垂直變化的一維圖案，圖案位移是垂直的，並結合兩個結果 以得到所述表面法線。
10、 根據權利要求2所述的方法，其中，所採集的圖案的圖像數量 是三個，g卩在初始屏幕位置的一個圖像以及在最終屏幕位置的兩個圖 像，並且通過線性內插求出使所述初始圖像和所述最終圖像之間的像素 值之差最小的圖案位移。
11、 根據權利要求2所述的方法，其中，所採集的圖案的圖像數量大於三個，即在初始屏幕位置的一個圖像以及在最終屏幕位置的其它圖像，並且通過高階內插方法求出使所述初始圖像和所述最終圖像之間 的像素值之差最小的圖案位移。
12、 根據權利要求2所述的方法，其中，所述圖案在所述屏幕上周 期性重複，並且周期足夠長以使得所述圖案的反射至所述初始圖像和所 述最終圖像的給定像素的點位於該周期圖案的一個周期內。
13、 根據權利要求2所述的方法，其中，所述圖案在初始位置和最 終位置處在所述屏幕上移動，並且利用多個初始圖像和多個最終圖像來 確定表面形狀。
14、 根據權利要求1所述的方法，其中，利用經過部分表面的表面 法線的變化表徵表面屬性。
15、 根據權利要求14所述的方法，其中，利用表面法線的變化識別 所述表面的物理不連續性。
16、 根據權利要求14所述的方法，其中，利用表面法線的變化識別各個表面點處的主曲率，對於參數表面來說識別對稱軸。
17、 根據權利要求14所述的方法，其中，利用表面法線的變化識別 凸起的淺浮雕圖樣。
18、 根據權利要求14所述的方法，其中，利用表面法線的變化表徵 表面的平滑性。
19、 根據權利要求14所述的方法，其中，利用表面法線的變化表徵表面的各向異性。
20、 根據權利要求14所述的方法，其中，利用表面法線的變化識別 表面反射的不連續性。
21、 根據權利要求1所述的方法，其中，利用圖像值的變化表徵表 面屬性。
22、 根據權利要求21所述的方法，其中，利用所述變化表徵表面的 各向異性。
23、 根據權利要求1所述的方法，其中，所述可見物由多個小平面 構成。
24、 根據權利要求1所述的方法，其中，利用兩個或更多個照相機 觀察所述物體。
25、 根據權利要求1所述的方法，其中，利用變焦相機觀察所述物體。
26、 一種用於感測反光物體的表面形狀的系統，該系統包括 當所述表面反射位於初始位置的可見物時，用於記錄所述物體上的表面點的初始圖像值的裝置；當所述可見物經過與所述初始位置不同的後續位置而經歷預定動作 時，用於記錄後續圖像值的裝置；用於識別當所述表面點的圖像值變得與所述初始圖像值大致相同時 的所述可見物的位置的裝置；以及用於利用所述可見物的初始位置和識別出的位置確定所述表面點的 表面法線的裝置。
全文摘要
本發明提供一種感測反光物體表面形狀的方法和系統。針對鏡面反射或鏡面-漫射混合反射物體確定表面法線和其他三維形狀描述信息。在平滑空間變化圖案位於初始位置時，照相機記錄被物體表面反射的該圖案的圖像。然後該照相機記錄經歷一系列後續位移而到達與初始位置不同的最終位置的圖案的多個圖像。對於圖像的各像素，求出與初始圖像的像素值和所有最終圖像的像素值之間的最小差值相對應的圖案位移。隨後利用求出的圖案位移確定在被所述像素成像的點處入射在所述物體表面上的入射光線。然後利用確定的入射光線確定在同一表面點處的表面法線。根據物體的表面法線確定三維形狀的其它描述信息，例如主曲率、參數表面的主軸線、三維形狀或物體姿勢。
文檔編號G01B11/24GK101118155SQ20071013972
公開日2008年2月6日 申請日期2007年7月27日 優先權日2006年8月1日
發明者保羅·A·比爾茲利 申請人:三菱電機株式會社