對物體進行三維檢測的方法和裝置以及該裝置和方法的使用的製作方法

2023-05-12 08:31:56

專利名稱：對物體進行三維檢測的方法和裝置以及該裝置和方法的使用的製作方法
技術領域：
本發明涉及一種用於對物體進行三維檢測的方法，其中，-將具有已知的投影數據的彩色圖案(Farbmuster)投影到要檢測的物體上，-藉助攝像機來檢測投影到要檢測的物體上的圖案，以及-在分析單元中將由攝像機生成的圖像處理成三維物體坐標。
本發明還涉及一種用於實施所述方法的裝置，以及該裝置和方法的使用。
為了不同的應用目的，此外也為了對人員進行識別和鑑權，需要用於對物體進行三維檢測的方法。因此例如從DE 199 63 333 A1公開了，將由彩色的圖案元素組成的二維的彩色圖案投影到要檢測的物體上，並且藉助攝像機來檢測投影到要檢測的對象上的彩色圖案。根據要檢測的物體表面的空間特性，在由攝像機檢測到的圖像中相對於原始的布置移動該彩色圖案，使得在投影儀和攝像機的位置已知的情況下可以計算出要檢測的物體表面上的目標點的三維數據。
不過已知的方法不適用於彩色的畫面。在已知的方法中，更確切地說需要拍攝具有均勻白色物體照明的參考圖像。該參考圖像允許確定在圖案圖像中的所投影的顏色。由於在已知的方法中需要至少拍攝兩次，該方法僅有限制地適用於移動的或變形的物體。所以這種已知的方法僅有限制地適用於識別手或臉部。
從P.Vuylsteke和A.Oosterlinck發表的文章「Range ImageAcquisition with a Single Binary-Encoded Light Pattern」(IEEETransactions on Pattern Analysis and MachineIntelligence，第12卷，第2期，1990年2月)中公開了，將具有附加編碼的黑白的二維圖案投影到要檢測的物體上。在此嘗試從點的圖像周圍中求出攝像機圖像的每個點的投影角。尤其嘗試從所投影的圖案的失真中計算出各個點的投影角，這些失真從攝像機角度看由物體表面的空間方向所形成。但是只有在物體具有不斷伸展的表面的情況下，這才很好地獲得成功。但是如果在要檢測的物體上存在深缺口(Tiefenspruenge)，像點周圍的編碼的圖案元素則受到幹擾，這導致不可確定的或錯誤的投影儀角度，並且結果導致錯誤的三維物體坐標。
從現有技術出發，所以本發明所基於的任務在於給出一種用於對物體進行三維檢測的方法，該方法既不受要檢測的物體的色澤也不受其深缺口的影響。
此外，本發明所基於的任務還在於給出一種用於實施所述方法的裝置。
通過具有獨立權利要求所述特徵的方法和裝置來解決這些任務。在從屬於這些獨立權利要求的權利要求中給出了本發明的有利的擴展方案和改進方案。
在根據本發明的方法中藉助冗餘代碼來對彩色圖案中的投影坐標進行編碼。用於編碼的彩色圖案的採用提供了以下優點，即可以如此緊湊地進行編碼，使得尤其在臉部識別時不太可能由於深缺口或遮蓋而損壞代碼。除此之外，編碼是可抵抗差錯的，因為藉助冗餘編碼可以檢測和消除圖像中由物體色澤引起的色失真。
為了實施所述方法而設立的裝置因此具有一個投影儀，該投影儀將經冗餘編碼後的彩色圖案投影到要檢測的物體上。
在本方法的一個優選的實施方式中，彩色圖案的色值被劃分為代碼字。在此，代碼字優選地具有有意義的漢明距。在此應將有意義的漢明距理解為大於1的漢明距。利用這種形式的編碼在識別編碼後的投影數據時已獲得了很好的結果。
此外可以通過重疊代碼字來提高編碼的堅固性。
其它的措施涉及各個信道中的色彩變化。例如通過每個彩色信道中的色值只能分別取兩個事先確定的色值，可以提高識別精度。合宜地，在最小可能的值和另一個最大可能的值之間實現每個彩色信道中的色彩變化。
可以進一步要求，必須在至少兩個彩色信道中同時實現色澤變化。
通過這兩項措施可以消除源於要檢測的物體的色澤變化的幹擾。
對彩色圖案的另一個合理的要求涉及每個代碼字中色彩變化的數量。如果在彩色信道中的每一個中在每一個代碼字中發生至少一個色彩變化，識別誤差則不可能傳播超過多個代碼字。
此外還可以進一步改善識別精度，其方式是也將色彩變化概括為一個經冗餘編碼後的代碼的代碼字。通過這些對彩色圖案的編碼的要求可以在解碼時可靠地檢測出誤差。
在此通過以下方式進行解碼，即在分析單元中通過確定一次導數的最大值來檢測所檢測的測量信號的轉折點。然後根據彩色代碼的編碼滿足的準則來檢驗如此檢測到的轉折點，這些轉折點可以分配給潛在的色彩變化。在此還檢驗色彩變化的大小和信道之間色彩變化的相關性。另一個準則例如是，具有正斜率和負斜率的轉折點必須分別成對地出現，並且色彩變化必須符合色彩變化的代碼字。
最後檢查色彩變化與編碼後的色彩變化的代碼字的一致性，並且確定屬於所檢測圖像的一個點的投影數據。於是可以從由攝像機檢測到的圖像中各個點的投影數據和坐標中計算出要檢測的物體的表面的三維物體坐標。
以下藉助附圖來詳述本發明。其中

圖1展示了用於對物體數據進行三維檢測的裝置的視圖；圖2a至c展示了顯示數據簡化的圖表；以及圖3a至b展示了所檢測的物體重建後的輪廓線的示圖。
在圖1中示出了裝置1，該裝置1用來確定要檢測的物體3的表面2的三維物體坐標。
裝置1具有一個投影儀4，該投影儀4將彩色圖案5投影到要檢測的物體3的表面2上。在圖1中示出的情況下，彩色圖案5由一系列相鄰的彩色條紋組成。但是也可以設想，採用二維的彩色圖案來代替在圖1中示出的一維的彩色圖案5。
在圖1中示出的實施例中，可以為物體3的表面2的每一個點P分配一個投影平面g。因此通過彩色圖案5對投影數據進行編碼。通過攝像機6將投影到物體3的表面2上的彩色圖案5轉換成圖像7，在該圖像7中表面2上的點P被轉換成點P′。在已知投影儀4和攝像機6的布置的情況下，尤其是在已知基本線段8的長度的情況下，可以通過三角測量計算出表面2上的點P的三維空間坐標。由分析單元9來進行為此所需的數據簡化和分析。
為了當物體3的表面2具有深缺口和遮蓋時，也能夠實現從單個的圖像7中確定表面2上的點P的三維空間坐標，如此來設計彩色圖案5，使得投影平面g的編碼儘可能堅固地抵抗誤差。此外還可以通過編碼來消除基於物體色澤的誤差。
在圖1中示出的實施例中，通過RGB模型來描述彩色圖案5的顏色。通過各個彩色信道R、G和B中的色值變化來實現彩色圖案5的色值變化。
於是該彩色圖案應滿足以下的條件-在每一個彩色信道中僅僅採用兩個色值。尤其在每一個彩色信道中分別採用最小值和最大值，使得在RGB模型中總共有八個顏色可供使用。
-在一個代碼字之內，每個彩色信道具有至少一個色彩變化。該條件能夠實現對各個代碼字的解碼。
-相鄰的色元在至少兩個彩色信道中有區別。該條件尤其用來確保尤其對於深缺口的容差。
-彩色圖案5的各個代碼字具有一個有意義的漢明距。該條件也用來提高在對投影平面g進行解碼時的容差。
-還將色彩變化概括成具有有意義的漢明距的代碼字。
以下提及滿足上述五個條件的彩色圖案5的一個實例。該彩色圖案5涉及具有紅色彩色信道R、綠色彩色信道G和藍色彩色信道B的RGB模型。由於每個彩色信道中的色值只允許分別取最小值和最大值，所以總共有八個混合色可供使用，給這些混合色分別分配以下的數字黑色0藍色1綠色2青色3紅色4品紅色 5黃色6白色7為色值的代碼字選擇了四個彩色條紋的長度，其中相鄰的代碼字分別以三個彩色條紋彼此重疊。
也給色彩變化分配了數值。由於在三個彩色信道的每一個中色值可以保持相同、下降或上升，總共得出混合色的27個不同的色彩變化，已分別給這些色彩變化分配了0和26之間的數字。分配給色彩變化的代碼字的長度被選擇等於三個色彩變化，其中相鄰的代碼字分別以兩個色彩變化彼此重疊。
通過搜索算法找到了以下的數列，該數列描述了滿足上述五個條件的彩色圖案5的一個實施例1243070561217414270342127216534171614361605306352717072416305250747147065035603634743506172524253607在所給出的實施例中，第一代碼字由數字1243組成，第二代碼字由數字2340組成，以及第三代碼字由數字4307組成。所展示的實施例是一種很堅固的編碼。
圖2a至c顯示了數據簡化。圖2a中示出了原始的彩色信號10。通過物體3的表面2將原始的彩色信號10變形成測量信號11。為了清晰起見，要指明的是，在垂直於圖1中所示出的彩色圖案5的彩色條紋的方向上示出了彩色信號10和測量信號11。
在第一步驟中，為數據簡化計算測量信號11的一次導數12。隨後通過計算該一次導數12的極值13來確定該測量信號11的轉折點。通過將拋物線或三次多項式直接擬合(anfitten)到導數12的極值13附近來計算精確的位置。將從中得出的極值按照它們的空間分布概括成混合的彩色信號的極值，這些極值在多個彩色信道上延伸。通過以下方式計算在多個彩色信道上延伸的極值的位置，即在各個彩色信道中形成極值位置的加權平均值。在擬合曲線的質量的基礎上並根據測量信號11的信噪比形成用於加權的係數。以下忽視各個極值，在另一個彩色信道中沒有其它的極值與這些極值相對應。由於在沒有相應的顏色過渡的情況下而出現極值的概率是很小的，所以這是一種用於消除噪聲所決定的失真的有效措施。在圖2c中例如可以消除錯誤地檢測到的極值14。9.1在另一個方法步驟中將等同的極值連接成輪廓線15。圖3a展示了以下情況的結果，即極值未經受其它的濾波。但是由於藉助彼此具有有意義的漢明距的重疊代碼字來構造色彩變化，也可以濾出基於表面2的色澤中的彩色邊緣的那些極值。圖3b中示出了結果。這裡所述的方法因此完全有能力來檢測色彩變化的實際輪廓線15，這些色彩變化基於彩色圖案5中的色彩變化。
在其它的進程中可以通過彩色編碼將投影儀平面g分配給圖像7的點P。如果攝像機6和投影儀4的布置是已知的，則通過三角測量得出表面的三維物體數據。
這裡所述的方法也可以被用於確定要檢測的物體3的色澤。通過以下的公式Rc=rcscIPd+rcscIAd]]>可以描述圖像7中的點P的色值，式中，sc(λ)給出攝像機6中傳感元件的光譜敏感性，rc(λ)是所屬表面2的光譜反射性，IP(λ)是由投影儀4所輻射的射束的光譜強度，以及Ia(λ)是背景照明的強度。由於在執行上述方法之後每個點P的IP(λ)是已知的，如果可以忽略背景照明的影響，則可以在假設Rc(λ)基本上等於常數rC的的情況下從每個彩色信道中所測量的值Rc中計算出常數rC。於是從三個彩色信道的反射性rC中可以推斷出表面2的色澤。在考慮rC的相鄰值的情況下最終至少可以檢測物體3的色澤的低頻分量。
已經充分地測試了本方法。一個彩色圖案得到採用，其中104個條紋形成了一種明確的編碼。但是將總共156個光平面用於所投影的彩色圖案5，因為試驗構造的幾何圖形允許部分地重複所編碼的圖案。
針對投影儀4，不僅採用了簡單的幻燈機而且採用了LCD投影儀。在此從成本觀點看，一種其光學系統按大的聚焦深度來優化的簡單的幻燈機是較好的替代方案。
針對攝像機，採用了具有574×768像素的解析度的不同的RGB攝像機。為了儘可能抑制各個彩色信道之間的串擾，攝像機6中的良好的色彩分離是重要的。針對分析單元9採用了具有奔騰IV 2.4GHz處理器的計算機。因此無需程序代碼的速度優化也可以每秒拍攝和分析直至15個圖像。因此本方法完全適用於姿態的識別。
在表面2的著色變化和背景照明的變化在頻率和幅度方面不符合彩色圖案5的色彩變化時，本方法可靠地工作。這也可以從圖3a和3b中看出，其中手指16放在多色的底板17上。
在圖像7中面積大小必須是8×8像素，以便可以給它分配三維坐標。因為需要至少兩個完整的彩色條紋來用於分析，其中，在攝像機6中一個彩色條紋的寬度至少是3個像素。
由於在實施這裡所述的方法時表面2的單次拍攝就足以確定表面2的三維坐標，所以這裡所述的方法和這裡所述的裝置尤其適合於檢測移動的或變形的物體。所以尤其在生物統計的範圍內這裡所述的方法適合於臉部識別和姿態檢測。就這方面而言，這裡所述的方法首先適用於人員的識別和鑑權。
其它的應用領域涉及產品的質量保障、設計中的對象的測量，該設計例如用於擴建、用於已有機器或設備的修理或擴充、或用於多媒體領域和遊戲領域中物體的三維建模。
要說明的是，也可以將其它的彩色模型、例如YUV模型用於描述彩色圖案5。
此外還要說明，將概念「攝像機」理解為任何成像的系統。
權利要求
1.用於對物體(3)進行三維檢測的方法，其中，-將具有已知的投影數據的彩色圖案(5)投影到所述的要檢測的物體(3)上，-利用攝像機(6)檢測投影到所述物體(3)上的彩色圖案(5)，以及-將由所述的攝像機(6)生成的圖像(7)在分析單元(9)中處理成所述物體(3)的三維物體坐標，其特徵在於，藉助冗餘代碼來對所述彩色圖案(5)中的投影數據進行編碼。
2.按權利要求1的方法，其中藉助冗餘代碼的代碼字來構造所述彩色圖案(5)中的色值，以及其中藉助由所述分析單元(9)所實施的、對所述色值進行編碼的代碼字的搜索，來識別所述圖像(7)的點(P)的投影數據。
3.按權利要求1或2的方法，其中藉助冗餘代碼的代碼字來構造所述彩色圖案(5)的色彩變化，以及其中在所述的分析單元(9)中進行分析期間將對應於所述代碼字的色彩變化批准為有效的色彩變化。
4.按權利要求2或3的方法，其中採用具有有意義的漢明距的代碼字。
5.按權利要求2至4之一的方法，其中重疊地布置所述的代碼字。
6.按權利要求1至5之一的方法，其中在兩個值之間改變每個彩色信道中的色值。
7.按權利要求6的方法，其中在最小值和最大值之間改變每個彩色信道中的色值。
8.按權利要求1至7之一的方法，其中共同改變至少兩個彩色信道中的色值，以及其中在所述的分析單元(9)中進行分析期間將在至少兩個彩色信道中共同出現的色彩變化批准為有效的色彩變化。
9.按權利要求1至8之一的方法，其中在每個彩色信道中在每個代碼字之內執行至少一個色彩變化。
10.按權利要求1至9之一的方法，其中在所述的分析單元(9)中藉助測量信號(11)的一次導數(12)的極值來確定每個彩色信道中色彩變化的位置。
11.按權利要求1至10之一的方法，其中條形地構成所述的彩色圖案(5)，以及其中在所述的分析單元(9)中進行分析期間將彼此相對應的色彩變化連接成輪廓線(15)。
12.按權利要求1至11之一的方法，其中執行所述圖像(7)的單次拍攝，用於確定所述物體(3)的表面(2)的三維坐標。
13.按權利要求1至12之一的方法，其中通過對在圖像(7)中檢測到的所述彩色圖案(5)的顏色和對所述彩色圖案(5)中原始投影的顏色進行分析來重建所述物體(3)的表面(2)的色澤。
14.用於對物體進行三維檢測的裝置，所述裝置具有用於將彩色圖案(5)投影到要檢測的物體(3)的表面(2)上的投影儀(4)，和具有用於拍攝投影到所述表面(2)上的彩色圖案(5)的圖像(7)的攝像機(6)，以及具有用於分析所述圖像(7)的分析單元(9)，其特徵在於，設置可由所述投影儀(4)進行投影的彩色圖案(5)和所述的分析單元(9)，用於執行按權利要求1至13之一所述的方法。
15.將按權利要求1至13之一所述的方法或按權利要求14所述的裝置用於人員的臉部識別。
16.將按權利要求1至13之一所述的方法或按權利要求14所述的裝置用於人員的姿態識別。
全文摘要
為了確定要檢測的物體(3)的表面(2)的三維坐標，建議藉助冗餘代碼來對彩色圖案(5)的色彩變化進行編碼，該彩色圖案(5)由投影儀(4)投影到表面(2)上。一種分析在由攝像機(6)所拍攝的圖像(7)中出現的色彩變化的分析方法對表面(2)上的變化是不敏感的。此外可以利用單次拍攝來確定物體(3)的輪廓。本方法因此也適用於移動的物體。
文檔編號G01B11/25GK1668890SQ03816872
公開日2005年9月14日 申請日期2003年7月17日 優先權日2002年7月18日
發明者P·魯梅爾, C·霍夫曼, F·福爾斯特 申請人:西門子公司