基於二維彩色光編碼的實時三維視覺系統的製作方法

2023-06-02 02:48:36

專利名稱：基於二維彩色光編碼的實時三維視覺系統的製作方法
技術領域：
本發明涉及一種實時三維視覺系統。
背景技術：
在一個編碼結構光系統中，用於照明場景的光模板是經過特別設計的，模板圖像上每個象素都有它特定的代碼，所以，實現時需要從代碼到相應象素坐標的直接映射。這些代碼通常是一些簡單的數字，可以由灰度、顏色或者特定幾何形狀來表示這些圖象映射代碼。一般地，如果要編碼點的數量越多，代碼字就要越多，而把這些代碼映射到相應的圖形上也就越困難。Batlle等廣泛研究了過去十年裡發展起來的圖象映射技術，並把編碼分為時間多解析度法、鄰域編碼法和直接法等三種。時間多解析度法通過映射圖象時間序列產生代碼字，所以每一個圖象結構都很簡單。鄰域編碼法用獨特的圖案代替代碼字，但增加了圖形的複雜程度。直接法則為每個象素定義一個代碼字。
基於時間復用技術的時間多解析度法，是時序編碼的最普遍的策略之一。這種圖象能實現高精度的測量，這主要是由於兩個原因首先，因為那些複合圖案映射成的代碼基很小(通常只是二進位數)，因此是一種很容易在彼此編碼字中區分的簡單編碼方式。其次，通過一個從粗到細的過程，當圖象被連續映射的時候，象素的位置也正在被逐步精確地輸入。這個技術的優點是易於實行，完成高空間解析度和精確的三維測量。但是，其主要的弊端是當有運動物體需要多圖案映射的時候，這個技術就不適用。基於映射光柵圖象輸入灰度代碼技術能獲得很好的精度，但是不能達到最大的解析度。為了獲得大的解析度，一個基於灰度編碼和相移的技術被加以使用，它的主要缺點是要用大量的映射圖案(大於24幅)。如果最大的空間解析度不是應用的主要目標，要把映射圖象的數量減到最小限度，那麼編碼的光映射技術就比較合適。這種方法即獲得了較高的精確度，同時以指數形式減少了需映射的圖象數量。
直接編碼技術創造一種圖形以便把每一個象素都能通過它上面的信息來標記。這樣某個點的代碼字就被包含在一個獨特的灰度圖案裡。最近Griffin和Salvi等人在這項技術上做的工作給我們帶來了很有用的參考依據。為了達到唯一性，既用了大範圍的顏色值又採用周期性。雖然到達很高的三維信息解析度在理論上能實現，但是由於噪聲的存在，使得代碼字之間的距離幾乎為零。再者，圖象的顏色不只是取決於影象的顏色還取決於物體表面本身的顏色，因此至少需要拍攝一張以上的參考圖象用於三維重建，所以，這些技術並不適合於動態場景的重建和分析。
空間鄰近編碼法是結構光系統中的另外一種主要的方法。這種方法在一個圖案中集中所有的編碼模式，用圖象點標記過代碼字可以從它周圍鄰近的點上進行分析得到。然而其解碼階段變得比較困難，因為有時候空間鄰近區域可能丟失而產生三維計算錯誤。一般地，那些聚集在鄰域中的可視化特徵是那些灰度和顏色的區域結構。空間鄰近技術可以分成三類非正態的編碼法，De Bruijn序列和M陣。這些技術與時間復用技術相比的優點是這些策略允許測量運動物體的表面。然而，因為這個方法必須被壓縮到同一幅圖象中，空間解析度比較低。此外，要假定被測物體的局部表面光滑性從而保證正確的灰度解碼。
現有的結構光系統常用單行條紋碼，這種方法的好處是大大簡化了匹配的問題，但是缺點是在每個圖象的連續鏡頭中只能獲得一條數據點的條紋。為了加速數據採集過程，可以採用多行條紋來代替。Osawa等人用四個灰度圖案的空間—時間掃描法，當用相機拍照的時候，各式各樣的灰度代碼以時間序列形式映射到物體。這種方法的優點是加速了獲得三維圖象的過程同時也簡化了匹配問題。但是，它還是需要幾次連續拍攝多幅圖象來產生時間序列代碼。為了減少輸入圖象的數量，產生彩色條紋圖案，同時用照相機在各個視點進行拍攝。有人使用了未被矯正過的結構光源射出各種彩色條紋形式，並結合彩色結構光和立體視覺，只使用一部照相機抓獲映射條紋圖案的圖片，然後在圖象中進行邊緣匹配。
與結構光系統相比，這個使用線性條紋LCD或DLP投影機的系統具有一個優點，就是在一個場景中測量相同數量的物體的點需要較少的圖象。但是，它仍需要數幅圖片(通常是8到12幅)才能復原一個三維場景的圖象。所以，它的速度和應用受到了一定製約，通常，只能用來重建靜態物體。對於動態場景，只能獲取一張圖片以觀察運動物體的三維信息。在這種情況下，用一張圖片獲得三維圖象就十分令人期待了。

發明內容為了克服現有的三維視覺系統的重建效率低、系統速度受限、動態圖象實時性差的不足，本發明公開一種採用特殊柵格圖案實現三維圖象重建。這是一種效率高、系統速度快、實時性好的基於二維彩色光編碼的實時三維視覺系統。
本發明解決問題所採用的技術方案是一種基於二維彩色光編碼的實時三維視覺系統，包括一數字放映機，用以把光模板投射到物體上；一攝像機，用以獲取圖象；一微處理器，用以形成彩色調製光和進行三維重建，所述的微處理器包括有一顏色集合模塊，用以形成顏色集合P＝{c1，c2，c3，...ci，...}，i≥3，其中ci表示一種特定波長的光波或者顏色；一編碼模塊，用以從所述的顏色集合中選出元素，並進行特定的編碼組合成編碼字，所述的編碼字的領域具有唯一性；一編碼字輸出模塊，用以將所述的編碼字一一對應到光投影器件以輸出光束；一三維坐標計算模塊，用以將獲取的圖像對應到光模板並計算得到三維空間坐標，所述的編碼模塊中，用以根據顏色集合P，構造一個最長的水平代碼序列
Sh＝[c1，c2，c3，...，cm] (1)其中，m是序列的長度，對於任何鄰近的顏色對，它滿足式(2)ci≠ci+1，1≤i＜m (2)；並且任意三個相鄰顏色的組合Th3i＝[cici+1ci+2]在序列中是唯一存在的，參見式(3)Th3i≠Th3j， i≠j，1≤i，j≤m-2 (3)水平序列長度的最大值Sh是Length(Sh)＝p(p-1)(p-1)+2；再構造一個最長的垂直序列Sv＝[c1，c2，c3，...，cn](4)其中n是序列的長度，對於其中的任意顏色對，它不僅僅滿足式(2)，還滿足唯一性條件[cici+1]≠[cjcj+1]，i≠j，1≤i，j≤m-1(5)由P個顏色產生的垂直序列，其長度的最大值Sv是Length(Sv)＝p(p-1)+1；根據P個顏色產生的最長水平序列和P-1個顏色產生的最長垂直序列通過卷積運算構建彩色映射矩陣S，參見(6)S＝ShSv(6)；該矩陣S滿足條件1W={wijwijwkl,(i,j)(k,l),2i,k(m-1),2j,l(n-1)---(7)]]>
條件2M={xijxijxi-1,j,xijxi+1,j,xijxi,j+1,xijxi,j-1,1im,1jn}---(8)]]>其中，xij是彩色映射矩陣S中的第i行和j列的彩色網格點，字wij是一個五元組序列{xij，xi,j-1，xi-1，j，xi，j+1，xi+1，j}。
進一步，所述的彩色映射矩陣為柵格圖案，每兩個相鄰彩色柵格點顏色之間存在設定的最小距離。
再進一步，所述的卷積運算的規則為矩陣的第一行由Sh定義，第二行是由以p為模加Sv的第一個元素到Sh的每個元素中去創造出來的，其中模數操作只在集合{1，2.....p}中不包括0元素，第三行是由以p為模加Sv的第二個元素到Sh的每個元素中去創造出來的，依次類推。
本發明的工作原理是根據應用對象設計一個顏色集，顏色集中包含特定種互不相同的顏色，然後用上述方法分別構造一個水平代碼序列和垂直代碼，再生成一個彩色映射矩陣S；結構光視覺系統通過投影儀把這個彩色映射矩陣S所對應的光圖案投射到場景中，一個攝像機檢測到物體表面顏色的分布；圖像中顏色的分布經過解碼後可以譯出每個象素點所對應的投影坐標，再利用系統定標參數(即攝像機和投影儀的兩個透視轉換矩陣)，便可以進行三維重建以測量場景中每一個可見點的三維坐標。由於系統工作過程中只需要獲取一幅場景圖像，而且圖像也只需在局部進行處理，因此工作效率非常高，可以用於實時三維系統。
模板彩色光映射矩陣S經數字放映機輸出，場景中的三維物體被彩色調製，然後通過分析圖像中的顏色分布就可以進行快速三維重建。
本發明的有益效果主要表現在1、只需讀取單幅圖象即可對三維場景進行測量；2、效率高、系統速度快；3、動態實時性好。


圖1是典型的灰色編碼法示意圖。
圖2是Griffin等人設計的編碼圖形。
圖3是Salvi等人設計的編碼圖形。
圖4是本發明所實現系統的結構示意圖。
圖5是本發明所採用的柵格圖案示意圖。
圖6是由七種顏色產生的32×212柵格圖案的示意圖。
具體實施方式
下面結合附圖對本發明作進一步描述。
圖1是典型的灰色編碼法示意圖，圖2和圖3是Griffin和Salvi等人近幾年所設計的編碼圖形。本發明中，參照圖4、圖5，一種基於二維彩色光編碼的實時三維視覺系統，包括一數字放映機，用以把光模板投射到物體上；一攝像機，用以獲取圖象；一微處理器，用以形成彩色調製光和進行三維重建，所述的微處理器包括有一顏色集合模塊，用以形成顏色集合P＝{c1，c2，c3，...ci，...}，i≥3，其中ci表示一種特定波長的光波或者顏色；一編碼模塊，用以從所述的顏色集合中選出元素，並進行特定的編碼組合成編碼字，所述的編碼字的領域具有唯一性；一編碼字輸出模塊，用以將所述的編碼字一一對應到光投影器件以輸出光束；一三維坐標計算模塊，用以將獲取的圖像對應到光模板並計算得到三維空間坐標，所述的編碼模塊中，用以根據顏色集合P，構造一個最長的水平代碼序列Sh＝[c1，c2，c3，...，cm](1)其中，m是序列的長度，對於任何鄰近的顏色對，它滿足式(2)ci≠ci+1， 1≤i＜m (2)；
並且任意三個相鄰顏色的組合Th3i＝[cici+1ci+2]在序列中是唯一存在的，參見式(3)Th3i≠Th3j， i≠j，1≤i，j≤m-2 (3)水平序列長度的最大值Sh是Length(Sh)＝p(p-1)(p-1)+2；再構造一個最長的垂直序列Sv＝[c1，c2，c3，...，cn] (4)其中n是序列的長度，對於其中的任意顏色對，它不僅僅滿足式(2)，還滿足唯一性條件[cici+1]≠[cjcj+1]，i≠j，1≤i，j≤m-1(5)由P個顏色產生的垂直序列，其長度的最大值Sv是Length(Sv)＝p(p-1)+1；根據P個顏色產生的最長水平序列和P-1個顏色產生的最長垂直序列通過卷積運算構建彩色映射矩陣S，參見(6)S＝ShSv(6)；該矩陣S滿足條件1W={wijwijwkl,(i,j)(k,l),2i,k(m-1),2j,l(n-1)---(7)]]>條件2S={xijxijxi-1,j,xijxi+1,j,xijxi,j+1,xijxi,j-1,1im,1jn}---(8)]]>其中，xij是彩色映射矩陣S中的第i行和j列的彩色網格點，字wij是一個五元組序列{xij，xi，j-1，xi-1，j，xi，j+1，xi+1，j}；
進一步，所述的將彩色映射矩陣為柵格圖案，矩陣S通過電腦可以輸出到數字放映機上，每兩個彩色代碼字之間存在設定距離，從而使三維物體被模板彩色光調製。
本發明在柵格圖案設計時提出了一個新的方法，一旦照相機的透視映射矩陣和放映機相對的全球坐標結構從初試的刻度被計算出來，由於沒有匹配問題，處理三維坐目標點的三角測量只要簡單計算線性方程式。
在柵格圖案中，每個光格與其周圍的領格所組成的字圖形是唯一確定的，這在現實時非常重要。
讓P為一系列顏色原始代碼，P＝{1，2，…，p}(例如，1＝白，2＝紅，3＝綠，4＝藍，等)。這些顏色原始代碼被指定給一個m×n的S矩陣，這個矩陣來自可能映射到場景上去的輸入圖象。我們定義了一個字，這個字來自顏色值在S中的坐標為(i，j)和它相鄰的4個值。如果xij是指定的在S中的第i行和j列的彩色點，那麼這個字就表示了所相應的位置，wij表示序列{xij，xi，j-1，xi-1，j，xi，j+1，xi+1，j}，其中i∈{1，2，…，m}，j∈{1，2，…，n}(圖5)。如果S中所有字的值都存在一個表中，那麼每個字在投影機上直接定義一個坐標位置。
通過這種方法，每個定義的坐標位置在矩陣中都是唯一的，所以匹配就不再成為問題了。也就是說，圖象映射到場景中後，每個圖象點的字值被決定了(通過計算圖象點和它周圍相鄰點的顏色分布)，這樣，某個圖象點在矩陣中的匹配位置是唯一確定的。
編碼方法實現的步驟為首先，給定一個顏色集合P，我們盡力構造一個最長的水平代碼序列，Sh＝[c1，c2，c3，...，cm] (1)
其中，m是序列的長度。對於任何相鄰的顏色對，它滿足式(2)ci≠ci+1，1≤i＜m(2)；並且任意三個相鄰顏色的組合Th3i＝[cici+1ci+2]在序列中是唯一存在的，參見式(3)Th3i≠Th3j，i≠j，1≤i，j≤m-2(3)定理1水平序列Sh的長度最大值是Length(Sh)＝p(p-1)(p-1)+2。
這是因為，對於p種顏色，獨立三元組的最大數量是p(p-1)(p-1)，假設它們都能連接在一起，那麼鏈的長度就是p(p-1)(p-1)+2。
這個水平序列可以通過隨機搜尋法產生。本發明檢驗了所有顏色數不大於32的顏色集合，每個顏色集合都能產生一個最長的鏈。由於在離線狀態下只要產生一次而不影響系統工作的實時性能，所以無需特別注重改進這個算法。
例如，針對四色集合，其水平序列可以生成為Sh(4)＝[12421213132312343243413423214143142412]再者，給定一個顏色集合P，我們設法構造一個垂直的最長彩色序列，Sv＝[c1，c2，c3，...，cn] (4)其中n是序列的長度，對於其中的任意顏色對，它不僅僅滿足條件(2)，還滿足唯一性條件[cici+1]≠[cjcj+1]，i≠j，1≤i，j≤m-1 (5)定理2在相鄰顏色對具有唯一性的條件下，垂直序列Sv其長度的最大值是Length(Sv)＝p(p-1)+1。這個序列可由下面的形式產生，Sv＝[121314...1p，2324...2p，...，(p-1)p，1]最大長度的證明和定理1相似。對於p種顏色，其獨立顏色對的最大數量是p(p-1)，假設它們都能連起來，鏈的長度是p(p-1)+1。事實上，序列的第一部分[1213...1p]包含了除了[p1]以外的所有含1的顏色對，它有2(p-1)個並且每對都是唯一的，第二部分[p2324...2p]包含了所有含有2的顏色對，這部分增加了2(p-2)對。根據這種方法和在序列的最後增加一個1，我們發現序列中的每一對都是唯一的。
例如，給定一個4個顏色的集合，垂直列序則是Sv(4)＝[1213142324341]。
由於垂直序列作為模和水平序列一起作用的原因，數字p不能出現在垂直序列中。因此，該序列事實上比水平序列要少一種顏色。如果用顏色p來產生水平序列，那麼p-1個數字就用來產生相應的長度為(p-1)(p-2)+1的垂直序列。
最後，彩色映射矩陣能由最大水平和垂直的代碼序列(Shand Sv)產生，這使得編碼字的最大可能尺寸[(p-1)(p-2)+2]×[p(p-1)2+2]的矩陣在矩陣中唯一存在。矩陣的第一行由Sh定義，第二行是由以p為模加Sv的第一個元素到Sh的每個元素中進行創造出來。其中模數操作只在集合{1，2.....p}中不包括0元素。(傳統的模數操作包括0元素。)第三行是由以p為模加Sv的第二個元素到Sh的每個元素中創造出來。以此類推，通過這種方法，對於一個4色集合可以生成8×38的彩色映射矩陣。我們把上述方法定義為卷積運算操作，S＝ShSv，可以證明每個字在矩陣S中是唯一確定的。
上述方法給出了滿足條件(7)和(8)的空間編碼矩陣的產生方法。這方法是一種有限自動機原理。第一行確定以後，接下來每行則可以通過其上面行的數字轉換產生。但是，這種方案還有兩個缺點，一是生成的矩陣形狀有時不是我們想要的那樣，因為它的形狀象一條「長帶」。例如，一個四色集合產生一個8×38的矩陣，一個5色集合產生一個14×82的矩陣，一個6色集合產生一個22×152的矩陣，等等。實際的數字投影機通常投放一個寬∶高為4∶3或16∶9的圖象。所以，我們希望也產生這種矩陣與正方形的編碼矩陣。然而，用純數學公式產生這樣的矩陣非常困難，我們可以用電腦解決這個問題。通過程序隨機搜索算法可以找到一個最大方陣而滿足條件(7)和(8)。
在示例中，我們採用一個7色集合，它能產生32×212的長方形矩陣進行二維空間編碼。圖5是該矩陣染色後的部分彩色光圖案。
權利要求
1.一種基於二維彩色光編碼的實時三維視覺系統，包括一數字放映機，用以把光模板投射到物體上；一攝像機，用以獲取圖象；一微處理器，用以形成彩色調製光和進行三維重建，所述的微處理器包括有一顏色集合模塊，用以形成顏色集合P＝{c1，c2，c3，...ci，...}，i≥3，其中ci表示一種特定波長的光波或者顏色；一編碼模塊，用以從所述的顏色集合中選出元素，並進行特定的編碼組合成編碼字，所述的編碼字的領域具有唯一性；一編碼字輸出模塊，用以將所述的編碼字一一對應到光投影器件以輸出光束；一三維坐標計算模塊，用以將獲取的圖像對應到光模板並計算得到三維空間坐標，其特徵在於所述的編碼模塊中，用以根據顏色集合P，構造一個最長的水平代碼序列Sh＝[c1，c2，c3，...，cm](1)其中，m是序列的長度，對於任何相鄰顏色對，它滿足式(2)ci≠ci+1，1≤i＜m (2)；並且任意三個相鄰顏色的組合Th3i＝[cici+1ci+2]在序列中是唯一存在的，參見式(3)Th3i≠Th3j，i≠j，1≤i，j≤m-2(3)水平序列長度的最大值Sh是Length(Sh)＝p(p-1)(p-1)+2；再構造一個最長的垂直序列Sv＝[c1，c2，c3，…，cn](4)其中n是序列的長度，對於其中的任意顏色對，它不僅僅滿足式(2)，還滿足唯一性條件(5)[cici+1]≠[cjcj+1]，i≠j，1≤i，j≤m-1 (5)由P個顏色產生的垂直序列Sv，其長度的最大值是Length(Sv)＝p(p-1)+1；根據P個顏色產生的最長水平序列和P-1個顏色產生的最長垂直序列通過卷積運算構建彩色映射矩陣S，參見(6)S＝ShSv(6)；該矩陣S滿足條件1W={wijwijwkl,(i,j)(k,l),2i,k(m-1),2j,l(n-1)}---(7)]]>條件2M={xijxijxi-1,j,xijxi+1,j,xijxi,j+1,xijxi,j-1,1im,1jn}---(8)]]>其中，xij是彩色映射矩陣S中的第i行和j列的彩色網格點，字wij是一個五元組序列{xij，xi，j-1，xi-1，j，xi，j+1，xi+1，j}。
2.如權利要求1所述的基於二維彩色光編碼的實時三維視覺系統，其特徵在於所述的彩色映射矩陣為柵格圖案，每兩個相鄰彩色柵格點顏色之間存在設定的最小距離。
3.如權利要求1或2所述的基於二維彩色光編碼的實時三維視覺系統，其特徵在於所述的卷積運算的規則為矩陣的第一行由Sh定義；第二行是由以p為模加Sv的第一個元素到Sh的每個元素中去創造出來，其中模數操作只在集合{1，2.....p}中，不包括0元素；第三行是由以p為模加Sv的第二個元素到Sh的每個元素中去創造出來，依次類推。
全文摘要
一種基於二維彩色光編碼的實時三維視覺系統，包括數字放映機，用以把光模板投射到物體上；攝像機，用以獲取圖象；微處理器，用以形成彩色調製光和進行三維重建，微處理器包括有顏色集合模塊，用以形成顏色集合P＝{c1，c2，c3，…ci，…}，i≥3，其中ci表示一種特定波長的光波或者顏色；編碼模塊，用以從顏色集合中選出元素，並進行特定的編碼組合成編碼字，所述的編碼字的具有領域唯一性；編碼字輸出模塊，用以將編碼字一一對應到光投影器件以輸出光束；三維坐標計算模塊，用以將獲取的圖像對應到光模板並計算得到三維空間坐標。本發明只需對單幅圖象進行局部分析即可測量三維場景，因此重建效率高、系統速度快、實時性好。
文檔編號G06T1/00GK101063605SQ200610050550
公開日2007年10月31日 申請日期2006年4月27日 優先權日2006年4月27日
發明者陳勝勇, 李友福, 姚春燕, 管秋, 王萬良 申請人:浙江工業大學