雙視點立體視頻的圖像匹配方法及裝置與流程
2023-05-24 22:29:16 2
本發明涉及立體圖像處理
技術領域：
，尤其涉及一種雙視點立體視頻的圖像匹配方法及裝置。
背景技術：
：目前，立體視頻採集設備通過雙目攝像機對兩組光學系統中場景進行採集，獲取場景的左右視圖，並顯示在立體顯示器上，用戶佩戴3D眼鏡就可以觀看到立體場景。這樣可以改善用戶的視野，增強觀看的立體效果，可以獲取更為豐富的場景信息。但是立體視頻的應用中，如果要實現數位化功能，獲取場景的左右視圖後，就不能停留在獲取立體觀看效果上，需要進一步的對獲取的圖像進行分析，提取出其中豐富的信息，以為用戶提供更為精確的數字信息。現有技術中立體視頻的深度信息獲取，給視覺應用帶來了很大的變化，無論是從工業檢測還是在醫療手術的效率及安全性提高上都有了很大的進步。通過立體深度信息，用戶在應用中可以獲取更好的視覺體驗，更逼真的立體畫面，進而得到觀察區域的精確信息，提高了用戶對觀察區的了解，也為量化判斷提供了更多的支持。該深度信息可通過視場的稠密視差圖來獲取。稠密的視差圖可以用來三維重建。由於當前立體視頻圖片解析度較高，在應用中對系統又有實時性需求，立體匹配算法將是三維重建的基礎問題，也是一個難點。技術實現要素：本發明的主要目的是提供一種雙視點立體視頻的圖像匹配方法，能夠獲取精確快速的稠密視差圖，為用戶提供精確的數字信息。為實現上述目的，本發明採用的一個技術方案為：提供一種雙視點立體視頻的圖像匹配方法，包括如下步驟：獲取左眼及右眼兩路視頻，並從左眼及右眼兩路視頻中提取出感興趣的圖像幀；預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並根據色彩匹配代價與視差域值的大小找出與目標像素點對應的候選的匹配點；根據以目標像素點為中心的中心域與以候選的匹配點為中心的中心域的所有像素點的色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並且根據總的代價函數計算出匹配代價；找出與多組匹配代價最小的匹配對並得到對應的稠密視差圖，以及對稠密視差圖進行優化。優選地，所述獲取左眼及右眼兩路視頻，並從左眼及右眼兩路視頻中提取出感興趣的圖像幀的步驟，具體包括：矯正採集的左眼及右眼兩路視頻；獲取矯正的左眼及右眼兩路視頻，並從左眼及右眼兩路視頻中提取出感興趣的圖像幀。優選地，所述預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並根據色彩匹配代價與視差域值的大小找出與目標像素點對應的候選的匹配點的步驟，具體包括：預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並從左眼圖像中選出一像素點作為目標像素點；計算出根據目標像素點的色彩匹配代價，且當該目標像素點的色彩匹配代價小於視差域值的範圍時，並從右眼圖像尋找出與目標像素點對應的候選的匹配點。優選地，所述根據以目標像素點為中心的中心域與以候選的匹配點為中心的中心域的所有像素點的色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並且根據總的代價函數計算出匹配代價的步驟，具體包括：分別以目標像素點與候選的匹配點的中心域構建支持窗口，並計算支持窗口內的所有像素點的色彩匹配代價；分別以目標像素點與候選的匹配點的中心域構建變換窗口，並計算兩個變換窗口的結構差異以得出局部關聯匹配代價；分別以目標像素點於候選的匹配點的中心域在水平方向上和垂直方向上構建梯度向量，並計算出局部梯度匹配代價；根據色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並根據總的代價函數計算出匹配代價。優選地，所述找出與多組匹配代價最小的匹配對並得到對應的稠密視差圖，以及對稠密視差圖進行優化的步驟，具體包括：從匹配代價中篩選出匹配代價最小的匹配對，並根據多組最小匹配對的視差值形成稠密視差圖；調整局部關聯匹配代價以及局部梯度匹配代價的參數，以優化稠密視差圖。為實現上述目的，本發明採用的另一個技術方案為：提供一種雙視點立體視頻的圖像匹配裝置，包括：獲取模塊，用於獲取左眼及右眼兩路視頻，並從左眼及右眼兩路視頻中提取出感興趣的圖像幀；預估模塊，用於預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並根據色彩匹配代價與視差域值的大小找出與目標像素點對應的候選的匹配點；函數構造模塊，用於根據以目標像素點為中心的中心域與以候選的匹配點為中心的中心域的所有像素點的色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並且根據總的代價函數計算出匹配代價；優化模塊，用於找出與多組匹配代價最小的匹配對並得到對應的稠密視差圖，以及對稠密視差圖進行優化。優選地，所述獲取模塊，包括：矯正單元，用於矯正採集的左眼及右眼兩路視頻；獲取單元，用於獲取矯正的左眼及右眼兩路視頻，並從左眼及右眼兩路視頻中提取出感興趣的圖像幀。優選地，所述預估模塊，包括：預設單元，用於預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並從左眼圖像中選出一像素點作為目標像素點；匹配單元，用於計算出根據目標像素點的色彩匹配代價，且當該目標像素點的色彩匹配代價小於視差域值的範圍時，並從右眼圖像尋找出與目標像素點對應的候選的匹配點。優選地，所述函數構造模塊，包括：第一計算單元，用於分別以目標像素點與候選的匹配點的中心域構建支持窗口，並計算支持窗口內的所有像素點的色彩匹配代價；第二計算單元，用於分別以目標像素點與候選的匹配點的中心域構建變換窗口，並計算兩個變換窗口的結構差異以得出局部關聯匹配代價；第三計算單元，用於分別以目標像素點於候選的匹配點的中心域在水平方向上和垂直方向上構建梯度向量，並計算出局部梯度匹配代價；匹配代價計算單元，用於根據色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並根據總的代價函數計算出匹配代價。優選地，所述優化模塊，包括：篩選單元，用於從匹配代價中篩選出匹配代價最小的匹配對，並根據多組最小匹配對的視差值形成稠密視差圖；優化單元，用於調整局部關聯匹配代價以及局部梯度匹配代價的參數，以優化稠密視差圖。本發明的技術方案通過獲取左眼及右眼兩路視頻並提取出感興趣的圖像幀；以及預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並找出與目標像素點對應的候選的匹配點；以及根據以目標像素點為中心的中心域與以候選的匹配點為中心的中心域的所有像素點的色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並且根據總的代價函數計算出匹配代價；能夠得出找出與多組匹配代價最小的匹配對應的稠密視差圖，並通過對對稠密視差圖進行優化，獲取精確快速的稠密視差圖，為用戶提供精確的數字信息。附圖說明為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖示出的結構獲得其他的附圖。圖1為本發明雙視點立體視頻的圖像匹配方法一實施例的方法流程圖；圖2為圖1中步驟S30的具體流程圖；圖3為本發明雙視點立體視頻的圖像匹配裝置一實施例的模塊方框圖；圖4為圖3中函數構造模塊的具體模塊方框圖。本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。具體實施方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明的一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。需要說明，本發明中涉及「第一」、「第二」等的描述僅用於描述目的，而不能理解為指示或暗示其相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有「第一」、「第二」的特徵可以明示或者隱含地包括至少一個該特徵。另外，各個實施例之間的技術方案可以相互結合，但是必須是以本領域普通技術人員能夠實現為基礎，當技術方案的結合出現相互矛盾或無法實現時應當認為這種技術方案的結合不存在，也不在本發明要求的保護範圍之內。請參照圖1，在本發明實施例中，該雙視點立體視頻的圖像匹配方法，包括如下步驟：步驟S10、獲取左眼及右眼兩路視頻，並從左眼及右眼兩路視頻中提取出感興趣的圖像幀；步驟S20、預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並根據色彩匹配代價與視差域值的大小找出與目標像素點對應的候選的匹配點；步驟S30、根據以目標像素點為中心的中心域與以候選的匹配點為中心的中心域的所有像素點的色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並且根據總的代價函數計算出匹配代價；步驟S40、找出與多組匹配代價最小的匹配對並得到對應的稠密視差圖，以及對稠密視差圖進行優化。本發明的技術方案通過獲取左眼及右眼兩路視頻並提取出感興趣的圖像幀；以及預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並找出與目標像素點對應的候選的匹配點；以及根據以目標像素點為中心的中心域與以候選的匹配點為中心的中心域的所有像素點的色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並且根據總的代價函數計算出匹配代價；能夠得出找出與多組匹配代價最小的匹配對應的稠密視差圖，並通過對對稠密視差圖進行優化，獲取精確快速的稠密視差圖，為用戶提供精確的數字信息。在一具體的實施例中，所述步驟S10具體包括：矯正採集的左眼及右眼兩路視頻；獲取矯正的左眼及右眼兩路視頻，並從左眼及右眼兩路視頻中提取出感興趣的圖像幀。本實施例中，可以通過立體視頻生成設備的雙目攝像頭採集左眼及右眼兩路視頻，需要注意的是，為了使兩路視頻達到預期的效果，需要對該左眼及右眼的攝像頭的內參數和外參數進行調整以獲取矯正的左眼及右眼兩路視頻。該感興趣的圖像幀具體為重合可形成3D圖像幀，亦可為可被觀察到的圖像區域。在一具體的實施例中，所述步驟20具體包括：預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並從左眼圖像中選出一像素點作為目標像素點；計算出根據目標像素點的色彩匹配代價，且當該目標像素點的色彩匹配代價小於視差域值的範圍時，並從右眼圖像尋找出與目標像素點對應的候選的匹配點。本實施例中，考慮到圖像的解析度很高，在實際中，快速獲取場景的深度信息，對用戶來說具有很大的意義。並且由於相鄰場景深度變化有限，有效地估算視差域值，在合適的視差值範圍內，計算匹配代價，以獲取快速精確地匹配點對。以左眼圖像為參考圖，右眼圖像為目標圖為例，可以利用色彩信息對左眼圖像中的每一個像素點在右眼圖像中尋找候選的匹配點，具體計算公式如下：cost(p)=Σc{r,g,b}abs(Ic(p)-Ic(q)),]]>其中，P表示左眼圖像中像素點，q表示右眼圖像中位於同一水平線上的像素點，遍歷右圖中該行像素點，求出代價函數值小於視差閾值TΤ時對應的候選像素點。TΤ的值可以隨實際需要來選取。若想提高精度，則增加TΤ，這樣候選的匹配點增多，減小了誤匹配的可能性。反之，若想提高算法的速度，可以適當減小TΤ的值，以提高算法的運行速度。請參照圖2，在一具體實施例中，所述步驟30具體包括：步驟S31、分別以目標像素點與候選的匹配點的中心域構建支持窗口，並計算支持窗口內的所有像素點的色彩匹配代價；步驟S32、分別以目標像素點與候選的匹配點的中心域構建變換窗口，並計算兩個變換窗口的結構差異以得出局部關聯匹配代價；步驟S33、分別以目標像素點於候選的匹配點的中心域在水平方向上和垂直方向上構建梯度向量，並計算出局部梯度匹配代價；步驟S34、根據色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並根據總的代價函數計算出匹配代價。本實施例中，步驟S31計算出本算法構造的匹配代價函數的第一項AD(AbsoluteDifference)，像素點之間的色彩差異，具體公式如下：costAD=ΣpPqQΣc{r,g,b}abs(Ic(p)-Ic(q)),]]>其中，P表示左圖中以p點為中心建立的支持窗口，Q表示右圖中以q點為中心建立的支持窗口。需要指出的，如果單計算兩個像素點間的色彩差異，結果誤差會比較大，故採用該像素點的中心域來計算。步驟S32計算出本算法構造的匹配代價函數的第二項Census變換，局部關聯匹配代價，具體為：先分別以p，q兩點為中心，建立變換尺寸為M*N的變換窗口，分別用兩個長度為(N*M-1)位的二進位表示Census變換得到的Hamming距離；然後將支持窗口中的各個像素化成灰度表示，其中N1(p)表示以P點為中心選定的Census變換的窗口，大小設為M*N,對於其中每個像素點，計算灰度強度，計算公式如下：gray(pi)＝R(pi)*0.299+G(pi)*0.587+B(pi)*0.114,pi∈N1(p)，並計算M*N窗口經Census變換得到新的矩陣C，計算公式如下：CpipiN1(P)=1gray(pi)gray(P),]]>對於Census變換的結果用長為(M*N-1)bit的二進位序列表示，採用自上而下自左向右的掃描順序，當C矩陣中的元素為1時，對應位置的二進位數就為1，如此得到長為M*N-1位的二進位序列表；再，求出左眼圖像和右眼圖像的Census變換結果後，求出二者之間的差異，即可表示兩個Census變換窗口的結構差異，用Hamming距離來表示這個差異。該Hamming距離是指兩個等長字符串對應位置的不同字符的個數；最後，計算出局部關聯匹配代價，具體為：costCencus=ΣpPqQDiff(C(p),C(q)),]]>其中，P，Q分別表示左右圖中以p和q為中心的Cencus變換窗口，C(p),C(q)表示變化後的矩陣C，二者按位比較，如果對應位相同，則函數Diff(x)為1，反之為0，即可得到Cencus變換後，左右圖中p，q兩像素點的局部結構相似性。步驟S33計算出本算法構造的匹配代價函數的第三項Gradient變換，局部梯度匹配代價，具體為：求出像素點在水平方向x和在垂直方向y上的梯度向量，作為局部的梯度信息，具體公式如下：costGradient=ΣpPqQ(n(p)n(q)),n(p)=px+py,]]>其中，表示點在x和y方向的梯度。梯度用像素點的灰度值來求得。步驟S34計算出本算法構造的匹配代價函數，具體公式如下：costAll＝costAD+λcostCencus+μcostGradient其中，λ,μ為常數值，在後續的步驟中，可根據稠密視差圖的質量不斷調整二者的值，以期獲取合適的權值。在一具體的實施例中，所述步驟S40具體包括：從匹配代價中篩選出匹配代價最小的匹配對，並根據多組最小匹配對的視差值形成稠密視差圖；調整局部關聯匹配代價以及局部梯度匹配代價的參數，以優化稠密視差圖。本實施例中，在求出匹配代價後可根據Winners-Take-All算法，找到匹配代價最小的匹配對，匹配對在x坐標的差異即為匹配點對的視差值。本步驟中將對λ,μ進行不斷的修正，以期獲取質量較高的視差圖。具體調整如下：採用人工交互的方式，定性判斷視差圖在深度不連續，紋理較少或紋理重複區域的視差值，看其是否平滑，採取控制變量法，先控制其中一個參數，改變另一個參數，分析其對視差圖的影響，以期得到質量較優的結果。請參照圖3，在本發明的實施例中，該雙視點立體視頻的圖像匹配裝置，包括：獲取模塊10，用於獲取左眼及右眼兩路視頻，並從左眼及右眼兩路視頻中提取出感興趣的圖像幀；預估模塊20，用於預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並根據色彩匹配代價與視差域值的大小找出與目標像素點對應的候選的匹配點；函數構造模塊30，用於根據以目標像素點為中心的中心域與以候選的匹配點為中心的中心域的所有像素點的色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並且根據總的代價函數計算出匹配代價；優化模塊40，用於找出與多組匹配代價最小的匹配對並得到對應的稠密視差圖，以及對稠密視差圖進行優化。在一具體的實施例中，所述獲取模塊10，包括：矯正單元，用於矯正採集的左眼及右眼兩路視頻；獲取單元，用於獲取矯正的左眼及右眼兩路視頻，並從左眼及右眼兩路視頻中提取出感興趣的圖像幀。本實施例中，利用立體視頻生成設備的雙目攝像頭採集左眼及右眼兩路視頻，需要注意的是，為了使兩路視頻達到預期的效果，通過矯正單元可以對該左眼及右眼的攝像頭的內參數和外參數進行調整，並通過獲取單元可以獲取矯正的左眼及右眼兩路視頻。該感興趣的圖像幀具體為重合可形成3D圖像幀，亦可為可被觀察到的圖像區域。在一具體的實施例中，所述預估模塊20，包括：預設單元，用於預估感興趣的圖像幀中左眼圖像與右眼圖像的對應像素點的視差域值，並從左眼圖像中選出一像素點作為目標像素點；匹配單元，用於計算出根據目標像素點的色彩匹配代價，且當該目標像素點的色彩匹配代價小於視差域值的範圍時，並從右眼圖像尋找出與目標像素點對應的候選的匹配點。本實施例中，考慮到圖像的解析度很高，在實際中，快速獲取場景的深度信息，對用戶來說具有很大的意義。並且由於相鄰場景深度變化有限，有效地估算視差域值，在合適的視差值範圍內，計算匹配代價，以獲取快速精確地匹配點對。以左眼圖像為參考圖，右眼圖像為目標圖為例，可以利用色彩信息對左眼圖像中的每一個像素點在右眼圖像中尋找候選的匹配點。需要指出的是，本方案僅考慮的是左眼圖像為參考圖，右眼圖像為目標圖的情況。實際上，當右眼圖像為參考圖，左眼圖像為目標圖情況正好相反，此處不再贅述。請參照圖4，在一具體的實施例中，所述函數構造模塊30，包括：第一計算單元31，用於分別以目標像素點與候選的匹配點的中心域構建支持窗口，並計算支持窗口內的所有像素點的色彩匹配代價；第二計算單元32，用於分別以目標像素點與候選的匹配點的中心域構建變換窗口，並計算兩個變換窗口的結構差異以得出局部關聯匹配代價；第三計算單元33，用於分別以目標像素點於候選的匹配點的中心域在水平方向上和垂直方向上構建梯度向量，並計算出局部梯度匹配代價；匹配代價計算單元34，用於根據色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價構造總的匹配代價函數，並根據總的代價函數計算出匹配代價。本實施例中，通過第一計算單元31、第二計算單元32、第三計算單元33可以分別計算出所有像素點的色彩匹配代價、局部關聯匹配代價以及局部梯度匹配代價，並通過匹配代價計算單元34能夠計算出總的匹配代價。在一具體的實施例中，所述優化模塊40，包括：篩選單元，用於從匹配代價中篩選出匹配代價最小的匹配對，並根據多組最小匹配對的視差值形成稠密視差圖；優化單元，用於調整局部關聯匹配代價以及局部梯度匹配代價的參數，以優化稠密視差圖。本實施例中，在求出匹配代價後，通過篩選單元根據Winners-Take-All算法，找到匹配代價最小的匹配對，匹配對在x坐標的差異即為匹配點對的視差值。然後通過優化單元將對λ,μ進行不斷的修正，以期獲取質量較高的視差圖。具體調整如下：採用人工交互的方式，定性判斷視差圖在深度不連續，紋理較少或紋理重複區域的視差值，看其是否平滑，採取控制變量法，先控制其中一個參數，改變另一個參數，分析其對視差圖的影響，以期得到質量較優的結果。以上所述僅為本發明的優選實施例，並非因此限制本發明的專利範圍，凡是在本發明的發明構思下，利用本發明說明書及附圖內容所作的等效結構變換，或直接/間接運用在其他相關的
技術領域：
均包括在本發明的專利保護範圍內。當前第1頁1 2 3