立體圖像顏色校正方法及裝置的製作方法
2023-07-09 02:57:06
專利名稱：立體圖像顏色校正方法及裝置的製作方法
技術領域：
本發明屬於計算機視覺、圖像處理和模式識別技術領域。
背景技術：
隨著立體視覺(3D)相機的普及，立體視覺技術已經廣泛應用到文化、娛樂、科研等領域。立體圖像的一個主要的作用就是可以通過立體視覺原理得到場景的景深信息。目前，通過立體視覺原理計算場景的景深信息，主要是通過左右視圖對應物體的顏色匹配，從而得到空間物體在左右視圖中的視差，從而進一步計算出物體在真實世界中的坐標。但是，目前由於工藝原因，3D相機的兩個攝像頭整體顏色存在一定偏差，因此造成左右視圖中的顏色匹配不準確，從而影響了視差計算結果的準確性。另外，由於圖像噪聲、 光照條件、遮擋，以及一些其他因素的影響，同一場景物體在不同的視點下的圖像也會有所不同，從而影響了視差計算結果的準確性。針對顏色偏差的問題，我們可以通過例如計算分塊累積直方圖的方法進行顏色校正，但是其效果並不理想，隨著環境的變化，校正策略往往無法滿足當前的校正需求。而對於3D相機工藝造成的顏色偏差，需針對性地設置對應的校正策略解決，用於校正3D相機A 的策略無法用於校正3D相機B，對於接收來自不同3D相機的片源，對其進行合成顯示時，又將採用哪一 3D相機對應的校正策略呢？
發明內容
本發明要解決的技術問題是，提供一種立體圖像顏色校正方法及裝置，能夠自適應調整顏色校正的策略，具有很好的實時性和通用性，無需人為操作，解決了立體圖像色調不一致，亮度不一致等問題，有利於提高視差計算結果的準確度，從而提高基於立體視覺原理的三維重建、場景測量等的精確度。本發明提供了一種立體圖像顏色校正方法，包括 接收立體圖像，所述立體圖像包括第一圖像和第二圖像；
根據調整函數對第二圖像進行灰度調整；所述調整函數是第一圖像與第二圖像中匹配的像素點的灰度值之間的映射關係函數；
將所述第一圖像與經過灰度調整後的第二圖像進行灰度匹配，得到視差圖； 統計所述視差圖中像素點正確匹配的比例，如果未超過預設的閾值，將所述第一圖像和所述第二圖像中匹配的像素點的灰度值作為已知量代入所述調整函數，計算所述調整函數中的調整參數，據以更新當前調整函數中的調整參數。進一步地，上述方法還可具有以下特點對所述第二圖像中所有像素點按照同一調整函數進行灰度調整。進一步地，上述方法還可具有以下特點
分別判斷所述第二圖像中各像素點的特性，選擇與所述像素點的特性對應的調整函數對所述像素點進行灰度調整。進一步地，上述方法還可具有以下特點
通過判斷所述第一圖像中的像素點從第二圖像中找到的匹配的像素點與第二圖像中的所述像素點從第一圖像中找到的匹配的像素點是否一致，以確定所述像素點匹配是否正確，如果一致則認為匹配正確；否則認為匹配錯誤。進一步地，上述方法還可具有以下特點
通過對像素點的顏色空間中每個顏色通道的灰度值進行調整以實現對像素點的灰度調整。為了解決上述技術問題，本發明還提供了一種立體圖像顏色校正裝置，包括 接收模塊，用於接收立體圖像，所述立體圖像包括第一圖像和第二圖像；
配置模塊，用於存儲調整函數，所述調整函數是第一圖像與第二圖像中匹配的像素點的灰度值之間的映射關係函數；
顏色調整模塊，與所述配置模塊和所述接收模塊均相連，用於根據所述調整函數對第二圖像進行灰度調整；
視差計算模塊，與所述接收模塊和所述顏色調整模塊相連，用於將所述第一圖像與經過灰度調整後的第二圖像進行灰度匹配，得到視差更新模塊，與所述視差計算模塊和所述配置模塊均相連，用於統計所述視差圖中像素點正確匹配的比例，如果未超過預設的閾值，將所述第一圖像和所述第二圖像中匹配的像素點的灰度值作為已知量代入所述調整函數，計算所述調整函數中的調整參數，據以更新所述配置模塊中的調整函數中的調整參數。進一步地，上述裝置還可具有以下特點
所述顏色調整模塊，用於對所述第二圖像中所有像素點按照同一調整函數進行灰度調
離
iF. ο進一步地，上述裝置還可具有以下特點
所述顏色調整模塊，用於分別判斷所述第二圖像中各像素點的特性，選擇與所述像素點的特性對應的調整函數對所述像素點進行灰度調整。進一步地，上述裝置還可具有以下特點
所述更新模塊，用於通過判斷所述第一圖像中的像素點從第二圖像中找到的匹配的像素點與第二圖像中的所述像素點從第一圖像中找到的匹配的像素點是否一致，以確定所述像素點匹配是否正確，如果一致則認為匹配正確；否則認為匹配錯誤。進一步地，上述裝置還可具有以下特點
所述顏色調整模塊，通過對像素點的顏色空間中每個顏色通道的灰度值進行調整以實現對像素點的灰度調整。本發明提供的一種立體圖像顏色校正方法及裝置，能夠自適應調整顏色校正的策略，具有很好的實時性和通用性，無需人為操作，解決了立體圖像色調不一致，亮度不一致等問題，有利於提高視差計算結果的準確度，從而提高基於立體視覺原理的三維重建、場景測量等的精確度。
說明書附圖
圖1是本發明實施例提供了一種立體圖像顏色校正方法流程圖； 圖2是本發明應用實例一種具體的立體圖像顏色校正方法流程圖； 圖3是本發明實施例一種立體圖像顏色校正裝置結構圖。
具體實施例方式以下描述和附圖充分地示出本發明的具體實施方案，以使本領域的技術人員能夠實踐它們。其他實施方案可以包括結構的、邏輯的、電氣的、過程的以及其他的改變。實施例僅代表可能的變化。除非明確要求，否則單獨的組件和功能是可選的，並且操作的順序可以變化。一些實施方案的部分和特徵可以被包括在或替換其他實施方案的部分和特徵。本發明的實施方案的範圍包括權利要求書的整個範圍，以及權利要求書的所有可獲得的等同物。在本文中，本發明的這些實施方案可以被單獨地或總地用術語「發明」來表示，這僅僅是為了方便，並且如果事實上公開了超過一個的發明，不是要自動地限制該應用的範圍為任何單個發明或發明構思。
第一實施例
本發明實施例提供了一種立體圖像顏色校正方法，如圖1所示，包括步驟 步驟SlOl 接收立體圖像，所述立體圖像包括第一圖像和第二圖像； 所述第一圖像和所述第二圖像是通過從不同角度對同一目標採集圖像得到的； 步驟S102 根據調整函數對第二圖像進行灰度調整；
所述調整函數是第一圖像與第二圖像中匹配的像素點的灰度值之間的映射關係函
數；
步驟S103:將所述第一圖像與經過灰度調整後的第二圖像進行灰度匹配，得到視差
可以通過例如基於能量函數最小化的視差算法(graph cuts-based stereo correspondence algorithm),或者基於塊匹配的視差算法(block-matching stereo correspondence algorithm)等算法進行灰度匹配以計算視差；
步驟S104:統計所述視差圖中像素點正確匹配的比例，如果未超過預設的閾值，將所述第一圖像和所述第二圖像中匹配的像素點的灰度值作為已知量代入所述調整函數，計算所述調整函數中的調整參數，據以更新當前調整函數中的調整參數。可以採用例如基於尺度不變特徵變換的特徵提取方法(sift)等算法找到所述第一圖像和所述第二圖像中匹配的像素點。本發明實施例提供的立體圖像顏色校正方法，能夠有效適用於不同的立體相機或者立體片源，自適應地對立體圖像進行顏色校正，解決立體圖像色調不一致，亮度不一致等問題，有利於提高視差計算結果的準確度，從而提高基於立體視覺原理的三維重建、場景測量等的精確度，具有自適應性，能夠提供實時的全自動顏色調整，無需人為操作。
在對立體圖像進行顏色校正時，可以對立體圖像進行全局顏色校正，S卩，對所述第二圖像中所有像素點按照同一調整函數進行灰度調整。較佳地，還可以對立體圖像進行局部顏色校正，S卩，分別判斷所述第二圖像中各像素點的特性，選擇與所述像素點的特性對應的調整函數對所述像素點進行灰度調整。所述特性可以是例如光照強弱，或者紋理複雜度等特性。從而達到更加精細的顏色校正效果。在對圖像進行灰度調整時，是對圖像中像素點進行灰度調整。通過對像素點的顏色空間中每個顏色通道的灰度值進行調整以實現對像素點的灰度調整。所述顏色空間可以是RGB空間、HIS空間等。所述調整函數可以表示為
WWt =(i,j))(1)
gray(i,J)表示行坐標為Σ ,列坐標為的像素的某一顏色通道的灰度值；脾'(J，J) 表示對該像素的該顏色通道進行灰度調整後的灰度值。其中，Mcfmn函數可以設置為線性表達式，例如= + i ,也可以設置為非線性表達式，例如為=皿。調整函數中的調整參數是指調整函數中的係數和常數項，例如調整函數為= M2，調整參數是a、 和^。為 Junction函數中的調整參數配置初始值，在首次執行顏色校正時，fimctwn函數使用調整函數的初始值完成圖像的灰度調整。當需要重新計算並更新調整函數時對於採用全局校正的方案，選擇足夠的所述第一圖像和所述第二圖像中匹配的像素點，以所述像素點的灰度值作為已知量，代入調整函數,通過聯立方程組，即可求解出調整參數。對於採用局部校正的方案，還需判斷所述第一圖像和所述第二圖像中匹配的像素點的特性，選擇具有相同特性的匹配的像素點，將所述像素點的灰度值作為已知量，代入調整函數,通過聯立方程組，即可求解出與所述像素的特性對應的調整函數為的調整參數。當需要重新計算並更新調整函數時，調整參數的取值可能導致為函數從線性變為非線性，或者從非線性變為線性。例如為M&^Oi) = ax2+bx+c，如果計算出的調整參數中β = O ,則將導致調整函數從非線性變為線性。統計所述視差圖中像素點正確匹配的比例包括確定像素點正確匹配的個數，根據像素點正確匹配的個數和像素點錯誤匹配的個數計算出正確匹配的比例。可以通過如下方法確定像素點正確的比例通過判斷所述第一圖像中的像素點從第二圖像中找到的匹配的像素點與第二圖像中的所述像素點從第一圖像中找到的匹配的像素點是否一致，以確定所述像素點匹配是否正確，如果一致則認為匹配正確；否則認為匹配錯誤。另外，還可以採用其他方法確定像素點正確的比例，例如採用雷射探測目標的實際距離；基於雙目視覺原理，在已知視差的前提下，通過三維重建的方法，可以得到該像素位置對應的景深距離；將所述計算出的景深距離與所述實際距離比較，如果相同，則認為該點視差值正確，否則認為該點視差值錯誤。
下面以一具體實例進一步說明本發明實施例立體圖像顏色校正方法。
應用實例
本發明應用實例提供了一種具體的立體圖像顏色校正方法，如圖2所示，包括步驟 步驟S201 設置初始的調整參數；
設第一圖像(左圖像)ImageL和第二圖像(右圖像)ImageR圖像顏色整體為線性關係， 如公式(2)
Muel (i,j) = Ar1 χ (Mms (i, jj) + B1;
grssfij-Xi,/) = k2 χ (grmn￡(ij)) +b2,(2)
rsds (i, J) = A-J x (redR (i, j)) +h-s ；
設定初始的調整參數值.A = ^ = ^ = 1,bi=h=h = ^ ο接收立體圖像ImageL，ImageR中各個像素位置的RGB值。步驟S202 根據當前調整函數對ImageR進行顏色校正，得到ImageR_neW ； 按照公式(3)對ImageR進行顏色校正
Mm& _mw(i, j) - χ QdtmR (i, jj) +A1 ；
gr_s — — ,β = k.xigrmnjj^))+^·,(3)
rsdR _ new(j, j) = LiX (redA (i, j)) + ;
步驟S203 計算imageL與imageR_new的視差圖； 步驟S204 統計所述視差圖中像素點正確匹配的比例；
步驟S205 判斷所述視差圖中像素點正確匹配的比例是否大於預設的閾值，如果大於，則返回步驟S202 ；否則，執行步驟S206 ；
步驟S206 計算ImageL，ImageR的匹配特徵點； 可利用sift算法實現；
步驟S207 將所述匹配特徵點的灰度值作為已知量代入所述調整函數，計算所述調整函數中的調整參數，據以更新當前調整函數中的調整參數，返回步驟S202。匹配特徵點的灰度值為 Iduel (i, j), greml(ι,(ι, j) ,bhs&(ι, J),grssnR(i,j),rsdM(i, j)為已知量，將各對匹配上的
特徵點的RGB值帶入公式(2)，聯立方程組，計算出新的.『Ar2為為Λ為值。
第二實施例
本發明實施例還提供了一種立體圖像顏色校正裝置，如圖3所示，包括 接收模塊301，用於接收立體圖像，所述立體圖像包括第一圖像和第二圖像； 配置模塊302，用於存儲調整函數，所述調整函數是第一圖像與第二圖像中匹配的像素點的灰度值之間的映射關係函數；
顏色調整模塊303，與所述配置模塊302和所述接收模塊301均相連，用於根據所述調整函數對第二圖像進行灰度調整；
視差計算模塊304，與所述接收模塊301和所述顏色調整模塊303相連，用於將所述第一圖像與經過灰度調整後的第二圖像進行灰度匹配，得到視差更新模塊305，與所述視差計算模塊304和所述配置模塊302均相連，用於統計所述視差圖中像素點正確匹配的比例，如果未超過預設的閾值，將所述第一圖像和所述第二圖像中匹配的像素點的灰度值作為已知量代入所述調整函數，計算所述調整函數中的調整參數，據以更新所述配置模塊302中的調整函數中的調整參數。其中，所述顏色調整模塊303，可以對所述第二圖像中所有像素點按照同一調整函數進行灰度調整。其中，所述顏色調整模塊303，也可以分別判斷所述第二圖像中各像素點的特性， 選擇與所述像素點的特性對應的調整函數對所述像素點進行灰度調整。其中，所述更新模塊305，可以通過判斷所述第一圖像中的像素點從第二圖像中找到的匹配的像素點與第二圖像中的所述像素點從第一圖像中找到的匹配的像素點是否一致，以確定所述像素點匹配是否正確，如果一致則認為匹配正確；否則認為匹配錯誤。其中，所述顏色調整模塊303，可以通過對像素點的顏色空間中每個顏色通道的灰度值進行調整以實現對像素點的灰度調整。其中，所述調整函數為線性函數或者非線性函數。
根據所述公開的實施例，可以使得本領域技術人員能夠實現或者使用本發明。對於本領域技術人員來說，這些實施例的各種修改是顯而易見的，且這裡定義的總體原理也可以在不脫離本發明的範圍和主旨的基礎上應用於其他實施例。以上所述的實施例僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
權利要求
1.一種立體圖像顏色校正方法，其特徵在於，包括 接收立體圖像，所述立體圖像包括第一圖像和第二圖像；根據調整函數對第二圖像進行灰度調整；所述調整函數是第一圖像與第二圖像中匹配的像素點的灰度值之間的映射關係函數；將所述第一圖像與經過灰度調整後的第二圖像進行灰度匹配，得到視差圖； 統計所述視差圖中像素點正確匹配的比例，如果未超過預設的閾值，將所述第一圖像和所述第二圖像中匹配的像素點的灰度值作為已知量代入所述調整函數，計算所述調整函數中的調整參數，據以更新當前調整函數中的調整參數。
2.如權利要求1所述的方法，其特徵在於對所述第二圖像中所有像素點按照同一調整函數進行灰度調整。
3.如權利要求1所述的方法，其特徵在於分別判斷所述第二圖像中各像素點的特性，選擇與所述像素點的特性對應的調整函數對所述像素點進行灰度調整。
4.如權利要求1-3中任何一項所述的方法，其特徵在於通過判斷所述第一圖像中的像素點從第二圖像中找到的匹配的像素點與第二圖像中的所述像素點從第一圖像中找到的匹配的像素點是否一致，以確定所述像素點匹配是否正確，如果一致則認為匹配正確；否則認為匹配錯誤。
5.如權利要求1-4中任何一項所述的方法，其特徵在於通過對像素點的顏色空間中每個顏色通道的灰度值進行調整以實現對像素點的灰度調整。
6.一種立體圖像顏色校正裝置，其特徵在於，包括接收模塊，用於接收立體圖像，所述立體圖像包括第一圖像和第二圖像； 配置模塊，用於存儲調整函數，所述調整函數是第一圖像與第二圖像中匹配的像素點的灰度值之間的映射關係函數；顏色調整模塊，與所述配置模塊和所述接收模塊均相連，用於根據所述調整函數對第二圖像進行灰度調整；視差計算模塊，與所述接收模塊和所述顏色調整模塊相連，用於將所述第一圖像與經過灰度調整後的第二圖像進行灰度匹配，得到視差圖；更新模塊，與所述視差計算模塊和所述配置模塊均相連，用於統計所述視差圖中像素點正確匹配的比例，如果未超過預設的閾值，將所述第一圖像和所述第二圖像中匹配的像素點的灰度值作為已知量代入所述調整函數，計算所述調整函數中的調整參數，據以更新所述配置模塊中的調整函數中的調整參數。
7.如權利要求6所述的裝置，其特徵在於所述顏色調整模塊，用於對所述第二圖像中所有像素點按照同一調整函數進行灰度調
8.如權利要求6所述的裝置，其特徵在於所述顏色調整模塊，用於分別判斷所述第二圖像中各像素點的特性，選擇與所述像素點的特性對應的調整函數對所述像素點進行灰度調整。
9.如權利要求6-8中任何一項所述的裝置，其特徵在於所述更新模塊，用於通過判斷所述第一圖像中的像素點從第二圖像中找到的匹配的像素點與第二圖像中的所述像素點從第一圖像中找到的匹配的像素點是否一致，以確定所述像素點匹配是否正確，如果一致則認為匹配正確；否則認為匹配錯誤。
10.如權利要求6-9中任何一項所述的裝置，其特徵在於所述顏色調整模塊，通過對像素點的顏色空間中每個顏色通道的灰度值進行調整以實現對像素點的灰度調整。
全文摘要
本發明提供了一種立體圖像顏色校正方法及裝置，該方法包括接收立體圖像，所述立體圖像包括第一圖像和第二圖像；根據調整函數對第二圖像進行灰度調整；所述調整函數是第一圖像與第二圖像中匹配的像素點的灰度值之間的映射關係函數；將所述第一圖像與經過灰度調整後的第二圖像進行灰度匹配，得到視差圖；統計所述視差圖中像素點正確匹配的比例，如果未超過預設的閾值，將所述第一圖像和所述第二圖像中匹配的像素點的灰度值作為已知量代入所述調整函數，計算所述調整函數中的調整參數，據以更新當前調整函數中的調整參數。該方法能夠自適應調整顏色校正的策略，具有很好的實時性和通用性，無需人為操作。
文檔編號H04N13/00GK102364953SQ20111035191
公開日2012年2月29日 申請日期2011年11月8日 優先權日2011年11月8日
發明者王嘉, 程懿遠, 鮑東山 申請人:北京新岸線網絡技術有限公司