基於輪廓跟蹤的車載紅外視頻彩色化方法
2023-06-27 22:14:51
專利名稱：基於輪廓跟蹤的車載紅外視頻彩色化方法
技術領域：
本發明涉及一種快速的車載紅外視頻彩色化方法，通過本方法可賦予車載紅外圖像較自然感的彩色，同時提高處理速度，實現車載紅外視頻的快速彩色化。
背景技術：
車載夜視系統可以在夜晚輔助駕駛，提高行車安全。在駕駛室中的夜視系統屏幕上，可以顯示僅憑人眼或普通可見 光攝像設備無法獲取的路況及路旁的樹木建築等的夜視圖像。但是，由於夜間獲得的夜視圖像較模糊，再加上夜視儀所監視或探測的目標距離較遠，因此對夜視圖像中的內容理解往往難以如白天的自然光圖像那樣作出快速準確的判斷。由於人眼能分辨的顏色等級是灰度等級的幾百倍，若將夜視圖像彩色化，將大大提高夜視圖像的視覺理解效果，幫助駕駛員對夜視圖像內容迅速作出正確的理解和判斷，從而大大地提高夜間行駛安全。目前彩色夜視領域主要研究對靜態夜視圖像的彩色化，為達到較好的彩色圖像效果，往往設計的算法時間複雜度很高，該類算法無法實時地對動態夜視圖像實現彩色化。而針對動態夜視彩色化的實時算法相對較少，相關文獻直接採用從視頻編碼中提取運動矢量的方法用於彩色化，由於運動矢量主要用於視頻壓縮，並不能反映真實的運動場，往往存在誤差，進行多次色彩傳遞之後，這種誤差會逐漸擴大，從而得到失敗的彩色化圖像效果。代中華等提出採用關鍵幀分割，以所得固定閾值進行後續幀的分割，並採用先驗知識上色的方法，速度有所提高，但後續幀採用固定閾值很難獲得理想的分割效果，易導致後續幀的上色處理出現錯誤。
發明內容
本發明的目的是提供一種快速對動態夜視圖像進行彩色化的方法，通過該方法可較為準確地賦予車載紅外視頻較自然感的彩色。為了達到上述目的，本發明的技術方案是提供了一種基於輪廓跟蹤的車載紅外視頻彩色化方法，其特徵在於步驟為步驟I、獲取具有不同景物類別的多個自然彩色圖像塊，每個自然彩色圖像塊僅具有一個景物類別，將每個自然彩色圖像塊轉至YCbCr空間，計算其Cb通道及Cr通道的均值d及&作為各景物類別的特徵色彩；步驟2、在獲得的車載紅外視頻中選取一幀圖像作為關鍵幀，採用K-均值聚類算法對關鍵幀的灰度進行聚類，得到分割圖像，分割圖像中每個類別區域對應一個景物類別，將關鍵幀轉為YCbCr空間，根據得到的分割圖像，將轉換後關鍵幀的所有像素按位置分別劃分到相應的類別區域中，為每個類別區域賦予與其相對應的景物類別的特徵色彩，得到關鍵幀彩色圖像；步驟3、從車載紅外視頻中與關鍵幀相鄰的下一幀圖像開始為每一幀圖像賦予色彩，從而將車載紅外視頻彩色化，對於第i幀圖像而言，其彩色化步驟為步驟3. I、利用KLT特徵跟蹤算法得到與第i幀圖像相鄰的第i_l幀圖像的特徵點，並得到這些特徵點在第i幀圖像中的位置；步驟3. 2、利用Canny邊緣檢測算法得到第i幀圖像的物體邊緣點，搜索與每個特徵點最近鄰的物體邊緣點作為修正後的特徵點，修正後的特徵點分布在第i幀圖像各類別區域的邊緣上；步驟3. 3、採用輪廓復原的方法把修正後的特徵點用光滑曲線按類別區域順序連接起來，從而生成各類別區域的閉合區域輪廓曲線，為每個類別區域賦予與其相對應的景、物類別的特徵色彩，得到第i幀彩色圖像。優選地，步驟2中所述K-均值聚類算法為改進的K-均值聚類算法，其步驟為步驟2. I、K值為景物類別的總個數；步驟2. 2、統計記錄不同灰度值A及其灰度點個數Ni, i = 1,2, . . . , n,且
= 其中，n為出現灰度級的總個數，N為圖像中所有像素點總個數，L為
1=1
關鍵幀的寬度，H為關鍵幀的高度；步驟2. 3、對不同灰度值&從小到大進行排序；步驟2. 4、依次取初始聚類中心為 Zj (I) = Zc^fjxintfe7K),其中，j = 1，2，...，K，int表示取整運算，Z0 G [f/ 1 f/ int(n/K)]，f/ !為最小的灰度值，f' int(n/K)為排序後的第n/K個灰度值；步驟2. 5、計算每個灰度值&與聚類中心Zj (I)的距離D(LZjd))，i = 1,2,...,
Dif^Zk(I))= min {D(X,Z7(/)),/= 1,2,.
n，j = 1，2，…，K，右.>i2, . K則 fi G wk, wk 為兎 k
簇集合；步驟2.6、重新調整聚類中心2/(/ + 1) = 1&//))，j = 1,2, ...，K，其中Hij為第
mj A=I
j簇的灰度元素總個數，為屬於第j簇的第k個灰度值；步驟2. 7、若 Zj (1+1)幸 Zj(I), j = 1，2， ，K，則 I = 1+1，返回步驟 2. 5，否則，
算法結束。優選地，在所述步驟3. I之前還包括利用Canny邊緣檢測算法得到第i_l幀圖像的物體邊緣點，將這些物體邊緣點作為步驟3. I所述KLT特徵跟蹤算法的候選特徵點集合。優選地，步驟3. 3所述輪廓復原的方法為採用三次B樣條插值以及平滑調整進行輪廓復原。本發明提出了一種基於輪廓跟蹤的車載紅外視頻彩色化方法。通過構建景物類別色彩數據集，作為彩色化的色彩信息；將全局分割引入幀間顏色傳遞，使顏色傳遞的單位從像素變為區域；採用改進的KLT運動估計方法提取和跟蹤特徵點，獲得跟蹤點在處理幀的位置；提取物體在處理幀中的輪廓，最後將跟蹤結束的處理幀作為參考幀，後續一幀作為處理幀連續跟蹤物體輪廓，從而提高了物體輪廓跟蹤的效率，同時按類別區域分別上色，增強了紅外視頻彩色化的實時性。
本發明通過構建景物類別色彩數據集，提供彩色化中顏色信息的來源。將全局分割引入幀間顏色傳遞，使顏色傳遞的單位從像素變為區域以及採用改進的KLT運動估計方法提取和跟蹤特徵點，提高了處理速度。提取物體在處理幀中的輪廓，最後將跟蹤結束的處理幀作為參考幀，後續一幀作為處理幀連續跟蹤物體輪廓，從而提高了物體輪廓跟蹤的效率，同時按類別區域分別上色，增強了紅外視頻彩色化的實時性，可為駕駛員提供較好視覺效果的彩色化紅外視頻。
圖I是本發明的算法流程圖。
具體實施例方式為使本發明更明顯易懂，茲以一優選實施例，並配合附圖作詳細說明如下。
如圖I所示，本發明提供了一種基於輪廓跟蹤的車載紅外視頻彩色化方法，其步驟為步驟I、構建景物類別特徵色彩數據集可預先選取具有天空、樹木、草地、道路等景物類別的自然彩色圖像塊。每個自然彩色圖像塊僅具有一種景物類別。將各類景物做標記，在本實施例中，將天空標記為I，將樹木標記為2，將道路標記為3，將草地標記為4。設每個自然彩色圖像塊的規格為MXN，其中M為寬度，N為高度，將該自然彩色圖像塊由RGB空間轉為YCbCr空間，計算圖像的兩個色差通道的均值
剛⑴ rr=j) ⑵其中Cb(i，j)、Cr(i，j)分別為自然彩色圖像塊中的第i行第j列像素點的Cb值、Cr值，得到各種景物類別Cb通道及Cr通道的均值(巧，作為各種景物類別的特徵色彩。在本實施例中，四種景物類別的特徵色彩的具體數值如下表所示
息 — 二景Cb__Cr
_______天空113.259145.503--------
___116.039105.365
草地129.29463.458
道路. 135.431__123.976步驟2、在獲得的車載紅外視頻中選取一幀圖像作為關鍵幀，在本實施例中，將車載紅外視頻中的第一幀作為關鍵幀，對關鍵幀採用如下步驟進行處理步驟2. I、關鍵幀的分割本發明採用改進的K-均值聚類算法實現對關鍵幀快速準確的全局分割，得到準確的分割效果，為後續實現視頻序列的較好彩色化效果提供支持。首先對紅外灰度圖像的灰度數據進行統計學習，產生初始聚類中心，然後根據初始聚類中心對該圖像的灰度進行聚類。具體步驟如下步驟2. I. I、將K值取為景物類別的總個數，在本實施例中，由於有天空、樹木、草地、道路四種景物類別，因此K = 4 ；步驟2. I. 2、統計記錄不同灰度值&及其灰度點個數Ni, i = 1,2, . . .，n，且
YjNi=N = LxH，其中，n為出現灰度級的總個數,N為圖像中所有像素點總個數,L為關/=1
鍵幀的寬度，H為關鍵幀的高度；步驟2. I. 3、對不同灰度值&從小到大進行排序；步驟2. I. 4、依次取初始聚類中心為 Zj(I) = ZQ+fjXint(n/K)，其中，j = 1，2， ，K，int表示取整運算，Z0 G [f/ 1 f/ int(n/K)], f/ !為最小的灰度值，f' int(n/K)為排序後的第n/K個灰度值；步驟2. I. 5、計算每個灰度值^與聚類中心Zj(I)的距離D(fi，Zj⑴)，i = 1，2， ，n，j = 1，2， ，K，若啦石⑴)== U."，」} 』則 fi G Wk，Wk
為第k簇集合；
I步驟2.I. 6、重新調整聚類中心4(7 + 1) = —Yjt、，7 = 1，2，…，[，其中％為第j
簇的灰度元素總個數，為屬於第j簇的第k個灰度值；步驟2. I. 7、若 Z」(I+1)幸 Zj(I), j = 1,2,. . ，K，則 I = 1+1，返回步驟 2. 5，否則，
算法結束。在步驟2. I. 5 步驟2. I. 7的聚類迭代中，僅對不同灰度的樣本數據fi; i = I,2，...，n進行迭代，通常n<< N，N為圖像中所有像素點總個數，簡化了參與迭代的數據量，因此較原K-均值聚類算有較快的響應速度。步驟2. 2、關鍵幀的上色使用一個與關鍵幀圖像同維的矩陣Mark來記錄目標圖像各像素點所屬的景物類另IJ，對應原始的關鍵幀，根據前面得到的分割圖像，所有像素按位置分別劃分到相應類別中。將各個類別區域賦予對應的特徵色彩，從而得到較自然的彩色圖像。具體步驟如下步驟2. 2. I、將關鍵幀It由RGB空間轉換至YCbCr空間；步驟2. 2. 2、根據分割圖像中各景物類別區域位置，將對應的景物類別的色彩特徵賦予該區域，同時保留該區域的亮度信息保持不變。即對於It(i，j)，如果Mark(i，j) Gm,
m表示景物類別，則 Y_r(i, j) = Y_t(i, j) ,Cb_r(i,j) = Cb(m) , Cr_r(i,j) = Cr(m)。步驟2. 2. 3、將完成的結果圖像I^YCbCr由YCbCr空間轉換到RGB空間，用以顯示關鍵幀的彩色圖像L_RGB。從車載紅外視頻中與關鍵幀相鄰的下一幀圖像開始為每一幀圖像賦予色彩，從而將車載紅外視頻彩色化，對於第i幀圖像而言，其彩色化步驟為
步驟3、輪廓特徵點提取與跟蹤對第i_l幀圖像的分割圖像進行Canny邊緣檢測，以邊界點作為候選特徵點集合，減小選取範圍。利用KLT特徵跟蹤算法，選取特徵點並跟蹤，得到各點在每一幀的跟蹤位置。這樣特徵點在相鄰兩幀的位移就構成了運動信息，我們正是以此運動信息為基礎進行後續算法的處理的。步驟3. I、特徵點提取KLT特徵跟蹤算法在特徵點選擇過程中會計算圖像中所有的像素點，為加快選取的處理速度，我們提出一種利用圖像區域輪廓線作為候選特徵點選取的方法，減小候選特徵點範圍，從而減少特徵點選取時的計算量。具體步驟如下步驟3. I. I、對第i-1幀圖像的分割圖像進行Canny邊緣檢測，以邊界點作為候選特徵點集合M。步驟3. I. 2、按照KLT特徵跟蹤算法計算候選特徵點集合M中像素點的特徵值，也就是以該像素點為中心的特徵窗口 W(本實例中的特徵窗口設定為7*7個大小的像素塊)的特徵值Feature,計算公式為
權利要求
1.ー種基於輪廓跟蹤的車載紅外視頻彩色化方法，其特徵在於步驟為 步驟I、獲取具有不同景物類別的多個自然彩色圖像塊，每個自然彩色圖像塊僅具有ー個景物類別，將每個自然彩色圖像塊轉為YCbCr空間，計算其Cb通道及Cr通道的均值巧及.己:作為各景物類別的特徵色彩； 步驟2、在獲得的車載紅外視頻中選取ー幀圖像作為關鍵幀，採用K-均值聚類算法對關鍵幀的灰度進行聚類，得到分割圖像，分割圖像中每個類別區域對應ー個景物類別，將關鍵幀轉為YCbCr空間，根據得到的分割圖像，將轉換後關鍵幀的所有像素按位置分別劃分到相應的類別區域中，為每個類別區域賦予與其相對應的景物類別的特徵色彩，得到關鍵幀彩色圖像； 步驟3、從車載紅外視頻中與關鍵幀相鄰的下ー幀圖像開始為每ー幀圖像賦予色彩，從而將車載紅外視頻彩色化，對於第i幀圖像而言，其彩色化步驟為 步驟3. I、利用KLT特徵跟蹤算法得到與第i幀圖像相鄰的第i-Ι幀圖像的特徵點，並得到這些特徵點在第i幀圖像中的位置； 步驟3. 2、利用Canny邊緣檢測算法得到第i幀圖像的物體邊緣點，捜索與每個特徵點最近鄰的物體邊緣點作為修正後的特徵點，修正後的特徵點分布在第i幀圖像各類別區域的邊緣上； 步驟3. 3、採用輪廓復原的方法把修正後的特徵點用光滑曲線按類別區域順序連接起來，從而生成各類別區域的閉合區域輪廓曲線，為每個類別區域賦予與其相對應的景物類別的特徵色彩，得到第i幀彩色圖像。
2.如權利要求I所述的ー種基於輪廓跟蹤的車載紅外視頻彩色化方法，其特徵在於步驟2中所述K-均值聚類算法為改進的K-均值聚類算法，其步驟為 步驟2. I、將K值取為景物類別的總個數； 步驟2. 2、統計記錄不同灰度值及其灰度點個數Ni, i = 1，2，. . .，n，且YjNi=N = LxH,^, η為出現灰度級的總個數，N為圖像中所有像素點總個數，L為關鍵幀的寬度，H為關鍵幀的高度； 步驟2. 3、對不同灰度值も從小到大進行排序； 步驟2. 4、依次取初始聚類中心為Zj(I) = ZQ+fjXint(n/K)，其中，j = 1，2，·K，int表示取整運算，Z0 e [f' 17 f' int(n/K)]，f' 最小的灰度值，f/ int(n/K)為排序後的第n/K個灰度值； 步驟2. 5、計算每個灰度值も與聚類中心も(I)的距離D(fi; Zj.(I))，i = 1,2, ... ,η,j = 1，2，…，κ，若の(んZ*(J)) == ι，2，·..，《},則 f. e Wk, Wk 為第 k簇集合； 步驟2. 6、重新調整聚類中心ろ(J + l) = ll；/tw，j = 1，2，. . .，K，其中HIj為第j簇的mi Ar=I灰度元素總個數，Λω為屬於第j簇的第k個灰度值； 步驟 2. 7、若 Zj (1+1) Zj(I), j = 1，2，· · ·，K，則 I = 1+1，返回步驟 2. 5，否則，算法結束。
3.如權利要求I所述的一種基於輪廓跟蹤的車載紅外視頻彩色化方法，其特徵在於在所述步驟3. I之前還包括利用Canny邊緣檢測算法得到第i_l幀圖像的物體邊緣點，將這些物體邊緣點作為步驟3. I所述KLT特徵跟蹤算法的候選特徵點集合。
4.如權利要求I所述的一種基於輪廓跟蹤的車載紅外視頻彩色化方法，其特徵在於步驟3. 3所述輪廓復原的方法為採用三次B樣條插值以及平滑調整進行輪廓復原。
全文摘要
本發明提出一種車載紅外視頻快速彩色化的方法，利用輪廓特徵點跟蹤來獲取每幀物體類別的輪廓區域，採用類別特徵色彩對各區域傳遞色彩。首先構建各景物樣本特徵色彩集，以各類景物在自然彩色圖像中表現出來的特徵色彩；接著利用改進的高效K-Means方法對紅外關鍵幀進行聚類，得到分割區域，提取輪廓特徵點；然後通過KLT算法跟蹤特徵點，得到其在下一幀中的位置並同時修正，採用B樣條插值進行輪廓復原，得到該幀的各類別輪廓區域；最後對每幀區分好的類別區域，將特徵色彩按類別賦予該區域，從而給物體著上合適的顏色，實現紅外視頻序列的快速彩色化。實驗結果表明，該方法提高了處理的速度，能夠得到較理想的效果。
文檔編號G06T7/00GK102663729SQ20121006276
公開日2012年9月12日 申請日期2012年3月11日 優先權日2012年3月11日
發明者孫韶媛, 譙帥 申請人:東華大學