視頻圖像中條帶的檢測方法

2023-09-22 16:14:45 1

專利名稱：視頻圖像中條帶的檢測方法
技術領域：
本發明屬於數字視頻圖像處理領域，涉及一種視頻圖像中條帶區域的檢測方
法，用於檢測視頻圖像中的條帶損傷。
背景技術：
電影的誕生至今已經有一百多年的歷史，伴隨著電影技術的誕生和發展，人類 歷史積澱了許多記錄實歷史的影像檔案資料與見證了文化藝術發展的影視資料，這些資 料是人類歷史寶貴的遺產。由於歷史技術原因，舊視頻在保存和播放時會產生損傷，需 要對其進行修復，還其原貌。現代數位技術的成熟使得我們可以採用數位技術對舊視頻 進行修復。在修復過程中，自動檢測出損傷區域將提高修復效率，是實現舊視頻圖像自 動化修復的基礎，是提高舊視頻圖像修復效率的先決條件。 條帶是一種普遍存在於舊視頻圖像中的損傷，條帶產生原因是物理磨損。通常 是在放映時，由堅硬的顆粒在平行於電影膠片或磁帶運動方向上刮擦所導致。對該損傷 的修復就是要把條帶對象從視頻圖像序列中移除，需要給出條帶的精確位置。由於數目 龐大，人工標定顯然不實際，需要對視頻圖像中的條帶進行自動檢測，獲取條帶所處位 置的精確區域。為此，條帶的檢測研究就顯得尤其重要。 最早關於條帶檢測的方法是模型分析法，如ANIL Kokaram， Detection and removal of line scratches in degraded motion picture sequences, Signal Processing VIII， volume I， pages 5-8， September 1996禾口 Vittoria Bruni and Domenico Vitulano， A generalized model for scratch detection, IEEE Transaction in image processing, Vol. 13， No.l， January 2004，該方法先對條帶建立模型，通過隨機方法獲取參數對應數值，分析 數值的合理性來確定條帶的存在性。該模型法是假設條帶在圖像中從首行一直延續到 最後一行，且完全呈直線分布，這種假設不具有一般性，實際的條帶損傷很多都不呈線 性，且僅出現在圖像的局部區域，不適合用該模型描述。 針對條帶在圖像中出現區域的局部性，產生了區域分析法，如Rong-Chi Chang， Louis H丄in， Chia-Ton Tian， and Timothy K.Shih.Video Inpainting and Restoration Techniques.Proceedings of the 13th annual ACM international conference on Multimedia. Nov.2005禾口 Timothy K.Shih and Louis H丄in， Wonjun Lee， Detection and removal of long scratch line in aged film.Multimedia and Expo， IEEE International Conference on July 2006Page(s): 477-480，該方法是把視頻圖像水平分割為若干區域，在每個區域內檢測條 帶，之後把相鄰的條帶連接起來。該方法在水平分割區域通過分析圖像在列向量的亮度 投影分析條帶的存在性，分割塊的大小對於檢測結果會有較大影響，尤其當斜度較大的 時候。該方法雖然考慮了條帶出現區域的局部性特徵，但是依然沒有考慮斜度問題。
第三類非線性搜索方法，如LazharKhriji， Mahmoud Meribout， Moncef Gabbouj. Detection and removal of video defects using rational-based techniques.Advances in Engineering Software 36(2005)487-495，是基於像素的分析法。該搜索方法為在水平方向上逐像素遍歷，把當前像素和下一像素進行比較，若亮度差值小於閾值則認為得到了兩個相關的 像素，接著檢測下一像素，直到相關像素數目達到一個最大閾值，認為是背景，否則小 於閾值認為是可能的條帶像素點，對按以上處理獲得的圖像在列方向上求均值降維，對 於大於均值閾值的列認為是條帶，之後回到原圖，按照一個圖像亮度閾值把該列上的非 條帶部分刪除。該方法只適合於亮度均勻的條帶檢測，對於一般的條帶來說，亮度呈現 餘弦衰減，該方法將失效。 第四類是基於小波理論和形態學的檢測方法如基於小波分解的電影膠片劃痕 損傷數字修復技術研究，中國圖像圖形學報，Vol 11， No.ll， Nov.2006，該方法是先對 圖像進行小波分解，把水平方向係數集大垂直方向係數集小的位置認為是可能的條帶， 之後通過形態學的膨脹腐蝕算法消除小面積區域，最後再使用水平和垂直方向的膨脹使 斷續的條帶連接，由於斷續中間的尺寸和偏移大小都不能確定，形態學的使用中結構元 素尺寸的選擇對於處理結果影響大。 通過大量的視頻圖像中條帶的分析，發現視頻圖像中條帶可分為兩種垂直條 帶和水平條帶。垂直條帶的長度一般大於視頻圖像寬度的5%。垂直條帶又可分為黑色 垂直條帶和白色垂直條帶。黑色垂直條帶斜度與垂直方向夾角小於2度，大部分近似於 垂直， 一般呈線性分布，寬度小於5像素；白色垂直條帶斜度與垂直方向夾角小於8度， 寬度小於7像素。水平條帶往往呈標準直線型態。水平條帶也可分為白色水平條帶和黑 色水平條帶。黑色水平條帶亮度特徵明顯，與周圍亮度差大於8，其條帶寬度較小， 一般 為一到三個像素。其長度一般大於視頻圖像長度的5%。白色水平條帶寬度較大， 一般 都在十個像素左右，且呈斷續透明狀，其亮度與周圍亮度對比不明顯。
經過對待修復視頻中條帶分析發現現有方法有以下不足 (1)、現有檢測方法是針對一些典型的特殊垂直條帶進行檢測，忽略了條帶的斜 度和條帶出現區域局部性特點，且認為背景中不存在類似條帶對象，在實際修復中沒有 適用於各種情況垂直條帶的檢測方法。 (2)、對於水平條帶檢測的研究很少，即使提及，也認為水平條帶與垂直條帶的 檢測方法只是在方向上的差別，完全忽略了水平條帶寬度較大和亮度透明的特點，不可 當作簡單的方向差別來處理。 (3)、現有檢測方法多為單幀處理方法，沒有解決連續幀處理問題。

發明內容
鑑於以上所述現有技術存在的問題和不足，本發明的目的在於提供一種視頻圖 像中條帶的檢測方法，既能檢測線性、小斜度垂直條帶和非線性、大斜度垂直條帶，也 能檢測水平黑色、白色條帶，實現首幀交互後續幀自動檢測，達到降低在背景存在類似 條帶對象時的誤檢，提高檢測效率和可靠性。 為達到上述目的，本發明採用以下技術解決方案實現首先由用戶根據首幀視 頻序列中出現的條帶特徵，選擇待修復條帶的顏色(白色或黑色)和條帶類型(水平或垂 直)，並根據首幀中條帶的出現位置劃定檢測區域，在檢測區域內進行基於空間亮度信息 的條帶特徵對象的自動提取，並測量記錄對象形狀，位置信息；然後對提取的條帶特徵 對象進行分析、合併，生成條帶的二值模板；再基於當前幀的條帶對像檢測結果，根據條帶漂移特徵，預測下一幀條帶出現的區域，生成下一幀的檢測區域；最後根據新的檢 測區域對下一幀進行條帶檢測。其具體步驟如下 步驟1、由用戶根據首幀視頻中的條帶選擇待修復條帶的顏色(白色或黑色)和 條帶類型(水平或垂直)，根據首幀中條帶出現的位置劃定檢測區域，計算出檢測區域的 長度和寬度； 步驟2、對步驟1中用戶對條帶類型的選擇進行判斷，若為垂直條帶則進行步驟 3處理。若為水平條帶則進行步驟4處理； 步驟3、對垂直條帶進行檢測，獲得條帶模板圖，之後生成下一幀的檢測區域並 循環使用本步驟對後續幀處理； 步驟4、對水平條帶進行檢測，獲得條帶模板圖，並循環使用本步驟對後續幀進 行處理。 上述步驟3中所述的對垂直條帶的檢測，其具體步驟如下 3-1、圖像預處理對輸入原始圖像進行格式轉換，獲取轉換後圖像的亮度分 3-2、區域內垂直條帶的檢測對步驟3-l獲得的亮度圖像進行條帶檢測。首 先對圖像進行高斯去噪；對步驟1中用戶對條帶顏色的選擇進行判斷，對於黑色條帶， 選擇九抽頭中值濾波器對去噪後圖像進行水平方向濾波，對於白色條帶，選擇十三抽頭 濾波器，對去噪後圖像進行水平方向濾波；之後作中值濾波前後的差運算，獲得差值圖 像，依據一個亮度閾值對差值圖像進行判決，獲取包含了條帶對象的二值圖像。對二 值圖像進行八鄰域的連通區域搜索，獲取八連通的連通區域，每個連通區域作為一個對 象。對於搜索到的每個對象，測量其對象水平平均像素寬度，長度。對對象的長度和寬 度分別設置閾值，去除不滿足條帶特徵條件的對象，最後獲得只包含條帶信息的圖像；
3-3、檢測的後處理。對步驟3-2獲得的只包含條帶信息的圖像進行分析，檢測 是否存在共線對象，若不存在，則不處理，若存在，則按照一定判斷規則判斷是否歸併 兩個對象，填補兩對象之間的間斷。使條帶檢測更完整，最後得到條帶的掩模圖；
3-4、時序上對條帶區域的跟蹤。當檢測失敗時，說明隨著檢測幀數的增加， 條帶可能漂移出檢測區域，需要按條帶漂移特性調整檢測區域，重新檢測。之後對檢測 失敗的幀按照新檢測區域重新檢測，若重檢測依然沒有檢測到條帶，認為當前幀沒有條 帶，放棄當前幀的檢測，輸出條帶模板圖，讀入下一幀圖像數據，重新返回步驟3對下 幀進行檢測； 上述步驟4中所述的對水平條帶的檢測，其具體步驟如下
4-1、圖像預處理對輸入圖像進行格式轉換，獲取轉換後圖像的亮度分量；
4-2、區域內水平條帶檢測對轉換後圖像的亮度分量進行水平條帶檢測。判斷 條帶顏色，若為黑色條帶，對亮度圖像在水平方向上進行高斯去噪處理，選擇五抽頭垂 直中值濾波器進行中值濾波，並對中值濾波前後圖像作差運算，獲取差值圖像；若為白 色條帶，先採用水平中值濾波器對其濾波，後使用垂直中值濾波器濾波，並對垂直中值 濾波前後圖像作差運算，獲取差值圖像；之後依據一個亮度閾值對差值圖像進行判決， 獲取二值圖像；對二值圖像進行八鄰域的連通區域搜索，獲取八連通的連通區域，每個 連通區域作為一個對象。對於搜索到的每個對象，測量其對象垂直方向上的像素最大偏移和水平長度，通過設置像素最大偏移和水平長度閾值進行判決，去除滿足條帶特徵的 對象，最後獲得只包含條帶信息的圖像； 4-3、水平條帶的檢測的後處理。再判斷條帶顏色，若為白色條帶，則再採用形 態學方法，設計結構算子對步驟4-2中獲得的只包含條帶信息的圖像進行形態學處理，使 檢測結果完整。若為黑色條帶，則不作處理。輸出檢測模板，讀入下幀圖像數據，重新 返回步驟4對下幀進行檢測。 本發明的視頻圖像中條帶的檢測方法與當前其他的條帶檢測方法相比的優點在 於該方法克服了當前條帶檢測僅僅針對典型垂直條帶的局限性，擴大了對垂直條帶的 檢測方法的適用範圍，並提出了對水平條帶進行快速檢測的方法。該方法提供給用戶類 型進行選擇，提高了檢測的可靠性。此外，本發明對於各種條帶的檢測方法進行了集 成，採用了連續幀處理的策略，使用戶在使用時，僅需在首幀進行交互操作，後續幀完 全自動行檢測，提高了檢測效率。


圖1為本發明實施例的視頻圖像中條帶的檢測方法的流程圖； 圖2為圖1中的檢測區域跟蹤流程圖； 圖3為有垂直白色條帶的原圖； 圖4為圖3中根據白色垂直條帶位置畫出檢測區域的圖； 圖5為對於白色垂直條帶差值獲得的二值圖； 圖6為對於白色垂直條帶鄰域搜索獲取的條帶對象圖； 圖7為對於白色垂直條帶連接後獲得的條帶模板圖； 圖8是有黑色垂直條帶的原圖； 圖9是圖8中根據黑色垂直條帶位置畫出檢測區域的圖； 圖10是對於黑色垂直條帶差值獲得的二值圖； 圖11是對於黑色垂直條帶鄰域搜索獲取的條帶對象圖； 圖12是對於黑色垂直條帶連接後獲得的條帶模板圖； 圖13是有白色水平條帶的原圖； 圖14是圖13中根據白色水平條帶位置畫出檢測區域的圖； 圖15是白色水平條帶差值獲得的二值圖； 圖16是白色水平條帶鄰域搜索獲取的條帶對象圖； 圖17是白色水平條帶經過形態學處理後的條帶模板圖； 圖18是有黑色水平條帶的原圖； 圖19是圖18中根據黑色水平條帶位置畫出檢測區域的圖； 圖20是黑色水平條帶差值獲得的二值圖； 圖21是黑色水平條帶鄰域搜索獲取的條帶對象模板圖。
具體實施例方式
以下結合附圖對本發明的實施例作進一步的詳細說明。本實施例以本發明的技 術方案為前提下進行實施，給出了詳細的實施方式，但本發明的保護範圍不限於下述的實施例。
如圖1所示，上述視頻圖像中條帶的檢測方法，其具體步驟如下
步驟1、由用戶根據首幀視頻中的條帶選擇待修復條帶的顏色(白色或黑色)和 條帶類型(水平或垂直)，根據首幀中條帶出現的位置劃定檢測區域，如圖4，圖9，圖 14，圖19所示。計算出檢測區域的長度DetW_H(行方向上)和寬度DetW_W(列方向
上)； 步驟2、對步驟1中用戶對條帶類型的選擇進行判斷，若為垂直條帶則對每一幀
循環進行步驟3處理，若為水平條帶則對每一幀循環進行步驟4處理； 步驟3、對垂直條帶檢測，獲得條帶模板圖，之後生成下一幀的檢測區域並循環
使用本步驟對後續幀處理，其具體步驟如下
3-1、圖像預處理 讀入原始圖像，原始圖像記為RGB(i， j)，其中，i、 j分別表示圖像的行和列； 對原始圖像RGB(i， j)進行顏色空間的轉換，轉換後圖像記為Ycbcr(i， j)，取轉換後圖 像的亮度分量Y(i， j);
3-2、區域內垂直條帶的檢測 在步驟l中劃定區域內對Y(i， j)進行處理。在垂直方向上進行高斯去噪處理， 獲得Y—G(i， j)。對步驟1中用戶對條帶顏色的選擇進行判斷，對於黑色條帶，選擇九抽 頭中值濾波器對Y—G(i， j)進行水平方向濾波，對於白色條帶，選擇十三抽頭濾波器，得 到中值濾波後的圖像Y—G—M(i， j)。之後作如下差運算
對於黑色垂直條帶做差運算Y—0(i， j) = Y_G_M(i， j)-Y_G(i， j)(l) 對於白色垂直條帶做差運算 Y_0(i， j) = Y_G(i， j)-Y_G_M(i， j)(2) 依據亮度閾值Th—Y，按如下規則判決，獲取二值圖像信息(如圖5，圖10所 示)Y一0—BW(y) = ^ 閾值Th—Y是基於對條帶的視覺上經驗來設置的，對於八位亮度圖像來說，閾值 大於4小於10，可以提取條帶位置，又不引入過多幹擾。根據經驗，Th—Y值設置為5。
對二值圖像Yj3—BW(i， j)進行八鄰域的連通區域搜索，獲取八連通的連通區 域，每個連通區域作為一個對象。對於搜索到的第k個對象Object—k，測量其對象水平 平均像素寬度w—k，長度h—k。根據條帶顏色，使用以下準則進行判斷，提取黑色垂直條 帶、白色垂直條帶
對於黑色垂直條帶formula see original document page 9

對於白色垂直條帶formula see original document page 10
(4)、 (5)中的th_h的取值按如下方式設置
廠淘,—朋o 脂r—if>,,'
(6)其中W為序列幀的寬度。通過判決，Object—k若為l，則認為該對象為條帶， 若為0，則認為該對象不是條帶，在Y—CLBW(i， j)圖像中去除判決為O的對象，最後獲 得只包含條帶信息的圖像Yj3—L—BW(i， k)(如圖6，圖ll所示)；
3-3、垂直條帶檢測的後處理 對Yj3J^BW(i， j)中的條帶對象ObjecUd， 0bject_k2(kl # k2)進行分析，在 兩對象行坐標不重疊的情況下，對其斜率和中心列坐標位置進行分析，按照如下判斷規 則判斷是否歸併兩個對象，填補兩對象之間的間斷。 計算 A colunn = colunn_kl-colunn_k2|(7) Arow = |row_kl-row_k2| (8) 其中，column_kl和coulumn_k2為兩個對象的中心列坐標，row_kl， row_k2為 兩個對象的中心行坐標。 進行如下判斷 若滿足以下兩條件(i)slope_kl*slope_k2 >= 0 ;(ii)| A column-( A row*slope_kl+ A row*slope_k2)/2|《3，
選擇歸併。 依據上下條帶的平均寬度連接上下兩條帶，在Yj3—L—BW(i， j)基礎上填補中間 的斷續；若連接之後的長度小於圖像寬度的三分之一，不延伸處理，否則，則按照條帶 的斜度進行上下延伸，使其貫穿檢測區域始終，最後得到條帶的掩模Y—BW(i， j)(如圖 7，圖12所示)。 3-4、時序上對垂直條帶區域的跟蹤 當檢測失敗時，說明條帶可能漂移出檢測區域，需要調整檢測區域重新檢測。 通過對條帶在時序上的漂移統計，發現條帶在相同區域持續的時間在幾十幀到數百幀不 等，做近似餘弦震蕩漂移，相鄰幀之間條帶漂移最大不超過十像素列。非相鄰幀的列漂 移一般也不超過二十個像素列。為此，按圖2過程進行檢測區域的跟蹤，跟蹤獲取新檢 測區域之後，輸出檢測模板，讀入下幀圖像，重新返回步驟3在跟蹤區域內對下幀進行 檢測；具體步驟如下 3-4-1、首先，設置一個幀計數器，其功能為控制持續檢測幀數，初始值為連續 檢測的最大幀數，根據對條帶在相同區域持續幀數統計，初始值設置為30。每處理完一幀，計數器減l。 3-4-2、對當前條帶檢測結果進行判斷，若檢測到條帶則轉入步驟3-4-3處理，否 則，進行如下操作首先，判斷幀計數器是否為0，若不為0，保持檢測區域不變，生成 的新檢測區域與當前檢測區域相同；若幀計數器為0，則生成新的檢測區域同時是把幀 計數器設置為30，新的檢測區域按如下規則生成取當前幀中的條帶中心列位置，記為colcenter，當前幀中條帶的斜率記為 slope,新的檢測區域的最右邊列坐標(RColumn)則改為
RColumn = colcenter+10+|slope|*DetW_H 該坐標值以圖像的邊界為邊界值，且當有多個條帶時，右邊界以最右邊條帶為 計算基礎。新的檢測區域的最左邊的列坐標則改為(LColumn):
LColumn = colcenter-(10+|slope|*DetW_H) 該坐標值以圖像的邊界為邊界值，且當有多個條帶時，左邊界以最左邊條帶為 計算基礎。檢測區域上下邊界由於連接步驟的存在可以保持不變。 3-4-3、調整檢測區域，左右檢測區域分別擴展十個像素寬度，並在擴展範圍內
重新進行條帶檢測，即重複步驟3-2， 3-3操作，之後對檢測結果進行判斷，若沒有檢測
到條帶，則認為當前幀沒有條帶，生成的新檢測區域為擴展之後的區域，否則，新的檢
測區域按步驟3-4-2中新檢測區域生成規則生成，把幀計數器重新設置為30 ; 步驟4、對水平條帶進行檢測，獲得條帶模板圖，並循環使用本步驟對後續幀進
行處理，其具體步驟如下 4-1、圖像預處理 讀入原始圖像，原始圖像記為RGB(i， j)，其中，i、 j分別表示圖像的行和列； 對原始圖像RGB(i， j)進行顏色空間的轉換，轉換後圖像記為Ycbcr(i， j)，取轉換後圖 像的亮度分量Y(i， j);
4-2、區域內水平條帶檢測 在步驟l中劃定區域內對Y(i， j)進行處理。判斷條帶顏色，若為黑色條帶，對 Y(i， j)在水平方向上進行高斯去噪處理，獲得Y—G(i， j)。選擇五抽頭垂直中值濾波器， 獲得Y—G—M(i， j)，作如下差運算
formula see original document page 11
若為白色條帶，採用寬度為9的水平中值濾波器對其濾波，獲得條帶亮度連續 的圖像Y—HM(i， j);採用寬度為21的垂直中值濾波器對Y—HM(i， j)去除條帶亮度，獲 得Y_VM(i， j)，作如下差運算
formula see original document page 11
之後依據亮度閾值Th—Y，按如下規則判決，獲取二值圖像(如圖15，圖20所 示)formula see original document page 11
對於八位亮度圖像來說，根據經驗，閾值設置為3，
對二值圖像Yj3—BW(i， j)進行八鄰域的連通區域搜索，獲取八連通的連通區域，每個連通區域作為一個對象。對於搜索到的第k個對象Object—k，測量其對象垂直 方向上的像素最大偏移v—div，水平長度h—k。根據先驗信息，以下準則進行判斷，提取 水平條帶對象 對於黑色水平條帶
其中，選取thjl為圖像寬度的二十分之一。通過判決，Object—k若為l，則認為該對象為條帶，若為0，則認為該對象不是 條帶，在Y—CLBW(i， j)圖像中去除判決為O的對象，最後獲得只包含條帶信息的圖像Y— 0_L_BW(i， j)(如圖16，圖21所示)；
4-3、水平條帶的檢測的後處理 判斷條帶顏色，對白色條帶，採用形態學方法，設定寬度為9的水平結構算子 對Y—0丄—BW(i， j)進行膨脹，獲得條帶掩模圖(如圖17所示)，對黑色條帶不需處理， Y_0_L_BW(i， j)即為最後掩模圖。formula see original document page 12
根據條帶出現的情況， 對於白色水平條帶
th_h設置為圖像寬度的八分之
權利要求
一種視頻圖像中條帶的檢測方法，其特徵在於進行檢測之前，首先由用戶根據首幀視頻序列中出現的條帶特徵，選擇待修復條帶的顏色和條帶類型，並根據首幀中垂直條帶的出現位置劃定檢測區域，在檢測區域內進行基於空間亮度信息的條帶的自動提取，並測量記錄對象形狀，位置信息；然後對提取的條帶進行分析、合併，生成條帶的二值模板圖；再根據對當前幀的條帶檢測結果，結合條帶漂移特徵，預測下一幀條帶出現的區域，生成下一幀的檢測區域，根據新的檢測區域對下一幀進行條帶檢測，其具體步驟如下步驟1、由用戶根據視頻中的條帶選擇待修復條帶的顏色和條帶類型，根據首幀中條帶出現的位置劃定檢測區域，計算出檢測區域的長度和寬度；步驟2、對步驟1中用戶對條帶類型的選擇進行判斷，若為垂直條帶則進行步驟3處理，若為水平條帶則進行步驟4處理；步驟3、對垂直條帶進行檢測，獲得檢測模板圖，之後生成下一幀的檢測區域並循環使用本步驟對後續幀處理；步驟4、對水平條帶進行檢測，，獲得條帶模板圖，並循環使用本步驟對後續幀進行處理。
2. 根據權力要求1所述的視頻圖像中條帶的檢測方法，其特徵在於，上述步驟3中所述的對垂直條帶進行檢測，生成下一幀的檢測區域並循環使用本步驟對後續幀處理，其具體步驟如下3-1、圖像預處理，對輸入原始圖像進行格式轉換，獲取轉換後圖像的亮度分量；3-2、對步驟3-l獲得的亮度圖像進行條帶檢測，首先對圖像進行高斯去噪；對步驟1中用戶對條帶顏色的選擇進行判斷，對於黑色條帶，選擇九抽頭中值濾波器對去噪後圖像進行水平方向濾波，對於白色條帶，選擇十三抽頭濾波器，對去噪後圖像進行水平方向濾波；之後作中值濾波前後的差運算，獲得差值圖像，依據一個亮度閾值對差值圖像進行判決，獲取包含了條帶對象的二值圖像，對二值圖像進行八鄰域的連通區域搜索，獲取八連通的連通區域，每個連通區域作為一個對象，對於搜索到的每個對象，測量其對象水平平均像素寬度，長度，對對象的長度和寬度分別設置閾值，去除不滿足條帶特徵條件的對象，最後獲得只包含條帶信息的圖像；3-3、檢測後處理對步驟3-2獲得的只包含條帶信息的圖像進行分析，檢測是否存在共線對象，若不存在，則不處理，若存在，則按照一定判斷規則判斷是否歸併兩個對象，填補兩對象之間的間斷，使條帶檢測更完整，最後得到條帶的掩模圖；3- 4、時序上對條帶區域的跟蹤當檢測失敗時，說明隨著檢測幀數的增加，條帶可能漂移出檢測區域，需要按條帶漂移特性調整檢測區域，重新檢測；之後對檢測失敗的幀按照新檢測區域重新檢測，若重檢測依然沒有檢測到條帶，認為當前幀沒有條帶，放棄當前幀的檢測，輸出條帶模板圖，讀入下一幀圖像數據，重新返回步驟3對下幀進行檢測。
3. 根據權力要求1所述的視頻圖像中條帶的檢測方法，其特徵在於，上述步驟4中所述的對水平條帶進行檢測，獲得條帶模板圖，並循環使用本步驟對後續幀進行處理，其具體步驟如下4- 1、圖像預處理對輸入圖像進行格式轉換，獲取轉換後圖像的亮度分量；4-2、區域內水平條帶檢測對轉換後圖像的亮度分量進行水平條帶檢測，判斷條 帶顏色，若為黑色條帶，對亮度圖像在水平方向上進行高斯去噪處理，選擇五抽頭垂直 中值濾波器進行中值濾波，並對中值濾波前後圖像作差運算，獲取差值圖像；若為白色 條帶，先採用水平中值濾波器對其濾波，後使用垂直中值濾波器濾波，並對垂直中值濾 波前後圖像作差運算，獲取差值圖像；之後依據一個亮度閾值對差值圖像進行判決，獲 取二值圖像；對二值圖像進行八鄰域的連通區域搜索，獲取八連通的連通區域，每個連 通區域作為一個對象；對於搜索到的每個對象，測量其對象垂直方向上的像素最大偏移 和水平長度，通過設置像素最大偏移和水平長度閾值進行判決，去除滿足條帶特徵的對 象，最後獲得只包含條帶信息的圖像；4-3、水平條帶的檢測後處理再判斷條帶顏色，若為白色條帶，則採用形態學方 法，設計結構算子對步驟4-2中獲得的只包含條帶信息的圖像進行形態學處理，使檢測結 果完整，若為黑色條帶，則不作處理，輸出檢測模板，讀入下幀圖像數據，重新返回步 驟4對下幀進行檢測。
4. 根據權力要求2所述的視頻圖像中條帶的檢測方法，其特徵在於，上述步驟3-3所 述的檢測後再處理，其具體處理如下計算△ column = |column_kl-column_k2|△ row = |row_kl-row_k2|其中，column_kl和coulumn_k2為兩個對象的中心列坐標，row_kl， row_k2為兩個對象的中心行坐標，進行如下判斷 若滿足以下兩條件(i) slope_kl*slope_k2 > = 0 ;(ii) | △ column-( A row*slope_kl+ A row*slope_k2)/2|《3， 選擇歸併，依據上下條帶的平均寬度連接上下兩條帶，在Y—CLL—BW(i， j)基礎上填補中間的斷 續；若連接之後的長度小於圖像寬度的三分之一，不延伸處理，否則，則按照條帶的斜 度進行上下延伸，使其貫穿檢測區域始終，最後得到條帶的掩模Y—BW(i， j)。
5. 根據權力要求2所述的視頻圖像中條帶的檢測方法，其特徵在於，上述步驟3-4中 步驟3-4-1所述的檢測區域的跟蹤，其具體步驟如下3-4-1、首先，設置一個幀計數器，其功能為控制持續檢測幀數，初始值為連續檢測 的最大幀數，根據對條帶在相同區域持續幀數統計，初始值設置為30，每處理完一幀， 計數器減1 ;3-4-2、對當前條帶檢測結果進行判斷，若檢測到條帶則轉入步驟3-4-3處理，否則， 進行如下操作首先，判斷幀計數器是否為O，若不為0，保持檢測區域不變，生成的新 檢測區域與當前檢測區域相同；若幀計數器為0，則生成新的檢測區域同時把幀計數器 設置為30，新的檢測區域按如下規則生成取當前幀中的條帶中心列位置，記為colcenter，當前幀中條帶的斜率記為slope,新 的檢測區域的最右邊列坐標(RColumn)則改為RColumn = colcenter+10+|slope|*DetW_H該坐標值以圖像的邊界為邊界值，且當有多個條帶時，右邊界以最右邊條帶為計算 基礎，新的檢測區域的最左邊的列坐標則改為(LColumn): LColumn = colcenter-(10+|slope|*DetW_H)該坐標值以圖像的邊界為邊界值，且當有多個條帶時，左邊界以最左邊條帶為計算 基礎，檢測區域上下邊界由於連接步驟的存在可以保持不變；3-4-3、調整檢測區域，左右檢測區域分別擴展十個像素寬度，並在擴展範圍內重新 進行條帶檢測，即重複步驟3-2， 3-3操作，之後對檢測結果進行判斷，若沒有檢測到條 帶，則認為當前幀沒有條帶，生成的新檢測區域為擴展之後的區域，否則，新的檢測區 域按步驟3-4-2中新檢測區域生成規則生成，把幀計數器重新設置為30。
全文摘要
本發明公開了一種視頻圖像中條帶的檢測方法，該方法步驟如下1、用戶根據視頻序列中出現的條帶特徵，選擇待修復條帶的顏色和條帶類型，並根據首幀中條帶的出現位置劃定檢測區域；2、對用戶的選擇進行判斷，若選擇垂直條帶，則進入步驟3處理，若選擇水平條帶，則進入步驟4處理；3、對垂直條帶進行檢測，獲得條帶模板圖，之後生成下一幀的檢測區域並循環使用本步驟對後續幀處理；4、對垂直條帶進行檢測，獲得條帶模板圖，並循環使用本步驟對後續幀進行處理。該方法與現有的其他條帶檢測方法相比較的優點能檢測視頻圖像中各種條帶，提高了可靠性，且用戶僅需要對存在條帶的首幀進行交互，後續幀完全自動的檢測，提高了檢測效率。
文檔編號H04N5/14GK101692691SQ20091019659
公開日2010年4月7日 申請日期2009年9月27日 優先權日2009年9月27日
發明者朱民耀, 王亞萍, 蔣慧鈞, 谷伊, 閔友鋼, 韓軍 申請人:上海大學