基於模糊概念格的視頻紋理特徵提取方法

2023-06-08 09:07:01

專利名稱：基於模糊概念格的視頻紋理特徵提取方法
技術領域：
本發明屬於圖像處理技術領域，涉及視頻紋理特徵提取，可用於目標識別和視頻檢索等視頻處理領域。
背景技術：
紋理是一種不依賴於顏色或亮度，而反映圖像中同質現象的區域性視覺特徵，能夠更好地兼顧圖像宏觀性質與細微結構兩個方面，因此成為目標識別等視頻處理領域中重要的特徵之一。目前紋理特徵提取方法主要有以下幾種[1] Chun Y. D. Image retrieval using BDIP and BVLC moments. IEEE Transactions on Circuits and Systems for Video Technology，2003，13(9) :951_957。 該方法利用Garbor小波基函數的正交性，可以有效提取紋理特徵，消除冗餘信息，但採用 Garbor小波算法得到的紋理特徵向量維數高，應用於視頻紋理特徵提取，計算量大，效率較低；[2]. Biswas S. An adaptive compressed MPEG-2video watermarking scheme. IEEE Transactions on Instrumentation and Measurement. 2005，5 (55) :1853_18610 該方法將圖像進行DCT變換後，利用DCT變換的AC係數能量衡量紋理複雜程度提取紋理特徵，應用於視頻紋理特徵提取，需要對每個視頻幀進行DCT變換，計算量大，效率偏低。[3]. Haral ick R M，Shanmugam K. . Texture features for image classification. IEEE Transactions on Systems, Man and Cybernetics，1973，3 (6) 610-621。該方法根據像素之間的方向和距離建立灰度共生矩陣，然後提取有意義的14個統計量作為紋理特徵向量，能夠從不同角度對紋理進行描述，廣泛應用於SAR圖像分類等圖像檢索中，但計算量大，在海量視頻數據處理中應用很少。[4]. Tamura HiMori S，Yamawaki T. Texture features corresponding to visual perception. IEEE Transactions on SystemsiMan and Cybernetics，1978，8 (6) :460_473o 該方法提出了構成紋理視覺模型的6個紋理屬性，分別是對比度、粒度、方向性、線性、粗糙度和均勻性，更符合人類心理認知，主要應用於圖像的紋理分類，應用於視頻紋理特徵提取，計算量大，實際應用很少。綜上所述，由於海量視頻數據量龐大、冗餘多，上述圖像紋理提取方法直接應用於視頻紋理特徵提取都存在計算量大，效率低，無法滿足視頻實時處理需求。

發明內容
本發明目的是針對上述已有技術的不足，提出了一種基於模糊概念格的視頻紋理特徵提取方法，大大減小了計算量，實現了視頻紋理特徵的快速、準確挖掘。實現本發明的技術關鍵是針對原始視頻數據，生成基於模糊概念格理論的系列紋理特徵關聯規則，以便快速、準確地挖掘視頻紋理特徵。具體步驟包括如下
(1)對原始視頻ν' = ·(、、……, ]進行鏡頭分割，得到鏡頭分割結果Si, i e [1， M1],其中，M1為原始視頻ν'中的鏡頭總數；(2)將第i個鏡頭Si以每9幀分割成視頻段Pl，1 e [1，M2]，選取每個視頻段Pl的第一個視頻幀作為P1的關鍵幀f\，1 e [1，M2]，其中，M2為第i個鏡頭Si中視頻段總數；(3)對第i個鏡頭Si第1個視頻段P1的關鍵幀進行圖像分塊，得到一系列的圖像塊bk，ke [1，1\]，計算每個圖像塊\的灰度共生矩陣(\，1^￡ [1，TJ，其中，1\為關鍵幀 4中8X8大小的圖像塊總數；(4)根據第i個鏡頭Si第1個視頻段P1的關鍵幀的每個圖像塊bk的灰度共生矩陣Gk，計算得到每個圖像塊bk紋理特徵向量Wq，qe [1,14]；(5)將鏡頭Si第1個視頻段P1的關鍵幀的所有圖像塊bk，k e [1，T1]作為對象集，將所有圖像塊的紋理特徵向量Wq，qe [1,14]作為屬性集，構成關鍵幀的模糊形式背景F ；(6)根據模糊形式背景F，構建鏡頭Si第1個視頻段Pl的關鍵幀的模糊概念格；(7)由鏡頭Si第1個視頻段P1的關鍵幀的模糊概念格，生成相應的紋理關聯規則Rt, t e [1，N9]，其中，N9為紋理關聯規則總數；(8)根據鏡頭Si第1個視頻段P1的關鍵幀的第t個關聯規則，提取關鍵幀中具有第t個關聯規則屬性的圖像塊集合；(9)重複步驟⑶，提取鏡頭Si第1個視頻段P1的關鍵幀f i的其他所有紋理關聯規則相對應的圖像塊集合；(10)取步驟(9)中鏡頭Si第1個視頻段P1的關鍵幀&提取出的所有圖像塊集合的交集，得到關鍵幀的紋理特徵；(11)根據鏡頭&第1個視頻段？1的關鍵幀&的所有紋理關聯規則，按照步驟(10) 相同方法提取視頻段P1中除關鍵幀以外的其他幀的紋理特徵；(12)重複上述步驟(3) (11)，提取第i個鏡頭Si的其他所有視頻段中所有視頻幀的紋理特徵；(13)重複上述步驟O) (12)，提取原始視頻ν的所有鏡頭中視頻幀的紋理特徵。本發明具有如下優點將模糊概念格理論應用於視頻紋理特徵提取，實現了視頻紋理特徵的快速、準確挖掘。由於模糊概念格具有良好的繼承性和層次性，十分適合生成關聯規則，同時灰度共生矩陣能夠從多種維度、精確刻畫紋理特徵。本發明首先利用灰度共生矩陣，形成模糊形式背景，再利用模糊概念格能夠高效處理海量數據的特點，生成一系列紋理關聯規則，進而快速挖掘出不同類型視頻的紋理特徵。實驗結果表明，本發明能夠快速、準確提取視頻紋理特徵，與現有方法相比，大大減小了計算量，適合於任何視頻載體，具有普適性特徵。同時，在保證視頻紋理特徵準確性的前提下，本發明隨著原始視頻數據的急劇增加，效率優勢更明顯，能夠滿足海量視頻處理的實時性需求。


圖1是本發明基於模糊概念格的視頻紋理特徵提取原理框圖2是主持人類視頻載體suzie. yuv，本發明與基於DCT變換方法提取的視頻紋理特徵結果對比；圖3是自然風景類視頻載體tempete. yuv，本發明與基於DCT變換方法提取的視頻紋理特徵結果對比；圖4是體育類視頻載體Stefan, yuv,本發明與基於DCT變換方法提取的視頻紋理特徵結果對比。
具體實施例方式一、基礎理論介紹1. 1模糊概念格的相關理論模糊概念格是一種基于格理論的聚類分析方法，通過對某一領域特定形式背景下對象和屬性之間的關係進行聚類，從而得到相應的概念結構。在模糊概念格中，概念屬性和對象之間的關係是不確定的模糊關係，例如「年輕人消費水平高」，這裡「年輕人」作為對象， 是一個模糊集，「消費水平高」作為屬性只能用隸屬程度來描述，消費水平涉及到收入、衣食住行、家庭負擔、文化娛樂等方面，是一個多屬性的模糊集。目前，國內外學者在模糊概念格的構建算法上做了很多研究，其中，劉宗田、強宇等定義了廣義屬性模糊概念格，提出了一種快速、有效的模糊概念格構建方法。模糊概念格中的基本定義包括如下定義1，模糊形式背景。一個模糊形式背景可表示為F = (0^，1)，其中，0是模糊形式背景F中所有對象的併集，A是模糊形式背景F中所有屬性的併集，映射I稱為隸屬度函數，該隸屬度函數I滿足I e
ο定義2，在模糊形式背景F中，對象集0和屬性集A之間的映射關係可以用屬性映射函數f(0)和對象映射函數g(A)來表示，如下所示/ (O) = {a| Vo e 0,0 < / (O, A) < l}(1)g(A) = {o|Va gA,0<I(0,A)< l}(2)其中，a表示屬性集A中任意一個屬性，ο表示對象集0中任意一個對象。1. 2基於模糊概念格的關聯規則生成由於模糊概念格具有良好的層次關係和繼承關係，能夠形象化地表示各個概念節點之間的層次關係，因此十分適用於關聯規則的生成。關聯規則是形如4 的表達式，其中，AjPB1均為屬性集，規則4 表示在資料庫中，具有屬性集A1中所有屬性的對象同時也具有屬性集B1中的所有屬性。根據模糊概念格生成關聯規則的過程是首先，根據模糊概念格得到所有的頻繁節點並生成相應的頻繁節點組，然後，由頻繁節組生成相應的關聯規則。關聯規則4 的支持度表示，資料庫中包含屬性集A1與屬性集&的併集中所有屬性的對象數佔整個庫中所有對象的百分比，用來度量關聯規則4在資料庫中出現的頻率。關聯規則4的置信度表示，資料庫中包含屬性集A1與屬性集B1的併集中所有屬性的對象數與包含屬性集A1 中所有屬性的對象數的比值，用來度量規則4 = > A的強度。在實際應用中，通常選擇較大的置信度閾值和較小的支持度閾值。1. 3灰度共生矩陣
灰度共生矩陣是圖像二階組合條件下的概率密度統計特徵，反映了不同像素對位置的空間信息，能夠從不同角度對紋理特徵進行細緻地刻畫。灰度共生矩陣是從圖像Q中位置為(Xl，Y1)且灰度級為&的像素點出發，統計與該像素點距離為d、方向為θ、位置為 (χ2,12)且灰度級為g2的像素點同時出現的概率P (gl，g2，d，θ )。灰度共生矩陣的定義如下
權利要求
1.一種基於模糊概念格的視頻紋理特徵提取方法，包括如下步驟(1)對原始視頻ν'= ·(、、……,1進行鏡頭分割，得到鏡頭分割結果Si，i e [1，M1],其中，M1為原始視頻ν'中的鏡頭總數；(2)將第i個鏡頭Si以每9幀分割成視頻段Pl，1e [1，M2]，選取每個視頻段Pl的第一個視頻幀作為P1的關鍵幀f\，1 e [1，M2]，其中，M2為第i個鏡頭Si中視頻段總數；(3)對第i個鏡頭Si第1個視頻段P1的關鍵幀進行圖像分塊，得到一系列的圖像塊 bk，ke [1，TJ，計算每個圖像塊bk的灰度共生矩陣(ik，ke [1，TJ，其中，1\為關鍵幀&中 8X8大小的圖像塊總數；(4)根據第i個鏡頭Si第1個視頻段P1的關鍵幀的每個圖像塊bk的灰度共生矩陣 Gk，計算得到每個圖像塊bk紋理特徵向量Wq，qe [1,14]；(5)將鏡頭Si第1個視頻段P1的關鍵幀的所有圖像塊bk，ke [1,TJ作為對象集， 將所有圖像塊的紋理特徵向量W,，q e [1,14]作為屬性集，構成關鍵幀的模糊形式背景 F；(6)根據模糊形式背景F，構建鏡頭Si第1個視頻段P1的關鍵幀的模糊概念格；(7)由鏡頭Si第1個視頻段P1的關鍵幀的模糊概念格，生成相應的紋理關聯規則 Rt，te [1，N9],其中，N9為紋理關聯規則總數;(8)根據鏡頭Si第1個視頻段P1的關鍵幀的第t個關聯規則艮，提取關鍵幀中具有第t個關聯規則屬性的圖像塊集合；(9)重複步驟(8)，提取鏡頭Si第1個視頻段P1的關鍵幀的其他所有紋理關聯規則相對應的圖像塊集合；(10)取步驟(9)中鏡頭Si第1個視頻段P1的關鍵幀&提取出的所有圖像塊集合的交集，得到關鍵幀的紋理特徵；(11)根據鏡頭Si第1個視頻段P1的關鍵幀的所有紋理關聯規則，按照步驟(10)相同方法提取視頻段P1中除關鍵幀以外的其他幀的紋理特徵；(12)重複上述步驟(3) (11)，提取第i個鏡頭Si的其他所有視頻段中所有視頻幀的紋理特徵；(13)重複上述步驟O) (12)，提取原始視頻ν的所有鏡頭中視頻幀的紋理特徵。
2.根據權利要求1所述的視頻紋理特徵提取方法，其中步驟(6)所述的「根據模糊形式背景F，構建鏡頭Si第1個視頻段P1的關鍵幀的模糊概念格」，按如下步驟進行(6a)計算模糊形式背景F中的每列屬性值的均值，並將該均值作為每列屬性的閾值 e [1，N5]，其中，N5是模糊形式背景F中的屬性總數，模糊形式背景F中小於閾值^^ 的屬性值取0，大於等於閾值^^的屬性值取1，至此已完成了對模糊形式背景F的二值化處理，得到標準形式背景SF;(6b)初始化模糊概念格，生成模糊概念格的根節點(Φ，A)和頂節點(0，Φ)，其中，0 是標準形式背景中所有對象的併集，A是標準形式背景中所有屬性的併集；(6c)在模糊概念格中每加入標準形式背景中的一個對象χ*，相應地生成一個新節點 c'，即c =({/},/({/}),%,疼)，新節點c'與根節點之間是父子節點關係，其中，{χ*}表示對象Ζ的對象集，f({x*})表示對象χ*的屬性集，α工表示新節點c'中對象集中所有對象在其屬性集的隸屬度均值，該隸屬度均值反映了新節點c'的平均模糊程度，或表示新節點 c'的對象集中所有對象在其屬性集上相對隸屬度均值α工的均方差；(6d)從模糊概念格的根節點(Φ，A)開始，按自下向上深度遍歷方式，將新節點c'與模糊概念格中所有的已有格節點進行比較若已有格節點c的屬性集是新增對象χ*屬性集的子集，即(/她樹(C) 口/({/}))，則將已有格節點c更新為(exte樹(C)Ug),/ te樹(c),式)，其中，extent (c)表示已有格節點c的對象集，intent (c)表示已有格節點c的屬性集，extent (c) U {V}表示已有格節點c的對象集與對象χ*對象集{V}的併集，α 2表示已有格節點c對象集中所有對象在其屬性集的隸屬度均值，式表示已有格節點c的對象集中所有對象在其屬性集上相對隸屬度均值α 2的均方差，此時已有格節點c與模糊概念格中其他格節點的關係不變；若已有格節點c的屬性集與新節點c'的屬性集有交集，且不等於模糊概念格中任何一個已有格節點的屬性集，則向上搜索模糊概念格，找到與新節點c'有相同屬性集且對象集中對象數最多的格節點c"，格節點c"稱為產生子節點，該產生子節點c"與新節點C'一起生成新生節點c"『，即樹脅/({/}), , )，此時新生節點c"『與新節點c'是父子節點關係，其中，intent(c)If({V})表示已有格節點c的屬性集與對象Ζ屬性集的交集，α 3表示新生節點c"『對象集中所有對象在其屬性集的隸屬度均值，罵表示新生節點c"『的對象集中所有對象在其屬性集上相對隸屬度均值α 3的均方差；(6e)重複步驟(6c) (6d)，直到標準形式背景中所有對象都加入模糊概念格中； (6f)按自下向上方式搜索整個模糊概念格，找出模糊概念格中所有沒有父節點的格節點，並由這些格節點構成模糊概念格中頂節點(0，Φ)的子節點。
3.根據權利要求1所述的視頻紋理特徵提取方法，其中步驟(7)所述的「由鏡頭Si第 1個視頻段P1的關鍵幀的模糊概念格，生成相應的紋理關聯規則」，按如下步驟進行(7a)將模糊概念格中第i4個格節點 表示成 e [1，N6],其中，N6為模糊概念格中格節點的總數，bj表示第i4個格節點 的對象集，表示第14個格節點 的屬性集，參數％表示第i4個格節點 的對象集中所有對象在其屬性集的隸屬度均值，該隸屬度均值反映了第i4個格節點 對象集的平均模糊程度，參數ζ表示第i4個格節點 的對象集中所有對象在其屬性集上相對隸屬度均值％的均方差；(7b)將模糊概念格中第i4個格節點 的參數 與設定閾值η進行比較，參數^與設定閾值Y進行比較，如果滿足％> 7且^< 7，則該格節點 是模糊概念格中的一個頻繁節點 q ,BP :Cl5 ={{oh}\dh},ah,5h)A5 e [1，N7]，判斷同一個模糊概念格中每個格節點是否為頻繁節點時，設定的閾值n和Y是相同的，其中，N7為模糊概念格中頻繁節點總數，表示第i5個頻繁節點 5的對象集，·{成j表示第i5個頻繁節點 5的屬性集，參數％表示第15個頻繁節點 的對象集中所有對象在其屬性集的隸屬度均值，參數ζ表示第i5個頻繁節點 5 的對象集中所有對象在其屬性集上相對隸屬度均值％的均方差；(7c)重複步驟(7b)，找出模糊概念格中其他所有的頻繁節點，即 化，C2, ···, —fy,Gj，其中，N7為模糊概念格中頻繁節點總數；(7d)用模糊概念格中的頻繁節點 和頻繁節點 _5構成模糊概念格的第Ic1個頻繁節點組e [1，N8]，其中，N8為模糊概念格中頻繁節點組的總數；(7e)重複步驟(7d)，用模糊概念格中的其他頻繁節點生成模糊概念格中除第Ic1個頻繁節點％外，其他所有的頻繁節點組，即·{《，巧，L U—L 』UNa}·』(7f)對模糊概念格中的第Ic1個頻繁節點組^iti =( 5, 5)進行判斷，如果頻繁節點 5 和頻繁節點之間是父子關係，且滿足
全文摘要
本發明公開了一種基於模糊概念格的視頻紋理特徵提取方法，主要解決現有方法計算量大、效率低、實時性不高的問題。實現步驟(1)將視頻鏡頭分割，將分割後的視頻鏡頭分成視頻段，並將視頻段第一幀作為該視頻段的關鍵幀；(2)將關鍵幀圖像分塊，計算圖像塊的灰度共生矩陣，再基於灰度共生矩陣計算二階矩、熵等14個紋理特徵向量；(3)將關鍵幀的圖像塊作為對象集、將圖像塊的紋理特徵向量作為屬性集，構成模糊形式背景，構建模糊概念格；(4)由關鍵幀的模糊概念格生成紋理關聯規則；(5)根據關鍵幀的紋理關聯規則，提取所在視頻段中所有視頻幀的紋理特徵。本發明能夠快速、準確地提取視頻紋理特徵，可用於目標識別、視頻檢索等視頻處理領域。
文檔編號G06K9/46GK102306275SQ20111018008
公開日2012年1月4日 申請日期2011年6月29日 優先權日2011年6月29日
發明者馮向玲, 同鳴, 姬紅兵, 張建龍 申請人:西安電子科技大學