一種從h.264壓縮碼流中提取邊緣特徵的方法

2023-06-12 12:56:51

專利名稱：：一種從h.264壓縮碼流中提取邊緣特徵的方法
技術領域：
：本發明涉及視頻分析
技術領域：
,具體來說是一種從H.264壓縮碼流中提取邊緣特徵的方法。
背景技術：
：基於內容的圖像檢索技術在多媒體信息領域起著重要的作用。由於人類視覺系統對亮度變化邊界即邊緣非常敏感，邊緣特徵成為了圖像檢索中最為重要的特徵之一。與其它的特徵如顏色運動相比，邊緣特徵通常作為圖像中形狀描述的重要來源。在像素域中進行基於邊緣特徵的衝企索已經取得了很好的效果。針對多媒體檢索，多媒體專家組織MovingPicturesExpertsGroup早在1998年就開始為多媒體描述接口標準MPEG-7提出提案，MPEG-7旨在為各類多媒體信息提供一種標準化的描述，該描述與多媒體的內容本身有關，這也極大促進了基於內容的圖像或視頻檢索技術的發展。在MPEG-7中針對圖像邊緣定義了一個邊緣直方圖描述符(EdgeHistogramDescriptor),該描述符統計無方向、7JC平方向、垂直方向、45°方向和135。方向這五種方向的邊緣特徵。在基於內容的圖像檢索算法中，都可以利用該邊緣直方圖描述符方便地對圖像內容進行描述並作為特徵進行檢索。最近基於新的視頻編碼標準H.264I幀編碼的圖像編碼方式也引起了圖像編碼組織的關注，通過對各種圖像編碼方式的對比顯示H.264Intra編碼方式與JPEG2000具有相近的編碼效率,尤其是在低解析度時擁有更好的率失真性能。在H.264中，幀內編碼並不直接採用DCT變換來進行，而是採用整型DCT變換，並且在變換之前要先根據周圍的像素相似性對編碼塊進行預測得到殘差，再對殘差進行編碼。幀內預測(IntmPrediction)是H.264區別於之前視頻編碼標準的一項重要改進，它充分利用了編碼圖像中空域的信息，極大提高了I幀的壓縮效率。在待編碼圖像中，具有邊緣的塊裡沿著邊緣方向的像素具有相似的亮度值，編碼器比較容易選擇相近方向的預測模式。因此，邊緣特徵與預測模式之間具有很大的關聯。
發明內容本發明提供了一種基於H.264壓縮域的智能圖像檢索中提取邊緣特徵的方法，解決圖像數據檢索過程中的特徵提取問題。一種從H.264壓縮碼流中提取邊緣特徵的方法，包4舌以下步驟(1)輸入H.264壓縮域視頻流;(2)H.264壓縮域視頻流通過可變長熵解碼並提取壓縮域視頻流中編碼宏塊的相關特徵；所述的編碼宏塊的相關特徵包括編碼宏塊的宏塊模式特徵和編碼宏塊DCT變換的係數特徵；(3)根據獲得的編碼宏塊的宏塊模式特徵和編碼宏塊DCT變換的係數特徵進行分析；首先按照宏塊模式特徵Intrai6x16和Intra4x4對各個宏塊進行分類。對於Intral6xl6模式的宏塊，按照其預測方式的不同分為三種情況水平預測模式時，根據其左方宏塊是否為水平預測模式來判斷該宏塊內部第二排的4x4塊是否選擇水平邊緣衝莫式或無邊緣模式；垂直預測模式時，根據其上方宏塊是否為垂直預測模式來判斷該宏塊內部第二列的4x4塊是否選擇垂直邊緣模式或無邊緣模式;其它情況宏塊內部的4x4塊均選擇無邊緣模式。對於Intra4x4模式的宏塊，則需要結合編碼宏塊DCT變換係數特徵形成的預測殘差能量對各個4x4塊的邊緣特徵進行具體分析。(4)將分析後得到的4x4塊邊緣特徵用直方圖方法來表示，作為整個圖像的邊緣特徵。可變長熵解碼屬於部分解碼，這一過程相對於全部解壓而言，只佔對壓縮域視頻流全部解壓的10%的計算量，由此避免了由對H.264壓縮視頻流進行全部解壓所帶來的額外計算量，降低了整個特徵提取的複雜度。本發明方法使用H.264壓縮碼流內部信息提取特徵，可以避免由解壓碼流帶來的額外計算，具有很高的運算效率。圖1為本發明特徵提取方法的流程框圖2為本發明在Intral6xl6模式下提取邊緣特徵的策略流程圖。具體實施例方式如圖l所示，一種從H.264壓縮碼流中提取紋理特徵的方法，包括以下步驟(1)得到H.264壓縮域視頻碼流;(2)H.264壓縮域糹見頻碼流通過可變長熵解碼並提取H.264壓縮域視頻流中編碼宏塊的相關特徵；編碼宏塊的相關特徵包括編碼宏塊的宏塊模式特徵和編碼宏塊DCT變換的係數特徵。可變長熵解碼屬於部分解碼，這一過程相對於全部解壓而言，只佔對H,264壓縮域視頻流全部解壓的10%的計算量。避免了由對11264壓縮一見頻流進行全部解壓所帶來的額外計算量，降低了整個特徵提取過程的計算複雜度。(3)將得到的H.264視頻碼流按照編碼模式的不同進行分類處理:一、對於Intml6xl6模式整個16x16塊的紋理都比較平坦，所以此種模式的宏塊中的大部分4x4塊都採用無邊緣模式。但是也要根據周圍宏塊的預測才莫式來靈活處理。當前宏塊Intrai6x16預測模式為水平預測(H)時，判斷該宏塊左側的宏塊是否也為水平預測模式，如果是，則選擇該16x16宏塊的第二排4x4塊的邊緣特徵為水平邊緣模式，其它4x4塊的邊緣特徵模式為無邊緣才莫式，否則，該宏塊內所有4x4塊的邊緣特徵均為無邊全i^莫式；當前宏塊Intral6xl6預測模式為垂直預測(V)時，判斷該宏塊上面的宏塊是否也為垂直預測模式,如果是，則選擇該16x16宏塊的第二列4x4塊的邊緣特徵為垂直邊緣模式，其它4x4塊的邊緣特徵為無邊緣^t式，否則，該宏塊內所有4x4塊的邊緣特徵均為無邊緣模式;當Intral6x16預測模式為DC預測或平面預測(P)時，選擇該1646宏塊內所有4x4塊都選為無邊緣才莫式。此類宏塊模式的邊緣特徵選擇方法可以用式(l)表示:5if(/wfraMofifej60—1，力==H&&/"加M^6(/，，H&&_/%4==1)if(MraM<Mfe16(/，/一1)==V&&i/raiWbtfe16(/，/)==V&&/%4==1)no—edgeotherwise■0—edge兀/2—edge(1)其中0一edge指水平邊緣模式，7t/2—edge垂直邊緣模式，no一edge指無邊緣模式。二、對於Intra4x4模式:Intra4x4模式有9種預測方向，為了簡化特徵個數，並與MPEG-7標準兼容，選擇其中5個預測方向作為邊緣特徵,將其餘4種預測方向歸結到前5種預測方向中。在判斷邊緣特徵前，首先定義每個4x4塊的預測殘差能量五"(/,力，如式(2)所示與/，，lzx:(/,力l+一qj,(/，/)l+l^o(/,/)l+MCu(/，力l(2)其中DC仏力，^C("(/，j')，』C10(/,j'),v4C"(/，j〕分別為每個4x4塊殘差係數z字掃描的第1、2、3、5個係數。當預測殘差能量小於一定的閾值TH4時，表明該4x4塊受到其預測模式的影響比較大，尤其周圍的4x4塊的預測模式與其方向相匹配時，該塊的邊緣模式更傾向於預測方向;當預測殘差能量大於TH4時，該4x4塊受到其預測殘差的影響比較大，這時可以按照DCT域的方法通過比較各個殘差係數的絕對值大小來獲得其邊緣模式。其中TH4設置為整幀所有4x4塊的平均預測殘差能量。為描述方便，我們將所要用到的條件都用標記表示，並用表1列出如下:表1判斷條件及其對應的標記標記判斷條件M0MlM2M3/"fmMc^O'J)-=DDLM4/rt/mM><3fe4("y)==DDRM5/"的她￡&4仏力==HD6tableseeoriginaldocumentpage7其中/"fraMo血4(i,1)，/WroM%fe4(/-l，乂)，/w/raAfofife4(&l，_/畫1)和/Wra^fo&4(i-l,l/-l)分別代表當前4x4塊上面、左面、右上和左上4x4塊的Intra4x4預測#處式。當4x4塊的Intra4x4預測模式為0、1、3、4(H、V、DDL、DDR)時，由於其預測方向與邊緣特徵方向相同，只需考慮該預測方向的邊^^莫式和無邊緣模式兩種，衝莫式選擇方法如表2所示:表2Intra4x4預測模式為H,V，DDL或DDR時的塊邊緣特徵判斷tableseeoriginaldocumentpage7對於DC預測模式，當殘差能量大於TH4時,該4x4塊的邊緣特徵通過比較各個殘差係數來決定，否則直接選擇無邊緣模式,如表3所示:表3Intra4x4預測模式為DC時的邊緣特徵判斷條件組合水平邊緣模式M2&&E1&&AC2&&AC3垂直邊緣模式M2&&E1&&AC0&&AC145°邊緣模式M2&&E1&&AC4&&AC5&&AC6135°邊緣模式M2&&E1&&AC4&&AC5&&AC7無邊緣模式其它情況當4x4塊的Intra4x4預測模式為5~8(HD、VR、VL、HU)這四種模式時，其預測方向恰好位於兩種預測模式方向的中間，選擇邊緣;漠式時需要考慮其相近的兩種邊緣模式和無邊緣模式，模式選擇方法如表4所示表4Intra4x4預測才莫式為HD，VR，VL或HU時的邊緣特徵判斷條件組合水平邊緣模式(M5&&E0&&LM)||(M5&&E1&&AC0&&AC1)11(M8&&E0&&LM)||(M8&&E1&&ACO&&AC1)垂直邊緣模式(M6&&E0&&UM)||(M6&&E1&&AC2&&AC3)||(M7&&E0&&UM)||(M7&&E1&&AC2&&AC3)45°邊緣模式(M7&&E0&&URM)|1(M7&&E1&&AC5&&AC6)||(M8&&E0&&URM)||(M8&戰1&&AC5&&AC6)135°邊緣模式(M5&&E0&&ULM)||(M5&&E1AC5&&AC6)||(M6&&EO&&ULM)l|(M6&&E1&&AC5&&AC6)無邊緣模式其它情況(4)將分析後得到的子塊邊緣特徵用直方圖方法來表示，作為整個圖像的邊緣特徵。直方圖//("計算方法如式(3)所示:1歸)=-x2乞胸函鄉,/)-=￡層!^)yt=0.'.4(3)MxiV'其中M和W分別為該圖像中4x4塊的列數和行數。五M9Z)五o五M9D五4分別代表無邊緣模式、水平邊緣4莫式、垂直邊緣模式、45°邊緣模式和135°邊緣模式這五種邊緣特徵。基於H.2641幀編碼的圖像編碼方式以其與JPEG2000相近的壓縮性能已經引起圖像編碼組織的注意，成為未來圖像編碼的研究方向之一。本發明利用H.264壓縮碼流中的編碼宏塊的宏塊才莫式特徵和編碼宏塊DCT變換的係數特徵提取出編碼圖像的邊緣特徵，該特徵符合MPEG-7定義的邊緣描述符,可以利用該特徵進行基於內容的圖像檢索。同時,在視頻檢索中通常會選擇I幀作為關鍵幀,那麼該邊緣特徵也可以應用到基於H.264壓縮域的視頻檢索等應用中。權利要求1.一種從H.264壓縮碼流中提取邊緣特徵的方法，包括以下步驟(1)輸入H.264壓縮域視頻流；(2)將H.264壓縮域視頻流進行可變長熵解碼並提取壓縮域視頻流中編碼宏塊的相關特徵；(3)根據獲得的編碼宏塊的宏塊模式特徵和編碼宏塊DCT變換的係數特徵進行分析；(4)將分析後得到的4×4塊邊緣特徵用直方圖方法來表示，作為整個圖像的邊緣特徵。2.根據權利要求1所述的從H.264壓縮碼流中提取邊緣特徵的方法，其特徵在於:所述的步驟2)中編碼宏塊的相關特徵包括編碼宏塊的宏塊模式特徵和編碼宏塊DCT變換的係數特徵。3.根據權利要求1所述的從H.264壓縮碼流中提取邊緣特徵的方法，其特徵在於所述的步驟3)中對獲得的編碼宏塊的宏塊模式特徵和編碼宏塊DCT變換的係數特徵進行分析的具體方法如下:(1)首先按照宏塊模式特徵Intral6xl6和Intra4x4對各個宏塊進行分類；(2)對於Intral6xl6模式的宏塊，按照其預測方式的不同分為三種情況水平預測模式時，根據其左方宏塊是否為水平預測才莫式來判斷該宏塊內部第二排的4x4塊是否選擇水平邊緣模式或無邊緣模式；垂直預測模式時，根據其上方宏塊是否為垂直預測模式來判斷該宏塊內部第二列的4x4塊是否選擇垂直邊緣模式或無邊緣模式；其它情況時，宏塊內部的4x4塊均選擇無邊緣模式。(3)對於1ntra4x4模式的宏塊,結合編碼宏塊DCT變換係數特徵形成的預測殘差能量對各個4x4塊的邊緣特徵進行具體分析。全文摘要本發明公開了一種從H.264壓縮碼流中提取邊緣特徵的方法，包括以下步驟1)輸入H.264壓縮域視頻流；2)H.264壓縮域視頻流通過可變長熵解碼並提取壓縮域視頻流中編碼宏塊的相關特徵；3)根據獲得的編碼宏塊的宏塊模式特徵和編碼宏塊DCT變換的係數特徵進行分析；4)將分析後得到的4×4塊邊緣特徵用直方圖方法來表示，作為整個圖像的邊緣特徵。本發明方法使用H.264壓縮碼流內部信息提取特徵，可以避免由解壓碼流帶來的額外計算，具有很高的運算效率。文檔編號H04N7/26GK101621691SQ20091010096公開日2010年1月6日申請日期2009年8月10日優先權日2009年8月10日發明者傑馮,陳耀武申請人:浙江大學