視頻流數據文件的處理方法及設備的製作方法

2023-07-24 03:33:51 1

專利名稱：視頻流數據文件的處理方法及設備的製作方法
技術領域：
本發明涉及圖像處理技術領域，尤其涉及視頻流數據文件的處理方法及設備。
背景技術：
視頻流數據文件中所包含的視覺內容包括顏色、紋理、形狀和運動信息，其中運動信息是視頻流數據文件區別於圖像數據所特有的內容。基於運動信息的視頻檢索的優勢就在於，它可以提供使用其他圖像特徵所無法實現的檢索功能。 目前有學者研究了如何從視頻中提取運動信息，大量研究主要集中在以下兩種類型。例如， (1) IBM的QBIC (Query By Image Content,圖像檢索)系統將整個視頻序列中的鏡頭分為相機運動和目標運動兩大類，在進行檢索時，用戶須指出要檢索相機運動類的鏡頭，還是目標運動類的鏡頭，以實現基於內容的檢索； (2)還有學者提出了在壓縮域上直接分析運動的方法，該方法不需要對視頻流數據文件進行解壓，通過將2維直流(即DCT (Discrete CosineTransformation,離散餘弦變換)中的DC(Direct Current Component,直流分量)係數圖像沿水平軸或垂直軸投影，變換成1維數據，然後在這個1維數據上估算相機運動。 大量研究表明，以上方法(1)存在的不足在於直接在像素域上分析運動或通過光流方程分析運動都是非常耗時的過程，很難達到實時。 而方法(2)存在的不足在於僅適用於M-JPEG格式的視頻流數據文件，對於目前絕大多數視頻流數據文件來說，大多以MPEG-x、 H. 26x格式存儲，因此該方案的應用面顯然很窄。

發明內容
本發明實施例提供一種視頻流數據文件中視頻場景運動強度的識別方法，用以提
供一種識別視頻流數據文件中視頻場景運動強度的方法，該方法包括 確定視頻流數據文件的前向預測幀P幀中的非運動補償宏塊的數量； 根據所述非運動補償宏塊的數量識別視頻場景的運動強度。 本發明實施例還提供一種視頻流數據文件中視頻流的運動信息提取方法，用以提供一種提取視頻流數據文件中包括運動強度的運動信息的方法，該方法包括
獲取視頻流數據文件中所述視頻場景運動強度的識別結果；
提取視頻流中包括所述識別結果的運動信息。 本發明實施例還提供一種視頻流數據文件的存儲方法，用以提供一種利用包括運動強度參數的運動信息來存儲視頻流數據文件的方法，該方法包括
獲取需保存的視頻流數據文件； 獲取該視頻流數據文件的運動信息，所述運動信息包括所述視頻場景運動強度的識別結果；
存儲視頻流數據文件，並以所述運動信息作為該視頻流數據文件的標識。 本發明實施例還提供一種檢索按所述存儲方法存儲的視頻流數據文件的方法，用
以提供一種利用包括運動強度參數的運動信息來檢索視頻流數據文件的方法，該方法包
括 以運動強度為檢索詞進行檢索； 反饋標識與檢索詞匹配的視頻流數據文件，所述標識是以視頻流數據文件的運動
信息作為標識的，所述運動信息包括所述視頻場景運動強度的識別結果。 本發明實施例提供一種視頻流數據文件中視頻場景運動強度的識別裝置，用以提
供一種識別視頻流數據文件中視頻場景運動強度的方法，該裝置包括 確定模塊，用於確定視頻流數據文件的前向預測幀P幀中的非運動補償宏塊的數 識別模塊，用於根據所述非運動補償宏塊的數量識別視頻場景的運動強度。
本發明實施例還提供一種視頻流數據文件中視頻流的運動信息提取裝置，用以提 供一種提取視頻流數據文件中包括運動強度的運動信息的方法，該裝置包括
獲取模塊，用於獲取視頻流數據文件中所述識別模塊的識別結果；
提取模塊，用於提取視頻流中包括所述識別結果的運動信息。 本發明實施例還提供一種視頻流數據文件的存儲資料庫系統，用以提供一種利用 包括運動強度參數的運動信息來存儲視頻流數據文件的方法，該系統包括
待保存文件獲取模塊，用於獲取需保存的視頻流數據文件； 運動信息獲取模塊，用於獲取該視頻流數據文件的運動信息，所述運動信息包括 所述識別模塊的識別結果； 存儲模塊，用於存儲視頻流數據文件，並以所述運動信息作為該視頻流數據文件 的標識。 本發明實施例還提供一種檢索所述資料庫系統中視頻流數據文件的檢索系統，用 以提供一種利用包括運動強度參數的運動信息來檢索視頻流數據文件的方法，該系統包 括 檢索模塊，用於以運動強度為檢索詞進行檢索； 反饋模塊，用於反饋標識與檢索詞匹配的視頻流數據文件，所述標識是以視頻流
數據文件的運動信息作為標識的，所述運動信息包括所述識別模塊的識別結果。 本發明實施例中提出了基於P幀非運動補償宏塊數量來判斷的視頻場景運動強
度的等級劃分，並給出了識別運動強度的技術方案。進一步的，在提取運動信息中包括了對
運動強度等級的提取。更進一步的，利用包括運動強度的運動信息來作為標識，構建了視頻
流數據文件的存儲以及檢索的技術方案。 由於在本發明實施例中，是在壓縮域視頻直接進行運動信息的檢索，因而耗時短， 特別適用於實時監控及檢索；克服了現有技術中因直接在像素域上分析運動或通過光流方 程分析運動導致非常耗時、很難達到實時的不足。 同時，由於在本發明實施例中，可對基於MPEG/H. 26X標準進行壓縮的視頻進行檢 索，只要是具備P幀特點的壓縮算法都可實施，因此可滿足目前大部分媒體管理系統的需 求。克服了現有技術僅適用於M-JPEG格式的視頻，應用面顯然很窄的不足。


圖1為本發明實施例中視頻流數據文件中視頻場景運動強度的識別方法流程圖； 圖2為本發明實施例中一個圖像組的幀結構示意圖； 圖3為本發明實施例中MPEG視頻中非運動補償宏塊分布示意圖； 圖4為本發明實施例中橄欖球比賽的視頻流數據文件中的開始階段圖像與比賽
階段圖像比較示意圖； 圖5為本發明實施例中新聞播報的視頻流數據文件中的圖像與足球比賽的視頻
流數據文件中的圖像比較示意圖； 圖6為本發明實施例中u率折線示意圖； 圖7為本發明實施例中一個新聞播報的鏡頭； 圖8為本發明實施例中新聞播報鏡頭中每個P幀的Gu(a)值的分布情況示意圖； 圖9為本發明實施例中一個足球比賽中的鏡頭； 圖10為本發明實施例中足球比賽鏡頭中每個P幀的Gu(a)值的分布情況示意 圖； 圖11為本發明實施例中視頻流數據文件中視頻流的運動信息提取方法流程圖； 圖12為本發明實施例中視頻流數據文件的存儲方法流程圖； 圖13為本發明實施例中採集視頻流數據文件的流程圖； 圖14為本發明實施例中檢索視頻流數據文件的方法流程圖； 圖15為本發明實施例中查詢視頻流數據文件的流程圖； 圖16為本發明實施例中視頻流數據文件中視頻場景運動強度的識別裝置結構示 意圖； 圖17為本發明實施例中視頻流數據文件中視頻流的運動信息提取裝置結構示意 圖； 圖18為本發明實施例中視頻流數據文件的存儲資料庫系統結構示意圖； 圖19為本發明實施例中資料庫系統中視頻流數據文件的檢索系統結構示意圖。
具體實施例方式
本發明實施例中，首先提出一種視頻流數據文件中視頻場景運動強度的識別方 法，從而提出一種以運動強度為依據的視頻流的運動信息提取方法，並進而以該包括了運 動強度的運動信息來構建一種視頻流數據文件的存儲方法，以及一種檢索按該方法存儲的 視頻流數據文件的方法，通過以視頻場景的運動強度為參量解決了運動信息的提取、以及 相關的存儲和查詢，下面分別對運動強度的識別、運動信息的提取、視頻流數據文件的存 儲、檢索的具體實施方式
進行說明。 如圖1所示，本發明實施例中，視頻流數據文件中視頻場景運動強度的識別方法 流程可以包括 步驟101、確定視頻流數據文件的前向預測幀P幀中的非運動補償宏塊的數量；
步驟102、根據非運動補償宏塊的數量識別視頻場景的運動強度。
本實施例中，步驟101中P幀的選取，以MPEG壓縮算法為例進行說明。
MPEG數據結構被定義為圖像序列(Sequence)、圖像組(GOP)、圖像(Picture)、宏 塊條(Slice)、宏塊(MB)和塊(Block)。 —個圖像組的幀結構如圖2所示，MPEG採用了三種類型的圖像1幀(幀內幀)、P 幀(預測幀)和B幀(雙向預測幀)。幀是成組壓縮的GOP，在每一組中，第一幀總是I幀， I幀是只使用本幀內的信息進行編碼的圖像，採用基於DCT的編碼技術，壓縮率不高；P幀是 使用前面最靠近的I幀或P幀圖像作為參考幀進行預測編碼的圖像，採用運動補償技術，編 碼效率較高；B幀是使用一個過去的參考幀的和一個將來的參考幀進行運動補償預測的編 碼圖像，其參考幀可以是一個I幀和P幀，或是前後兩個P幀，壓縮效率最高，但不作為預測 的參考圖像。 I幀是幀內編碼，沒有包含視頻相關的運動信息。而P幀和B幀是幀間編碼，採用 基於16X 16像素的宏塊的運動補償技術，P幀是前向預測，B幀是雙向預測，如果採用B幀， 處理起來運算量會比較大而且會比較煩瑣。與此相反，處理P幀時就方便的多。而且在典 型的視頻流中P幀的出現頻率約每秒出現8次。這對於基於運動特徵視頻檢索來說是足夠 了。 基於上述理由，選取P幀為提取壓縮視頻運動信息的關鍵幀。本實施例是以MPEG
壓縮算法為例進行說明的，但是由選取P幀實施的理由可知，本發明實施時，並不僅限於
MPEG系列壓縮算法處理的視頻流數據文件，而是只要圖像壓縮算法中的I幀(幀內幀)、P
幀(預測幀)和B幀(雙向預測幀)具有MPEG壓縮算法特點，即P幀既包含運動信息，且
處理相對方便，則滿足該要求的圖像壓縮算法都可以用來實施。 下面對步驟101中提取P幀中的非運動補償宏塊進行詳細說明。 壓縮視頻流採用了運動補償技術， 一般是基於宏塊處理的。對於一個P幀來說，被
預測宏塊與參考宏塊不在幀內的同一位置時，編碼器將調用運動補償技術來進行編碼。當
宏塊沒有運動補償(No_MC)時，稱其為非(無)運動補償宏塊。 視頻流中有兩種非運動補償宏塊，一種是幀內編碼(inter)的非運動補償宏塊， 另一種是幀間編碼(intra)的非運動補償宏塊。以典型的MPEG編碼器結構為例，在壓縮 過的視頻基本碼流(ES)中，都會有宏塊層，裡面包含了P幀及B幀的運動矢量(MV-Motion Vectors)。附加數據包含的信息有表明宏塊在宏塊條層中位置的宏塊地址、說明宏塊編碼 方法及內容的宏塊類型、宏塊量化參數、區別運動矢量類型及大小、表明以場離散餘弦變換 (DCT-DiscreteCosine Transform)還是以幀DCT進行編碼的DCT類型。通過讀取和解析宏 塊條層的包頭信息，可以建立一個判斷幀內編碼或幀間編碼的分類器(classifier)，用來 區分幀內編碼和幀間編碼宏塊。 幀內編碼或幀間編碼的分類器會與輸入圖片元素(象素)比較預測誤差。如果預 測的均方誤差超過了宏塊的均方值就判斷為幀內編碼，否則就是幀間編碼。幀內編碼和幀 間編碼的非運動補償宏塊可以分別得到。 P幀的宏塊中只包含幀間編碼的非運動補償宏塊。事實上，在特殊情況下，當一個 宏塊和參考塊匹配得很好時，它將被跳過，根本不進行編碼。圖3示出了 MPEG視頻中非運 動補償宏塊的分布結構。 下面對步驟102中對運動強度的確定進行詳細說明。 通過非運動補償宏塊定義可以得到，當視頻內容變化不明顯時，大量的宏塊都與參考幀中的宏塊匹配的很好，那麼P幀中的非運動補償宏塊的數量就會比較大。例如，體育 運動的暫停期間，一般只有一些小對象的運動而且作為視頻流數據文件獲取設備的攝象機 鏡頭通常會被固定，因此相應的非運動補償宏塊的數量會很大。同理，當視頻內容變化很快 時，很多宏塊都不能很好的和它們參考幀宏塊相匹配，因此，P幀中幀間編碼的非運動補償 宏塊數量就會很小。綜上可知，可以根據非運動補償宏塊的數量來識別視頻場景的運動強 度。下面對具體的識別實施方式進行說明。 首先定義一個關於P幀的比率a ，該值為P幀的幀間編碼的非運動補償宏塊數量 與P幀宏塊總數量的比率，可以用公式形式表示如下
—Numberof inter No一MC Macroblock
TotalNumberof FrameMacroblock 由a的定義及前述分析可以知道，比率a越高代表場景運動強度越小，反之，則 場景運動越大。圖4為橄欖球比賽的視頻流數據文件中的開始階段圖像與比賽階段圖像比 較示意圖，如圖4的兩幀圖像可見，第一幀為比賽的開始階段，其a值比較高，為86%，而第 二幀為比賽過程中的一幀，其a值比較低，僅為5%。 圖5為新聞播報的視頻流數據文件中的圖像與足球比賽的視頻流數據文件中的 圖像比較示意圖，如圖5所示不同視頻中的兩幀圖像，第一幀為新聞播報，視頻運動極為緩 慢，其a值比較高，為94%，而第二幀為足球比賽中的一幀，視頻運動很快，其a值比較低， 僅為30%左右。 通過上述分析，發明人注意到，比率a的變化規律符合場景運動強度的變化規 律，並且和人的感覺比較一致，因此可以此為運動信息的一個特徵，更進一步的，作為一個 區分值，可以用於視頻檢索，下面還有實施例會對該檢索、存儲的實施進行介紹。
但是，確定場景運動強度的級別，較佳的方式是不直接使用比率a ，而是把比率 a進一步量化成幾個等級。因此首先將比率a進行u率變換為Gu(a)，然後再根據比率的 u率變換結果識別視頻場景的運動強度。具體實施中，並不僅限於u率變換這一種方式，其 他能夠把比率a進一步量化成幾個等級的方式都可以實施，即其目的在於使得大比率a 值有更大的量化步長。貝U，比率的u率變換可以具體為
Gu(a ) = In(1+u a )/In(1+u) ，0《a《l，其中: a為P幀的幀間編碼的非運動補償宏塊數量與P幀宏塊總數量的比率，P是壓擴 參數，表示壓縮的程度。 圖6為u率折線示意圖，如圖6所示，可以直接使用Gu ( a )值來進行級別劃分。圖 7為一個新聞播報的鏡頭，圖8為新聞播報鏡頭中每個P幀的Gu(a)值的分布情況示意圖。 可以看出新聞播報中的Gu(a )值幾乎所有的點都分布在大於0. 9的範圍內。
同樣的，圖9為一個足球比賽中的鏡頭，圖10為足球比賽鏡頭中每個P幀的 Gu(a)值的分布情況示意圖，可以看出所有的點都分布在0.6以下，一般足球比賽的圖像 運動強度是大於新聞播報的，可見Gu(a)值與圖像場景的運動強度相關，且其值越高則運 動強度越低，由Gu(a )值的產生也能證明這一規律。 由此可以看出，通過P幀的Gu(a)值直接劃分運動強度級別是可行的。結合 MPEG-7標準，也可把場景的運動強度級分為五級。
8
第一級，極慢，0. 9《Gu ( a )《1. 0 ;
第二級，較慢，0. 8《Gu ( a )《0. 9 ;
第三級，中，O. 7《Gu(a )《0. 8 ;
第四級，較快，0.6《Gu(a)《0.7;
第五級，很快，O. 0《Gu(a )《0. 6。 相應的，在步驟102識別視頻場景的運動強度時，便可以根據比率的u率變換結果識別視頻場景的運動強度，具體識別可以為 將0. 9《Gu ( a )《1. 0的視頻場景的運動強度識別為極慢；
將0. 8《Gu ( a )《0. 9的視頻場景的運動強度識別為較慢；
將0. 7《Gu ( a )《0. 8的視頻場景的運動強度識別為正常；
將0. 6《Gu ( a )《0. 7的視頻場景的運動強度識別為極快；
將0. 0《Gu ( a )《0. 6的視頻場景的運動強度識別為很快；
其中，Gu(a )為所述比率的u率變換結果。 利用上述運動強度的識別結果，實施中可以將其作為一個運動信息的特徵值，並用以表徵視頻流數據文件。基於此，本發明實施例還提供了一種視頻流數據文件中視頻流的運動信息提取方法，下面對該方法的具體實施方式
進行說明。 如圖11所示，本發明實施例中視頻流數據文件中視頻流的運動信息提取方法流程可以包括 步驟1101、確定視頻流數據文件的前向預測幀P幀中的非運動補償宏塊的數量；
步驟1102、根據非運動補償宏塊的數量識別視頻場景的運動強度；
步驟1103、獲取視頻場景運動強度的識別結果；
步驟1104、提取視頻流中包括識別結果的運動信息。 當能提取包括識別結果的運動信息後，便可以利用該運動信息來對視頻流數據文件的分類依據，即，按照前述的運動強度等級來對視頻流數據文件分類，並將其作為檢索的依據。據此，本發明實施例中還提供了一種視頻流數據文件的存儲方法、以及一種檢索視頻流數據文件的方法，下面對它們的實施方式進行說明。 如圖12所示，本發明實施例中視頻流數據文件的存儲方法流程可以包括
步驟1201、獲取需保存的視頻流數據文件； 步驟1202、獲取該視頻流數據文件的運動信息，運動信息包括視頻場景運動強度的識別結果； 步驟1203、存儲視頻流數據文件，並以所述運動信息作為該視頻流數據文件的標識。 步驟1201中，為了使對視頻流數據文件的檢索結果能夠更具有普遍性，需要大量的且不同種類的壓縮視頻，因此可以採集大量的視頻流數據文件。實施中，可使用視頻採集卡，將電視中的節目錄製下來並轉換成相應格式但 ￡61或11.261系列)的壓縮視頻。
實施中，將存儲了視頻流數據文件的實體稱為資料庫，則資料庫可使用MicrosoftSQL Sever 2000或其他資料庫軟體實現，在資料庫中採用關鍵幀圖像代表鏡頭進行視頻存儲，以關鍵幀的特徵信息(如運動信息)代表關鍵幀圖像的管理方式，用來實現基於運動的壓縮視頻流數據文件的存儲與檢索。
9
資料庫系統中可以包含多種不同類型、不同方式的視頻流數據文件，例如可以採集以下類型的視頻流數據文件兒童節目，MTV，演唱會，新聞播報，人物專題採訪，電視劇，籃球比賽，足球比賽，桌球比賽，排球比賽等。 —個具體實例中採集視頻流數據文件的實施流程如圖13所示，可以包括
步驟1301、獲取視頻流數據文件； 步驟1302、對視頻流數據文件進行鏡頭分割，分別轉入步驟1303、 1304 ;
步驟1303、提取運動特徵，轉入步驟1307 ;
步驟1304、提取關鍵幀並聚類；
步驟1305、提取特徵；
步驟1306、提取其它特徵； 步驟1307、將視頻流數據文件存入資料庫，並用運動特徵及其他特徵標識。
其中，步驟1303中所提取的運動特徵便包括了前述實施例中的運動強度特徵，其提取的實施可以如圖1所示的執行。步驟1305、1306中提取的特徵可以是其它的一些特徵，如時間、色度等等，可以用其與包括了運動強度的運動信息一起來標識視頻流數據文件。
在利用上述方式標識視頻流數據文件後，顯然，可以利用這些標識來檢索資料庫中存儲的視頻流數據文件，因此，本發明實施例中還提供了一種檢索視頻流數據文件的方法，下面對檢索方法的具體實施方式
進行說明。 如圖14所示，本發明實施例中，檢索視頻流數據文件的方法流程可以包括 步驟1401、以運動強度為檢索詞進行檢索； 步驟1402、反饋標識與檢索詞匹配的視頻流數據文件。 本步驟中，標識是以視頻流數據文件的運動信息作為標識的，顯然，運動信息包括如前所述的視頻場景運動強度的識別結果。 上述實施例中是直接以運動強度為檢索關鍵詞進行的檢索，實施中，設需在資料庫中檢索與視頻流數據文件A相同的若干同樣性質的視頻流數據文件，例如查詢視頻素材等。則可以配合前述存儲視頻流數據文件資料庫進行查詢。 —個具體實例中，查詢視頻流數據文件的實施流程如圖15所示，可以包括
步驟1501、獲取需檢索的視頻流數據文件； 步驟1502、對需檢索的視頻流數據文件進行鏡頭分割，分別轉入步驟1503、 1504 ;
步驟1503、提取運動特徵，轉入步驟1507 ;
步驟1504、提取關鍵幀並聚類；
步驟1505、提取特徵；
步驟1506、提取其它特徵； 步驟1507、將運動特徵、其他特徵作為檢索詞在資料庫中檢索匹配的標識；
步驟1508、將資料庫中匹配該標識的視頻流數據文件輸出。 其中，步驟1503中所提取的運動特徵便包括了前述實施例中的運動強度特徵，其提取的實施可以如圖1所示的執行。步驟1505、1506中提取的特徵可以是其它的一些特徵，如時間、色度等等，可以用其與包括了運動強度的運動信息一起來檢索視頻流數據文件。
具體實施中，可以提供一個面向視頻資料庫檢索者的客戶端。用戶便可以用圖片或視頻為檢索條件，通過客戶端界面，進行基於運動及其他特徵的提取，並與資料庫中的數
10據進行匹配，從而便可以從視頻資料庫中檢索到所要查詢的視頻素材。 本領域普通技術人員可以理解上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬體完成，該程序可以存儲於一計算機可讀存儲介質中，存儲介質可以包括R0M、RAM、磁碟或光碟等。 基於同一發明構思，本發明實施例還提供了一種視頻流數據文件中視頻場景運動強度的識別裝置，其結構如圖16所示，可以包括 確定模塊1601，用於確定視頻流數據文件的前向預測幀P幀中的非運動補償宏塊的數量； 識別模塊1602，用於根據所述非運動補償宏塊的數量識別視頻場景的運動強度。
—個實施例中，識別模塊還可以用於根據P幀的幀間編碼的非運動補償宏塊數量與P幀宏塊總數量的比率，識別視頻場景的運動強度。 —個實施例中，識別模塊還可以用於根據所述比率的u率變換結果，識別視頻場景的運動強度。 —個實施例中，識別模塊還可以用於在比率進行u率變換時，比率進行u率變換為Gu ( a )， Gu(a ) = ln(l+ua )/ln(l+u) ，0《a《l，其中: a為P幀的幀間編碼的非運動補償宏塊數量與P幀宏塊總數量的比率，P是壓擴參數。 —個實施例中，識別模塊還可以用於在根據所述比率的u率變換結果，識別視頻場景的運動強度時， 將0. 9《Gu ( a )《1. 0的視頻場景的運動強度識別為極慢；
將0. 8《Gu ( a )《0. 9的視頻場景的運動強度識別為較慢；
將0. 7《Gu ( a )《0. 8的視頻場景的運動強度識別為正常；
將0. 6《Gu ( a )《0. 7的視頻場景的運動強度識別為極快；
將0. 0《Gu ( a )《0. 6的視頻場景的運動強度識別為很快；
其中，Gu(a)為所述比率的u率變換結果。 基於同一發明構思，本發明實施例還提供一種視頻流數據文件中視頻流的運動信息提取裝置，其結構如圖17所示，可以包括 獲取模塊1701，用於獲取視頻流數據文件運動強度的識別結果；其中，識別結果可以採用識別模塊的執行結果； 提取模塊1702，用於提取視頻流中包括所述識別結果的運動信息。 基於同一發明構思，本發明實施例還提供一種視頻流數據文件的存儲資料庫系
統，其結構如圖18所示，可以包括 待保存文件獲取模塊1801，用於獲取需保存的視頻流數據文件； 運動信息獲取模塊1802，用於獲取該視頻流數據文件的運動信息，所述運動信息
包括對運動強度的識別結果；其中，識別結果可以採用識別模塊的執行結果； 存儲模塊1803，用於存儲視頻流數據文件，並以所述運動信息作為該視頻流數據
文件的標識。 基於同一發明構思，本發明實施例還提供一種資料庫系統中視頻流數據文件的檢索系統，其結構如圖19所示，可以包括 檢索模塊1901，用於以運動強度為檢索詞進行檢索； 反饋模塊1902，用於反饋標識與檢索詞匹配的視頻流數據文件，所述標識是以視頻流數據文件的運動信息作為標識的，所述運動信息對運動強度的識別結果，其中，識別結果可以採用識別模塊的執行結果。 由上述實施例可以看出，本發明實施例中提出了基於P幀非運動補償宏塊的數量來判斷的視頻場景運動強度的等級劃分，並給出了識別運動強度的技術方案。進一步的，在提取運動信息中包括了對運動強度等級的提取。更進一步的，利用包括運動強度的運動信息來作為標識，構建了視頻流數據文件的存儲以及檢索的技術方案。 由於在本發明實施例中，是在壓縮域視頻直接進行運動信息的檢索，因而耗時短，特別適用於實時監控及檢索；克服了現有技術中因直接在像素域上分析運動或通過光流方程分析運動導致非常耗時、很難達到實時的不足。 同時，由於在本發明實施例中，可對基於MPEG/H. 26X標準進行壓縮的視頻進行檢
索，只要是具備P幀特點的壓縮算法都可實施，因此可滿足目前大部分媒體管理系統的需
求。克服了現有技術僅適用於M-JPEG格式的視頻，應用面顯然很窄的不足。 顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精
神和範圍。這樣，倘若對本發明的這些修改和變型屬於本發明權利要求及其等同技術的範
圍之內，則本發明也意圖包含這些改動和變型在內。
權利要求
一種視頻流數據文件中視頻場景運動強度的識別方法，其特徵在於，該方法包括確定視頻流數據文件的前向預測幀P幀中的非運動補償宏塊的數量；根據所述非運動補償宏塊的數量識別視頻場景的運動強度。
2. 如權利要求1所述的方法，其特徵在於，根據所述非運動補償宏塊的數量識別視頻 場景的運動強度，包括根據P幀的幀間編碼的非運動補償宏塊數量與P幀宏塊總數量的比率，識別視頻場景 的運動強度。
3. 如權利要求2所述的方法，其特徵在於，根據所述比率的U率變換結果，識別視頻場 景的運動強度。
4. 如權利要求3所述的方法，其特徵在於，所述比率的U率變換包括 比率進行u率變換為Gu(a)，formula see original document page 2，其中:a為P幀的幀間編碼的非運動補償宏塊數量與P幀宏塊總數量的比率，P是壓擴參數。
5. 如權利要求3或4所述的方法，其特徵在於，根據所述比率的u率變換結果，識別視 頻場景的運動強度，包括將0. 9《Gu ( a )《1. 0的視頻場景的運動強度識別為極慢； 將0. 8《Gu ( a )《0. 9的視頻場景的運動強度識別為較慢； 將0. 7《Gu ( a )《0. 8的視頻場景的運動強度識別為正常； 將0. 6《Gu ( a )《0. 7的視頻場景的運動強度識別為極快； 將0. 0《Gu( a )《0. 6的視頻場景的運動強度識別為很快； 其中，Gu(a)為所述比率的u率變換結果。
6. —種視頻流數據文件中視頻流的運動信息提取方法，其特徵在於，該方法包括 獲取視頻流數據文件中如權利要求1所述的視頻場景運動強度的識別結果； 提取視頻流中包括所述識別結果的運動信息。
7. —種視頻流數據文件的存儲方法，其特徵在於，該方法包括 獲取需保存的視頻流數據文件；獲取該視頻流數據文件的運動信息，所述運動信息包括如權利要求1所述的視頻場景 運動強度的識別結果；存儲視頻流數據文件，並以所述運動信息作為該視頻流數據文件的標識。
8. —種檢索按權利要求7所述方法存儲的視頻流數據文件的方法，其特徵在於，該方 法包括以運動強度為檢索詞進行檢索；反饋標識與檢索詞匹配的視頻流數據文件，所述標識是以視頻流數據文件的運動信息 作為標識的，所述運動信息包括如權利要求1所述的視頻場景運動強度的識別結果。
9. 一種視頻流數據文件中視頻場景運動強度的識別裝置，其特徵在於，包括 確定模塊，用於確定視頻流數據文件的前向預測幀P幀中的非運動補償宏塊的數量； 識別模塊，用於根據所述非運動補償宏塊的數量識別視頻場景的運動強度。
10. 如權利要求9所述的裝置，其特徵在於，所述識別模塊進一步用於根據P幀的幀間編碼的非運動補償宏塊數量與P幀宏塊總數量的比率，識別視頻場景的運動強度。
11. 如權利要求io所述的裝置，其特徵在於，所述識別模塊進一步用於根據所述比率的u率變換結果，識別視頻場景的運動強度。
12. 如權利要求ll所述的裝置，其特徵在於，所述識別模塊進一步用於在比率進行u率 變換時，比率進行u率變換為Gu ( a )，Gu(a ) = ln(l+ua )/ln(l+u) ，0《a《l，其中:a為P幀的幀間編碼的非運動補償宏塊數量與P幀宏塊總數量的比率，P是壓擴參數。
13. 如權利要求11或12所述的裝置，其特徵在於，所述識別模塊進一步用於在根據所 述比率的u率變換結果，識別視頻場景的運動強度時，將0. 9《Gu ( a )《1. 0的視頻場景的運動強度識別為極慢； 將0. 8《Gu ( a )《0. 9的視頻場景的運動強度識別為較慢； 將0. 7《Gu ( a )《0. 8的視頻場景的運動強度識別為正常； 將0. 6《Gu ( a )《0. 7的視頻場景的運動強度識別為極快； 將0. 0《Gu( a )《0. 6的視頻場景的運動強度識別為很快； 其中，Gu(a)為所述比率的u率變換結果。
14. 一種視頻流數據文件中視頻流的運動信息提取裝置，其特徵在於，包括 獲取模塊，用於獲取視頻流數據文件中如權利要求9所述識別模塊的識別結果； 提取模塊，用於提取視頻流中包括所述識別結果的運動信息。
15. —種視頻流數據文件的存儲資料庫系統，其特徵在於，包括 待保存文件獲取模塊，用於獲取需保存的視頻流數據文件；運動信息獲取模塊，用於獲取該視頻流數據文件的運動信息，所述運動信息包括如權 利要求9所述識別模塊的識別結果；存儲模塊，用於存儲視頻流數據文件，並以所述運動信息作為該視頻流數據文件的標識。
16. —種檢索權利要求15所述資料庫系統中視頻流數據文件的檢索系統，其特徵在於，該系統包括檢索模塊，用於以運動強度為檢索詞進行檢索；反饋模塊，用於反饋標識與檢索詞匹配的視頻流數據文件，所述標識是以視頻流數據 文件的運動信息作為標識的，所述運動信息包括如權利要求9所述識別模塊的識別結果。
全文摘要
本發明公開了一種視頻流數據文件中視頻場景運動強度的識別方法，該方法包括確定視頻流數據文件的前向預測幀P幀中的非運動補償宏塊的數量；根據所述非運動補償宏塊的數量識別視頻場景的運動強度。本發明同時公開一種視頻流數據文件中視頻場景運動強度的識別裝置、視頻流數據文件中視頻流的運動信息提取方法及裝置、視頻流數據文件的存儲方法及系統、視頻流數據文件的檢索方法及系統。採用本發明能夠對視頻流數據文件進行實時的、應用面廣的檢索。
文檔編號G06T7/20GK101770647SQ20081024706
公開日2010年7月7日 申請日期2008年12月31日 優先權日2008年12月31日
發明者嚴砥, 侯清富, 朱春梅, 梅海波 申請人:中國移動通信集團公司