傳送數據流中的視頻數據和相關聯的元數據的方法

2023-04-23 10:49:36

專利名稱：：傳送數據流中的視頻數據和相關聯的元數據的方法
技術領域：
：本發明涉及一種傳送數據流中的視頻數據和相關聯的元數據的方法，所述元數據表示相關聯的視頻數據結構。本發明還涉及一種傳送數據流中的視頻數據和相關聯的元數據的方法，所述元數據表示與所述視頻數據結構相關聯的指紋信息。
背景技術：
：嵌入視頻比特流中的視頻注釋信息潛在地有利於許多應用-網際網路視頻搜索，-編輯素材搜索；-存儲媒體索引和檢索，-VOD、頻道選擇、PVR...中的視頻瀏覽，-視頻拷貝檢測，-搜索結果群集。這些應用可以概括為三種類別-在視頻文檔中進行文本注釋的需求-針對視覺相似性搜索的視覺特性的需求-針對視頻導航的視頻結構信息的需求隨著對在壓縮視頻流中支持更多功能的需求越來越多，H.264/AVC(也稱為ITU-TH.264標準)採用可以有助於主要與解碼有關的處理的SEI(補充增強信息)消息。現在，該標準已定義了大約20種SEI語法來支持不同的應用。本發明提出了一種具有視頻結構和指紋功能支持的視頻編碼的架構
發明內容根據第一方面，本發明涉及一種將與視頻數據相關聯的指紋信息傳送到視頻數據流中的方法。根據本發明的這一方面，所述方法包括以下步驟--確定與所述視頻數據的至少一個幀相關聯的指紋，-至少將包括所述指紋信息在內的消息插入視頻流中。根據優選實施例，所述視頻數據符合ITU-TH.264標準，並且所述指紋信息被封裝入補充增強信息(SEI)消息中。根據優選實施例，數據結構包括多個節點，每個節點包括多個葉節點，每個塊包括多個節點和葉節點。根據優選實施例，對所述視頻數據進行編碼，並且將所述塊封裝為編碼的視頻數據中的消息，所述塊包括對塊中包括的節點的描述，或包括指示所述描述被包括在下一塊中的信息。根據優選實施例，所述視頻數據是符合ITU-TH.264標準的編碼的元數據，並且至少將所述元數據傳送到補充增強信息(SEI)消息中。根據優選實施例，所述描述中包括的所述信息是在以下內容之間選擇的-節點標識符，-指示所述信息中是否描述了所述節點的指示符，-以及，在當前信息中描述了所述節點的情況下-表示與所述節點相關聯的視頻信息的名稱，-給出與所述節點相關聯的視頻信息的持續時間的時間碼，-多個概要段，以及針對每個概要段-表示概要段的名稱，-表示與所述概要段相關聯的語義信息的類別，-鍵值描述，對在關鍵幀、片斷或文本描述中選擇的段類型進行描述，或者在這些信息的任何組合之間進行選擇。根據本發明涉及的第二方面，本發明提出了一種用於傳送數據流中的視頻數據和相關聯的元數據的方法，所述元數據表示相關聯的視6頻數據結構。根據本發明的這一方面，所述方法包括以下步驟-確定視頻數據的結構，-以增量方式將所述結構分為塊，-在與所述塊相關的視頻數據之前的時間間隔，在數據流中傳送所述塊。根據第三方面，本發明還涉及一種視頻編碼設備，包括-用於確定視頻數據的結構的裝置，-用於以增量方式將所述結構分為塊的裝置，-用於在與所述塊相關的視頻數據之前的時間間隔，將所述塊插入數據流中的裝置。根據第四方面，本發明還涉及一種視頻編碼設備，包括-用於確定與所述視頻數據的至少一個幀相關聯的指紋的裝置，-用於至少將包括所述指紋信息在內的消息插入視頻流中的裝置。根據優選實施例，本發明還涉及一種根據第四方面並符合ITU-TH.264標準的視頻編碼設備，並且所述結構信息被封裝入補充增強信息(SEI)消息中。根據優選實施例，所述視頻編碼設備符合ITU-TH.264標準，並且所述指紋信息被封裝入補充增強信息(SEI)消息中。根據第五方面，本發明還涉及一種個人視頻錄像機，其特徵在於包括-用於對編碼的視頻信息進行解碼的裝置，-用於對以增量方式插入編碼的視頻數據中的相關聯視頻數據結構進行解碼的裝置，-根據在運行時接收到的增量視頻數據結構來對視頻數據結構進行重建的裝置。根據第六方面，本發明還涉及一種個人視頻錄像機，其特徵在於包括-用於對編碼的視頻信息進行解碼的裝置，-用於對編碼的視頻數據中包括的指紋信息進行解碼的裝置，-用於對接收到的編碼的視頻數據進行存儲的裝置，-基於多個所記錄的視頻數據的指紋信息來對多個所記錄的視頻數據進行比較的裝置。藉助附圖，通過對將要示意的本發明的非限制實施例的描述，本發明的其他特性和優點將變得顯而易見。圖l表示根據本發明優選實施例的視頻的結構信息；圖2表示根據本發明優選實施例的視頻的增量分解。具體實施例方式視頻結構描述在於任何視聽文檔的語義組織的描述。這種描述是提供了文檔的自頂向下分解的分級結構。該信息可以用於顯示文檔的簡短概要，或用於對文檔進行快速導航。視頻結構描述了分級構造。根據文檔的類型，用於獲得文檔結構的方法可以不同。如果視頻表示網球比賽，則其結構不同於足球比賽，如果視頻表示電影，則其結構也不同。存在用於獲得視頻的結構的若干方法。圖l示出了所獲得的視頻結構。該結構表示為由包括節點和葉節點在內的樹來表示的視頻的分級分解。節點和葉節點的數目取決於視頻內容及其長度。典型地，樹的深度取決於內容。樹的最低級與結構分解的最高粒度相對應。例如，在網球比賽中，最低級可以與點相對應。如圖1所示，樹的最低級可以與片斷(小段視頻)相對應，或者直接與關鍵幀相對應。使用更低粒度，可以假設最低級可以與關於網球的比賽相對應。在廣播域中，解碼器可以在流的任何點處開始接收流。為了使解碼器利用該結構信息，必須沿著流重複整個樹描述。該方案的問題在於，這可能表現出一些冗餘，並可能消耗太多帶寬。因此，本發明提出了如圖2所示將結構信息分為塊。所提出的語法使得能夠隨著流的流動以增量方式來傳送圖形。這種思想是使用在時間連續的點處傳送的多個塊來分割樹描述。假定在視頻內容的相應部分之前傳送每個塊。在圖2中，將樹分為3塊。節點id使得能夠在解碼器存儲器中對整個樹進行重構。在tl時刻，將指示下一輸入視頻的結構的消息插入流中。該結構在塊1中表示。在t2時刻，將指示下一輸入視頻的結構的消息插入到流中。該結構在塊2中表示。在t3時刻，將指示了下個輸入視頻的結構的消息插入到流中。該結構在塊3中表示。當根據1丁11-丁11264對數據進行編碼時，將結構信息封裝入補充增強信息(SEI)消息中。在以下表中給出SEI消息的結構9tableseeoriginaldocumentpage10表l欄位"reference"指示在當前消息中還是在未來消息中描述給定節點。根據本發明的另一實施例，還可以在廣播的視頻的起始處傳送所有塊。這使得在解碼器中整個結構能夠在廣播的視頻的起始處可用。在優選實施例中，在包括應用了所述SEI消息的視頻在內的NAL之前，每個塊在SEI消息中傳送一次。每個SEI消息包括指示視頻信息的絕對值的時間碼(稱為起始信息和結束信息)。為了對用戶而言有意義，當導航到文檔中時，每個段由名稱表示，並且此外每個段可以由特定標識符(如，SHOT、SCENE、EVENT、NEWS—STORY)來標識，這給出了段的粒度。還可以使用表示視頻內容的語義信息來標識每個段，例如，GOAL、MATCH、GAME、SET。這最後的元數據給出了視頻索引應用的信息。鍵值描述欄位也指示了段的粒度、是否是關鍵幀、視頻片斷、或段的文本描述，包括例如來自多年已知的重要人物的非常重要的宣言。由於樹結構是遞歸的，因此SEI消息的語法是遞歸的。此外，給出了塊中嵌入的分量的數目N。從而，當相繼接收嵌入在數據流中的塊時，根據在表l中描述的語法和節點標識符，由於每個塊不互相獨立而是完全聯繫，能夠重建視頻數據的整個結構。現在，將描述本發明的第二方面，本發明的第二方面提出了一種將指紋信息與視頻一起傳送的方法。視頻指紋處理是一項能夠檢測2個視頻文檔可能包含相同內容或內容片段的技術。視頻指紋處理能夠處理已改變(有意或無意)的內容。這些改變包括-裁剪，壓縮，旋轉，某種圖像改變(模糊…)。視頻指紋處理的公知應用是檢測文檔的盜版。但是由於視頻指紋處理提供了一種識別2個類似文檔的可靠方式，其還具有其他應用，包括在視頻集合中檢測相似物，或在完整編輯的文檔中檢索片斷。這些應用是基於不同形式的純視覺相似度的、典型地支持"內容查詢"的應用它們的目的是檢索幾乎精確匹配的2個拷貝。指紋處理技術依賴於從可由特定搜索應用有效處理的內容中提取描述信息。可以將該描述信息存儲在元數據中，使其立即可用於搜索，而無需對視頻內容進行解壓和分析。根據優選實施例，根據ITU-TR264標準對視頻數據進行編碼。如下表所定義的，將指紋信息封裝入SEI消息中。tableseeoriginaldocumentpage12表2指紋SEI消息可以在流中的任何位置處出現。存在任何數目的這種消息，每個幀中至多一個。典型地，每個鏡頭中存在一個指紋消息。指紋消息指定其所關聯的、在表2中稱為參考幀(從其中提取指紋消息)的確切的幀。這是需要考慮時間約束的指紋檢查機制所需的。時間碼以如下方式來描述小時、分鐘、秒、與嵌入文檔相應的幀編號。由3個字節和1個四位字節表示b(8)、b(8)、b(8)、n(4)。如果對文檔進行編輯，則必須重新產生該元數據。"FingerprintalgorithmIndex"是用於描述該幀的視頻指紋算法的索引。一些不同的視頻指紋算法可以用來描述幀、鏡頭。在通過兩個不同算法提取了兩個視頻指紋處理的情況下，直接的指紋比較是不可能的。在語法定義內，u(w)使用n個比特來表示無符號整數，b(8)表示具有任何比特串模式(8比特)的字節，p^/o6^SV^是整個video—annotation—SEI有效載荷的以字節為單位的大小。為了加速快速比特流解析，這裡不使用可變長度編碼。可以將指紋和視頻結構的信息都組合到還包括其他視頻注釋信息在內的高級SEI消息中。例如，下表可以提出包括與視頻注釋相關的若干類型的元數據在內的SEI消息結構。video一annotation一SEI(payloadSize){C描述符metadataTypeu(8)if(metadataType&0x01==0x01)text—metadata(payloadSize)if(metadataType&0x02==0x02)motion_metadataif(metadataType&0x04==0x04)colour—metadata0if(metadataType&0x08==0x08)texture—metadataif(metadataType&0x10==0x10)fingerprint—metadataif(metadataType&0x10==0x12)structure—metadata0在不背離本發明範圍的前提下，還涉及一種視頻編碼設備，包括-用於確定視頻數據的結構的裝置，-用於以增量方式將所述結構分為塊的裝置，-用於在與所述塊相關的視頻數據之前的時間間隔，將所述塊插入數據流中的裝置。優選地，該編碼設備符合ITU-TH.264標準，並且所述結構信息被封裝入補充增強信息(SEI)消息中。本發明還涉及一種視頻編碼設備，包括-用於確定與所述視頻數據的至少一個幀相關聯的指紋的裝置，-用於至少將包括所述指紋信息在內的消息插入視頻流中的裝置。優選地，該編碼設備符合ITU-TH.264標準，並且所述指紋信息被封裝入補充增強信息(SEI)消息中。本發明還涉及一種個人視頻錄像機，包括-用於對編碼的視頻信息進行解碼的裝置，-用於對以增量方式插入編碼的視頻數據中的相關聯視頻數據結構進行解碼的裝置，-根據在運行時接收到的增量視頻數據結構來對視頻數據結構進行重建的裝置。本發明還涉及一種個人視頻錄像機，包括-用於對編碼的視頻信息進行解碼的裝置，-用於對編碼的視頻數據中包括的指紋信息進行解碼的裝置，-用於對接收到的編碼的視頻數據進行存儲的裝置，-基於多個所記錄的視頻數據的指紋信息來對多個所記錄的視頻數據進行比較的裝置。權利要求1、一種將與視頻數據相關聯的指紋信息傳送到視頻數據流中的方法，其特徵在於，所述方法包括以下步驟-確定與所述視頻數據的至少一個幀相關聯的指紋，-至少將包括所述指紋信息在內的消息插入視頻流中。2、根據權利要求l所述的方法，其特徵在於，所述視頻數據符合ITU-TH.264標準，並且所述指紋信息被封裝入補充增強信息SEI消息中。3、一種用於傳送數據流中的視頻數據和相關聯的元數據的方法，所述元數據表示相關聯的視頻數據結構，其特徵在於，所述方法包括以下步驟-確定視頻數據的結構，-以增量方式將所述結構分為塊，-在與所述塊相關的視頻數據之前的時間間隔，在數據流中傳送所述塊。4、根據權利要求3所述的方法，其特徵在於，所述數據結構包括多個節點，每個節點包括多個葉節點，每個塊包括多個節點和葉節點。5、根據權利要求4所述的方法，其特徵在於，對所述視頻數據進行編碼，並且將所述塊封裝為編碼的視頻數據中的消息，所述塊包括對塊中包括的節點的描述，或包括指示所述描述被包括在下一塊中的"(曰息。6、根據權利要求3所述的方法，其特徵在於，所述視頻數據是符合11!;-丁&264標準的編碼的元數據，並且至少將所述元數據傳送到補充增強信息SEI消息中。7、根據權利要求5所述的方法，其特徵在於，所述描述中包括的所述信息是在以下內容之間選擇的-節點標識符，-指示所述信息中是否描述了所述節點的指示符，-以及，在當前信息中描述了所述節點的情況下-表示與所述節點相關聯的視頻信息的名稱，-給出與所述節點相關聯的視頻信息的持續時間的時間碼，-多個概要段，以及針對每個概要段-表示概要段的名稱，-表示與所述概要段相關聯的語義信息的類別，-鍵值描述，對在關鍵幀、片斷或文本描述中選擇的段類型進行描述，或者在這些信息的任何組合之間進行選擇。8、一種視頻編碼設備，包括-用於確定視頻數據的結構的裝置，-用於以增量方式將所述結構分為塊的裝置，-用於在與所述塊相關的視頻數據之前的時間間隔，將所述塊插入數據流中的裝置。9、一種視頻編碼設備，包括-用於確定與所述視頻數據的至少一個幀相關聯的指紋的裝置，-用於至少將包括所述指紋信息在內的消息插入視頻流中的裝置。10、根據權利要求8所述的視頻編碼設備，其特徵在於，所述視頻編碼設備符合ITU-TH,264標準，並且所述結構信息被封裝入補充增強信息SEI消息中。11、根據權利要求9所述的視頻編碼設備，其特徵在於，所述視頻編碼設備符合11!;-丁11.264標準，並且所述指紋信息被封裝入補充增強信息SEI消息中。12、一種個人視頻錄像機，其特徵在於，包括-用於對編碼的視頻信息進行解碼的裝置，-用於對以增量方式插入到編碼的視頻數據中的相關聯視頻數據結構進行解碼的裝置，-根據在運行時接收到的增量視頻數據結構來對視頻數據結構進行重建的裝置。13、一種個人視頻錄像機，其特徵在於，包括-用於對編碼的視頻信息進行解碼的裝置，-用於對編碼的視頻數據中包括的指紋信息進行解碼的裝置，-用於對接收到的編碼的視頻數據進行存儲的裝置，-基於多個所記錄的視頻數據的指紋信息來對多個所記錄的視頻數據進行比較的裝置。全文摘要本申請涉及一種用於傳送數據流中的視頻數據和相關聯的元數據的方法，所述元數據表示關聯的視頻數據結構。所述方法包括以下步驟確定視頻數據的結構；以增量方式將所述結構分為塊；在與所述塊相關的視頻數據之前的時間間隔，在數據流中傳送所述塊。本申請還涉及一種用於將與視頻數據相關聯的指紋信息傳送到視頻數據流中的方法。所述方法包括以下步驟確定與所述視頻數據的至少一個幀相關聯的指紋；至少將包括所述指紋信息在內的消息插入視頻流中。文檔編號H04N7/24GK101658034SQ200880012026公開日2010年2月24日申請日期2008年4月10日優先權日2007年4月17日發明者利昂內爾·瓦瑟,弗朗西斯科·勒克萊爾,弗雷德裡克·勒菲弗,路易斯·舍瓦利耶申請人:湯姆森許可貿易公司