流媒體的數字水印信息嵌入方法
2023-08-05 23:54:31
專利名稱：流媒體的數字水印信息嵌入方法
技術領域：
本發明涉及流媒體處理技術領域，更具體而言，涉及一種在流媒體中嵌入水印信息的方法。
背景技術：
近年來，隨著數位化技術的進步和internet的迅速發展，多媒體信息的交流達到了前所未有的深度和廣度，其內容和形式愈加豐富。目前文字、音頻和視頻三位一體化的信息和娛樂服務成為主流，而帶內容的主體變成了「流媒體(Streaming media)」而非網頁。
流媒體技術是指採用流式傳輸的方式將多媒體信息(文本、圖片、聲音以及視頻等文件，還有實時的音頻/視頻源)經過各種壓縮方式分成一個個包，由視頻伺服器按照特定的順序將各種多媒體信息連續、實時發送出去，客戶端可以一邊接收數據一邊播放，而不必等多媒體信息全部下載完畢，多媒體信息的剩餘部分在後臺從伺服器內繼續接收。然而，對於客戶端用戶而言，不僅僅希望在網絡上快速獲取所需多媒體信息，同時還希望所獲得的信息是安全可靠的；對於流媒體伺服器的多媒體信息提供商而言，除了實現快速安全的信息傳播以滿足客戶要求，還要防止所發布的信息是無法非法複製，更重要的是得到客戶端的信息反饋，達到對用戶信息的統計監測等用途。
目前控制客戶端進行信息反饋等操作一般都是通過伺服器集中向所有客戶端發送命令或者客戶端定時向伺服器反饋信息的方式來實現。採用伺服器集中向客戶端發送命令的方式缺點在於當客戶端數量很大時，命令的集中發送效率低，且伺服器負載大；採用客戶端定時反饋信息時，缺點在於客戶端反饋的信息內容種類較為固定，不方便實現伺服器隨時採集需要收集的信息。而提供流媒體信息的伺服器端所需要做到的是防止非法信息拷貝，發布安全可靠的多媒體信息，並收集客戶端信息。通過在流媒體中嵌入數字水印的方法可以有效的實現以上所述的功能。其中數字水印技術是通過一定的算法將一些標誌性信息嵌到多媒體數字作品內容中或者軟體程序的代碼、動態數據結構或者數據中，並且不影響原內容的價值和使用。數字水印技術的最初目的為的是為了實現數字作品的版權保護，隨著研究的不斷深入，其應用領域得到了極大擴展，概括起來，數字水印技術目前主要應用在版權保護、拷貝保護、盜版跟蹤、真偽鑑別、保密通信等方面。
現有應用於音視頻的數字水印的嵌入方式主要有三種。一種是在原始視頻碼流中，即編碼壓縮之間將水印信號嵌入圖像。按這種途徑嵌入的水印信息，水印不易遭破壞，但計算量大，算法複雜，如圖1所示。另一種是在編碼過程中，利用編碼器提供的信息進行，基本不增加編碼器的運算複雜度，但該方式對於已壓縮的視頻文件需要一個完全或部分解壓，嵌入水印信息以及再編碼的過程。還有一種是在壓縮碼流中，多數以替代法或者覆蓋法嵌入數字水印；其中在覆蓋法中水印信號通常嵌入在時域(音頻)、空域(圖像)、空時域(視頻)或變換域(離散餘弦變換DCT，離散小波變換等)；而在替代法中就是將數字水印信息替換原始媒體中最不重要的位置，這樣的算法簡單速度快，但對圖像的質量影響最大，客戶端在解析水印信息時需要原始媒體數據。所述覆蓋法直接把數字水印信息嵌入到圖像數據的時、空域，如嵌入到DCT(離散餘弦變換)係數，如圖2所示。但是，這樣在客戶端解析水印信息時，需要先對視頻數據解碼；還有是結合視頻壓縮編碼，把水印嵌入到預測幀(P、B幀)編碼中，雖然客戶端可以避免對視頻數據解碼的要求而直接對視頻數據實施水印信息的解析，但處理負擔比前一種重。在利用覆蓋法的嵌入水印信息方面存在有很多不同的方案，例如，在日本富士通株式會社在中國所申請的專利號為ZL 98108421.4的專利文獻中，公開了隨機選擇水印信息嵌入各幀的位置，並將數字水印信息覆蓋幀中的局部圖像，並需要記錄嵌入水印信息的幀號和插入的位置，用以恢復被覆蓋局部圖像的原圖像。
然而，現有的應用於流媒體的數字水印技術很少涉及伺服器端與客戶端的信息交流，即數字水印所攜帶的附加信息並不能幫助伺服器端獲取客戶端信息，以進行數據統計。現有的數字水印技術側重於版權保護，嵌入方法往往不能完全保證流媒體畫面質量，而且在某種程度上改變了原有數據的內容。
發明內容
本發明的目的在於，提供一種流媒體的數字水印嵌入方法，以克服現有數字水印技術中算法計算複雜度高、破壞原有多媒體文件內容和無法對視頻信息在客戶端情況進行統計的問題。
一種視頻流媒體的數字水印信息嵌入方法，包括步驟流媒體伺服器從視頻流媒體的幀中選擇至少一個需要嵌入數字水印信息的關鍵位置；將所述數字水印信息模擬成為視頻流媒體的視頻幀；將所述模擬的視頻幀嵌入到所述選擇的關鍵位置；所述嵌入數字水印信息的視頻流媒體通過網絡方式傳輸至客戶端，由客戶端解析所述嵌入的數字水印信息；所述客戶端按照數字水印信息的內容和包含的指令從客戶端採集各類信息，並反饋給相應的中心伺服器或伺服器集群。
其中，所述關鍵位置是在視頻主幀與其相鄰的視頻差量幀之間的位置，或者在任意兩個相鄰的視頻差量幀之間的位置。更佳地，所述關鍵位置是在視頻差量幀在前而視頻主幀在後之間的位置。
其中，所述數字水印信息模擬的視頻幀為視頻差量幀。
本發明還提供一種視頻流媒體的數字水印信息嵌入裝置，包括從視頻流媒體的幀中選擇至少一個需要嵌入數字水印信息關鍵位置的選擇裝置；將所述數字水印信息模擬成為視頻流媒體視頻幀的模擬裝置；將所述模擬的視頻幀嵌入到所述選擇關鍵位置的嵌入裝置；以及將所述通過嵌入裝置嵌入數字水印信息的視頻流媒體以網絡方式傳輸至客戶端的傳輸裝置。
其中，所述選擇裝置所選擇的關鍵位置是在視頻主幀與其相鄰的視頻差量幀之間的位置，或者在任意兩個相鄰的視頻差量幀之間的位置。
其中，所述數字水印信息包含控制操作命令信息和/或描述信息。所述控制操作命令信息包括採集客戶端IP位址信息、採集客戶端作業系統信息、採集客戶端在線時間信息中的一種或多種；所述描述信息包括視頻流媒體內容唯一標識ID、視頻流媒體配置信息、服務統計中心地址、流媒體內容的來源、有效時間信息中的一種或多種。
另外，本發明還提供一種視頻流媒體的數字水印信息嵌入的系統，該系統包括至少一流媒體伺服器和一客戶端，所述流媒體伺服器通過網絡方式與客戶端連接；至少一統計中心伺服器，該統計中心伺服器與所述客戶端以網絡方式連接；和所述至少一流媒體伺服器將所述數字水印信息模擬成視頻幀並嵌入所述視頻流媒體關鍵位置的方法；所述至少一客戶端通過網絡傳輸方式接收所述嵌入數據水印信息的視頻流媒體，並解析所述數字水印信息的方法；以及所述至少一客戶端按照數字水印信息的內容和包含的指令從所述客戶端採集各類信息，並反饋給所述至少一統計中心伺服器的方法。
本發明提供的視頻流媒體的數字水印信息嵌入方法、裝置及系統，在不改變原有流媒體基本格式的前提下，通過在視頻數據的部分幀之間嵌入數字水印信息，達到計算複雜度低且更大限度的降低對原有視頻圖像質量的影響，實現在客戶端無需特殊處理，即無需水印信息提取，利用常用的播放器軟體就能正常觀看，具有高可實施性和高實用性，提供高質量的網絡流媒體播放；而在特定客戶端環境下，通過數字水印信息所攜帶的關於視頻內容的信息和採集用戶信息的指令等，將用戶狀態信息反饋給指定伺服器，有效的收集客戶端的信息，並對所述信息進行有目的的統計和實時監控；同時監控流媒體的播放狀態並獲取流媒體服務提供商感興趣的信息。
圖1是現有技術中數字水印嵌入及其提取過程示意圖；圖2是現有技術中採用覆蓋法嵌入數字水印方案示意圖；圖3是本發明數字水印嵌入及其提取過程示意圖；圖4是本發明數字水印中包含的內容信息示意圖；圖5是本發明流媒體中數字水印嵌入的關鍵位置示意圖；圖6是本發明嵌入成水印差量幀的示意圖；圖7是本發明將數字水印信息模擬成水印差量幀的過程示意圖；圖8是本發明嵌入數字水印信息的硬體實施方式結構圖；
圖9是本發明視頻流媒體嵌入數字水印信息及工作流程圖；圖10是本發明特殊客戶端解析數字水印的過程示意圖；圖11是本發明應用於視頻流媒體廣告統計系統中的總體結構及流程圖；圖12是本發明應用於視頻流媒體內容統計系統中的總體結構及流程圖；圖13是本發明應用於視頻流媒體內容及廣告統計系統中的總體結構及流程圖。
本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。
具體實施例方式
如本領域技術人員所知，所述流媒體包括視頻流媒體和音頻流媒體，本實施例主要以視頻流媒體為例，詳細說明本發明嵌入數字水印的方法。
如前所述，視頻流媒體通過視頻伺服器和網絡傳輸到客戶端，並通過客戶端的流媒體播放器進行播放。所述視頻流媒體的內容由大量的幀組成，結合圖1和圖2示出了視頻流媒體的標準格式，其幀包括主幀和差量幀，所述主幀是指在視頻文件中畫面上的每個像素都有數據表示的幀，其顯示的基本圖，並作為後續差量幀的參考圖，即單獨一個主幀是一副完整的畫面；而差量幀記錄只是主幀之間存在變化的像素的幀，單獨的差量幀不能呈現一副完整的畫面，因此差量幀必須基於前面的主幀和差量幀進行處理才能呈現出一副完整的畫面。所述視頻流媒體的原始數據經過編碼壓縮轉成流格式以便在網絡上傳播，此時視頻流媒體的格式為主幀(即關鍵幀)以及不定數量的差量幀，接著又是一幅主幀和不定數量的差量幀，如此繼續。其中主幀顯示基本圖，並作為所述差量幀的參考圖，對動態圖像的顯示起著決定性作用，同時相鄰圖像幀都具有相關性。所述相鄰圖像幀包括兩種情況，即主幀與差量幀相鄰、差量幀與差量幀相鄰。
本發明所述的視頻流媒體可以單獨的視頻流媒體，也可以是音視頻流媒體，而不包括單純的音頻流媒體，因為純音頻流媒體與視頻流媒體處理上方法完全不同。為方便起見，涉及部分以下統稱為視頻流。
圖3示出了本實施例傳輸流媒體數據的過程，其中原始視頻流經過流媒體伺服器的編碼器壓縮並嵌入數字水印信息後，經網絡傳輸至客戶端，所述客戶端通過提取數字水印信息和/或解碼器解碼重建視頻後，由所述客戶端的流媒體播放器播放，從而完成視頻流媒體數據的傳輸過程。
所述流媒體伺服器是指各類流媒體的中心伺服器或伺服器集群，具體來說，包括各類提供流媒體數據的伺服器設備或設備集群。所述伺服器集群是將多臺伺服器以一種方式連接起來，在這種方式中所有的伺服器可以被當作一種中心計算機一樣控制，這樣對於流媒體網絡，可以有效的實現負載平衡和容錯性。所述負載平衡是在多臺機器中自動為每臺機器分配基本平均的負載的過程。所述的容錯性是指即使有硬體或軟體錯誤發生的情況下網絡可以維持工作的能力。
所述客戶端在硬體表現上是指播放各類流媒體的各類數據處理設備，如PC、手持式設備等；而在軟體表現上是指運行於各類數據處理設備、能夠播放各類流媒體的播放器。
所述客戶端包括普通客戶端和特殊客戶端。所述普通客戶端是指接收以各種傳播模式和各種傳輸協議傳播的視頻流媒體數據，並將接收到的數據直接輸送給通用媒體播放器進行視頻解碼播放的客戶端。該普通客戶端至少包括數據接收模塊和視頻播放模塊，其中數據接收模塊負責接收視頻流數據，視頻播放模塊負責解碼及播放視頻流數據，所述視頻播放模塊可以是通用的視頻播放器，即不是為指定應用專門開發的播放器，例如Windows MediaPlayer、Real Player、QuickTime Player等。
所述特殊客戶端是指接收以各種傳播模式和各種傳輸協議傳播的視頻流媒體數據，並從接收到的數據中解析出嵌入的數字水印信息，根據數字水印信息中攜帶的控制命令信息和其它狀態信息，進行指定的信息採集操作，並將採集到的信息按照數字水印信息中指定的目的地址反饋；同時將接收的視頻流媒體數據輸送給通用媒體播放器或其它類型媒體播放器進行視頻解碼及播放的客戶端。該特殊客戶端包括數據接收模塊、水印信息提取模塊、信息採集模塊、信息反饋模塊和視頻播放模塊。其中數據接收模塊負責接收視頻流數據，水印信息提取模塊負責從接收到的視頻流數據中解析出嵌入的數字水印信息，信息採集模塊負責根據數字水印信息所攜帶的控制命令信息對用戶本地設備進行指定信息的採集，信息反饋模塊負責將採集到的用戶本地信息根據數字水印信息所攜帶的統計中心伺服器的地址反饋給統計服務中心，視頻播放模塊負責解碼及播放視頻流數據，所述視頻播放模塊可以是通用的視頻播放器或其它類型的視頻播放器，例如Windows Media Player、RealPlayer、QuickTime Player等。
所述統計中心伺服器可以獨立的伺服器或伺服器集群，也可以是所述流媒體伺服器，該統計中心伺服器與客戶端通過網絡方式連接。
其中，所述數字水印信息的內容如圖4所示，包含了各種控制操作命令信息和/或各種描述信息，其中所述控制操作命令信息包括但不限於採集客戶端IP位址信息、採集客戶端作業系統信息、採集客戶端在線時間信息等信息中的一種或多種；所述描述信息包括但不限於視頻流媒體內容的唯一標識ID、視頻流媒體配置信息(即視頻文件頭)、服務統計中心地址(即用來統一收集客戶端反饋信息的伺服器地址)、流媒體內容的來源、有效時間等自定義信息中的一種或多種。所述的數字水印信息包括視頻流媒體配置信息(即視頻文件頭)的情況特別適合於基於P2P模式的流媒體傳播。
所述數字水印信息還可以是任何自定義的所需要描述的信息，例如流媒體內容的來源、有效時間等。同時，所述數字水印信息包括的各個內容之間是相互獨立的，即數字水印信息可以包括不同內容，視頻水印差量幀可以包括不同的數字水印信息。所述數字水印信息的大小理論上可是任意整數位字節，其可能包含所需的足夠多的信息量；但是為了保證視頻流媒體的網絡傳輸速度以及其播放畫質要求，應根據實際情況限制數字水印信息的大小。
圖5是嵌入數字水印信息的示意圖，如前所述，在所述編碼器對原始視頻流壓縮過程中或壓縮後，形成主幀與差量幀相鄰、差量幀與差量幀相鄰的一系列流媒體數據，所述數字水印信息是嵌入在所述流媒體數據的「關鍵位置」處。該關鍵位置可以是每個視頻主幀前面的一個視頻差量幀與所述視頻主幀之間(差量幀在前，主幀在後)，也可以是任意兩個相鄰視頻差量幀之間，還可以是每個視頻主幀與相鄰視頻主幀的視頻差量幀之間(主幀在前，差量幀在後)。所述關鍵位置的數量由流媒體數據的長度決定。尤其在視頻差量幀在前而視頻主幀在後之間的關鍵位置，且使嵌入數字水印信息與主幀之間的採樣時間之差為0～25/1000秒最佳。
同時，在嵌入所述數字水印信息過程中，將要嵌入的數據信息根據具體實際要求進行壓縮、加密，並將該嵌入的數字水印信息模擬成一個視頻差量幀(下稱為「視頻水印差量幀」)，如圖6所示。其中，該視頻水印差量幀可以包括不同的數字水印信息，也可以是多個不同內容的數字水印信息。該視頻水印差量幀可以嵌入到任意的關鍵位置，也可以是所有關鍵位置，還可以是任意間隔的關鍵位置，即嵌入的視頻水印差量幀的數量不受限制，可以根據具體的傳輸或統計等要求進行自定義的設置。
所述將數字水印信息模擬成視頻差量幀的方式如圖7所示，流媒體伺服器首先提取需要嵌入水印差量幀的前一個差量幀(也可以是該視頻中任何一個差量幀)，複製出一個新的差量幀，並將複製出新的差量幀中的視頻內容數據刪除，而保留原有差量幀頭信息，然後在視頻內容數據部分加入水印信息，同時根據加入的水印信息的大小，對差量幀頭上對應的幀長度描述位進行更改，並對差量幀頭信息中採樣時間位進行更改，即完成模擬一個視頻水印差量幀。其中，插入的水印信息通過標籤頭、標籤尾進行封裝，且每一對標籤頭、尾一一對應，完成模擬後的視頻水印差量幀即可嵌入所述關鍵位置。
上述嵌入數字水印信息的過程也可通過硬體方式實現，圖8是所述硬體方式實施的結構示意圖，在所述流媒體伺服器中包括選擇裝置、模擬裝置、嵌入裝置和傳輸裝置，所述選擇裝置從視頻流媒體的幀中選擇一個或多個需要嵌入數字水印信息的關鍵位置；所述模擬裝置將所述數字水印信息模擬成為視頻流媒體視頻幀，即視頻水印差量幀，其模擬過程如圖7所示；所述嵌入裝置將所述模擬的視頻水印差量幀嵌入到所述選擇關鍵位置中；所述傳輸裝置將所述通過嵌入裝置嵌入數字水印信息的視頻流媒體以網絡方式傳輸至客戶端。
所述選擇裝置所選擇的關鍵位置是在視頻主幀與其相鄰的視頻差量幀之間的位置，或者在任意兩個相鄰的視頻差量幀之間的位置。
而在現有技術中，一般選擇在不規則間隔的幀中加入數字水印信息，這將導致被選定幀的原有內容遭到修改，其局部圖像被幀中的數字水印信息所覆蓋，其視頻質量無法得到保證，原因是所選定的不規則間隔幀的幀類型不能確定，即無法確定是差量幀還是主幀，若選定嵌入數字水印信息的為主幀，則對視頻畫面有較大影響；若選定嵌入數字水印信息的為差量幀，則可能察覺不到視頻畫面的微小變化；為了彌補這種缺陷，客戶端必須安裝特定的客戶端程序或軟體，才能恢復原有圖像。而本發明將將所述數字水印信息嵌入到所述關鍵位置的主要目的是防止流媒體的幀數據不被修改，從而保證了所播放視頻的質量；同時，還可以防止所述嵌入的數字水印信息不被非法檢測和篡改。因此，本發明的數字水印嵌入方式可以使視頻流媒體在前述的通用播放器中即可正常播放，而不會影響其播放視頻的質量。
所述對原始視頻流和數字水印信息進行壓縮的壓縮算法可以採用無損壓縮算法，也可以是有損壓縮算法，例如Huffman編碼、算術編碼LZW(Lempel-Ziv-Welch)等。所述對數字水印信息進行加密的加密算法可以採用包括但不限於各種對稱加密算法，例如DES算法、3DES算法、RC2和RC4算法、IDEA算法等；所述加密算法還可以包括各種非對稱加密算法，例如RSA算法、ECC(新型橢圓曲線算法)；以及各種Hash算法。目前基於視頻傳輸的流媒體信息加密技術一般有信息加密、信息隱藏、信息偽裝夾帶及內容數字版權加密保護等。對需要嵌入的數據信息，依據具體實際應用要求，可以採用單獨進行壓縮的方案以減小視頻水印差量幀的大小，也可以採用單獨進行加密的方案以實現數字水印信息在網絡上的安全傳播，以及採用同時壓縮、加密的方案。
結合圖9所示，上述包括視頻水印差量幀的視頻流媒體通過網絡方式傳播到各客戶端後，若該客戶端為特殊客戶端，則所述特殊客戶端在播放接收到的流媒體視頻的過程中，解析視頻水印差量幀的數字水印信息，並將數字水印信息的內容以及按照數字水印信息中所包含的指令從客戶端自身採集各類信息，通過所述數字水印信息中包含的服務統計中心的地址，反饋給相應的中心伺服器或伺服器集群。若該客戶端為普通客戶端，則所述普通客戶端只是播放所接收到的流媒體視頻，而對包含數字水印信息的視頻水印差量幀不作處理。但是，由於相鄰幀之間的相關性，視頻水印差量幀嵌入所述關鍵位置時，對其餘幀(包括主幀和差量幀)的影響非常小。但為了達到最小的影響效果，嵌入關鍵位置的所述視頻水印差量幀與後面的主幀之間的採樣時間之差越小，對原有的視頻流媒體的圖像質量影響越小，其最佳採樣時間之差的範圍是0～25/1000秒。
所述解析視頻水印差量幀的數字水印信息的方式和過程結合圖10所示，所述特殊客戶端解析數字水印信息的過程屏蔽了視頻主幀與差量幀的區別，只是將視頻流當成普通的數據流進行解析，當解析到所述數字水印信息的標籤頭和標籤尾時，即可讀取出其中完整的數字水印信息。而從標籤頭到標籤尾這部分嵌入的數據在讀取之後仍然保留在數據流中，不作刪除操作。
其中，採集的客戶端自身各類信息包括但不限於客戶端節點的IP位址、客戶端使用的媒體播放器、設備硬體及應用軟體信息、偏好的視頻內容等相關信息中的一種或多種，還可以是其它需要的信息。
所述網絡傳輸可以採用C/S模式(Client/Server，客戶端/流媒體伺服器模式，也被稱為集中模式)的傳播方式，也可以是P2P(即Peer-to-Peer，點對點模式，也被成為對等網絡模式)的傳播方式。上述傳播方式可以是基於UDP傳輸協議，也可以是基於TCP傳輸協議的。其中，所述UDP傳輸協議包括所有在UDP協議上進行封裝的協議，所述TCP協議包括所有在TCP協議上進行封裝的協議。
以下通過三種應用實施方式進一步說明本發明。
圖11是本發明應用到視頻流媒體廣告統計系統中的總體結構及流程的詳細說明。
如圖11所示，所述流媒體伺服器將某一段廣告視頻流媒體生成為廣告數字水印信息並對其進行壓縮和加密，然後將其模擬成一個或多個廣告水印差量幀，分別嵌入到所述廣告視頻流媒體中的各個關鍵位置，如圖5所示的關鍵位置1、關鍵位置2、關鍵位置3，……，關鍵位置n等，從而形成完整的攜帶廣告的視頻流媒體節目。該廣告數字水印信息包括控制命令信息、描述信息、採集客戶端IP位址信息、採集客戶端作業系統信息、採集客戶端視頻觀看時間、廣告內容唯一標識ID、服務統計中心地址、廣告內容描述信息以及廣告視頻配置信息，該廣告數字水印信息的大小根據情況而定，如可以限制在512位元組(byte)或2M之內。由於上述的各種信息是相互獨立的，因此各部分信息可以任意組合成為廣告數字水印信息，從而生成的廣告數字水印信息可以為一個或多個，且分別包含廣告數字水印的各種信息，從而可以分別以廣告水印差量幀的方式嵌入到所述廣告視頻流媒體的各個關鍵位置。當然，也可以將完全相同的廣告數字水印信息以廣告水印差量幀的方式嵌入到所述廣告視頻流媒體的所有關鍵位置。例如，視頻流媒體的配置信息可以單獨壓縮，並模擬成廣告水印差量幀，也可以和廣告唯一標識ID組合，壓縮並模擬成廣告水印差量幀，插入到所述正常流媒體的各關鍵位置，並且將與所示主幀的採樣時間之差設為0.1ms。
以上所述生成廣告數字水印信息以及模擬、嵌入數字水印信息的過程也可以通過圖8所示的硬體實施方式完成。
上述廣告視頻流媒體通過網絡方式傳輸到各個客戶端，該客戶端可以是任意數量的普通客戶端和/或特殊客戶端。本實施方式中，所述網絡傳播方式可以是基於UDP的傳輸協議，並以P2P的傳播方式發送到客戶端。基於UDP的傳輸協議可以實現相對快速的視頻流媒體傳播，基於P2P的流媒體傳播方式，可以通過合理的使用客戶端空閒的資源提供部分服務，有效的降低中心伺服器的負載，同時使帶寬的資源大大增加。用戶數量多，消耗的資源多，但新增的用戶又提供新的資源，客戶端節點向中心伺服器發送請求，中心伺服器收到客戶端節點的請求後，將客戶端節點的IP位址，埠號等信息發送給它的相應子客戶端節點，並記錄下客戶端節點在P2P網絡中的信息；所述客戶端節點從相應的其它客戶端節點中接收到數據包，從其中把流媒體數據提取出來，然後緩存到自己的緩存區；同時，還要把數據轉發給自己的子客戶端節點，子客戶端節點接收到數據後也繼續緩存和轉發，以此類推，直到所有的客戶端節點都接收到流媒體數據。
在如圖11所示的特殊客戶端，所述特殊客戶端的視頻流接收模塊接收到包含廣告數字水印信息的廣告視頻流，特殊客戶端的水印信息提取模塊從接收到的廣告視頻流數據中經解壓和解密後解析出數字水印信息，即從視頻流數據的廣告水印差量幀中解析出廣告數字水印信息；所述特殊客戶端的信息採集模塊按照廣告數字水印信息中包含的控制命令信息進行客戶端的信息採集，採集的信息包括但不限於特殊客戶端所在設備的IP位址、本地作業系統信息、視頻觀看時間等，而信息反饋模塊根據廣告數字水印信息中包含的伺服器統計中心地址，將採集到的客戶信息反饋給相應的中心伺服器或伺服器集群；同時，而所述特殊客戶端的視頻播放模塊即負責播放包含廣告內容在內的所述廣告視頻流。
上述特殊客戶端除採集和反饋信息以外，還能通過解析廣告數字水印信息中的廣告內容唯一標識ID和廣告內容描述信息，獲得用戶觀看了何種廣告，何時觀看，然後將上述信息反饋給統計中心伺服器，這將是很有價值的信息，以此可以提高廣告視頻流發布統計的有效性。而現有P2P視頻技術只能將廣告發布給普通客戶端，但對廣告視頻流是否被收看等相關信息無法捕捉。
另外，所述特殊客戶端根據獲取的本地用戶的IP位址用於確定不同的具體用戶、廣告視頻流的播放時間以用於記錄用戶的觀看時間等，並將所述獲取信息與廣告內容唯一標識ID匹配，由信息反饋模塊發送到統計中心伺服器。所述統計中心伺服器根據反饋的信息，實現不同用途的廣告信息統計，以達到不同的目標。例如根據廣告內容唯一標識ID的記錄次數，統計某個具體廣告的播放次數，提供流媒體服務商感興趣的廣告統計信息；以及根據用戶來自的地域、作業系統、流媒體播放器、收看的廣告內容及其時間等具體信息評估用戶偏好，實現基於內容或時間的目標發送即更有效的進行廣告視頻流的播放，提供流媒體贊助商感興趣的功能。
而對於普通客戶端，由於其沒有提取所述廣告數字水印信息的能力，只能實現播放正常視頻流和插播的廣告視頻。
圖12是本發明應用到視頻流媒體內容統計系統中的總體結構及流程的詳細說明。
如圖12所示，所述流媒體伺服器將某一段視頻流媒體生成為節目內容數字水印信息並進行壓縮和加密，然後將其模擬成一個或多個視頻節目水印差量幀，分別嵌入到正常的視頻流媒體中的各個關鍵位置，如圖5所示的關鍵位置1、關鍵位置2、關鍵位置3，……，關鍵位置n等，從而形成完整的視頻內容流媒體節目。其中所述節目內容數字水印信息包括控制命令信息、描述信息、採集客戶端IP位址信息、採集客戶端作業系統信息、採集客戶端視頻觀看時間、視頻內容唯一標識ID、服務統計中心地址、視頻內容描述信息以及視頻內容配置信息，該節目內容數字水印信息的大小根據情況而定，如可以限制在512位元組(byte)之內或2M之內。由於上述的各種信息是相互獨立的，因此各部分信息可以任意組合成為節目內容數字水印信息，從而生成的節目內容數字水印信息可以為一個或多個，分別包含數字水印的各種信息，因此可以分別以視頻節目水印差量幀的方式嵌入到正常視頻流媒體的各個關鍵位置。當然，也可以將完全相同的節目內容數字水印信息以視頻節目水印差量幀的方式嵌入到正常視頻流媒體的所有關鍵位置。例如，視頻內容配置信息可以單獨壓縮，並模擬成視頻節目水印差量幀，也可以和視頻內容唯一標識ID組合，壓縮並模擬成視頻節目水印差量幀，插入到所述正常視頻流媒體的各關鍵位置，並且將與所示主幀的採樣時間之差設為1ms。
以上所述生成廣告數字水印信息以及模擬、嵌入數字水印信息的過程也可以通過圖8所示的硬體實施方式完成。
上述視頻節目流媒體通過網絡方式傳輸到各個客戶端，該客戶端可以是任意數量的普通客戶端和/或特殊客戶端。在本實施例中，所述網絡傳輸方式是基於TCP的傳輸協議，並以C/S的傳播方式發送到客戶端，基於TCP的傳輸協議可以實現相對可靠的視頻流媒體傳播。
所述特殊客戶端的視頻流接收模塊接收到包含節目內容數字水印信息的視頻流，特殊客戶端的水印信息提取模塊從接收到的視頻流數據中經解壓和解密後解析出數字水印信息，即從所述正常視頻流媒體的節目水印差量幀中解析出節目內容數字水印信息；所述特殊客戶端的信息採集模塊按照節目內容數字水印信息中包含的控制命令信息進行客戶端的信息採集，採集的信息包括但不限於特殊客戶端所在設備的IP位址、本地作業系統信息、視頻觀看時間等，而信息反饋模塊根據節目內容數字水印信息中包含的伺服器統計中心地址，將採集到的客戶信息反饋給相應的中心伺服器或伺服器集群；同時，而所述特殊客戶端的視頻播放模塊即負責播放正常視頻流。
上述特殊客戶端除採集和反饋信息以外，還能通過解析到視頻流的視頻內容唯一標識ID和視頻內容描述信息，獲得用戶觀看了何種視頻節目，何時觀看，然後將上述信息反饋給統計中心伺服器，由此可以提高各個視頻節目收視率統計信息的有效性。而現有視頻技術只能將視頻內容發布給普通客戶端，但對視頻流是否被收看、收看效果如何等相關信息無法捕捉。
而對於普通客戶端，由於其沒有提取所述節目內容數字水印信息的能力，只能實現播放節目內容視頻流。
圖13是本發明應用到視頻流媒體內容及廣告統計系統中的總體結構及流程的詳細說明。
如圖13所示，所述流媒體伺服器將某一段視頻流媒體節目和所需要投放的廣告視頻流分別生成為節目內容數字水印信息和廣告數字水印信息並進行壓縮和加密，然後分別將其模擬成一個或多個視頻節目水印差量幀和廣告水印差量幀，並分別嵌入到正常的視頻流媒體中的各個關鍵位置；其中所述廣告水印差量幀嵌入到廣告視頻流的各個關鍵位置，所述視頻節目水印差量幀嵌入到內容節目視頻流的各個關鍵位置，從而形成節目內容視頻與廣告視頻組合而成的組合視頻流。這樣，即可實現將廣告視頻流媒體插入到節目內容視頻流媒體中，形成完整的攜帶廣告的播放節目，一併通過網絡方式傳輸到客戶端，以供客戶端用戶觀看。
其中所述節目內容水印信息包括控制命令信息、描述信息、採集客戶端IP位址信息、採集客戶端作業系統信息、採集客戶端視頻觀看時間、視頻內容唯一標識ID、服務統計中心地址、視頻內容描述信息以及視頻內容配置信息。所述廣告數字水印信息包括控制命令信息、描述信息、採集客戶端IP位址信息、採集客戶端作業系統信息、採集客戶端視頻觀看時間、廣告內容唯一標識ID、服務統計中心地址、廣告內容描述信息以及廣告視頻配置信息。
以上所述生成廣告數字水印信息以及模擬、嵌入數字水印信息的過程也可以通過圖8所示的硬體實施方式完成。
上述組合視頻流媒體通過網絡方式傳輸到各個客戶端，該客戶端可以是任意數量的普通客戶端和/或特殊客戶端。在本實施例中，所述網絡傳輸方式是基於UDP的傳輸協議，並以P2P的傳播方式發送到客戶端，基於UDP的傳輸協議可以實現相對快速的視頻流媒體傳播。
所述特殊客戶端的視頻流接收模塊接收到包含節目內容數字水印信息和廣告數字水印信息的視頻流，特殊客戶端的水印信息提取模塊解析出節目內容數字水印信息和廣告數字水印信息；所述特殊客戶端的信息採集模塊按照節目內容數字水印信息和廣告數字水印信息中包含的控制命令信息進行客戶端的信息採集，採集的信息包括但不限於特殊客戶端所在設備的IP位址、本地作業系統信息、視頻觀看時間、廣告內容、廣告播放時間等，而信息反饋模塊根據節目內容數字水印信息和廣告數字水印信息中包含的伺服器統計中心地址，將採集到的客戶信息共同或者分別反饋給相應的中心伺服器或伺服器集群；同時，而所述特殊客戶端的視頻播放模塊負責播放包含廣告內容在內的節目內容視頻流。
上述方法的實施，不僅可以有效地收集客戶端播放流媒體的各類信息，並對所收集的各類信息進行有目的的統計和實時監控。更重要的是，可以將廣告內容插入到正常的視頻流媒體中播放，並掌握廣告內容播放各類信息，而對於普通客戶端來說，由於其沒有提取所述節目內容數字水印信息和廣告數字水印信息的能力，只能實現播放正常的視頻流。
權利要求
1.一種視頻流媒體的數字水印信息嵌入方法，包括步驟流媒體伺服器從視頻流媒體的幀中選擇至少一個需要嵌入數字水印信息的關鍵位置；將所述數字水印信息模擬成為視頻流媒體的視頻幀；將所述模擬的視頻幀嵌入到所述選擇的關鍵位置。
2.如權利要求1所述的數字水印信息嵌入方法，其特徵在於，還包括步驟所述嵌入數字水印信息的視頻流媒體通過網絡方式傳輸至客戶端，由客戶端解析所述嵌入的數字水印信息。
3.如權利要求2所述的數字水印信息嵌入方法，其特徵在於，還包括步驟所述客戶端按照數字水印信息的內容和包含的指令從客戶端採集各類信息，並反饋給相應的中心伺服器或伺服器集群。
4.如權利要求1所述的數字水印信息嵌入方法，其特徵在於，所述關鍵位置是在視頻主幀與其相鄰的視頻差量幀之間的位置，或者在任意兩個相鄰的視頻差量幀之間的位置。
5.如權利要求1至4任一權利要求所述的數字水印信息嵌入方法，其特徵在於，所述關鍵位置是在視頻差量幀在前而視頻主幀在後之間的位置。
6.如權利要求1至4任一權利要求所述的數字水印信息嵌入方法，其特徵在於，所述數字水印信息模擬的視頻幀為視頻差量幀。
7.如權利要求1至4任一權利要求所述的數字水印信息嵌入方法，其特徵在於，所述選擇的需要嵌入數字水印信息的關鍵位置是連續的，或者是隨機選擇的。
8.如權利要求1至4任一權利要求所述的數字水印信息嵌入方法，其特徵在於，所述數字水印信息包含控制操作命令信息和/或描述信息。
9.如權利要求8所述的數字水印信息嵌入方法，其特徵在於，所述控制操作命令信息包括採集客戶端IP位址信息、採集客戶端作業系統信息、採集客戶端在線時間信息中的一種或多種；所述描述信息包括視頻流媒體內容唯一標識ID、視頻流媒體配置信息、服務統計中心地址、流媒體內容的來源、有效時間信息中的一種或多種。
10.一種視頻流媒體的數字水印信息嵌入裝置，包括從視頻流媒體的幀中選擇至少一個需要嵌入數字水印信息關鍵位置的選擇裝置；將所述數字水印信息模擬成為視頻流媒體視頻幀的模擬裝置；將所述模擬的視頻幀嵌入到所述選擇關鍵位置的嵌入裝置；以及將所述通過嵌入裝置嵌入數字水印信息的視頻流媒體以網絡方式傳輸至客戶端的傳輸裝置。
11.如權利要求10所述的數字水印信息嵌入裝置，其特徵在於，所述選擇裝置所選擇的關鍵位置是在視頻主幀與其相鄰的視頻差量幀之間的位置，或者在任意兩個相鄰的視頻差量幀之間的位置。
12.如權利要求10所述的數字水印信息嵌入裝置，其特徵在於，所述模擬裝置將數字水印信息模擬的視頻幀為視頻差量幀。
13.如權利要求10至12任一權利要求的數字水印信息嵌入裝置，其特徵在於，所述數字水印信息包含控制操作命令信息和/或描述信息。
14.如權利要求13所述的數字水印信息嵌入裝置，其特徵在於，所述控制操作命令信息包括採集客戶端IP位址信息、採集客戶端作業系統信息、採集客戶端在線時間信息中的一種或多種；所述描述信息包括視頻流媒體內容唯一標識ID、視頻流媒體配置信息、服務統計中心地址、流媒體內容的來源、有效時間信息中的一種或多種。
15.一種視頻流媒體的數字水印信息嵌入的系統，包括至少一流媒體伺服器和一客戶端，所述流媒體伺服器通過網絡方式與客戶端連接；至少一統計中心伺服器，該統計中心伺服器與所述客戶端以網絡方式連接；和所述至少一流媒體伺服器將所述數字水印信息模擬成視頻幀並嵌入所述視頻流媒體關鍵位置的方法；所述至少一客戶端通過網絡傳輸方式接收所述嵌入數據水印信息的視頻流媒體，並解析所述數字水印信息的方法；以及所述至少一客戶端按照數字水印信息的內容和包含的指令從所述客戶端採集各類信息，並反饋給所述至少一統計中心伺服器的方法。
16.一種視頻流媒體的數字水印信息嵌入的系統，包括至少一流媒體伺服器和一客戶端，所述流媒體伺服器通過網絡方式與客戶端連接；至少一統計中心伺服器，該統計中心伺服器與所述客戶端以網絡方式連接；其中所述流媒體伺服器包括從視頻流媒體的幀中選擇至少一個需要嵌入數字水印信息關鍵位置的選擇裝置；將所述數字水印信息模擬成為視頻流媒體視頻幀的模擬裝置；將所述模擬的視頻幀嵌入到所述選擇關鍵位置的嵌入裝置；以及將所述通過嵌入裝置嵌入數字水印信息的視頻流媒體以網絡方式傳輸至客戶端的傳輸裝置。
17.如權利要求15或16所述的數字水印信息嵌入的系統，其特徵在於，所述客戶端為特殊客戶端，以解析所述數字水印信息，並根據所述數字水印信息的控制命令進行信息採集並向所述統計中心伺服器反饋所述採集的信息。
18.如權利要求17所述的數字水印信息嵌入的系統，其特徵在於，所述特殊客戶端包括數據接收模塊、水印信息提取模塊、信息採集模塊、信息反饋模塊和視頻播放模塊。
全文摘要
本發明提供一種視頻流媒體的數字水印信息嵌入方法，其中流媒體伺服器從視頻流媒體的幀中選擇至少一個需要嵌入數字水印信息的關鍵位置；將所述數字水印信息模擬成為視頻流媒體的視頻幀；將所述模擬的視頻幀嵌入到所述選擇的關鍵位置；所述嵌入數字水印信息的視頻流媒體通過網絡方式傳輸至客戶端，由客戶端解析所述嵌入的數字水印信息；所述客戶端按照數字水印信息的內容和包含的指令從客戶端採集各類信息，並反饋給相應的中心伺服器或伺服器集群。從而在不改變原有流媒體基本格式的前提下，通過在視頻數據的部分幀之間嵌入數字水印信息，達到計算複雜度低且更大限度的降低對原有視頻圖像質量的影響。
文檔編號G06T1/00GK101022550SQ200610170259
公開日2007年8月22日 申請日期2006年12月26日 優先權日2006年12月26日
發明者蔡忠善, 張毅萍, 蔡輝 申請人:北京閃動科技有限公司