一種基於視覺感知的3D‑HEVC幀間信息隱藏方法與流程
2023-09-20 21:09:45 1
本發明涉及一種視頻信息隱藏技術，尤其是涉及一種基於視覺感知的3d-hevc幀間信息隱藏方法。
背景技術：
3d(threedimensional)視頻能夠給用戶帶來全新的視覺衝擊，已引起人們的廣泛關注。隨著網際網路技術的成熟，3d視頻極易被非法處理，3d視頻的安全問題成為了制約3d產品商業化的重大問題。信息隱藏技術能有效完成多媒體數據的隱秘通信和版權判決，能夠較好的解決視頻編碼傳輸過程中存在的信息安全問題。3d視頻數據量龐大，為節省傳輸帶寬與存儲空間必須對其高效壓縮。itu-t的視頻編碼專家組和iso/iec的運動圖像專家組組成的jct-3v致力於研究高效率視頻編碼(highefficiencyvideocoding，hevc)標準的三維拓展3d-hevc(3dhighefficiencyvideocoding，3d-hevc)編碼標準。因此，研究3d-hevc標準的3d視頻信息隱藏技術是一個既有學術意義，又有應用價值的課題。
目前，3d視頻信息隱藏技術的研究還存在很大的不足。3d視頻信息隱藏技術按照嵌入位置不同，可分為原始域的隱藏算法和壓縮域的隱藏算法。原始域的隱藏算法是在未經編碼壓縮的原始視頻中嵌入隱秘信息，如：yang等人提出了一種基於量化索引調製的3d視頻盲水印算法，其將水印信息嵌入於深度視頻的dct係數中，該算法具有較強的魯棒性，視頻無失真。3d視頻需要進行編碼傳輸，原始域的隱藏算法不能直接應用到壓縮域，否則會造成隱秘信息的丟失。現有的基於壓縮域的3d視頻信息隱藏技術主要是基於h.264的3d視頻編碼標準擴展，如：song等人提出了一種可逆的多視點視頻信息隱藏算法，其通過引入內積的思想，在b4幀編碼塊的運動矢量上進行信息隱藏，該方法具有較好的不可感知性，且能實現信息可逆。由於3d-hevc編碼標準的壓縮性能明顯優於h.264的3d視頻編碼標準擴展，適用更高清視頻序列的壓縮編碼，因此研究基於3d-hevc編碼標準的3d視頻信息隱藏算法很有必要。目前，視頻信息隱藏技術選擇的嵌入載體主要為幀內預測模式、dct係數、運動矢量等，這些常見的嵌入載體容易受到非法攻擊，這無疑降低了視頻信息隱藏技術的安全性。同時，由於人眼對同一個視頻不同區域的關注度不同，越關注的區域可容忍失真較小，越不關注的區域可容忍失真較大，而現有的幀間信息隱藏算法只是單純的利用隱秘信息調製視頻編碼參數，沒有考慮人眼視覺系統(hvs)的感知特性，不能最大限度的提高算法性能，因此需要研究一種基於視覺感知的3d-hevc幀間信息隱藏方法。
技術實現要素：
本發明所要解決的技術問題是提供一種基於視覺感知的3d-hevc幀間信息隱藏方法，其結合人眼視覺感知特性，並以p幀和b幀作為嵌入幀，有效地減少了立體視頻主觀質量的下降，且計算複雜度低，對碼率影響小，其還能夠實現盲提取。
本發明解決上述技術問題所採用的技術方案為：一種基於視覺感知的3d-hevc幀間信息隱藏方法，其特徵在於包括信息嵌入和信息提取兩部分；
所述的信息嵌入部分的具體步驟為：
①_1、令sorg表示原始的立體視頻，將sorg的左視點彩色視頻記為lorg，將sorg的右視點彩色視頻記為rorg；並令w表示待嵌入的隱秘信息，w中包含nw個比特的值，其中，lorg中的左視點彩色圖像和rorg中的右視點彩色圖像的寬度均為m，lorg中的左視點彩色圖像和rorg中的右視點彩色圖像的高度均為n，m和n均能被64整除，lorg中包含的左視點彩色圖像的總幀數和rorg中包含的右視點彩色圖像的總幀數均為f，f≥1，對應表示w中的第nw個比特的值、第nw-1個比特的值、…、第i個比特的值、…、第2個比特的值、第1個比特的值，各自為0或1，1≤i≤nw；
①_2、採用立體圖像顯著模型，獲取lorg中的每幀左視點彩色圖像的立體顯著圖像，將lorg中的第j幀左視點彩色圖像的立體顯著圖像記為然後計算lorg中的每幀左視點彩色圖像的立體顯著圖像的大津閾值，將的大津閾值記為其中，1≤j≤f；
同樣，採用立體圖像顯著模型，獲取rorg中的每幀右視點彩色圖像的立體顯著圖像，將rorg中的第j幀右視點彩色圖像的立體顯著圖像記為然後計算rorg中的每幀右視點彩色圖像的立體顯著圖像的大津閾值，將的大津閾值記為
①_3、將lorg中的每幀左視點彩色圖像的立體顯著圖像分割成個互不重疊的尺寸大小為64×64的圖像塊，將中的第k個圖像塊記為然後計算lorg中的每幀左視點彩色圖像的立體顯著圖像中的每個圖像塊中的所有像素點的像素值的均值，將中的所有像素點的像素值的均值記為接著根據lorg中的每幀左視點彩色圖像的立體顯著圖像中的每個圖像塊中的所有像素點的像素值的均值和lorg中的每幀左視點彩色圖像的立體顯著圖像的大津閾值，將lorg中的每幀左視點彩色圖像的立體顯著圖像中的每個圖像塊確定為顯著塊或非顯著塊，對於若大於或等於則將確定為顯著塊；若小於則將確定為非顯著塊；其中，
同樣，將rorg中的每幀右視點彩色圖像的立體顯著圖像分割成個互不重疊的尺寸大小為64×64的圖像塊，將中的第k個圖像塊記為然後計算rorg中的每幀右視點彩色圖像的立體顯著圖像中的每個圖像塊中的所有像素點的像素值的均值，將中的所有像素點的像素值的均值記為接著根據rorg中的每幀右視點彩色圖像的立體顯著圖像中的每個圖像塊中的所有像素點的像素值的均值和rorg中的每幀右視點彩色圖像的立體顯著圖像的大津閾值，將rorg中的每幀右視點彩色圖像的立體顯著圖像中的每個圖像塊確定為顯著塊或非顯著塊，對於若大於或等於則將確定為顯著塊；若小於則將確定為非顯著塊；
①_4、利用logistics混沌映射產生一個包含nw個比特的值的二值偽隨機序列，將該二值偽隨機序列作為密鑰，並記為e，然後對w中的每個比特的值與e中的每個比特的值一一對應進行異或，將異或結果作為加密信息，記為w'，其中，對應表示e中的第nw個比特的值、第nw-1個比特的值、…、第i個比特的值、…、第2個比特的值、第1個比特的值，各自為0或1，對應表示w'中的第nw個比特的值、第nw-1個比特的值、…、第i個比特的值、…、第2個比特的值、第1個比特的值，各自為0或1，w'i為wi與ei的異或值；
①_5、通過3d-hevc標準編碼平臺，以幀為單位對lorg和rorg進行壓縮編碼，將當前待編碼的lorg中的第j幀左視點彩色圖像或rorg中的第j幀右視點彩色圖像定義為當前幀，並將當前幀記為pj；其中，j的初始值為1；
①_6、判斷pj是否為p幀或為b幀，如果是，則執行步驟①_7；否則，則執行步驟①_9；
①_7、以編碼樹單元為單位對pj進行壓縮編碼，將pj中當前待編碼的第k個編碼樹單元定義為當前編碼塊，並記為borg,j,k；其中，k的初始值為1；
①_8a、讀取borg,j,k的編碼量化參數，記為qporg,j,k；並讀取w'中的第i'個比特的值w'i'和第i'+1個比特的值w'i'+1，然後將w'i'+1w'i'轉換為十進位數值，記為di'，其中，i'的初始值為1，1≤i'≤nw-1，w'i'和w'i'+1各自為0或1；
①_8b、當pj為lorg中的第j幀左視點彩色圖像時，判斷qporg,j,k對4取餘的結果是否等於di'，如果qporg,j,k對4取餘的結果不等於di'，則當為顯著塊時，利用w'i'和w'i'+1向下調製qporg,j,k，得到borg,j,k的嵌入有隱秘信息的編碼量化參數，記為qp'org,j,k，然後執行步驟①_8c；當為非顯著塊時，利用w'i'和w'i'+1向上調製qporgjk，得到borg,j,k的嵌入有隱秘信息的編碼量化參數，記為qp'org,j,k，然後執行步驟①_8c；如果qporg,j,k對4取餘的結果等於di'，則直接將qporg,j,k作為borg,j,k的嵌入有隱秘信息的編碼量化參數，記為qp'org,j,k，qp'org,j,k＝qporg,j,k，然後執行步驟①_8c；其中，qp'org,j,k＝qporg,j,k中的「＝」為賦值符號；
當pj為rorg中的第j幀右視點彩色圖像時，判斷qporg,j,k對4取餘的結果是否等於di'，如果qporg,j,k對4取餘的結果不等於di'，則當為顯著塊時，利用w'i'和w'i'+1向下調製qporg,j,k，得到borg,j,k的嵌入有隱秘信息的編碼量化參數，記為qp'org,j,k，然後執行步驟①_8c；當為非顯著塊時，利用w'i'和w'i'+1向上調製qporg,j,k，得到borg,j,k的嵌入有隱秘信息的編碼量化參數，記為qp'org,j,k，然後執行步驟①_8c；如果qporg,j,k對4取餘的結果等於di'，則直接將qporg,j,k作為borg,j,k的嵌入有隱秘信息的編碼量化參數，記為qp'org,j,k，qp'org,j,k＝qporg,j,k，然後執行步驟①_8c；
①_8c、判斷qp'org,j,k是否在[0,51]範圍之內，如果是，則直接執行步驟①_8d；否則，當qp'org,j,k>51時，利用w'i'和w'i'+1向下調製qporg,j,k，重新得到borg,j,k的嵌入有隱秘信息的編碼量化參數qp'org,j,k，然後執行步驟①_8d；當qp'org,j,k51時，利用w'i'和w'i'+1向下調製qporg,j,k，重新得到borg,j,k的嵌入有隱秘信息的編碼量化參數qp'org,j,k，然後執行步驟①_8d；當qp'org,j,k<0時，利用w'i'和w'i'+1向上調製qporg,j,k，重新得到borg,j,k的嵌入有隱秘信息的編碼量化參數qp'org,j,k，然後執行步驟①_8d。
①_8d、採用qp'org,j,k對borg,j,k進行壓縮編碼，至此已完成borg,j,k的隱秘信息嵌入過程；當編碼完borg,j,k後，判斷borg,j,k是否為skip塊，如果是，則直接執行步驟①_8e；否則，令i'＝i'+2，然後執行步驟①_8e；其中，i'＝i'+2中的「＝」為賦值符號。
①_8e、令k＝k+1，將pj中下一個待編碼的編碼樹單元作為當前編碼塊，並記為borg,j,k，然後返回步驟①_8a繼續執行，直至pj中的所有編碼樹單元均編碼完畢，再執行步驟①_9；其中，k＝k+1中的「＝」為賦值符號。
①_9、令j＝j+1，將lorg中下一幀待編碼的左視點彩色圖像或rorg中下一幀待編碼的右視點彩色圖像作為當前幀，並將當前幀記為pj；然後返回步驟①_6繼續執行，直至lorg中的所有左視點彩色圖像和rorg中的所有右視點彩色圖像均編碼完畢，得到嵌入有隱秘信息的視頻流；其中，j＝j+1中的「＝」為賦值符號。
①_10、將產生密鑰e的初始值信息傳送到信息提取端。
所述的信息提取部分的總體實現框圖如圖1b所示，其具體步驟為：
②_1、將嵌入有隱秘信息的視頻流定義為目標視頻流，記為str.bindec。
②_2、根據信息嵌入端發送的產生密鑰e的初始值信息，利用logistics混沌映射產生一個與信息嵌入端相同的密鑰e；如果直接將信息嵌入端的密鑰e傳送給信息提取端，則邊信息太大，由於產生密鑰的過程比較簡單，只要給定初始值就能重現密鑰，因此在信息提取端只需根據信息嵌入端發送的產生密鑰e的初始值信息，重新產生即可得到與信息嵌入端相同的密鑰e。
②_3、以幀為單位解析str.bindec，將str.bindec中當前待解析的幀定義為當前幀。
②_4、判斷當前幀是否為p幀或為b幀，如果是，則執行步驟②_5；否則，執行步驟②_8。
②_5、以編碼樹單元(ctu)為單位解析當前幀，將當前幀中當前待解析的編碼樹單元定義為當前解析塊。
②_6、判斷當前解析塊是否為skip塊，如果是，則執行步驟②_7；否則，解析出當前解析塊的嵌入有隱秘信息的編碼量化參數，記為qp'dec，然後計算qp'dec對4取餘的結果，記為d'dec，接著將d'dec轉換為二進位數，得到從當前解析塊中提取出的兩個比特的值，至此已完成當前解析塊的隱秘信息提取過程，再執行步驟②_7；其中，d'dec為0、1、2或3。
②_7、將當前幀中下一個待解析的編碼樹單元作為當前解析塊，然後返回步驟②_6繼續執行，直至當前幀中的所有編碼樹單元均處理完畢，再執行步驟②_8。
②_8、將str.bindec中下一幀待解析的幀作為當前幀，然後返回步驟②_4繼續執行，直至str.bindec中的所有幀均處理完畢，完成隱秘信息提取。
②_9、將提取得到的nw個比特的值構成加密信息，記為w'dec，然後對w'dec中的每個比特的值與e中的每個比特的值一一對應進行異或，將異或結果作為解密的隱秘信息，記為wdec，其中，對應表示w'dec中的第nw個比特的值、第nw-1個比特的值、…、第i個比特的值、…、第2個比特的值、第1個比特的值，各自為0或1，對應表示wdec中的第nw個比特的值、第nw-1個比特的值、…、第i個比特的值、…、第2個比特的值、第1個比特的值，各自為0或1。
在此具體實施例中，步驟①_8b中利用w'i'和w'i'+1向下調製qporg,j,k獲取qp'org,j,k的具體過程為：a1、在區間[-3,qporg,j,k]內找出絕對值對4取餘的結果等於di'的所有的值；b1、計算步驟a1中找出的每個值與qporg,j,k的差值的絕對值；c1、找出步驟b1中得到的所有絕對值中的最小絕對值，將步驟a1中找出的與該最小絕對值對應的那個值賦值給qp'org,j,k，即qp'org,j,k滿足限定條件：其中，mod為取餘運算符號，min為取最小值函數。
在此具體實施例中，步驟①_8b中利用w'i'和w'i'+1向上調製qporg,j,k獲取qp'org,j,k的具體過程為：a2、在區間[qporg,j,k,54]內找出對4取餘的結果等於di'的所有的值；b2、計算步驟a2中找出的每個值與qporg,j,k的差值的絕對值；c2、找出步驟b2中得到的所有絕對值中的最小絕對值，將步驟a2中找出的與該最小絕對值對應的那個值賦值給qp'org,j,k，即qp'org,j,k滿足限定條件：
在此具體實施例中，步驟①_8c中利用w'i'和w'i'+1向下調製qporg,j,k重新獲取qp'org,j,k的具體過程為：a3、在區間[0,qporg,j,k]內找出對4取餘的結果等於di'的所有的值；b3、計算步驟a3中找出的每個值與qporg,j,k的差值的絕對值；c3、找出步驟b3中得到的所有絕對值中的最小絕對值，將步驟a3中找出的與該最小絕對值對應的那個值賦值給qp'org,j,k，即qp'org,j,k滿足限定條件：
在此具體實施例中，步驟①_8c中利用w'i'和w'i'+1向上調製qporg,j,k重新獲取qp'org,j,k的具體過程為：a4、在區間[qporg,j,k,51]內找出對4取餘的結果等於di'的所有的值；b4、計算步驟a4中找出的每個值與qporg,j,k的差值的絕對值；c4、找出步驟b4中得到的所有絕對值中的最小絕對值，將步驟a4中找出的與該最小絕對值對應的那個值賦值給qp'org,j,k，即qp'org,j,k滿足限定條件：
為了驗證本發明方法的有效性和可行性，對本發明方法進行試驗。
採用的測試序列為balloons立體視頻序列的3視點和5視點、newspaper立體視頻序列的2視點和4視點、shark立體視頻序列的1視點和9視點、undodancer立體視頻序列的1視點和9視點，前兩個立體視頻序列的解析度為1024×768，後兩個立體視頻序列的解析度為1920×1088。測試軟體為3d-hevc標準的編碼平臺htm13.0，在隨機訪問下編碼100幀，給定目標比特率分別為2000、4000、5000和6000，其他配置參數為平臺默認值。下面將分別從立體視頻序列的不可感知性、嵌入容量和比特率變化等方面來評價本發明方法的性能。
1)立體視頻序列的不可感知性
為了驗證本發明方法對立體視頻序列的主觀質量的影響，在此選取newspaper立體視頻序列和shark立體視頻序列來進行說明。圖2a給出了原始的newspaper立體視頻序列壓縮編碼後生成的視頻流再經解碼得到的立體視頻序列的2視點的第2幀圖像；圖2b給出了原始的newspaper立體視頻序列壓縮編碼後生成的視頻流再經解碼得到的立體視頻序列的4視點的第2幀圖像；圖2c給出了原始的shark立體視頻序列壓縮編碼後生成的視頻流再經解碼得到的立體視頻序列的1視點的第2幀圖像；圖2d給出了原始的shark立體視頻序列壓縮編碼後生成的視頻流再經解碼得到的立體視頻序列的9視點的第2幀圖像；圖2e給出了原始的newspaper立體視頻序列經本發明方法處理後壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的2視點的第2幀圖像；圖2f給出了原始的newspaper立體視頻序列經本發明方法處理後壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的4視點的第2幀圖像；圖2g給出了原始的shark立體視頻序列經本發明方法處理後壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的1視點的第2幀圖像；圖2h給出了原始的shark立體視頻序列經本發明方法處理後壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的9視點的第2幀圖像。比較圖2a與圖2e、比較圖2b與圖2f、比較圖2c與圖2g、比較圖2d與圖2h，可以看出隱秘信息嵌入前後立體視頻序列視點的質量並無明顯失真，說明本發明方法的立體視頻不可感知性較好。
為了進一步評價立體視頻序列的質量，試驗中引入了代表性指標峰值信噪比(peaksignal-noise-ratio，psnr)進行說明。表1給出了原始的balloons立體視頻序列、原始的newspaper立體視頻序列、原始的shark立體視頻序列、原始的undodancer立體視頻序列分別壓縮編碼後生成的視頻流再經解碼得到的立體視頻序列的質量，及原始的balloons立體視頻序列、原始的newspaper立體視頻序列、原始的shark立體視頻序列、原始的undodancer立體視頻序列分別經本發明方法處理後壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的質量。表1中嵌入隱秘信息前後psnr的變化量δpsnr的計算公式為：δpsnr＝psnrpro-psnrorg，其中，psnrpro表示原始立體視頻序列經本發明方法處理後壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的兩個視點的psnr的均值，psnrorg表示原始立體視頻序列壓縮編碼後生成的視頻流再經解碼得到的立體視頻序列的兩個視點的psnr的均值，本試驗中通過δpsnr的大小來進行立體視頻序列不可感知性的說明。
從表1中可以看出，在不同目標比特率下壓縮編碼立體視頻序列，解碼重建後的立體視頻序列的質量不同，主要是因為給定的目標比特率越小，分配給視點的比特也就越少，立體視頻序列壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的質量越差。同時，原始的立體視頻序列經本發明方法處理後壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的質量的psnr值與原始的立體視頻序列壓縮編碼後生成的視頻流再經解碼得到的立體視頻序列的質量的psnr值的差異的絕對值範圍在0.0014～0.0524db，原始的立體視頻序列經本發明方法處理後壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的質量的psnr值比原始的立體視頻序列壓縮編碼後生成的視頻流再經解碼得到的立體視頻序列的質量的psnr值平均下降了0.03139db，說明本發明方法對立體視頻序列的質量影響輕微。這主要是因為本發明方法結合立體圖像顯著模型指導隱秘信息的嵌入，且對編碼量化參數只是進行微調，所以本發明方法對立體視頻序列的質量影響較小。
表1原始的立體視頻序列經本發明方法處理後壓縮編碼生成的視頻流再經解碼得到的立體視頻序列的質量與原始的立體視頻序列壓縮編碼後生成的視頻流再經解碼得到的立體視頻序列的質量
2)立體視頻序列的嵌入容量和比特率變化
一般來說，在立體視頻序列的編碼過程中利用編碼量化參數嵌入隱秘信息會引起編碼比特率的變化。表2給出了balloons立體視頻序列、newspaper立體視頻序列、shark立體視頻序列、undodancer立體視頻序列，本發明方法的嵌入容量和比特率變化率的測試結果，表2中嵌入容量給出的是立體視頻序列的嵌入容量的總和，比特率變化率bri的定義如下：其中，rpro表示原始的立體視頻序列經本發明方法處理後壓縮編碼的碼率，rorg表示原始的立體視頻序列壓縮編碼的碼率。
從表2中可以看出，嵌入容量隨著立體視頻序列的解析度的增大而增大，這主要是因為解析度越大，劃分的編碼樹單元越多，可嵌入的載體越多。本發明方法在不同的目標比特率下立體視頻序列的平均嵌入容量為47236比特，平均比特率增長0.0741％，說明本發明方法能提供高的嵌入容量，且對編碼的碼率影響較小，主要是因為本發明方法在對編碼量化參數進行微調的同時啟用了碼率控制模塊，有效的抑制了碼率的變化。
表2本發明方法的嵌入容量和比特率變化率的測試結果