一種基於h.264壓縮域圖像深度圖生成方法
2023-04-26 08:49:31 1
專利名稱：一種基於h.264壓縮域圖像深度圖生成方法
技術領域：
本發明涉及數字視頻信號處理領域，具體涉及二維圖像轉換三維圖像時深度圖生 成方法。
背景技術：
深度圖生成是二維圖像轉換為三維圖像過程中最為關鍵的步驟。在二維圖像到 三維圖像轉換過程中，如果能夠較好的獲得場景的深度信息，對於轉換後的三維圖像質量 起著非常重要的作用。在已知二維圖像和深度信息的情況下，可以採用DIBR(D印th Image Based Rendering，基於深度圖的圖像繪製)技術來合成所需要的三維視點。目前，通常是在像素域進行單目圖像深度信息自動生成，其普遍的方法是首先根 據圖像的色彩信息或邊緣信息進行圖像分割，然後對分割後的區域進行深度賦值。在像素 域進行圖像分割與深度圖生成，需要處理大量的數據。申請號為200910091469. X的中國專 利申請公開了一種實現平面視頻轉立體視頻的方法和裝置，其中，對關鍵幀的深度圖生成 主要是在像素域完成，首先對像素域的圖像進行顏色空間轉換，並將每一個像素的顏色空 間變量和空間坐標組合成一個五維向量，對五維向量進行濾波，然後採用洪泛算法對濾波 後的圖像進行區域分割，最後對分割後的圖像進行深度賦值。基於像素域的方法需要處理 的數據量較大，並且進行區域分割方法也比較複雜，不利於快速計算得到圖像的深度圖。
發明內容
本發明提供了一種基於H. 264壓縮域圖像深度圖生成的方法，解決了二維圖像到 三維圖像轉換過程中的深度圖生成問題。一種基於H. 264壓縮域圖像深度圖生成方法，包括以下步驟(1)輸入原圖像的H. 264壓縮域碼流；(2)將H. 264壓縮域碼流進行可變長熵解碼並提取所述的H. 264壓縮域碼流中 編碼塊的相關特徵；所述的編碼塊的相關特徵包括編碼塊的預測方式特徵和編碼塊整型 DCT變換(Discrete Cosine Transform變換，離散餘弦變換)的係數特徵；所述的編碼塊 為4 X 4塊，相應地，每個4 X 4塊具有各自的預測方式特徵。本發明將每個4X4塊的預測(即幀內預測)方式特徵分為9種，分別為垂直預 測、水平預測、直流預測、對角線左下預測，對角線右下預測、垂直右預測、水平下預測、垂直 左預測和水平上預測，分別對應於H. 264幀內預測模式中Intra4X4模式的9種預測方式， H. 264幀內預測模式中的IntraieX 16模式的4種預測方式也可以歸納到這9種預測方式 之中。幀內預測之後，H. 264標準通過原始圖像與預測值相減得到預測殘差，並對預測殘 差採用基於4X4塊的整型DCT變換編碼，得到4X4塊的整型DCT變換係數。以上所述的幀內預測方式和整型DCT變換係數都可以通過可變長熵解碼直接從 H. 264碼流中提取出來，從而得到所述的編碼塊的預測方式特徵和編碼塊整型DCT變換的係數特徵。由於可變長熵解碼屬於部分解碼，因此，相對於全部解壓而言，這一過程只佔到對 H. 264壓縮域碼流全部解壓的10%的計算量，從而避免了由對H. 264壓縮碼流進行全部解 壓所帶來的額外計算量，降低了整個深度圖提取過程的計算複雜度。(3)根據步驟(2)提取得到的編碼塊整型DCT變換的係數特徵，計算編碼塊的預測 殘差能量En(i，j)，如式(I)所示En(i, j) = |DC(i，j) +|AC01(i, j) | + |AC1(1(i，j) | + |ACn(i，j) | (I)式(I)中，DC(i，j),AC01(i, j), AC10(i, j)，ACn(i，j)分別為第(i，j)個 4X4 土夬 的整型DCT變換係數z字掃描的第1、2、3、5個係數。(4)根據由步驟(2)和(3)獲得的編碼塊的預測方式特徵和編碼塊的預測殘差能 量計算各編碼塊的標記值並進行歸一化處理，再根據各編碼塊的歸一化標記值對圖像進行 區域劃分；其過程具體如下(4. 1)首先初始化所有編碼塊的標記值為1，並初始化全局標記(GlobalLabel)為 1 ；(4. 2)根據每個編碼塊的預測殘差能量和預測方式特徵，對第一排的每個編碼塊 進行水平方向的塊標記；可選地，所述的水平方向的塊標記採取以下方式進行當編碼塊的預測殘差能量小於或等於閾值時，該編碼塊的標記值等於其左邊編碼 塊的標記值；當編碼塊的預測殘差能量大於閾值，並且該編碼塊的預測方式特徵為水平預測或 直流預測時，該編碼塊的標記值等於其左邊編碼塊的標記值；否則，將全局標記自加1，並 設定該編碼塊標記為全局標記；(4. 3)根據每個編碼塊的預測殘差能量和預測方式特徵，對第一列的每個編碼塊 進行垂直方向的塊標記；可選地，所述的垂直方向的塊標記採取以下方式進行當編碼塊的預測殘差能量小於或等於閾值時，該編碼塊的標記值等於其上邊編碼 塊的標記值；當編碼塊的預測殘差能量大於閾值，並且該編碼塊的預測方式特徵為垂直預測或 直流預測時，該編碼塊的標記值等於其上邊編碼塊的標記值加1 ；否則，該編碼塊的標記值 等於其上邊編碼塊的標記值加2 ；(4. 4)根據每個編碼塊的預測殘差能量和預測方式特徵，計算除第一排和第一列 之外的每個編碼塊的標記值；可選地，所述的除第一排和第一列之外的每個編碼塊的標記值的計算採取以下方 式進行首先，比較每個編碼塊的預測殘差能量與閾值的大小，將編碼塊分為兩類(①) 預測殘差能量小於或等於閾值的編碼塊；(②)預測殘差能量大於閾值的編碼塊；然後，對於第(①)和(②)類的編碼塊，採取不同的方法計算編碼塊的標記值， 具體為
對於第(①)類編碼塊，當編碼塊預測方式特徵為垂直預測時，該編碼塊標記值等於其上邊編碼塊的標記 值；當編碼塊預測方式特徵為水平預測時，該編碼塊標記值等於其左邊編碼塊的標記值； 當編碼塊預測方式特徵為對角線左下預測時，該編碼塊標記值等於其右上編碼塊的標記 值；當編碼塊預測方式特徵為對角線右下預測時，該編碼塊標記值等於其左上編碼塊的標 記值；當編碼塊預測方式特徵為直流預測時，分別計算該編碼塊的上邊與左邊編碼塊的 標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值為Label(i， j) = (LabelMin*3+LabelMax)/4 (VI)當編碼塊預測方式特徵為垂直右預測時，分別計算該編碼塊的上邊與左上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；當編碼塊預測方式特徵為垂直左預測時，分別計算該編碼塊的上邊與右上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；當編碼塊預測方式特徵為水平下預測時，分別計算該編碼塊的左邊與左上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；當編碼塊預測方式特徵為水平上預測時，分別計算該編碼塊的左邊與右上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；對於第(②)類編碼塊，當編碼塊預測方式特徵為垂直預測時，如果其上邊編碼塊的預測殘差能量大於閾 值時，該編碼塊標記值等於其上邊編碼塊的標記值；當編碼塊預測方式特徵為水平預測時， 如果其左邊編碼塊的預測殘差能量大於閾值時，該編碼塊標記值等於其左邊編碼塊的標記 值；當編碼塊預測方式特徵為對角線左下預測時，如果其右上編碼塊的預測殘差能量大於 閾值時，該編碼塊標記值等於其右上編碼塊的標記值；當編碼塊預測方式特徵為對角線右 下預測時，如果其左上編碼塊的預測殘差能量大於閾值時，該編碼塊標記值等於其左上編 碼塊的標記值；當編碼塊預測方式特徵為直流預測時，如果其上邊和左邊編碼塊的預測殘差能 量至少有一個大於閾值，分別計算該編碼塊的上邊與左邊編碼塊的標記值，取較小者記為 LabelMin，較大者記為LabelMax，則編碼塊標記值按照式(VI)的方式進行計算；當編碼塊預測方式特徵為垂直右預測時，如果其上邊和左上邊編碼塊的預測殘差 能量至少有一個大於閾值，分別計算該編碼塊的上邊與左上邊編碼塊的標記值，取較小者 記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式(VI)的方式進行計算；當編碼塊預測方式特徵為垂直左預測時，如果其上邊和右上邊編碼塊的預測殘差 能量至少有一個大於閾值，分別計算該編碼塊的上邊與右上邊編碼塊的標記值，取較小者 記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式(VI)的方式進行計算；當編碼塊預測方式特徵為水平下預測時，如果其左邊與左上邊編碼塊的預測殘差能量至少有一個大於閾值，分別計算該編碼塊的左邊與左上邊編碼塊的標記值，取較小者 記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式(VI)的方式進行計算；當編碼塊預測方式特徵為水平上預測時，如果其左邊與右上邊編碼塊的預測殘差 能量至少有一個大於閾值，分別計算該編碼塊的左邊與右上邊編碼塊的標記值，取較小者 記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式(VI)的方式進行計算；對於第(②)類編碼塊，如果不滿足上述的各種情況，則將全局標記自加1，並設定 該編碼塊標記為全局標記；
值；
權利要求
一種基於H.264壓縮域圖像深度圖生成方法，其特徵在於，包括以下步驟(1)輸入原圖像的H.264壓縮域碼流；(2)將H.264壓縮域碼流進行可變長熵解碼並提取所述的H.264壓縮域碼流中編碼塊的相關特徵；所述的編碼塊的相關特徵包括編碼塊的預測方式特徵和編碼塊整型DCT變換的係數特徵；所述的編碼塊為4×4塊；(3)根據步驟(2)提取得到的編碼塊整型DCT變換的係數特徵，計算編碼塊的預測殘差能量；(4)根據由步驟(2)和(3)獲得的編碼塊的預測方式特徵和編碼塊的預測殘差能量計算各編碼塊的標記值並進行歸一化處理，再根據各編碼塊的歸一化標記值對圖像進行區域劃分；(5)根據圖像位置信息計算每個區域的平均深度值，作為該區域所有編碼塊的深度值；遍歷圖像中所有區域，得到所有區域中所有編碼塊的深度值，即得到整幅圖像的編碼塊深度圖；(6)對得到的整幅圖像的編碼塊深度圖進行高斯濾波和上採樣，最終得到與原圖像大小一致的深度圖。
2.如權利要求1所述的基於H.264壓縮域圖像深度圖生成方法，其特徵在於，所述的步 驟⑶中，採取式⑴計算編碼塊的預測殘差能量En (i，j)En(i, j) = |DC(i，j) ! + IACtll (i，j) | + |AC1(1(i，j) | + |ACn(i，j) I (I)式(I)中，DC(i，j)，ACtll (i，j)，AC1Q(i，j)，AC11 (i，j)分別為第(i，j)個編碼塊的整型 DCT變換係數ζ字掃描的第1、2、3、5個係數。
3.如權利要求1所述的基於H.264壓縮域圖像深度圖生成方法，其特徵在於，所述的步 驟(4)中，(4. 1)首先初始化所有編碼塊的標記值為1，並初始化全局標記為1 ；(4. 2)根據每個編碼塊的預測殘差能量和預測方式特徵，對第一排的每個編碼塊進行 水平方向的塊標記；(4. 3)根據每個編碼塊的預測殘差能量和預測方式特徵，對第一列的每個編碼塊進行 垂直方向的塊標記；(4. 4)根據每個編碼塊的預測殘差能量和預測方式特徵，計算除第一排和第一列之外 的每個編碼塊的標記值；(4. 5)對每個編碼塊的標記值進行歸一化處理，得到每個編碼塊的歸一化標記值；(4. 6)根據所述的各個編碼塊的歸一化標記值將整個圖像劃分為不同的區域，其中，具 有相同的歸一化標記值的編碼塊屬於同一區域。
4.如權利要求3所述的基於H.264壓縮域圖像深度圖生成方法，其特徵在於，所述的歸 一化處理採取式(IX)來計算τ u Ρ · .、STAGE/τνΛLabel (ij) =-； , ,--(IX)MaxLabel式(IX)中，Label' (i，j)為第(i，j)個編碼塊的歸一化標記值，在0 STAGE範圍 內；LabeKi, j)為第(i，j)個編碼塊的標記值，STAGE為設定的區域標記級數。
5.如權利要求1所述的基於H.264壓縮域圖像深度圖生成方法，其特徵在於，所述的步驟(5)中，每個區域的平均深度值的計算過程如下首先，根據公式(X)設定圖像的初始深度值InitDepth(i，j)
全文摘要
本發明公開了一種基於H.264壓縮域圖像深度圖生成方法，包括以下步驟輸入原圖像的H.264壓縮域碼流；可變長熵解碼並提取碼流中編碼塊的相關特徵並計算編碼塊的預測殘差能量；據此計算各編碼塊的標記值並進行歸一化處理後，對圖像進行區域劃分；分別計算每個區域的平均深度值並作為該區域所有編碼塊的深度值，得到整幅圖像中所有編碼塊的深度值，得到整幅圖像的編碼塊深度圖；對得到的編碼塊深度圖進行高斯濾波和上採樣，最終得到與原圖像大小一致的深度圖。本發明方法使用H.264壓縮碼流內部信息提取圖像深度圖，在編碼塊的級別上對圖像深度進行分析，具有很高的運算效率，得到的深度圖接近真實的物體深度。
文檔編號H04N7/26GK101945288SQ20101051110
公開日2011年1月12日 申請日期2010年10月19日 優先權日2010年10月19日
發明者馮傑, 王成群, 胡潔, 蔣明峰, 黃海 申請人:浙江理工大學