動態圖像處理方法、解碼方法及其裝置的製作方法
2023-06-03 23:52:31 2
專利名稱：動態圖像處理方法、解碼方法及其裝置的製作方法
技術領域：
本發明有關於一種動態圖像處理方法及裝置，且特別有關於動態圖像處 理過程中，用以整合運動向量相關參數及減少運動向量儲存量的方法及裝置。
背景技術：
一般而言，視頻壓縮時，會利用運動向量(motionvector)以減少宏區塊 (macroblock)運算時所需的數據量。現有技術中，通常是將鄰近的宏區塊中，
所有運動向量的相關信息，直接地連續儲存至內存中。對用於高解析度電視 (High Definition TV， HDTV)的影像而言，其解析度為1920x1088，而每一 16像素xl6像素的宏區塊包含一組運動向量參數，因此，就上述影像而言， 則需儲存120x68組宏區塊的運動向量參數，用以進行運動向量預測的操作。 若一宏區塊中，包含16個子區塊，每一子區塊均包含前向及後向的運動向量 參數，而每一運動向量以4位元組表示，則一宏區塊就需128位元組(16x4x2) 表示運動向量參數，而該影像光是儲存運動向量，就需消耗128x(l20x68)字 節的記憶空間。因此，如何利用運動向量預測(motion vector prediction),以 有效地減少不必要的運動向量參數，並整合所需的運動向量參數，使存取運 動向量參數更有效率，成為一個亟待解決的問題。
發明內容
有鑑於此，本發明的目的在於提供一種動態圖像處理方法、解碼方法及 裝置，以於處理及解碼過程中，減少所需的運動向量，以提高運動向量參數 的存儲效率。
為達成上述目的，本發明提供一種動態圖像處理方法，於一實施例中， 該方法接收一視頻信號流，該視頻信號流包含一序列畫面，每一畫面以宏區 塊為基本操作單元。首先，將一宏區塊依序劃分為複數的子區塊。接著，比 較一宏區塊列及一參考畫面的一參考宏區塊列，以產生該宏區塊列的複數運 動向量參數。其中，該參考宏區塊列對應於該宏區塊列，而每一運動向量參 數，對應於一宏區塊的一子區塊。然後於該宏區塊列中，找出每一宏區塊最 後一列的子區塊，再依序儲存對應於上述子區塊的運動向量參數。並根據上 述儲存的運動向量參數，對該宏區塊列的下一列宏區塊列進行運動向量預測 或區塊濾波。
為達成上述目的，本發明另外提供一種動態影像解碼方法，於一實施例 中，該方法接收一比特流，該比特流為一編碼視頻信號流，該編碼視頻信號 流以宏區塊為基本操作單元。接著，解碼該比特流以還原複數的運動向量參 數，每一運動向量參數，對應於一宏區塊的一子區塊。對一目前宏區塊執行 運動向量預測或區塊濾波之前，先找出該目前宏區塊的上邊界鄰近宏區塊集 合，再由該上邊界鄰近宏區塊集合中，產生一第一運動向量集合，對應於該 上邊界鄰近宏區塊集合中，每一宏區塊最後一列子區塊的運動向量參數。然 後，由該目前宏區塊的左方宏區塊，產生一第二運動向量集合。最後，利用 該第一及該第二運動向量集合，對該目前宏區塊執行運動向量預測或區塊濾 波。
為達成上述目的，本發明更提供一種動態影像解碼裝置，於一實施例中， 該比特流解碼裝置包括 一解碼單元、 一運動向量搜尋單元及一處理單元。 該解碼單元，用以解碼一比特流，以還原複數的運動向量參數。上述比特流
為一編碼視頻信號流，該編碼視頻信號流以宏區塊為基本操作單元，每一運 動向量參數，對應於一宏區塊的一子區塊。該運動向量搜尋單元，接收所述 的運動向量參數，搜尋一目前宏區塊的上邊界鄰近宏區塊集合，以產生一第 一運動向量集合，對應於上邊界鄰近宏區塊集合的每一宏區塊最後一列子區
塊的運動向量參數，以及搜尋該目前宏區塊的左方宏區塊，以產生一第二運 動向量集合。該處理單元，利用該第一及該第二運動向量集合，對該目前宏 區塊執行運動向量預測或區塊濾波。
為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉實施例， 並配合所附圖示，詳細說明如下。
圖l為顯示動態影像中，11.264影像格式階層架構圖2為顯示運動估計一宏區塊的運動向量示意圖； 圖3為顯示宏區塊劃分示意圖4為顯示依據本發明實施例的動態圖像處理方法流程圖； 圖5為顯示將一宏區塊劃分為16個子區塊的示意圖； 圖6A、圖6B、圖6C為顯示依據本發明實施例，對應圖5的一子區塊的 運動向量參數欄位示意圖7為顯示根據本發明實施例的一動態影像解碼裝置方塊圖；及 圖8為顯示依據本發明實施例的動態影像解碼方法流程圖。 附圖標號
70 動態影像解碼裝置；
106 運動向量搜尋單元;
102 比特流；
H2 輸出畫面；
118 圖像取樣數據；
124 重建畫面；
136 影像重建單元；
104 解碼單元； 108 處理單元； 110 運動向量參數；
114 DCT係數；
122 預測畫面； 130 反向離散餘弦轉換單元;
138 區塊濾波單元。
具體實施例方式
圖1為顯示動態影像中，R264影像格式階層架構圖。 一般的動態影像由 視頻信號流VS (video stream)組成，而該視頻信號流VS由一序列畫面 (pictures)所組成，每一畫面P包含多個片段S (slices),將畫面P以固定單 位作水平方向的劃分，每個片段則由數個16x16的宏區塊MB (macroblocks) 所組成。每一宏區塊為運動估計(motion estimation)及運動補償( motion compensation)的基本操作單位。
圖2為顯示運動估計一宏區塊的運動向量示意圖。 一般而言，動態影像 於移動變化過程中，相鄰的畫面具有相當的關聯性，因此，通過計算兩畫面 間的差異，意即運動向量，以減少動態影像的數據量。如圖2所示， 一宏區 塊MB為一目前畫面中欲處理的宏區塊，將該宏區塊MB與一參考畫面比較， 可得到一運動向量MV (motion vector),此即代表該宏區塊MV的運動向量， 亦代表該宏區塊相對於該參考畫面的該宏區塊位移量。因此，通過運動向量 的記錄，可用較小的數據量表示畫面間時間和空間的關聯性及差異。
進一步地，為得到較細緻的運動向量結果，通常將宏區塊劃分為7種不 同大小的區塊，如圖3所示，分為宏區塊(16x16)劃分及次宏區塊(8x8) 劃分。其中，宏區塊劃分包括一宏區塊(16x16)、兩個16x8的區塊、兩個8x16 的區塊及四個8x8的區塊。當一宏區塊選擇8x8的預測模式時，則每一次宏 區塊可再細分為兩個8x4的區塊、兩個4x8的區塊及四個4x4的子區塊。當 一宏區塊為16x16預測模式時，則該宏區塊具有一組運動向量參數MV。當 一宏區塊為16x8預測模式時，則該宏區塊具有兩組運動向量參數，分別表示 為MV2及MV3。以此類推，當一宏區塊劃分為16個4x4的子區塊時，則每 一子區塊均有一組運動向量參數。然而，由於每一個子區塊都有一組運動向 量參數，與16x16的預測模式相較下，對一宏區塊而言，就需要額外儲存15 組運動向量參數，亦大幅增加計算的複雜度。
針對上述的問題，在編碼一宏區塊的運動向量時，可利用鄰近已編碼的 宏區塊的運動向量，用以進行運動向量預測，以減少運動向量的數據量。
圖4為顯示依據本發明實施例的動態圖像處理方法40流程圖，用以減少
運動向量的儲存量。如上所述，針對計算運動向量時所產生的缺點，本發明 提出一方法，能夠有效減少運動向量的存儲空間，及存取運動向量的帶寬， 同時整合與運動向量相關的訊息，提高系統效率。詳細的處理步驟如下所述。
首先，接收一視頻信號流VS (S402)，如圖1所示，該視頻信號流VS 包含一序列畫面，每一畫面P以宏區塊MB為基本操作單元。接著，將一宏 區塊MB1依序劃分為16個4x4的子區塊(S404)，如圖5所示，依序標示為 子區塊O、子區塊l、...、子區塊15。針對子區塊IO、子區塊ll、子區塊14 及子區塊15而言，為下方宏區塊的上邊界鄰近區塊。當該宏區塊MB1為16x16 或16x8預測模式，則子區塊IO、 11、 14及15的運動向量參數相同。當該宏 區塊MB1為8x16或8x8預測模式，則子區塊10及11的運動向量參數相同， 子區塊14及15的運動向量參數相同。當該宏區塊MBl為4x4預測模式，則 子區塊IO、 11、 14及15的運動向量參數各不相同。因此，子區塊IO、 11、 14及15具有預測下方宏區塊運動向量所需的數據，只需儲存子區塊10、 11、 14及15，便可做為下方宏區塊的運動向量預測參考。
由上述可知，就相鄰兩列的宏區塊列而言，下方的宏區塊列，可利用上 方宏區塊列的運動向量，進行運動向量預測。請再參考圖4，先根據一參考畫 面的一參考宏區塊列，用以產生一宏區塊列的複數運動向量參數(S406)。其 中，該參考宏區塊列對應於該宏區塊列，而每一運動向量參數，對應於一宏 區塊的一子區塊。接著，於該宏區塊列中，找出每一宏區塊最後一列的子區 塊(S408)，相當於圖5所示的子區塊10、 11、 14及15。進一步，於該宏區 塊列中，依序地儲存對應於上述子區塊的運動向量參數(S410)。最後，根據 上述儲存的運動向量參數，對該宏區塊列的下方宏區塊列，進行運動向量預 測或區塊濾波(S412)。以下進一步說明運動向量參數的整合。
圖6A、圖6B、圖6C為顯示依據本發明實施例，對應圖5的子區塊10、 11、 14及15的運動向量參數欄位示意圖。如圖6A所示，每一子區塊的運動 向量參數，包括一32位的前向預測運動向量(FWD)及一32位的後向預測 運動向量(BWD)。於一實施例中，該前向預測運動向量，與先前的參考畫面 相關聯，而該後向預測運動向量，與之後的參考畫面相關聯。
請參考圖6B、圖6C，該前向或後向預測運動向量，包括一水平向量 (MV一X)、 一垂直向量(MV—Y)及一對應參數，其中，該對應參數為對應 於該前向或後向預測運動向量的一參考圖索引值(REFIDX)或一參考圖緩衝 器位置(BUF—SEL)。該參考圖索引值REFIDX，表示該運動向量所在參考圖的 索引值。該參考圖緩衝器位置BUF—SEL，表示該運動向量所在參考圖的實際 儲存位置，為執行區塊濾波(deblocking)時所需的數據，因此，將此參數進 一步地整合儲存於運動向量參數中。
由於H.264視頻信號標準中，每一 8x8的次宏區塊具有相同的參考圖索 引值REFIDX及參考圖緩衝器位置BUF一SEL。因此，可以將該參考圖索引值 REFIDX及該參考圖緩衝器位置BUF一SEL交叉儲存於子區塊10、 11、 14及 15中。換句話說，當子區塊10及14的對應參數儲存該參考圖索引值REFIDX 時，子區塊11及15的對應參數則儲存該參考圖緩衝器位置BUF—SEL。同樣 地，當子區塊10及14的對應參數儲存該該參考圖緩衝器位置SEL時，子區 塊11及15的對應參數則儲存參考圖索引值REFIDX。值得一提的是，H.264 視頻信號標準中，最多使用32個參考圖，該參考圖索引值REFIDX及該參考 圖緩衝器位置BUF—SEL只需以5位表示即可，因此，可於該參考圖索引值 REFIDX、或者該參考圖緩衝器位置BUF一SEL中，進一步設置一無效旗標(未 圖標)，利用一默認值，表示該前向預測運動向量或該後向預測運動向量為無 效。
圖7為顯示根據本發明實施例的一動態影像解碼裝置70方塊圖。如圖7 所示，該動態影像解碼裝置70包括 一解碼單元104、 一運動向量搜尋單元
106及一處理單元108。
該解碼單元104用以解碼一比特流102，以還原複數的運動向量參數110。 其中，該比特流102為一編碼視頻信號流，該編碼視頻信號流以宏區塊為基 本操作單元。如前所述，每一宏區塊劃分為複數子區塊，而每一運動向量參 數，對應於一宏區塊的一子區塊。關於運動向量參數的設置，因已詳述如前， 於此不再贅述。該運動向量搜尋單元106，接收所述的運動向量參數IIO，搜 尋一目前宏區塊的上邊界鄰近宏區塊集合，用以產生一第一運動向量集合。 該第一運動向量集合，對應於上邊界鄰近宏區塊集合的每一宏區塊最後一列 子區塊的運動向量參數。於一實施例中，該上邊界鄰近宏區塊集合，包括該 目前宏區塊的一左上宏區塊、 一上方宏區塊及一右上宏區塊。進一步地，該 運動向量搜尋單元106搜尋該目前宏區塊的左方宏區塊，以產生一第二運動 向量集合。該處理單元108，利用該第一及該第二運動向量集合，對該目前宏 區塊執行運動向量預測或區塊濾波。
另外，該動態影像解碼裝置70更包括一反向離散餘弦轉換單元130，接 收該解碼單元所還原的DCT係數114，將頻域系^:轉換為空間域參數，用以 產生圖像取樣數據118。該處理單元108包括 一運動向量預測及運動補償單 元132、 一影像重建單元136及一區塊濾波單元138。該運動向量預測及運動 補償單元132，接收該第一及該第二運動向量集合，以產生一預測畫面122。 該影像重建單元136，利用該預測畫面122及該圖像取樣數據118，以產生一 重建畫面124。該區塊濾波單元138，對該重建畫面124執行區塊濾波，以消 除該重建畫面124的區塊效應，產生一輸出畫面112。對於上述解碼裝置的相 關組件，應為此技術領域中具有通常知識者所熟知，於此不多加贅述。
圖8為顯示依據本發明實施例的動態影像解碼方法80流程圖。首先，接 收一比特流(S802)，該比特流為一編碼視頻信號流，該編碼視頻信號流以宏 區塊為基本操作單元(圖1)，每一宏區塊包括複數的子區塊。其次，對該比 特流執行解碼，以還原複數的運動向量參數(S804)。每一運動向量參數，對
應於一宏區塊的一子區塊，且已詳述如前，於此不加贅述。接著，判斷是否
對一目前宏區塊執行運動向量預測或區塊濾波(S806)。若是，則在對該目前 宏區塊執行運動向量預測或區塊濾波之前，找出該目前宏區塊的上邊界鄰近 宏區塊集合(S808)。然後，利用該上邊界鄰近宏區塊集合，產生一第一運動 向量集合(S810)。其中，該第一運動向量集合，對應該上邊界鄰近宏區塊集 合中，每一宏區塊最後一列子區塊的運動向量參數。於一實施例中，該上邊 界鄰近宏區塊集合，包括該目前宏區塊的一左上宏區塊、 一上方宏區塊及一 右上宏區塊。接著，利用該目前宏區塊的左方宏區塊，產生一第二運動向量 集合(S812)。最後，利用該第一及該第二運動向量集合，對該目前宏區塊執 行運動向量預測或區塊濾波(S814)。
雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何 於此技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可做 些許更動與潤飾，因此本發明的保護範圍當視權利要求所界定者為準。
權利要求
1. 一種動態圖像處理方法，用以減少運動向量的儲存量，其特徵在於，接收一視頻信號流，該視頻信號流包含一序列畫面，每一畫面以宏區塊為基本操作單元；該方法的步驟包括將一宏區塊依序劃分為複數的子區塊；比較一宏區塊列及一參考畫面的一參考宏區塊列，以產生該宏區塊列的複數運動向量參數，其中，該參考宏區塊列對應於該宏區塊列，而每一運動向量參數，對應於一宏區塊的一子區塊；於所述的宏區塊列中，找出每一宏區塊最後一列的子區塊；於所述的宏區塊列中，依序儲存對應於上述子區塊的運動向量參數；以及根據上述儲存的運動向量參數，對所述的宏區塊列的下一列宏區塊列進行運動向量預測或區塊濾波。
2.如權利要求1所述的動態圖像處理方法，其特徵在於，所述的宏區塊 劃分為16個子區塊，而所述的最後一列子區塊為一第一子區塊、 一第二子區 塊、 一第三子區塊及一第四子區塊。
3. 如權利要求2所述的動態圖像處理方法，其特徵在於，每一子區塊的 運動向量參數，包括一前向預測運動向量及一後向預測運動向量。
4. 如權利要求3所述的動態圖像處理方法，其特徵在於，所述的前向及 後向預測運動向量包括一對應參數，為對應於該前向或後向預測運動向量的 一參考圖索引值或一參考圖緩衝器位置。
5. 如權利要求4所述的動態圖像處理方法，其特徵在於，當所述的第一 及所述的第三子區塊的運動向量參數的對應參數為所述的參考圖索引值時， 所述的第二及所述的第四子區塊的運動向量參數的對應參數為所述的參考圖 緩衝器位置。
6. 如權利要求4所述的動態圖像處理方法，其特徵在於，當所述的第一 及所述的第三子區塊的運動向量參數的對應參數為所述的參考圖緩衝器位置 時，所述的第二及所述的第四子區塊的運動向量參數的對應參數為所述的參 考圖索引值。
7. 如權利要求3所述的動態圖像處理方法，其特徵在於，所述的運動向 量參數，進一步包括一無效旗標，用以表示所述的前向預測運動向量或所述 的後向預測運動向量為無效。
8. —種動態影像解碼方法，用以於解碼過程中，減少所需的運動向量，其特徵在於，該方法的步驟包括接收一比特流，該比特流為一編碼視頻信號流，該編碼視頻信號流以宏 區塊為基本操作單元，每一宏區塊包括複數的子區塊；對所述的比特流執行解碼，以還原複數的運動向量參數，每一運動向量 參數，對應於一宏區塊的一子區塊；判斷是否對一 目前宏區塊執行運動向量預測或區塊濾波；對所述的目前宏區塊執行運動向量預測或區塊濾波前，找出所述的目前 宏區塊的上邊界鄰近宏區塊集合；利用所述的上邊界鄰近宏區塊集合，產生一第一運動向量集合，其中， 所述的第一運動向量集合，對應所述的上邊界鄰近宏區塊集合中，每一宏區 塊最後一列子區塊的運動向量參數；利用所述的目前宏區塊的左方宏區塊，產生一第二運動向量集合；以及利用所述的第一及所述的第二運動向量集合，對所述的目前宏區塊執行 運動向量預測或區塊濾波。
9. 如權利要求8所述的動態影像解碼方法，其特徵在於，所述的宏區塊 劃分為16個子區塊，而所述的最後一列子區塊為一第一子區塊、 一第二子區 塊、 一第三子區塊及一第四子區塊。
10. 如權利要求9所述的動態影像解碼方法，其特徵在於，上述子區塊的 運動向量參數，包括一前向預測運動向量、 一後向預測運動向量及一無效旗 標，該無效旗標用以表示所述的前向預測運動向量或所述的後向預測運動向 量為無效。
11. 如權利要求10所述的動態影像解碼方法，其特徵在於，所述的前向 及後向預測運動向量包括一對應參數，為對應於該前向或後向預測運動向量 的一參考圖索引值或一參考圖緩衝器位置。
12. 如權利要求11所述的動態影像解碼方法，其特徵在於，當所述的第 一及所述的第三子區塊的運動向量參數的對應參數為所述的參考圖索引值 時，所述的第二及所述的第四子區塊的運動向量參數的對應參數為所述的參 考圖緩衝器位置。
13. 如權利要求11所述的動態影像解碼方法，其特徵在於，當所述的第 一及所述的第三子區塊的運動向量參數的對應參數為所述的參考圖緩衝器位 置時，所述的第二及所述的第四子區塊的運動向量參數的對應參數為所述的 參考圖索引值。
14. 如權利要求8所述的動態影像解碼方法，其特徵在於，所述的上邊界 鄰近宏區塊集合，包括所述的目前宏區塊的一左上宏區塊、 一上方宏區塊及 一右上宏區塊。
15. —種動態影像解碼裝置，用以減少解碼過程中所需的運動向量，其特 徵在於，該動態影像解碼裝置包括一解碼單元，用以解碼一比特流，以還原複數的運動向量參數，其中， 所述的比特流為一編碼視頻信號流，該編碼視頻信號流以宏區塊為基本操作 單元，每一宏區塊包括複數的子區塊，而每一運動向量參數，對應於一宏區 塊的一子區塊；一運動向量搜尋單元，接收所述的運動向量參數，搜尋一目前宏區塊的 上邊界鄰近宏區塊集合，以產生一第一運動向量集合，對應於上邊界鄰近宏區塊集合的每一宏區塊最後一列子區塊的運動向量參數，以及搜尋所述的目 前宏區塊的左方宏區塊，以產生一第二運動向量集合；及一處理單元，利用所述的第一及所述的第二運動向量集合，對所述的目 前宏區塊執行運動向量預測或區塊濾波。
16. 如權利要求15所述的動態影像解碼裝置，其特徵在於，所述的宏區 塊劃分為16個子區塊，而所述的最後一列子區塊為一第一子區塊、 一第二子 區塊、 一第三子區塊及一第四子區塊，且其中，所述的上邊界鄰近宏區塊集 合，包括所述的目前宏區塊的一左上宏區塊、 一上方宏區塊及一右上宏區塊。
17. 如權利要求16所述的動態影像解碼裝置，其特徵在於，上述子區塊 的運動向量參數，包括一前向預測運動向量、 一後向預測運動向量及一無效 旗標，其中，所述的無效旗標用以表示所述的前向預測運動向量或所述的後 向預測運動向量為無效。
18. 如權利要求17所述的動態影像解碼裝置，其特徵在於，所述的前向 及後向預測運動向量包括一對應參數，為對應於所述的前向或後向預測運動 向量的一參考圖索引值或一參考圖緩衝器位置。
19. 如權利要求18所述的動態影像解碼裝置，其特徵在於，當所述的運 動向量搜尋單元將所述的第一及所述的第三子區塊的運動向量參數的對應參 數設置為所述的參考圖索引值時，則所述的第二及所述的第四子區塊的運動 向量參數的對應參數設置為所述的參考圖緩衝器位置。
20. 如權利要求18所述的動態影像解碼裝置，其特徵在於，當所述的運 動向量搜尋單元將所述的第一及所述的第三子區塊的運動向量參數的對應參 數設置為所述的參考圖緩衝器位置時，則所述的第二及所述的第四子區塊的 運動向量參數的對應參數設置為所述的參考圖索引值。
全文摘要
本發明提供一種動態圖像處理方法，適用於H.264視頻信號標準，用以減少運動向量預測時所需的運動向量，其步驟包括接收一視頻信號流，包含一序列畫面，每一畫面以宏區塊為基本操作單元；將一宏區塊依序劃分為複數的子區塊；比較一宏區塊列及一參考畫面的一參考宏區塊列，以產生該宏區塊列的複數運動向量參數；於該宏區塊列中，找出每一宏區塊最後一列的子區塊；於該宏區塊列中，依序儲存對應於上述子區塊的運動向量參數；及根據上述儲存的運動向量參數，對該宏區塊列的下一列宏區塊列進行運動向量預測或區塊濾波。
文檔編號H04N7/32GK101394559SQ20071015354
公開日2009年3月25日 申請日期2007年9月21日 優先權日2007年9月21日
發明者王津福, 鄭木彬 申請人:揚智科技股份有限公司