一種運動矢量預測裝置和方法

2023-05-22 02:45:01

專利名稱：一種運動矢量預測裝置和方法
技術領域：
本發明屬於數字視頻編解碼技術領域，特別涉及一種視頻編碼運動矢量預測裝置 和方法。
背景技術：
隨著電子和通信技術的發展，數字視頻已經深入日常生活，人們對視頻的需求不 斷高漲。其中數字視頻壓縮技術被廣泛應用於通信、個人計算機、廣播電視、消費電子等領 域，堪稱數字媒體產業的最核心技術。以MPEG-2為代表的信源編碼標準獲得了巨大的成 功。目前，以H. 264/AVC和AVS為代表的新一代信源編碼標準出現了。AVS標準是中國具有 自主智慧財產權的信源編碼標準。2006年2月，AVS視頻標準已經正式被批准為國家標準，進 入了產業化推廣的階段。主流視頻編碼的核心算法是幀間預測。幀間預測的主要目的是去除視頻序列中的 時序冗餘，它是混合視頻編碼框架中對性能影響最為重要的一個環節。其中運動矢量預測， 是實現視頻幀間預測高效率的關鍵技術。所謂運動矢量預測就是在一幀圖像中選中一個目 標塊，預測其在連續視頻(前向/後向)中另一幀圖像中的位置。編碼通常有實時性的要求，同時現在的視頻應用向高清，超高清方向發展，使得同 一時間處理的信息量很大，只能採用多級流水的硬體結構。在這樣的流水結構下，由於運動 矢量預測時數據存在較大的關聯性，使得編碼在做運動矢量預測時，存儲的最佳運動矢量 數據量大，為當前塊選擇鄰近塊運動矢量時控制複雜，運算模塊佔用過多硬體資源。

發明內容
為解決上述問題，本發明的提出了一種新的高清實時視頻編碼運動矢量預測裝置 和方法。本發明提供的技術方案如下一種運動矢量預測裝置(參圖1)，主要包括運動矢量預測控制模塊(M1，即MVP 控制模塊)，鄰近塊初始化模塊(M2)，當前塊初始化模塊(M3)，時域運動矢量預測模塊 (M4)，其特徵在於，_所述運動矢量預測控制模塊(Ml)，位於鄰近塊初始化模塊(M2)和當前塊初始化 模塊(M3)和時域運動矢量預測模塊(M4)之間，用於控制鄰近塊初始化模塊(M2)和當前塊 初始化模塊(M3)到時域運動矢量預測模塊(M4)的最佳運動矢量的傳遞；-所述鄰近塊初始化模塊(M2)，用於預測塊的鄰近數據更新存儲，為當前預測塊 填充準備好鄰近裝載模塊的數據；-所述當前塊初始化模塊(M3)，用於在當前塊各種分割模式下，提供鄰近裝載模 塊(M2)的塊索引，選出當前預測塊需要的鄰近塊運動矢量數據；-所述時域運動矢量預測模塊(M4)為各種模式計算按照標準的時域運動矢量。進一步，所述裝置的硬體流水採用zig-zag掃描結構，該結構的工作方式為每三行宏塊為一組，每一組掃描時，第一行先順序處理5個宏塊，然後和第二行開始一一交替； 到第15個宏塊時，加入第三行，三行宏塊一一交替；每一組結束的時候採用和開始對稱的 方式，逐漸結束一組的掃描，然後以同樣的方式開始下一組。進一步，每個參考幀的時域運動矢量預測採用一套時域運動矢量預測模塊(M4)， 串行執行各種模式的預測。進一步，鄰近塊初始化模塊(M2)中採用3條長buffer和3個左邊buffer更新存 儲最佳的運動矢量，並採用初始化鄰近塊寄存器組的方式，為預測塊提供一個鄰近塊的數
據集合。進一步，當前塊初始化模塊(M3)為每種分割模式下的預測塊制定一個查找碼錶， 用於從初始化鄰近塊寄存器組中，選出預測塊所需的運動矢量。一種運動矢量預測方法，其特徵在於，所述方法包括如下步驟1)處於初始狀態，判斷工作使能信號，如果工作使能信號為真，進入步驟2)，否則 待在步驟1)；2)解析幀級的信息和宏塊級的信息，分別判斷前向運動矢量預測和後向運動矢量 預測要不要做，要做進入步驟3)，否則退回到步驟1)；3)運動矢量預測控制模塊從模式選擇模塊獲得當前宏塊的最佳分割模式和最佳 運動矢量，獲得後進入步驟4)；4)鄰近塊初始化模塊根據當前宏塊的坐標，從3條長buffer和3個左邊buffer 中，選出其鄰近塊的運動矢量信息，將這些運動矢量和當前塊的最佳運動矢量一起寫入鄰 近塊寄存器組，準備好後進入步驟5)；5)當前塊初始化模塊根據當前宏塊的最佳分割模式和要預測的具體塊塊號，查找 索引表，找到所要預測塊的塊索引，用這個塊索引在鄰近塊寄存器組中選出所需的鄰近塊 A，B，C的運動矢量信息，準備好後進入步驟6)；6)選出的鄰近塊A，B, C的運動矢量信息通過運動矢量預測控制模塊傳遞給時域 運動矢量預測模塊，做出預測後，將預測的結果送回運動矢量控制模塊，輸出給下一級模 塊，完成後進入步驟7)；7)根據當前宏塊的坐標，將當前宏塊的最佳運動矢量通過鄰近塊初始化模塊更新 到3條長buffer和3個左邊buffer的對應位置，保存下來，為後面的宏塊預測使用，完成 後返回步驟1)。本發明採用了前後向各一套時域運動矢量預測模塊，通過控制串行執行各種模式 預測，大大節省了運算單元的資源，特別是乘除法器的資源。本發明解決了宏塊級流水線工 作時，運動矢量預測遇到一些數據依賴性的問題，使得為亞像素運動估計的搜索起始點預 測可以和模式決策模塊並行處理，提高編碼的性能，降低編碼系統的複雜度。本發明採用的 存儲結構簡化了控制，節省了資源，降低動態存儲器帶寬。本發明採用查表的方式對鄰近塊 運動矢量的選取和控制做了簡化，降低了編碼的複雜度，節省了工作時鐘，滿足了高清視頻 編碼的實時性。


圖1是提出的運動矢量預測裝置系統結構圖2是提出的編碼系統流水線圖；圖3是提出的基於宏塊(16X 16像素)級硬體流水的zig-zag掃描圖；圖4是提出的上邊最佳運動矢量buffer和左邊最佳運動矢量模塊數據更新說明 圖；圖5是提出的鄰近塊裝載模塊裝載說明圖；圖6是提出的當前塊各種分割下對應的塊索引；圖7是提出的當前塊初始化模塊硬體結構圖；圖8是提出的運動矢量預測硬體系統流程圖。
具體實施例方式下面結合具體實施方法和附圖對本發明作進一步詳細的說明。本發明提出的運動矢量預測(以下簡稱MVP)裝置見附圖1，主要包括以下幾部分。 其中，1、MVP控制模塊完成以下功能11、接收工作使能信號，返回MVP工作狀態包括idle狀態和error狀態。控制MVP 總狀態機的工作和各模塊的運行。1. 2、從鄰近塊初始化模塊中選出當前宏塊(16X16像素)需要的鄰近塊(8X8像 素)的數據。為前後向時域運算模塊選出合適的前後向運動矢量信息。1. 3、為P幀skip模式模塊和B幀direct模式模塊提供運動矢量信息。1. 4、從時域運算模塊和P幀skip模式模塊和B幀direct模式模塊得到預測的運 動矢量信息，傳遞給MVP輸入輸出模塊。2、MVP輸入輸出包括以下模塊2. 1、整像素運動估計FIFO(先進先出存儲器)(2個)分別接收宏塊整像素運動 估計搜索到的各種模式(16X16像素，16X8像素，8X16像素，8X8像素)下的整像素運動矢量。2. 2亞像素運動估計FIFO 接收亞像素運動估計搜索到的8 X 8像素模式下的亞像
素運動矢量。2. 3、模式決策FIFO 接收模式決策模塊確定的宏塊最佳模式和最佳運動矢量。2. 4、動態存儲器FIFO =B幀時接收上一 P幀參考幀存入動態存儲器的最佳運動矢量。2. 5、同時MVP輸入輸出模塊還負責向整像素運動估計模塊、亞像素運動估計模 塊、變長編碼模塊和動態存儲器模塊寫出它們需要的數據。3、鄰近塊初始化模塊包括以下模塊3. 1、上邊最佳運動矢量buffer (3條)分別用於存儲宏塊掃描時模式決策模塊提 供的每一行的最佳運動矢量，為預測宏塊提供上邊塊的最佳運動矢量，需要存儲每一行的 所有宏塊(16X16像素)的下面兩個塊(8X8像素)的最佳運動矢量，由於裝置支持1080p， 每一行最大可以存儲240個塊的運動矢量。包含最佳的前向運動矢量和最佳的後向運動矢量。3. 2、左邊運動矢量模塊用於存儲最佳運動矢量，為預測宏塊提供左邊的最佳運動矢量，只需要存儲每一行最新做過宏塊的最佳運動矢量。也包含最佳的前向運動矢量和 最佳的後向運動矢量。3. 3、鄰近塊裝載模塊將當前塊的鄰近塊表格用最佳運動矢量信息填充完整。4、當前塊初始化模塊負責為當前時域運算模塊需要預測的塊，從宏塊鄰近初始 化模塊中選出需要的數據。5,MVP時域運算模塊(前向)按照時域預測算法，計算P幀對應近參考幀的運動 矢量預測，或對B幀前向參考幀運動矢量預測。6、MVP時域運算模塊(後向)按照時域預測算法，計算P幀對應遠參考幀的運動 矢量預測，或對B幀後向參考幀運動矢量預測。本發明的結構中只有前後向兩套時域運動 矢量預測運算模塊，各種模式的運算如果需要，將按在流水線中的緩急，串行先後使用運算 模塊。大大節省了硬體資源，特別是乘除法器的資源。因為本發明是基於AVS視頻編碼標 準設計的，AVS視頻編碼的P、B幀最大參考幀數為兩個，所以運算電路以及數據的存儲結構 也只採用了兩路的形式，針對H. 264的多參考幀，相應的電路結構也可以以並聯形式擴展。7、P幀skip模式模塊為P幀skip模式提供預測數據。8、B幀direct模式模塊為B幀direct模式提供預測數據。9、B幀雙向中後向計算模塊B幀時為亞像素運動估計模塊計算雙向模式時後向 的運動矢量。10、管理宏塊信息模塊更新管理各流水級中模塊的信息。11、解析幀級信息模塊解析來自軟體的幀級的視頻信息。12、解析宏塊級信息模塊解析來自宏塊控制模塊的宏塊級的信息。其中，MVP輸入寄存模塊將所有的輸入信號寄存一拍，減低布局布線時由模塊間連 線造成的長連線延時；解析幀級信息模塊解析編碼系統通過片上總線發送的幀級的信息， 比如幀類型，當前幀與參考幀的距離索引等；解析宏塊級信息模塊解析由宏塊控制模塊發 送的宏塊級的信息，比如宏塊的坐標，當前流水中各級模塊是否工作；MVP輸入輸出模塊用 於MVP模塊與各相關模塊的數據交換，主要給整像素運動估計模塊和亞像素運動估計模塊 提供搜索點信息，同時也獲得這兩個模塊提供的運動估計矢量，用於替代當前流水無法獲 得的模式決策後的最佳運動矢量，從模式決策模塊獲得最佳模式和最佳運動矢量的同時， 也給模式決策模塊提供P幀skip模式和B幀direct模式預測的運動矢量用於模式決策，最 重要的通過輸出，給變長編碼模塊輸出符合編解碼標準的預測運動矢量，用於最終的編碼； MVP控制模塊是整個編碼系統的中心，用於控制各模塊的正常工作，並為各模塊提供數據的 交流，比如將MVP輸入輸出模塊獲得的最佳運動矢量傳遞給鄰近塊初始化模塊用於數據更 新，將鄰近塊初始化模塊和當前塊初始化模塊準備好的用於預測的鄰近塊運動矢量信息傳 遞給時域運動運算模塊，將計算得到的預測運動矢量傳遞給輸入輸出模塊；鄰近塊初始化 模塊和當前塊初始化模塊用於當前塊預測時相關鄰近塊的運動矢量信息的存儲更新；由於 MVP模塊需要跨流水線工作，管理宏塊信息模塊用於管理各級宏塊的信息，採用移位寄存器 的結構；其餘MVP時域運算模塊，P幀skip模式模塊，B幀direct模式模塊和B幀雙向模 塊分別是計算模塊，通過預測算法得到預測的運動矢量。參照圖2，為本發明所在的編碼系統流水線圖。在這樣流水結構下，可以看到亞像 素運動估計模塊和模式決策模塊在流水線中處於相鄰的流水級。這樣在順序進行宏塊掃描的時候，就會造成運動矢量預測模塊給亞像素運動估計計算搜索起始點位置的時候，無法 獲得左邊最佳運動矢量。參照圖3，為本發明採用的宏塊級硬體流水的zig-zag掃描圖，每三行宏塊為一 組。每一組掃描時，第一行先順序處理5個宏塊，然後和第二行開始一一交替。到第15個宏 塊時，加入第三行，三行宏塊一一交替。每一組結束的時候採用和開始對稱的方式，逐漸結 束一組的掃描，然後以同樣的方式開始下一組。這樣的掃描方式使得宏塊在給亞像素運動 估計提供搜索點時，擺脫了流水的限制，大多數的情況下可以獲得左邊宏塊的最佳運動矢 量，而順序掃描無法獲得。從而提高了編碼的性能，同時降低了動態存儲器的數據存儲量， 降低了帶寬需求。參照圖4，為本發明採用的上邊最佳運動矢量buffer和左邊最佳運動矢量模塊 數據更新說明圖。例如4號宏塊的最佳運動矢量由模式決策模塊獲得後，同時結束了變長 編碼的運動矢量預測，這時就可以將該宏塊的下面2號和3號塊的數據更新到三行line_ buffer中第一行的相對應位置，為下面的12號宏塊存儲上邊塊的數據，在做12號塊的預 測時可以從linejxiffer的相應位置取得該數據。同樣該宏塊右邊1號塊和3號塊的數 據也存入相應行的IeftJxifTer中，為5號塊的預測提供最佳的運動矢量，每行的left_ buffer只需要存儲兩個塊的運動矢量。但由於流水的限制，5號塊在做亞像素運動估計時， 4號塊剛剛開始做模式決策，沒有最佳運動矢量，這時可以用4號塊的亞像素運動估計中8 像素X 8像素模式的估計值代替最佳值。採用這種算法的宏塊在所採用的zig-zag掃描結 構中只有每組的前面5個宏和後面4個宏塊，如果採用順序掃描，這種情況無法避免。數據 存儲和更新的buffer分為前後向各一套參照圖5，為本發明採用的鄰近塊裝載模塊裝載說明圖。給預測宏塊需要的相鄰塊 和宏塊本身的4個塊進行編號，如圖從0-9。根據預測宏塊的坐標信息，以及上下左右的宏 塊可不可以用的信息，從line_buffer運動矢量，left_buffer運動矢量和當前塊運動矢量 中選出對應的數據，前後向分開，分別裝入兩個編號後的寄存器組當中，完成了鄰近塊的裝 載，為當前塊初始化模塊查表選擇做好準備。參照圖6，為本發明採用的當前塊各種分割下對應的塊索引。由預測模塊的模式， 根據前邊已經編號的鄰近塊裝載模塊，可以制出要預測塊位置上邊和左邊對應相鄰塊。例 如在16像素X 8像素模式下，預測宏塊上面兩塊的預測值都為0號塊的預測值，根據算法， 0號塊的相應的相鄰塊為1，3，5，2。同樣對下面兩塊，預測值為2號塊的預測值，對應的相 鄰塊為0，6，7，1。參照圖7，為本發明採用的當前塊初始化模塊硬體結構圖。將當前塊各種分割下對 應的塊索引匯總，加上方向信息，製成一個表格，預測時從表格中查找要預測塊對應的塊索 引，從而很方便地從鄰近塊裝載模塊中選出需要的運動矢量，也分為前後兩個方向。最後為 時域運動矢量預測模塊選出前後兩個方向的最佳運動矢量A，B, C。參照圖8，為本發明採用的運動矢量預測流程圖。開始時MVP模塊處於空閒狀態，。 隨後宏塊控制模塊發出工作使能信號，MVP控制模塊啟功主狀態機，幀級和宏塊級的數據開 始解析，同時MVP輸入輸出模塊開始讀各數據fifo，待數據全部準備好後，由前後向使能信 號控制前後兩路是否開始工作，並且在B幀的時候啟動B幀雙向後向運算模塊，與其它狀態 並行進行。如果前向或後向需要工作，首先判斷P幀skip模式和B幀direct模式是否需要工作，如果需要，通過鄰近塊初始化模塊和當前塊初始化模塊對模式決策模塊流水級中對 應的宏塊準備鄰近塊數據，準備好後啟動運算模塊。結束後將預測到直接模式的數據寫入 亞像素運動估計模塊。然後以同樣的方式判斷亞像素運動估計的各種模式是否需要工作， 如果需要，則準備數據，通過運算模塊為亞像素運動估計模塊預測運動矢量。下一步為變長 編碼模塊計算預測的運動矢量。最後一步為整像素運動估計模塊計算預測的運動矢量。以上實施例僅用以說明而非限制本發明的技術方案，本領域的普通技術人員應當 理解可以對本發明進行修改或者等同替換，而不脫離本發明的精神和範圍的任何修改或 局部替換，其均應涵蓋在本發明的權利要求範圍當中。本發明主要是基於AVS視頻編碼標準，但是只要將時域運動矢量運算模塊的算法 加以修改，本發明可以用於H. 264視頻編碼標準的編碼運動矢量預測。
權利要求
1.一種運動矢量預測裝置，主要包括運動矢量預測控制模塊(Ml)，鄰近塊初始化模 塊(M2)，當前塊初始化模塊(M3)，時域運動矢量預測模塊(M4)，其特徵在於，_所述運動矢量預測控制模塊(Ml)，位於鄰近塊初始化模塊(M2)和當前塊初始化模塊 (M3)和時域運動矢量預測模塊(M4)之間，用於控制鄰近塊初始化模塊(M2)和當前塊初始 化模塊(M3)到時域運動矢量預測模塊(M4)的最佳運動矢量的傳遞；-所述鄰近塊初始化模塊(M2)，用於預測塊的鄰近數據更新存儲，為當前預測塊填充 準備好鄰近裝載模塊的數據；-所述當前塊初始化模塊(M3)，用於在當前塊各種分割模式下，提供鄰近裝載模塊 (M2)的塊索引，選出當前預測塊需要的鄰近塊運動矢量數據；_所述時域運動矢量預測模塊(M4)為各種模式計算按照標準的時域運動矢量。
2.如權利要求1所述的運動矢量預測裝置，其特徵在於，所述裝置的硬體流水採用 zig-zag掃描結構，該結構的工作方式為每三行宏塊為一組，每一組掃描時，第一行先順 序處理5個宏塊，然後和第二行開始一一交替；到第15個宏塊時，加入第三行，三行宏塊 一一交替；每一組結束的時候採用和開始對稱的方式，逐漸結束一組的掃描，然後以同樣的 方式開始下一組。
3.如權利要求1所述的運動矢量預測裝置，其特徵在於，每個參考幀的時域運動矢量 預測採用一套時域運動矢量預測模塊(M4)，串行執行各種模式的預測。
4.如權利要求1所述的運動矢量預測裝置，其特徵在於，鄰近塊初始化模塊(M2)中採 用3條長buffer和3個左邊buffer更新存儲最佳的運動矢量，並採用初始化鄰近塊寄存 器組的方式，為預測塊提供一個鄰近塊的數據集合。
5.如權利要求4所述的運動矢量預測裝置，其特徵在於，當前塊初始化模塊(M3)為每 種分割模式下的預測塊制定一個查找碼錶，用於從初始化鄰近塊寄存器組中，選出預測塊 所需的運動矢量。
6.一種運動矢量預測方法，其特徵在於，所述方法包括如下步驟1)處於初始狀態，判斷工作使能信號，如果工作使能信號為真，進入步驟2)，否則待在 步驟1)；2)解析幀級的信息和宏塊級的信息，分別判斷前向運動矢量預測和後向運動矢量預測 要不要做，要做進入步驟3)，否則退回到步驟1)；3)運動矢量預測控制模塊從模式選擇模塊獲得當前宏塊的最佳分割模式和最佳運動 矢量，獲得後進入步驟4)；4)鄰近塊初始化模塊根據當前宏塊的坐標，從3條長buffer和3個左邊buffer中，選 出其鄰近塊的運動矢量信息，將這些運動矢量和當前塊的最佳運動矢量一起寫入鄰近塊寄 存器組，準備好後進入步驟5)；5)當前塊初始化模塊根據當前宏塊的最佳分割模式和要預測的具體塊塊號，查找索引 表，找到所要預測塊的塊索引，用這個塊索引在鄰近塊寄存器組中選出所需的鄰近塊A，B，C 的運動矢量信息，準備好後進入步驟6)；6)選出的鄰近塊A，B,C的運動矢量信息通過運動矢量預測控制模塊傳遞給時域運動 矢量預測模塊，做出預測後，將預測的結果送回運動矢量控制模塊，輸出給下一級模塊，完 成後進入步驟7)；7)根據當前宏塊的坐標，將當前宏塊的最佳運動矢量通過鄰近塊初始化模塊更新到3 條長buffer和3個左邊buffer的對應位置，保存下來，為後面的宏塊預測使用，完成後返 回步驟1)。
全文摘要
本發明提供了一種運動矢量預測裝置和方法，屬於數字視頻編解碼技術領域。本發明採用前後向各一套時域運動矢量預測模塊，通過控制串行執行各種模式預測，大大節省了運算單元的資源，特別是乘除法器的資源。宏塊流水結構採用了zig-zag宏塊掃描結構，在這種結構下可以解決流水線工作時，運動矢量預測遇到一些數據依賴性的問題，使預測可並行處理，提高編碼的性能，降低編碼系統的複雜度。本發明提出的鄰近塊初始化模塊和當前塊初始化模塊將運動矢量估計中複雜的數據更新轉化為一個簡單的數據表，採用查表的方式對控制做了簡化，降低了編碼的複雜度，節省了工作時鐘，滿足了高清視頻編碼的實時性。
文檔編號H04N7/32GK102148990SQ20111010935
公開日2011年8月10日 申請日期2011年4月28日 優先權日2011年4月28日
發明者王生祥, 田山川, 解曉東, 賈惠柱, 黃鐵軍 申請人:北京大學