一種計算宏塊運動向量的方法及裝置的製作方法
2023-05-01 21:43:31 1
專利名稱：一種計算宏塊運動向量的方法及裝置的製作方法
技術領域：
本發明涉及視頻圖像處理領域，尤其涉及一種計算宏塊運動向量的方法及裝置。
背景技術：
目前，視頻技術應用廣泛，如網絡學校、遠程醫療、網絡會議、視頻監控等應用中均使用到視頻技術，如果動態圖像數據未經壓縮就使用的話，數據量非常大，容易造成通信線路故障及數據存儲容量緊張，所以，大部分需要使用視頻壓縮技術對視頻圖像進行壓縮後再進行後續的存儲、傳輸等處理，這樣，既節省了存儲空間，又提高了通信線路的傳輸效率， 減少遠程傳輸佔用的帶寬資源。視頻圖像壓縮包括幀內壓縮編碼和幀間壓縮編碼，幀內壓縮編碼是指在同一數據幀內部進行壓縮編碼的方式，幀間壓縮編碼是指以參考數據幀為依據對當前數據幀進行壓縮編碼的方式。所述數據幀是指對一副完整的圖像進行逐行或隔行掃描所獲得數據。參閱圖1所示，在現有的視頻圖像壓縮方法中，進行幀間壓縮編碼的詳細流程如下步驟101 將當前數據幀劃分為若干宏塊，並確定在參考數據幀中進行搜索的搜索範圍，宏塊為數據幀中MXN像素大小的矩形區域。步驟102 按照所述搜索範圍在參考數據幀中確定當前所處理的宏塊對應的搜索區域。步驟103 在上述搜索區域內搜索最佳匹配位置，計算出當前所處理的宏塊的運動向量以及殘差，該運動向量為當前處理的宏塊與最佳匹配位置所在的宏塊之間的偏移量，參閱圖2所示，上述殘差為將最佳匹配位置所在的宏塊與當前處理的宏塊相減得到。步驟104 對殘差進行整數變換、量化、掃描處理後，最後再進行編碼(熵編碼)得到表示殘差的碼字。步驟105 計算當前處理的宏塊的預測運動向量，將預測的運動向量與上述匹配計算出的運動向量相減後，得到預測誤差，對預測誤差進行編碼(熵編碼)，得到表示運動向量預測誤差的碼字。步驟106 將表示運動向量預測誤差的碼字及表示殘差的碼字，按照視頻壓縮的語法語義結構進行整合，得到壓縮碼流。可見，現有的視頻編碼方法中，在計算宏塊的運動向量時，搜索範圍是固定的，那麼，由搜索範圍確定的搜索區域也是固定的，為了保證運動估計的精確度，搜索範圍不能選取的太小，而選取的搜索範圍越大，在運動搜索時的計算量也就越大。據估算，運動搜索的計算量約佔視頻編碼計算量的50 % -80 %。在視頻應用場景中，經常會遇到視頻圖像的背景保持靜止，只有前景的一部分區域是處於運動狀態的情況，雖然背景區域是始終保持靜止的，但是由於各種噪聲的幹擾，在計算宏塊的運動向量時，屬於背景區域的宏塊在參考數據幀中搜索得到的最佳匹配位置， 已經不能反映真實場景的運動情況，仍然得到了非零的運動向量，在編碼時仍佔有碼字，從而增加視頻編碼文件的大小，增加視頻傳輸的碼率。綜上所述，需要尋求一種計算宏塊運動向量的方法，能夠在編碼後，減少不必要的碼字長度，提高視頻傳輸的碼率，同時，減少視頻壓縮編碼的計算量。
發明內容
本發明提供了一種計算宏塊運動向量的方法及裝置，能夠在根據該方法獲取的宏塊的運動向量進行編碼時，減少不必要的碼字長度，提高視頻傳輸的碼率，並且能夠減少計算宏塊運動向量所帶來的計算量，達到減少視頻壓縮編碼的計算量的目的。本發明實施例提供的具體技術方案如下一種計算宏塊運動向量的方法，包括在當前數據幀中獲取待處理的宏塊，並確定該宏塊在當前數據幀表徵的圖像中所屬的子區域，所述當前數據幀表徵的圖像被劃分為至少兩個子區域；根據針對每一個子區域設定的搜索範圍，確定對應所述宏塊所屬子區域對應的搜索範圍；按照確定出的搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的搜索區域，以及在所述搜索區域內搜索與所述宏塊對應的最佳匹配位置，計算出所述宏塊的運
動向量。一種計算宏塊運動向量的裝置，包括第一處理單元，用於在當前數據幀中獲取待處理的宏塊，並確定該宏塊在當前數據幀表徵的圖像中所屬的子區域，所述當前數據幀表徵的圖像被劃分為至少兩個子區域；第二處理單元，用於根據針對每一個子區域設定的搜索範圍，確定對應所述子區域對應的搜索範圍；第三處理單元，用於按照確定出的搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的搜索區域，以及在所述搜索區域內搜索與所述宏塊對應的最佳匹配位置，計算出所述宏塊的運動向量。基於上述技術方案，本發明實施例中，通過將視頻圖像劃分為不同的子區域，並針對各個子區域設定不同的搜索範圍，對於用戶不關心、不存在運動目標的子區域設定較小的搜索範圍，在計算當前數據幀當前處理的宏塊的運動向量時，首先確定當前處理的宏塊在當前數據幀表徵的圖像中所屬的子區域，獲得針對該子區域預設的搜索範圍，根據該搜索範圍在參考數據幀中確定搜索區域，較小搜索範圍所確定的搜索區域也較小，從而能夠將運動搜索得到的運動向量以及預測的運動向量控制在較小範圍內，計算得到的運動向量的預測誤差也就相應的控制在較小的範圍內，從而節省對運動向量預測誤差進行編碼後的碼字長度，達到減少碼流，提高視頻傳輸碼率的目的，並且，在接收端解碼時，不需要修改解碼器即可順利解碼。同時，通過設定較小的搜索範圍，使得在計算屬於該子區域的宏塊的運動向量時，在參考數據幀中的搜索區域縮小，從而大大減小了運動搜索時進行匹配計算的計算量，達到了減少壓縮編碼計算量的目的。
圖1為現有的視頻圖像幀間壓縮編碼流程5
圖2為確定運動向量的示意圖；圖3為本發明實施例的計算宏塊運動向量的裝置結構圖；圖4為本發明實施例計算宏塊運動向量的流程圖；圖5為本發明實施例宏塊在參考數據幀中確定搜索區域示意圖；圖6為本發明實施例宏塊在參考數據幀中確定搜索區域的示意圖；圖7為本發明實施例得到運動向量後的編碼流程圖。
具體實施例方式為了在壓縮編碼時，減少不必要的碼字，提高視頻傳輸的碼率，減少壓縮編碼時的計算量，本發明實施例中，提供了一種計算宏塊運動向量的方法，該方法為根據用戶需求 (例如，用戶的感興趣程度或者應用場景的實際運動情況)，將視頻圖像劃分為不同的子區域，並針對各個子區域設定不同的搜索範圍，在針對當前數據幀中的宏塊進行運動搜索時， 首先確定該宏塊所屬的子區域，按照該子區域預設的搜索範圍在參考數據幀中確定搜索區域，在確定的搜索區域內搜索最佳匹配位置，並計算出該宏塊的運動向量。為實現上述技術方案，首先，根據用戶需求(例如，用戶的感興趣程度或應用場景目標的實際運動情況)對視頻圖像劃分子區域，可以將視頻圖像劃分為多個子區域，並針對各個子區域設定不同的搜索範圍，搜索範圍可以根據每個子區域內實際的運動情況來設定，所述搜索範圍用於對屬於當前圖像數據幀的宏塊進行運動搜索時，在參考圖像的數據幀中確定搜索區域。例如，在ATM取款機的視頻監控的應用場景中，一般情況下，都是只有位於場景中間位置的操作者處於運動狀態，用戶可以根據實際需要將視頻圖像劃分為背景區域和前景區域，所述前景區域為操作者所在的區域，也正是實際應用中，用戶所關注的區域，那麼，對於前景區域設定第一搜索範圍，而對於不存在運動對象的背景區域，設定第二搜索範圍。以下實施例，均以將視頻圖像劃分為前景區域和背景區域為例進行說明，並針對所述背景區域設定第一搜索範圍，針對所述前景區域設定第二搜索範圍，所述第一搜索範圍小於所述第二搜索範圍。對於本領域技術人員，可以根據本發明提供的實施例將圖像劃分為任意多個區域，實現原理基本相同，這裡不再一一舉例說明。例如，在ATM取款機的視頻監控的場景中，針對不包含運動目標的背景區域設定的第一搜索範圍為正負8像素，針對包含操作者的前景區域設定的第二搜索範圍為正負32像素。下面結合附圖對本發明優選的實施方式進行詳細說明。參閱圖3所示，本發明實施例中，計算宏塊運動向量的裝置主要包括以下處理單元劃分單元310，用於在當前數據幀中獲取待處理的宏塊之前，根據用戶需求對當前數據幀表徵的圖像進行劃分，獲得至少兩個以上的子區域，並針對每個子區域預設不同的搜索範圍；第一處理單元320，用於在當前數據幀中獲取待處理的宏塊，並確定該宏塊在當前數據幀表徵的圖像中所屬的子區域，所述當前數據幀表徵的圖像被劃分為至少兩個子區域；
第二處理單元330，用於根據對應每一個子區域設定的搜索範圍，確定對應所述子區域預設的搜索範圍；第三處理單元340，用於按照確定出的搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的搜索區域，以及在所述搜索區域內搜索與所述宏塊對應的最佳匹配位置，計算出所述宏塊的運動向量。基於上述系統架構，參閱圖4所示，本發明實施例中，計算宏塊運動向量的詳細流程如下步驟401 選定參考數據幀，並將當前數據幀劃分為若干宏塊，所述宏塊表徵為數據幀中MXN像素大小的矩形區域，所述數據幀是指對一副完整的圖像進行逐行掃描所獲得數據，獲取待處理的宏塊，確定該待處理的宏塊在當前數據幀中所屬的子區域。例如，當前數據幀的大小為像素，將當前數據幀劃分為8X8像素大小的宏塊，則可以劃分為256個宏塊。步驟402 確定該待處理宏塊在當前數據幀中所屬子區域對應的搜索範圍，如當前處理的所述宏塊屬於背景區域，則根據預設的第一搜索範圍在參考數據幀的對應位置確定第一搜索區域，並在所述第一搜索區域內進行搜索，按照匹配準則搜索最佳匹配位置；否則，當前所處理的宏塊屬於前景區域，則根據預設的所述第二搜索範圍在參考數據幀中的對應位置確定第二搜索區域，並在所述第二搜索區域內進行搜索，按照匹配準則搜索最佳匹配位置。其中，根據預設的搜索範圍在參考數據幀中確定搜索區域的方法為，以參考數據幀中與當前處理的宏塊對應的位置為中心，向四周擴展搜索範圍所表示的像素個數，所得到的區域即為搜索區域。參閱圖5所示，以在參考數據幀中與所述宏塊對應的位置為中心， 向四周擴展搜索範圍(正負R像素)確定搜索區域，所述搜索範圍(正負R像素)表示以宏塊所在的位置為原坐標，向水平和垂直的正負方向上各擴展R像素。例如，搜索範圍為正負R像素，在水平方向上，負R像素就表示在當前塊的位置向左移動R像素，正R像素就表示在當前塊的位置向右移R像素，最後所確定即為水平方向上的範圍，垂直方向上範圍的確定同上，最後，由水平和垂直方向共同確定的區域即為與搜索範圍對應的搜索區域。例如，參閱圖6所示，當前處理的宏塊屬於背景區域，則按照預設的第一搜索範圍(正負8像素)在參考數據幀中確定第一搜索區域，採用絕對誤差和(Sum of Absolute Difference, SAD)匹配準則進行匹配計算，使得計算出的SAD值最小的坐標位置即為最佳匹配位置；否則，當前處理的宏塊屬於前景區域，則按照預設的第二搜索範圍(正負32像素)在參考數據幀中確定第二搜索區域，採用SAD匹配準則對搜索區域內的所有像素點進行匹配計算，使得計算出的SAD值最小的像素點所在的位置即為最佳匹配位置，SAD匹配準
M N
則的計算公式為 S^XuhZZU^W-Uw + W + Wl，其中fk(m，η)表示當前數據
w=l =1
幀中當前處理的宏塊坐標為(m，n)位置的像素值，f^Oii+m+y)表示在參考數據幀的搜索區域內，坐標為(m+X，n+y)位置的像素值。步驟403 上述最佳匹配位置對應的宏塊即為最佳匹配宏塊，根據該最佳匹配宏塊，計算當前數據幀中當前處理的宏塊相對於參考數據幀的運動向量，所述運動向量表徵為最佳匹配宏塊所在的位置與當前處理的宏塊在搜索區域中的對應位置之間的偏移量。
例如，最佳匹配宏塊左上角的坐標為搜索區域內的(8，8)，當前處理的宏塊的左上角在搜索區域的對應位置的坐標為G，4)，則計算出的運動向量為0，4)，可見，對於屬於背景區域的宏塊，採用正負8像素的搜索範圍，計算得到的運動向量的範圍為(_7，7)， 而對於屬於前景區域的宏塊，採用正負32像素的搜索範圍，計算得到的運動向量的範圍為 (-31,31)。根據上述方法計算得到當前宏塊的運動向量後，參閱圖7所示，進一步進行編碼的詳細流程如下步驟701 根據計算宏塊運動向量流程所獲取的最佳匹配宏塊，計算當前處理的宏塊的殘差，所述殘差為將上述最佳匹配宏塊與當前數據幀中當前處理的宏塊對應像素點的像素值相減得到。例如，最佳匹配宏塊的左上角在搜索區域內的坐標為(8，8)，則將搜索區域內以 (8,8)為左上角的8X8像素的宏塊中各個像素點的像素值，與當前處理的宏塊對應像素點的像素值相減，即可得到8X8像素的殘差。步驟702 對上述殘差進行整數變換，並對所述整數變換後的係數矩陣進行量化後，進行之字形掃描，再對得到的係數矩陣進行編碼後，得到表示殘差的碼字。步驟703 對當前數據幀中當前處理的宏塊進行預測，得到預測的運動向量，將上述計算出的運動向量與該預測的運動向量相減後得到預測誤差。例如，將與當前處理的宏塊相鄰的所有宏塊的運動向量，左上角相鄰宏塊的運動向量、上方相鄰宏塊的運動向量、左邊相鄰宏塊的運動向量等進行加權平均後得到向量(4， 5)，作為當前處理宏塊的預測運動向量，計算出的當前處理宏塊的運動向量為G，4)，則運動向量的預測誤差為(0，1)，可見，對於背景區域的宏塊，運動向量的預測誤差的範圍為 (_7，7)，而對於前景區域中的宏塊，運動向量的預測誤差的範圍為(_31，31)。步驟704 對運動向量的預測誤差進行編碼，得到表示運動向量預測誤差的碼字。例如，運動向量的預測誤差(0，1)，採用熵編碼方法中的0階指數哥倫布碼錶進行編碼，碼錶如表1所示，則該預測誤差對應的碼字為(1，011)，採用同樣的方法對所述殘差中的每個值進行編碼，得到表示殘差的碼字。可見，對於背景區域中的宏塊，對運動向量預測誤差編碼後的碼字最長為7比特，而對於前景區域中的宏塊，對運動向量預測誤差編碼後的碼字最長為11比特。步驟705 將表示運動向量預測誤差的碼字及表示殘差的碼字，按照視頻壓縮的語法語義結構進行整合，得到壓縮碼流。表 權利要求
1.一種計算宏塊運動向量的方法，其特徵在於，包括在當前數據幀中獲取待處理的宏塊，並確定該宏塊在當前數據幀表徵的圖像中所屬的子區域，所述當前數據幀表徵的圖像被劃分為至少兩個子區域；根據針對每一個子區域設定的搜索範圍，確定所述宏塊所屬子區域對應的搜索範圍；按照確定出的搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的搜索區域， 以及在所述搜索區域內搜索與所述宏塊對應的最佳匹配位置，計算出所述宏塊的運動向量。
2.如權利要求1所述的方法，其特徵在於，在當前數據幀中獲取待處理的宏塊之前，根據用戶需求對當前數據幀表徵的圖像進行劃分，獲得至少兩個子區域，並針對每個子區域預設不同的搜索範圍。
3.如權利要求2所述的方法，其特徵在於，所述至少兩個子區域包括兩個，分別為背景區域和非背景區域，並且對應該背景區域預設的第一搜索範圍不同於對應非背景區域預設的第二搜索範圍。
4.如權利要求3所述的方法，其特徵在於，按照確定出的搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的搜索區域，以及在所述搜索區域內搜索與所述宏塊對應的最佳匹配位置，具體包括確定對應所述子區域預設的搜索範圍為第一搜索範圍時，按照所述第一搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的第一搜索區域，以及在所述第一搜索區域內搜索與所述宏塊對應的最佳匹配位置；確定對應所述子區域預設的搜索範圍為第二搜索範圍時，按照所述第二搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的第二搜索區域，以及在所述第二搜索區域內搜索與所述宏塊對應的最佳匹配位置。
5.如權利要求3或4所述的方法，其特徵在於，所述第一搜索範圍為正負8像素，所述第二搜索範圍為正負32像素。
6.如權利要求1所述的方法，其特徵在於，計算出所述宏塊的運動向量後，獲取所述宏塊的殘差，並根據所述運動向量和所述殘差對所述宏塊進行編碼。
7.一種計算宏塊運動向量的裝置，其特徵在於，包括第一處理單元，用於在當前數據幀中獲取待處理的宏塊，並確定該宏塊在當前數據幀表徵的圖像中所屬的子區域，所述當前數據幀表徵的圖像被劃分為至少兩個子區域；第二處理單元，用於根據針對每一個子區域設定的搜索範圍，確定所述宏塊所屬子區域對應的搜索範圍；第三處理單元，用於按照確定出的搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的搜索區域，以及在所述搜索區域內搜索與所述宏塊對應的最佳匹配位置，計算出所述宏塊的運動向量。
8.如權利要求7所述的裝置，其特徵在於，進一步包括劃分單元，用於在當前數據幀中獲取待處理的宏塊之前，根據用戶需求對當前數據幀表徵的圖像進行劃分，獲得至少兩個子區域，並針對每個子區域預設不同的搜索範圍。
9.如權利要求8所述的裝置，其特徵在於，若所述劃分單元獲得至少兩個子區域包括兩個，分別為背景區域和非背景區域，並且對應該背景區域預設的第一搜索範圍不同於對應非背景區域預設的第二搜索範圍。
10.如權利要求9所述的裝置，其特徵在於，所述第三處理單元按照確定出的搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的搜索區域，以及在所述搜索區域內搜索與所述宏塊對應的最佳匹配位置，具體為所述第二處理單元確定對應所述子區域預設的搜索範圍為第一搜索範圍時，所述第三處理單元按照所述第一搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的第一搜索區域，以及在所述第一搜索區域內搜索與所述宏塊對應的最佳匹配位置；所述第二處理單元確定對應所述子區域預設的搜索範圍為第二搜索範圍時，所述第三處理單元按照所述第二搜索範圍在參考數據幀所表徵的圖像中確定所述宏塊對應的第二搜索區域，以及在所述第二搜索區域內搜索與所述宏塊對應的最佳匹配位置。
全文摘要
本發明公開了一種計算宏塊運動向量的方法及裝置，用以減少碼流，提高視頻傳輸碼率，減少壓縮編碼的計算量。該方法包括在當前數據幀中獲取待處理的宏塊，並確定該宏塊在當前數據幀表徵的圖像中所屬的子區域，所述當前數據幀表徵的圖像被劃分為至少兩個子區域；根據針對每個子區域設定的搜索範圍，確定對應所述子區域對應的搜索範圍；按照確定出的所述搜索範圍在參考數據幀中確定所述宏塊對應的搜索區域，以及在所述搜索區域內搜索最佳匹配位置，計算出所述宏塊的運動向量。這樣，進行編碼後，節省了運動向量預測誤差的碼字長度，從而減少了碼流，提高了視頻傳輸的碼率，並減少了壓縮編碼計算量。本發明同時公開了一種計算宏塊運動向量的裝置。
文檔編號G06F17/30GK102291577SQ20101021245
公開日2011年12月21日 申請日期2010年6月21日 優先權日2010年6月21日
發明者王浩 申請人:北京中星微電子有限公司