視頻圖像亞像素插值的方法和裝置的製作方法
2023-05-27 13:10:51 4
專利名稱：視頻圖像亞像素插值的方法和裝置的製作方法
技術領域：
本發明涉及電數字數據處理技術領域，特別是涉及一種視頻圖像亞像素插值的方法與裝置。
背景技術：
傳統的視頻編碼標準如ITU制定的H.261，H.263，H.26L，H.264標準以及ISO的MPEG組織制定的MEPG-1，MPEG-2，MPEG-4等都是基於混合編碼，即Hybrid Coding框架之上的。所謂混合編碼框架是綜合考慮預測，變換以及熵編碼的方法的編碼框架，有以下主要特點1、利用預測去除時間域的冗餘度；2、利用變換去除空間域的冗餘度；3、利用熵編碼去除統計上的冗餘度；上述視頻編碼標準都具有幀內編碼幀，即I幀，和幀間編碼幀，即P幀，I幀和P幀採用不同的編碼方法。I幀的編碼過程如下對原始圖像數據或幀內預測得到的殘差塊進行二維變換；然後在變換域中對變換係數進行量化；最後進行熵編碼，即Huffman編碼或者算術編碼等。P幀的編碼過程如下採用運動估計得到運動矢量，然後採用基於運動補償的幀間預測，接著對幀間預測得到的殘差塊進行二維變換，再對變換域係數進行量化，最後進行熵編碼。
由於視頻數據在空間上具有極大的相關性，在採用運動估計得到運動矢量的過程中，可以利用像素間的相關性進行亞像素位置像素值的內插，以提高運動矢量的準確性。並且在運動補償的過程中得到較小的殘差數據，從而大大提高壓縮效率。亞像素內插是運動補償環節中提高編碼增益的重要因素。因此，亞像素插值是視頻編解碼中的重要組成部分。
發明內容
本發明的目的是提供一種視頻圖像亞像素插值的方法和裝置，能利用已知像素之間的相關性內插出半像素和1/4像素值，使得運動補償中運動矢量可以精確到1/4像素級，從而提高預測精度，提高編碼效率。
為了達到上述目的，本發明採用的技術方案如下一、視頻圖像亞像素插值的方法1、一種視頻圖像亞像素插值的方法
1)根據亞像素點所處的不同位置分兩步插值完成，5類亞像素點位置如下·一類半像素點與整像素點在同一行或同一列的半像素點；·二類半像素點除了一類半像素點外的其他半像素點；·一類1/4像素點與整像素點在同一行或同一列的1/4像素點；·二類1/4像素點同時與一類半像素點和二類半像素點在同一行或同時與一類半像素點和二類半像素點在同一列的1/4像素點；·三類1/4像素點除了一類1/4像素點和二類1/4像素點之外的1/4像素點；2)根據亞像素點所處的不同位置用不同濾波器插值。
2、所有的亞像素點分兩步插值得到，第一步利用整像素點插值得到一類半像素點和一類1/4像素點；第二步利用已插值得到的一類半像素點插值得到二類半像素點、二類1/4像素點和三類1/4像素點。
3、對一類半像素用同一行中與其距離最近的4個整像素點做參考像素點或同一列中與其距離最近的4個整像素點做參考像素點由四抽頭對稱濾波器插值得到。
4、對一類1/4像素用同一行中與其距離最近的4個整像素點做參考像素點或同一列中與其距離最近的4個整像素點做參考像素點由四抽頭不對稱濾波器插值得到，其中對位於相鄰一類半像素點左側或上方的一類1/4像素點插值的濾波器和對位於相鄰一類半像素點右側或下方的一類1/4像素點插值的濾波器為鏡像濾波器。
5、對二類半像素用同一行中與其距離最近的4個一類半像素點做參考像素點或同一列中與其距離最近的4個一類半像素點做參考像素點由四抽頭對稱濾波器插值得到。
6、對二類1/4像素用同一行中其距離最近的4個一類半像素點做參考像素點或同一列中與其距離最近的4個一類半像素點做參考像素點由四抽頭不對稱濾波器插值得到，其中對位於相鄰二類半像素點左側或上方的二類1/4像素點插值的濾波器和對位於相鄰二類半像素點右側或下方的二類1/4像素點插值的濾波器為鏡像濾波器。
7、對三類1/4像素用位於其左下和右上方的一類半像素點做參考像素點由二抽對稱線性濾波器插值或者用位於其右下和左上方一類半像素點做參考像素點由二抽對稱線性濾波器插值得到。
8、四抽頭對稱濾波器，濾波器形式為{Co1，Co2，Co2，Co1}/[2×(Co1+Co2)]，Coii＝1，2，為濾波器抽頭係數，具體抽頭係數為{-3，19，19，-3}/32，用於對一類半像素和二類半像素插值，濾波公式為x＝(Co1×X1+Co2×X2+Co2×X3+Co1×X4)/[(Co1+Co2)×2]，其中Xi，i＝1...4，為參考像素點。
9、四抽頭不對稱濾波器，濾波器形式為{Co1，Co2，Co3，Co4}/(Co1+Co2+Co3+Co4)，Coi，i＝1...4，為濾波器抽頭係數，具體抽頭係數為{-5，59，13，-3}/64或{-3，29，7，1}/32，濾波公式為x＝(Co1×X1+Co2×X2+Co3×X3+Co4×X4)/(Co1+Co2+Co3+Co4)，其中Xi，i＝1...4，為參考像素點；該濾波器用於一類1/4像素點的插值和二類1/4像素點的插值。
二、視頻圖像亞像素插值的裝置，它包括·用於從原始幀中讀取整像素點像素值的輸入裝置；·用於對一類半像素點和一類1/4像素點插值的第一步插值裝置；·用於暫存第一步插值結果的暫存裝置；·用於對二類半像素點、二類1/4像素點和三類1/4像素點插值的第二步插值裝置；·用於輸出全部亞像素點像素值的輸出裝置。
輸入裝置和第一步插值裝置之間用數據總線連接，用於傳輸整像素點像素值；第一步插值裝置與暫存裝置之間用數據總線連接，用於傳輸第一步插值得到的一類半像素點像素值；第一步插值裝置與輸出裝置之間用數據總線連接，用於傳輸第一步插值得到的亞像素點像素值；暫存裝置和第二步插值裝置之間用數據總線連接，用於傳輸用於第二步插值的一類半像素點像素值；第二步插值裝置和輸出裝置之間用數據總線連接，用於傳輸第二步插值得到的亞像素點像素值。
本發明與背景技術相比，具有的有益的效果是本發明在視頻編解碼環的運動補償預測部分提供了較好的亞像素內插方法。第一、用較少抽頭係數的濾波器對亞像素位置實現內插處理，減少了每次取入的參考像素點的個數，較高程度減緩了每次數據總線的傳輸量。第二、用兩步插值內插出全部1/4精度的亞像素位置像素值，比背景技術減少了一步，即減少了取數次數，降低了數據總線的傳輸數據壓力，並且減少了數據暫存裝置的容量。第三、本發明使用的方法插值結果在性能上比原有背景技術有所提升。較優的插值結果減小了運動補償殘差的大小，降低了碼率，提高了視頻壓縮編碼效率。本發明中的視頻圖像亞像素插值裝置完全實現本發明中的插值方法。
圖1是大寫字母表示的整像素點和小寫字母表示的亞像素點的位置分布示意圖；圖2是第一步插值中利用水平整像素點內插得到用小寫字母表示亞像素點的分布示意圖；圖3是第一步插值完成後內插得到用小寫字母表示亞像素點的分布示意圖；圖4是第二步插值中利用水平半像素點內插得到用小寫字母表示亞像素點的分布示意圖；圖5是第二步插值完成後內插得到用小寫字母表示全部亞像素點的分布示意圖；圖6是視頻圖像亞像素插值裝置的示意圖；圖7是四抽頭對稱插值濾波器組成示意圖；圖8是四抽頭不對稱插值濾波器組成示意圖。
具體實施例方式
在本方法中先把原始圖像中的像素位置稱為整像素點，例如圖1中用大寫字母A標出的點。需要插值得到的像素位置稱為亞像素點，例如圖1中其餘用小寫字母標出的點。亞像素點分為兩類，即半像素點和1/4像素點。半像素點又分為兩類，分別稱為一類半像素點和二類半像素點。1/4像素點分為三類，分別稱為一類1/4像素點，二類1/4像素點和三類1/4像素點。各類亞像素點分別定義如下一類半像素點與整像素點在同一行的半像素點或與整像素點在同一列的半像素點。例如圖1中的b1和b2。
二類半像素點除了一類半像素點外的其他半像素點，例如圖1中的。例如圖一中的c。
一類1/4像素點與整像素點在同一行的1/4像素點或與整像素點在同一列的1/4像素點。例如圖1中的d1、d2、d3、d4。
二類1/4像素點同時與一類半像素點和二類半像素點在同一行的1/4像素點或與同時與一類半像素點和二類半像素點在同一列的1/4像素點。例如圖1中的e1、e2、e3、e4。
三類1/4像素點除了一類和二類1/4像素點以外的其他1/4像素點。例如圖1中的f1、f2、f3、f4。
本發明根據半像素點和1/4像素點的位置分類不同，在不同時間使用不同的濾波器內插出該位置的像素值。內插方法如下噹噹前需要內插得到的亞像素點為一類半像素點bx時，使用對稱四抽頭濾波器F1內插出該類半像素點。可以得到一類半像素點bx的像素值為bx＝((-3)×A1+19×A2+19×A3+(-3)×A4)/32，其中當x＝1時A1，A2，A3和A4為與bx同一行中左右距離最近的整像素點，它們從左至右的位置順序為A1，A2，bx，A3，A4，如圖2中所示。當x＝2時A1，A2，A3和A4為與bx同一列中上下距離最近的整像素點。它們從上到下的位置順序為A1，A2，bx，A3，A4，如圖3中所示。
噹噹前需要內插得到的亞像素點為二類半像素點c時，使用對稱四抽頭濾波器F1內插出該類半像素點。二類半像素點c的像素值可以通過兩種方法得到。第一種方法為c=((-3)b12+19b22+19b32+(-3)b42)/32,]]>其中b12，b22，b32和b42為與c同一行中左右距離最近的已內插得到的一類半像素點，如圖4中所示。它們從左至右的位置順序為b12，b22，c，b32，b42。第二種方法為c=((-3)b11+19b21+19b31+(-3)b41)/32,]]>其中b11，b21，b31和b41為與c同一列中上下距離最近的已內插得到的一類半像素點，如圖5中所示。它們從上到下的位置順序為b11，b21，c，b31，b41。兩種方法在實現中可以任選其中一種。
噹噹前需要內插得到的亞像素點為一類1/4像素點dx時，使用不對稱四抽頭濾波器內插出該一類1/4像素點。該類1/4像素點內插時分兩種情況。
●當該類1/4像素點位於相鄰的一類半像素點左側時，即圖1中的d1時，使用濾波器F2插值。可以得到該位置的一類1/4像素點d1的像素值為d1＝(m1×A1+m2×A2+m3×A3+m4×A4)/(m1+m2+m3+m4)，其中A1，A2，A3和A4為與d1同一行中左右距離最近的整像素點，如圖2所示。它們從左至右的位置順序為A1，A2，d1，A3，A4。當該類1/4像素點位於相鄰的一類半像素點上方時，即圖1中的d3時，使用濾波器F2插值。可以得到該位置的一類1/4像素點d3的像素值為d3＝(m1×A1+m2×A2+m3×A3+m4×A4)/(m1+m2+m3+m4)，其中A1，A2，A3和A4為與d3同一列中上下距離最近的整像素點，如圖3所示。它們從上到下的位置順序為A1，A2，d3，A3，A4。
●當該類1/4像素點位於相鄰的一類半像素點右側時，即圖1中的d2時，使用濾波器F3插值。可以得到該位置的一類1/4像素點d2的像素值為d2＝(m4×A1+m3×A2+m2×A3+m1×A4)/(m1+m2+m3+m4)，其中A1，A2，A3和A4為與d2同一行中左右距離最近的整像素點，如圖2所示。它們從左至右的位置順序為A1，A2，d2，A3，A4。當該類1/4像素點位於相鄰的一類半像素點下方時，即圖1中的d4時，使用濾波器F3插值。可以得到該位置的一類1/4像素點d4的像素值為d4＝(m4×A1+m3×A2+m2×A3+m1×A4)/(m1+m2+m3+m4)，其中A1，A2，A3和A4為與d4同一列中上下距離最近的整像素點，如圖3所示。它們從上到下的位置順序為A1，A2，d4，A3，A4。
噹噹前需要內插得到的亞像素點為二類1/4像素點ex時，使用不對稱四抽頭濾波器內插出該二類1/4像素點。該類1/4像素點內插如下●當該類1/4像素點位於最近的二類半像素點左側時，即圖1中的e1，使用濾波器F2插值。可以得到該類像素點的像素值為e1=(m1b12+m2b22+m3b32+m4b42)/(m1+m2+m3+m4),]]>其中b12，b22，b32和b42為與e1同一行中距離最近的4個已內插得到的一類半像素點。它們從左至右的位置順序為b12，b22，e1，b32，b42，如圖4所示。
●當該類1/4像素點位於最近的二類半像素點上方時，即圖1中的e3，使用濾波器F2插值。可以得到該類像素點的像素值為e3=(m1b11+m2b21+m3b31+m4b41)/(m1+m2+m3+m4),]]>其中b11，b21，b31和b41為與e3同一列中距離最近的4個已內插得到的一類半像素點。它們從上到下的位置順序為b11，b21，e3，b31，b41，如圖5所示。
●當該類1/4像素點位於最近的二類半像素點右側時，即圖1中的e2，使用濾波器F3插值。可以得到該類像素點的像素值為e2=(m4b12+m3b22+m2b32+m1b42)/(m1+m2+m3+m4),]]>其中b12，b22，b32和b42為與e2同一行中距離最近的4個已內插得到的一類半像素點。它們從左至右的位置順序為b12，b22，e1，b32，b42，如圖4所示。
●當該類1/4像素點位於最近的二類半像素點下方時，即圖1中的e4，使用濾波器F3插值。可以得到該類像素點的像素值為e4=(m4b11+m3b21+m2b31+m1b41)/(m1+m2+m3+m4),]]>其中b11，b21，b31和b41為與e4同一列中距離最近的4個已內插得到的一類半像素點。它們從上到下的位置順序為b11，b21，e3，b31，b41，如圖5所示。
噹噹前需要內插得到的亞像素點為三類1/4像素點fx時，使用線性濾波器F4內插出該三類1/4像素點。該類1/4像素點內插時分兩種情況。
●當該類1/4像素點位於最近的二類半像素點的左上方時，即圖1中的f1。可以得到該位置三類1/4像素點f1的像素值為f1=(b21+b12)/2,]]>其中b21為位於f1右上方的一類半像素點，b12為位於f1左下方的一類半像素點，如圖5中所示。當該類1/4像素點位於最近的二類半像素點的右下方時，即圖1中的f2。可以得到該位置三類1/4像素點f2的像素值為f2=(b31+b22)/2,]]>其中b22為位於f2右上方的一類半像素點，b31為位於f2左下方的一類半像素點，如圖5中所示。
●當該類1/4像素點位於最近的二類半像素點的左下方時，即圖1中的f3。可以得到該位置三類1/4像素點f3的像素值為f3=(b31+b12)/2,]]>其中b31為位於f2右下方的一類半像素點，b12為位於f2左上方的一類半像素點，如圖5中所示。當該類1/4像素點位於最近的二類半像素點的右上方時，即圖1中的f4。可以得到該位置三類1/4像素點f4的像素值為f4=(b21+b22)/2,]]>其中b22為位於f4右下方的一類半像素點，b21為位於f4左上方的一類半像素點，如圖5中所示。
插值過程中使用4種不同係數和抽頭數的數字濾波器Fx{Co1，Co2，Co3，Co4}/(Co1+Co2+Co3+Co4)。其抽頭係數和抽頭數具體如下F1為抽頭係數對稱的四抽頭濾波器，其抽頭係數為{-3，19，19，-3}/32。
F2為抽頭係數不對稱的四抽頭濾波器，其抽頭係數為{m1，m2，m3，m4}/(m1+m2+m3，+m4)，具體系數可以選擇{-5，59，13，-3}/64或{-3，29，7，-1}/32其中的一組。
F3為抽頭係數不對稱的四抽頭濾波器，其抽頭係數為F2鏡像，即為{m4，m3，m2，m1}/(m1+m2+m3，+m4)，具體的係數由F2的係數鏡像後得到。
F4為抽頭係數對稱的二抽頭線性插值濾波器，其抽頭係數為{1，1}/2。
一種用於視頻圖像亞像素插值的裝置包括輸入裝置210、第一步插值裝置220、數據暫存裝置230、第二步插值裝置240和輸出裝置250，如圖6所示。
輸入裝置210用於從原始幀中取出插值用到的參考像素點。
第一步插值裝置220利用整像素對一類半像素點、一類1/4像素點插值。用到濾波器F1、F2、F3。其中的算術邏輯單元用乘法器、加法器和移位器實現插值過程。
第二步插值裝240置利用一類半像素點插值得到二類半像素點、二類1/4像素點和三類1/4像素點。用到濾波器F1、F2、F3和F4。其中的算術邏輯單元用乘法器、加法器和移位器實現插值過程。
其中四抽頭對稱濾波器的結構如圖7所示。Co1』和Co2』為歸一化後的濾波器係數，即Co1』＝Co1/[(Co1+Co2)×2]Co2』＝Co2/[(Co1+Co2)×2]其中四抽頭不對稱濾波器的結構如圖8所示。Co1』、Co2』、Co3』和Co4』為歸一化後的濾波器係數，即Co1』＝Co1/(Co1+Co2+Co3+Co4)Co2』＝Co2/(Co1+Co2+Co3+Co4)
Co3』＝Co3/(Co1+Co2+Co3+Co4)Co4』＝Co4/(Co1+Co2+Co3+Co4)第一步插值裝置220和第二步插值裝置240之間的數據暫存裝置230用於存儲第一次產生的一類半像素點像素值，這些值用於第二步插值過程。
輸出裝置250用於輸出內插得到的所有亞像素位置的像素值。
輸入裝置210和第一步插值裝置220之間用數據總線連接，用於傳輸各整像素位置的像素值；第一步插值裝置220和數據暫存裝置230用數據總線相連，用於傳輸第二步插值需要的一類半像素點像素值；第一步插值裝置220和輸出裝置用250數據總線相連，用於傳輸第一步插值得到的亞像素點像素值；數據暫存裝置230和第二步插值裝置240之間用數據總線連接，用於傳輸各一類半像素點位置的像素值；第二步插值裝置240和輸出裝置250之間用數據總線連接，用於傳輸第二步插值得到的亞像素位置的像素值。
實施實例在對亞像素插值時，第一步對一類半像素點和一類1/4像素點的位置進行插值。這些像素點的插值用到的都是整像素點。第二步對二類半像素點、二類1/4像素點和三類1/4像素點的位置進行插值。這些像素點的插值用到的都是一類半像素點和一類1/4像素點，即第一步產生的結果。兩步就可以把所有的亞像素位置都插值完成。具體過程如下1、標記為b1的一類半像素點的像素值由如下方法得到將水平方向距離最近的四個整數像素點利用4抽頭濾波器F1進行濾波，如圖2所示，得到插值結果b1。其中濾波器抽頭係數為{-3，19，19，-3}/32。
b1＝((-3)×A1+19×A2+19×A3+(-3)×A4)/322、標記為b2的一類半像素點的像素值由如下方法得到將垂直方向距離最近的四個整數像素點利用4抽頭濾波器F1進行濾波，如圖3所示，得到插值結果b2。其中濾波器抽頭係數為{-3，19，19，-3}/32。
b2＝((-3)×A1+19×A2+19×A3+(-3)×A4)/323、標記為d1的一類1/4像素點的像素值由如下方法得到將水平方向距離最近的四個整數像素點利用4抽頭濾波器F2進行濾波，如圖2所示，得到插值結果d1。其中濾波器抽頭係數選{-5，59，13，-3}/64。
d1＝((-5)×A1+59×A2+13×A3+(-3)×A4)/644、標記為d2的一類1/4像素點的像素值由如下方法得到將水平方向距離最近的四個整數像素點利用4抽頭濾波器F3進行濾波，如圖2所示，得到插值結果d2。其中濾波器抽頭係數選{-3，13，59，-5}/64。
d2＝((-3)×A1+13×A2+59×A3+(-5)×A4)/645、標記為d3的一類1/4像素點的像素值由如下方法得到將垂直方向距離最近的四個整數像素點利用4抽頭濾波器F2進行濾波，如圖3所示，得到插值結果d3。其中濾波器抽頭係數選{-5，59，13，-3}/64。
d3＝((-5)×A1+59×A2+13×A3+(-3)×A4)/646、標記為d4的一類1/4像素點的像素值由如下方法得到將垂直方向距離最近的四個整數像素點利用4抽頭濾波器F3進行濾波，如圖3所示，得到插值結果d4。其中濾波器抽頭係數選{-3，13，59，-5}/64。
d4＝((-3)×A1+13×A2+59×A3+(-5)×A4)/647、標記為c的二類半像素點的像素值由如下方法得到將水平或垂直方向距離最近的四個一類半像素點利用4抽頭濾波器F1進行濾波，如圖4所示，得到插值結果c。其中濾波器抽頭係數為{-3，19，19，-3}/32。
c=((-3)b12+19b22+19b32+(-3)b42)/32]]>或者c=((-3)b11+19b21+19b31+(-3)b41)/32]]>8、標記為e1的二類1/4像素點的像素值由如下方法得到將水平方向距離最近的四個一類半像素點利用4抽頭濾波器F2進行濾波，如圖4所示，得到插值結果e1。其中濾波器抽頭係數選{-5，59，13，-3}/64。
e1=((-5)b12+59b22+13b32+(-5)b42)/64]]>9、標記為e2的二類1/4像素點的像素值由如下方法得到將水平方向距離最近的四個一類半像素點利用4抽頭濾波器F3進行濾波，如圖4所示，得到插值結果e2。其中濾波器抽頭係數選{-3，13，59，-5}/64。
e2=((-3)b12+13b22+59b32+(-5)b42)/64]]>10、標記為e3的二類1/4像素點的像素值由如下方法得到將垂直方向距離最近的四個一類半像素點利用4抽頭濾波器F2進行濾波，如圖5所示，得到插值結果e3。其中濾波器抽頭係數選{-5，59，13，-3}/64。
e3=((-5)b11+59b21+13b31+(-5)b41)/64]]>11、標記為e4的二類1/4像素點的像素值由如下方法得到將垂直方向距離最近的四個一類半像素點利用4抽頭濾波器F3進行濾波，如圖5所示，得到插值結果e4。其中濾波器抽頭係數選{-3，13，59，-5}/64。
e4=((-3)b11+13b21+59b31+(-5)b41)/64]]>
12、標記為f1或f2的三類1/4像素點的像素值由如下方法得到將f1或f2位置右上方和左下方兩個一類半像素點利用線性插值方法，如圖5所示，得到插值結果f1或f2。
f1=(b21+b12)/2]]>或f2=(b31+b22)/2]]>13、標記為f3或f4的三類1/4像素點的像素值由如下方法得到將f3或f4位置右下方和左上方兩個一類半像素點利用線性插值方法，如圖5所示，得到插值結果f3或f4。
f3=(b31+b12)/2]]>或f4=(b21+b22)/2]]>以上各亞像素的插值過程中，1-6為第一次取數插值完成的部分，7-13為第二次取數插值完成的部分。至此，兩步完成所有的亞像素位置的插值。
一種用於視頻圖像亞像素插值的裝置包括輸入裝置210、第一步插值裝置220、數據暫存裝置230、第二步插值裝置240和輸出裝置250，如圖6所示輸入裝置210用於從原始幀中取出插值用到的參考像素點；第一步插值裝置220利用整像素對一類半像素點、一類1/4像素點插值。用到濾波器F1、F2、F3。其中的算術邏輯單元用乘法器、加法器和移位器實現插值過程；第二步插值裝置240利用一類半像素點插值得到二類半像素點、二類1/4像素點和三類1/4像素點。用到濾波器F1、F2、F3和F4。其中的算術邏輯單元用乘法器、加法器和移位器實現插值過程；其中算術邏輯單元中四抽頭對稱濾波器的結構如圖7所示。Co1』和Co2』為歸一化後的濾波器係數，即Co1』＝Co1/[(Co1+Co2)×2]Co2』＝Co2/[(Co1+Co2)×2]其中算術邏輯單元中四抽頭不對稱濾波器的結構如圖8所示。Co1』、Co2』、Co3』和Co4』為歸一化後的濾波器係數，即Co1』＝Co1/(Co1+Co2+Co3+Co4)Co2』＝Co2/(Co1+Co2+Co3+Co4)Co3』＝Co3/(Co1+Co2+Co3+Co4)Co4』＝Co4/(Co1+Co2+Co3+Co4)第一步插值裝置220和第二步插值裝置240之間的數據暫存裝置230用於存儲第一次產生的一類半像素點像素值，這些值用於第二步插值過程；輸出裝置250用於輸出內插的到的所有亞像素位置的像素值。
輸入裝置210和第一步插值裝置220之間用數據總線連接，用於傳輸各整像素位置的像素值；第一步插值裝置220和數據暫存裝置230之間用數據總線連接，用於傳輸一類半像素點位置的像素值；第一步插值裝置220和輸出裝置250之間用數據總線連接，用於傳輸第一次內插得到的亞像素位置的像素值。數據暫存裝置230和第二此插值裝置240之間用數據總線連接，用於傳輸各一類半像素點位置的像素值；第二步插值裝置240和輸出裝置250之間用數據總線連接，用於傳輸第二次內插得到的亞像素位置的像素值。
上述的視頻圖像亞像素插值裝置可以用處理器系統，微控制器，可編程邏輯器件或微處理器等實現部分或全部的操作。上述的一些操作可以用軟體實現，同時另一些操作可以用硬體實現。
為了方便起見，這些操作被描述為不同的互連的功能單元或不同的軟體模塊。但是，這不是必要的。在一些應用中，這些功能單元或模塊可以被集成到單一的邏輯器件、程序或操作中，而沒有明顯的界限。在任何情況中，功能單元和軟體模塊或描述的特徵可以獨立實現，或與其他操作一起用硬體或軟體實現。
權利要求
1.一種視頻圖像亞像素插值的方法，其特徵在於1)根據亞像素點所處的不同位置分兩步插值完成，5類亞像素點位置如下·一類半像素點與整像素點在同一行或同一列的半像素點；·二類半像素點除了一類半像素點外的其他半像素點；·一類1/4像素點與整像素點在同一行或同一列的1/4像素點；·二類1/4像素點同時與一類半像素點和二類半像素點在同一行或同時與一類半像素點和二類半像素點在同一列的1/4像素點；·三類1/4像素點除了一類1/4像素點和二類1/4像素點之外的1/4像素點；2)根據亞像素點所處的不同位置用不同濾波器插值。
2.根據權利要求1所述的一種視頻圖像亞像素插值的方法，其特徵在於所有的亞像素點分兩步插值得到，第一步利用整像素點插值得到一類半像素點和一類1/4像素點；第二步利用已插值得到的一類半像素點插值得到二類半像素點、二類1/4像素點和三類1/4像素點。
3.根據權利要求1所述的一種視頻圖像亞像素插值的方法，其特徵在於對一類半像素用同一行中與其距離最近的4個整像素點做參考像素點或同一列中與其距離最近的4個整像素點做參考像素點由四抽頭對稱濾波器插值得到。
4.根據權利要求1所述的一種視頻圖像亞像素插值的方法，其特徵在於對一類1/4像素用同一行中與其距離最近的4個整像素點做參考像素點或同一列中與其距離最近的4個整像素點做參考像素點由四抽頭不對稱濾波器插值得到，其中對位於相鄰一類半像素點左側或上方的一類1/4像素點插值的濾波器和對位於相鄰一類半像素點右側或下方的一類1/4像素點插值的濾波器為鏡像濾波器。
5.根據權利要求1所述的一種視頻圖像亞像素插值的方法，其特徵在於對二類半像素用同一行中與其距離最近的4個一類半像素點做參考像素點或同一列中與其距離最近的4個一類半像素點做參考像素點由四抽頭對稱濾波器插值得到。
6.根據權利要求1所述的一種視頻圖像亞像素插值的方法，其特徵在於對二類1/4像素用同一行中其距離最近的4個一類半像素點做參考像素點或同一列中與其距離最近的4個一類半像素點做參考像素點由四抽頭不對稱濾波器插值得到，其中對位於相鄰二類半像素點左側或上方的二類1/4像素點插值的濾波器和對位於相鄰二類半像素點右側或下方的二類1/4像素點插值的濾波器為鏡像濾波器。
7.根據權利要求1所述的一種視頻圖像亞像素插值的方法，其特徵在於對三類1/4像素用位於其左下和右上方的一類半像素點做參考像素點由二抽對稱線性濾波器插值或者用位於其右下和左上方一類半像素點做參考像素點由二抽對稱線性濾波器插值得到。
8.根據權利要求1所述的一種視頻圖像亞像素插值的方法，其特徵在於四抽頭對稱濾波器，濾波器形式為{Co1，Co2，Co2，Co1}/[2×(Co1+Co2)]，Coi，i＝1，2，為濾波器抽頭係數，具體抽頭係數為{-3，19，19，-3}/32，用於對一類半像素和二類半像素插值，濾波公式為×＝(Co1×X1+Co2×X2+Co2×X3+Co1×X4)/[(Co1+Co2)×2]，其中Xii＝1...4為參考像素點。
9.根據權利要求1所述的一種視頻圖像亞像素插值的方法，其特徵在於四抽頭不對稱濾波器，濾波器形式為{Co1，Co2，Co3，Co4}/(Co1+Co2+Co3+Co4)，Coi，i＝1...4，為濾波器抽頭係數，具體抽頭係數為{-5，59，13，-3}/64或{-3，29，7，1}/32，濾波公式為x＝(Co1×X1+Co2×X2+Co3×X3+Co4×X4)/(Co1+Co2+Co3+Co4)，其中Xi，i＝1...4，為參考像素點；該濾波器用於一類1/4像素點的插值和二類1/4像素點的插值。
10.根據權利要求1所述一種視頻圖像亞像素插值的方法的裝置，其特徵在於它包括·用於從原始幀中讀取整像素點像素值的輸入裝置(210)；·用於對一類半像素點和一類1/4像素點插值的第一步插值裝置(220)；·用於暫存第一步插值結果的暫存裝置(230)；·用於對二類半像素點、二類1/4像素點和三類1/4像素點插值的第二步插值裝置(240)；·用於輸出全部亞像素點像素值的輸出裝置(250)；輸入裝置(210)和第一步插值裝置(220)之間用數據總線連接，用於傳輸整像素點像素值；第一步插值裝置(220)與暫存裝置(230)之間用數據總線連接，用於傳輸第一步插值得到的一類半像素點像素值；第一步插值裝置(220)與輸出裝置(250)之間用數據總線連接，用於傳輸第一步插值得到的亞像素點像素值；暫存裝置(230)和第二步插值裝置(240)之間用數據總線連接，用於傳輸用於第二步插值的一類半像素點像素值；第二步插值裝置(240)和輸出裝置(250)之間用數據總線連接，用於傳輸第二步插值得到的亞像素點像素值。
全文摘要
本發明公開了一種視頻圖像亞像素插值的方法和裝置。它採用對於不同位置的亞像素點分類插值的方法，整個插值過程兩步完成，減少了存取數次數和存取數的個數。插值過程中用到不同抽頭數和抽頭係數的插值濾波器。用較少抽頭係數的濾波器對亞像素位置實現內插處理，減少了每次取入的整像素位置像素點的個數，較高程度減緩了每次數據總線的傳輸量；用兩步插值內插出全部1/4精度的亞像素位置像素值，減少了取數次數，降低了數據總線的傳輸數據壓力，並且減少了數據暫存裝置的容量；本發明使用的方法插值結果在性能上比原有背景技術有所提升。較優的插值結果減小了運動補償殘差的大小，降低了碼率，提高了視頻壓縮編碼效率。
文檔編號H04N7/26GK1529509SQ0314343
公開日2004年9月15日 申請日期2003年9月27日 優先權日2003年9月27日
發明者陸亮, 樓劍, 虞露, 陸 亮 申請人:浙江大學