信息處理方法

2023-06-01 17:26:11 2

專利名稱：信息處理方法
技術領域：
本發明涉及一種用於視頻編解碼的信息處理方法，尤其是通過將原始圖像信息分
解為多個低解析度相似圖像信息後採用相似性計算方法以降低後續信息編/解碼的信息
量和提高信息處理效率；屬於圖像視頻編/解碼技術領域。
背景技術：
高效的視頻編解碼技術是實現高質量、低成本多媒體數據存儲與傳輸的關鍵。現 在流行的圖像編解碼國際標準都是基於這樣的一種編碼理論，採用的是基於塊匹配的運動 補償、離散餘弦變換和量化相結合的編碼方法。典型的有國際標準化組織/國際電工技術 委員會第一聯合技術組推出的MPEG-1、 MPEG-2和MPEG-4等國際標準。我國頒布的AVS國 家標準也是採用相似的混合視頻編碼策略預測、變換、量化、和信息熵編碼等模塊。
這些視頻編碼標準處理信息的方法都是將原始圖像按空間分成一定大小的信息 塊，如8X8的塊、16X16的塊等。這些信息塊之間沒有相似性，因此即使採用幀內預測方式， 其信息預測結果不會理想。不能有效降低幀內信息冗餘量。 隨著人們對於圖像質量要求的提高，圖像的解析度也不斷提高，相應增加了信息
編解碼的信息處理量、降低了每幀信息處理速度、提升了對傳輸信息帶寬的要求。 但實際上高解析度圖像幀內信息冗餘量是比較大的。在圖像採集過程中，我們都
有這樣的結果以較低解析度的圖像採集獲得圖像與以較高解析度的圖像採集獲得圖像有
相似性。同樣將以較高解析度的圖像採集獲得圖像通過等間隔抽取圖像點信息形成的低分
辨率的圖像與原始高解析度的圖像具有相似性。而且將較高解析度的圖像採集獲得圖像通
過等間隔抽取圖像點信息形成的多個低解析度的圖像之間也具有相似性。這個特點表明高
解析度圖像信息內部實際上是有較大的信息冗餘量。可以用低解析度圖像信息通過相關性
處理重新構建高解析度圖像信息。 在本申請人的專利號為ZL200610075904. 6，發明名稱為"一種提高圖象編解碼效 率的圖象處理方法"的專利文件中公開了將高解析度圖像分成較低解析度的圖像後採用圖 像相似性算法減小信息數據量的方法。但由於該方法以其中一幅低解析度圖像作為基準參 考圖像，在實際實現中存在圖像的輪廓被模糊化的問題，也沒有給出如何得到更好的圖像 質量與信息數據量之間進行優化的方法。同時由於以其中一幅低解析度圖像作為基準參考 圖像，無法通過相似性算法恢復出其他幅低解析度圖像與基準參考圖像的差異信息。

發明內容
本發明所要解決的技術問題在於提出一種將高解析度視頻圖像進行壓縮編碼處 理之前分解為多個低解析度全景圖像，並按一種更優化的算法進行處理後，在極大的減少 進行數據壓縮編碼的信息量、提高編碼效率和提升視頻信息傳輸效率的基礎上提高圖像的 質量，並在一定程度上解決圖像邊沿被模糊化的問題。。 本發明的第一種技術方案是改變基準參考圖像的選擇方法，具體方案包括
4
1、一種圖像處理方法，其特徵在於
信息發送端包含如下步驟 1)將需要處理的高解析度視頻圖像信息採用等間隔取樣生成多幅相同解析度的 低解析度圖像； 2)計算所述多幅相同解析度的低解析度圖像的加權平均值圖像，對每幅相同分辨 率的低解析度圖像賦予的加權係數相同或不同，所述加權係數不小於0且加權係數之和大 於0; 3)以所述加權平均值圖像為基準參考圖像，用相關性分析方法獲得所述多幅相同 解析度的低解析度圖像分別與基準參考圖像的相關係數，其中所述相關性分析方法為線性 或非線性方法； 4)將所述基準參考圖像和所述相關係數、所述加權係數作為進行信息處理的原始 數據或者將所述基準參考圖像和所述相關係數、所述加權係數作為信息發送數據；
信息接收端包含如下步驟 5)收到數據是進行信息處理後的數據或者收到數據是基準參考圖像和相關係數、 所述加權係數；當收到數據是進行信息處理後的數據時，通過所述信息處理的對應處理方 法得到基準參考圖像和相關係數、所述加權係數； 6)根據所述基準參考圖像和所述相關係數、所述加權係數計算得到多幅低解析度 圖像； 7)將所述計算得到的多幅低解析度圖像重新組合形成一幅高解析度圖像或者將 所述基準參考圖像和所述計算得到的多幅低解析度圖像重新組合形成一幅高解析度圖像。
所述的步驟1)中，優選的是所述等間隔取樣是按行等間隔取樣或按列等間隔取 樣或同時按行等間隔和按列等間隔取樣，所述按行等間隔取樣是單行等間隔或多行等間 隔，所述按列等間隔取樣是單列等間隔或多列等間隔。使生成的低解析度圖像都是原始圖 像的低解析度全景圖像。低解析度圖像之間具有視覺相似性。 所述的步驟3)中，優選的是採用相關性分析方法計算其餘每個低解析度圖像數 據與基準參考圖像數據的最優相關係數。如果採用線性相關分析方法，其餘每個低解析度 圖像數據可以只用兩個係數表示。為提高係數的精度，可以用兩個字節表示一個係數，其中 一個字節表示係數整數部分，另外一個字節表示小數部分。 所述的步驟4)中，進行後續信息處理的圖像數據是低解析度的基準參考圖像和 計算出來的反映其餘低解析度圖像數據的相關係數。基準參考圖像和相關係數的存放順 序可以預先約定。所述信息處理是可以現有已知的圖像壓縮編碼處理算法之一或組合，如 JPEG算法、MPEG算法、AVS算法等。優化的是所述信息處理對所述相關係數的處理為信息 無損處理。 所述的步驟5)中，在信息接收端，通過圖像解壓縮解編碼處理得到的圖像數據是 低解析度的基準參考圖像和反映多幅低解析度圖像數據的相關係數。由於基準參考圖像和 相關係數是按預先約定的存放順序存放的，可以分別提取出來。 所述的步驟6)中，在信息接收端，將步驟5)中得到的低解析度的基準參考圖像和
反映多幅低解析度圖像數據的相關係數進行計算得到多幅低解析度的圖像。 所述的步驟7)中，在信息接收端，將步驟6)中得到的低解析度的基準參考圖像和多幅低解析度的圖像按預先約定的方式進行重新組合形成一幅高解析度圖像。從而有效再 現發送端的原始圖像信息。這種組合方式有多種實現方法，第一種方式是多幅低解析度的 圖像按信息發送端的抽樣順序對應插入數據進行組合；第二種方式是用基準參考圖像替代 其中一幅低解析度的圖像，然後與其餘低解析度的圖像按信息發送端的抽樣順序對應插入 數據進行組合；第三種方式是先將基準參考圖像和計算得到多幅低解析度的圖像與加權系 數採用加權平均計算的逆運算計算得到原始多幅低解析度的圖像的計算數據，然後用計算 得到原始多幅低解析度的圖像的計算數據按信息發送端的抽樣順序對應插入數據進行組 合。數學描述式如下 設定在信息發送端生成的多幅低解析度的圖像分別為Y1、Y2、Y3、…、Yn ;每幅圖 像的加權係數分別為K1、K2、K3、…、Kn ;則加權平均值圖像Y為
Y= (Kl*Yl+K2*Y2+...+Kn*Yn)/(Kl+K2+...+Kn) 以加權平均值圖像為基準參考圖像，設各幅低解析度的圖像與基準參考圖像的線 性相關係數分別為rl， bl ;r2， b2 ;…；rn， bn。設多幅低解析度的圖像的計算圖像分別為 Yl，、 Y2，、Y3，、…、Yn，，則
Yl， = rl*Y+bl
Y2' = r2*Y+b2 .........Yn， = rn氺Y+bn 對於第一種方式是直接將Yl' 、Y2' 、Y3'、…、Yn'按信息發送端的抽樣順序對應插 入數據進行組合得到高分別率圖像；對於第二種方式是先用Y代替Yl' 、 Y2' 、 Y3'、…、Yn' 中的一幅，假設代替Y1'，然後將Y、Y2'、Y3'、…、Yn'按信息發送端的抽樣順序對應插入數 據進行組合得到高分別率圖像；第三種方式是把Y1'、Y2'、Y3'、…、Yn'看成是原始低分辨 率圖像的加權平均值，即 Yl， = (Kl*Yr，+K2*Y2"+...+Kn*Yn")/(Kl+K2+...+Kn)
Y2， = (Kl*Yr，+K2*Y2"+...+Kn*Yn")/(Kl+K2+...+Kn)
.........Yn， = (Kl*Yr，+K2*Y2"+...+Kn*Yn")/(Kl+K2+...+Kn) 通過求解上述方程組計算得到Y1"、Y2"、Y3"、…、Yn"，然後將Y1"、Y2"、Y3"、…、
Yn"按信息發送端的抽樣順序對應插入數據進行組合得到高分別率圖像。 在上述方案中由於採用加權平均值圖像為基準參考圖像，已經包含了多幅相同分
辨率的低解析度圖像的數據信息，特別是對於多幅相同解析度的低解析度圖像之間的差異
信息部分在基準參考圖像存在部分信息，因此在信息接收端接收的信息數據量沒有增加的
情況下，提高了組合得到高分別率圖像的質量。 本發明的第二種技術方案是改變基準參考圖像的選擇方法的同時並將多幅相同
解析度的低解析度圖像進行分別按不同的加權係數進行處理得到每幅相同解析度的低分
辨率圖像的加權平均值圖像，然後計算這些相同解析度的低解析度圖像的加權平均值圖像
之間的相似性，提高了參與計算的圖像之間的相似性，具體方案包括 1、一種圖像信息處理方法，其特徵在於 信息發送端包含如下步驟
1)將需要處理的高解析度視頻圖像信息採用等間隔取樣生成多幅相同解析度的低解析度圖像； 2)設定多個加權係數，並設定其中一個加權係數大於其餘加權係數，所述多個加權係數中最大的一個稱為第一加權係數，其餘加權係數稱為第二加權係數組，所述第二加權係數組內的數據相同或不同，所述第二加權係數組與每幅低解析度圖像的對應關係預先確定；所述加權係數不小於0且加權係數之和大於0 3)所述多幅相同解析度的低解析度圖像分別以其中一幅低解析度圖像乘以第一加權係數加上其餘低解析度圖像分別乘以第二加權係數組中所對應的加權係數後再除以加權係數之和生成多幅加權平均值圖像； 4)以所述多幅加權平均值圖像的其中一幅作為基準參考圖像，用相關性分析方法獲得所述多幅加權平均值圖像的其餘各幅分別與基準參考圖像的相關係數，其中所述相關性分析方法為線性或非線性方法； 5)將所述基準參考圖像、所述相關係數、第一加權係數和第二加權係數組作為進行信息處理的原始數據或者將所述基準參考圖像、所述相關係數、第一加權係數和第二加權係數組作為信息發送數據；
信息接收端包含如下步驟 6)收到數據是進行信息處理後的數據或者收到數據是基準參考圖像、相關係數、
第一加權係數和第二加權係數組；當收到數據是進行信息處理後的數據時，通過所述信息
處理的對應處理方法得到基準參考圖像、相關係數、第一加權係數和第二加權係數； 7)根據所述基準參考圖像、所述相關係數、第一加權係數和第二加權係數組計算
得到多幅低解析度圖像和/或計算得到多幅低解析度圖像的加權平均值圖像； 8)將所述計算得到的多幅低解析度圖像和/或多幅低解析度圖像的加權平均值
圖像重新組合形成一幅高解析度圖像或者將所述基準參考圖像和所述計算得到的多幅低
解析度圖像重新組合形成一幅高解析度圖像或者將所述基準參考圖像和所述計算得到的
多幅低解析度圖像的加權平均值圖像重新組合形成一幅高解析度圖像。 其中線性相似性數學描述式如下 設定在信息發送端生成的多幅低解析度的圖像分別為Y1、Y2、Y3、…、Yn ;加權係數分別為K1、K2、K3、…、Kn，並設定其中一個加權係數大於其餘加權係數，假設為Kl，即Kl大於其餘加權係數K2、 K3、…、Kn，所述加權係數K2、 K3、…、Kn與每幅低解析度圖像的對應關係可以預先確定，則每幅低解析度的圖像的加權平均值圖像Sl、S2…、Sn :
SI = (Kl*Yl+K2*Y2+K3*Y3...+Kn*Yn)/(Kl+K2+...+Kn)
S2 = (Kl*Y2+K2*Yl+K3*Y3+...+Kn*Yn)/(Kl+K2+...+Kn)
......... Sn = (Kl*Yn+Kn*Yl+K2*Y2+K3*Y3+... +K (n_l) *Y (n_l)) / (Kl+K2+…+Kn) 以加權平均值圖像Sl、S2…、Sn中的一個作為基準參考圖像，例如設定為Sl，計算
其他加權平均值圖像S2…、Sn與基準參考圖像的線性相關係數分別為r2， b2 ;r3， b3 ;…；
rn，bn。設多幅低解析度的圖像的計算圖像分別為Y2'、 Y3'、…、Yn'，則 Y2' = r2*Y+b2 Y3' = r3*Y+b3
.........Yn， = rn氺Y+bn 可以將S1、Y2'、Y3'、…、Yn'按信息發送端的抽樣順序對應插入數據進行組合得到高分別率圖像。也可以把S1、Y2'、Y3'、…、Yn'看成是原始低解析度圖像的加權平均值圖像的近似值，即: SI = (K1*Y1"+K2*Y2"+K3*Y3，， ...+Kn*Yn" ) / (Kl+K2+…+Kn)
Y2， = (Kl*Y2"+K2*Yr，+K3*Y3"+...+Kn*Yn")/(Kl+K2+...+Kn)
Y3， = (Kl*Y3，，+K3*Yl，，+K2*Y2，，+K4*Y4，，+*-+Kn*Yn，，)/(Kl+K2+*-+Kn)
.........Yn， = (Kl氺Yn，，+Kn氺Yl，，+K2氺Y2，，+K3氺Y3，，+ +!( (n_l)氺Y (n_l) ，， ) / (Kl+K2+'"
+Kn) 通過求解上述方程組計算得到Y1"、Y2"、Y3"、…、Yn"，然後將Y1"、Y2"、Y3"、…、
Yn"按信息發送端的抽樣順序對應插入數據進行組合得到高分別率圖像。 該方案的優化方案是加權係數分別為K1、K2、K3、…、Kn只取兩個值，其中一個值
大於另一個，即設定K1 > K2 = K3 = =Kn。 在上述方案中由於先計算每幅低解析度的圖像的加權平均值圖像並以其中一幅
加權平均值圖像作為基準參考圖像提高了參與相似性計算的圖像之間的相似性，而且線性
化程度更高，更適合線性相關性計算。每幅低解析度的圖像的加權平均值圖像已經包含了
多幅相同解析度的低解析度圖像的數據信息，特別是對於多幅相同解析度的低解析度圖像
之間的差異信息部分在每幅低解析度的圖像的加權平均值圖像存在部分信息，因此在信息
接收端接收的信息數據量沒有增加的情況下，提高了組合得到高分別率圖像的質量。 本發明的第三種技術方案是改變基準參考圖像的選擇方法的同時並將多幅相同
解析度的低解析度圖像進行分別按不同的加權係數進行處理得到每幅相同解析度的低分
辨率圖像的加權圖像，然後計算這些相同解析度的低解析度圖像的加權圖像之間的相似
性，提高了參與計算的圖像之間的相似性，具體方案包括 1、一種信息處理方法，其特徵在於 信息發送端包含如下步驟 1)將需要處理的高解析度視頻圖像信息採用等間隔取樣生成多幅相同解析度的低解析度圖像； 2)設定多個加權係數，並設定其中一個加權係數大於其餘加權係數，所述多個加權係數中最大的一個稱為第一加權係數，其餘加權係數稱為第二加權係數組，所述第二加權係數組內的數據相同或不同，所述第二加權係數組與每幅低解析度圖像的對應關係預先確定；所述加權係數不小於0且加權係數之和大於0 3)所述多幅相同解析度的低解析度圖像分別以其中一幅低解析度圖像乘以第一加權係數加上其餘低解析度圖像分別乘以第二加權係數組中所對應的加權係數生成多幅加權圖像； 4)以所述多幅加權圖像的其中一幅作為基準參考圖像，用相關性分析方法獲得所述多幅加權圖像的其餘各幅分別與基準參考圖像的相關係數，其中所述相關性分析方法為線性或非線性方法；
5)將所述基準參考圖像、所述相關係數、第一加權係數和第二加權係數組作為進行信息處理的原始數據或者將所述基準參考圖像、所述相關係數、第一加權係數和第二加權係數組作為信息發送數據；
信息接收端包含如下步驟 6)收到數據是進行信息處理後的數據或者收到數據是基準參考圖像、相關係數、
第一加權係數和第二加權係數組；當收到數據是進行信息處理後的數據時，通過所述信息
處理的對應處理方法得到基準參考圖像、相關係數、第一加權係數和第二加權係數組； 7)根據所述基準參考圖像、所述相關係數、第一加權係數和第二加權係數組計算
得到多幅低解析度圖像和/或計算得到多幅低解析度圖像的加權平均值圖像； 8)將所述計算得到的多幅低解析度圖像和/或多幅低解析度圖像的加權平均值
圖像重新組合形成一幅高解析度圖像或者將所述基準參考圖像除以加權係數之和得到的
加權平均值圖像與所述計算得到的多幅低解析度圖像重新組合形成一幅高解析度圖像。 其中線性相似性數學描述式如下 設定在信息發送端生成的多幅低解析度的圖像分別為Y1、Y2、Y3、…、Yn ;加權係數分別為K1、K2、K3、…、Kn，並設定其中一個加權係數大於其餘加權係數，假設為Kl，即Kl大於其餘加權係數K2、K3、…、Kn，則每幅低解析度的圖像的加權圖像Sl、S2…、Sn :
S1 = (K 1 *Y 1 +K2*Y2+K3*Y3... +Kn*Yn)
S2 = (Kl*Y2+K2*Yl+K3*Y3+...+Kn*Yn)
......... Sn = (Kl*Yn+Kn*Yl+K2*Y2+K3*Y3+...+K(n-l)*Y(n-l)) 以加權圖像Tl、T2…、Tn中的一個作為基準參考圖像，例如設定為Tl，計算其他加權平均值圖像T2…、Tn與基準參考圖像的線性相關係數分別為r2，b2 ;r3， b3 ;…；rn，bn。設多幅低解析度的圖像的計算圖像分別為Y2'、Y3'、…、Yn'，則
Y2' = r2*Y+b2
Y3' = r3*Y+b3 ......... Yn， = rn氺Y+bn 把T1、Y2'、Y3'、…、Yn'看成是原始低解析度圖像的加權圖像的近似值，即Tl = (K1*Y1"+K2*Y2"+K3*Y3，， ...+Kn*Yn")Y2， = (Kl*Y2，，+K2*Yl，，+K3*Y3，，+***+Kn*Yn，，)Y3， = (Kl*Y3，，+K3*Yl，，+K2*Y2，，+K4*Y4，，+***+Kn*Yn，，) .........Yn， = (Kl*Yn，，+Kn*Yl，，+K2*Y2，，+K3*Y3，，+*-+K(n_l)*Y(n_l)，，)通過求解上述方程組計算得到Y1"、Y2"、Y3"、…、Yn"，然後將Yl"、Y2"、Y3"、…、
Yn"按信息發送端的抽樣順序對應插入數據進行組合得到高分別率圖像。 也可以根據T1、Y2'、Y3'、…、Yn'計算得到多幅低解析度圖像的加權平均值圖像
Y1"'、Y2"'、Y3"'、…、Yn"'計算式為Yl，" = T1/(K1+K2+K3+. +Kn)Y2 " = Y2 ， / (K1+K2+K3+. +Kn)
9
Y3"， = Y3/(K1+K2+K3+. +Kn)
.........Yn"， = Yn， /(K1+K2+K3+. . . +Kn) 然後將Yl"' 、 Y2"' 、 Y3"'、…、Yn"'按信息發送端的抽樣順序對應插入數據進行組合得到高分別率圖像。 該方案的優化方案是加權係數分別為K1、K2、K3、…、Kn只取兩個值，其中一個值大於另一個，即設定K1 > K2 = K3 = =Kn。 當第三種方案滿足Kl+K2+K3+…+Kn = 1時，第三種方案與第一種方案一致。
當第三種方案滿足Kl+K2+K3+…+Kn > 1時，每幅低解析度的圖像的加權圖像Tl、 T2…、Tn中每個像素點的數據值被擴大，因此需要更多的數據位來表示像素點的數據，因此該方案所傳輸的基準參考圖像的數據量大於第一種方案和第二種方案。比如當Kl+K2+K3+…+Kn = 256時，每個像素點的數值被擴大256倍，每個像素點的每個顏色數據量增加了一個字節。但優選的是當Kl+K2+K3+…+Kn大於或等於256時，其圖像恢復的質量很高，加權圖像Sl、 S2…、Sn之間的線性相關性很高。 優選的是K1、K2、K3、…、Kn之間大小相近，線性度會提高，但當Kl、K2、K3、…、Kn基本相等時會造成圖像邊沿的模糊。優選的是當Kl+K2+K3+…+Kn = 1時，Kl取0. 3至0. 4之間，K2 = K3 = =Kn取0. 2至0. 3之間可以得到較好的圖像質量；優選的是當Kl+K2+K3+…+Kn = 256時，K1取70至90之間，K2 = K3 = =Kn取50至70之間可以得到較好的圖像質量 在上述方案中由於先計算每幅低解析度的圖像的加權圖像並以其中一幅加權圖像作為基準參考圖像提高了參與相似性計算的圖像之間的相似性，而且線性化程度更高，更適合線性相關性計算。每幅低解析度的圖像的加權圖像已經包含了多幅相同解析度的低解析度圖像的數據信息，特別是對於多幅相同解析度的低解析度圖像之間的差異信息部分在每幅加權圖像存在部分信息，因此在信息接收端接收的信息量更多，提高了組合得到高分別率圖像的質量。 上述方案的數學描述中以線性函數擬合為例進行了描述，本領域的技術人員可以完全以本發明的思想採用其他非線性函數進行擬合，比如採用二次或更高次的曲線函數進行擬合。 在進行編碼壓縮處理前，將高解析度圖像數據通過間隔取樣形成多個低解析度的相似圖像，然後採用相關性最優算法計算這些低解析度相似圖像的相關係數。在信息後續處理和傳輸中只需要一個低解析度的圖像和其它低解析度的相似圖像的相關係數信息。大大降低了信息傳輸的數據量，從而提高圖像編碼壓縮效率和傳輸效率。同時對於作為基準參考圖像的低解析度圖像的選擇方法，進一步提高了所恢復的高解析度圖像的質量，減少了圖像輪廓、邊沿等的模糊，進行相關性計算的圖像之間的相關性更好，數據擬合的偏差度更小。採用相關性計算多個低解析度的相似圖像的相關係數，計算量少，相對於不採用該技術的圖像編解碼技術，計算效率更高。


圖1是現有技術將一個8X8大小的圖像數據按行等間隔和按列等間隔取樣數據生成4個低解析度4X4大小的全景圖像方法示例示意圖。 圖2是現有技術將4個低解析度4X4大小的全景圖像通過選擇基準參考圖像、計
算線性相關係數、按約定順序存放基準參考圖像和線性係數的方法示例示意圖。 圖3是本發明將4個低解析度4X4大小的全景圖像通過選擇基準參考圖像、計算
線性相關係數、按約定順序存放基準參考圖像和線性係數的方法第一種實現示意圖。 圖4和圖5是本發明將4個低解析度4X4大小的全景圖像通過選擇基準參考圖像、
計算線性相關係數、按約定順序存放基準參考圖像和線性係數的方法第二種實現示意圖。 圖6是本發明第一種技術方案實現在信息發送端的流程圖 圖7本發明第一種技術方案實現在信息接收端的流程圖 圖8是本發明第二種技術方案實現在信息發送端的流程圖 圖9本發明第二種技術方案實現在信息接收端的流程圖 圖10是本發明第三種技術方案實現在信息發送端的流程圖 圖11本發明第三種技術方案實現在信息接收端的流程圖
具體實施例方式
下面結合附圖和實施示例對本發明的技術方案進一步詳細說明
圖1是現有技術將一個8X8大小的圖像數據按行等間隔和按列等間隔取樣數據生成4個低解析度4X4大小的全景圖像方法示例示意圖，圖中假定高解析度視頻原始圖像數據是8X8的數據陣列，採用隔行隔列等間隔抽取數據生成4個4X4大小的低解析度圖像數據。這4個4X4大小的低解析度圖像數據包含了原8X8圖像的全部數據。這樣的數據抽取方法是4個4X4大小的低解析度圖像數據具有很強的視覺相似性。並且其中任何一個4X4大小的低解析度圖像數據都是均勻的從原圖像抽取的，與原圖像也具有視覺相似性。
圖2是現有技術將4個低解析度4X4大小的全景圖像通過選擇基準參考圖像、計算線性相關係數、按約定順序存放基準參考圖像和線性係數的方法示例示意圖。在圖中，我們選定第一個低解析度4X4大小的全景圖像作為基準參考圖像，然後分別計算其餘低解析度4X4大小的全景圖像與基準參考圖像的最優線性相關係數Sl、 S2、 S3、 S4、 S5、 S6。將基準參考圖像數據陣列與線性相關係數Sl、 S2、 S3、 S4、 S5、 S6按預先約定的存放順序存放形成新的數據陣列6X4大小。這個6X4大小數據陣列是圖像進行後續壓縮編碼的原始數據信息。顯然需要壓縮編碼處理的信息量大大減少。 現有技術中由於選擇基準參考圖像的方法是從多幅低解析度全景圖像中選擇一幅，當圖像的輪廓或邊沿很細小時，比如當圖像中有一條僅有一個像素點粗細的線段或曲線，由於在將高解析度圖像等間隔取樣生成低解析度全景圖像時，這些細小的線段或曲線數據不會同時出現在多幅低解析度全景圖像中，選擇任何一幅低解析度全景圖像都無法通過現有技術的相關性算法恢復出線段或曲線的全部信息，因此出現邊沿模糊、輪廓不清晰的情況。 圖3是本發明將4個低解析度4X4大小的全景圖像通過選擇基準參考圖像、計算線性相關係數、按約定順序存放基準參考圖像和線性係數的方法第一種實現示意圖。相比於現有技術，本發明的第一種實現中對於基準參考圖像的選擇進行了特殊處理。即基準參考圖像的信息包含了每幅低解析度全景圖像的信息，在進行相似性計算中可以基本恢復出高解析度圖像的全部輪廓信息和邊沿信息。所述基準參考圖像的特殊處理可以採用為每幅低解析度全景圖像賦予不同或相同的加權係數，然後計算每個像素點的加權平均值作為基準參考圖像的對應像素點信息。比如圖3中的基準參考圖像的像素點bll的計算式如下
bll = (Kl*all+K2*al2+K3*a21+K4*a22)/(K1+K2+K3+K4) 其中K1、K2、K3、K4為加權係數，K1、K2、K3、K4的取值為非負數且加權係數之和大於0。優化的選擇是Kl = K2 = K3 = K4且Kl+K2+K3+K4 = 1。 圖6是本發明第一種技術方案實現在信息發送端的流程圖。相應於圖3的基準參考圖像選擇方法，圖中表明在信息發送端，將高解析度圖像數據按如下處理步驟完成後再進行壓縮編碼。 對於信息發送端在步驟601獲取高解析度視頻圖像數據陣列，經過步驟602按行等間隔和按列等間隔取樣生成多幅低解析度圖像數據陣列，然後在步驟603計算所述多幅解析度的低解析度圖像的加權平均值圖像並在步驟604時以加權平均值圖像作為基準參考圖像數據，隨後在步驟605中計算其餘低解析度視頻圖像數據分別與基準參考圖像數據的最優線性係數，最後在步驟606中將基準參考圖像數據和其餘低解析度圖像的線性相關係數按約定順序存放後進入步驟607後續壓縮編碼處理。 圖7本發明第一種技術方案實現在信息接收端的流程圖。相應於圖3的基準參考圖像選擇方法，圖中表明在信息接收端，將經過解碼解壓縮獲得的數據信息是基準參考圖像數據信息和其餘低解析度圖像數據的相關係數，按如下處理步驟完成後才能生成一幅高解析度視頻圖像數據信息。 對於信息接收端，在步驟701通過解碼解壓縮後的數據經過步驟702按約定信息存放順序獲得基準參考圖像數據和其餘低解析度圖像的線性相關係數；然後在步驟703中用基準參考圖像數據和線性相關係數計算其餘低解析度視頻圖像數據並在步驟704中確定基準參考圖像數據和其餘低解析度視頻圖像數據的抽樣順序；最後在步驟705中按行列等間隔插入數據方式將基準參考圖像數據和多個低解析度圖像數據陣列合成為高解析度視頻圖像數據並在步驟706中再現高解析度視頻圖像數據陣列。 由於高解析度圖像數據按本發明所述的方法進行分解生成的低解析度圖像之間存在著較大的視覺相似性，並採用把所有低解析度圖像進行加權平均值計算選取基準參考圖像，使對應的圖像數據具有較好的線性相關性並使邊沿及輪廓信息部分得到恢復，因此在信息壓縮編碼和傳輸中可以只需要處理和傳輸一個基準參考圖像的數據和其他低解析度圖像數據的相關係數即可，從而大大降低後續處理的信息數據量，使信息壓縮、編解碼和傳輸效率更高。 圖4和圖5是本發明將4個低解析度4X4大小的全景圖像通過選擇基準參考圖像、計算線性相關係數、按約定順序存放基準參考圖像和線性係數的方法第二種實現示意圖。相比於現有技術，本發明的第二種實現中不僅對於基準參考圖像的選擇進行了特殊處理，而且對於參與相似性計算的低解析度圖像進行了處理以提高參與計算的低解析度圖像之間的相關性。在圖4中將4個低解析度4X4大小的全景圖像分別按如下方法計算加權平均值圖像 設定四個加權係數K1、K2、K3、K4其中K1大於其餘加權係數K2、 K3、 K4，所述加權係數K2、K3、K4與每幅低解析度圖像的對應關係可以預先確定，K1、K2、K3、K4的取值為非
12負數且加權係數之和大於0。則每幅低解析度的圖像的加權平均值圖像B1、B2、B3、B4 :Bl =(K1*Y1+K2*Y2+K3*Y3+K4*Y4)/(K1+K2+K3+K4)B2 =(K1*Y2+K2*Y1+K3*Y3+K4*Y4)/(K1+K2+K3+K4)B3 =(K1*Y3+K3*Y1+K2*Y2+K4*Y4)/(K1+K2+K3+K4)B4 =(K1*Y4+K4*Y1+K2*Y2+K3*Y4)/(K1+K2+K3+K4)例如，圖4中加權平均值圖像B1的一個像素點bll的圖像數據信息按如下計算bll ==(Kl*all+K2*al2+K3*a21+K4*a22)/(K1+K2+K3+K4)例如，圖4中加權平均值圖像B2的一個像素點b12的圖像數據信息按如下計算bl2 ==(Kl*al2+K2*all+K3*a21+K4*a22)/(K1+K2+K3+K4)例如，圖4中加權平均值圖像B3的一個像素點b21的圖像數據信息按如下計算b21 ==(Kl*a21+K3*all+K2*al2+K4*a22)/(K1+K2+K3+K4)例如，圖4中加權平均值圖像B4的一個像素點b22的圖像數據信息按如下計算b22 ==(Kl*a22+K4*all+K2*al2+K3*a21)/(K1+K2+K3+K4)然後在圖5中選擇加權平均值圖像B1、B2、B3、B4中的一個座位基準參考圖像，比如選擇Bl，然後計算其餘加權平均值圖像B2、 B3、 B4項對於基準參考圖Bl的相關係數Sl、S2、 S3、 S4。需要進行後續信息壓縮處理的信息包含基準參考圖Bl和相關係數Sl、 S2、 S3、S4總共數據信息量為6X4大小，在進行相似性計算中可以基本恢復出高解析度圖像的全部輪廓信息和邊沿信息。 圖8是本發明第二種技術方案實現在信息發送端的流程圖。相應於圖4、圖5的基準參考圖像選擇方法，圖中表明在信息發送端，將高解析度圖像數據按如下處理步驟完成後再進行壓縮編碼。 對於信息發送端在步驟801獲取高解析度視頻圖像數據陣列，經過步驟802按
行等間隔和按列等間隔取樣生成n幅相同解析度的低解析度圖像Yl、 Y2........Yn，在
步驟803中設定第一加權係數Kl和第二加權係數K2，所述第一加權係數Kl大於所述第
二加權係數K2，然後在步驟804按計算式Bi = ((Kl-K2)*Yi+K2*(Yl+Y2+......+Yn))/
(Kl+(n-l)*K2)生成n幅加權平均值圖像，並在步驟805時以其中一幅加權平均值圖像作為基準參考圖像數據，隨後在步驟806中計算其餘加權平均值圖像數據分別與基準參考圖像數據的最優線性係數，最後在步驟807中將基準參考圖像數據和其餘加權平均值圖像的線性相關係數按約定順序存放後進入步驟808後續壓縮編碼處理。 圖9本發明第二種技術方案實現在信息接收端的流程圖。相應於圖4、圖5的基準參考圖像選擇方法，圖中表明在信息接收端，將經過解碼解壓縮獲得的數據信息是基準參考圖像數據信息和其餘加權平均值圖像的相關係數，按如下處理步驟完成後才能生成一幅高解析度視頻圖像數據信息。 對於信息接收端，在步驟901通過解碼解壓縮後的數據經過步驟902按約定信息存放順序獲得基準參考圖像數據和其餘加權平均值圖像的線性相關係數；然後在步驟903中用基準參考圖像數據和線性相關係數計算其餘加權平均值圖像數據並在步驟904中用基準參考圖像數據和其餘加權平均值圖像數據計算多個低解析度圖像數據並在步驟905中確定基準參考圖像數據和多個低解析度圖像數據的抽樣順序；最後在步驟906中按行列等間隔插入數據方式將基準參考圖像數據和多個低解析度圖像數據陣列合成為高解析度視頻圖像數據並在步驟907中再現高解析度視頻圖像數據陣列。 由於高解析度圖像數據按本發明所述的方法進行分解生成的低解析度圖像之間
存在著較大的視覺相似性，並採用把所有低解析度圖像進行加權平均值計算得到多幅加權
平均值圖像並從中選擇一幅作為選取基準參考圖像，使對應多幅加權平均值圖像數據具有
較好的線性相關性並使邊沿及輪廓信息部分得到恢復，因此在信息壓縮編碼和傳輸中可以
只需要處理和傳輸一個基準參考圖像的數據和其他多幅加權平均值圖像數據的相關係數
即可，從而大大降低後續處理的信息數據量，使信息壓縮、編解碼和傳輸效率更高。 圖IO是本發明第三種技術方案實現在信息發送端的流程圖。圖中表明在信息發
送端，將高解析度圖像數據按如下處理步驟完成後再進行壓縮編碼。 對於信息發送端在步驟1001獲取高解析度視頻圖像數據陣列，經過步驟1002按
行等間隔和按列等間隔取樣生成n幅相同解析度的低解析度圖像Yl、 Y2........Yn，在步
驟1003中設定第一加權係數K1和第二加權係數K2，所述第一加權係數K1大於所述第二加
權係數K2，然後在步驟1004按計算式Yi = (Kl-K2) *Yi+K2* (Y1+Y2+......+Yn)生成n幅
加權圖像，並在步驟1005時以其中一幅加權圖像作為基準參考圖像數據，隨後在步驟1006中計算其餘加權圖像數據分別與基準參考圖像數據的最優線性係數，最後在步驟1007中將基準參考圖像數據和其餘加權圖像的線性相關係數按約定順序存放後進入步驟1008後續壓縮編碼處理。 圖11本發明第二種技術方案實現在信息接收端的流程圖。圖中表明在信息接收端，將經過解碼解壓縮獲得的數據信息是基準參考圖像數據信息和其餘加權圖像的相關係數，按如下處理步驟完成後才能生成一幅高解析度視頻圖像數據信息。
對於信息接收端，在步驟1101通過解碼解壓縮後的數據經過步驟1102按約定信息存放順序獲得基準參考圖像數據和其餘加權圖像的線性相關係數；然後在步驟1103中用基準參考圖像數據和線性相關係數計算其餘加權圖像數據並在步驟1104中用基準參考圖像數據和其餘加權圖像數據計算得到多幅低解析度圖像並在步驟1105中確定計算所得到多幅低解析度圖像數據的抽樣順序；最後在步驟1106中按行列等間隔插入數據方式將計算所得到多幅低解析度圖像數據合成為高解析度視頻圖像數據並在步驟1107中再現高解析度視頻圖像數據陣列。 由於高解析度圖像數據按本發明所述的方法進行分解生成的低解析度圖像之間存在著較大的視覺相似性，並採用把所有低解析度圖像進行加權計算得到多幅加權圖像並從中選擇一幅作為選取基準參考圖像，使對應多幅加權圖像數據具有較好的線性相關性並使邊沿及輪廓信息部分得到恢復，因此在信息壓縮編碼和傳輸中可以只需要處理和傳輸一個基準參考圖像的數據和其他多幅加權圖像數據的相關係數即可，從而大大降低後續處理的信息數據量，使信息壓縮、編解碼和傳輸效率更高。
1權利要求
一種信息處理方法，其特徵在於信息發送端包含如下步驟1)將需要處理的高解析度視頻圖像信息採用等間隔取樣生成多幅相同解析度的低解析度圖像；2)設定多個加權係數，並設定其中一個加權係數大於其餘加權係數，所述多個加權係數中最大的一個稱為第一加權係數，其餘加權係數稱為第二加權係數組，所述第二加權係數組內的數據相同或不同，所述第二加權係數組與每幅低解析度圖像的對應關係預先確定；3)所述多幅相同解析度的低解析度圖像分別以其中一幅低解析度圖像乘以第一加權係數加上其餘低解析度圖像分別乘以第二加權係數組中所對應的加權係數生成多幅加權圖像；4)以所述多幅加權圖像的其中一幅作為基準參考圖像，用相關性分析方法獲得所述多幅加權圖像的其餘各幅分別與基準參考圖像的相關係數，其中所述相關性分析方法為線性或非線性方法；5)將所述基準參考圖像、所述相關係數、第一加權係數和第二加權係數組作為進行信息處理的原始數據或者將所述基準參考圖像、所述相關係數、第一加權係數和第二加權係數組作為信息發送數據；信息接收端包含如下步驟6)收到數據是進行信息處理後的數據或者收到數據是基準參考圖像、相關係數、第一加權係數和第二加權係數組；當收到數據是進行信息處理後的數據時，通過所述信息處理的對應處理方法得到基準參考圖像、相關係數、第一加權係數和第二加權係數組；7)根據所述基準參考圖像、所述相關係數、第一加權係數和第二加權係數組計算得到多幅低解析度圖像和/或計算得到多幅低解析度圖像的加權平均值圖像；8)將所述計算得到的多幅低解析度圖像和/或多幅低解析度圖像的加權平均值圖像重新組合形成一幅高解析度圖像或者將所述基準參考圖像除以所述加權係數之和得到的加權平均值圖像與所述計算得到的多幅低解析度圖像重新組合形成一幅高解析度圖像。
2. 根據權利要求l所述的信息處理方法，其特徵在於所述的步驟l)中，所述等間隔取 樣是按行等間隔取樣或按列等間隔取樣或同時按行等間隔和按列等間隔取樣，所述按行等 間隔取樣是單行等間隔或多行等間隔，所述按列等間隔取樣是單列等間隔或多列等間隔。
3. 根據權利要求1所述的信息處理方法，其特徵在於所述步驟4)中，採用相關性分析 方法計算其餘每個加權圖像數據與基準參考圖像數據的最優相關係數。
4. 根據權利要求1所述的信息處理方法，其特徵在於所述的步驟8)中，所述多幅低分 辨率的圖像按信息發送端的抽樣順序對應插入數據進行組合；或者所述多幅低解析度圖像 的加權平均值圖像按信息發送端的抽樣順序對應插入數據進行組合；或者先將基準參考圖 像、加權係數和計算得到多幅加權圖像採用加權計算的逆運算計算得到原始多幅低解析度 的圖像的計算數據，然後用計算得到原始多幅低解析度的圖像的計算數據按信息發送端的 抽樣順序對應插入數據進行組合。
5. 根據權利要求2所述的信息處理方法，其特徵在於所述步驟4)中，採用相關性分析 方法計算其餘每個加權圖像數據與基準參考圖像數據的最優相關係數。
6. 根據權利要求2所述的信息處理方法，其特徵在於所述的步驟8)中，所述多幅低分 辨率的圖像按信息發送端的抽樣順序對應插入數據進行組合；或者所述多幅低解析度圖像 的加權平均值圖像按信息發送端的抽樣順序對應插入數據進行組合；或者先將基準參考圖 像、加權係數和計算得到多幅加權圖像採用加權計算的逆運算計算得到原始多幅低解析度 的圖像的計算數據，然後用計算得到原始多幅低解析度的圖像的計算數據按信息發送端的 抽樣順序對應插入數據進行組合。
7. 根據權利要求3所述的信息處理方法，其特徵在於所述的步驟8)中，所述多幅低分 辨率的圖像按信息發送端的抽樣順序對應插入數據進行組合；或者所述多幅低解析度圖像 的加權平均值圖像按信息發送端的抽樣順序對應插入數據進行組合；或者先將基準參考圖 像、加權係數和計算得到多幅加權圖像採用加權計算的逆運算計算得到原始多幅低解析度 的圖像的計算數據，然後用計算得到原始多幅低解析度的圖像的計算數據按信息發送端的 抽樣順序對應插入數據進行組合。
8. 根據權利要求5所述的信息處理方法，其特徵在於所述的步驟8)中，所述多幅低分 辨率的圖像按信息發送端的抽樣順序對應插入數據進行組合；或者所述多幅低解析度圖像 的加權平均值圖像按信息發送端的抽樣順序對應插入數據進行組合；或者先將基準參考圖 像、加權係數和計算得到多幅加權圖像採用加權計算的逆運算計算得到原始多幅低解析度 的圖像的計算數據，然後用計算得到原始多幅低解析度的圖像的計算數據按信息發送端的 抽樣順序對應插入數據進行組合。
9. 根據權利要求1至8中任一項所述的信息處理方法，其特徵在於所述進行信息處理 的圖像數據是低解析度的基準參考圖像和計算出來的反映多幅低解析度圖像的其餘加權 圖像的相關係數，所述基準參考圖像和所述相關係數的存放順序是預先約定。
10. 根據權利要求1至8中任一項所述的信息處理方法，其特徵在於所述信息處理包含 圖像的編碼運算和/或壓縮運算；所述信息處理的對應處理方法包含解碼運算和/或解壓 縮運算。
全文摘要
本發明提出一種用於視頻編解碼的信息處理方法。將高解析度視頻圖像進行壓縮編碼處理之前分解為多個低解析度全景圖像，並按多幅相同解析度的低解析度圖像分別以其中一幅低解析度圖像乘以第一加權係數加上其餘低解析度圖像分別乘以第二加權係數組中所對應的加權係數生成多幅加權圖像；以所述多幅加權圖像的其中一幅作為基準參考圖像，通過用相關性分析方法獲得所述多幅加權圖像的其餘各幅分別與基準參考圖像的相關係數後，在極大的減少進行數據壓縮編碼的信息量、提高編碼效率和提升視頻信息傳輸效率的基礎上提高圖像的質量，並在一定程度上解決圖像邊沿被模糊化的問題。可以極大的減少進行數據壓縮編碼的信息量、提高編碼效率。
文檔編號H04N7/26GK101771877SQ20101003450
公開日2010年7月7日 申請日期2010年1月20日 優先權日2010年1月20日
發明者李博航 申請人:李博航