用於針對視覺數據壓縮的像素預測的方法和設備的製作方法

2023-04-23 06:42:01 4

用於針對視覺數據壓縮的像素預測的方法和設備的製作方法
【專利摘要】本發明涉及基於至少兩個模型函數之中的一個的選擇中的一個的像素預測方法和設備，所述至少兩個模型函數提供能夠預測被用於預測的參考像素的強度特性的預測函數和自適應模型函數。
【專利說明】用於針對視覺數據壓縮的像素預測的方法和設備
[0001]針對視覺像素數據的快速且高效的傳輸和存儲，應用壓縮算法來利用其空間和概率性冗餘。可以通過用於信號能量減少和後續熵編碼的主要可逆數據變換來實現位速率降低。在預測方法中，變換在於從每個像素中減去預測值，其也可以在解碼器處獲得。如果預測值與真實像素值並未精確地匹配，則能量減少失敗且熵編碼不能顯著地降低數據速率。尤其是對於具有特定邊緣特性的圖像數據(例如，超聲波圖像或計算機斷層成像(CT)切片，其表示通過人體切割平面的圖像，其中組織的密度已被映射到灰度水平值)而言，當前預測模型並不適用。
[0002]另一方面，隨著醫學成像掃描儀的日益增加的解析度(例如，在CT獲取中)以及隨著即將來臨的遠程放射診斷，對醫學圖像壓縮技術給予了越來越多的注意。此外，由於法律約束或者在診斷決定取決於圖像數據時醫生常常需要無損壓縮。
[0003]對預測問題的簡單解決方案是根據鄰域(neighborhood)的線性預測。隨後提交圖像的像素以便基於已接收到的像素進行預測。通常，按照行掃描順序穿過它們，使得可以使用上方和左側像素來形成預測因子(predictor)。要預測像素周圍的此像素的某個區域被定義為所謂的鄰域或背景(context)。針對線性預測，向該背景的每個像素位置指派權重。將鄰域內的每個像素與其對應的權重相乘並將結果加在一起以得到預測。線性預測的最簡單示例是差分脈碼調製(DPCM)，其中，在當前像素左側的像素得到權重一，並且因此直接被看作預測值。更複雜的方法可以使用最小二乘方回歸(例如，用尤爾-沃克(Yule-Walker)等式)將用於特定圖像的權重優化並將其作為邊信息(side informat1n)發射。最近的方法還設法根據先前發射的像素值來計算權重，或者甚至單個地使其適應於每個像素[I]以便保存邊信息。
[0004]作為用於連續色調圖像的無損/近無損壓縮標準的眾所周知的算法JPEG-LS(JPEG一聯合圖片專家組，LS—無損)是基於L0C0-1 (L0C0-1一用於圖像的低複雜性無損壓縮)算法[2]，或者比如CALIC (CALIC—基於上下文的、自適應、無損圖像編解碼器)[3]的更加近期的方法使用非線性預測用於瞬態信號的更好利用。一般地，這些是通過併入比如邊緣的圖像結構來計算預測值的規則。
[0005]作為示例，在L0C0-1中所使用的中值預測因子如下工作:作為預測，如果上和左像素兩者都小於左上像素，則其取上和左像素中的較小值，如果兩者都大於左上像素，則取較大值，並且否則取兩者的和減去左上像素。在從1994的美國專利[6]中描述了另一類型的非線性預測:由鄰域模板和對應的預測值來描述典型圖像結構。來自所有模板的預測值根據模板多好地擬合當前觀察結果而被加權，並且然後被相加用於最後的預測。
[0006]JPEG-LS和CALIC兩者都在預測之後利用背景建模以便適於觀察到的較大比例圖像特性。在每個像素處，從其鄰域提取特徵，該特徵然後被用來將其分類到某個背景群組。在JPEG-LS中，這些特徵是根據鄰域位置的量化圖像梯度。CALIC使用包括鄰域強度值的符號模式減去當前非線性預測的組合特徵。在解碼的同時，針對每個背景群組，保持屬於該背景群組的像素處的平均觀察預測誤差的值。這樣，針對每個新像素預測，可以由來自共享同一背景群組的先前像素的平均預測誤差來修正該預測誤差。
[0007]在美國專利[7]中，使用所支持像素的值由幾個計算單元的結果的加權和來生成預測因子。
[0008]目的是提供允許更精確地預測視覺數據的像素的方法和設備。
[0009]用獨立權利要求來解決本發明的此目的。從屬權利要求提供了本發明的特定限制和替換解決方案。
[0010]本發明涉及一種用於通過生成預測像素強度來對像素的像素強度進行編碼或重構的第一方法，由此，像素是圖像的一部分，包括:
一從圖像的像素中選擇至少一個參考像素，由此，相應的參考像素被預先編碼；
一提供模型函數，其
a)基於一個或多個參考像素的相應強度來提供用於生成預測像素強度候選的特定預測方法，
b)表示用於生成預測像素強度候選的自適應規則，由此，該自適應規則基於參考像素的強度特性；
一基於模型函數將像素的預測像素強度候選設置為預測像素強度；
一基於預測像素強度對像素的像素強度進行編碼或重構。
[0011]本發明還涉及一種用於通過生成預測像素強度來對像素的像素強度進行編碼或重構的第二方法，由此，像素是圖像的一部分，包括:
一從圖像的像素中選擇至少一個參考像素，由此，相應的參考像素被預先編碼；
一提供至少兩個不同的模型函數，其基於一個或多個參考像素的相應強度來提供用於生成預測像素強度候選的特定預測方法，
一將模型函數中的一個選擇為所選模型函數，由此
a)該選擇是基於預測像素強度候選，
b)在沒有對像素的像素強度的了解的情況下執行該選擇，以及
c)所選模型函數比模型函數中的任何其它的更好地表示參考像素的強度特性；
一基於所選模型函數將像素的預測像素強度候選設置為預測像素強度；
一基於預測像素強度對像素的像素強度進行編碼或重構。
[0012]兩個方法的優點都是其預測精度在符合所採取模型函數的形狀的區域中是優越的。用適當的後續熵編碼，這導致有損壓縮中的較高壓縮比或較少失真。
[0013]另一優點在於準確預測所需的由參考像素定義的小的鄰域區域。除較小的緩衝器尺寸之外，對於同一圖像內的不同圖像特性而言以及對於其中沒有太多背景信息可用的圖像的第一發射區域而言，這對於比如在感興趣區域編碼中的小圖像而言尤其有用。並且，可以更容易地實現並行實施方式，因為對其它圖像區域的依賴性並不如在其它方案中那樣大。
[0014]最後，該方法不限於2D圖像，而是還可以例如在3D體積、超譜圖像或視頻中使用。對於其中特性預先已知的所有數據集而言，很少的模型函數足以覆蓋這些結構的大量實現，例如幾乎無窮數目的邊緣方向。
[0015]通過使用比模型函數中的任何其它的更好地表示參考像素的強度特性的所選模型函數，由映射單元執行的選擇步驟的期望是所選模型函數將遞送比其它模型函數中的任何一個更準確的預測像素強度的預測。由使用自適應規則的模型函數進行的預測將在相應模型函數相對於參考像素的優化之後執行。
[0016]在第二方法的擴展中，模型函數中的至少一個表示用於生成預測像素強度的靜態規則。這允許預測像素強度的低複雜性實施和低複雜性計算，因為該模型函數是靜態函數。
[0017]在第二方法的擴展中，模型函數中的至少一個表示用於生成預測像素強度候選的自適應規則，由此，該自適應規則基於參考像素的強度特性。該自適應規則允許對要編碼的像素的更精確預測，因為其函數可以動態地適於參考像素的特定強度特性。
[0018]在可選擴展中，作為自適應規則，可用最小化的殘差來優化模型函數以便生成被用來使模型函數適於參考像素的強度特性的至少一個參數，由此，該殘差描述了參考像素的位置處的預測像素強度候選與參考像素的強度之間的差。此擴展允許模型函數對參考像素的強度特性的非常精確的適應。
[0019]在一個可選示例中，模型函數描述了用於參考像素的強度特性的二維圖案。使用二維圖案極大地改善了預測像素強度的預測。
[0020]特別地，可以由用於強度特性中的邊緣的模型函數來實現本示例，其被描述如下:
【權利要求】
1.一種用於通過生成預測像素強度(PPI)來對像素(XO)的像素強度(PI)進行編碼或重構的方法，由此像素(XO)是圖像(PIC)的一部分，包括: 一從圖像(Pic)的像素中選擇至少一個參考像素(PREF、X1、...、X12)，由此，相應的參考像素(PREF、X1.....X12)被預先編碼； 一提供模型函數(MODFI)，其 a)基於一個或多個參考像素(PREF、Xl.....X12)的相應強度(PI)來提供用於生成預測像素強度候選(CPPIl)的特定預測方法， b)使用用於生成預測像 素強度候選(CPPI1、CPPI3)的自適應規則，由此，該自適應規則是基於參考像素(PREF、X1.....X12)的強度特性； 一基於模型函數(M0DF1 )M0DF1 (XO )將用於像素(XO )的預測像素強度候選(CPPII)設置為預測像素強度(PPI); 一基於預測像素強度(PPI)對像素(XO)的像素強度(PI)進行編碼或重構。
2.一種用於通過生成預測像素強度(PPI)來對像素(XO)的像素強度(PI)進行編碼或重構的方法，由此，像素(XO)是圖像(PIC)的一部分，包括: 一從圖像(Pic)的像素中選擇至少一個參考像素(PREF、X1、...、X12)，由此，相應的參考像素(PREF、X1.....X12)被預先編碼； 一提供至少兩個不同的模型函數(M0DF1、M0DF2、M0DF3)，其基於一個或多個參考像素(PREF、Xl.....X12)的相應強度(PI)而提供用於生成預測像素強度候選(CPPI1、CPPI2、CPPI3)的特定預測方法； 一將模型函數(MODFl、M0DF2、M0DF3)中的一個選作所選模型函數(M0DF1 )，由此 a)所述選擇基於預測像素強度候選(CPPI1、CPPI2、CPPI3)， b)在沒有對像素(XO)的像素強度(PI)的了解的情況下執行該選擇，以及 c)所選模型函數(MODFl)比模型函數(M0DF2、M0DF3)中的任何其它的更好地表示參考像素(PREF、X1.....X12)的強度特性； 一基於所選模型函數(MODFl) MODFl (XO)將用於像素(XO)的預測像素強度候選(CPPIl)設置為預測像素強度(PPI)； 一基於預測像素強度(PPI)對像素(XO)的像素強度(PI)進行編碼或重構。
3.權利要求2的方法，其中 模型函數(M0DF2)中的至少一個表示用於生成預測像素強度(PPI)的靜態規則。
4.權利要求2或3的方法，其中 模型函數(M0DF1、M0DF2)中的至少一個使用用於生成預測像素強度候選(CPPI1、CPPI3)的自適應規則，由此，該自適應規則是基於參考像素(PREF、X1、...、X12)的強度特性。
5.權利要求1或4的方法，其中 作為自適應規則，模型函數(MODFl)使用殘差，其被最小化以便生成被用來使模型函數(MODFl)適於參考像素(PREF、X1、...、X12)的強度特性的至少一個參數(d、φ、o、s、σ )，由此，該殘差描述參考像素(XI)的位置處的預測像素強度候選(CPPII)與參考像素(XI)的強度(PI)之間的差。
6.權利要求1、4或5的方法，其中模型函數(MODFl)描述用於參考像素(PREF、Xl.....X12)的強度特性的二維圖案。
7.權利要求6的方法，其中 能夠由下式來描述用於強度特性中的邊緣的模型函數(MODFl)
其中: 一Pg:定義位置X處的預測像素強度候選(CPPI1),例如具有X和y維度； -erf(.):是高斯誤差函數，在I一D高斯函數上的不定積分的縮放版； 一d:移位距尚d —Φ:在X平面中旋轉一定角度 —ο:偏移 —S:與比例S相乘 -O:平滑化的量 可以由下式將參數優化成參考像素:
其中: 一 wk:加權因數； 一k:參考像素Xk的特定位置 —η:參考像素的數目。
8.權利要求6的方法，其中 能夠由下式來描述用於強度特性中的兩個邊緣的模型函數(M0DF3)
其中: 一Pg:定義位置X處的預測像素強度候選(CPPI1),例如具有X和y維度； -erf(.):是高斯誤差函數，在I一D高斯函數上的不定積分的縮放版； 一d:移位距尚d —Φ:在X平面中旋轉一定角度 —ο:偏移 —S:與比例S相乘 -O:平滑化的量 —δ:兩個邊緣之間的距離。
9.前述權利要求中的一項的方法，其中 參考像素(PREF、X1、...、X12)是(a)採用其原始形式的像素和(b)在編碼之後被重構的像素中的一個。
10.前述權利要求中的一項的方法，其中 參考像素(PREF、X1、...、X12)中的至少一些是像素(XO)的相鄰像素。
11.權利要求2至10中的一項的方法，其中 生成相應模型函數(MODF1、MODF2)的失配值(rl、r2、r3),由此，失配值分別地定義參考像素(Xl)的位置處的預測像素強度候選(CPPIl)與參考像素(Xl)的強度(PI)之間的差， 所選模型函數(MODF1)示出了與其它失配值相比最小的失配值(rI)。
12.權利要求2至11中的一個的方法，其中 在執行選擇步驟之前丟棄至少一個模型函數(MODREF3)，由此，如果兩個不同模型函數(MODFK M0DF2)的像素強度候選(CPPI1)之間的差超過可定義第一閾值(TP)，或者相應的模型函數(MODFl)的失配值(rl)超過第二閾值(TR)，則執行此步驟。
13.前述權利要求中的一項的方法，其中 編碼的步驟包括由預測誤差(PR)的熵編碼器(EC)用於入口編碼的概率分布(DP)的選擇，所述預測誤差(PR)是基於從像素(XO)的像素強度(PI)中減去預測像素強度(PPI)，由此，該選擇包括使用圖像(PIC)的預先編碼像素、例如參考像素(PREF、X1.....X12)的相應 的預測誤差(PR)。
14.權利要求11和13的方法，其中 選擇概率分布(DP)的步驟是基於相應模型函數(M0DF1、M0DF2)的像素強度候選(CPPI1、CPPI2、CPPI3)或失配值(rl、r2、r3)中的至少一個。
15.前述權利要求中的一項的方法，其中 所述強度(P1、PPI)是基於相應像素的輝度。
16.用於通過生成預測像素強度(PPI)而對像素(XO)的像素強度(PI)進行編碼和重構的設備(DEV)，由此，像素(XO)是圖像(PIC)的一部分，包括: 一像素緩衝器單元(PBU)，用於從圖像(PIC)的像素中選擇至少一個參考像素(PREF、X1、...、X12)，由此，相應的參考像素(PREF、X1、...、X12)被預先編碼； 一模型函數(M0DF1)，其 a)基於一個或多個參考像素(PREF、Xl.....X12)的相應強度(PI)來提供用於生成預測像素強度候選(CPPI1、CPPI2、CPPI3)的特定預測方法， b)表示用於生成預測像素強度候選(CPPI1、CPPI3)的自適應規則，由此，該自適應規則是基於參考像素(PREF、X1.....X12)的強度特性； 一映射單元(MAPU)，用於基於模型函數(MODFl)MODFl (XO)將用於像素(XO)的預測像素強度候選(CPPIl)設置為預測像素強度(PPI)； 一編碼單元(ENC、DEC)，用於基於預測像素強度(PPI)對像素(XO)的像素強度(PI)進行編碼或重構。
17.用於通過生成預測像素強度(PPI)而對像素(XO)的像素強度(PI)進行編碼或重構的設備(DEV)，由此，像素(XO)是圖像(PIC)的一部分，包括: 一像素緩衝器單元(PBU)，用於從圖像(PIC)的像素中選擇至少一個參考像素(PREF、X1、...、X12)，由此，相應的參考像素(PREF、X1、...、X12)被預先編碼； 一至少兩個不同的模型函數(M0DF1、M0DF2、M0DF3)，用於基於一個或多個參考像素(PREF、Xl.....X12)的相應強度(PI)而提供用於生成預測像素強度候選(CPPI1、CPPI2、CPPI3)的特定預測方法； 一映射單元(MAPU)，用於將模型函數(M0DF1、M0DF2、M0DF3)中的一個選作所選模型函數(M0DF1)，由此 &)所述選擇基於預測像素強度候選(0--11、0--12、0--13)， b)在沒有對像素(XO)的像素強度(PI)的了解的情況下執行該選擇，以及 c)所選模型函數(MODF1)，比模型函數(MODF2、MODF3)中任何其它的更好地表示參考像素(PREF、X1、...、X12)的強度特性，並且基於所選模型函數(MODFl) MODFl (XO)將用於像素(XO)的預測像素強度候選(CPPIl)設置為預測像素強度(PPI)； 一編碼單元(ENC、DEC)，用於基於預測像素強度(PPI)對像素(XO)的像素強度(PI)進行編碼或解碼。
18.權利要求16或17的設備(DEV)，具有用於實施並執行權利要求3至15的步驟中的至少一個的補充單元(SU)。
【文檔編號】H04N19/11GK104081436SQ201280067484
【公開日】2014年10月1日 申請日期:2012年12月4日 優先權日:2012年1月19日
【發明者】A.魏因利希, P.阿蒙, A.胡特, A.考普 申請人:西門子公司