基於區域的規模可變的圖像編碼的製作方法
2023-05-31 08:05:06
專利名稱：基於區域的規模可變的圖像編碼的製作方法
技術領域：
本發明一般涉及圖像編碼，更具體地涉及規模可變的和基於內容的可以隨機地訪問的數字靜態圖像的壓縮和解壓。
網際網路和數字媒體應用的快速發展提出持續的和不斷增長的要求，需要一種新的圖像編碼工具，用於將通常大的和瑣碎的原始圖像數據文件減縮為壓縮形式。然而，在設計新的編碼工具時，開發者提出的要求已不再只是所得位流的緊湊性。終端用戶以及它們的應用不斷地要求一些特徵，例如規模可變性、針對誤差的穩固性以及基於內容的可訪問性。
照片或動畫影片是人類眼睛所看到的三維對象的二維表示。這些用於記錄二維圖像的方法是「連續的」或「模擬的」重現。數字圖像是這些模擬圖像的不連續逼近，其中這些模擬圖像由一串鄰近的具有變化的顏色或強度的點或畫面元素(像素)組成。在計算機或電視顯示器上，數字圖像由投影至玻璃屏幕上的像素表示，以供操作人員觀看。專用於描繪具體圖像的像素數量稱為它的解析度，也即，所用像素愈多則其解析度愈高。
中等解析度的單色圖像-黑白圖像稱為「灰度」-中每條水平線包含640個像素。一個典型圖像包括480條水平行或線，而這些線中的每條線包含640個像素。因此，在單個640×480像素的圖像中總共顯示了307,200個像素。如果單色圖像的每個像素需要一個字節的數據來描述它(即或黑或白)，則只是一個黑白圖像就總共需要307,200個字節來描述它。現代灰度圖像使用不同級別的強度來描繪黑度，因此使用八位或256個級別的灰度。所得圖像文件因此更大。
對於彩色圖像，圖像中每個像素的顏色通常由三個變量決定紅(R)、綠(G)和藍(B)。按照不同比例將這些顏色混合起來，計算機就可以顯示色譜的不同顏色。可用於表示三種顏色中的每一種的品種愈多，則可以顯示的顏色愈多。例如為表示256種紅色濃淡，需要一個八位數。這個顏色的值的範圍因而是0-255。因此用於表示一個像素所需的總位數是24位-紅、綠和藍各八位，通常稱為RGB888格式。因此，一個給定的RGB畫面具有三個平面，紅、綠和藍，以及畫面中每個像素的顏色範圍是0-16.78百萬，或R×G×B=256×256×256。因此一個640×480像素的標準彩色圖像需要在計算機系統中存儲或表示大約7.4兆位的數據。將水平和垂直解析度乘以表示全彩色範圍所需位數即640×480×24=7,372,800位，即得此數。
標準的、通常可用的硬體雖然是不斷增長地快速和可供使用，但仍然發現在處理這類規模的文件時慢而不實用。在交互式應用和網際網路使用的情況下，這點更為突出。交互式應用要求對多媒體數據進行非常快的多方向處理。由於它們持續地保持大的規模，圖像文件已經成為開發真實的、交互式計算機應用程式的限制速率的因素。在網際網路的情況下，終端用戶和應用程式更為數據機和其他傳輸媒體的緩慢步伐所限制。例如，由於普通電話公司使用的實際線路和交換功能，使得一秒期間當今能夠在電話線上傳輸的信息量限制為每秒33,600位。因此，在此波特率下，具有7,372,800位的數據的單個全彩色RGB888640×480像素頁面在傳輸時將佔用大約三分半鐘。
有許多用於壓縮圖像數據的方法，並且是熟悉技術的人所熟知的。這些方法中的某些方法是「無損失」壓縮；即，在解碼和解壓時它們恢復原始數據而不損失或省略數據。因為它們的相對減縮比是小的，然而這些無損失技術不能滿足對於圖像壓縮技術的所有現有要求。其他壓縮方法是不可逆的並且稱為「有損失」。這些不可逆方法能夠提供大量壓縮，但其結果是損失數據。在圖像文件中，通過將人類眼睛對其具有有限的敏感度或者沒有敏感度的圖像的某些方面省略而實際上得到高壓縮比。在編碼後，對該減縮的數據集應用逆過程以便將它解壓和恢復原始圖像的合理的摹真本。有損失壓縮技術也可與無損失方法一起使用於數據壓縮和圖像保真度的可變混合。
壓縮的位流的緊湊性通常由與相應的未壓縮圖像數據的規模相比較的流的規模來量度。緊湊性的定量量度為壓縮比或者選代地為位率，其中壓縮比=(原始圖像數據的總字節數)/(壓縮圖像所需總字節數)及位率=(解壓所需總字節數)/(原始圖像的像素數)一般而言，壓縮比愈高(或位率愈低)，則壓縮位流的緊湊性愈高。對於所有數據壓縮技術而言，緊湊性始終是主要關心的內容。
壓縮圖像文件的最通用格式中的一個是GIF格式。GIF代表「圖形圖像格式」，它由Compuserve公司開發來提供一種裝置，用於從一個撥號顧客傳送圖像至另一個顧客，甚至能越過不同計算機硬體平臺。它是相對的舊格式，曾經設計於處理256種顏色的調色板-與24位顏色不同的8位。開發出來後，對於大多數個人計算機而言，它是近於現代的技術。
「GIF」格式使用8位顏色查詢表(有時稱為CLUT)來識別顏色值。如果原始圖像是8位灰度照片，則「GIF」格式產生一個壓縮的無損失圖像文件。灰度圖像通常只有256級灰度。使用壓縮信息的「運行長度編碼」(RLE)機制來進行壓縮，同時存儲GIF文件。如果原始文件是24位彩色圖形圖像，則首先將它映射為一個8位CLUT，然後使用RLE進行壓縮。在將原始24位(16.7百萬)顏色重新映射為有限的8位(256種顏色)CLUT時會有損失。RLE編碼將重現一個未壓縮圖像，它與重現映射的8位圖像完全相同，但與原始24位圖像不同。當在一行像素間有許多著色變化時，RLE不是壓縮圖像的有效方法。當多行像素具有相同顏色或者當只使用很有限數量的顏色時，它非常有效。
靜態圖像格式的其他實際標準是JPEG格式。JPEG代表聯合照片專家組。JPEG使用有損失壓縮方法來建立最終文件。JPEG文件可以比它們的GIF關係更進一步壓縮，以及它們能夠比GIF格式中使用的8位表保持更深的顏色。大部分JPEG壓縮軟體向用戶提供在圖像質量與壓縮量之間的選擇。在10∶1壓縮比的情況下，大部分圖像看起來很像原始圖像，並且保持很好的全彩色再現。如果壓至100∶1，則圖像將會包含塊狀圖像的人為現象，這實際上將降低質量。不像GIF,JPEG在壓縮圖像時不單獨使用RLE，它使用漸進式工具組來得到最終文件。
JPEG首先根據圖像的亮度和色度將圖像自其原始顏色空間改換為歸一化顏色空間(一個有損失過程)。亮度對應於光亮信息而色度則對應於色調信息。測試結果表明人類眼睛對亮度變化比對顏色或色調變化更為敏感。使用離散餘弦變換(DCT)將數據記錄於8×8像素塊上，這也產生某些圖像損失。它有效地在這些離散區域內將圖像重新採樣，然後使用更有效的標準的RLE編碼(也可用其他編碼方案)來產生最終文件。編碼比例愈高則圖像損失愈大，因此愈能覺察到8×8像素人為現象。
所涉及的技術的一個要求是它們應該具有規模可變性的特性/屬性。規模可變性用來量度在多大範圍內壓縮的位流能夠部分地解碼並且使用於傳輸的終端。在滿足漸進式處理的這種需要時，規模可變性已經成為新一代數字圖像編碼技術的標準要求。通常以像素精度和空間解析度表示的規模可變性是靜態圖像壓縮的兩個基本要求。
為在保證圖像保真度的同時達到規模可變性，在圖像壓縮技術的最新成就中已包括根據「小波」的多解析度分解。小波是算術函數，只在二次大戰之後才首先得到廣泛的學術應用。小波一詞從以下事實導得基本函數(或「母小波」)一般積分為零，因此圍繞x軸「波動」。其他特性例如小波是標準正交或對稱的特性能用於保證正和逆小波變換的快速和容易的計算，即在解碼中尤其有用。
基於小波的變換的另一個重要優點是可以用更緊湊的方式用小波來表示許多類型的信號或圖像。例如，為達到同樣精度，具有不連續性的圖像和具有尖峰的圖像通常採用實際上比基於正弦或餘弦的函數更少的小波基本函數。這意味著基於小波的方法具有獲得更高圖像壓縮比的潛力。對於同樣精度，根據小波係數重現的圖像看起來比使用福裡哀(正弦或餘弦)變換所得圖像更好。這似乎標示著小波方案所產生的圖像更易為人類視覺系統所接受。
小波將圖像變換為其原始圖像的粗糙的低解析度版本，然後一系列增強操作為圖像增加細而又細的細節。此多解析度性質很好地適用於網絡化應用，其中要求規模可變性和優美的退化。例如，多機種網絡可能包括非常高的帶寬部分和28.8數據機連接以及它們之間的所有元件。很好的做法是將同樣視頻信號送至網絡的所有部分，將更細的細節拋掉並且將低解析度圖像送至網絡中具有低帶寬的各部分。它將粗糙的低解析度圖像包卷於到達整個網絡的最高優先級包中，從而使小波很好地適用於這種應用。這些增強操作屬於低優先級包，這些包可能送達網絡的較低帶寬部分。
編碼圖像的低解析度性質也在有噪音通信信道例如無線網絡或有故障網絡中支持優美的退化。包含低解析度基本圖像的高優先級包被重新傳輸，如果出現誤差則將增強操作取消。
基於內容的編碼和可訪問性是圖像壓縮領域中進一步的新方向。先前公開的編碼技術例如JPEG並不支持用於規定和操縱圖像的具體區域的能力。基於內容的隨機可訪問性也不是任何新的基於小波技術中所要求的功能。舉幾個例子，對此特徵提出要求的終端用戶應用包括多媒體資料庫查詢，網際網路伺服器-客戶交互操作，圖像內容產生和編輯，遠程醫療診斷和交互式娛樂。
對多媒體資料庫的基於內容的查詢要求得到那些能夠查找具有感興趣對象的圖像材料的機制的支持。基於內容的對網際網路或本地盤組的超連接可使圖像內所需對象用作信息漫遊的入口點。基於內容的編輯允許內容供應商以面向對象或基於區域的方式操縱圖像材料的屬性。基於內容的交互操作允許數字內容訂戶或遠程研究者根據他們的感興趣區域來選擇性地控制圖像信息傳輸。簡而言之，此基於內容的可訪問性允許將語義上有意義的視覺對象用作圖像數據的表示、解釋、操縱和檢索的基礎。
本發明的一個目的是提供圖像壓縮中的基於區域的編碼。根據本發明的一個方面，提供了一種基於區域的方法，用於將數字靜態圖像編碼和解碼，以便產生一個規模可變的內容可訪問的壓縮位流，該方法包括以下步驟將初始圖像數據分解和排序為多解析度子圖像階層；確定感興趣區域；定義一個用於識別感興趣區域的區域掩模；為感興趣區域將區域掩模編碼；確定隨後解析度級別的區域掩模；及根據多解析度係數的幅值將區域數據掃描和漸進式地進行分類。
根據本發明的另一個方面，提供了一種設備，用於對數字靜態圖像進行基於區域的編碼和解碼，以便產生一個規模可變的內容可訪問的壓縮位流，該設備包括用於將初始圖像數據分解和排序為多解析度子圖像階層的裝置；用於確定感興趣區域的裝置；用於定義一個用於識別感興趣區域的區域掩模的裝置；用於為感興趣區域將區域掩模編碼的裝置；用於確定隨後解析度級別的區域掩模的裝置；及根據多解析度係數的幅值將區域數據掃描和漸進式地進行分類的裝置。
根據本發明的又一個方面，提供了一種基於區域的系統，用於對數字靜態圖像進行編碼和解碼，以便產生一個規模可變的內容可訪問的壓縮位流，該系統包括以下步驟將初始圖像數據分解和排序為多解析度子圖像階層；確定感興趣區域；定義一個用於識別感興趣區域的區域掩模；為感興趣區域將區域掩模編碼；確定隨後解析度級別的區域掩模；及根據多解析度係數的幅值將區域數據掃描和漸進式地進行分類。
結合以下附圖和說明來考慮本發明，將能更好地理解本發明，附圖中類似名詞用於標示類似特徵。
圖1是本壓縮系統和體系結構的詳細的多路徑流表示。
圖2是對圖像「Lena」的使用基於小波的變換所得多解析度分解階層的表示。
圖3是感興趣區域的編碼的本發明「幾何」方案的原理表示。
圖4是應用於感興趣區域的編碼的「領先1」概念的圖形表示。
圖5是應用於靜態圖像「Lena」的三種類型的區域信息方案的表示。
圖6是使用應用於靜態圖像「Lena」的離散餘弦變換(DCT)的重要區域的編碼的表示。
圖7是區域階層形成方法的流程圖。
圖8是算法A51和隨後解析度級別的區域掩模的向下採樣的操作的流程圖。
圖9是用於掃描區域編碼數據的兩個不同方法的表示。
圖10是使用區域收縮方法對區域數據進行掃描的優選方法的流程圖。
圖11是在系統的壓縮側的多路復用器內將數據包裝的順序的詳細流程圖。
圖12是壓縮系統的多路復用器的內部體系結構的流程圖。
圖13是系統的解壓側的多路分解器的內部體系結構的流程圖。
圖14是解壓系統和體系結構的詳細多路徑流表示。
圖1表示用於圖像數據壓縮的方法和系統的總體系結構。在本發明的優選實施例中，初始圖像數據作為位像輸入至系統，通過本發明的系統後作為壓縮位流輸出。
壓縮編碼過程的第一步是將初始數據變換或分解為多解析度分解階層或MDH。本發明的優選實施例應用離散小波變換來完成此分解。讀者知道有其他變換可供使用，在本發明中它們可以完全一樣好地提供使用。此外，為完成初始圖像數據的內容可訪問的壓縮，並不必須完成此基於解析度的分解。本發明的基礎是能夠以許多不同格式處理數據的模塊體系結構。
在多解析度分解之後，優選實施例的下一個階段是MDH數據的區域格式化和編碼。讀者能注意到，此步驟可應用於初始圖像數據，或者應用於已經使用不同技術變換為多解析度階層的數據。系統的這個步驟分為兩部分，區域階層的形成或確定以及這些區域形狀的隨後編碼。這些數據形成多區域數據通道，用於本發明系統的下一個階段中。
在根據數據的「區域的」性質將數據編碼之後，必須將數據再一次分類以便為終端用戶保留規模可變性。「區域化」數據的漸進式分類是系統的獨一的和新穎的方法，用於有效地和可壓縮地組織數據以便保持圖像保真性，它的規模可變性和基於內容的可訪問性。
在完成系統的分類階段之後，接著完成數據的平均信息量編碼。平均信息量編碼是技術中熟知的數據壓縮的無損失方法。它基於統計學預測方法，以及進一步對最終數據流的緊湊特性作出貢獻。
最後，包括一個多路復用或MUX模塊，用於管理從以上過程步驟中獲得的不同類型數據的流動。本發明的多路復用器允許用戶通過漸進式傳輸控制來使數據的「位束」(bit-budget)流向解壓器。對於此特徵的要求可能是由數據傳輸中有限可用資源或者終端用戶處理用的有限可用資源所提出的。在進行多路復用之後，可通過不同媒體將所得壓縮位流傳輸至本發明的解碼部分。
圖2是在將本發明的初始圖像數據編碼過程中第一步的圖形闡述。如前所述，有數個不同方法可用於將初始圖像數據分解或變換從而組織不同解析度級別。讀者可以回憶，這是為了實現規模可變的和/或優美的退化傳輸所需的階層。現在可用的不同類型的變換包括小波、KL變換、小波包變換、上舉(lifting)方案、窗口福裡哀變換和離散餘弦變換。在本發明的優選實施例中，所用的具體小波是基於上舉方案的。然而熟悉技術的人知道本發明的體系結構支持其他小波變換或者為終端用戶的具體目的而設計的其他變換。
在圖2中我們看到使用優選實施例的小波將數據集lx,y通過基於多解析度的變換所得典型結果。測試圖像「Lena」已根據解析度級別變換為數據階層並且表示在三個空間方向內。這是「多解析度分解階層」或MDH數據集。本發明按照預設方式實現3或5個不同分解級別。在圖2中我們還看到在每個解析度級別上由HL、HH和LH表示的三個空間方向，其中HL表示水平平面上的高通掃描和垂直平面上的低通掃描，HH表示兩個平面上都是高通掃描以及LH是水平平面上的低通掃描和垂直平面上的高通掃描。LL或兩個平面上都是低通掃描的情況用於表示在任何具體解析度級別上的無意義信息，但可在階層中隨後的解析度級別上解釋。
在已經以此方式將數據分解和組織後，過程中的下一步是將數據編碼以便允許實現以上所述的內容可訪問性。為完成此目的，本發明首先定義一個「感興趣區域」，其次將一個「掩模」公式化以便描述它，然後將該信息編碼以使它成為壓縮數據流的一部分。
為完成本系統這個階段中提出的重要概念是幾何漸進式編碼的想法。當試圖完成基於區域的編碼而同時保留規模可變性時強制性的做法是將順序V(解析度係數的幅值-MDH數據)與多區域數據(即與關係R)關聯起來。這導致圖3中提出的編碼的幾何方案。在現有技術中，組合方案(左側)使用採樣值(在變換係數平面中的零)來預測較高的解析度級別中一組零出現的可能性。也就是在此基礎上獲得表示的緊湊性。與此同時，應該知道在解析度低級別上傳輸期間出現的任何誤差都會在預測的每個級別上造成嚴重的反響。
在本發明採用的幾何方案(右側)中，通過使用一個幾何形狀來覆蓋採樣(零)的大集合，然後將此形狀編碼而獲得表示的緊湊性。在此方案中，MDH中的感興趣區域以幾何對象的形式來表示，然後將類似區域和曲線和緊湊代碼都公式化以便描述這些幾何對象。幾何對象的緊湊編碼使用圖4中的領先1曲線C。使用此公式化和編碼方法所得優點包括區域的精細描述、這些區域的緊湊表示和針對以上所述類型的傳輸誤差的穩固性。
因此，給出MDH中係數子集{Cij}後，無論這些係數的掃描順序如何，它們的絕對值的分布都包含三部分(圖4)。領先1曲線C包含自最高有效位開始查找所有係數的二進位表示的第一非零位。細化區段包含領先1之後的所有係數的二進位位。零區段包含在所有係數的領先1之前的所有零。因此，如果所有係數的數量是n*N位，及細化區段的區域是｜x｜位，及零區段的區域是｜0｜位，則｜x｜+｜0｜=(n-1)*N位，因為曲線C的長度是N。
為完成這些數據的無損失編碼，必須精確地記錄曲線C和細化區段的信息。以緊湊性表示的編碼器的性能根據它將零區段編碼的能力來確定，或者等效地根據它將曲線C編碼的能力來確定。為實現以順序V表示的規模可變性，希望曲線C不在其高度上增長。這通過以下所述的漸進式部分分類過程來完成。
為回至建立多區域數據的過程起點，本發明的優選實施例設想三種用於確定感興趣區域的方法。在圖5中我們看到系統支持1．用戶定義區域。在此方案中，該區域或由交互式過程(即其中用戶使用輸入設備例如滑鼠來規定感興趣區域)，或由另一個應用程式來確定。然後根據此用戶定義區域將「掩模」公式化。這個區域公式化方法由圖5a)表示。
2．鋪貼。在鋪貼方案中，找到標準規模的象素塊來形成區域。在JPEG中可以考慮例如8×8的塊為通過鋪貼規定的區域。當處理非常大的圖像例如計算機輔助設計和製造中生成的圖像時，鋪貼也可用作區域形成的合適方法。在圖5b)中闡述區域公式化的鋪貼方法。
3．自動化區域公式化。此自動化過程由圖5c)表示。自動化區域階層公式化的任務是將MDH數據或原始圖像數據分段為幾何區域階層。在本發明中發展了一種變換域分段方案。在此過程的優選實施例中，通過測量區域的絕對值或通過測量「區域重要性」來將MDH數據分段為空間分離的區域，其中區域重要性是感興趣區域內所有係數的總重要性的組合量度。在本發明中，我們考慮兩種類型的區域重要性平均重要性和加權重要性。平均區域重要性是該區域內所有係數的係數重要性的平均值，以及加權區域重要性是該區域內所有係數的係數重要性的加權平均值。
本發明的自動化區域公式化是通過使用兩個分段算法中的一個來完成的。這些算法中的第一個是全邏輯方案，其中閾值2n-1,2n-2,…,20用於順序地將MDH數據排序，其中知道最大MDH係數(｜Cij｜)＜2n。
第二個分段方案是基於部分邏輯方案的。在此方案中，由專家用戶確定，只將2的一定冪次用作閾值。
在使用任何一個方案對MDH數據加用閾值後，對MDH平面上的每個空間位置標上一個與相應的閾值有關的獨一標記。因此，如果「n」個閾值用於方案中，則整個MDH平面標上n+1個不同標記。此標記集形成區域掩模。
在圖5(c)中，我們看到圖像Lena的自動化分段的結果。在多解析度分解階段期間生成的MDH係數分為三個範圍。在本發明的優選實施例中，這些範圍是0-15、16-31和32-64。
回憶到MDH數據結構包含多解析度級別和多空間方向，可以想像，MDH數據的分段操作可以如下完成將一個公共掩模加於所有解析度級別和所有方向上；將不同掩模加於不同方向上而為每個方向內的所有解析度級別保留一個公共掩模；將不同掩模加於不同解析度級別上而為任何給定解析度級別的所有方向保留一個公共掩模；或者將不同掩模加於不同解析度和方向。
在本發明的優選實施例中，由於不同方向之間的自身類似性，已經選擇第一方案。在任何給定解析度級別上，邊界信息(與忙碌區域或具有高反差區域相關的信息)包含於集合HH1、HL1和LH1中。一般而言，由於集合HH、HL和LH在不同方向撲獲到低通特徵，它們之中沒有一個能單獨提供該解析度級別上的完整邊界描述。當三個方向中的任何一個內出現一個事件時，必須恰當地確定邊界「事件」。因此以下操作用於解析度級別1處的公共重要性測試。
H1=max{HH1,HL1,LH1}。
也即，一個區域的重要性由在該位置處三個方向中的任何一個內出現的最大值所決定。
對此操作的選代做法是H1=a*HH1+b*HL1+c*LH1，其中a+b+c=1。
對不同解析度和方向使用公共掩模的其他理由包括不同解析度級別處的自身類似性和只有一個掩模時的計算效率。這就是計算一個公共掩模通常在計算上比計算多個掩模便宜。
區域形狀編碼的任務是為在區域形成步驟中產生的區域掩模找到一個正確的和緊湊的代碼。形狀代碼的緊湊性和正確性兩者都對整個編碼系統的效率有著直接影響。在本發明的體系結構中，支持多個形狀編碼方案，但在優選實施例中使用以下基於DCT的區域通道。
在此方案中，使用區域掩模的福裡哀特性將它編碼。通過在頻域內進行低通濾波，可以使用高正確度和使用少量DCT係數將多區域掩模的全局形狀進行編碼。圖6闡述如同加於Lena圖像上一樣的DCT編碼區域掩模的圖形例子。通過使用DCT變換來描述掩模，可以實際上完成壓縮操作。
在MDH數據的情況下，只使用一個DCT來在最高解析度級別上生成公共掩模。通過向下採樣來得到低解析度級別上的其他掩模。圖7闡述從區域公式化階段開始的通過基於區域的數據表的編碼的數據流動。此過程稱為算法A50，它是一個自底向頂的區域階層形成方法並且包括以下步驟(1)計算H1=max{LH1,HL1,HH1},即對於k=1至N:H1[k]=max(LH1[k],HL1[k],HH1[k])；(2)將區域形成方案用於公共重要性掩模H1上以便獲得一個分區掩模M1。
(3)將低通濾波器用於DCT變換過的掩模M1上以便獲得M1′(4)將M1′向下採樣以便在較低解析度級別上獲得掩模M2,M3,…,ML(見下面的算法A51)(5)將掩模{M1′,M2,…,ML}加於相應的係數層上以便將MDH分段為各區域。
在以上步驟(3)之後，使用算法A51來完成過程以便將最高解析度級別(M1)處的掩模轉換後用於較低解析度級別，如圖8中所闡述。
算法A51掩模向下採樣假設theta1＞theta2＞theta3。假設M1中的區域都標上theta值。
For(I=2,3…,b)For(Mi的所有x和y)Mi(x,y)=max{Mi-1(2x,2y),Mi-1(2x,2y+1),Mi-1(2x+1,2y),Mi-1(2x+2,2y+2)}
雖然有其他方法用於獲得較低解析度級別上的掩模，但上面給出的向下採樣算法(A51)精確地保留不同解析度級別上的區域形狀。還有，以上算法在計算上是有效的。
再參照圖1，現在數據已經通過多解析度分解以及區域公式化和編碼兩者。在此階段中已經根據數據的圖形內容將數據重新組織，雖然區域分段過程在所有方向內保留不同解析度級別上的區域形狀，但它不保留在不同級別和方向的相應的區域內係數值範圍。換言之，在不同解析度級別上和所有方向內繼承了關係R，但一般而言並不能精確地保留順序V。漸進式分類的任務是為所有區域通道重新建立順序V。
數據的漸進式分類的第一步是對由區域形成和編碼所生成的區域進行掃描。當掃描這些數據，當在掃描過程中遇到MDH係數時，就建立它們的相應的表。對於熟悉技術的人很明顯，取決於準備掃描和轉換為線性表的數據的特性，可以通過確定用於掃描區域數據的最佳方法而取得效率。
一般而言，設想兩種掃描順序；線性掃描和基於「區域收縮」原理的掃描。本發明的優選實施例使用軟體開關來確定採用兩個掃描策略中的哪個。這個開關表徵數據的特徵，然後實施合適的策略。
對區域形成和編碼中生成的數據進行掃描的第一方法是每個係數的簡單線性分析和列表。在此策略中，從區域數據的頂部一行的最左位置處開始對係數掃描以及一行一行地繼續下去，一直下至底部一行的最右位置。應用於具體區域的這個策略闡述於圖9(a)中。雖然該線性掃描策略便於實施，但此方法的主要問題是它可能破壞數據所固有的下降或上升順序，從而敗壞最終得到的位流的緊湊性。在山脊地形或類似的輪廓形狀的情況下這的確如此。然而，對於精確模式和緩慢變化的值，線性掃描是相對地有效的。
用於掃描基於區域的係數的第二策略是基於區域收縮原理的。此方法闡述於圖9(b)中並且以算術形式表示於下面的算法A62中。
算法A62輸入標記L，掩模[m][n],inBuf[m][n]；輸出outBuf[N].步驟1K=0；J0=min{J；mask[I][J]=L}；J1=max{J:maxk[I][J]=L}；步驟2While(J0＜=J1)do{步驟2.1For(J=J0；J＜=J1；J++){While((Find I0=left{I:mask[J][I]=L})=true)do{Find I1=right{I:mask[J][I]=L})；Append inBuf[J][I0]to outBuf[K++]；Mask[J][I0]=NIL；If(I1＜＞I0){Append InBuf[J][I1]to outBuf[K++]；Mask[J][I1]=NIL；}}}步驟2.2(Update J0 and J1.)J0=min{J:mask[J][I]=L}；J1=max{J:mask[J][I]=L}；}圖10進一步闡述區域收縮過程。對於很多情況例如山脊地形，區域收縮的掃描方法可以有效地和高效率地保留數據的幅值數量級。
無論使用何種掃描順序來產生區域R的線性表L,總是需要進行分類以便建立順序V。在本發明中，採用的方法是部分地按照順序上升至領先1曲線的級別。因此，給定一個表L={C1,C2,Cm}，即分解係數所生成的表，就實施以下漸進式編碼算法
算法A620。漸進式分類步驟1對於L中的每一項Ci，輸出第n個msb(Ci)；步驟2對於具有msb=1的項目，輸出跟隨於msb之後的值，並且將它們從L中取消步驟3使n=n-1並回至步驟1此算法部分地而不是全部地將表「L」分類直至2的冪次。它的漸進式過程的含意在於可在任何給定點將輸出數據截尾但卻使解碼器收到最有價值的信息。最後，它並不擴展表L為得到L的完全的無損失的分類，分類輸出的總長度與L相同。
當許多項目都具有很小值時，算法A620將遇到效率不高的問題。在此情況下，使用相當多數量的位束來記錄每個項目的二進位表示中領先1之前的0。以下算法確定和使用閾值「b」來將這些低值係數與具有較高值的係數分離，從而改進此性能。
算法A621雙分區漸進式分類步驟1對於預定的0＜=b＜=n ，為L中的每一項Ci檢查是否｜Ci｜＜2b，將那些具有大於閾值的值的項目輸出至L1以及那些具有較小值的項目輸出至L2；步驟2對於L1中的那些項目使用算法A620，從n開始；步驟3對於L2中的那些項目使用算法A620，從b開始；對漸進式分類有兩個基本要求。(1)當將分類過程的輸出位流解碼時，它應該按照V的下降順序產生數據。(2)當在任何點處將位流截尾從而只將部分數據重建時，應該在重建數據中使信息量最大。
平均信息量編碼再參照圖1，可以看出系統中的下一個階段是數據的平均信息量編碼。平均信息量編碼是數據壓縮技術中熟知的一個無損失方法。它是基於二進位代碼的固有特性和類似數據串的重複性的。它是基於預測方法的。在本發明中，由於從本發明的漸進式分類中所得兩種數據類型的統計學特性不同，已經使用兩種不同平均信息量編碼方法。類型B數據是用於形成領先1曲線的數據，而類型A數據是用於在領先1曲線之下的精確區段中的所有數據的。這可從圖中看出。
多路復用編碼系統中的多路復用和解碼系統中的多路分解這一對功能向編碼器和解碼器提供交互手段，用於對壓縮圖像的位率和質量提供靈活控制。
位束控制中的交互性由以下事實反映出來編碼器和解碼器兩者都可對位束的確定和定位過程進行控制。多路復用器確定和使用一個基本位束(BBB)來確定壓縮位流的總位數。在多路分解過程中，使用一個解碼位束(DBB)來在解碼前進一步選擇性地刪節位流。
多路復用器的功能闡述於圖12中，它包括(1)給定用於將整個圖像編碼的基本位束(BBB)後，確定每個解析度級別和區域通道的位束。
(2)將來自不同通道的數據交織成單個位流。在截尾之後，把來自不同區域、方向和解析度級別的分類的、截尾的數據打包以便產生最終位流。闡述於圖11中的用於將數據打包的預設順序是a．在不同解析度級別處從最低解析度至最高解析度將數據打包，即其順序為級別5-＞級別4-＞級別3-＞級別2-＞級別1。
b．在每個解析度級別內，對三個方向不規定優選順序。預設順序是按照順序HL-＞LH-＞HH來掃描數據。
c．在給定的解析度級別的具體方向內，從最高區域標記向最低標記掃描區域。
在已經建立了壓縮位流之後，本發明的優選實施例設想一個解碼過程，能夠用於重建圖像。取決於位束和在建立壓縮位流期間所採取的步驟，可以使用針對初始圖像數據的完全保真度來恢復原始圖像，或者選代地稍微損失些信息。
作為本系統的編碼側的多路復用器的補充，在本發明的解碼側包括了一個多路分解部件，它在圖13中得到闡述。本發明的優選實施例的附加特徵是用戶能夠在系統的解碼端確定他們自己的位束以及可能使用任意的確定值來將數據截尾。此「解碼位束」是在多路分解步驟之前確定的並且闡述於圖10中。
圖14闡述本系統的解碼側的其餘部分。對於極大部分而言，該解碼過程只簡單地是系統的編碼側出現的步驟的逆步驟。
多路分解器的功能(圖14)是(1)將壓縮位流拆包為單獨的數據表；及(2)使用解碼位束(DBB)來將數據表截尾。為向應用提供以空間區域、空間解析度、像素精度和空間方向表示的全色譜規模可變性，設計了一組位束控制方案。
可以在不背離權利要求書中定義的本發明範圍的情況下對本發明實施例作出不同變動、修改和調整。
權利要求
1．一種基於區域的、用於將數字靜態圖像編碼和解碼從而產生規模可變的內容可訪問的壓縮位流的方法，包括以下步驟將初始圖像數據分解和排序為多解析度子圖像階層；確定感興趣區域；定義一個用於識別感興趣區域的區域掩模；為感興趣區域將區域掩模編碼；確定隨後解析度級別的區域掩模；及根據多解析度係數的幅值將區域數據掃描和漸進式地進行分類。
2．權利要求1中定義的方法，其中多解析度子圖像階層在小波變換的基礎上組成。
3．權利要求1中定義的方法，其中多解析度子圖像階層在基於福裡哀的變換的基礎上組成。
4．權利要求1中定義的方法，其中多解析度子圖像階層使用初始圖像數據組成。
5．權利要求1中定義的方法，其中通過自動化過程來確定感興趣區域。
6．權利要求1中定義的方法，其中通過用戶定義來確定感興趣區域。
7．權利要求1中定義的方法，其中在福裡哀變換的基礎上將區域掩模編碼。
8．權利要求1中定義的方法，其中在小波變換的基礎上將區域掩模編碼。
9．權利要求1中定義的方法，其中以線性方式掃描基於區域的數據以便建立多解析度係數表。
10．權利要求1中定義的方法，其中使用區域收縮協議來掃描基於區域的數據以便建立多解析度係數表。
11．權利要求1中定義的方法，其中使用漸進式部分分類規範將多解析度係數表分類。
12．權利要求1中定義的方法，其中使用漸進式分類規範及使用在預定分區基礎上劃分的數據將多解析度係數表分類。
13．權利要求1中定義的方法，還包括使用軟體開關來確定平均信息量編碼的最佳方法的步驟。
14．權利要求1中定義的方法，還包括使用多路復用協議把來自不同區域和解析度通道的壓縮數據組合為一個集成的位流從而允許編碼器和解碼器兩者都能選擇性地和交互地控制位束和壓縮圖像質量的步驟。
15．一種用於對數字靜態圖像進行基於區域的編碼和解碼以便產生一個規模可變的內容可訪問的壓縮位流的設備，該設備包括用於將初始圖像數據分解和排序為多解析度子圖像階層的裝置；用於確定感興趣區域的裝置；用於定義一個用於識別感興趣區域的區域掩模的裝置；用於為感興趣區域將區域掩模編碼的裝置；用於確定隨後解析度級別的區域掩模的裝置；及根據多解析度係數的幅值將區域數據掃描和漸進式地進行分類的裝置。
16．權利要求15中定義的設備，其中使用小波變換來組成多解析度子圖像階層。
17．權利要求15中定義的設備，其中使用基於福裡哀的變換來組成多解析度子圖像階層。
18．權利要求15中定義的設備，其中使用初始圖像數據來組成多解析度子圖像階層。
19．權利要求15中定義的設備，其中通過自動化過程來確定感興趣區域。
20．權利要求15中定義的設備，其中由用戶來確定感興趣區域。
21．權利要求15中定義的設備，其中使用福裡哀變換將區域掩模編碼。
22．權利要求15中定義的設備，其中使用小波變換將區域掩模編碼。
23．權利要求15中定義的設備，其中以線性方式掃描基於區域的數據以便建立多解析度係數表。
24．權利要求15中定義的設備，其中使用區域收縮協議來掃描基於區域的數據以便建立多解析度係數表。
25．權利要求15中定義的設備，其中使用漸進式部分分類規範將多解析度係數表分類。
26．權利要求15中定義的設備，其中使用漸進式分類規範及使用在預定分區基礎上劃分的數據將多解析度係數表分類。
27．權利要求15中定義的設備，它在確定平均信息量編碼的最佳裝置中使用軟體開關。
28．權利要求15中定義的設備，還包括用於把來自不同區域和解析度通道的壓縮數據組合為一個集成的位流從而允許編碼器和解碼器兩者都能選擇性地和交互地控制位束和壓縮圖像質量的多路復用裝置。
29．一種基於區域的、用於對數字靜態圖像進行編碼和解碼以便產生一個規模可變的內容可訪問的壓縮位流的系統，包括以下步驟將初始圖像數據分解和排序為多解析度子圖像階層；確定感興趣區域；定義一個用於識別感興趣區域的區域掩模；為感興趣區域將區域掩模編碼；確定隨後解析度級別的區域掩模；及根據多解析度係數的幅值將區域數據掃描和漸進式地進行分類。
全文摘要
公開了一種用於對數字靜態圖像進行編碼和解碼以便產生一個規模可變的基於內容的可以隨機地訪問的壓縮位流的基於區域的系統、方法和體系結構。根據本系統,將初始圖像數據分解和排序為多解析度子圖像階層。然後確定感興趣區域。定義一個用於識別感興趣區域的區域掩模並且將它編碼。然後根據多解析度係數的幅值將這些數據分類以便產生規模可變的基於內容的可以隨機地訪問的壓縮位流。
文檔編號H04N1/413GK1316161SQ99810425
公開日2001年10月3日 申請日期1999年7月15日 優先權日1998年7月15日
發明者王孟, 學東·楊, 利·曲, 布倫特·西蒙 申請人:數字加速器公司