使用pixon方法的圖像壓縮和解壓縮的製作方法

2023-05-29 16:05:16 2

專利名稱：使用pixon方法的圖像壓縮和解壓縮的製作方法
使用PIX0N方法的圖像壓縮和解壓縮 相關申請 本申請要求於2007年4月25日遞交的第60/914， 030號美國臨時申請的優先權，
其全文以參考的形式併入本文。
背景技術：
在許多軍事、通訊和安全應用中，可取的做法是壓縮圖像數據以減少用於傳輸圖 像數據的無線要求和基於網絡的系統對帶寬的要求。通過減少這些圖像相關的數據量，所 需的存儲空間量也可減少，從而可在一個磁碟上存儲長的圖像序列。 使用最廣泛的圖像壓縮方法有JPEG、MJPEG、MPEG和H. 264，這是基於塊的技術。這 些方法實施為採用離散餘弦變換(DCT)來變換原始圖像，然後量化變換係數。DCT根據對 圖像視覺質量不同方面的重要性而將圖像分成部分(或光譜分帶)，從空間域到頻域變換 圖像。要解壓縮這些圖像，最商業化的硬體和軟體實現採用逆DCT方式。為了實現大量壓 縮，塊變換編碼一般是有損耗的，這意味著圖像信息在壓縮過程中將被永久丟失，因此，原 始圖像不能從壓縮版本完美重建。在壓縮和解壓過程中，與變換有關的8X8的子圖像塊矩 陣往往產生圖像塊偽像，其中的編碼塊輪廓作為從一個圖像塊到另一個圖像塊的不同變換 被疊加在圖像上。當壓縮量低時，信息的損失是輕微的和無可非議的。但是，在更高的壓縮 級別，信息丟失變得日益明顯，並有明顯的偽像發生，偽像與編碼塊屬性和對DCT係數量化 有關。JPEG嘗試利用人類視覺某些特性，對色彩細節的感知要比對亮度的感知弱少，因此， 對較大圖像塊採用色度編碼比亮度編碼多。這項技術在高壓縮時導致更多的偽像。因為每 個子塊(每塊)是獨立處理，圖像數據中連接相鄰模塊的關鍵部分經常被丟失，多餘的邊緣 和不連續性在塊邊界出現。 除了塊偽像外，因為轉換數據被量化，信息被丟失等，導致該塊內容不能精確恢 復。這些"蛟式偽像(mosquito artifact)"或"環紋(ringing)"，作為光環或暈出現在物 體周圍。 大量自適應濾波方法已經被開發出來，用於降低塊偽像和環紋。在Yu的第 6636645號美國專利、Le Dinh的第7076113號美國專利和Andersson的第7136536號美國 專利中提供了這些方法的一些實施例。雖然這些濾波方法已成功地減少了偽像，但是在某 些情況下，可能添加額外的特徵(偽像)，或丟失數據。 在第5912993號和第6895125號美國專利(作為參考併入本文)中公開的PIX0N 方法最初用於圖像重建。相對於其他的方法，在這些申請中？1乂(^@方法提供了優越的性 能，提供重建圖像增強的空間解析度和降低偽像。這些好處可以追溯到？1乂(^@方法用於重 建圖像的最低複雜性模型。 PIXON⑧圖像重建方案建立了其最低複雜性模型，該模型通過一個假擬圖像 (pseudo-image)與具有空間變化的尺寸和形狀的？^(^ 內核的巻積表達重建圖像。"最低 複雜性"的含義是上下文相關的。當一個人試圖建立一個最低的複雜性假說(模型)，解答 關於數據(上下文)的某些問題，最低的複雜性假說(模型)的含義是，對這些問題的最少 的答案信息。在圖像的情況下，由於關心的問題通常是(a)對象是什麼形狀；(b)對象處在
5什麼位置，和(c)發光通量密度是多少等。最低的複雜性模型(最少信息假設)是與數據相一致的最平滑的圖像。這種最平滑的圖像在關於物體的形狀、其確切位置和通量密度方面提供的最少的信息是儘可能分散的。因此，可以確保的是，對於這些問題，數據將不會被過度解釋。這種模式還可以自動消除重建偽像，並且，由於偽像水平被最大限度地減少而提高靈敏度和解析度。 在PIXON⑧方法中，假擬圖像和PIXON②內核被允許在像素對像素的基礎上變換。雖然這種通過使相鄰像素密切相關(他們不再是獨立的數字)的方法顯著減少重建圖像信息，但該方法在圖像壓縮方面的效果是相反的，這是因為對於每一個圖像，不僅必須在每個像素指定假擬圖像，而且必須在多種PIXON②內核進行選擇。換句話說，直接寫下圖像比描述獲得圖像的方法更加簡潔。因此，相對於寫下圖像本身，這種用來簡化圖像描述而選擇描述圖像的語言是沒有用的。 然而，鑑於PIXON⑧方法在圖像重建方面的卓越性能，將需要調整？^(^ 方法以在圖像壓縮和解壓使用。本發明是針對這樣的方法。
^(^ 方法的最小複雜度圖像模型被用於圖像壓縮和解壓縮操作中。在數據壓縮領域中，通常有強而有損耗與中等和無損耗壓縮之間的區別。？^(^ 方法可用於對用工業標準壓縮方法(例如JPEG、MJPEG (運動圖像行業中使用的運動JPEG) 、MPEG和H. 264 (均用於視頻))壓縮的圖像進行解壓縮。？^(^@方法還可擴展至幾乎所有現代圖像壓縮方法。
在本發明的第一方面中，用於對已經使用工業標準壓縮方法壓縮的輸入圖像文件的解壓縮方法涉及將該壓縮圖像文件與多個壓縮平滑測試圖像文件中的每一個進行迭代對比，對圖像內的每個區域(location)，選擇滿足預先確定的擬合優度準則的平滑測試圖像。通過將多個PIXON⑧內核的每一個應用到原始解壓縮圖像文件來生成平滑測試圖像。然後，使用相同的工業標準壓縮方法再次壓縮每個平滑測試圖像文件並逐片段對比原始壓縮圖像。對於圖像內的給定的區域，當被壓縮時落入原始壓縮圖像文件的擬合優度準則的規定容差內的最平滑的平滑測試圖像被標識為對應圖像中的那個區域的期望的解壓縮圖像。對於每個區域，選擇能夠滿足規定的容差的尺寸最大的內核以避免因過度平滑導致的信息丟失。使用所選擇的平滑測試圖像的相應的像素按區域來組合所生成的解壓縮圖像。然後，將解壓縮圖像下載到顯示器或存儲器設備。 在本發明的另一方面中，提供了 一種對最初用已知壓縮技術壓縮的圖像進行解壓縮的方法，包括以下步驟將原始壓縮圖像文件輸入到處理器，該原始壓縮圖像文件具有對應於圖像數據的多個區域，該處理器具有存儲器和儲存在該存儲器中的用於執行？^((^ 方法的軟體；通過將多個不同尺寸的PIXON⑧內核迭代應用到開始圖像的每個區域，並首先應用多個？^((^ 內核中的尺寸最小的內核，在解空間中生成多個平滑測試圖像；使用已知的壓縮技術壓縮每個平滑測試圖像，以及確定壓縮平滑測試圖像對原始壓縮圖像文件的每個區域的擬合優度；對於每個區域，選擇具有滿足預先確定的擬合優度準則的、尺寸最大的內核的平滑測試圖像；以及輸出所選擇的平滑測試圖像作為用於在顯示設備上顯示的優化的解壓縮圖像。
在本發明的另一方面中，一種用於使用？^(^ 方法解壓縮圖像的方法包括將具
發明內容有對應於圖像數據的多個區域的原始壓縮圖像文件輸入到處理器中，其中該圖像文件最初用工業標準壓縮方法壓縮，該處理器具有存儲器和儲存在該存儲器中的用於解壓縮圖像並執行PIX0N^方法的軟體；使用相應的工業標準解壓縮方法解壓縮原始壓縮圖像，以產生原始壓縮圖像數據文件；使用從多個不同的內核中選擇出的最小的內核平滑原始解壓縮圖像，以產生第一候選圖像；使用工業標準壓縮方法壓縮第一候選圖像；對比第一壓縮候選圖像和原始壓縮圖像文件，以確定原始壓縮圖像文件內的多個區域中的每一個區域上的擬合優度在預先確定的容差內；在擬合優度處於預先確定的容差內的每個區域上，接受第一候選圖像，而在所有其他區域，保持原始解壓縮圖像不變；對多個不同內核中的每個剩餘內核，重複平滑和對比的步驟，以產生多個不同的候選圖像，其中在每次迭代後，在擬合優度處於預先確定的容差內的每個區域上，接受相應的候選圖像，而在所有其他的區域，保留先前的候選圖像，以及其中在最後迭代之後，保留生成的解壓縮圖像；將生成的解壓縮圖像存儲到存儲器中；以及將生成的解壓縮圖像輸出到諸如計算機監視器、圖像顯示器或印表機的顯示設備。 在上述實施方式中，解空間包括可通過平滑原始工業標準解壓縮圖像獲取的候選圖像。在可選的實施方式中，使用由PIXON⑧內核的集合平滑的假擬圖像組成的泛PIXON⑧圖像模型創建更大的解空間。通過找出圖像內的每個像素上的最廣的PIXON②內核以及將GOF最小化的假擬圖像的組合來生成PIXON⑧映射，該PIXO,映射由待被用在圖像的每個像素處的？^((^ 內核的集合組成。可選地，對假擬圖像的優化可通過以下方式進行在維持？^(^ 內核不變的條件下，使用共軛梯度法最小化擬合優度，然後在假擬圖像不變的條件下，最大化？^(^@內核的寬度。迭代這兩步進程直到達到假擬圖像和？^(^ 映射收斂。可使用所屬領域所熟知的諸如單純性算法的其他多維優化方法。 相對於對工業標準解壓縮圖像平滑來說，該迭代進程的一個優點是，平滑處理不會引入壓縮數據中不包含的圖像內容，其僅消減結構信息。由於需要額外的圖像信息以產生與數據一致的最簡單的模型，根據迭代的實施方式，對假擬圖像和PIXON^映射的同步優化可引入壓縮步驟中丟失的空間結構信息。 在另一實施方式中，使用？^(^ 方法構建基於信息的坐標系統以優化壓縮/解壓縮圖像的方法包括將包含圖像數據的圖像文件輸入到處理器和關聯的存儲器中，該存儲器儲存用於執行？^((^@方法的軟體，其中該圖像文件包括對應於圖像數據的多個區域。該方法還可包括執行第一算法，該第一算法利用？^(^@方法識別的數據圖像內的信息密度來計算一個或多個圖像數據點，以生成代表所接收的圖像數據的模型的圖像映射(imagem即)。可執行第二算法，以優化所述一個或多個圖像數據點，包括優化圖像數據點的位置和強度(intensity)，以減少圖像數據點的數量。然後，可再次優化數量減少的圖像數據點，以及確定在對應於接收的圖像數據的區域和所述一個或多個圖像數據點之間的擬合優度，以確保在圖像數據的每個區域上，GOF處在預先確定的容差內。在處在預先確定的容差內的區域上，所述一個或多個圖像數據點可被接受來作為圖像壓縮的候選，而在其他區域，使用所接收的圖像數據的相應的部分。在一種實施方式中，一個或多個圖像數據點包括節點(knot point)。該方法還可包括對所述一個或多個圖像數據點進行編碼，圖像數據點包括待在圖像數據的壓縮中使用的圖像數據點的位置和值。第一算法可包括圖像插值算法，第二算法可包括單純性(或其他)最小化算法。在一些實施方式中，通過對節點之間的圖像強度的線性插值來構建所接收的圖像數據的模型。


本發明的方面、優點和細節，以及其結構和操作，可部分地通過對示例性的附圖的研究而被理解，其中相同的參考數字指的是相同的部件。圖示不一定是按比例繪製，而是重點放在示出本發明的原理。 圖1是用於根據本發明使用？^(^@方法對圖像進行解壓縮的簡化的示例性的控制器模塊的框圖。
圖2是用於使用？^(^ 方法壓縮和解壓縮圖像的示例性的控制模塊的框圖。 圖3是對已經使用工業標準方法壓縮的圖像的通常解壓縮方案的框圖。 圖4是示出了用於已經使用工業標準方法壓縮的圖像的創造性的解壓縮方法的
步驟的流程圖。 圖5是示出了用於已經使用工業標準方法壓縮的圖像的可選的創造性的解壓縮方法的步驟的流程圖。 圖6a和6b是示出了分別使用工業標準解壓縮方法和創造性的？^(^ 解壓縮方法對第一示例圖像文件解壓縮的示例性結果的影像。 圖7a和7b是示出了對第二示例圖像文件解壓縮的示例性的結果的影像，其中，圖7a示出了工業標準解壓縮技術的結果以及圖7b示出了 PIXON⑧解壓縮處理的結果。
圖8a和8b是示出了對第三示例圖像(熱紅外圖像文件)解壓縮的示例性的結果的影像，其中圖8a示出了工業標準解壓縮技術的結果以及圖8b示出了 PIXON^解壓縮處理的結果。 圖9a和9b是示出了對從夜視鏡獲取的第四示例圖像解壓縮的示例性的結果的影像，其中圖9a示出了工業標準解壓縮技術的結果以及圖9b示出了 PIXON⑧解壓縮處理的結果。 圖10是示出了示例性的PIXON⑧圖像壓縮程序的步驟的流程圖。 圖lla-lle示出了用於壓縮輸入圖像(圖lla)的示例性的插值方案中涉及的漸
進步驟。 發明詳述 本文中公開的某些實施方式提供了使用？^(^@方法實現優質圖像壓縮/解壓縮的方法和系統。儘管在本中文將描述本發明的各種實施方式，然而應被理解的是，這些實施方式僅通過實施例的方式示出，並不是限制。因此，這種對各可選的實施方式的詳細的描述不應被理解為限制本發明的範圍或廣度。 為理解本發明的操作，簡要的回顧？1乂(^ 方法的操作是有用的。(見RichardC. Puetter和Amos Yahil的"圖像重建的PIXON方法"，1999年1月17日，其以參考的形式併入本文)。 PIXON②方法立即提供了用於無損和有損壓縮/解壓縮的基礎，原因是，容差是從嚴格於圖像的最低有效位到逐漸寬鬆的容差(逐步降低圖像細節)之間變化的。進一步地，容差度能夠以依賴位置的方式被指定，允許在圖像的不同部分進行不同程度的壓縮/解壓縮。
8
^(^ 方法通過以圖像數據將允許的最大程度對圖像模型進行局部平滑，從而降低圖像中獨立的碎片或？^(^ 元素的數量，來最小化複雜度。在常見的PIX0N^方法的實施中，圖像被用旨在提供平滑的正的內核函數，K，寫作對假擬圖像的積分
I(y) = / dzK(y， z)小(z) 內核函數也可被稱為PIXON⑧內核，其能夠具有空間變化的尺寸和形狀。該技術迭代計算出定義在圖像數據像素網格上的假擬圖像①。該假擬圖像不是真實的圖像，而是被與圖像數據像素網格一起使用來執行生成PIXON^分布和結果圖像所需的數值計算。對非負最小二乘擬合(non-negative least-squares fit)的情況，要求假擬圖像①為正，這消除了圖像I中在尺度上小於K的寬度的波動。該尺度適合於圖像數據。在每個區域上，只要不違反擬合優度，該尺度的尺寸被允許最大程度的增大。不僅能夠通過使用允許多解析度的不同尺寸的內核函數來降低複雜度，而且能夠通過對內核函數的不同形狀進行明智的選擇來降低複雜度。例如，可適合於對絕大部分的天文圖像重建的圓形對稱內核，對具有拉長特徵的圖像(例如，城市的航空圖像)可能並不是最有效的平滑內核。對內核的選擇是通過其來指定圖像模型的"語言"，其應足夠表徵圖像的所有獨立的元素。
用於圖像的解壓縮的？1乂(^@方法可包括同時搜索最廣(最大面積，體積等)的可能的內核函數及其相關假擬圖像值，內核函數及其相關假擬圖像值一起提供對數據的適合的擬合。實際上，搜索的細節可根據使用的？^((^ 方法的特性改變。然而，通常地，一種可選的方式為，給定內核函數的PIXON⑧映射(在每一區域給定對內核的選擇)，求解假擬圖像，然後，給定當前的圖像值，嘗試增大內核函數的尺度大小。所需的迭代次數根據圖像的複雜度改變，而對於絕大多數問題，一對迭代就可足夠。選擇合適的內核的準則是，其GOF和信噪比(SNR)在覆蓋區(footprint)中滿足用戶設置的預設接受條件內的最大PIX0N 內核。如果沒有內核具有合適的GOF，則指定S函數內核，前提是其覆蓋區的SNR足夠高。如果SNR也不滿足規定的條件，則不指定內核。需要注意的是，？^(^@方法所需的5服不一定是圖像數據中的每個像素，而是？^((^ 內核的圖像數據覆蓋區中的整體5服。PIX0N 方法檢測大、低表面亮度特徵與檢測具有高的表面亮度的小特徵一樣有效。在兩種情況下，對特徵的接受或拒絕都是基於用戶選擇的統計顯著性。 考慮到該背景信息，現將參照圖1描述本發明。圖1是可用於實施？1乂(^ 解壓縮方法的示例性的控制器模塊的框圖。在一種實施方式中，控制器模塊可包括接收模塊1002、計算器模塊1008和擬合優度模塊1006。接收模塊1002可被耦合至計算器模塊1008和擬合優度模塊(G0F) 1006，並且被配置為接收包含工業標準解壓縮圖像的圖像文件，其中圖像包括對應圖像數據的多個區域。在絕大多數情況下，該區域將對應像素陣列內的像素或像素塊，但其他索引技術可被用於定義該區域，例如定義包含圖像內的片段陣列的網格。工業標準解壓縮圖像可能源於標準的照相機、攝像機、紅外攝像機、X射線成像儀、雷達成像儀或多個其他成像設備。在根據本發明進行解壓縮之前，該圖像將已經通過工業標準壓縮方案而壓縮為工業標準壓縮圖像(或原始的壓縮數據文件)，例如用於圖像傳輸或在較小大小的文件中存儲該圖像。所接收的工業標準解壓縮圖像可被存儲於與GOF模塊1006和計算器模塊1008通信的存儲設備1004中。解壓縮之後，解壓縮圖像文件可被保存於存儲設備中和/或可被輸出，用於通過顯示設備IOIO(印表機、計算機監視器或其它可視顯示設備)顯示，或與外部設備通信用於進一步的處理。
9
存儲設備1004可包括易失性和/或非易失性存儲器(例如只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)等)，以及一個或多個易失性存儲設備(例如隨機存取存儲器(RAM))。計算器模塊1008包括計算機代碼，該計算機代碼包括執行用於平滑解壓縮的輸入圖像(如下所述)的PIXON^方法的子程序。 圖2是用於根據本發明使用？^(^@方法壓縮和解壓縮圖像的基於計算機的系統中使用的示例性的模塊2000的框圖。模塊2001包括接收模塊2005、第一控制模塊2007、第二控制模塊2008、計算器模塊1008和擬合優度模塊1006。接收模塊2005被配置為接收輸入圖像文件，其包含圖像數據和對應圖像數據的多個區域。計算器模塊1008和/或其相關存儲器(未示出)具有儲存在其中的電腦程式代碼，該電腦程式代碼用於執行生成對應輸入圖像中的信息的密度(density)的PIXON⑧映射的方法。第一控制模塊2007被配置為執行第一算法，該第一算法使用？^((^ 映射以計算一個或多個圖像數據點，來生成代表所接收的圖像數據的模型的圖像映射。第二控制模塊2008可被配置為執行第二算法，該第二算法被配置為優化所述一個或多個圖像數據點，包括優化圖像數據點的位置和強度，以降低圖像數據點的數量。第二控制模塊2008還可被配置為再次優化已降低數量的圖像數據點。如果輸出的目的是查看，則輸出設備2010可以是顯示設備，或者可以是用於將生成的壓縮或解壓縮的圖像文件通信到另一設備的界面或網絡連接。 圖3示出了對已使用工業標準壓縮方法壓縮的圖像進行處理的通常的解壓縮方案的步驟。原始圖像2000可已由標準照相機、攝像機、紅外攝像機、X射線成像儀、雷達成像儀或多個其他成像設備產生。通過廣播、電視、網際網路或其他傳輸裝置傳輸的圖像還可被儲存在光碟或視頻檔案上。通常，由於傳輸大容量的圖像數據的限制，用一些工業標準壓縮方案壓縮圖像或視頻，以獲得壓縮圖像數據(例如，原始壓縮圖像數據文件(0CDF))2002。，從包含使用根據本發明的？^(^@方法生成的多個平滑測試圖像的解空間中選擇一個平滑測試圖像(STI) 2004，以及使用已經在OCDF上使用的相同的工業標準壓縮方案壓縮該平滑測試圖像(STI)2004。對比測試壓縮數據文件(TCDF) 2006與OCDF 2002，以確定原始壓縮圖像數據文件2002的預設容差內的擬合優度。如果測試壓縮數據文件匹配在規定的容差內，則其被選擇作為原始圖像的代表。 圖4是示出了根據本發明的圖像的壓縮/解壓縮的示例性的方法的步驟的流程圖。可以使用諸如參照圖l所述的處理模塊實施該方法的步驟。在這種實施方式中，生成平滑測試圖像的方法首先將工業標準解壓縮圖像輸入到處理模塊1000中。對於高級別壓縮，該解壓縮圖像很可能充滿塊和蚊式偽像。使用PIXON⑧方法平滑這種開始圖像以去除偽像，同時維持原始壓縮圖像數據文件的規定容差內的GOF。如圖4所示，進程開始於步驟3000，其中接收原始壓縮圖像數據文件(OCDF)。在步驟3002中，使用相應的工業標準解壓縮方法對OCDF解壓縮，以產生輸入工業標準解壓縮圖像IDIS。基於該1^，初始化？^(^ 解壓縮圖像，並且在以下步驟中修正該PIXO，解壓縮圖像。在步驟3006中，使用從多個不同的PIXON②內核Ki中選擇的PIXON㊣內核對該輸入的解壓縮圖像進行平滑。在優選的實施方式中，首先採用多個內核中的最小的內核，然而可以使用其它準則來選擇第一個內核來開始這種迭代進程。？1乂(^ 平滑進程涉及用多個PIXON逸內核執行對輸入解壓縮圖像的巻積，以形成多個平滑測試圖像(STI)。下一步驟3008是？^(^@測試，對多個區域，對相應於每一STI的每個TCDF在圖像中的每個區域處的擬合優度進行比較，並且將具有最廣的PIXON^內核和具有仍滿足規定擬合優度容差的TCDF的STI選擇作為每個區域的PIXON 解壓縮圖像。 在圖4中，在步驟3008中，順序執行？1乂(^@測試，每次執行一個？1乂(^ 內核。在該步驟中，使用工業標準壓縮方法壓縮候選的解壓縮圖像，以產生測試壓縮數據文件(TCDF)。可使用各種GOF(擬合優度)優值來確定TCDF是否在OCDF的給定容差內。對於JPEG或MJPEG壓縮圖像，示例性的進程將涉及逐塊基礎上的比較並確定OCDF的量化的DCT圖像數據和TCDF的量化的DCT之間的差的平方之和是否小於規定容差，即，確定下式是否成立
G0F8X8tt=E (OCDF「TCDFi)2《容差 其中每個8X8像素塊的GOF準則被定義為8X8像素塊中全部像素的總和，OCDFi是原始壓縮數據文件的像素i中的量化的DCT值，TCD&是測試壓縮數據文件的相應像素值，以及由容差給出預先確定的容差。目的是當仍滿足圖像中每個8X8像素塊的GOF容差時在每個區域上產生儘可能平滑的平滑測試圖像。 對於使用運動估計以提高壓縮級別的壓縮方案，GOF將不一定基於單個幀，而是將可能包括對多個幀擬合移動目標的好壞。建立有效的GOF準則的具體細節將隨著壓縮方案而改變，並且還將根據具體實施所容忍的計算負荷的量而改變。然而，任何有效的GOF的目標都是測量具體的測試壓縮數據文件與原始壓縮數據文件的匹配程度。
返回圖4的步驟3008，對於滿足GOF準則的像素，平滑測試圖像在這些像素處作為新的？^(^@解壓縮圖像而被接受。對於不滿足GOF準則的像素，？^(^ 解壓縮圖像將維持與通過上一循環的那些像素相同。然後，將平滑的圖像返回到步驟3004，其中，為在步驟3006中對1^進行平滑選擇下一最大內核，通過這種方式，再次處理？^(^ 解壓縮圖像，以確定其是否能夠被進一步地平滑。使用相同的工業標準壓縮方法再次壓縮該平滑測試圖像(STI)，並且在步驟3008中與OCDF相比較以識別滿足GOF準則的像素，並且再次使用STI中通過60 準則的像素來更新？^(^ 解壓縮圖像中的那些像素。在步驟3010中，就所選擇的PIXON 內核族而言， 一旦已經嘗試所有的內核，則？1乂(^@解壓縮圖像就被儘可能地平滑了 ，並且停止進程。然後，生成的PIXON^解壓縮圖像可被輸出到顯示設備、存儲於存儲器中，或傳輸到外部設備用於對解壓縮圖像進行進一步的處理。進一步的處理可涉及諸如執行面部面部識別、圖像分析、圖像併入某種類型的公開，或對解壓縮圖像可能的各種用途。
由？^(^ 解壓縮方案得到的解壓縮的質量將取決於從中選擇平滑測試圖像的解空間的大小。上述進程具有的解空間僅包含能夠通過以依賴位置的方式以不同程度來平滑工業標準解壓縮圖像得到的那些圖像。如果解空間是所有可能的圖像的空間，則生成的解壓縮圖像將是在規定容差內壓縮到原始壓縮圖像數據文件(OCDF)的最平滑的可能的圖像。由於信息通常在壓縮過程中丟失，導致即使在容差被設置為零的條件下，這種圖像將也不是原始素材圖像。儘管平滑測試圖像將比原始圖像更加平滑，由於其將沒有偽像的緣故導致其將比工業標準解壓縮圖像更加接近原始圖像(假定原始圖像沒有偽像)。
在？1乂(^ 解壓縮方法的另一實施方式中，如果使用由PIXON 內核的集合進行平滑的假擬圖像組成的泛PIXON⑧圖像模型，則能夠獲取更大的解空間。生成的解空間是大得多的解空間，但由於使用的是PIXO，內核的有限集合，所以該解空間不會上升至"完全"解空間的級別。如果使用由通過？1乂(^ 內核的集合進行平滑的假擬圖像組成的泛？^(^ 圖像模型，則能夠獲取更大的解空間，即，將平滑測試圖像寫作"'.)= J^O，力)0OMy
K- 其中，對通常的n維圖像，該等式被寫作為對;空間^的體積的積分(對於傳統的
二維圖像，該式是對二維圖像的簡單積分)，0(》是在位置 處的假擬圖像，以及〖6^;)是在像素^處的PIX0N⑧內核(對於一般的假定下的徑向對稱內核，/^;)^《(p,-;l,i,))。通
過找到每個像素處的最廣的？^(^@內核以及將G0F最小化的假擬圖像的組合來獲取假擬圖像和PIX0N逸映射。這能夠通過根據圖5中所示的一般步驟的一定數量的多維優化技術來實現。 在示出的步驟中，原始壓縮圖像文件(0CDF)4000被輸入到用於執行？^(^ 方法的可編程處理器中，並用於初始化？^(^ 映射和假擬圖像(步驟4001)，然後通過一定數量的步驟優化該？^(^@映射和假擬圖像，這些步驟涉及迭代生成壓縮的平滑測試圖像(STI)以及對照0CDF測試該STI。能夠取得對每個位置上選擇的假擬圖像和PIX0N⑧內核進行優化的多種可能的方式中的一種方式為在維持PIX0N②內核不變的同時(步驟4003)，交替地通過將測試壓縮數據文件(TCDF)對OCDF的GOF最小化來對假擬圖像進行優化，然後通過用逐步擴大的內核對每個圖像區域進行平滑，直到無法滿足TCDF和OCDF之間預先確定的GOF容差(PIXON⑧映射計算)(步驟4004)為止，來最大化PIXON⑨內核的寬度。然後迭代這種兩步進程(步驟4002)直到獲得收斂(步驟4006)。對應PIXON戀映射和假擬圖像的收斂的圖像將是原始壓縮圖像文件的最優的解壓縮圖像(步驟4008)。然後，參照以上實施方式所述，可輸出最優的解壓縮圖像。 與識別最佳的擬合平滑測試圖像的第一方法不同的是，識別最優的解壓縮圖像的上述方法無需使用原始解壓縮數據文件來初始化。可選地，PIXON^方法能夠基於零圖像或其它圖像而啟動，以及使用最小可能？^((^ 內核(S函數)開始迭代過程。儘管其可能需
要更多迭代以達到收斂，但結果將仍是最優的解壓縮圖像。 相對於平滑第一實施方式的工業標準解壓縮圖像，這種迭代進程的優點是，由於平滑處理只能消減結構信息而不能引入結構信息，這導致用前者的方法進行平滑不能引入未包含於壓縮數據中的圖像內容。對假擬圖像和PIXO靜映射(在每個像素上使用的合適的PIXON⑧內核的集合)的迭代、同步優化能夠引入壓縮步驟中丟失的空間結構信息。通過PIXON②方法的強大的最小複雜度約束，對壓縮圖像中存在的信息內容進行的優化擬合自動生成包含可能已經因壓縮丟失的信息的圖像模型。 上述？^(^ 解壓縮方案能夠被擴展到廣泛的工業標準壓縮方法。在一些實施方式中，該方法所基於的事實為，用於壓縮原始圖像或平滑測試圖像到其各自的壓縮圖像數據文件的工業標準壓縮方法是任意的。從而，工業標準壓縮方法可以是任何壓縮方法，例如MPEG-2、MPEG-4、M0V、AVI、或H. 264。進一步地，PIX0N⑧測試，即，對測試壓縮圖像數據文件2006到原始壓縮圖像數據文件的GOF的評估與壓縮方法無關。實際上，以上描述的解壓縮方法的所有步驟都與壓縮方法無關。儘管改變壓縮方法改變了如何計算壓縮圖像數據以及可能改變如何使用並優化GOF的細節，但這並不改變對圖像的？^(^ 建模以及對PIX0N 解壓縮圖像的同步優化的整體方法。 圖6-9提供了本發明的PIXON^解壓縮方法應用到不同類型圖像的實施例。
12
圖6a和6b分別提供了對來自電視廣播的MJPEG幀的工業標準解壓縮方法和PIXON頃解壓縮方法的結果對比。 圖7a和7b提供了對由靜態圖像照相機產生的圖像的工業標準JPEG解壓縮(圖7a)對比PIX0N⑧解壓縮(圖7b)的實施例。 圖8a和8b是對最初使用工業標準JPEG壓縮的熱紅外圖像的JPEG和？1乂(^ 解壓縮的結果的實施例。紅外圖像通常被用於熱洩露探測，而偽像和噪聲可幹擾對圖像的精確解譯。 圖9a和9b分別是對由夜視設備產生的圖像的工業標準JPEG解壓縮和PIXON^解
壓縮的結果的實施例，由夜視設備產生的圖像可被用於軍事或執法過程中。 圖10示出了基於圖像插值的PIXO，圖像壓縮進程的步驟。PIXON⑧方法識別圖像
中的信息密度，從而為圖像壓縮提供一般性架構，即，其提供找出用於圖像表達的簡潔和自
然的語言的可能性。為使用？^((^ 方法壓縮圖像，需要一種表達圖像的簡潔的語言，這種
語言不同於對通過PIXON⑧映射中指出的PIXO，內核來平滑的假擬圖像進行表達的語言。
可採用的並在其結構中具有更高隱式信息度的一種可能語言是圖像插值。儘管可使用各種
類型的插值，但作為一個例子，考慮一種簡單的插值方法通過節點之間的線性插值來構建
圖像的模型。可基於？^((^ 映射提供的圖像信息密度選擇節點。可使用多項式擬合的任
何合適的方法在節點之間進行插值，例如三次樣條(例如B-樣條)。如所屬領域所熟知的，
二維(2-D)圖像處理經常使用樣條函數用於插值。可選地，可使用任意曲線擬合(例如線
性或二次擬合)。 —旦已經找到對節點的初始近似，即可利用例如單純最小化算法等算法來對節點進行優化。單純最小化算法可以在跨越所有這些維中的給定維數中推導出最簡單的幾何圖形，例如在二維中為三角形。單純最小化算法構建單純圖形並將一組基本的位移和縮放應用到各個頂點，以在給定的n維空間內移動它們。這些操作持續進行，直到該單純圖形括住了在該空間中定義的某個成本函數(擬合優度或評價函數)的局部最小值。每個位移或縮放之後，在新的頂點位置計算成本函數，以決定將哪個位移/縮放應用到下一步驟以及將其應用到哪個頂點。該技術被順序應用到每個頂點以產生一組新的經優化的節點。
圖10中提供了該進程的步驟的流程。根據本發明，用於壓縮的插值方法開始於輸入待壓縮的原始圖像文件(步驟8000)。使用PIXON吸方法識別原始圖像內的信息密度(步驟8001)並設定由節點數量和位置組成的初始條件。步驟8002是迭代過程的開始點，用於逐步降低節點的數量。在步驟8003中，優化節點位置和強度，使得在圖像的每個區域上，插值的測試圖像(ITI)對原始圖像的GOF被最小化。然後，在步驟8004中，降低節點的數量，直到在圖像的每個區域上，ITI對原始圖像的GOF儘可能的接近預先確定的容差，但不超過預先確定的容差。在步驟8006中，測試新的節點(或相鄰節點)。如果新節點優化滿足GOF準則，則重複步驟8000、8002和8004。如果新節點優化不滿足GOF準則，則選擇前一插值圖像作為？^(^ 壓縮圖像，並且終止進程。然後壓縮圖像可被儲存在存儲器中或與外部設備通信用於傳輸、存儲或其它操作。 圖lla-lle示出了本發明的插值方案應用到廣泛使用的測試圖像"Lena"的實施例。圖lla示出了原始圖像，圖llb示出了節點位置，以及圖llc示出了用於線性三角剖分和插值的插值網格。圖lld和lle分別示出了標準的JPEG和PIXON以大致相同的壓縮率生
13成的圖像。在一些實施方式中，標準壓縮方法能夠被用於編碼節點數據，就其複雜度而言， 這允許使用基於？^(^@方法理念的插值方案以及優化。節點的密度控制圖像信息的密度 並代表？^(^ 映射。 上述圖像插值壓縮方案只是利用對PIXON^方法提供的圖像信息密度的知識的一 種可能的方法。可能的壓縮方法的另一例子將涉及基於量化的DCT (或其它變換)進行壓縮 (如同現今很多方案)，並通過使用對信息密度的知識而按區域來改變量化的等級，由此， 來修改這些方法。為說明這一點，如果使用8X8像素方塊並選擇16個不同的量化矩陣，可 以使用？^((^ 分析確定在每個8乂8像素方塊中哪個量化矩陣是合適的。作為16個8X8 的Q矩陣(或者一個Q矩陣和15個縮放參數)和具有比原始圖像少64倍的4比特圖像， 這種附加的信息相對較小。還可使用其它DCT方塊大小(或方塊大小的組合)以及不同數 量的Q矩陣(或縮放參數)。？^(^@映射還可被用於選擇每個區域上的0(^方塊的合適的 大小。 對使用上述進程生成的壓縮數據文件的解壓縮是直接的。首先，必須解壓縮節點 的位置和強度數據。如上所述，通常將用大量標準壓縮方案中的一個壓縮這些數據為一串 強度值(節點的強度值)和一組空間坐標(節點位置)。 一旦獲得這些數據，根據指定的插 值方案簡單地構建插值圖像，然後停止。與上述只解壓縮的？^((^ 方案不同的是，不執行 優化。從而解壓縮步驟非常快。
^(^@方法提供的圖像信息的密度的信息能夠被以很多方式使用，以修改圖像壓 縮和解壓縮的現有的方法以及設計全新的方法。其可被用於查找用於圖像插值方案的節點 的密度。還可被用於確定基於DCT的壓縮方案的量化等級和方塊大小。對信息密度的了解 是使方案有效以及與沒有？^(^@分析的可能方案相比實現更高的壓縮率的關鍵因素。
PIXON②方法的測量和控制圖像信息密度的能力使其具有在圖像解壓縮和壓縮中 作出重大的進展的能力。最簡單的方案只涉及圖像解壓縮。在這些方案中，用現有的壓縮方 法(例如JPEG、 MPEG、 H. 264)壓縮的圖像能夠通過？1乂(^ 方法解壓縮，以增強對偽像(塊 偽像或蚊式偽像)抵抗力。這將允許相同的圖像或視頻被壓縮為更高的程度，同時仍具有 相同的圖像質量。？^(^@解壓縮還提供了對在壓縮過程中丟失的圖像信息進行恢復的能 力。這種對信息的恢復需要在最簡單的方案上的附加的計算，類似於PIXON⑧方法對在有限 衍射圖像的圖像重建的過程中未包含在數據中的有關空間頻率的信息進行恢復的能力。最 後，？^(^ 方法的原理能夠被用來開發基於最小複雜度圖像插值或圖像信息密度的信息的 其他應用的、全新和高度有效的圖像壓縮的方法。 在電子硬體、計算機軟體或這些技術的組合中實現本發明的各種實現。 一些實現 包括由一個或多個計算設備執行的一個或多個電腦程式。通常，每臺計算機包括一個或 多個處理器、一個或多個數據存儲部件(例如，易失性或非易失性存儲器模塊以及諸如硬 盤和軟盤驅動器、CD-ROM驅動器和磁帶驅動器的永久性光、磁性存儲設備)、一個或多個輸 入設備(例如用戶界面、滑鼠或軌跡球和鍵盤)以及一個或多個輸出設備(例如顯示控制 臺和印表機)。 電腦程式包括通常存儲於永久性存儲介質中以及然後在運行時間拷貝到存儲 器中的可執行代碼。至少一個處理器通過從存儲器以規定的順序獲取程序指令來執行代 碼。當執行程序代碼時，計算機從輸入和/或存儲設備接收數據，對數據執行操作，以及然
14後將生成的數據傳輸到輸出和/或存儲設備。 已描述了本發明的各種示例性的實現。然而，一個所屬領域的普通技術人員將認 識到，額外的實現也是可能的，並在本發明的範圍之內。 因此，本發明不只限於上述的那些實現。所屬領域的那些技術人員將理解的是，連 同上述圖示描述了各種示例性的模塊和方法步驟，以及本文公開的實現經常可以用電子硬 件、軟體、固件或上述的組合來實現。為清晰的示出這種硬體和軟體的互換性，以上通常根 據其功能描述了各種示例性的模塊和方法步驟。這樣的功能是作為硬體還是作為軟體實施 取決於具體的應用以及對整個系統施加的設計限制。技術人員可以對每個具體的應用以不 同的方式實現所描述的功能，但是這種實現決策不應解釋為導致脫離本發明的範圍。此外， 模塊或步驟內的功能分組是為了便於描述。在不脫離本發明的情況下，特定的功能可以從 一個模塊或步驟移到另 一個模塊或步驟。 此外，連同本文公開的實現描述的各種示例性的模塊和方法步驟可以用通用處理 器、數位訊號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列(FPGA)或被設計為執 行本文中所述的功能的其他可編程邏輯設備、分立的門或電晶體邏輯、分立硬體組件，或其 組合來實現或執行。通用處理器可以是微處理器，但可選地，該處理器可以使任何處理器、 控制器、微控制器或狀態機。處理器還可以實現為計算設備的組合，例如DSP和微處理器的 組合、多個微處理器的組合、與DSP核結合的一個或多個微處理器，或任意這樣的配置。
此外，連同本文公開的實現描述的方法或算法的步驟可直接在硬體、由處理器執 行的軟體模塊或兩者的組合中實施。軟體模塊可處於RAM存儲器、快閃記憶體、R0M存儲器、EPR0M 存儲器、EEPROM存儲器、寄存器、硬碟、可移動磁碟、CD-ROM或包含網絡存儲介質的任何其 他形式的存儲介質中。示例性的存儲介質可被耦合至處理器，使得處理器可從該存儲介質 中讀取信息並向存儲介質寫信息。可選地，存儲介質可以與處理器成為一體。處理器和存 儲介質還可處於ASIC中。 對所公開的實現的以上描述被提供來使所屬領域的技術人員能夠製造或使用本 發明。這些實現的各種修改對於所屬領域的技術人員將是明顯的，以及在不脫離本發明的 精神或範圍的情況下，本文描述的一般的原理可以被用於其它實現。因此，應被理解的是， 本文示出的描述和圖示代表了本發明的示例性實現，以及從而代表本發明廣泛考慮的主 題。還應被理解的是，本發明的範圍完全包括其他實現，以及因此本發明的範圍僅受所附權 利要求的限制。
權利要求
一種對最初使用已知壓縮技術壓縮的圖像進行解壓縮的方法，所述方法包括將一原始壓縮圖像文件輸入到一處理器，所述原始壓縮圖像文件具有對應於圖像數據的多個區域，所述處理器具有存儲器和儲存在該存儲器中的用於執行方法的軟體；通過將多個不同尺寸的內核迭代應用到開始圖像的每個區域並且首先應用所述多個內核中的尺寸最小的內核，在解空間中生成多個平滑測試圖像；使用所述已知壓縮技術壓縮每個平滑測試圖像，並確定經壓縮的平滑測試圖像對所述原始壓縮圖像文件的每個區域的擬合優度；對於每個區域，選擇具有滿足預先確定的擬合優度準則的、尺寸最大的內核的所述平滑測試圖像；以及將所選擇的平滑測試圖像作為優化的解壓縮圖像輸出，用於在顯示設備上顯示。F2008800134460C00011.tif,F2008800134460C00012.tif,F2008800134460C00013.tif
2. 根據權利要求1所述的方法，其中通過交替地對假擬圖像進行優化和對PIXON②映射進行優化直至所述假擬圖像和所述PIXON⑧映射收斂為止，來生成所述多個平滑測試圖像。
3. 根據權利要求1所述的方法，其中所述開始圖像是通過使用對應所述已知的壓縮方 法的解壓縮方法來解壓縮所述原始壓縮圖像而獲取的原始解壓縮圖像。
4. 根據權利要求3所述的方法，其中通過使用來自所述多個不同尺寸的PIXON 內核 中的逐步增大的PIXON⑧內核來迭代地巻積所述原始解壓縮圖像，生成所述多個平滑測試圖像。
5. —種對最初用工業標準壓縮方法壓縮的圖像進行解壓縮的方法，所述方法包括 將一原始壓縮圖像文件輸入到一處理器，所述原始壓縮圖像文件具有對應於圖像數據的多個區域，所述處理器具有存儲器和儲存在該存儲器中的用於對圖像進行解壓縮和執行PIXON 方法的軟體；使用相應的工業標準解壓縮方法解壓縮所述原始壓縮圖像，以產生一原始解壓縮圖像 數據文件；用工業標準解壓縮的文件初始化PIXON 解壓縮圖像；使用選自多個不同內核中的尺寸最小的內核來平滑所述原始解壓縮圖像，以產生第一 平滑測試圖像；使用所述工業標準壓縮方法壓縮所述第一平滑測試圖像；對比第一壓縮候選圖像和所述原始解壓縮圖像，以確定在所述原始壓縮圖像文件內的所述多個區域中的每一個區域上的擬合優度在預先確定的容差之內；在擬合優度處於所述預先確定的容差之內的每個區域處，接受所述第一平滑測試圖像作為所述PIXON 解壓縮圖像，而在所有其他區域處，保持所述pixcn^^解壓縮圖像不發生改變；對所述多個不同內核中的每個剩餘內核，執行平滑和對比的步驟，以生成多個不同的 候選圖像，其中，在每次迭代之後，在擬合優度處於所述預先確定的容差內的每個區域上，接受相應的平滑測試圖像作為所述PIXON 解壓縮圖像，而在所有其他區域處，保持先前的PIXON :解壓縮圖像不變，以及其中在最後迭代之後，保留生成的PIXON 解壓縮圖像；將所述生成的PIXON :解壓縮圖像儲存在所述存儲器中；以及將所述生成的PIXON 解壓縮圖像輸出到顯示設備。
6. 根據權利要求5所述的方法，其中所述多個區域包括像素。
7. 根據權利要求5所述的方法，其中所述多個區域包括像素塊。
8. 根據權利要求5所述的方法，其中，對於所述多個內核的所有內核，並行執行平滑和 對比的步驟。
9. 一種從使用已知的壓縮方法壓縮的壓縮圖像文件生成解壓縮圖像的方法，所述方法 包括將一原始壓縮圖像文件輸入到一處理器，所述原始壓縮圖像文件具有多個圖像區域， 每一個圖像區域對應於該圖像文件中的圖像數據，其中，所述處理器與一存儲器通信，該存 儲器中儲存有用於對圖像解壓縮和採用多個不同內核執行PIXON :方法的軟體；使用對應於所述已知的壓縮方法的解壓縮方法解壓縮所述原始壓縮圖像，以產生一原 始解壓縮圖像數據文件；用工業標準解壓縮的文件初始化PIXO^;解壓縮圖像；使用選自所述多個不同內核中的尺寸最小的內核來平滑所述原始解壓縮圖像文件，以 產生第一平滑測試圖像；使用所述工業標準壓縮方法壓縮所述第一平滑測試圖像；對比第一壓縮平滑測試圖像和所述原始壓縮圖像文件，以確定在所述原始壓縮圖像文件內的所述多個區域中的每一個區域上的擬合優度在預先確定的容差之內；對於擬合優度處於所述預先確定的容差之內的每個區域，接受所述第一平滑測試圖像作為所述.PIXON 解壓縮圖像，而在所有其他區域處，保持所述PIXON :解壓縮圖像不發生改變；在所述接受步驟之前或之後，對所述多個不同內核中的每個剩餘內核執行平滑、壓縮 和對比的步驟，以生成多個不同的平滑測試圖像，其中，在每次迭代之後，在擬合優度處於所述預先確定的容差內的每個區域上，接受相應的平滑測試圖像作為所述.PIXON，解壓縮圖像，而在所有其他區域處，保持先前的候選圖像不變，以及其中在最後迭代之後，保留生成的PIXON②;解壓縮圖像；將所述生成的PIXON ;解壓縮圖像儲存在所述存儲器中；以及將所述生成的PIXON②解壓縮圖像輸出到顯示設備。
10. 根據權利要求9所述的方法，其中所述多個區域包括像素。
11. 根據權利要求9所述的方法，其中所述多個區域包括像素塊。
12. —種用於壓縮圖像的方法，包括將包含圖像數據的圖像文件輸入到處理器和存儲器，所述存儲器中儲存有用於執行PIXON :方法的軟體，所述圖像文件包含對應於所述圖像數據的多個區域；執行第一算法，所述第一算法利用由所述PIXON :方法識別的所述數據圖像內的信 息密度來計算一個或多個圖像數據點，以生成表示所接收的圖像數據的模型的圖像映射；執行第二算法以優化所述一個或多個圖像數據點，包括優化所述圖像數據點的位置和 強度，以減少圖像數據點的數量；再次優化數量減少的圖像數據點；在所述圖像數據中的每個區域處，確定對應於輸入圖像數據的區域與所述一個或多個 圖像數據點之間的擬合優度是否保持在預先確定的容差內；在處於所述預先確定的容差內的區域上，接受所述一個或多個圖像數據點作為圖像壓 縮的候選，而在其他區域處，使用所述接收的圖像數據的對應部分；以及通過合併輸入圖像中所有區域處的所接受的圖像數據點來生成壓縮圖像文件。
13. 根據權利要求12所述的方法，其中所述一個或多個圖像數據點包括節點。
14. 根據權利要求12所述的方法，其中所述第一算法包括圖像插值算法。
15. 根據權利要求12所述的方法，其中所述第二算法包括單純性(或其他)最小化算法。
16. 根據權利要求12所述的方法，其中通過對節點之間的圖像強度進行線性插值來構 建所述接收的圖像數據的模型。
全文摘要
提供了一種對最初用已知的壓縮技術壓縮的圖像進行解壓縮的方法。原始壓縮圖像文件由對應於圖像數據的多個區域來界定。通過將多個不同尺寸的PIXON內核迭代地應用到開始圖像的每個區域來創建一組平滑測試圖像，並且從尺寸最小的內核開始應用。使用已知的壓縮技術壓縮每個平滑測試圖像，然後在圖像的每個區域上對比原始壓縮圖像，以確定壓縮平滑測試圖像對原始壓縮圖像文件的每個區域的擬合優度。對每個區域，具有滿足預先確定的擬合優度準則的、尺寸最大的內核的平滑測試圖像被選擇用於解壓縮圖像的給定區域。一種壓縮方法，採用PIXON方法用於對圖像內的節點的優化。優化的節點被用於節點之間的圖像強度的插值。
文檔編號H04N7/24GK101779461SQ200880013446
公開日2010年7月14日 申請日期2008年4月17日 優先權日2007年4月25日
發明者理察·普埃特 申請人:彼科森成像有限責任公司