使用跳躍樣本的圖像處理的製作方法

2023-06-05 14:17:56 4

專利名稱：使用跳躍樣本的圖像處理的製作方法
使用跳躍樣本的圖像處理 背景背景技術隨著LCD監視器價格的下降，那些高於或等於每英寸120點的高解析度顯示 器變得越來越普遍。因為解析度的提高，期望增加文本或圖形或一段線稿(line art) 的一行的像素數量，以使得其在屏幕上保持相同大小而不會變小。然而，這通常並 不是個問題。當以較高的解析度顯示文本、線稿或圖像時，通常必需執行其它操作 來增加他它們的清晰度。對於在顯示文本的同一計算機上生成的該文本，在該計算機上增加該文本的 解析度並非是個難題。可使用公知的字體渲染系統來以任何所需的解析度渲染平滑文本，其中某些系統使用了子像素渲染。這些字體渲染系統動態地改善字體顯示分 辨率並改善屏幕可讀性。增大照片的大小通常也並非是個難題。諸如雙線性或雙三 次內插等標準算法能夠相當好地放大照片。然而，有時人們希望顯示並非他們自己生成的文本、線稿或圖形。例如，當 他們經由網際網路獲得文本、線稿、或圖形的位圖時，存在這種情況。例如，在網頁 中，導航欄(navigation tab)和圖形由圖形設計師一次生成，然後作為位圖(像 素矩陣)存儲在伺服器中。當此位圖被發送到客戶端並在隨後使用標準放大算 法放大時，這些文本、線稿或圖形看起來相當糟糕。高對比度邊緣顯得參差不 齊且模糊不清。如本領域中所公知的，參差不齊是人們所見的沿屏幕上的文本 或位形的曲線或其邊緣上的階梯狀效果。另外，人們希望在其高解析度顯 示器上顯示圖標。這些圖標是由圖形設計師以固定大小創建的位圖。用戶希望 在高解析度下觀看這些圖標，但是標準算法使得它們在其尺寸被增加時再次顯得參差不齊且模糊不清。通常，在圖像處理中，出於各種目的，希望計算圖像統計量。在某些情形 中，尤其希望在一較小的滑動窗口上計算統計量，以創建空間連續函數(例如， 較小圖像區域內的最小亮度值)。在後一情形中，常常希望獲得連續統計量 當窗口在離散樣本(即，像素)上滑動時，結果統計量不允許從一個值"跳變"到另一個值，而應當從一個值連續地進行到另一個值。如將在以下所了解到的，這對於在放大應用情形下避免最終結果中的視覺偽像(artifact)尤其重要。用 以在滑動窗上獲得統計量的經典方法將僅考慮包圍在窗口內的離散樣本。然 而，當樣本落在滑動窗口的內部和外部時，統計量將變得不連續。另一種方法 將從窗口中的固定位置(例如，角落和中心)計算統計量。在這些位置處的值 將通過對離散樣本的雙線性內插來獲得。這將提供連續統計量。然而，由於當 僅考慮樣本的雙線性組合時，不再直接使用這些原始樣本，這些統計量將錯誤 地表示原始樣本的值。具體地，最小和最大統計量將是不正確的。概述本發明的跳躍(saltate)樣本圖像增強系統和方法可構建空間連續圖像統 計量。例如，在一個實施例中，構建了確定圖像鄰域或圖像像素的子集的最大 值和最小值的"鄰域最小值/最大值濾波器"。跳躍樣本圖像增強系統和方法構 成一種考慮了精確像素和雙線性混合(blend)像素(以及任選的線性混合像素) 的濾波器。為了創建更高解析度的圖像，使用來自原始源圖像的像素(例如， 源像素)來計算'目標像素'(在原始源圖像的較高解析度版本中的像素)。 在'源像素'之間存在若干'目標像素'。當目標像素(正被進行濾波或正對 其計算統計量的像素)移過該源圖像時，這些精確源像素(以及任何線性內插 樣本)的位置跳越經過該圖像。即，當目標樣本向左或向右移動，則用於計算 目標樣本的樣本的位置跳躍(改變相對於目標樣本的相對位置)。未跳躍的樣本總是相對於目標樣本保持相同的相對位置。使用跳躍樣本使得跳躍樣本圖像 增強系統和方法能夠有效地構建空間連續的最小(或最大)鄰域統計量。不僅 使用精確源像素而且使用作為一個或多個線性或雙線性內插的結果的附加內 插來構建該統計量。在一個實施例中，線性內插樣本是跳躍的。如果選擇精確 跳越樣本、雙線性內插非跳躍樣本以及線性內插跳躍樣本的所有集合來計算統 計量，則所計算出的統計量是空間連續的。在一個實施例中，本發明的跳躍樣本圖像增強系統和方法提供了一種用於 計算圖像統計量的技術，該圖像統計量可用於例如從低解析度圖像生成高分辨 率圖像。 一原始低解析度圖像或位圖被輸入。在一個實施例中，如果該低分辨 率圖像是彩色圖像，則該低解析度圖像通過變換器並分離以提供原始圖像的亮 度圖像(其僅基於亮度的圖像)以及色彩通道數據。在一個實施例中，色彩空間從RGB變換到YIQ，但是也可使用其它色彩空間變換。如果該低解析度圖 像是灰度級圖像，則其可直接用作亮度圖像。亮度圖像通過使用標準放大濾波 器來放大以生成經放大的亮度圖像。例如，本發明的一個實施例使用簡單的雙 線性濾波器，但是也可替代地使用諸如雙三次濾波等更複雜的技術。亮度圖像 的未放大版本還通過最小值/最大值濾波器被處理，這些濾波器確定該亮度圖像 中的鄰域最小值和最大值。此最大值/最小值濾波器還在與放大亮度圖像的相同 的解析度下定義了最小函數和最大亮度函數，並且最小和最大亮度函數兩者都具有空間連續的特性。經放大的亮度圖像以及該經放大的亮度圖像的鄰域最小 值和最大值通過對比度增強模塊被處理，從而基於鄰域亮度的最大值和最小值 來增強該經放大的圖像的每個圖像像素的對比度。這導致了對比度增強的經放 大的亮度圖像。最後，如果原始圖像是彩色圖像，則本發明的跳躍樣本圖像增 強系統和方法採用變換器來組合經增強的輸出像素的亮度和通過用於放大色 彩數據的放大算法生成的色值，從而從對比度增強像素形成高解析度圖像或位 圖。本發明的跳躍樣本圖像增強系統和方法在包括文本、線稿、照片和其它內 容的位圖和圖像中產生陡峭邊緣(sharp edge)。此外，本發明的跳躍樣本圖像 增強系統和方法是極快速且在計算上是高效的。這部分上是由於不採用迭代算 法。另外，可簡單地在快速圖形處理器上實現本發明的跳躍樣本圖像增強系統 和方法。除剛描述的益處之外，根據下文中的詳細描述並結合附圖，本發明的其它 優點將變得顯而易見。附圖描述參照以下描述、所附權利要求書、以及附圖，將更好地理解本發明的具體 特徵、方面和優點，附圖中

圖1是繪出了構成用於實現本發明的示例性系統的通用計算設備的示圖。圖2是繪出了用作本發明的跳躍樣本增強系統的、具有簡化計算和I/O能 力的通用設備的通用系統示圖。圖3繪出了根據本發明的一個實施例的確定圖像統計量的進程的非常一般性的流程圖。圖4是根據本發明的跳躍樣本圖像增強系統的整體框圖。圖5是示出了根據本發明的跳躍樣本圖像增強系統的示例性實施例的操作 的一般性流程圖。圖6是示出了在確定所需圖像統計量時所考慮的局部像素鄰域的示圖。圖7是示出了局部像素鄰域中所考慮的樣本的示圖。圖8是示出了自適應局部對比度增強模塊的亮度轉移函數的曲線圖。圖9提供了通過常規雙線性放大來放大的圖像以及使用本發明的跳躍樣本圖像增強系統和方法獲得的圖像放大的示例。圖10提供了出於在計算機屏幕上對窗口進行縮放的目而使用的本發明的跳躍樣本圖像增強系統和方法的示例性實施例。優選實施例的詳細描述在以下對本發明的優選實施例的詳細描述中，對作為其一部分的附圖作出 參考，並且這些附圖僅作為其中可實踐本發明的示例性特定實施例示出。應當 理解，可使用其它實施例，並且可在結構上作出改變而不背離本發明的範圍。1.0示例性操作環境圖1和圖2示出了可在其上實現本文所述的跳躍圖像增強系統的各個實施 例和要素的合適計算環境的兩個示例。圖1示出了可在其上實現本發明的適當計算系統環境100的示例。計算系統環境100僅是合適的計算環境的一個示例，而非旨在對本發明的使用範圍或功能提出任何限制。計算環境100也不應當被解釋為對示例性操作環境100中所示組件的任一個或組合具有任何依賴或要求。本發明可與許多其它通用或專用計算系統環境或配置一起運行。可適合用於本發明的眾所周知的計算系統、環境和/或配置的示例包括但不限於個人計算機、 伺服器計算機、手持型或膝上型設備、多處理機系統、基於微處理器的系統、機頂 盒、可編程消費電子產品、網絡PC、小型計算機、大型計算機、包括上述系統或 設備的任何種類的分布式計算環境等。如在以下進一步詳細描述的具體跳躍樣本圖 像增強系統實施例還可包括結合通信接口的具有至少一定最小計算能力的設備，包 括例如家用電器、安全系統、照明、傳感器網絡、醫療電子設備、可佩戴計算機、 機器人技術、工業控制、有線或無線通信系統、音頻網絡、分布式計算機、玩具、 遊戲等。可在由計算機執行的諸如程序模塊的計算機可執行指令的通用環境中描 述本發明。通常，程序模塊包括執行特定任務或實現特定抽象數據類型的例程、 程序、對象、組件、數據結構等。也可在其中通過經由通信網絡連結的遠程處 理設備執行任務的分布式計算環境中實踐本發明。在分布式計算環境中，程序 模塊可位於包括存儲器存儲設備的本地或遠程計算機存儲介質中。參看圖1，用於實現本發明的示例性系統包括計算機110形式的通用計算設備。計算機110的組件可包括但不限於處理單元120;系統存儲器130;以及將 包括系統存儲器在內的各種系統元件耦合到處理單元120的系統總線121。系統總 線121可以是若干類型總線結構中的任何一種，包括存儲器總線或存儲器控制器、外圍總線以及使用各種總線架構中的任一種的局域總線。作為示例而非限制，這些架構包括工業標準結構(ISA)總線、微通道結構(MCA)總線、增強型ISA (EISA) 總線、視頻電子標準協會(VESA)局域總線、以及也稱為Mezzanine總線的外設 部件互連(PCI)總線。計算機110通常包括各種計算機可讀介質。計算機可讀介質可以是可由計算 機110訪問的任何可用介質，包括易失性和非易失性介質、可移動和不可移動介質。 作為示例而非限制，計算機可讀介質可包括計算機存儲介質和通信介質。計算機存 儲介質包括以存儲諸如計算機可讀指令、數據結構、程序模塊或其它數據的信息的 任何方法和技術實現的易失性和非易失性、可移動和不可移動介質。計算機存儲介 質包括但不限於RAM、 ROM、 EEPROM、快閃記憶體或其它存儲器技術、CD-ROM、 數字多功能光碟(DVD)或其它光碟存儲、磁帶盒、磁帶、磁碟存儲器或其它磁 存儲設備、或者可被用來存儲所需信息並可由計算機UO訪問的任何其它介質。通 信介質通常以諸如載波或其它傳送機制的已調製數據信號的方式體現計算機可讀 指令、數據結構、程序模塊或者其它數據，並且包括任何信息傳輸介質。術語"已 調製數據信號"是指以在信號中編碼信息的方式設置或改變其特性中的一個或多個 的信號。作為示例而非限制，通信介質包括諸如有線網絡或直接線連接的有線介質、 以及諸如聲波、RF、紅外線和其它無線介質的無線介質。以上的任何組合應當也 可被包括在計算機可讀介質的範圍內。系統存儲器130包括諸如只讀存儲器(ROM) 131和隨機存取存儲器(RAM) 132的易失性和/或非易失性存儲器形式的計算機存儲介質。包含有助於諸如在啟動 期間在計算機110內的元件之間傳遞信息的基本例程的基本輸入/輸出系統133 (BIOS)通常被存儲在ROM 131中。RAM 132通常包含可由處理單元120立即訪問和/或當前正操作的數據和/或程序模塊。作為示例而非限制，圖l示出了作業系統134、應用程式135、其它程序模塊131和程序數據137。計算機110也可包括其它可移動/不可移動、易失性/非易失性計算機存儲介質。 僅作為示例，圖1示出了對不可移動的非易失性磁性介質讀寫的硬碟驅動器141、 對可移動的非易失性磁碟152讀寫的磁碟驅動器151、以及對諸如CD ROM或其 它光學介質的可移動的非易失性光碟156讀寫的光碟驅動器155。可被用在示例性 操作環境中的其它可移動/不可移動、易失性/非易失性計算機存儲介質包括但不限 於磁帶盒、快閃記憶體卡、數字多功能光碟、數字錄像帶、固態RAM、固態ROM等。 硬碟驅動器141通常經由諸如接口 140的不可移動存儲器接口連接到系統總線 121，而磁碟驅動器151和光碟驅動器155通常經由諸如接口 150的可移動存儲器 接口連接到系統總線121。以上所討論以及在圖1中所示的驅動器以及與它們相關聯的計算機存儲介質 為計算機110提供了對計算機可讀指令、數據結構、程序模塊和其它數據的存儲。 例如，在圖1中，硬碟驅動器141被示為存儲作業系統144、應用程式145、其它 程序模塊146以及程序數據147。注意這些組件可與作業系統134、應用程式135、 其它程序模塊136和程序數據137相同或不同。這裡，作業系統144、應用程式145、 其它程序模塊146和程序數據147被賦予不同附圖標記，以便說明至少它們是不同 的副本。用戶可通過諸如鍵盤162和通常稱之為滑鼠、跟蹤球或觸摸板的定點設備 161向計算機110輸入命令和信息。這些和其它輸入設備(未示出)可包括麥克風、 操縱杆、遊戲墊、圓盤式衛星天線、掃描儀等。這些或其它輸入設備常常經由耦合 於系統總線121的用戶輸入接口 160連接到處理單元120，但也可通過諸如並行端 口、遊戲埠或通用串行總線(USB)的其它接口和總線結構連接。監視器191 或其它類型的顯示設備也經由諸如視頻接口 190的接口連接到系統總線121，該視 頻接口可包括圖形處理單元(GPU)和視頻存儲器190。除監視器之外，計算機還可 包括諸如揚聲器197和印表機196的其它外圍輸出設備，它們可經由輸出外圍接口 195連接。對本發明特別重要的是，能夠捕捉一系列圖像193的相機192 (諸如數 字/電子照相機或攝像機、或者膠片/照片掃描儀)也可包括作為個人計算機110的 輸入設備。此外，雖然僅示出一個相機，但是也可包括多個相機作為個人計算機 110的輸入設備。來自一個或多個相機的圖像193經由適當的相機接口 194輸入到 計算機110中。接口 165被連接到系統總線121，由此允許將圖像路由到RAM 132 或與計算機110相關聯的一個或其它數據存儲設備並存儲在其中。然而，注意圖像數據也可從前述計算機可讀介質的任一個輸入到計算機no中而無需要求使用 相機192。出於捕捉音頻數據的目的，音頻記錄器198也可經由音頻接口設備199 連接到計算機。計算機110可工作在使用到諸如遠程計算機180的一個或多個遠程計算機的 邏輯連接的網絡化環境中。遠程計算機180可以是個人計算機、伺服器、路由器、 網絡PC、對等設備或其它公共網絡節點，並且通常包括以上就計算機110所描述 的組件中的許多或所有組件，儘管圖1僅示出了存儲器存儲設備181。圖1中所示 的邏輯連接包括區域網(LAN) 171和廣域網(WAN) 173，但也可包括其它網絡。 這些網絡環境在辦公室、企業範圍計算機網絡、內聯網和網際網路中是普遍的。當用在LAN網絡環境中時，計算機110經由網絡接口或適配器170連接到 LAN 171。當用在WAN網絡環境中時，計算機110通常包括數據機172或在 諸如網際網路的WAN 173上建立通信的其它裝置。或為內置式或為外置式的調製解 調器172可經由用戶輸入接口 160或其它適當的機制連接到系統總線121。在網絡 化環境中，關於計算機110所述的程序模塊或其一部分可被存儲在遠程存儲器存儲 設備中。作為示例而非限制，圖1將遠程應用程式185示為駐留在存儲器設備181 上。應當理解，所示網絡連接僅是示例性的，並且也可使用在計算機之間建立通信 連結的其它裝置。參照圖2，此示圖示出了顯示簡化計算設備的一般性系統示圖。此計算設備通 常可在具有至少某種最小計算能力且有時結合有通信接口的設備中找到，這些設備 包括例如家用電器、安全系統、照明、傳感器網絡、醫療電子設備、可佩戴計算機、 機器人技術、工業控制、有線或無線通信系統、音頻網絡、分布式計算機、玩具、 遊戲機、相機系統等。應當注意在圖2中由虛線或短劃線表示的任何框表示如這 裡所述的簡化計算設備的替代實施例，如以下所述地，這些替代實施例的任一個或 所有可結合貫穿本文獻所述的其它替代實施例來使用。為了使設備能夠用作跳躍樣本圖像增強系統(如在以下進一步詳細描述的)， 該設備至少必須具有某種最小計算能力。具體地，如圖2所示，計算能力通常由處 理單元(多個)210來說明(大致類似於以上參照圖l所述的處理單元120)。圖 2中所述的處理單元(多個)120可以是不同於PC類型計算機的通用處理器單元 的專用(以及廉價的)微處理器，諸如DSP、 VLIW、晶片或其它微控制器等。另外，圖2的簡化計算設備還可包括例如一個或多個輸入設備240 (類似於參 照圖1所述的輸入設備)的其它組件。圖2的簡化計算設備還可包括例如一個或多個輸出設備(類似於參照圖1所述的輸出設備)的其它任選組件。最後，圖2的簡化計算設備還可分別具有可移動和/不可移動存儲260、 270 (類似於參照圖l所述 的存儲設備)和通信接口 230。現在己討論了示例性操作環境，本說明書部分的剩餘部分將專注於體現本發 明的程序模塊的描述。2.0使用跳躍樣本的圖像處理本發明的跳躍樣本圖像增強系統和方法提供了一種用於計算圖像統計量 的技術，該圖像統計量可用於例如從低解析度圖像生成高解析度圖像。如圖3 中所示，該跳躍樣本圖像增強系統提供了向其中輸入圖像或位圖(進程動作 302)的圖像處理操作。系統考慮輸入圖像的給定局部圖像鄰域中的一個或多 個精確源圖像像素(例如，原始圖像的像素)，如進程動作304所示。然後， 計算一個或多個雙線性內插源圖像樣本(使用雙線性內插從源圖像像素來內 插)(進程動作306)。雙線性內插算法的雙線性權重被耦合到目標像素相對 於源像素的位置。任選地，還可計算一個或多個線性內插源圖像樣本，其中線 性內插算法的線性權重被耦合到目標像素相對於源像素的位置(進程動作 308)。通過使用這些精確和內插源圖像像素及樣本，跳躍樣本圖像增強系統 構建了空間連續的圖像統計量(進程動作310)。本發明對圖像鄰域一圖像的 子集一諸如包含16個像素的4x4像素鄰域一進行操作。例如，在一個實施例 中，"鄰域最小值/最大值濾波器"被構建成考慮精確像素以及雙線性混合像素 和線性混合像素。隨著目標像素移過源圖像，這些精確像素(以及任何線性內 插樣本)的位置跳躍經過該圖像。這使得系統和方法能構建空間連續的最小(或 最大)鄰域統計量。如果在此實施例的該計算中不使用線性混合像素，則最小 (或最大)鄰域統計量可能並非完全空間連續。然而，即使在未使用線性混合 像素時，所計算的鄰域統計量也比僅使用精確樣本更呈現連續性。2.1系統概述圖4中示出了根據本發明的跳躍樣本圖像增強系統400的一個實施例的通 用示例性整個系統的示圖。原始的低解析度圖像或位圖402被輸入。在一個實 施例中，該低解析度圖像或位圖402是彩色圖像。在該實施例中，低解析度圖 像402通過變換器404分離成提供亮度圖像(其僅基於亮度的圖像)406和一個或多個色彩通道圖像(其僅包含原始圖像的色彩通道數據)408。在一個實 施例中，色彩空間從RGB變換到YIQ。但是，也可使用其它色彩空間。如果 低解析度圖像是灰度級的，則無需變換器404，並且原始圖像402可用作亮度 圖像406。亮度圖像406可通過使用標準放大濾波器410來放大以生成放大亮 度圖像412。例如，本發明的一個實施例使用簡單雙線性濾波器，但是也可替 代地使用諸如雙三次濾波的複雜技術。未放大亮度圖像406也通過最小值/最大 值濾波器414來處理，以便在放大該數據的同時確定亮度圖像406中的鄰域最 小值和最大值416。放大亮度圖像以及該放大亮度圖像的鄰域最小值和最大值 通過對比度增強模塊418來處理，從而基於該鄰域亮度最大值和最小值來增強 該放大圖像的每個圖像像素的對比度。這導致了對比度增強的放大亮度圖像 420。最後，如果原始低解析度圖像402是彩色圖像，則本發明的跳躍樣本圖 像增強系統和方法將經增強的輸出像素420的亮度與通過常規放大濾波器422 放大的色值相組合，並且使用色彩變換器424從對比度增強像素生成高解析度 位圖426。如果原始低解析度圖像402是灰度級圖像，則經增強的輸出像素420 可直接用作高解析度位圖426，而無需色彩變換器424。2.2操作方法的概述通常，如圖5中所示，跳躍樣本圖像增強系統的一個實施例按如下進行操 作。原始位圖被輸入(進程動作502)，並被分離成亮度圖像和色彩通道數據 (進程動作504)。亮度圖像被放大以形成放大亮度圖像(進程動作506)， 並且色彩通道數據也被放大(進程動作508)。未放大亮度圖像也通過最大值/ 最小值濾波器來處理，以獲得局部圖像鄰域最小值和最大值(進程動作510)。 此處理得到放大圖像的鄰域最大值和最小值。基於所確定的經放大的局部最小 值和最大值來對放大亮度圖像的每個圖像像素執行對比度增強(進程動作 512)。最後，本發明的方法將對比度增強的輸出像素的所有亮度與經放大的 色值組合，以從對比度增強像素生成高解析度位圖(進程動作514)。2.3原始圖像的放大如上所述，在一個實施例中，本發明的跳躍樣本圖像增強系統的一個步驟 是輸入原始圖像或位圖、將其變換成亮度圖像和色彩數據、然後將其放大。在 一個實施例中，此放大通過對亮度圖像和色彩數據應用標準雙線性放大算法來執行，以生成期望解析度的放大圖像。其它實施例使用諸如雙三次內插的各種 其它常規算法來放大亮度圖像和色彩數據。2.4應用濾波器最小值/最大值濾波器定義了在與放大亮度圖像相同的解析度下的最小值 函數和最大亮度函數，並且具有空間連續的特性。此濾波器按如下來實現。參 照作為示例的圖6，系統和方法總共收集16個樣本604，以估算輸出(放大圖 像)中的目標樣本602處的最小值/最大值函數。然後，對一組16個樣本的像 素604進行計算。在這16個樣本中，僅四個為最靠近的原始圖像樣本。剩餘 12個樣本是對該輸入的4 x 4像素鄰域的最接近的樣本使用線性或雙線性內插 來獲得的，如圖6中所示。因此，所計算的樣本給定為S6、 S7、 S1Q、 Su、 B,、 B2、 B3、 B4、 L2、 L3、 L4、 L5、 L6、 L7、 L8，如圖7中所示。系統計算這 些內插樣本的最小值和最大值。給定源位置，可組合這16個計算出的樣本以 獲得鄰域中的最小和最大亮度。更具體地，參看圖7，給定目標像素T 702，本發明的一個實施例考慮4x4 像素或圖像鄰域、或者16個源像素S卜.S^ 704，以構建圖像統計量(例如， 目標像素鄰域中的最小和最大亮度)。這裡假定0<=x<=l和0<=y<=l是包含T 的源像素柵格單元內的目標像素T 702的相對坐標(在此示例性情形中，該單 元由源像素Ss、 S7、 S10、 Sll所定義)。參看圖7，例如，跳躍樣本圖像增強系統使用以下值來估算統計量(例如， 最小值或最大值)最靠近T 702的像素處的四個源像素值S6、 S7、 S1Q、 Su。四個雙線性內插像素值B" B2、 B3、 B4。八個線性內插像素值"、L2、 L3、 L4、 L5、 L6、 L7、 L8。具體的雙線性和線性式分別為B, = (l-y)(l-x)S！ + (l-y)(x)S2 + (y)(l-x)S5 + (y)(x)S6，而對於B2、 B3、 B4，類似得B2 = (l-y)(l-x)S3+ (l-y)(x)S4+ (y)(l-x)S7+ (y)(x)S8， B3 = (l-y)(l-x)S9 + (l-y)(x)S10 + (y)(l-x)S13 + (y)(x)S"， B4 = (l-y)(l-x)Sn + (l-y)(x)S12 + (y)(l-x)S15 + (y)(x)S16， L^(l-y)S2 + (y)S6formula see original document page 16隨著目標像素在圖像上移動，線性內插樣本相對於該目標像素跳躍或改變 相對位置。例如，樣本L1的位置總是處於精確樣本S6的上方，從而隨著樣本 T向左或右移動，LI就像S6—樣將隨之跳躍。在本發明的一個實施例中，雙 線性內插樣本不跳躍。換言之，樣本81.34總是相對於目標樣本1處於同一相 對位置；因此，它們不進行跳躍。2.7對比度增強增強對比度用於使圖像銳化，因為最終輸出中的邊緣將具有較大的梯度， 並因此而顯得更尖銳。在一個實施例中，跳躍樣本圖像增強系統通過對每個像 素使用鄰域最小值和最大值來自適應地增強每個圖像鄰域的對比度。通常，自 適應局部對比度增強模塊對放大亮度圖像的每個像素進行操作。它按以下公式進行估算Lformula see original document page 16L'是輸出亮度， L是輸入亮度，Min、 Max是當前像素處的連續最小值/最大值函數，C是0與1之間(較佳值為1)的側重(emphasis)參數。通常，C指定了對比度增強的量級。在一個實施例中，值C4通過實驗來獲得。￡=1(^是較小的常數，以便避免在均勻的亮度的區域中除以零。圖8中示出的曲線圖示出了作為輸入亮度L的函數的輸出或增強亮度L'的典型行為。可看到，偏亮的像素值變得更亮，而偏暗的像素變得更暗。因而，圖像鄰域像素的對比度使用該函數來自適應地增強。在放大亮度圖像是使用濾波器而非雙線性內插，例如使用雙三次內插來獲得的情形中，則可能存在這種情況輸入亮度(412)可能落在範圍[Min,Max] (416)之外。在其濾波器內核中包括負權重的任何濾波器(類似雙三次內插) 可具有該行為。在此情形中，跳躍樣本圖像增強系統在418內修改所計算出的 最小值和最大值，使得它們的範圍也包括L。此修改的效果在於，如果放大亮 度落在局部計算出的最小值/最大值範圍之外，則對比度增強的亮度L' (420) 無變化，S卩，其等於L。(可注意如果L-Min或L-Max，則以上公式簡單地 給定L，-L)。2,8從對比度增強的像素生成髙解析度位圖最後，本發明的系統和方法將對比度增強的輸出像素的所有亮度和經放大 的色值組合，以生成最終的增強圖像。換言之，本發明的跳躍樣本圖像增強系 統和方法不對色彩信號而僅對亮度信號進行對比度增強。3.0示例性實施例可以多種方式來使用通過本發明的系統和方法所計算出的圖像統計量。3.1圖形處理單元上的單道光柵化(single rasterization pass)本發明的跳躍樣本圖像增強系統和方法的一個示例性實施例被實現為圖 形處理單元(GPU)(在運行環境中，使用NVIDIA GeForce 6800 Ultra)上 的單道光柵化。主要用於2-D圖像處理和3-D圖像渲染應用的GPU通常是個 人計算機或遊戲控制臺的顯卡的微處理器。其通常為具有經集成的變換、光線 處理、三角形設定/剪切、和渲染引擎。它在每次3D場景被重新繪製時創建光 線效果和變換對象。這些是數學密集型任務，這將對CPU造成相當的壓力。減 輕CPU的這些負擔釋放了可用於其它作業的周期。光柵化是將圖元變換成二維圖像的過程。此圖像的每個點包含諸如色彩和 深度的信息。因而，對圖元進行光柵化包括兩個部分。第一是確定該圖元佔據 窗口坐標中哪些方形整數柵格。第二是將色彩和深度值分配到每個這樣的方 形。這可通過稱為'著色器(shader)'的程序來實現。在跳躍樣本圖像增強 系統和方法的單道光柵化實施例中所用的著色器程序是"像素著色模型2.0著 色器程序"，並且使用63個算術指令和17個紋理讀取(texture read)。它能夠以73幀/秒來填充1600x1200的窗口，並且對於所有放大級別(2x到16x)， 該速率是恆定的。在一個實施例中，單道光柵化實現了圖4中所示的整個程序 (從402到406)作為單像素著色器程序來實現。像素著色器程序具有綁定到 輸入圖像402的紋理採樣器，並且將其"渲染目標"綁定到目的圖像426。對 於最有的實現，像素著色器程序將兩個紋理採樣器綁定到輸入圖像402，紋 理採樣器中的一個啟用"最接近採樣"模式，而紋理採樣器中的另一個啟用"雙 線性採樣"式。使用最接近模式的採樣器用於獲取樣本S6、 S7、 SIO、 Sll， 而使用雙線性模式的採樣器用於獲取剩餘的十二個樣本。圖9示出了使用此實施例的結果的示例。如圖9的第一行所示，使用簡單 雙線性放大算法放大四倍的單詞"also (也)"的圖像比使用本發明的跳躍樣 本圖像增強系統對該同一圖像的放大更加參差不齊和模糊不清。類似地，圖9 第二行中的"sign in (籤收)"按鈕在使用簡單雙線性放大時比使用本發明的 跳躍樣本圖像增強系統更加模糊不清，如此行右側所示。圖9第三行中的圖標 在使用本發明的跳躍樣本圖像增強系統放大時也比使用雙線性方法更加清晰。 最後，圖9的第四和最後一行示出了其中的文本使用雙線性放大算法以及使用 本發明的跳躍樣本圖像增強系統放大的窗口。窗口中使用本發明的跳躍樣本圖 像增強系統放大的圖標遠遠比使用雙線性放大算法放大的那些清晰，並且文本 也顯得更好。應當注意本發明的跳躍樣本圖像增強系統和方法還可被實現為GPU上 的多道光柵化。在一個實施例中，第一道光柵化指令讀取輸入(R， G， B)圖 像(402)，而且計算亮度Y (406)並將其存儲到l通道圖像中。然後，第二 道光柵化使用(R， G， B)圖像和Y圖像來執行計算(404、 410、 414、 422、 418、 424)的剩餘步驟。在又一實施例中，所計算出的亮度Y通道並非作為單個圖像存儲，而是被 存儲為連同原始(R， G， B)圖像一道形成4通道(R， G， B， Y)圖像的第 四通道。然後，此4通道圖像通過如前所述的第二道光柵化來處理。當前的大 多數圖像處理系統允許這種4通道圖像格式，該格式有時稱為(R， G， B， A)， 其中A表示a或透明度。3.2窗口縮放實施例使用本發明的跳躍樣本圖像增強系統和方法的一個實施例來提供窗口縮放。在本發明的一個實施例中，在GPU上實現這些。如圖10中所示，各種源 窗口 1002的圖像被輸入到跳躍樣本圖像增強系統1004。跳躍樣本圖像增強系 統大體上參照圖4所述地對每個窗口進行操作，以將窗口縮放成較大尺寸同時 提供較高級別的解析度。 一旦所有窗口被縮放並增強，窗口合成引擎1006就 向計算機顯示器、印表機或任何其它輸出設備合成這些經增強和縮放的窗口。在一個實施例中，本發明的窗口縮放特徵按如下來實現。計算機顯示器被 表示為幀緩衝區，該幀緩衝區是存儲器中存儲顯示器上所顯示的光柵圖像的區 域。合成引擎以某種次序(可能從後往前)來考慮這些窗口。對於此次序中的 每個窗口，將跳躍樣本放大濾波器應用到窗口圖像內容，並且混合結果放大圖 像和幀緩衝區圖像。混合操作可以是替換操作(如果該窗口是不透明的)或內 插操作(諸如線性內插)(如果該窗口是部分透明的)。因而，在剛才所述的 單道光柵化實施例中，放大窗口未被寫入到臨時圖像緩衝區，而是直接被組合 (累積)到幀緩衝區內容中，由此節省存儲器和帶寬。在不包含顯式幀緩衝區而代之以將要顯示的內容逐掃描線地直接寫入到 顯示設備的架構中釆用了一完全不同的實施例。在該第二實施例中，合成引擎 重複通過顯示器的每條掃描線(例如，從上到下)。對於每條掃描線，其確定 窗口與掃描線重疊的子集。然後，其執行跳躍放大濾波器以生成每個窗口與當 前掃描線重疊的行，並以某種可視性次序(諸如從後往前)(可能透明地)組 合這些行。然後，其將掃描線寫入到顯示設備。因而，除實際上幀緩衝區是顯 示器的單掃描線之外，類似於第一實施例，並且對於被渲染的每個顯示幀，此 掃描線掃掠過顯示器(從上到下)。這進一步減小了顯示器系統所需的存儲器 的量。為了示例和描述的目的，已在以上呈現了本發明的描述。其並非旨在窮舉 或將本發明限於所公開的精確方式。此外，應當注意任何或所有前述替代實 施例可以任何期望組合的方式使用，以形成其它混合式實施例。根據以上示教， 許多更改和變化是可能的。本發明的範圍並非旨由詳細說明書來限制，而是由 所附權利要求來限制。
權利要求
1.一種用於從低解析度位圖生成高解析度位圖的方法，包括以下進程動作對圖像放大以形成放大圖像；處理未放大圖像以獲得局部圖像鄰域的高解析度經放大的最小值或最大值函數；基於所述局部最小值或最大值函數對所述放大圖像的每個局部圖像鄰域的每個圖像像素執行對比度增強；以及從所述對比度增強像素生成高解析度圖像。
2. 如權利要求l所述的方法，其特徵在於，所述局部圖像鄰域的所述經放大 的最小值或最大值函數是空間連續的。
3. 如權利要求1所述的方法，其特徵在於，處理所述未放大圖像以獲得所述 局部圖像鄰域的高解析度經放大的最小值或最大值的所述進程動作包括標識一個或多個精確源圖像像素，其中所述源圖像像素是在給定局部圖像鄰域中選擇的；對一個或多個源圖像樣本進行雙線性內插，其中雙線性內插源圖像樣本的雙 線性內插權重被耦合到目標像素相對於所述源像素的位置；以及對一個或多個源圖像樣本進行線性內插，其中線性內插權重被耦合到所述目 標像素相對於所述源像素的所述位置，以尋找所述局部圖像鄰域的所述最小值或最 大值函數。
4. 如權利要求l所述的方法，其特徵在於，處理未放大亮度圖像以獲得所述 局部圖像鄰域的高解析度經放大的最小值或最大值的所述進程動作包括標識一個或多個精確源圖像像素，其中所述源圖像像素是在給定局部圖像鄰域中選擇的；以及對一個或多個源圖像樣本進行雙線性內插，其中雙線性內插源圖像樣本的雙 線性內插權重被耦合到目標像素相對於所述源像素的位置，以尋找所述局部圖像鄰 域的所述最小值或最大值函數。
5. 如權利要求1所述的方法，其特徵在於，所述圖像是彩色圖像，並且其中 對所述圖像放大以形成放大圖像的所述進程動作以下進程動作將圖像變換成亮度圖像和色彩通道數據；對所述亮度圖像放大以形成放大亮度圖像；以及對所述色彩通道數據放大； 以及其中所述處理的進程動作處理所述未放大亮度圖像以獲得局部圖像鄰域的高解析度經放大的最小值或最大值函數；以及其中所述對比度增強的進程動作基於所述局部最小值或最大值函數來對所述放大 亮度圖像的每個局部圖像鄰域的每個圖像像素執行對比度增強；以及其中所述高解析度圖像生成的進程動作從所述對比度增強像素和所述放大色彩通 道數據生成高解析度圖像。
6. 如權利要求1所述的方法，其特徵在於，對所述放大圖像的每個圖像像素 執行對比度增強的所述進程動作包括使高於平均像素亮度的像素值更亮，而使低於 所述平均像素亮度的像素值更暗。
7. 如權利要求5所述的方法，其特徵在於，從所述對比度增強像素生成高分 辨率圖像的所述進程動作包括將所述對比度增強的輸出像素的亮度與色值相組合。
8. 如權利要求1所述的方法，其特徵在於，所述局部圖像鄰域的所述最小值 或最大值函數是基於像素亮度的。
9. 如權利要求1所述的方法，其特徵在於，所述輸入圖像是顯示在輸出設備 上的窗口。
10. 如權利要求l所述的方法，其特徵在於，所述方法通過圖形處理單元使用 單道光柵化來執行。
11. 如權利要求l所述的方法，其特徵在於，所述方法通過圖形處理單元使用 多道光柵化來執行。
12. —種具有用於生成圖像統計量的計算機可執行指令的計算機可讀介質，所 述計算機可執行指令包括輸入圖像；標識所述圖像的給定局部圖像鄰域中的一個或多個源圖像像素；以及 對所述局部圖像鄰域中的一個或多個源圖像樣本進行雙線性內插，其中雙線性內插源圖像樣本的雙線性內插權重被耦合到目標像素相對於所述源像素的位置；以及使用所述精確源圖像像素和所述內插源圖像樣本來尋找局部圖像鄰域的圖像 統計量。
13. 如權利要求12所述的計算機可讀介質，其特徵在於，還包括計算機可執行指令以用於在對所述一個或多個源圖像樣本進行雙線性內插之後，對所述局部圖像鄰域 中的一個或多個源圖像樣本進行線性內插，其中線性內插權重被耦合到所述目標像素相對於所述源像素的所述位置；以及在尋找所述圖像統計量時，將這些線性內插樣本包括到所述局部圖像鄰域的所述圖像統計量中。
14. 如權利要求12所述的計算機可讀介質，其特徵在於，所述圖像統計量在 空間上比僅使用所述精確源圖像像素來計算所述函數更連續。
15. 如權利要求12所述的計算機可讀介質，其特徵在於，所述圖像統計量是 以下之一所述局部圖像鄰域的最大值；或者 所述局部圖像鄰域的最小值。
16. 如權利要求12所述的計算機可讀介質，其特徵在於，所述圖像統計量是 基於亮度的。
17. —種用於縮放計算設備屏幕上的窗口的系統，包括 通用計算設備；包括可由所述通用計算設備執行的程序模塊的電腦程式，其中所述計算設備由所述電腦程式的所述程序模塊來指導，以放大所述計算設備屏幕上的窗口的低解析度位圖，以形成放大窗口位圖； 處理所述低解析度位圖，以獲得局部位圖窗口鄰域的高解析度經放大的最小值和最大值函數；基於所述局部最小值和最大值函數對所述放大位圖的每個像素執行對比度增 強；以及從所述對比度增強像素生成所述窗口的高解析度位圖。
18. 如權利要求17所述的系統，其特徵在於，用以從所述對比度增強像素生 成高解析度圖像的所述程序模塊包括子模塊以用於使用所述局部最小值和最大值函數來增加大於所述局部最大值和最小值的平 均值的像素的亮度；以及使用所述局部最小值和最大值函數來減小低於所述局部最大值和最小值的平 均值的像素的亮度；
19. 如權利要求15所述的系統，其特徵在於，在所述計算設備屏幕上顯示一 個以上的窗口，並且其中生成一個以上的高解析度窗口。20.如權利要求17所述的系統，其特徵在於，用以處理所述窗口的所述放大位圖以獲得最小值和最大值函數的所述程序模塊包括子模塊以用於標識一個或多個精確源圖像像素，其中所述源圖像像素是在給定局部圖像鄰域中選擇的；對一個或多個源圖像樣本進行雙線性內插，其中雙線性內插源圖像樣本的雙 線性內插權重被耦合到目標像素相對於所述源像素的位置；以及對一個或多個源圖像樣本進行線性內插，其中線性內插源圖像樣本的線性內 插權重被耦合到所述目標像素相對於所述源像素的所述位置，以尋找所述局部圖像 鄰域的最小值或最大值函數。
全文摘要
一種跳躍樣本圖像增強系統和方法提供了一種圖像處理操作，其中濾波器考慮一個或多個精確源圖像像素；一個或多個雙線性內插源圖像樣本，其中雙線性權重被耦合到目標像素相對於源像素的位置；以及(任選地)一個或多個線性內插源圖像樣本，其中線性權重被耦合到目標像素相對於源像素的位置。濾波器可構建空間連續圖像統計量。
文檔編號G06K9/32GK101248443SQ200680027279
公開日2008年8月20日 申請日期2006年7月27日 優先權日2005年7月28日
發明者H·H·霍普, J·C·普拉特, S·勒菲芙 申請人:微軟公司