圖像增強方法和設備的製作方法

2023-06-09 18:12:11

專利名稱：圖像增強方法和設備的製作方法
技術領域：
本發明一般涉及圖像處理，尤其涉及圖像改善。本發明可用於以數字和模擬的形式實現圖像的動態範圍壓縮和色感一致性。一方面，本發明涉及圖像數據壓縮。
背景技術：
動態範圍是指圖像或畫面的最亮和最暗的可記錄部分的強度比值。一般認為其範圍從明亮陽光到深陰影的畫面具有高的動態範圍，而低對比度的室內畫面具有低的動態範圍。值得注意的是，用數字攝像機能或不能捕捉到全部的範圍，這取決於該畫面的對比度。在記錄具有很高動態範圍的畫面時，數字攝像機將做折中處理，即允許只捕捉畫面中最重要的那部分。這種折中是必要的，因為沒有任何一種攝像機或輸出設備(包括人眼)能夠再現實際生活中存在的幾乎無限的動態範圍。
在含有一定程度的背景噪聲的輸入圖像中，出於動態範圍的考慮，噪聲水平定義了該圖像中最暗的部分。增強含有噪聲的圖像的最暗部分的亮度會減小動態範圍，這是因為由噪聲水平所定義的圖像的最暗的有意義部分的亮度增加了。
基於CCD檢測器陣列的電子攝像機能夠在象2500∶1這樣寬的動態範圍內捕獲圖像數據。這個範圍適於處理畫面(如在陽光明媚時拍攝的高對比度畫面)內的大部分亮度變化。可是，一般來說，當圖像被數位化處理、被有損壓縮算法(如JPEG或MPEG)壓縮、或遇到動態範圍更窄的列印和顯示介質時，前述動態範圍就丟失了。例如，大多數圖像被數位化成8比特/色帶(256灰度級/色帶)，並且大多數顯示和列印介質甚至更是限於50∶1的動態範圍內。
雖然希望保留所轉換圖像的自然外觀，但有必要設法得到某種轉換，其能夠壓縮圖像的動態範圍，使原始圖像(其可是彩色的或非彩色的、靜止的或視頻的)中更多的細節可以再現。我們把這種轉換稱為「圖像改善轉換」。
因為能夠實時改善圖像(視頻)是很重要的，所以計算效率是圖像改善系統中的重要參數。為了降低集成電路(IC)或其它實現圖像改善算法的設備的能耗、減小其尺寸並降低其成本，有必要提供一種圖像改善算法的模擬實現(implementation)。圖像改善算法的模擬實現的另一個優點在於其可以避免引入由模數轉換(ADC)所導致的數位化噪聲。
還有必要改善數據有損壓縮算法，如JPEG，以允許處理更多的壓縮/解壓圖像。
我們來看看當前流行的圖像增強算法。
同態濾波(homomorphic filtering)是一種圖像增強技術，其使用下述算法Iout＝exp[HPFΩ(log(I))]＝exp[log(I)-LPFΩ(log(I))]，式中HPF是高通二維(2D)空間濾波函數。
美國專利5,991,456描述了名為RetinexTM的圖像增強算法系統。其使用下述算法Iout=i=0NWi(log(I)-log(LPFi(I))),]]>式中Wi為常數。
這種算法的缺點在於不能優化圖像的高頻(空間)部分(具有高於 的頻率)，因而在轉換後的圖像上存在圖像的暗區和亮區之間的明顯過渡。因此，Retinex算法的一個缺點在於圖像中小塊高對比度細節的過分對比。更深一層的缺點在於其計算能力需求。一般來說，在傳統的計算機工作站上進行圖像處理需要若干小時。因此，Retinex不適合大多數的實際應用。
稱為直方圖修正(histogram modification)(或均衡化)算法的技術也是周知的。現在有多種直方圖修正算法。這些算法修正整個圖像的轉換函數H(..)Iout(x，y)＝H(I(x，y))。
尤其是，直方圖均衡化(基於累積直方圖(cumulative histogram))和其它基於直方圖修正的算法可用下式來描述Iout=1MCumHistogram(I)=i=0N(I-I1)(I-I1)i=0N(I-I1)1Mk,l(I(k,l)-Ii(k,l))]]>式中，M是圖像I中像素的數目，Ii是灰度級(如在灰度圖像N＝255的情況下，I0＝0，I1＝1，……，I255＝255)， 是像素坐標。平均處理..可以認為是具有截止頻率Ω＝0的低通濾波LPFΩ，於是Iout=i=0N(I-Ii)LPF0((I-Ii)).]]>直方圖均衡化算法限於在整個圖像的直方圖均勻的情況下使用，但是，在圖像的某些部分太亮而其它部分又太暗。在這種情況下，需要對圖像的不同區域使用不同的轉換函數。
局部直方圖均衡化(也稱作自適應直方圖均衡化)技術也是周知的。為均衡各個特定區域的直方圖，在圖像的不同區域使用不同的轉換，從這種意義上來說，該技術是自適應的。現已有許多應用，其可用下面的公式表示Iout=i=0N(I-I1)LPF((I-Ii)),]]>式中，Ω是空間頻率，其與均衡化直方圖的區域尺寸有關(若「窗口」的大小為r，圖像尺寸為L，則=Lr]]>)。
但是，已知的局部直方圖均衡化(自適應直方圖均衡化)技術具有高的計算強度且難以實現實時處理。此外，在很多情況下使用各個像素周圍的矩形窗口來進行此窗口中的直方圖均衡，因此，這種轉換不能認為是空間平滑的。這種轉換的非平滑性將增大所轉換圖像的噪聲和人工痕跡。

發明內容
本發明一個或多個方面的一個目標在於提供一種改善圖像的方法。該圖像優選由數字數據或模擬數據生成。該方法優選適用於彩色和非彩色圖像。
本發明一個或多個方面的另一個目標在於提供一種在動態範圍壓縮、獨立於畫面照明光譜分布的顏色、以及顏色/亮度再現的方面改善圖像的方法。
本發明一個或多個方面的另一個目標在於提供所建議的圖像改善算法的模擬實現。這種實現通常尺寸小且能耗低，這是許多圖像捕捉設備期望的特性。
本發明的一個或多個方面的另一個目標還在於改善有損圖像壓縮過程，以便使圖像在壓縮-解壓後能保持相對寬的動態範圍，如果還要進行某種後加工處理，這一點很重要，例如在醫用圖像處理技術(如在x射線和磁共振成像(MRI)掃描中所用的那些技術)或者在使用圖像編輯軟體的照片圖像的處理中都很重要。
根據本發明的一個方面，提供了一種圖像處理方法，其包括處理輸入信號以生成調節後的輸出信號的步驟，其中，根據下式調節圖像中不同位置(x，y)的強度值I(x，y)以生成調節後的強度值I』(x，y)Iout=i=0Nai(I)LPFi[Pi(F(I))]Qi(F(I))+(I),]]>式中，Pi(γ)是定義在0＜γ＜1範圍內的γ的函數的正交基(orthogonalbasis)；Qi(..)是Pi(..)的不定積分Qi(F(I))=0F(I)Pid]]>或其近似，LPFΩ[..]是低通空間濾波的運算符；Ωi是低通濾波器的截止頻率，及F(..)是加權函數。
由上述算法表示的可能的轉換系列在這裡稱為正交Retino-Morphic圖像轉換(ORMIT)。
函數Qi(..)可以是Pi(..)的不定積分在25％，優選10％範圍內變化的近似值。Ω優選為非0。F(..)優選以不對稱方式隨I變化，β(I)優選不等於0。Ωi優選隨i的不同而不同，使得不同亮度域內的轉換具有不同程度的空間不均勻性。
該圖像改善算法優選在亮度域內不對稱，使得該算法在圖像的黑暗區域比相對亮的區域具有更大的效果。這種算法優選執行動態範圍壓縮，把圖像中強度值範圍內的相對暗的部分變動比相對亮的部分更高的程度，從而實現這種不對稱。優選的，暗區的圖像對比度也增加比亮區更高的程度。這種做法的效果在於模仿人眼的行為，通過在再現圖像的較亮區內再現這些暗區，人眼在原始圖像的暗區也具有相對高的動態範圍。另外，當與如下將更詳細描述的標準有損壓縮技術一起使用時，該動態範圍壓縮會增加保留在圖像暗區中的有用數據量。因為人眼具有非常高的動態範圍(約105∶1)，而視覺神經的動態範圍約為100∶1，很明顯肉眼進行了強烈壓縮動態範圍的轉換。
優選地，根據本發明這一方面的算法在施加給圖像的轉換函數中包括空間不均勻性的元素。也就是說，如同局部直方圖均衡化的情況一樣，轉換函數可在圖像內變化。
此外，所施加的轉換函數的形狀優選地在空間域內非線性地自適應。也就是說，施加給圖像的不同部分的轉換函數在形狀上不需要相互聯繫，以改善對原始圖像中的對比度的處理。該轉換優選地使用正交函數，從而可以提高計算效率。在一個實施例中該正交函數是Legendre多項式，在另一個實施例中是分段線性映射函數。這些轉換優選地在模擬域中執行。
這種算法優選在亮度域和空間域內都是平滑的。
這種算法的另一個優選特性是可逆性。
根據本發明的另一個方面，提供了一種壓縮圖像信號的方法，其包括使用可逆動態範圍壓縮算法來把圖像信號轉換為增強的圖像信號，並且使用有損壓縮算法來壓縮所述增強的圖像信號以生成壓縮圖像數據。
該方法優選包括生成與動態範圍壓縮算法相關的參數，以及把這些參數與壓縮圖像數據一起存儲。
根據本發明的另一個方面，提供了一種對壓縮圖像數據進行解壓的方法，其包括使用與有損壓縮算法相應的解壓算法，以及使用反向動態範圍壓縮算法以提供解壓圖像信號。
在一個實施例中，在解壓圖像時，結合標準有損壓縮技術(例如JPEG)，運用與壓縮圖像數據附在一起的描述圖像改善轉換的參數，反向地使用動態範圍壓縮算法以實現逆轉換。從這種意義上說，如果描述該逆轉換的數據量並不顯著大於標準圖像壓縮數據的量，則認為該算法是「可逆的」。優選地，轉換數據的量顯著少於，即少於標準圖像壓縮數據量的一半。在一個實施例中，轉換數據插入在壓縮圖像文件的頭部。
在一個優選實施例中，根據下式調節灰度圖像的各個位置(x，y)的強度值I(x，y)以生成各個位置的強度值Iout(x，y)(改善圖像)Iout=i=0NLPF[Pi(F(I))]Qi(F(I))+(1-)I]]>這裡，α是轉換的「強度」，其在圖像增強情況下優選介於0到1之間。通常，α可在0.5的區域內取值。非均勻性參數Ωi可對不同的i取不同的值，以實現最佳增強同時保留自然外觀。把所有參數Ω都設為一個常數值是很方便的。
適當選擇α(轉換「強度」)、由Ω表示的轉換的空間非均勻性(轉換的「窗口」)、加權函數F(..)和基函數Pi(..)可提供良好質量的圖像改善，例如動態範圍壓縮。
圖像最初是以電子格式(模擬或數字形式)出現的。所提出的算法可對彩色和灰度圖像進行處理。在彩色圖像的情況下，所提出的算法能夠修正圖像的強度(而色調和飽和度不變)或圖像的各個顏色通道(從而提供顏色校正)。還提出了不同的圖像顏色校正辦法。
提出了逆轉換過程。該過程允許從轉換後的圖像中恢復出原始圖像。
提出了一種新穎的圖像壓縮過程。該過程包括作為第一階段的圖像轉換(壓縮圖像的動態範圍)以及作為第二階段的標準有損圖像壓縮算法，例如JPEG或JPEG2000。在解壓和逆ORMIT轉換後，圖像暗區的質量大大好於JPEG壓縮-解壓後該區的質量(壓縮文件大小相同)。因此，經所提出的過程壓縮後的圖像的動態範圍得到了增大。
提出了實現該圖像改善系統的模擬硬體實現的不同方法。第一個原理基於多項式方法，而第二個原理基於多段線性映射函數方法。還提出了ORMIT的簡化方案，其中空間非均勻性參數Ω被設為0，其在模擬電路中的實現更為簡單。
在這種情況下，ORMIT公式簡化為I=i=0Pi(I)0IPid,]]>式中，I(t)是輸入(視頻)圖像信號，I』(t)是輸出信號，Pi(x)定義了正交函數的基，運算符..表示圖像的算術平均值(或數學期望值)。該方案很好地適應了視頻圖像的實時增強。
在從圖像傳感器(例如CCD)捕獲視頻信號後立即在模擬電路中進行圖像增強的動機是其能夠提供整個圖像處理系統(例如視頻捕獲系統，圖像傳輸或記錄系統以及視頻輸出系統)的輸出圖像的最寬的動態範圍。這使得圖像的細節可見，否則其將低於傳輸、記錄和再現所引起的噪聲水平(在模擬視頻攝像機的情況下)，或低於由模-數轉換器(ADC)或有損壓縮(如MPEG)所引起的數位化噪聲。
對於實時應用，優選地根據先前幀，最好是緊接在前面的幀的信息來處理後續的視頻-幀的圖像。這是合理的，因為根據統計，視頻圖像在幀與幀之間一般只有微小的變化。
該增強器優選以異步方式運行，以使該設備能夠容易地安裝進數字和模擬攝像機內。
優選地，由該增強器執行的視頻信號的校正轉換是平滑的，從而減小可見噪聲的放大效果，這是標準直方圖均衡技術的一個缺點(見William K.Pratt，「Digital Image Processing」，John Wiley andSons，1978，pp.307-318)。
與數字實現相比，基於所提出的技術的模擬設備的優點包括尺寸小以及大大降低的能耗。
因為非線性處理發生在數位化之前，所以對非線性圖像處理使用模擬技術可以允許動態範圍最大化。
所述模擬系統可進行實時視頻處理。
所提出的算法可以單片模擬集成電路(IC)實現；這樣的晶片可安裝進數字和模擬視頻攝像機內。與數字系統相比，執行直方圖均衡化的模擬IC的尺寸相對較小且能耗相對較低。這種IC可用於象保安攝像機(security camera)這類成本和能耗要求苛刻的攝像機內。其他應用是數字圖像處理系統不夠快的高速攝像機，或應最大限度地保留CCD的寬動態範圍(可高於2500∶1)的最高質量的攝像機內。在這種情況下，使用模擬均衡器是合理的，因為其允許避免出現ADC所引起的數位化噪聲。


圖1是示意圖，顯示了本發明中所用的計算過程。
圖2顯示了加權函數F(I)的實例，其表示了人眼對於暗(小I)和亮(大I)在感覺上的不對稱。參數Δ越小，則不對稱的程度越高。
圖3顯示了合適的正交基函數Pi(x)及其不定積分Qi(x)的實例；圖3(a)顯示了Legendre多項式基(polynomial basis)；圖3(b)顯示了分段式基(piecewise basis)。
圖4是彩色圖像增強的計算過程的示意圖。
圖5是Legendre多項式Pi(x)的模擬合成器的示意圖。
圖6示意性顯示了使用模擬電路生成各個函數。圖6(b)顯示了生成圖6(c)所示Qi(x)，即圖6(a)所示Pi(x)的不定積分的模擬電路。
圖7是圖像處理器的模擬硬體實現的分段轉換函數方案中使用的函數的合成器的示意圖。
圖8是二維(2D)空間低通濾波器的示意圖。
圖9是二維(2D)正交函數的合成器的示意圖。
圖10是圖9的合成器中所用的正交一維(1D)函數的模擬合成器的示意圖。
圖11顯示了餘弦基函數和Legendre多項式。
圖12顯示了不同圖像轉換後的圖像對比效果；圖12(a)是原始圖像，12(b)是局部直方圖均衡化之後的圖像，及12(c)是ORMIT轉換後的圖像。
圖13是低通濾波器的快速軟體實現的示意性框圖。
圖14顯示了Sigmoid函數。
圖15顯示了一個流程圖，其表示(a)ORMIT-JPEG聯合壓縮的過程，(b)和(c)是解壓的過程。在(c)情況下，在解壓階段中預先設置ORMIT的新參數。
圖16示意性說明了在圖像處理的不同階段的動態範圍和亮度分布。
圖17顯示了多項式直方圖均衡器的示意圖。該系統能夠實時處理模擬視頻信號。
圖18顯示了分段直方圖均衡器的示意圖。該系統能夠實時處理模擬視頻信號。
圖19顯示了圖18所示同步選擇器所生成的「保持」和「復位」信號的實例。
具體實現方式在本發明的各種實施例中，數據處理設備實現了一種新的圖像改善轉換，其由下述公式描述Iout=i=0Nai(I)LPFi[Pi(F(I))]Qi(F(I))+(I),]]>式中Pi(γ)是定義在0＜γ＜1範圍內的γ的函數的正交基；Qi(..)是Pi(..)的不定積分，即，Qi(F(I))=0F(I)Pid]]>或其近似，LPFΩ[..]是低通空間濾波的運算符；Ωi是低通濾波器的截止頻率，F(..)是加權函數，β(I)優選不等於0。Ωi優選隨不同的i而不同，這樣，這種變換在不同亮度域具有不同程度的空間不均勻性。
在一個實施例中，根據下式調節灰度圖像的各個位置(x，y)的強度值I(x，y)，生成各個位置的強度值Iout(x，y)(改善後的圖像)Iout=i=0NLPF[Pi(F(I))]0F(I)Pid+(1-)I----(0.1)]]>即，Iout=i=0NLPF[Pi(F(I))]Qi(F(I))+(1-)I,]]>式中Qi(F(I))=0F(I)Pid.]]>這裡，α是轉換的「強度」。
元素α表示完全均衡的圖像(轉換的第一階段)和原始圖像的混合比例。因此，選擇合適的轉換強度提供了動態範圍壓縮和圖像自然外觀之間的折中。在許多情況下，可以增大圖像的暗區的對比度而不會明顯丟失整個轉換圖像的自然外觀。同時，α可以是常數，也可根據強度變化為α(I)。
在一個實例中使用了下面α(I)和β(I)的表達式(I)=12-12tanh(4log(I+1)log(1+1)-2),(I)=I[12+12tanh(4log(I+1)log(1+1)-2)];]]>
或(I)=A[12-12tanh(4log(I+1)log(1+1)-2)];]]>(I)=I((1-A)[12-12tanh(4log(I+1)log(1+1)-2)]+[12+12tanh(4log(I+1)log(1+1)-2)]);]]>強度函數α(I)和β(I)的函數形式優選選定為使得在圖像的黑暗部分(I小)中的轉換更強(α更大)且在明亮部分中逐漸弱化。這允許更強地增強陰影而不影響明亮區域。
在算法中使用加權函數F(I)，以考慮人眼的特性，這可以用下面稱為對數傳遞函數(logarithm transfer function)的函數來近似F(I)=log(I+)-loglog(1+)-log-------(0.2)]]>式中，0＜I＜1，Δ是「暗」和「亮」的「不對稱」的參數，其向圖像的亮度域中的暗部分提供了比亮部分更強的適應能力(因此，這種算法在圖像的暗區中比在亮區中更「有效」)。暗區可定義為包含小於最大強度的一半的那些區域，優選小於1/4強度的那些區域。為了提供一定程度的動態範圍壓縮，我們選擇Δ＜1。減少Δ產生了更強的動態範圍壓縮。實際上，優選範圍是0.001＜Δ＜0.1。圖2顯示了在Δ＝1到Δ＝0.001範圍內的對數傳遞函數。
需要注意的是，除了對數函數之外的另外的函數也可以用來近似人眼的特性。通過適當選擇α(轉換強度)、由Ω表示的轉換的空間非均勻性(轉換「窗口」)、加權函數F(..)和基函數Pi(..)，可以提供良好質量的圖像改善，即，與「自然」外觀的轉換圖像結合的動態範圍壓縮。
圖1顯示了對輸入圖像中坐標(x，y)給定的各個像素求出方程(0.1)的值的計算過程的示意圖。這裡，F(I)是由方程(0.2)定義的不對稱加權函數；Pi是Legendre多項式或分段函數的基的第i個成員(如本說明書所述)；Qi是Pi的不定積分；LPF是說明書中所述的二維低通濾波器。這可由熟練程式設計師在軟體中直接編碼，或使用已知的元件在模擬硬體中實現。在後一種情況下，是乘法器元件，∑是加法器；非線性單元F(I)可以通過使用標準電路和其他的別處描述的元件來實現。
提出了ORMIT轉換的不同實現方法。第一種方法基於正交多項式Pi(γ)。在一個實施例中特別選擇了Legendre多項式(見圖3(a))。第二種實現方法基於分段函數(見圖3(b))。在圖像處理應用中可以生成計算機軟體實現方法；下面描述ORMIT轉換的這些實現方法的模擬硬體實現。
模擬硬體實現在這裡我們考慮圖像改善系統的可能的模擬實現，如圖所示。
這裡，x(t)指圖像信號，並表示在一幀視頻信號期間(0＜t＜T)對強度的相關性。
ORMIT轉換的模擬實現的「多項式」和「分段」方案都可基於低通濾波器的模擬實現，如圖8所示。圖8顯示了使用模擬電路的二維空間低通濾波器(LPF)的示意圖。它把信號Pi(I)作為輸入，其可以是Legendre或分段基的成員。該圖中，∫是積分元素，SAMPLE/HOLD是標準採樣/保持放大器，且合成器可如圖9所示來配置。這個濾波器使用正交函數∏ij(x，y)的二維基。二維正交函數∏ij(x，y)可在一維正交函數∏i(x)和∏j(y)的基礎上生成(見圖9)。在圖9中，一維Legendre多項式或餘弦(cosine)函數(見圖11)∏i是從輸入信號x，y中生成的。它們被結合為圖8所示LPF發生器中使用的對應的Φij(x，y)。圖5和圖10顯示了一維正交函數∏i(x)(自適應並具有固定係數)的合成器。正交函數的自適應合成器可以生成1.Legendre多項式，前提是x(t)是鋸齒波形信號，即，信號x(t)＝SAW(t)＝2REM(t/T)-1，式中，REM(..)是除法餘數，t是時間，T是鋸齒信號的周期(關於正交函數的模擬合成器的更多信息可以在[1]中找到)；2.函數的餘弦基，前提是x(t)＝sin(πSAW(t))。
Legendre多項式的「固定」合成器可基於下述遞歸關係(見K.B.Datta和B.M.「Orthogonal Functions in Systems and Control」，Advanced Series in Electrical and Computer Engineering，Mohanpublisher，World Scientific Pub Co，1995)P(x)＝1，Pi(x)＝x，Pi(x)＝aiPi-2(x)+bixPi-l(x)，(0.3)式中，i=-i-1i,]]>bi=2i-1i.]]>圖5顯示了這種合成器的配置。下面的表1顯示了第一組5個係數ai和bi。
表1

對於各個函數的餘弦基，適用相同的遞歸關係(0.3)。在這種情況下，對於任意的i，係數ai＝-1，bi＝2。
餘弦基可替代模擬低通濾波器中的Legendre多項式。在使用本說明書所述方法的模擬電路中它們都可以有效地合成。餘弦基具有轉換更加空間均勻的優點(沒有「邊緣效應」)。
ORMIT轉換的多項式方案這個ORMIT轉換方案把Legendre多項式不僅用於低通濾波器，還作為用於計算ORMIT轉換函數的基函數Pi(x)(見圖1和圖3(a))。用於構建ORMIT轉換函數的其它基函數是Qi(x)。圖6顯示了Qi(x)多項式的合成器。這裡，是差分放大器。另一種方案把Legendre多項式用於ORMIT轉換函數中所用的基函數Pi(x)，並把餘弦函數用於低通濾波器。圖13顯示了低通濾波器的快速軟體實現的框圖。這種算法包括1)圖像尺寸調節；2)二維離散餘弦變換(DCT2)；3)變跡(Gauss)函數，其把尺寸調節後的圖像的高階光譜部分設為0；4)逆DCT(IDCT2)，其給出了尺寸調節後的圖像的平滑近似；5)雙線性插值過程，其給出了輸入圖像(尺寸X，Y)的平滑近似，即低通濾波器的輸出。
ORMIT轉換的混合多項式-分段方案這種ORMIT轉換方案使用圖3(b)所示的基函數Pi(x)和Qi(x)。圖7顯示了生成這些函數的合成器。在圖7的右邊部分顯示了不同元件生成的函數。圖7中，這些函數是非重疊的，但另一方面，也可以使用相互正交的、重疊的多個函數的兩個子集。在圖7中，下部顯示了圖中主體部分所示結構中的放大器元件輸出的信號。低通濾波器可以使用Legendre多項式函數或餘弦函數，如上所述。
模擬實現的進一步細節為顯示在Legendre多項式情況下如何構建實際的模擬硬體實現，請參看下文。
在模擬專用集成電路(ASIC)的製造階段，就可以把係數ai和bi存儲在雷射修整電阻器中。這裡需要注意的是，在製造含有Legendre多項式合成器的模擬ASIC時可以採用調節ai係數的自適應系統，這由V.Chesnokov在「Analog Synthesizer of Orthogonal Signals，IEEETransactions on Circuit and Systems-IIAnalog and Digital SignalProcessing，47(2000)，No.2，pp.125-132」中提出(亦如圖5所示)。這可以通過使用乘法器、加法器以及，例如，提供參數ai和bi的修整電阻器來直接實現為模擬電路。
現在我們來考慮Q多項式合成的過程。由遞歸關係(0.3)所定義的Legendre多項式滿足下述關係(見K.B.Datta and B.M.「OrthogonalFunctions in Systems and Control」，Advanced Series in Electricaland Computer Engineering，Mohan Publisher，World Scientific PubCo，1995) 在(-1，x)範圍內對方程(0.4)進行積分，並考慮Legendre多項式(見方程(0.3))的特性對任意的i，有Pi(1)＝1，Pi(-1)＝(-1)i(見圖6(a))，則有Qi(x)=12i+1(Pi+1(x)-Pi-1(x))----(0.5)]]>這裡，我們把Q多項式定義為Qi(x)=-1xPi(x)dx.]]>圖6顯示了Q多項式合成的過程。這裡需要注意的是，由遞歸關係(0.3)定義的Legendre多項式沒有被歸一化。圖3(a)(其顯示了歸一化了的Legendre多項式和相應的Q多項式)和圖6(a)分別顯示了歸一化的和未歸一化的Legendre多項式。因此為了實現圖7所示的這種方案，該設備應該對圖6的結構中顯示的Legendre多項式和Q多項式的合成器所生成的信號進行歸一化處理。這些歸一化係數可由圖1 7所示積分器的積分常數實現，於是，不同的積分器應該具有不同的積分常數μi，即，Fi=i0Tfi(t)dt.]]>同步選擇器的任務是提取垂直同步脈衝。「保持」信號應該在垂直同步脈衝的開始階段生成，而「復位」脈衝應該在下一幀開始之前且緊接「保持」信號之後生成(見圖19)。這種安排(以及多項式直方圖均衡器)根據從先前幀上獲取的信息來均衡化後續幀。
我們也提出了簡化的實現方法，其中，ORMIT轉換的非均勻性參數即Ωi都被設為0。圖17和18中顯示了不同實施例中的相應電路。需要注意的是，在圖18中，下部顯示了圖的主體部分所示結構中所用的放大器元件輸出的信號。簡化電路是因為並不需要出現低通濾波器。雖然圖像的改善並不象完全ORMIT轉換那樣有效，但在許多情況下足以對圖像流進行良好的增強。
在一個實施例中，一個目的在於提供一種空間均勻的連續(在時間和幅值上都連續)視頻信號的直方圖均衡。Legendre多項式被用作正交函數的基(雖然可以使用其它正交函數)，因為它們可在模擬硬體(見圖5)中實現，這可以實現直方圖均衡器的完全模擬實現。
一般結果是y=i=0Pi(x)0xPi(x)dx----(0.6)]]>式中，y是輸出信號的強度，運算符..是整個圖像的算術平均值(或數學期望值)。在視頻信號x(t)的情況下，算術平均值為Pi(x)=1T0TPi(x)dx]]>若把Pi(x)的不定積分表示為Qi(x)Qi(x)=0xPi(x)dx,]]>則有y=i=0Pi(x)Qi(x)]]>若N→∞，則輸出視頻信號的y(t)亮度直方圖將是均勻的。然而，實際上N應該有限制，首先降低過程的計算強度，第二提供平滑直方圖均衡。計算機模型已經表明即使N小到3圖像也可以被顯著改善。這裡需要注意的是，可能出現近似於累積直方圖H(x)的轉換函數y(x)不是單調遞增函數的情況。這造成了不自然的圖像，且在大多數情況不應該出現。這可以通過引入轉換強度係數α來達到上述目的Iout＝αI′+(1-α)I，式中，0＜α＜1。
輸出圖像在效果上是輸入圖像x和均衡化圖像y的混合。減小α可以避免轉換函數xoutx0]]>帶來的負面影響。通常來說把α減少到0.5就夠了。轉換係數α的「強度」可以由視頻攝像機的使用者手動調節(以得到合適的圖像)或由自適應過程自動調節，該過程可在幀與幀之間的那段時間執行。
上述算法的直接實現假設對於每一幀計算積分0xPi(2x(t)-1)dt]]>以建立轉換函數，以改善當前幀。這使直接模擬實現很困難，除非使用了「記住」整個幀的模擬信號延遲線。不過，在統計上幀與幀之間只有微小變化的這一事實使得可以實現該算法的實時模擬實現。在這種情況下，使用由先前幀得到的統計信息(由上述積分表示)來改善後續的幀。對於後面描述的均衡器方案(見圖17)，在這個處理中對結果進行積分並把其放入採樣保持放大器中。
一種重要的其它具體情況是如圖3(b)所示平方函數Pi(x)的基。這種基函數也適用於這種直方圖均衡器的模擬實現。
標準直方圖均衡器技術的一個典型缺點在於其增加了圖像的可見噪聲(參見William K.Pratt，「Digital Image Processing」，John Wileyand Sons，1978，pp.307-318)並使圖像看起來不自然。非線性圖像轉換導致的噪聲(數位化噪聲加上CCD本身的噪聲)放大是一種眾所周知的現象。因為通常圖像的累積直方圖(從而也就是轉換函數)可能具有非常大的導數(即直方圖的非均勻性)。
與標準直方圖均衡化的轉換函數不一樣，本發明的設備(多項式直方圖均衡器)的轉換函數非常平滑，因為其由低階多項式(如第三階)組成。這樣導致了如下的事實與用標準直方圖均衡化過程處理的圖像相比，所處理的圖像顯得噪聲少並更自然。
所提出的設備提高圖像質量的可能性很大，而惡化圖像的可能性非常小。
事實上，諸如能夠改善任何種類圖像的這種特性對於安裝在視頻攝像機中的圖像增強系統並非是絕對必須的(雖然是期望的)，因為任何效果(尤其是所提出的平滑直方圖均衡化算法)具有可調節的強度(或可由使用者關閉)。
軟體實現需要注意的是，通過ORMIT的軟體實現處理數字視頻圖像基本上與上述的模擬硬體實現相同，使用功能軟體模塊代替以上結合附圖所述的電路。
彩色圖像的處理處理彩色圖像可以使用不同的方案。圖4(a)顯示了最簡單的情況。「ORMIT」元件執行圖像增強過程。對於任何給定的像素，R(R′)是紅色通道的輸入(輸出)強度，對其它顏色類推。I(I′)是總的輸入(輸出)強度，或亮度。表示乘法，∑表示加法。W參數是標準加權因素。在第一種情況下，在第一階段根據下述公式為圖像的各個像素生成強度信號II＝WRR+WGG+WBB(也可以是相應的均方根和)，式中，R、G和B是紅、綠和藍的值。
接下來的階段是強度信號的ORMIT轉換，生成改善的強度信號Iout。最終階段是根據與強度修正相同的比例來修正各個顏色通道R=IoutTR,]]>G=IoutIG]]>和B=IoutIB.]]>這種方案提高了圖像的強度分布而不改變色調和飽和度。
圖4(b)顯示了使用ORMIT的另一種方案。該方案提供了對不同顏色通道的空間均衡化，因此，不僅整個圖像具有平衡的顏色，而且圖像的任何區域(尺寸大於「窗口」的尺寸l=1,]]>其中，Ω是ORMIT轉換中使用的低通濾波器的截止頻率)都是顏色平衡的。寬範圍的顏色校正過程可以使用ORMIT轉換。
ORMIT轉換的可逆性由於ORMIT轉換是平滑轉換，其可用很少的參數(通常，整套參數小於1KB，優選小於100位元組)來描述。
在許多情況下，尤其在ORMIT轉換的分段方案的情況下，可以在轉換參數和ORMIT轉換後的圖像的基礎上來恢復原始圖像。
我們考慮ORMIT轉換的分段方案Iout=i=0NLPF[Pi(F(I))]Qi(F(I))+(1-)I,]]>其中，圖3(b)顯示了Pi(..)和Qi(..)。描述ORMIT轉換的參數有1.Δ，其定義所選的F(I)，2.Ω，即「非均勻性參數」，對本實施例來說對於所有的i其都被設定為常數，以及3.不同基函數Pi(I(x，y))的光譜成分Ckl(i)的幅值，在低通濾波期間其被計算出來，並是二維餘弦變換和後來的Gauss加權函數的結果Ckl(i)=DCT2(Pi(F(I))){k,1}exp{-(k2X2+l2Y2)2min(X2,Y2)}]]>(見圖13)，其中，X和Y是圖像的尺寸，Ω是空間非均勻性參數，其是「窗口」尺寸lΩ(與圖像中尺寸大於lΩ的任何區域相關的直方圖都將被均衡化)與圖像尺寸的最小值之間的關係。非均勻性參數可以是0＜Ω＜10，但在大多數情況下不到3。由於Gauss函數隨k或l的最大而迅速減小，僅有少量參數Ckl(i)(0≤k，l＜3÷10)具有非0值並因此被用來定義該轉換。
因此，分段ORMIT轉換可表示為Iout=i=0NIDCT2[Ckl(i)]Qi(F(I))+(1-)I,]]>或Iout=i=0NWi(x,y)Qi(F(I))+(1-)I,]]>式中，Wi(x,y)=IDCT2[Ckl(i)].]]>ORMIT的分段方案的逆轉換可由下述方程定義F(I)=i=1NSigmoid(Iout-IiWi+1-N),]]>其中，圖14顯示了Sigmoid(x)函數；I1＝0；Ii由下式定義Ii+1=1iWi+i1-N;]]>
由於函數F(I)單調遞增，考慮到F(I)的定義(0.2)我們能夠獲得逆表達式I(F)。因此，對於逆向分段ORMIT轉換，我們得到I＝exp(F.(log(1+Δ)-log(Δ))+log(Δ))-Δ。
可逆ORMIT轉換的多項式實現(以及利用其它基函數的大多數其它可能的實現)沒有確切(解析)的表示方法，但也能夠生成用於ORMIT轉換的多項式方案的逆轉換的快速近似實現。
有損壓縮算法的增強這部分描述諸如(但不限於)ORMIT轉換的動態範圍壓縮算法和諸如JPEG這樣的有損壓縮算法的結合。
圖像的有損壓縮被廣泛使用著。這是因為壓縮圖像的存儲尺寸可以比原始圖像尺寸小10到100倍，而壓縮圖像和原始圖像事實上難以從外觀上區分開來。
但是，經過有損壓縮的圖像不適於後處理，諸如用於醫用圖像的分析(X射線，MRI等)及在計算機上進行照片圖像的處理。這種後處理放大了壓縮圖像中的噪聲，導致處理後的圖像中出現難以接受的不自然。因此，使用無損格式(如TIFF、BMP、PNG、無損JPEG)。但是這些格式具有文件體積大的缺點，這在傳輸和存儲中的成本很高。
這裡提出了一種新方法，其結合了動態範圍壓縮和標準有損圖像壓縮以生成與標準有損格式的文件尺寸近似相等的圖像，但保持了高質量後處理所需的重要信息。
圖15(a)和15(b)概要地顯示了這些過程S1.捕捉源圖像S2.進行動態範圍壓縮(如ORMIT轉換)S3.進行有損壓縮(如JPEG壓縮)S4.向JPEG圖像的頭部附加描述步驟(S2)的信息S5.傳輸圖像S6.解壓JPEG圖像S7.解碼頭部並反向執行步驟(S2)動態範圍擴展(逆ORMIT)S8.輸出圖像現在描述一個顯示出ORMIT轉換優點的實例。源圖像的尺寸為401KB。源圖像的有損壓縮導致文件尺寸變為22KB。壓縮圖像的後處理(在此是亮度放大)在圖像中原來的暗區中生成亮區。顯然，圖像的上部被很好地保留下來了，而下部的質量較低。
接下來，首先對源圖像進行ORMIT轉換。以JPEG壓縮該圖像到相同的質量設定，可生成具有28KB文件尺寸的圖像，即與僅JPEG壓縮文件的尺寸相似。為了傳輸該圖像，我們添加了含有ORMIT轉換參數的100位元組的頭文件。隨後使用這些參數進行JPEG解壓和逆ORMIT轉換，生成了恢復的圖像。恢復圖像的後處理(在此是在所選原始暗區進行亮度放大)在暗區中提供了更高質量的圖像。
比較所得到的圖像，我們發現ORMIT預處理後的圖像在暗區中包含的有用信息要遠遠多於簡單JPEG圖像，而兩種圖像的文件尺寸相當。
即使利用更高的JPEG質量因子對源圖像進行僅JPEG壓縮，效果也不是很好。該更高質量因子文件的尺寸為53KB，幾乎是ORMIT增強圖像的兩倍，且即使在這種質量水平上在暗區(在下部的亮度放大中)中所保留的信息也少於ORMIT預處理的圖像。
這種結果是因為JPEG(或JPEG2000)使用了一種質量標準，其基於輸入圖像和壓縮圖像之間的均方根偏差，並不區分暗區(人眼對對比度最敏感的地方)和亮區(眼睛對對比度最不敏感的地方)。通過保留暗區中的信息，動態範圍壓縮提高了JPEG或其它有損壓縮的效率。
因此，進一步的應用在於使用動態範圍壓縮來減少JPEG或相似圖像的文件尺寸，同時保持相同的視覺外觀。
強動態範圍壓縮的進一步的重要應用如下。標準圖像格式使用8比特/顏色，而圖像捕捉設備能夠記錄如16比特/顏色。通過使用動態範圍壓縮，如ORMIT轉換，接下來轉換到8比特/顏色，然後在圖像重建時反向執行該轉換，這樣就可以使用8比特的圖像格式傳輸16比特的圖像。一個實例是數位照相機Agfa ePhoto1280。這生成了(在CCD和ADC之後)10比特/顏色的圖像，後續的JPEG壓縮僅從中保持了8比特/顏色。因此，動態範圍壓縮，尤其是ORMIT轉換，允許這種照相機完全利用高精度硬體的所有潛力。
為使上述過程具有高的效率，用於動態範圍壓縮的算法優選使用少量參數(即，逆轉換需要少量參數)來描述。由於ORMIT轉換使用正交函數，所以滿足了這種標準。
重構圖像時的動態範圍優化ORMIT轉換的進一步的特徵在於，假定轉換的參數已經被附加到圖像上(見圖15(c))，則轉換強度，然後是動態範圍壓縮的程度能夠根據顯示設備的性能而改變。在ORMIT轉換的情況下，這可由較少的額外計算(遠少於執行最初轉換所用的計算)來完成。
一個實例是JPEG編碼圖像的傳輸，其使用ORMIT轉換進行預處理並且被附加了如圖15(a)所示的ORMIT轉換參數。這些可根據標準文件規範包含在文件頭部中。輸出圖像時有多種選擇，例如CRT屏幕、LCD屏幕、低質量印表機、高質量打進機。每種輸出設備具有不同的有效動態範圍。可如圖15(b)那樣使用類似的方案，除了在再生階段添加了進一步的步驟S7A之外，其中，逆ORMIT轉換的參數隨輸出設備的參數而在輸出設備中改變，以根據輸出設備的動態範圍優化圖像的動態範圍。圖16顯示了圖像處理不同階段的動態範圍和亮度分布——通過在輸出設備上使用可變ORMIT轉換可以改變輸出設備的動態範圍。
另一個實例是圖像的傳輸，其沒有任何有損壓縮，但也附加了ORMIT參數以允許根據顯示/再生設備的特性而優化圖像。另一個實例是在數字視頻的有損壓縮(例如MPEG)之前使用ORMIT轉換。如果在例如LCD這樣的動態範圍比CRT屏幕窄的屏幕上放映電影，這一點就會尤其有用。另一個實例是把電影院放映的電影轉換為DVD或視頻，在這裡ORMIT轉換能夠用來把電影的(很寬的)動態範圍壓縮到CRT或LCD屏幕的窄得多的範圍。轉換強度可在放映時實時控制。
負的轉換「強度」具有負轉換強度α＜0的ORMIT轉換能夠用作有效的抑噪算法。例如這種算法可用來實時潤飾人臉的圖像，例如，使皺紋更加不明顯。
應用和優點
ORMIT轉換的可能應用包括用於數字靜止圖像(獨立軟體、掃描儀軟體、印表機軟體)的軟體和視頻的改善、數字靜止和視頻攝像機、電視機和液晶顯示器、印表機。模擬領域的應用包括模擬視頻攝像機、超高速視頻攝像機、高質量數字視頻攝像機、保安攝像機(例如小、便宜且能耗低)、X射線和夜視增強設備。該算法的其它應用包括模糊屏幕的增強、用於巨大動態範圍景象的基於多重曝光的圖像合成、高級顏色校正過程、電視和顯示器的通用圖像改善。
ORMIT轉換的優點包括1.它是一種把有效的動態範圍壓縮與轉換圖像的自然外觀結合起來的高質量的圖像改善算法(在空間和亮度域內都是平滑的)；2.該算法的數字實現非常快(上面描述了基於雙線性插值和離散餘弦變換的LPF的快速實現)3.該算法可在純模擬硬體上實現。
上面描述了ORMIT轉換的其他特徵(它的可逆性和描述轉換的少量參數，負轉換強度的情況等)。
ORMIT在局部直方圖均衡化(自適應直方圖均衡化)上的優點包括1.計算效率。
2.空間域的平滑度(ORMIT轉換的多項式方案在亮度域內也是平滑的)，但是在許多情況下，使用各個像素周圍的矩形窗口來進行該窗口內的直方圖均衡化，因此不能認為這種轉換是空間平滑的。轉換的非平滑性會增加已轉換圖像的噪聲和人工跡象。
在圖像的暗區和亮區中的自適應性方面轉換的不對稱性。ORMIT轉換在暗區的作用要比在亮區的作用高得多，這一點與人眼的行為比較接近，從而使得轉換後的圖像比局部直方圖均衡化(自適應直方圖均衡化)過程增強的圖像看起來更自然(見圖12)。圖12顯示了不同圖像轉換的圖像比較結果；圖12(a)是原始圖像，12(b)是局部直方圖均衡化後的圖像，12(c)是ORMIT轉換後的圖像。ORMIT是一種對於圖像的不同部分自適應地調節其自身映射函數(不是僅僅延伸強度範圍，例如象在RetinexTM算法的同態濾波的情況一樣)的算法。因此ORMIT轉換是一種空間非均勻性轉換。這是該算法與由公式I』＝Θ(I)所描述的直方圖改善算法系列的不同之處。
ORMIT轉換映射函數可用下面的公式描述I』(x，y)＝Θ(I(x，y)，x，y)，式中， 是可以在空間(x，y)和亮度I域內連續(甚至平滑)的函數，即x|y,lCx,y|x,yCy,]]>I|x,yCl,]]>式中Cx、Cy和CI是某些常數。這是ORMIT轉換與其它通常在亮度和/或空間域內不平滑的局部直方圖均衡化算法的一個差異。這導致在轉換圖像中出現人工跡象。
另一個差異是ORMIT轉換是正交轉換，因此其可以實現相對較高的計算效率，而低的計算強度是先前存在的局部直方圖均衡化算法的已知缺點。
ORMIT轉換的一個特徵是轉換強度的可調節性，即輸出圖像是最大均衡化圖像和輸入圖像的混合，從而可由使用者建立轉換圖像的自然外觀與動態壓縮之間的折中。ORMIT與局部直方圖均衡化算法的另一個差異是ORMIT可以對於圖像的不同亮度區域具有不同的空間不均勻性。例如，圖像亮區的轉換具有比暗區的轉換更低的空間不均勻性。這為算法提供了高得多的靈活性並且允許生成很高質量的圖像改善算法。
ORMIT的另一個優點是它的可逆性。此外，ORMIT轉換可由少量的數據來完全描述(一般少於100位元組)。
其它實施例上述實施例應理解為僅是本發明的說明性實例。本發明還可以有其它的實施例。需要明白的是關於一個實施例的所述任何特徵也可用於其它的實施例。另外，在不脫離所附權利要求所限定的本發明範圍的情況下，也可以採用上面沒有描述的等價物和修改。
權利要求
1.一種圖像處理方法，包括處理輸入信號以生成調節後的輸出信號的步驟，其中根據下式調節圖像的不同位置(x，y)的強度值I(x，y)以生成調節後的強度值I』(x，y)Iout=i=0Nai(I)LPFi[Pi(F(I))]Qi(F(I))+(I),]]>其中Pi(γ)是定義在0＜γ＜1範圍內的γ的函數的正交基；Qi(..)是Pi(..)的不定積分Qi(F(I))=0F(I)Pid]]>或其近似，LPFΩ[..]是低通空間濾波的運算符；Ωi是低通濾波器的截止頻率，F(..)是加權函數。
2.根據權利要求1所述的圖像處理方法，其中，β(I)不等於零。
3.根據權利要求1或2所述的圖像處理方法，其中，Ωi對不同的i取值不同，使得在不同的亮度域中所述的轉換具有不同程度的空間不均勻性。
4.根據權利要求1、2或3所述的圖像處理方法，其中Iout=i=0NLPF[Pi(F(I))]Qi(F(I))+(1-)I]]>式中的α是轉換的強度，在0＜α＜1內取值。
5.根據權利要求4所述的圖像處理方法，其中所述的函數的正交基是多項式函數。
6.根據權利要求5所述的圖像處理方法，其中所述的函數的正交基是Legendre多項式函數。
7.根據權利要求4所述的圖像處理方法，其中所述的函數的正交基是分段線性映射函數。
8.根據權利要求4、5、6或7所述的圖像處理方法，其中，選擇所述的加權函數F(I)以為暗區提供比亮區更大的轉換強度。
9.根據權利要求8所述的圖像處理方法，其中所述的加權函數根據下式變化F(I)=log(I+)-loglog(1+)-log,]]>式中Δ＜1。
10.根據以上權利要求中任何一項所述的方法，其中，所述的轉換可由形狀在空間域中非線性變化的轉換函數表示。
11.一種壓縮圖像信號的方法，包括在圖像數據壓縮過程中進行可逆動態範圍壓縮和有損數據壓縮以生成壓縮圖像數據。
12.根據權利要求11所述的方法，包括進行可逆動態範圍壓縮算法，然後進行有損圖像數據壓縮算法。
13.根據權利要求11或12所述的方法，包括生成與所述動態範圍壓縮算法相關的參數，並且將其與壓縮圖像數據存儲在一起。
14.一種對壓縮圖像數據進行解壓的方法，包括組合地進行與有損壓縮相對應的解壓以及反向動態範圍壓縮，以提供解壓的圖像信號。
15.根據權利要求14所述的方法，包括從與所述壓縮圖像數據一起的數據中讀取關於所述動態範圍壓縮算法的參數，並且在所述反向動態範圍壓縮算法中使用上述參數。
16.根據權利要求14或15所述的方法，包括使用根據將要採用的圖像顯示方法而選擇的一個或多個參數來進行所述的反向動態範圍壓縮。
17.根據權利要求11到16中任何一項所述的方法，其中所述動態範圍壓縮算法包括權利要求1到10中任何一項所述的方法。
18.一種電腦程式，用於實現權利要求11到17中任何一項或多項的方法。
19.一種圖像處理方法，包括處理輸入信號以生成調節後的輸出信號的步驟，其中根據下式調節圖像中不同位置的強度值(I)以生成調節後的強度值(I』)I=i=0Pi(I)0IPid,]]>式中Pi(..)定義了正交函數的基，運算符..表示圖像的算術平均值(或數學期望值)。
20.根據權利要求19所述的視頻信號處理方法，其中輸入信號由I(t)表示且所述的算術平均值是Pi(I)=1T0TPi(I)dt.]]>
21.根據權利要求19或20所述的信號處理方法，其中所述正交函數包括平方函數的基或其近似。
22.根據權利要求19或20所述的信號處理方法，其中所述的正交函數包括Legendre多項式或其近似。
23.一種圖像處理設備，其具有處理器，所述處理器執行上述所有權利要求的方法或電腦程式。
全文摘要
一種圖像處理方法，其包括處理輸入信號以生成調節後的輸出信號的步驟，其中，根據下式調節圖像中不同位置(x，y)的強度值I(x，y)以生成調節後的強度值I′(x，y)I
文檔編號G06T5/00GK1507604SQ02809290
公開日2004年6月23日 申請日期2002年4月10日 優先權日2001年5月2日
發明者瓦切斯拉福·切斯諾科夫, 瓦切斯拉福 切斯諾科夫 申請人:頂級公司