產生圖像畫面增益的方法

2023-08-10 12:54:11

專利名稱：產生圖像畫面增益的方法
技術領域：
本發明是關於一種產生圖像畫面增益的方法，尤指一種可以根據人眼對光線的敏感度，產生該圖像畫面增益的方法。
背景技術：
一4殳而言，當人類的視覺系統在觀看事物時，是同時在進行兩種分辨——
色彩的分辨以及照度(luminance)的分辨。然而此二種分辨的能力，又容易受到周圍環境照度的影響。例如當處於很亮(照度很高)的環境下，人類的視覺系統對色彩的敏感度會提高，亦即人類的視覺系統在照度很高的環境下，更容易察覺出色彩彼此之間的微細差異；但是對照度的敏感度會降低，亦即人類的視覺系統在照度很高的環境下，不太容易察覺出明暗之間的差異。反之，當處於很暗(照度很低)的環境下，人類的視覺系統對色彩的敏感度會減弱，亦即人類的視覺系統在照度很低的環境下，不容易察覺出色彩彼此之間的差異；但是對照度的敏感度會提高，亦即人類的視覺系統在照度很低的環境下，較容易察覺出明暗之間的微細變化。請參看圖1。圖1為三條不同的人眼對圖像畫面的照度的感測曲線。圖1的縱軸代表實際圖像畫面的照度(單位燭光/平方公尺)，橫軸代表人眼所感受到的灰階值(最低有效位，LeastSignificant Bit, LSB)。在實際圖像畫面的照度由0變化為50燭光/平方公尺時，此三條曲線所代表的人眼所感受到的灰階值變化約介於110(第一條曲線1至lll)至150(第三條曲線1至151)之間，而在實際圖像畫面的照度由150變化為200燭光/平方公尺時，此三條曲線所代表的人眼所感受到的灰階值變化只約介於20(第三條曲線221至241)至30 (第一條曲線201至231)之間。因此，由圖1中任意一條曲線的變化均可看出當人眼在圖像畫面照度低的時候，對照度很敏感；在圖像畫面照度高的時候，對照度較不敏感。
而目前在光學元件中所大量使用的互補金屬氧化物半導體的圖像傳感器(CMOS image sensor),存在有固定模式噪音(fixed pattern noise, FPN)的問題，該固定模式噪音是由該光學元件中，各元件彼此之間的差異所造成。請參看圖2。圖2為具有2. 41。/。的固定模式噪音的圖^f象畫面圖。由圖2中可看出，固定模式噪音所造成的電位差異會導致圖像畫面各行列之間的照度差異，而不會造成色彩上的變化。
傳統的光學元件，例如數位照相機，在欲拍攝的圖像畫面之前，須先進行測光及對焦的操作，有些照相機甚至另外具有測光區，以測量欲拍攝的場景的照度，以決定該欲拍攝的圖像畫面的增益。而圖像播放元件，例如液晶電視，通常要先播放一張圖像畫面來測量圖像畫面的照度，以決定接下來欲播放的主畫面的增益，接著隨後播放的主畫面即根據此增益做調整。無論是照相機或液晶電視，測光的作法上都必須先浪費一張圖像畫面或一測光區，以達到測量圖像畫面照度的目的，在效率上、資源上都不是一個很經濟的作法，且被測光的圖像畫面，並非實際欲拍攝或播放的圖像畫面，因此此傳統做法也不能稱為真正的實時(rea 1 -1 ime)且有效。
測光之後，根據所測得的該圖像畫面的照度，通過查表，選取增益值，調整接下來要拍攝或播放的主畫面。在傳統作法中，該查表是相對應於光學元件中的一拍攝模式，基於平均方法所建立的。然而，這些查表中，並沒有將人眼對光線的敏感度的因子列入考慮，以至於在強光或很暗的環境下，並不能配合環境的照度，提供最佳的增益值操作。

發明內容
本發明的實施例是揭露一種產生圖像畫面增益的方法，包含將圖像畫面的增益"&為1;掃描該圖像畫面的前多列的圖像；平均該前多列的圖像，以求得該前多列的圖像的平均值；根據該平均值，產生相對應的增益；及根據該相對應的增益及該圖像畫面剩餘列的信息，產生該圖像畫面剩餘列的圖像。
本發明的另 一實施例是揭露一種產生圖像畫面增益的方法，包含掃描圖像畫面的前多列的圖像；平均該前多列的圖像，以求得該前多列的圖像的平均值；根據該平均值及該圖像畫面的增益，產生相對應的增益；及根據該相對應的增益及該圖像畫面剩餘列的信息，產生該圖像畫面剩餘列的圖像。


圖1為三條不同的人眼對圖像畫面的照度的感測曲線所構成的曲線圖。圖2為一具有2. 4%的固定模式噪音的圖像畫面圖。圖3為一可編程增益控制放大器所控制的增益與固定模式噪音的關係柱狀圖。
圖4為輸入電壓與經過增益調整後的輸出電壓的關係圖。
圖5為本發明的第一實施例方法的流程圖。
圖6為本發明的線路示意圖。
圖7為本發明的第二實施例方法的流程圖。
100像素陣列
102， 104垂直掃描器
106， 108電容儲電模塊
110, 112水平掃描器
114, 116可編程增益控制放大器
10， 12, 14， 16， 18, 20, 30, 32 ,34， 36, 38, 40步驟
具體實施例方式
針對傳統作法的缺點，本發明提出了一個利用目前的圖像畫面的虛列
(dummy row)來進行測光，而不需要另外使用 一張圖^f象畫面或一測光區，且查表的建立則考慮人眼對光線的敏感度，以求得一較佳的增益值的作法，來改善傳統作法的缺點。
若將前述的視覺理論應用到圖像處理中，當圖像畫面的照度很高，便將此圖像畫面整體的增益加大；相反地，如果圖像畫面的照度很低，則將此圖像畫面整體的增益減少。該增益是通過可編程增益控制放大器(ProgrammableGain Amplifier, PGA)來控制。當此圖像畫面整體的增益被加大之後，圖像畫面的照度增大，色彩對比增大，固定模式噪音也會被放大。但若此圖像畫面的照度很高，雖然固定模式噪音被加大，人類的視覺系統並不容易察覺此固定模式噪音所造成的圖像畫面各行列之間的照度差異，但卻可輕易地察覺色彩對比增大後的效果，而對此圖像畫面產生更加色彩繽紛的錯覺。相反地，當圖像畫面的增益被減少之後，該圖像畫面的照度會降低，色彩對比降低，固定模式噪音也會降低。但若此圖像畫面的照度本來就很低，此時人類的視覺系統很容易察覺圖像畫面照度的變化，因此固定模式噪音被降低，可減少人類視覺系統覺知固定模式噪音對該圖像畫面所帶來的幹擾。請參看圖3。圖3為可編程增益控制放大器所控制的增益與固定才莫式噪音的關係柱狀圖。圖3的縱軸為固定模式噪音的百分比，橫軸為可編程增益控制放大器的增益值。圖3中每一增益值對應有兩條長柱， 一長柱代表所預測的固定模式噪音的百分比，另一長柱代表實際測試所得的固定模式噪音的百分比。由圖中可看出固定模式噪音與該可編程增益控制放大器的增益是成正比。接下來請參看圖4。圖4為輸入電壓與經過增益調整後的輸出電壓的關係圖。該圖中的曲線上每一點的斜率為可編程增益控制放大器的增益值。該增益值是根據人眼對光線的敏感度而產生。簡言之，畫面愈暗時，增益值越小；畫面愈亮時，增益值越大。此圖亦即本發明的增益值查表所建立的基礎。
請參看圖5。圖5為本發明的第一實施例產生圖像畫面增益的方法的流程圖。圖5中的步驟包含
步驟10:設定可編程增益控制放大器的增益值為1。
步驟12:開始逐列掃描圖像畫面。
步驟14:通過逐列掃描，獲得該圖像畫面前18列虛列的圖像。
步驟16:平均該前18列虛列的圖像，產生平均值。
步驟18:根據該平均值，於已建立的增益值查表中，尋找相對應的增益值。
步驟20:繼續該圖像畫面剩餘列(即主畫面)的逐列掃描，並根據該相對應的增益值，調整逐列掃描所得的該主畫面的信息，以產生該主畫面的圖像。
在本第一實施例當中，首先在未掃描圖像畫面之前，先將可編程增益控制放大器的增益值設為1，使得掃描所得的圖像畫面的信息與經過該增益值調整後的圖像畫面的圖像相同。接著開始逐列掃描圖像畫面，並獲得該圖像畫面前18列虛列的圖像。請注意本實施例中所選取的前18列虛列，是為了舉例說明，並非用來限定本發明，虛列數目的選取，是根據該圖像畫面的解析度等等情形而定。"虛列，，是位於圖像畫面的邊緣，"虛列"所包含的圖
像數據，因為邊緣起始的種種效應，並無法當成主畫面使用，但若用於測量該圖像畫面的照度，實為足夠。所選取的虛列數目越多，掃描所得的信息越接近整個圖像畫面，查表後所得的增益值越能將該圖像畫面調整為較佳的狀態，但是相對地，主畫面(該圖像畫面剩餘列)的列數減少，解析度降低；反之，若所選取的虛列數目越少，掃描所得的信息越不接近整個圖像畫面，查表後所得的增益值越難以將該圖像畫面調整為較佳的狀態，但相對地，主畫面(該圖像畫面剩餘列)的列數增加，解析度提高。因此，如何在虛列數目與解析度之間，求得一平衡，端賴設計者個人自行判斷。
接著平均該前18列虛列的圖像，產生平均值，並根據該平均值，於已建立的增益值查表中，尋找相對應的增益值。請注意本發明的查表是根據人眼對光線的敏感度所建立，通過平均的方法，例如加權平均等等，將不同的人眼對光線的敏感度的曲線最佳化所建立的查表，在較低的圖像畫面照度時，對應至較低的增益，較高的圖像畫面照度時，對應至較高的增益。如前述，本查表中所得的圖像畫面增益值，在圖像畫面照度低時，會降低固定模式噪音對圖像畫面的影響；在圖像畫面照度高時，因人眼對光線的敏感度的關係，也不至於太強烈地感受到放大固定模式噪音對圖像畫面的影響。本發明的光學系統中，查表可能具有多張，每一張對應於該光學元件中不同的拍攝模式，例如夜間拍攝模式、自動拍攝模式等等。接著再繼續逐列掃描該圖像畫面剩餘列(即主畫面)的信息，並根據查表中所選取的增益值，調整逐列掃描所得的該主畫面的信息，以產生該主畫面的圖像。請注意本實施例中用來說明的步驟順序，只是一個例子，並非用來限定本發明，凡不偏離本發明的精神，能夠達到同樣目的的步驟順序，亦應屬於本發明所涵蓋的範疇。
請參看圖6。圖6為本發明實施例的線路示意圖。圖6中包含640*488 (VGA解析度)的像素陣列(pixel array) 100，垂直掃描器(vertical sca簡r)102、104，電容儲電才莫塊(capacitor bank) 106、 108，水平掃描器(horizontalscanner) 110、 112(亦即移位寄存器，shift register),以及可編程增益控制放大器114、 116。垂直掃描器102由下往上掃描像素陣列100,先逐列掃描前18列虛列的數據，掃描第一列的數據後儲存於電容儲電模塊106中，再通過水平掃描器110依照所輸入的時序，以序列的方式傳送出來，經過可編程增益控制放大器114調整後輸出。第一列的數據全部輸出完畢後，垂直掃描器再進行第二列數據的掃描，直到前18列虛列數據都掃描完畢。本發明的第一實施例當中，先將可編程增益控制放大器的增益設為1,再進行掃描，故此掃描所得的前18列虛列的數據等於可編程增益控制放大器輸出的圖像。列數據在序列輸出後，外部線路即同步進行平均的淨喿作，如圖5中的步驟16,同步平均該前18列虛列的圖像，產生平均值，並根據該平均值，於已建立的增益值查表中，尋找相對應的增益值。找到該相對應的增益值後，垂直掃描器繼續由下往上逐列掃描主畫面(該圖像畫面剩餘歹lj)部分的數據，並依照同樣的流程，輸出至可編程增益控制放大器，而可編程增益控制放大器則依據
該相對應的增益值，調整掃描所得主畫面的數據後^r出。
若在未掃描圖像畫面之前，可編程增益控制》文大器的增益值並未被先設為i，則一旦開始逐列掃描之後，所獲得的該圖像畫面前18列虛列的圖像，經過平均得到平均值之後，需再除以該可編程增益控制放大器的增益值，以獲得原始的圖像畫面前18列虛列的數據的平均值。獲得原始的圖像畫面前
18列虛列的數據的平均值之後，再經由查表，找出相對應的增益值。接著根據該相對應的增益值，調整繼續逐列掃描所得的該主畫面(該圖像畫面剩餘歹'J)的信息，以產生該主畫面的圖像。請參考圖7。圖7為本發明的第二實施例產生圖像畫面增益的方法的流程圖。圖7中的步驟包含步驟30:開始逐列掃描圖像畫面。
步驟32:通過逐列掃描，獲得該圖像畫面前18列虛列的圖像。
步驟34:平均該前18列虛列的圖像，產生平均值。
步驟36:將該平均值除以可編程增益控制放大器的增益值，以獲得原始該圖像畫面前18列虛列的數據的平均值。
步驟38:根據原始該圖像畫面前18列虛列的^t據的平均值，於已建立的增益值查表中，尋找相對應的增益值。
步驟40:繼續該圖像畫面剩餘列(即主畫面)的逐列掃描，並根據該相對應的增益值，調整逐列掃描所得的該主畫面的信息，以產生該主畫面的圖像。
請注意本實施例中用來說明的步驟順序，只是一個例子，並非用來限定本發明，凡不偏離本發明的精神，能夠達到同樣目的的步驟順序，亦應屬於本發明所涵蓋的範疇。
本發明中建立增益值查表時，除了須考慮人眼對光線的敏感度，亦須考慮液晶電視像素陣列上方的微透鏡(raicrolens)的擺放方式、以及製程的方式
等等。不同的像素陣列上方的微透鏡的擺放方式，例如一個像素的上方擺放一個微透鏡、或四個像素的上方擺放一個微透鏡等等，以及不同的製程方式，例如零點一三製程、零點一八製程等等，都會影響本發明中查表的建立方法。總而言之，本發明是提供一種利用圖像畫面的虛列進行掃描，求得該圖像畫面的虛列的圖像的平均值，並根據該平均值，從根據人眼對光線的敏感度所建立的查表中，尋找相對應的增益值，再根據該相對應的增益值，調整該圖像畫面的主畫面的數據，以求得該主畫面的圖像的方法。本發明不需要 另外使用圖像畫面進行掃描，或另外建立測光區，且逐列掃描所得的數據均 為同一畫面，較具參考價值，而所根據的查表更能提供適當的增益值，將主 畫面調整為較佳的狀態，以利後端進行圖像處理，實為一有效又不浪費系統 資源的方法。
以上所述僅為本發明的較佳實施例，凡依本發明權利要求範圍所做的均 等變化與修飾，皆應屬本發明的涵蓋範圍。
權利要求
1.一種產生圖像畫面增益的方法，包含將圖像畫面的增益設為1；掃描該圖像畫面的前多列的圖像；平均該前多列的圖像，以求得該前多列的圖像的平均值；根據該平均值，產生相對應的增益；及根據該相對應的增益及該圖像畫面剩餘列的信息，產生該圖像畫面剩餘列的圖像。
2. 根據權利要求1所述的方法，其中掃描該圖像畫面的前多列的圖像為 掃描該圖像畫面的前多列的虛列的圖像。
3. 根據權利要求1所述的方法，其中根據該平均值，產生該相對應的增 益為根據該平均值，以查表的方式產生該相對應的增益。
4. 根據權利要求3所述的方法，其中該查表的方式所查的查表是對應於 該圖像畫面所存在的光學系統中的預設的操作模式。
5. 根據權利要求4所述的方法，其中該查表是根據人眼對光線的敏感度 所建立。
6. 根據權利要求1所述的方法，其中較低的平均值是對應至較低的增益。
7. 根據權利要求1所述的方法，其中較高的平均值是對應至較高的增益。
8. 根據權利要求1所述的方法，其中該圖像畫面為液晶電視所播放的圖 ^f象畫面。
9. 根據權利要求1所述的方法，其中該圖像畫面為數位照相機的液晶面 板所顯示的圖像畫面。
10. 根據權利要求1所述的方法，其中根據該相對應的增益及該圖像畫 面剩餘列的信息，產生該圖像畫面剩餘列的圖像是根據該相對應的增益與該 圖像畫面剩餘列的各個像素的信息的乘積，產生該圖像畫面剩餘列的圖像。
11. 一種產生圖像畫面增益的方法，包含 掃描圖像畫面的前多列的圖像；平均該前多列的圖像，以求得該前多列的圖像的平均值；根據該平均值及該圖像畫面的增益，產生相對應的增益；及根據該相對應的增益及該圖像畫面剩餘列的信息，產生該圖像畫面剩餘列的圖像。
12. 根據權利要求11所述的方法，其中掃描該圖像畫面的前多列的圖像為掃描該圖像畫面的前多列的虛列的圖像。
13. 根據權利要求11所述的方法，其中根據該平均值，產生該相對應的增益為4艮據該平均值，以查表的方式產生該相對應的增益。
14. 根據權利要求13所述的方法，其中該查表的方式所查的查表是對應於該圖像畫面所存在的光學系統中的預設的操作模式。
15. 根據權利要求14所述的方法，其中該查表是根據人眼對光線的敏感度所建立。
16. 根據權利要求11所述的方法，其中較低的平均值是對應至較低的增益。
17. 根據權利要求11所述的方法，其中較高的平均值是對應至較高的增益。
18. 根據權利要求11所述的方法，其中該圖像畫面為液晶電視所播放的圖像畫面。
19. 根據權利要求11所述的方法，其中該圖像畫面為數位照相機的液晶面板所顯示的圖像畫面。
20. 根據權利要求11所述的方法，其中根據該相對應的增益及該圖像畫面剩餘列的信息，產生該圖像畫面剩餘列的圖像是根據該相對應的增益與該圖像畫面剩餘列的各個像素的信息的乘積，產生該圖像畫面剩餘列的圖像。
21. 根據權利要求11所述的方法，其中根據該平均值及該圖像畫面的該增益，產生該相對應的增益為將該平均值除以該圖^f象畫面的該增益，以產生該相對應的增益。
全文摘要
根據人眼對光線的敏感度，建立增益值查表，根據該查表，產生圖像畫面增益的方法。該方法的步驟包含將圖像畫面的增益設為1；掃描該圖像畫面前多列的圖像；平均該前多列圖像，以求得該前多列圖像的平均值；根據該平均值，從該增益值查表中，尋找相對應的增益值；以及根據該相對應的增益值，調整該圖像畫面剩餘列的信息，以產生該圖像畫面剩餘列的圖像。
文檔編號G09G3/36GK101686353SQ20081016878
公開日2010年3月31日 申請日期2008年9月28日 優先權日2008年9月28日
發明者吳宗謙, 張喬富, 施俊吉, 李淵哲 申請人:聯華電子股份有限公司