壞像素處理方法與圖像處理裝置製造方法
2023-06-13 05:51:11 2
壞像素處理方法與圖像處理裝置製造方法
【專利摘要】本發明提供一種壞像素處理方法與圖像處理裝置。此方法包括：取得多個像素，其中所述像素中的多個第一像素具有第一曝光時間，所述像素中的多個第二像素具有第二曝光時間，第一曝光時間不同於第二曝光時間，且所述像素中的當前像素屬於第一曝光時間；調整各第二像素的顏色值以對應至第一曝光時間；判斷所述像素是否過曝光以產生判斷結果；根據所述第一像素、調整後的所述第二像素與判斷結果來判斷當前像素是否為壞像素；以及若當前像素為壞像素，修正當前像素。藉此，可以準確地判斷出壞像素。
【專利說明】壞像素處理方法與圖像處理裝置
【技術領域】
[0001]本發明是有關於一種圖像處理技術，且特別是有關於一種針對有不同曝光時間的圖像的壞像素處理方法與圖像處理裝置。
【背景技術】
[0002]所謂「動態範圍」，是指畫面中的最大亮度值與最小亮度值的範圍或比值。對於攝影而言，動態範圍又可分為「圖像傳感器的動態範圍」和「場景的動態範圍」。其中，圖像傳感器的動態範圍是指感光元件所能接受亮度變化的範圍。場景的動態範圍是指拍攝場景中的亮度差異範圍，也就是畫面中最亮區域和最暗區域的差異。
[0003]當場景的動態範圍大於圖像傳感器的動態範圍時，代表拍攝場景中有極端的売部與暗部，超出了感光元件所能記錄的色階，因此照片中會出現全黑或全白的區塊。為了克服此缺陷，高動態範圍(High Dynamic Range, HDR)圖像傳感器通過圖像處理技術,使得處理後圖像的動態範圍大於一般相機獲取的單一圖像所提供的動態範圍。
[0004]高動態範圍圖像傳感器的其中一種操作模式為產生同畫面中兩條長曝光及兩條短曝光連續交替的圖像。利用長曝光及短曝光連續交替拍攝所得的單一圖像中會產生部分的像素與其他的像素有不同的曝光時間，但現有的壞點修正技術是基於單一圖像僅有單一曝光時間的假設。也就是說，使用長曝光及短曝光連續交替拍攝所得的單一圖像並無法直接應用現有的壞點修正技術。據此，上述的壞點修正問題將影響高動態範圍圖像的品質。
【發明內容】
[0005]本發明提供一種壞像素處理方法與圖像處理裝置，可以在一張圖像有不同曝光時間的情況下檢測壞像素並修正壞像素。
[0006]本發明一實施例提出一種壞像素處理方法，用於圖像處理裝置。此方法包括:取得多個像素，其中所述像素中的多個第一像素具有第一曝光時間，所述像素中的多個第二像素具有第二曝光時間，第一曝光時間不同於第二曝光時間，且所述像素中的當前像素屬於第一曝光時間；調整各第二像素的顏色值以對應至第一曝光時間；判斷所述像素是否過曝光以產生判斷結果；根據所述第一像素、調整後的所述第二像素與判斷結果來判斷當前像素是否為壞像素；以及若當前像素為壞像素，修正當前像素。
[0007]在一實施例中，上述的第一曝光時間為短曝光與長曝光的其中之一，第二曝光時間為短曝光與長曝光的其中之另一，並且，上述調整各第二像素的顏色值以對應至第一曝光時間的步驟包括:若第二曝光時間為短曝光，將各第二像素的顏色值乘上一個增益，其中增益是根據第一曝光時間與第二曝光時間所計算出；以及若第二曝光時間為長曝光，將各第二像素的顏色值除以增益。
[0008]在一實施例中，上述判斷所述像素是否過曝光以產生判斷結果的步驟包括:取得所述像素中的測試像素；若測試像素具有長曝光，判斷測試像素的顏色值是否大於第一臨界值，並且若測試像素的顏色值大於第一臨界值，判斷測試像素為過曝光；若測試像素具有短曝光，判斷測試像素的顏色值乘上增益之後的乘積是否大於第二臨界值，並且若乘積大於第二臨界值，判斷測試像素為過曝光；以及在判斷結果中標記測試像素是否為過曝光。
[0009]在一實施例中，上述像素中的多個第三像素與當前像素具有相同的通道，並且上述判斷當前像素是否為壞像素的步驟包括:根據判斷結果判斷每一第三像素是否為過曝光；對於每一第三像素，若對應的第三像素為過曝光，則更新一個計數值；對於每一第三像素，若對應的第三像素不為過曝光，則根據對應的第三像素的顏色值與當前像素的顏色值之間的差值來更新計數值；判斷計數值是否大於第三臨界值；以及若計數值不大於第三臨界值，判斷當前像素不為壞像素。
[0010]在一實施例中，上述根據對應的第三像素的顏色值與當前像素的顏色值之間的差值來更新計數值的步驟包括:根據當前像素的顏色值來決定第四臨界值與第五臨界值；若差值大於第四臨界值，更新計數值；若差值小於第五臨界值，更新計數值；以及若差值介於第四臨界值與第五臨界值之間，則維持計數值不變。
[0011]在一實施例中，上述判斷當前像素是否為壞像素的步驟還包括:若計數值大於第三臨界值，判斷所述第三像素的其中之一是否為過曝光；以及若所述第三像素的其中之任一為過曝光，判斷當前像素為壞像素。
[0012]在一實施例中，上述修正當前像素的步驟包括:根據具有第一曝光時間的所述第三像素來修正當前像素。
[0013]在一實施例中，上述根據具有第一曝光時間的所述第三像素來修正當前像素的步驟是根據加權平均算法所執行。
[0014]本發明的另一實施例提出一種圖像處理裝置，包括上行取樣電路、檢測電路以及修復電路。上行取樣電路用以取得多個像素，其中所述像素中的多個第一像素具有第一曝光時間，所述像素中的多個第二像素具有第二曝光時間，第一曝光時間不同於第二曝光時間，並且所述像素中的當前像素屬於第一曝光時間，其中上行取樣電路用以調整各第二像素的顏色值以對應至第一曝光時間，並且判斷像素是否過曝光以產生判斷結果。檢測電路耦接至上行取樣電路，用以根據第一像素、調整後的第二像素與判斷結果來判斷當前像素是否為壞像素。修復電路耦接至檢測電路，若當前像素為壞像素，檢測電路用以修正當前像素。
[0015]在一實施例中，上述的第一曝光時間為短曝光與長曝光的其中之一，第二曝光時間為短曝光與長曝光的其中之另一，上述上行取樣電路調整各第二像素的顏色值以對應至第一曝光時間的操作包括:若第二曝光時間為短曝光，上行取樣電路將各第二像素的顏色值乘上一個增益，其中增益是根據第一曝光時間與第二曝光時間所計算出；以及若第二曝光時間為長曝光，上行取樣電路將各第二像素的顏色值除以增益。
[0016]在一實施例中，上述的上行取樣電路判斷所述像素是否過曝光以產生判斷結果的操作包括:上行取樣電路取得所述像素中的測試像素；若測試像素具有長曝光，上行取樣電路判斷測試像素的顏色值是否大於第一臨界值，並且若測試像素的顏色值大於第一臨界值，上行取樣電路判斷測試像素為過曝光；若測試像素具有短曝光，上行取樣電路判斷測試像素的顏色值乘上增益之後的一個乘積是否大於第二臨界值，並且若乘積大於第二臨界值，上行取樣電路判斷測試像素為過曝光；以及上行取樣電路在判斷結果中標記測試像素是否為過曝光。
[0017]在一實施例中，上述像素中的多個第三像素與當前像素具有相同的通道，檢測電路判斷當前像素是否為壞像素的操作包括:檢測電路根據判斷結果判斷每一第三像素是否為過曝光；對於每一第三像素，若對應的第三像素為過曝光，則檢測電路更新一個計數值；對於每一第三像素，若對應的第三像素不為過曝光，則檢測電路根據對應的第三像素的顏色值與當前像素的顏色值之間的差值來更新計數值；檢測電路判斷計數值是否大於第三臨界值；以及若計數值不大於第三臨界值，檢測電路判斷當前像素不為壞像素。
[0018]在一實施例中，上述的檢測電路根據對應的第三像素的顏色值與當前像素的顏色值之間的差值來更新計數值的操作包括:檢測電路根據當前像素的顏色值來決定第四臨界值與第五臨界值；若差值大於第四臨界值，檢測電路更新計數值；若差值小於第五臨界值，檢測電路更新計數值；以及若差值介於第四臨界值與第五臨界值之間，則檢測電路維持計數值不變。
[0019]在一實施例中，上述若計數值大於第三臨界值，檢測電路更判斷所述第三像素的其中之一是否為過曝光，若所述第三像素的其中之任一為過曝光，檢測電路判斷當前像素為壞像素。
[0020]在一實施例中，上述的修復電路是根據具有第一曝光時間的所述第三像素來修正當前像素。
[0021]在一實施例中，上述的修復電路是根據加權平均算法來執行上述根據具有第一曝光時間的所述第三像素來修正當前像素的操作。
[0022]基於上述，本發明實施例所提出的壞像素處理方法與圖像處理裝置，會將不同於當前像素的曝光時間的第一像素/第二像素的顏色值進行調整，以對應至當前像素的曝光時間。並且，像素是否過曝光的判斷結果會用來判斷當前像素是否為壞像素，並進一步對壞像素進行修正。藉此，可以在圖像有不同曝光時間的情況下檢測出壞像素。
[0023]為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合附圖作詳細說明如下。
【專利附圖】
【附圖說明】
[0024]圖1是依照本發明一實施例所繪示的圖像處理裝置的方塊圖；
[0025]圖2是依照本發明一實施例所繪示的圖像傳感器採用不同曝光時間所獲得的原始圖像的示意圖；
[0026]圖3是依照本發明一實施例所繪示的操作區塊進行區塊處理的過程示意圖；
[0027]圖4是依照本發明一實施例所繪示的壞像素處理方法的流程圖；
[0028]圖5是依照本發明一實施例所繪示的壞像素處理方法的流程圖。
[0029]附圖標記說明:
[0030]100:圖像處理裝置；
[0031]102:上行取樣電路；
[0032]104:檢測電路；
[0033]106:修復電路；
[0034]200:原始圖像；
[0035]R1?R8:水平像素列；
[0036]W1?W3:操作區塊；
[0037]LE:長曝光時間；
[0038]SE:短曝光時間；
[0039]G1-, B2> G3、B4> G5-, R6-, G7-, R8-, G9-, R10-.G11 > B12、G13、B14、B15-, R16-, G17-, R18-, G19、R20-> G21 > B22、G23、B24, G25, G/、B2』、G3』、B/、G5』、R6』、G/、R8』、G9』、R10，、G2/、B22' G23，、B24，、G25』:像素；
[0040]Ws:短曝光區塊；
[0041]310:判斷結果；
[0042]S401?S409、S501?S513:壞像素處理方法的各步驟。
【具體實施方式】
[0043]現有的壞像素檢測方法是基於一張全畫面為單一曝光時間的圖像所做的處理，而當欲處理的圖像變成兩條長曝光線與兩條短曝光線連續交替出現的圖像時，例如對於高動態範圍圖像傳感器(HDR sensor)所產生的圖像，則此種方法已無法直接應用。即使針對具有單一曝光時間的區域做壞點檢測修復，但由於區域中最鄰近、具有相同曝光時間、且同顏色之像素不夠靠近欲檢測的像素，因此會增加誤判或是檢測不到的機率，從而影響修復的品質。為了提高檢測壞像素的機率與修復品質，針對欲處理的像素而言，倘若能對此欲處理的像素的周圍像素進行上行取樣(upsampling),同時標記哪些周圍像素具有過曝光情況，最後利用執行上行取樣後的像素與上述的標記以進行壞像素檢測與修復，則將可準確的檢測出壞像素並進行修復。本發明便是基於上述觀點而提出的壞像素處理方法與圖像處理裝置。為了使本發明之內容更為明了，以下特舉實施例做為本發明確實能夠據以實施的範例。
[0044]圖1是依照本發明一實施例所繪示的圖像處理裝置的方塊圖。請參照圖1，圖像處理裝置100包括上行取樣電路102、檢測電路104以及修復電路106。圖像處理裝置100例如是數位相機、數碼單反(Digital Single Lens Reflex,DSLR)相機、數碼攝像機(DigitalVideo Camcorder, DVC)等。在另一實施例中，圖像處理裝置100可內建於智慧型手機、平板電腦或筆記本電腦等電子裝置，不限於上述。
[0045]在本實施例中，圖像處理裝置100可具有圖像傳感器(未繪示)，而此圖像傳感器是用以進行拍攝並獲取圖像。其中，圖像傳感器可包括鏡頭、感光元件以及快門組件等。感光兀件例如是互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor, CMOS)元件或其他元件。快門組件例如由多個葉片(blades)及驅動組件所構成，而可用以逐條(line-by-line)控制這些感光元件中每條水平感光元件的曝光時間。需說明的是，上述的圖像傳感器會依據第一曝光時間(本實施例舉例為長曝光時間，簡稱長曝光)與第二曝光時間(本實施例舉例為短曝光時間，簡稱短曝光)連續交錯拍攝而得到一個原始圖像，其中長曝光時間不同於短曝光時間。在一實施例中，上述的圖像傳感器例如可控制兩條水平像素列為長曝光進行拍攝，兩條水平像素列為短曝光進行拍攝，依次交替進行。
[0046]舉例來說，圖2是依照本發明一實施例所繪示的圖像傳感器採用不同曝光時間所獲得的原始圖像的示意圖。請參照圖2，原始圖像200中的第一水平像素列R1及第二水平像素列R2是採用長曝光LE ;第三水平像素列R3及第四水平像素列R4是採用短曝光SE ;第五水平像素列R5及第六水平像素列R6是採用長曝光LE ;第七水平像素列R7及第八水平像素列R8是採用短曝光SE。圖像傳感器採用長短曝光交錯的方式不限於上述，在另一實施範例中，圖像傳感器也可針對單數的水平像素列進行長曝光拍攝，而針對雙數的水平像素列進行短曝光拍攝。或者，圖像傳感器可以對三條水平像素列進行長曝光以後，對兩條水平像素列進行短曝光。
[0047]在此說明的是，本實施例的圖像處理裝置100例如是以操作區塊為單位來進行壞像素檢測與修復。詳細地說，操作區塊又可稱之為視窗(window)，操作區塊的尺寸例如為N*N像素，其中N為正整數，但本發明並不限制N的數值。原始圖像200中的操作區塊1、W2> W3的尺寸例如設定為5*5像素。需說明的是，原始圖像200的操作區塊並不限於3個，在此僅作為舉例解說之用，實際應用上可針對每一輸出像素設定其所屬的操作區塊。對於每一個操作區塊，圖像處理裝置100的會產生一個像素。
[0048]圖3是依照本發明一實施例所繪示的操作區塊W1進行區塊處理的過程示意圖。請參照圖3,在本實施例中，操作區塊W1包括了 25個像素,而欲處理的像素為像素G13。操作區塊W1中的25個像素為貝爾排列(bayer arrangement),並且每一個像素擁有一個顏色值(或稱通道)。例如，像素GpGyG5等擁有綠色的顏色值；像素B2、B4等擁有藍色的顏色值；而像素R6、R8、R10等擁有紅色的顏色值。值得注意的是，圖3中的貝爾排列僅是一個範例，在其他實施例中，操作區塊W1可以有其他的排列方式。例如，操作區塊W1中像素列R1的第一個像素可以從藍色或是紅色的像素開始排列，本發明並不以此為限。操作區塊W1中的像素 G1' B2、G3、B4、G5、R6、G7、R8、G9、R1q、G21、B22、G23、B24 與像素 G25 具有長曝光時間；而像素 Gn、B12、G13、B14, G15, R16, G17, R18, G19與像素R2tl具有短曝光時間。以下稱具有長曝光時間的像素為長曝光像素，稱有短曝光時間的像素為短曝光像素。
[0049]底下即搭配圖1與圖3來說明圖像處理裝置100中的上行取樣電路102、檢測電路104以及修復電路106的功能。請參照圖1與圖3，本實施例稱欲處理的像素G13為當前像素G13，且當前像素G13的曝光時間屬於短曝光。在此，針對屬於短曝光的當前像素G13而言，上行取樣電路102會調整長曝光像素的顏色值，以使這些長曝光像素的顏色值對應至當前像素G13的曝光時間。上述上行取樣電路102調整長曝光像素的顏色值以對應至當前像素G13的曝光時間的步驟也可被稱為上行取樣(upsampling)。具體來說，上行取樣電路102在執行上述上行取樣時，會將各長曝光像素的顏色值除以一個增益(此增益例如為上述的長曝光時間與短曝光時間的比率)。另一方面，上行取樣電路102會維持短曝光像素的顏色值不變。如此一來，上行取樣電路102可以得到短曝光區塊如，其中像素61』、82』、63』、84』、匕』、R6』、G/、R8』、G9』、R1Q』、G2/、B22』、G2/、B24，與像素G25，的顏色值是對應至短曝光時間。
[0050]需說明的是，本實施例雖是以屬於短曝光的當前像素G13為例，但本實施例並不限制當前像素G13的曝光時間是短曝光。在另一實施例中，當前像素G13的曝光時間也可以是長曝光。在此另一實施例中，上行取樣電路102會調整操作區塊中短曝光像素的顏色值以對應至長曝光時間。舉例來說，上行取樣電路102會將各短曝光像素的顏色值乘上一個增益。此增益是根據長曝光時間與短曝光時間所計算出(例如為長曝光時間與短曝光時間的比率)。
[0051]上行取樣電路102也會判斷操作區塊W1中的像素是否過曝光以產生一個判斷結果。具體來說，上行取樣電路102會先取得操作區塊W1中除了像素G13以外的一個像素(也稱測試像素)。若一個測試像素具有長曝光，則上行取樣電路102會判斷此測試像素的顏色值是否大於第一臨界值。若此測試像素的顏色值大於第一臨界值，則上行取樣電路102會判斷此測試像素為過曝光，並且上行取樣電路102將會在判斷結果310中標記此測試像素為過曝光。倘若一個測試像素具有短曝光，則上行取樣電路102會判斷此測試像素的顏色值乘於上述增益之後的乘積是否大於第二臨界值。若此乘積大於第二臨界值，則上行取樣電路102會判斷此測試像素為過曝光，且上行取樣電路102將會在判斷結果310中標記此測試像素為過曝光。然而，本發明並不限制上述第一臨界值與第二臨界值為多少。在此，判斷結果310是以一個矩陣(或稱遮罩)來表示，其中數值「I」表示對應的測試像素有過曝光，並且數值「O」表示對應的測試像素沒有過曝光。例如，像素G7與像素G9為過曝光。值得注意的是，判斷結果310也表示短曝光區塊Ws中的一個像素是否過曝光。即，像素G/與像素G9』是被標記為過曝光。
[0052]在另一實施例中，當前像素G13的曝光時間為長曝光時，而上行取樣電路102同樣會產生一個判斷結果。其中產生判斷結果的方法和上述產生判斷結果310的方法相同，因此不再贅述。
[0053]請參照圖1與圖3，檢測電路104耦接至上行取樣電路102，其中檢測電路104用以判斷當前像素G13是否為壞像素。針對屬於短曝光的當前像素G13而言，檢測電路104會根據短曝光區塊Ws中的短曝光像素、調整後的長曝光像素與判斷結果310來判斷當前像素G13是否為壞像素。並且，檢測電路104是依據與當前像素G13具有相同的通道的像素(也稱第三像素)來進行判斷。在本實施例中，由於當前像素G13具有通道G，因此上述的第三像素為像素 G/、G/、G5，、G/、G9，、Gn、G13、G15, G17, G19, G21 \ G23，與像素 G25』。檢測電路 104會根據判斷結果310判斷每個第三像素是否為過曝光。對於每個第三像素，若判斷結果310中對應的第三像素為過曝光，則檢測電路104更新一個計數值(例如，加上I)。
[0054]另一方面，對於每個第三像素，若判斷結果310中對應的第三像素不為過曝光，則檢測電路104會根據對應的第三像素的顏色值與當前像素G13的顏色值之間的差值來更新上述的計數值。舉例來說，檢測電路104會計算一個第三像素(例如，像素G1)的顏色值與當前像素G13的顏色值之間的差值。若此差值大於一個第四臨界值，則檢測電路104會更新上述的計數值(例如，加上I)。若此差值小於一個第五臨界值，則檢測電路104也會更新計數值(例如，加上I)。若像素G1與像素G13的顏色值的差值介於第四臨界值與第五臨界值之間，則檢測電路104維持計數值不變。其中，檢測電路104還可根據當前像素G13的顏色值來決定上述的第四臨界值與第五臨界值。舉例來說，噹噹前像素G13的顏色值越大時，則第四臨界值會越大且第五臨界值會越小。然而，本發明並不限定第四臨界值與第五臨界值為多少。
[0055]當上述的計數值越大時，表示當前像素G13越有可能是壞像素。檢測電路104會判斷上述的計數值是否大於一個第三臨界值。若上述的計數值不大於第三臨界值，則檢測電路104會判斷當前像素G13不為壞像素，並且輸出當前像素G13。若上述的計數值大於第三臨界值，則表示當前像素G13是一個壞像素。特別的是，檢測電路104更會判斷第三像素的其中之一是否為過曝光，藉此用不同的方式來修復當前像素G13。具體來說，若第三像素的其中之任一為過曝光，則檢測電路104會判斷當前像素G13為壞像素，且修復電路106會根據與當前像素G13具有相同的通道、相同曝光時間的第三像素來修正當前像素G13。舉例來說，假設當前像素G13被判斷為壞像素，且周圍有一個第三像素(即，像素G/或像素G9』)為過曝光，因此修復電路106會根據屬於短曝光的第三像素，即像素Gn、G15, G17與像素G19來修正當前像素G13。在一實施例中，修復電路106例如是根據加權平均算法來執行上述對當前像素G13的修正。具體而言，修復電路106會根據具有短曝光時間的第三像素Gn、G15、G17與像素G19的顏色值來執行加權平均算法，並根據執行加權平均算法所得到的結果來修正當前像素G13的顏色值。因此，在考慮過曝光的情況下，修復電路106並不會利用過曝光的像素G/與像素G9』來修復當前像素G13。
[0056]相反地，若當前像素G13為壞像素，且所有的第三像素都不為過曝光，則修復電路106會根據短曝光區塊Ws中所有的像素來修正當前像素G13。然而，修復電路106可以根據任意的算法來修正當前像素G13，本發明並不以此為限。
[0057]需說明的是，在另一實施例中，檢測電路104也會依照類似的方法，針對屬於長曝光的當前像素來判斷其是否為壞像素。也就是說，檢測電路104會根據屬於長曝光、且與當前像素具有相同通道的第三像素來更新計數值。檢測電路104也會根據第三像素是否過曝光來更新計數值。而修復電路106會依照類似的方法來修正屬於長曝光的當前像素。也就是說，倘若屬於長曝光的當前像素被檢測電路104判斷為壞像素且周圍有一個像素為過曝光，則修復電路106會根據與當前像素具有相同的通道且具有長曝光時間的第三像素來修正此當前像素。
[0058]在此說明的是，本實施例的上行取樣電路102、檢測電路104以及修復電路106可為由一個或數個邏輯門組合而成的硬體電路來實作。或者，在本發明另一實施例中，上行取樣電路102、檢測電路104以及修復電路106的功能可以用電腦程式來實現。這些電腦程式儲存在電子裝置的儲存單元中，並通過一個處理單元來執行。此處理單元為具備運算能力的硬體(例如晶片組、處理器等)，用以控制電子裝置300的整體運行。處理單元例如是中央處理單元(Central Processing Unit, CPU),或是其他可程序化的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor, DSP)、可編程控制器、專用集成電路(Applicat1n Specific Integrated Circuits, ASIC)、可編程邏輯器件(Programmable Logic Device, PLD)或其他類似裝置。此外，上述儲存單元可以是內嵌式儲存單元或外接式儲存單元。內嵌式儲存單元可為隨機存取存儲器(Random AccessMemory, RAM)、只讀存儲器(Read-Only Memory, ROM)、快閃記憶體(Flash memory)、磁碟儲存裝置(Magnetic disk storage device)等。外接式儲存單兀可為小型快閃記憶體(Compact Flash,CF)存儲卡、安全數字(Secure Digital, SD)存儲卡、微安全數字(Micro SD)存儲卡、記憶棒(Memory Stick, MS)等。在本實施例中,儲存單元可儲存一或多個用來執行負載預測方法的程序以及數據等。
[0059]圖4是依照本發明一實施例所繪示的壞像素處理方法的流程圖。請參照圖4，在步驟S401中，取得多個像素，其中所述像素中的多個第一像素具有第一曝光時間，所述像素中的多個第二像素具有第二曝光時間，第一曝光時間不同於第二曝光時間，並且所述像素中的當前像素屬於第一曝光時間。在步驟S403中，調整各第二像素的顏色值以對應至第一曝光時間。在步驟S405中，判斷所述像素是否過曝光以產生判斷結果。在步驟S407中，根據第一像素、調整後的第二像素與判斷結果來判斷當前像素是否為壞像素。在步驟S409中，若當前像素為壞像素，修正當前像素。藉此，本發明可利於進行高動態範圍圖像的壞像素檢測與修復處理，以產生高品質的高動態範圍圖像。需說明的是，在一實施例中，上述的第一曝光時間與第一像素例如是上述的長曝光時間與長曝光像素。但本發明並不以此為限，第一曝光時間與第一像素也可以是短曝光時間與短曝光像素。圖4中各步驟已詳細說明如上，在此不再贅述。值得注意的是，圖4中各步驟可以實現為多個程序或是電路；此外，圖4的方法可以搭配以上實施例使用，也可以單獨使用，本發明並不以此為限。
[0060]為了更清楚說明上述壞像素處理方法，以下再舉一實施例來進行說明。圖5是依照本發明一實施例所繪示的壞像素處理方法的流程圖。
[0061]請參照圖5，在步驟S501中，依據欲處理的當前像素，取得操作區塊中的多個像素。所述像素中的多個第一像素具有第一曝光時間，所述像素中的多個第二像素具有第二曝光時間。第一曝光時間不同於第二曝光時間，並且所述像素中的當前像素屬於第一曝光時間。
[0062]在步驟S503中，調整各第二像素的顏色值以對應至第一曝光時間，並且判斷像素是否過曝光以產生一個判斷結果。
[0063]在步驟S505中，根據該判斷結果判斷操作區塊中的每一第三像素是否為過曝光，其中所述第三像素與當前像素具有相同的通道。對於每一第三像素，若對應的第三像素為過曝光，則更新一個計數值。若有一個第三像素不為過曝光，則此第三像素的顏色值與當前像素的顏色值之間的差值來更新此計數值。最後，判斷此計數值是否大於第三臨界值。
[0064]倘若上述的計數值不大於第三臨界值，則如步驟S507所示，判斷當前像素不為壞像素，並輸出當前像素。
[0065]然而，倘若上述的計數值大於第三臨界值，則如步驟S509所示，判斷所述第三像素的其中之一是否為過曝光。
[0066]在此，倘若所述第三像素皆沒有過曝光，則如步驟S511所示，以基於單一圖像為單一曝光時間的圖像處理方式修正當前像素，並輸出修正後的當前像素。步驟S511可以用任意的算法來修正當前像素，本發明並不以此為限。
[0067]然而，倘若所述第三像素的其中之任一為過曝光，則如步驟S513所示，判斷當前像素為壞像素，並根據具有第一曝光時間的所述第三像素來修正當前像素。
[0068]需說明的是，在一實施例中，上述的第一曝光時間與第一像素例如是上述的長曝光時間與長曝光像素。但本發明並不以此為限，第一曝光時間與第一像素也可以是短曝光時間與短曝光像素。圖5中各步驟已詳細說明如上，在此不再贅述。
[0069]綜上所述，在本發明實施例所提出的壞像素處理方法與圖像處理裝置中，會對當前像素周圍的像素進行上行取樣以得到與當前像素的曝光時間一致的像素資訊，並且會判斷及標記具有過曝情況的像素以得到一個判斷結果，最後再使用上述經上行取樣後的像素資訊與判斷結果進行壞像素檢測與修復。藉此，本發明可利於在有不同曝光時間的圖像中，進行壞像素檢測與修復處理。
[0070]本領域普通技術人員可以理解:實現上述各方法實施例的全部或部分步驟可以通過程序指令相關的硬體來完成。前述的程序可以存儲於一計算機可讀取存儲介質中。該程序在執行時，執行包括上述各方法實施例的步驟；而前述的存儲介質包括:R0M、RAM、磁碟或者光碟等各種可以存儲程序代碼的介質。
[0071]最後應說明的是:以上各實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解:其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換；而這些修改或者替換,並不使相應技術方案的本質脫罔本發明各實施例技術方案的範圍。
【權利要求】
1.一種壞像素處理方法，用於一圖像處理裝置，其特徵在於，包括: 取得多個像素，其中該些像素中的多個第一像素具有一第一曝光時間，該些像素中的多個第二像素具有一第二曝光時間，該第一曝光時間不同於該第二曝光時間，並且該些像素中的一當前像素屬於該第一曝光時間； 調整各該些第二像素的一顏色值以對應至該第一曝光時間； 判斷該些像素是否過曝光以產生一判斷結果； 根據該些第一像素、調整後的該些第二像素與該判斷結果來判斷該當前像素是否為一壞像素；以及 若該當前像素為該壞像素，修正該當前像素。
2.根據權利要求1所述的壞像素處理方法，其特徵在於，該第一曝光時間為一短曝光與一長曝光的其中之一，該第二曝光時間為該短曝光與該長曝光的其中之另一，並且上述調整各該些第二像素的該顏色值以對應至該第一曝光時間的步驟包括: 若該第二曝光時間為該短曝光，將各該些第二像素的該顏色值乘上一增益，其中該增益是根據該第一曝光時間與該第二曝光時間所計算出；以及 若該第二曝光時間為該長曝光，將各該些第二像素的該顏色值除以該增益。
3.根據權利要求2所述的壞像素處理方法，其特徵在於，判斷該些像素是否過曝光以產生該判斷結果的步驟包括: 取得該些像素中的一測試像素； 若該測試像素具有該長曝光，判斷該測試像素的一顏色值是否大於一第一臨界值，並且若該測試像素的該顏色值大於該第一臨界值，判斷該測試像素為過曝光； 若該測試像素具有該短曝光，判斷該測試像素的該顏色值乘上該增益之後的一乘積是否大於一第二臨界值，並且若該乘積大於該第二臨界值，判斷該測試像素為過曝光；以及在該判斷結果中標記該測試像素是否為過曝光。
4.根據權利要求1所述的壞像素處理方法，其特徵在於，該些像素中的多個第三像素與該當前像素具有相同的通道，並且上述判斷該當前像素是否為該壞像素的步驟包括: 根據該判斷結果判斷每一該些第三像素是否為過曝光； 對於每一該些第三像素，若對應的該第三像素為過曝光，則更新一計數值； 對於每一該些第三像素，若對應的該第三像素不為過曝光，則根據對應的該第三像素的一顏色值與該當前像素的一顏色值之間的一差值來更新該計數值； 判斷該計數值是否大於一第三臨界值；以及 若該計數值不大於該第三臨界值，判斷該當前像素不為該壞像素。
5.根據權利要求4所述的壞像素處理方法，其特徵在於，根據對應的該第三像素的該顏色值與該當前像素的該顏色值之間的該差距差值來更新該計數值的步驟包括: 根據該當前像素的該顏色值來決定一第四臨界值與一第五臨界值； 若該差值大於該第四臨界值，更新該計數值； 若該差值小於該第五臨界值，更新該計數值；以及 若該差值介於該第四臨界值與該第五臨界值之間，則維持該計數值不變。
6.根據權利要求4所述的壞像素處理方法，其特徵在於，判斷該當前像素是否為該壞像素的步驟還包括: 若該計數值大於該第三臨界值，判斷該些第三像素的其中之一是否為過曝光；以及 若該些第三像素的其中之任一為過曝光，判斷該當前像素為該壞像素。
7.根據權利要求6所述的壞像素處理方法，其特徵在於，修正該當前像素的步驟包括: 根據具有該第一曝光時間的該些第三像素來修正該當前像素。
8.根據權利要求7所述的壞像素處理方法，其特徵在於，根據具有該第一曝光時間的該些第三像素來修正該當前像素的步驟是根據一加權平均算法所執行。
9.一種圖像處理裝置，其特徵在於，包括: 一上行取樣電路，用以取得多個像素，其中該些像素中的多個第一像素具有一第一曝光時間，該些像素中的多個第二像素具有一第二曝光時間，該第一曝光時間不同於該第二曝光時間，並且該些像素中的一當前像素屬於該第一曝光時間，其中該上行取樣電路用以調整各該些第二像素的一顏色值以對應至該第一曝光時間，並且判斷該些像素是否過曝光以產生一判斷結果； 一檢測電路，耦接至該上行取樣電路，用以根據該些第一像素、調整後的該些第二像素與該判斷結果來判斷該當前像素是否為一壞像素；以及 一修復電路，耦接至該檢測電路，若該當前像素為該壞像素，該檢測電路用以修正該當前像素。
10.根據權利要求9所述的圖像處理裝置，其特徵在於，該第一曝光時間為一短曝光與一長曝光的其中之一，該第二曝光時間為該短曝光與該長曝光的其中之另一，上述該上行取樣電路調整各該些第二像素的該顏色值以對應至該第一曝光時間的操作包括: 若該第二曝光時間為該短曝光，該上行取樣電路將各該些第二像素的該顏色值乘上一增益，其中該增益是根據該第一曝光時間與該第二曝光時間所計算出；以及 若該第二曝光時間為該長曝光，該上行取樣電路將各該些第二像素的該顏色值除以該增益。
11.根據權利要求10所述的圖像處理裝置，其特徵在於，該上行取樣電路判斷該些像素是否過曝光以產生該判斷結果的操作包括: 該上行取樣電路取得該些像素中的一測試像素； 若該測試像素具有該長曝光，該上行取樣電路判斷該測試像素的一顏色值是否大於一第一臨界值，並且若該測試像素的該顏色值大於該第一臨界值，該上行取樣電路判斷該測試像素為過曝光； 若該測試像素具有該短曝光，該上行取樣電路判斷該測試像素的該顏色值乘上該增益之後的一乘積是否大於一第二臨界值，並且若該乘積大於該第二臨界值，該上行取樣電路判斷該測試像素為過曝光；以及 該上行取樣電路在該判斷結果中標記該測試像素是否為過曝光。
12.根據權利要求9所述的圖像處理裝置，其特徵在於，該些像素中的多個第三像素與該當前像素具有相同的通道，該檢測電路判斷該當前像素是否為該壞像素的操作包括: 該檢測電路根據該判斷結果判斷每一該些第三像素是否為過曝光； 對於每一該些第三像素，若對應的該第三像素為過曝光，則該檢測電路更新一計數值； 對於每一該些第三像素，若對應的該第三像素不為過曝光，則該檢測電路根據對應的該第三像素的一顏色值與該當前像素的一顏色值之間的一差值來更新該計數值； 該檢測電路判斷該計數值是否大於一第三臨界值；以及 若該計數值不大於該第三臨界值，該檢測電路判斷該當前像素不為該壞像素。
13.根據權利要求12所述的圖像處理裝置，其特徵在於，該檢測電路根據對應的該第三像素的該顏色值與該當前像素的該顏色值之間的該差值來更新該計數值的操作包括: 該檢測電路根據該當前像素的該顏色值來決定一第四臨界值與一第五臨界值； 若該差值大於該第四臨界值，該檢測電路更新該計數值； 若該差值小於該第五臨界值，該檢測電路更新該計數值；以及 若該差值介於該第四臨界值與該第五臨界值之間，則該檢測電路維持該計數值不變。
14.根據權利要求12所述的圖像處理裝置，其特徵在於，若該計數值大於該第三臨界值，該檢測電路更判斷該些第三像素的其中之一是否為過曝光， 若該些第三像素的其中之任一為過曝光，該檢測電路判斷該當前像素為該壞像素。
15.根據權利要求14所述的圖像處理裝置，其特徵在於，該修復電路是根據具有該第一曝光時間的該些第三像素來修正該當前像素。
16.根據權利要求15所述的圖像處理裝置，其特徵在於，該修復電路是根據一加權平均算法來執行上述根據具有該第一曝光時間的該些第三像素來修正該當前像素的操作。
【文檔編號】H04N5/235GK104301638SQ201310298123
【公開日】2015年1月21日 申請日期:2013年7月16日 優先權日:2013年7月16日
【發明者】林慧珊, 趙善隆, 曾家俊 申請人:聚晶半導體股份有限公司