採用與光源相關的色彩校正矩陣進行色彩校正的圖像傳感器裝置及方法

2023-05-13 11:52:11 2

專利名稱：採用與光源相關的色彩校正矩陣進行色彩校正的圖像傳感器裝置及方法
技術領域：
一般而言，本發明涉及在圖像傳感器設備中的色彩校正；更具體而言，本發明涉及 一種採用與光源相關的色彩校正矩陣進行色彩校正的圖像傳感器裝置及方法。
背景技術：
圖像傳感器是捕捉和處理光信號為電信號、以形成靜態圖像或視頻的半導體設 備。圖像傳感器在各種消費、工業及科學研究等應用場合的使用已經十分普遍，包括數碼 相機、數碼攝像機、手持電話設備、網絡攝像頭、醫療應用、汽車應用、遊戲和玩具、安全及監 測、圖像識別以及汽車檢查等等。製造圖像傳感器的技術也在快速前進。目前，主要有兩種類型的圖像傳感器電荷耦合器件(CXD)傳感器與互補型金 屬氧化物半導體(CMOS)傳感器。在此兩類任何一類的圖像傳感器中，收集光的光感元件 (photosite)是以二維像素陣列的形式形成並排列於半導體基板(substrate)上。光感元 件，一般被稱為成像元件或像素，其將入射光線轉換成電荷。像素的數量、大小及空間決定 了傳感器所產生圖像的解析度。現代圖像傳感器的像素陣列一般包含數以百萬計的像素，以提供高解析度的圖 像。每一像素所捕捉的圖像信息，如在紅、綠、藍(RGB)色空間中的原始像素數據，被傳送至 圖像信號處理器(ISP)或其它數位訊號處理器(DSP)進行處理，以產生數字圖像。圖像傳感器所產生的數字圖像的質量，主要取決於其靈敏度及許多其它因素，如 與鏡頭相關的因素(光斑(flare)、色差(chromatic aberration))、信號處理因素、時間及 運動因素、與半導體相關的因素(暗電流、擴散(blooming)及像素缺陷)、與系統控制相關 的因素(聚焦及曝光誤差、白平衡誤差)。例如，白平衡誤差引起較差的色彩還原(color reproduction,或稱色彩還原)，且如果不校正很容易破壞圖像質量。圖像傳感器裝置的白平衡是指調節該裝置所捕捉圖像的原色，如調節紅色、綠色 及藍色，使得所捕捉的圖像對於該設備呈現白色，對人類視覺系統(HVS)也呈現白色。由圖 像傳感器裝置和人類視覺系統所感覺到的色彩差異，是由許多可見光源及他們不同的色溫 引起的。儘管人類視覺系統已經熟練適應照射場景的不同光源(通常稱其場景光源)，圖像 傳感器卻不能在所有色溫中準確地捕捉色彩。例如，圖像傳感器在家用燈泡光下捕捉的白 紙會輕微泛紅，或者在日光下捕捉的白紙會泛藍。相同的白紙在不同的場景光源下，人類視 覺系統都會視為白色。為了仿效人類視覺系統，必須在圖像傳感器裝置中進行白平衡。另外，圖像傳感器 還必須進行色彩校正(color correction)，以增強色彩還原的準確性。需要進行色彩校正 則是因為圖像傳感器的光譜靈敏度與人類視覺系統的色彩匹配函數不同。通過圖像傳感器 裝置產生的RGB值還與設備相關，也就是不同裝置對於相同場景產生不同的RGB響應。為了保持色彩的真實，或者教會圖像傳感器裝置如何看到像人類視覺系統預計看 到的色彩，就要進行色彩校正，以便在與設備相關(device-d印endent)的RGB值與與設備
5無關(device-ind印endent)的值之間建立起關係。與設備無關的值在「CIE XYZ」色空間 上計算，其是基於國際照明委員會(International Commission on Illumination，CIE)標 準觀察者色彩匹配函數。從與設備相關的RGB值到與設備無關的值的轉換，通常是通過具有NXM色彩校正 矩陣的線性轉換來達到的，其中，N對應於與設備相關的色空間的維度(如3)，M對應於與 設備無關的色空間的維度(如3)。色彩校正矩陣包括用於將與設備相關的值轉換為與設備 無關的值的係數。色彩校正矩陣儲存在圖像傳感器設備中，並應用於每一由該設備捕捉的 圖像。一般地，儲存在圖像傳感器設備中的色彩校正矩陣是針對單一假設的場景光源進 行最優化的。如果實際場景光源不同於假設光源，則色彩還原受損。在圖像傳感器設備上 進行準確的白平衡和色彩校正，必須已知場景光源。一般而言，有兩種方法獲得場景光源信 息測量場景光源的色彩及從捕捉的圖像估測場景光源。不管採用哪種方法，每一場景光源 都將與一個不同的與光源相關的色彩校正矩陣相關聯。一旦估測出場景光源，就可以用其對應的色彩校正矩陣進行色彩校正。使用與光 源相關的色彩校正矩陣進行色彩校正，與使用針對假設光源而最優化的單一色彩校正矩陣 相比，能夠達到更高的色彩還原的準確度。儘管這種方法可以達到很好的色彩還原，但其浪費時間、計算繁重且需要巨大的 存儲器。對於捕捉的每一圖像都不得不進行場景光源的估測。另外，對於每一圖像傳感器 裝置，必須產生並儲存一系列光源的色彩校正矩陣。取決於所使用光源的數量，這對於圖像 傳感器設備來說要大大增加存儲空間及計算成本。隨著設備廠商急切需要降低成本且提高 圖像質量，因而就需要在不耗盡設備資源的情況下，儘可能提供準確的色彩校正。因此，有必要提供一種估測場景光源的裝置及方法，其用於估測與光源相關的色 彩校正矩陣，該色彩校正矩陣能夠在較低的存儲要求及計算要求的前提下，達到高水平的 色彩校正。

發明內容
本發明提供了一種圖像傳感器裝置，其具有圖像傳感器，用於產生對應於場景光 源下之場景的像素數據。該圖像傳感器裝置還具有存儲器，用於儲存對應於候選光源子集 (subset of candidate illuminant)的色彩校正信息。圖像傳感器裝置中的色彩校正模塊 根據對應於候選光源子集的色彩校正信息，獲得與光源相關的色彩校正矩陣，並將該色彩 校正矩陣應用於像素數據，以產生色彩校正的數字圖像。本發明一實施方式包括在圖像傳感器設備中進行色彩校正的方法，包括產生對 應於場景光源下之場景的像素數據；根據對應於候選光源子集的色彩校正信息，獲得與光 源相關的色彩校正矩陣；對已白平衡的像素數據適用該與光源相關的色彩校正矩陣，以產 生色彩校正的數字圖像。本發明的另一實施方式包括用於圖像傳感設備的處理器。該處理器具有白平衡程 序，其為場景光源下圖像傳感器設備所捕捉的像素數據，確定白平衡增益。該處理器還具有 色彩校正模塊，其根據對應於候選光源子集的色彩校正信息，獲取對應於場景光源的、與光 源相關的色彩校正矩陣。


下面，參考附圖，通過詳細的描述，以更好地理解本發明，這些附圖中，相似的附圖 標記表示相應的部件。其中圖1顯示了根據本發明一實施方式構建的圖像傳感器裝置；圖2顯示了根據本發明一實施方式、在圖像傳感器裝置中進行色彩校正的流程 圖；圖3顯示了根據本發明一實施方式、產生對應於給定光源的色彩校正矩陣的流程 圖；圖4顯示了根據本發明一實施方式、產生對應於給定光源的色彩校正矩陣的示意 圖；圖5顯示了根據本發明一實施方式的對應於5種候選光源的色彩校正矩陣；圖6顯示了根據本發明一實施方式、對應於圖5所示色彩校正矩陣的白平衡增益 的曲線圖；圖7顯示了根據本發明一實施方式、對應於各種光源的色彩校正係數曲線圖及白 平衡增益曲線圖；圖8顯示了根據本發明一實施方式、對應於候選光源子集的色彩校正係數的插值 法；圖9A-C顯示了根據本發明一實施方式、對三種測試光源獲取的與光源相關的色 彩校正矩陣的色彩準確度(color accuracy)性能。
具體實施例方式本發明提供了一種圖像傳感器裝置，其採用與光源相關的色彩校正矩陣進行色彩 校正。如同一般使用情況，此處的圖像傳感器可以是一種半導體電路，其具有像素陣列以捕 捉光學圖像並將其處理為像素數據形式的電信號。該裝置還包括色彩校正模塊，其用於產 生與光源相關的色彩校正矩陣、並將該矩陣應用於圖像傳感器所捕捉的像素數據，以輸出 色彩校正的數字圖像。如同一般的使用，此處的色彩校正矩陣是色彩校正係數的二維NXM矩陣，其將與 設備相關的值轉變為與設備無關的值，其中，N對應於與設備相關的色空間的維度(如RGB 色空間的3)，M對應於與設備無關的色空間的維度(如RGB色空間的3或CIE XYZ色空間)。 色彩校正矩陣可以儲存在圖像傳感器裝置中，並應用於圖像傳感器所捕捉的每一圖像，從 而產生色彩校正的數字圖像。每一圖像是由圖像傳感器在場景光源下捕捉的。如同一般的使用，此處的場景光 源可以是任何為場景提供光線的光源，如自然日光、辦公環境光、家居光、街道光等等。例 如，場景光源可以包括由國際照明委員會(CIE)所公布的標準光源。普通標準光源包括光 源A(鎢絲白熾燈光)、光源系列C(平均或北方天空的日光)、光源系列D(各種形式的日 光)及光源系列F (螢光)。根據本發明一實施方式，場景光源可以不被圖像傳感器已知。為獲得好的色彩還 原，可以使用與光源相關的色彩校正矩陣。產生該與光源相關的色彩校正矩陣可以不必估測未知的場景光源。相反，在一實施方式中，該與光源相關的色彩校正矩陣是從對應於候選 光源子集的色彩校正信息中產生的。在一實施方式中，選擇的色彩校正信息對應於兩個明顯不同的光源，如具有明顯 不同色溫的光源。例如，對應於候選光源子集的色彩校正信息，可以是對應於兩個候選光源 的兩個色彩校正矩陣及兩個白平衡增益。根據本發明一實施方式，利用迭代計算的方法，產生對應於候選光源子集的色彩 校正矩陣。在迭代過程的每一步驟中，調節給定候選光源之色彩校正矩陣中的色彩係數，以 使得在候選光源下訓練集所測量的色度數據與色彩校正的數據之間的色差最小。例如，訓 練集可以是「棋盤」色彩(checkerboard of color)，如美國密西根州X-Rite股份有限公司 的 GretagMacbeth ColorChecker0例如，色度測量可以是在給定候選光源下對應於訓練集的CIE XYZ坐標的測量。 在每一步驟中，將正在調整重的色彩校正矩陣應用到給定候選光源下為訓練集所捕捉的 像素數據上，產生色彩校正的像素數據。計算色差(color difference)，例如可以根據 CIEDE2000色差公式計算出色差。根據本發明一實施方式，識別出候選光源子集的色彩校正係數與白平衡增益之間 的線性關係。在對應於候選光源子集的色彩校正矩陣中進行插值，產生與光源相關的色彩 校正矩陣，其更詳細的說明見下文。圖1顯示了根據本發明一實施方式構建的圖像傳感器裝置。圖像傳感器裝置100 包括圖像傳感器105，其在場景光源下如場景光源115下，捕捉場景如場景110的光學圖像。 圖像傳感器裝置100還包括存儲器120，其儲存對應於候選光源子集的色彩校正信息。在一實施方式中，候選光源子集可以包括至少兩個明顯不同的光源，例如代表熒 光日光的光源D65與代表白熾燈光的光源A。例如，儲存在存儲器120中的、對應於兩種明 顯不同光源的色彩校正信息可以包括第一候選光源(如光源D65)的第一色彩校正矩陣及 第一白平衡增益125、以及第二候選光源(如光源F2)的第二色彩校正矩陣及第二白平衡增 益 130。根據本發明一實施方式，圖像傳感器裝置100還包括白平衡模塊135及色彩校 正模塊140，其中，白平衡模塊用於對圖像傳感器105所捕捉的像素數據進行白平衡，色彩 校正模塊用於對已白平衡的像素數據進行色彩校正、以產生色彩校正的數字圖像，如圖像 145。色彩校正模塊140通過插值儲存在存儲器120中的色彩校正信息125-130，產生與光 源相關的色彩校正矩陣150，其更詳細的說明見下文。在色彩校正模塊140中的插值模塊155 (interpolation module)，從在白平衡模 塊135中為圖像傳感器105所捕捉的像素數據計算出的白平衡增益、以及從儲存在存儲器 120中的兩個色彩校正矩陣和相應的兩個白平衡增益125-130，產生與光源相關的色彩校 正矩陣150。所進行的插值可以包括線性內插、線性外推、或其它曲線擬合或統計趨勢分析算法。在色彩校正子模塊160中，將與光源相關的色彩校正矩陣150應用於圖像傳感器 105所捕捉的像素數據，以產生色彩校正的數字圖像145。色彩校正子模塊160在與光源相 關的色彩校正矩陣150和圖像傳感器105所捕捉的已白平衡的像素數據之間進行矩陣相 乘，以產生色彩校正的數字圖像145。
在一實施方式中，與光源相關的色彩校正矩陣150可以是NXM色彩校正矩陣，其 中，N對應於圖像傳感器105所使用的與設備相關的色空間的維度(如RGB色空間的3)，M 對應於與設備無關的色空間的維度(如RGB或CIE XYZ色空間的3)。例如，由色彩校正子 模塊160所進行的矩陣相乘，可以包括在3X3與光源相關的色彩校正矩陣與3XL像素數 據矩陣間的矩陣相乘，其中，L對應於圖像傳感器105中的像素陣列的維度。例如，L可以對 應於用於130萬像素圖像傳感器的1280X1024像素陣列。本領域的普通技術人員可以理解的是，圖像傳感器裝置100還可以包括去馬賽克 (demosaicing)模塊(未示出)，其用於從圖像傳感器105所捕捉的像素數據中提取出原始 (R，G，B)像素數據的。而且，還可以理解的是，與光源相關的色彩校正矩陣150可以基於對 應於兩個以上候選光源的色彩校正信息而產生。使用兩種候選光源，可以在沒有犧牲計算 和存儲資源的前提下，提供好的色彩還原。使用更多額外的候選光源，雖然可以稍微改進色 彩還原(色彩再現，color reproduction)性能，但卻要付出額外的存儲與計算資源。此外， 可以理解的是，與傳統方法不同，可以在不必估測場景光源115的前提下，產生與光源相關 的色彩校正矩陣150。圖2顯示了根據本發明一實施方式、在圖像傳感器裝置中進行色彩校正的流程 圖。首先，在步驟200中，圖像傳感器105捕捉對應於場景光源下之場景的像素數據。然 後，在步驟205中，根據對應於候選光源子集的色彩校正信息，獲得與光源相關的色彩校正 矩陣。通過插值對應於候選光源子集的色彩校正矩陣，獲得與光源相關的色彩校正矩 陣，其更詳細的說明見下文。候選光源子集可以包括至少兩種候選光源。在一實施方式中， 選定的候選光源子集包括明顯不同的候選光源，如具有明顯不同的色溫。最後，在步驟210中，對已白平衡的像素數據應用與光源相關的色彩校正矩陣，以 產生色彩校正的數字圖像。如本領域普通技術人員理解的，這涉及到在與光源相關的色彩 校正矩陣與已白平衡的像素數據之間的矩陣相乘。還可以理解的是，通過一個簡單的、而且計算與存儲高效的方法，舊可以使色彩校 正的圖像達到好的色彩還原。通過簡單的插值、矩陣相乘、及對應於候選光源子集的色彩校 正信息的存儲，如對應於兩種候選光源的兩個色彩校正矩陣及兩個白平衡增益，就可以產 生色彩校正的圖像。對應於候選光源子集的色彩校正信息可以預設並儲存在存儲器中，如 存儲器120中。在一實施方式中，根據訓練集產生對應於候選光源子集的色彩校正矩陣。訓練集 是通過候選光源子集進行照射的，並由圖像傳感器105感應以捕捉像素數據。然後，如下所 述，用色彩校正矩陣對像素數據進行色彩校正，該色彩校正矩陣被迭代調整，以使得訓練集 的色彩校正的像素數據與測量的色度數據之間的色差最小化。圖3顯示了根據本發明一實施方式、產生對應於候選光源的色彩校正矩陣的流程 圖。首先，在步驟300中，圖像傳感器105捕捉在候選光源下的訓練集的像素數據(如原始 RGB數據)。例如，訓練集可以是「棋盤」色彩的圖像，如美國密西根州X-Rite股份有限公 司的GretagMacbethColorChecker。在步驟305中，測量「棋盤」色彩在候選光源下的色度 數據。例如，色度數據可以包括在給定候選光源下，對應於「棋盤」色彩的CIE XYZ坐標。在步驟310白平衡像素數據組後，在步驟315中，用迭代的方法，計算出對應於候選光源的色彩校正矩陣。首先，預置色彩校正矩陣。矩陣可以用任何色彩係數值進行預置， 如儲存在圖像傳感器設備中的傳統的用於與設備無關的色彩校正矩陣的色彩係數，或者已 知的對應於給定光源的色彩係數，如D65的色彩係數。然後，在迭代過程的每一步驟315中， 調整矩陣中的色彩係數，以產生色彩校正的像素數據組。也就是，將步驟310中產生的已白 平衡的像素數據組，用色彩校正矩陣相乘，產生色彩校正的像素數據組。在一實施方式中， 色彩校正矩陣可以是將像素數據轉變為已色彩校正的像素數據的3X3矩陣。在步驟320中，迭代過程則由測量的CIE XYZ與色彩校正的像素數據組之間的色 差量的計算而確定。在一實施方式中，在計算色差量之前，可以將色彩校正的像素數據組轉 換為CIE XYZ空間。例如，色差量可以是在測量的CIE XYZ色度數據與已色彩校正的CIE XYZ像素數據之間的加權色差量，如CIEDE2000色差公式或其它色差公式。在步驟325中進行評估，以確定在測量的CIE XYZ數據與色彩校正的CIE XYZ數 據之間計算的色差，是否已經達到最小值。如果沒有，迭代過程返回到步驟315，並在此調整 色彩校正矩陣，再進行額外的迭代極端，直到計算的色差達到最小值。當達到最小值時，在 步驟330中，產生對於候選光源的最終的色彩校正矩陣。本領域的普通技術人員可以理解的是，根據圖3所示的步驟可以產生針對各種候 選光源的色彩校正矩陣。然而，產生矩陣僅僅是為了選擇對應於候選光源子集的色彩校正 矩陣的目的。色彩校正矩陣集將儲存在圖像傳感器裝置100的存儲器120中，用於在每次 由圖像傳感器捕捉新圖像時估測與光源相關的色彩校正矩陣。如上所述，候選光源子集包括至少兩種明顯不同的候選光源，如代表螢光日光的 光源D65與代表白熾燈光的光源A。可以僅僅在存儲器120中儲存兩個色彩校正矩陣，用於 估測與光源相關的色彩校正矩陣。場景光源本身不必估測，因此在存儲和計算上節省了相 當多的資源。圖4顯示了根據本發明一實施方式、圖3所示步驟的產生對應於給定候選光源的 色彩校正矩陣的示意圖。用候選光源405照射訓練集400，其包括「棋盤」色彩的圖像。色 度數據410如CIE XYZ數據，從訓練集400中進行測量。原始像素數據由圖像傳感器415 獲得。如上所述，由圖像傳感器415獲得的原始像素數據必須被色彩校正，以在輸出圖像中 達到好的色彩還原。因此，原始像素數據首先在白平衡模塊420中被白平衡，以產生已白平衡的像素 數據。已白平衡的像素數據通過預置的與光源相關的色彩校正矩陣425相乘，以產生色彩 校正的像素數據。與光源相關的色彩校正矩陣425是經迭代、直到在色彩校正的數據與測 量的色度數據之間的色差最小而產生的。在一實施方式中，在計算色差之前，在色空間轉換 模塊430中，色彩校正的像素數據轉換為CIE XYZ色空間。在模塊435中，對測量的CIE XYZ數據與色彩校正的CIE XYZ數據之間的色差進 行計算。模塊435計算測量的與色彩校正的CIE XYZ數據之間的加權色差值，如CIEDE2000 值。調整與光源相關的色彩校正矩陣425，直到計算的色差最小化。本領域的普通技術人員可以理解的是，可以使用任何優選的算法確定最小色差， 如牛頓法、單純形法(the Simplex method)、梯度下降法等等。本領域的普通技術人員可以 理解的是，優化算法的收斂，取決於與光源相關的色彩校正矩陣是如何預置的。由於最終儲 存在圖像傳感器裝置中的色彩校正矩陣被預先確定，所以算法的收斂不會影響在圖像傳感器裝置100中的色彩校正過程。也就是，任何用於創造儲存在圖像傳感器裝置100中的色 彩校正矩陣的計算資源，在創造矩陣時僅僅使用一次。圖5顯示了根據本發明一實施方式，對應於5種候選光源的色彩校正矩陣。表格 500顯示了根據圖3-4中的步驟，對於如下光源光源A ；光源TL84 ；光源CWF ；光源D65 ；及 光源D75，獲得的色彩校正矩陣。所有的色彩校正矩陣具有不同的色彩係數，進一步重申了 通過與光源相關的色彩校正矩陣進行色彩校正，以達到準確色彩還原的重要性。本領域的普通技術人員可以理解的是，在表格500中顯示的色彩校正矩陣，是用 於將RGB白平衡的數據轉換為RGB色彩校正數據的3X3矩陣。也可以產生其它大小的矩 陣，以在其它色空間之間進行轉換，這沒有偏離本發明的原則和範圍。根據本發明一實施方式，在表格500中所示的色彩校正矩陣種，僅有一個子集儲 存在圖像傳感器裝置100中，並用於獲取與光源相關的色彩校正矩陣。根據色彩校正矩陣 與對應於候選光源的白平衡增益之間的線性關係，通過插值色彩校正矩陣子集，獲取與光 源相關的色彩校正矩陣。圖6顯示了根據本發明一實施方式、對應於圖5所示的色彩校正矩陣的白平衡增 益的圖表(曲線圖，graph)。在表格600中，顯示了每種候選光源的不同色溫，且在圖表605 中顯示了它們不同的白平衡增益。如圖表605所示，光源A及光源D65、D75具有的白平衡 增益之間具有最遠的間隔。也就是，這些光源橫跨了其它候選光源的範圍，也就是其它候選 光源落在光源A及光源D65、D75之間。這些光源還可以對應於明顯不同的色溫，如表格500 中所示。在一實施方式中，選定光源A及光源D65作為候選光源子集，並從其中為圖像傳 感器裝置100所捕捉的每一圖像，獲得與光源相關的色彩校正矩陣150。因此，對於光源A 及光源D65的色彩校正矩陣及白平衡增益可以儲存在圖像傳感器裝置100中的存儲器120 中。根據候選光源子集的色彩校正矩陣及與其對應的白平衡增益之間的線性關係，獲 得與光源相關的色彩校正矩陣150。圖7顯示了根據本發明一實施方式，對應於各種候選光 源的色彩校正係數及白平衡增益的曲線圖。曲線700顯示了圖5-6的5種候選光源的白平 衡增益對它們用於3X3色彩矩陣第一行的色彩校正係數間的關係。類似地，曲線705顯示 了圖5-6的5種候選光源的白平衡增益對它們用於3X3色彩矩陣第二行的色彩校正係數 間的關係，及曲線710顯示了圖5-6的5種候選光源的白平衡增益對它們用於3X3色彩矩 陣第三行的色彩校正係數間的關係。所有的曲線700-710都顯示出，在候選光源的白平衡增益與其色彩校正係數之間 存在明顯的線性關係。由於這些候選光源跨越了可能的場景光源的很大範圍，所以，未知的 場景光源所具有的色彩校正係數及白平衡增益，很可能是沿著曲線700-710所示的線。也就是，在任何時間，圖像傳感器裝置100在未知場景光源下捕捉的圖像，不需用 複雜的算法去估測場景光源，只需要沿著曲線700-710的線，進行簡單的估測，就可以得到 對應於光源的色彩校正係數。這可以通過簡單的插值法或其它曲線擬合法來完成，以在每 次圖像傳感器裝置100捕捉新圖像時，為與光源相關的色彩校正矩陣150獲取色彩係數。圖8顯示了根據本發明一實施方式、對應於候選光源子集的色彩校正係數的插 值。圖表800顯示了根據光源A與光源D65的色彩校正係數，未知場景光源的色彩校正係數的插值。如上所述，光源A與光源D65是具有明顯不同色溫的不同光源。如圖7所示，它 們的色彩係數是在曲線700-710中分隔最遠的那些。任何其它場景光源，包括如出現在曲 線700-710中的其它候選光源之一，可能落在光源A與光源D65之間。例如，用於未知場景光源的色彩係數805-815出現在圖表800中，同時落在光源A 與光源D65的色彩係數之間，大約在其中間位置。未知色彩係數可以通過插值來估測，如線 性插值。數學上，對應於未知場景光源的、用於與光源相關的色彩校正矩陣的未知色彩係數 可以通過下式估測
Munknown = ^ ^ ^mkn0w"__^ ^ 吵 χ (Md65 ~ Μα) + Ma( 1 )
{r/b)D,s-{r/b)A V,Κ )其中Munlmwn代表對於未知場景光源的與光源相關的色彩校正矩陣，Md65代表對於 光源D65的色彩校正矩陣，Ma代表對於光源A的色彩校正矩陣，(r/b)代表對於未知光源的 白平衡增益(如在圖1所示在白平衡模塊125中計算的)，(r/b)D65代表對於光源D65的白 平衡增益及(r/b)A代表對於光源A的白平衡增益。
通過下式代表插值線的斜率Δ M及截距Mtl: Α ,,MD6S-MA/ 、
Mf =--(2)
{r I b)D,-{r I b),M0 = Ma-(r/b) A X Δ M (3)對於未知場景光源的與光源相關色彩校正矩陣可以通過下式獲得Mmknown = (r/b) mkn_ X Δ Μ+Μ0 (4)上述公式(4)顯示如何對於未知場景光源不用估測，且僅僅根據候選光源子集的 色彩校正矩陣與白平衡增益，獲得與光源相關的色彩校正矩陣，如矩陣150。本領域的普通 技術人員可以理解的是，與光源相關的色彩校正矩陣可以僅僅根據兩種候選光源，如光源A 與光源D65，或根據任何數量的候選光源而獲得。使用兩種候選光源提供好的色彩還原沒有 計算和存儲資源的損失。使用額外的候選光源可以稍微改善色彩還原，同時花費額外的存 儲和計算資源。圖9A-C顯示了根據本發明一實施方式，對三種測試光源獲取的與光源相關的色 彩校正矩陣的色彩準確度情況。選定的測試光源是TL84、CWF及D75。每一圖表顯示了對 於每一測試光源的優選估測的色彩校正矩陣，除了對於光源D65的色彩校正矩陣。如上述 圖3-4所述產生對於測試光源的優選色彩校正矩陣。如上所述所估測的色彩校正矩陣是通 過插值估測出來的。圖表900顯示了對於光源TL84的色彩準確度情況，圖表905顯示了對於光源CWF 的色彩準確度情況，圖表910顯示了對於光源D75的色彩準確度情況。圖表900-910還顯 示了 D65色彩校正矩陣的色彩準確度情況，也就是，其顯示了對於未知場景光源使用D65色 彩校正矩陣的色差。顯示D65色彩校正矩陣是因為其普遍使用在不進行與光源相關的色彩 校正的圖像傳感器設備的色彩校正模塊中。從圖表900-910可以發現一個驚人的結果，那就是對於測試光源，在優選的與估
12測的色彩校正矩陣間只有微小的差別，因此驗證了根據本發明一實施方式獲取的與光源相 關的色彩校正矩陣。也就是，能夠估測與光源相關的色彩校正矩陣以達到好的色彩準確度。 而且，能夠注意到的是，對於測試光源，所估測的色彩校正矩陣比單個D65矩陣明顯能夠達 到更好的情況。這進一步重申了，使用其主張的與光源相關的色彩校正矩陣的公式推導，在 色彩校正中能夠達到明顯改善。本發明圖像傳感器裝置的優點是，使得色彩校正能夠在低存儲及計算需求下，穩 定準確的進行。根據本發明一實施方式，與傳統色彩校正方法相比，與光源相關的色彩校正 矩陣的估測能夠達到高質量的色彩還原，而沒有存儲上計算資源上的大量損失。達到高質 量的色彩還原帶有一個預期外的結果，那就是要求對應於僅僅兩種候選光源的色彩校正信 息，要獲得穩定的與光源相關的色彩校正矩陣，用於廣泛的場景光源。前述的說明只是為了解釋本發明，所使用的特定術語是為了更徹底地理解本發 明。然而，本領域技術人員可以理解，在實施本發明時，一些特定細節並不是必須的。因此， 前述本發明特定實施方式的敘述目的只是為了說明及描述，而並非是為了窮盡或限制本發 明於特定的公開形式；顯而易見的是，經本發明的以上啟示，就完全可能做出許多其它的改 進和改變。所選擇進行描述的實施方式，是為了最好地描述本發明的原理及其實際應用；其 使得本領域技術人員可利用本發明以及本發明的各種實施方式並作出修改，以適應各種特 定用途。本發明的範圍應由權利要求及其等同物所界定。 1權利要求
一種圖像傳感器裝置，其包括圖像傳感器，其產生對應於場景光源下之場景的像素數據；存儲器，其儲存對應於候選光源子集的色彩校正信息；及色彩校正模塊，其根據所述對應於候選光源子集的色彩校正信息，獲得與光源相關的色彩校正矩陣，並將該與光源相關的色彩校正矩陣應用於所述像素數據，產生色彩校正的數字圖像。
2.如權利要求1所述的圖像傳感器裝置，其中，所述的候選光源子集包括至少兩種明 顯不同的光源。
3.如權利要求1所述的圖像傳感器裝置，其中，所述的對應於候選光源子集的色彩校 正信息包括對應於至少兩種候選光源的色彩校正信息，其包括對應於第一候選光源的第一色彩校正矩陣與第一白平衡增益；及對應於第二候選光源的第二色彩校正矩陣與第二白平衡增益。
4.如權利要求3所述的圖像傳感器裝置，其中，所述的色彩校正模塊包括在所述第一 色彩校正矩陣及第一白平衡增益與所述第二色彩校正矩陣及第二白平衡增益之間分析線 性關係的模塊。
5.如權利要求3所述的圖像傳感器裝置，其進一步包括白平衡模塊，該白平衡模塊確 定對應於場景光源的第三白平衡增益，並對所述像素數據進行白平衡，以產生白平衡的像 素數據。
6.如權利要求5所述的圖像傳感器裝置，其中，所述的色彩校正模塊包括插值法模塊， 其根據所述第三白平衡增益、和所述第一色彩校正矩陣及第一白平衡增益與所述第二色彩 校正矩陣及第二白平衡增益之間的線性關係，得到與光源相關的色彩校正矩陣。
7.如權利要求1所述的圖像傳感器裝置，其中，所述的候選光源子集包括選自如下一 組的光源光源A ；光源系列C ；光源系列D ；光源系列F ；及光源TL84。
8.如權利要求3所述的圖像傳感器裝置，其中，所述的第一、第二及與光源相關的色彩 校正矩陣包括將RGB數據轉換為色彩校正的RGB數據的3X3矩陣。
9.一種在圖像傳感器裝置中進行色彩校正的方法，其包括捕捉對應於場景光源下之場景的像素數據；根據對應於候選光源子集的色彩校正信息，獲得與光源相關的色彩校正矩陣；及將所述與光源相關的色彩校正矩陣應用於白平衡的像素數據，產生色彩校正的數字圖像。
10.如權利要求9所述的方法，其中，根據對應於候選光源子集的色彩校正信息、獲得 與光源相關的色彩校正矩陣的步驟包括根據如下來獲得所述與光源相關的色彩校正矩 陣對應於第一候選光源的第一色彩校正矩陣及第一白平衡增益；及對應於第二候選光源的第二色彩校正矩陣及第二白平衡增益。
11.如權利要求10所述的方法，其進一步包括產生一系列的色彩校正矩陣，並從該一 系列的色彩校正矩陣中選擇所述第一及第二色彩校正矩陣。
12.如權利要求11所述的方法，其中，產生一系列色彩校正矩陣的步驟包括捕捉對應於一系列候選光源下之訓練集的一系列像素數據組，每一像素數據組對應於來自該一系列候選光源的一種候選光源；測量在該一系列候選光源下所述訓練集的一系列色度數據組，每一色度數據組對應於 來自該一系列候選光源的一種候選光源；及迭代計算一系列色彩校正矩陣，產生一系列色彩校正的像素數據組，並使所述一系列 色度數據組與所述一系列色彩校正的像素數據之間的權重色差達到最小化。
13.如權利要求12所述的方法，其進一步包括在迭代計算一系列色彩校正矩陣之前， 對所述一系列像素數據組進行白平衡。
14.如權利要求13所述的方法，其中，測量一系列色度數據組包括測量對應於所述一 系列候選光源下之訓練集的一系列CIE XYZ坐標。
15.如權利要求14所述的方法，其進一步包括確定對應於所述一系列候選光源的一 系列白平衡增益。
16.如權利要求15所述的方法，其中，所述第一與第二色彩校正矩陣是根據所述一系 列白平衡增益進行選擇的。
17.如權利要求16所述的方法，其進一步包括分析在所述第一色彩校正矩陣及第一 白平衡增益與所述第二色彩校正矩陣及第二白平衡增益之間的線性關係。
18.如權利要求17所述的方法，其進一步包括確定對應於場景光源的第三白平衡增■、Λfrff. ο
19.如權利要求18所述的方法，其中，所述的獲得與光源相關的色彩校正矩陣的步驟 包括根據所述第三白平衡增益以及在所述第一色彩校正矩陣及第一白平衡增益與所述第 二色彩校正矩陣及第二白平衡增益之間的線性關係，對所述第一與第二色彩校正矩陣進行 插值。
20.一種用於圖像傳感器設備中的處理器，其包括白平衡模塊，其確定所述圖像傳感器設備在場景光源下所捕捉的像素數據的白平衡增 益；及色彩校正模塊，其根據對應於候選光源子集的色彩校正信息，獲得對應於場景光源的 與光源相關的色彩校正矩陣。
21.如權利要求20所述的處理器，其中，所述的候選光源子集包括至少兩種明顯不同 的光源。
22.如權利要求20所述的處理器，其中，所述的對應於候選光源子集的色彩校正信息 包括對應於至少兩種候選光源的信息，其包括對應於第一候選光源的第一色彩校正矩陣與第一白平衡增益；及 對應於第二候選光源的第二色彩校正矩陣與第二白平衡增益。
23.如權利要求22所述的處理器，其中所述的色彩校正模塊包括插值法模塊，其根據 所述圖像傳感器設備所捕捉的像素數據的白平衡增益、以及在所述第一色彩校正矩陣及第 一白平衡增益與所述第二色彩校正矩陣與第二白平衡增益之間的線性關係，獲得所述與光 源相關的色彩校正矩陣。
24.如權利要求20所述的處理器，其中，所述的色彩校正模塊包括將所述與光源相關 的色彩校正矩陣應用於白平衡的像素數據、以產生色彩校正的數字圖像的模塊。
25.如權利要求22所述的處理器，其中，所述的第一與第二色彩校正矩陣是迭代產生的，以使得對應於訓練集的所獲取之數據與所測量之數據之間的色彩權重誤差最小。
全文摘要
本發明公開了一種圖像傳感器裝置。該圖像傳感器裝置包括用於產生對應於場景光源下之場景的像素數據的圖像傳感器器。圖像傳感器裝置還包括用於儲存對應於候選光源子集的色彩校正信息的存儲器。圖像傳感器裝置中的色彩校正模塊，根據對應於候選光源子集的色彩校正信息，獲得與光源相關的色彩校正矩陣(illuminant-dependent color correction matrix)，並將與光源相關的色彩校正矩陣適用在像素數據上，以產生色彩校正的數字圖像。
文檔編號H04N9/73GK101939997SQ200880126873
公開日2011年1月5日 申請日期2008年11月21日 優先權日2007年12月10日
發明者李兆建 申請人:豪威科技有限公司