用於自動白平衡處理的靈活的顏色空間選擇的製作方法

2023-10-30 18:18:27

專利名稱：用於自動白平衡處理的靈活的顏色空間選擇的製作方法
技術領域：
本公開一般涉及數字成像設備，具體而言，涉及用於處理使用數字成像設備的圖像傳感器而獲得的圖像數據的系統和方法。
背景技術：
該部分用於向閱讀者介紹涉及以下所描述和/或請求保護的本技術的多個方面的領域的多個方面。相信該討論有助於向閱讀者提供背景信息以使其更好地理解本公開的多個方面。因此，需要理解的是就此而論這些陳述是用來閱讀的，而非承認是它們是現有技術。在近些年，數字成像設備已經變得更加普及，這至少得益於這些設備對於一般消費者來說變得越來越消費得起。此外，除了一些剛上市的獨立數位相機之外，數字成像設備整合為另一個電子設備(例如膝上或筆記本電腦、蜂窩電話或便攜媒體播放器)的一部分也很常見。為了獲取圖像數據，大多數數字成像設備包括圖像傳感器，其提供多個被配置為將圖像傳感器檢測到的光轉換為電信號的光檢測元件(例如光電檢測器)。圖像傳感器還可包括濾色器陣列，其對由圖像傳感器捕捉的光進行濾波以獲得顏色信息。接著通過圖像處理流水線來處理由圖像傳感器捕捉的圖像數據，該圖像處理流水線可以對圖像數據應用多種圖像處理操作以生成可被顯示在顯示設備(例如監視器)上以供觀看的全彩圖像。傳統圖像處理技術一般致力於產生在主觀上和客觀上都使觀看者愉悅的可觀看圖像，這樣的傳統技術可能無法充分地解決圖像數據中由成像設備和/或圖像傳感器引入的錯誤和/或失真。例如，可能因製造缺陷或操作錯誤而導致的圖像傳感器中的缺陷像素可能無法準確地感測光線水平，並且如果不加校正，可能會在得到的經處理圖像中產生偽影(artifact)。此外，可能因鏡頭製造的不完美而導致的在圖像傳感器的邊緣處的光強度下降，可能對特性測量有不利影響，並且可能導致一張圖像內的整體光強度不均勻。圖像處理流水線還可執行一個或多個處理以銳化圖像。然而傳統銳化技術可能未充分地計及圖像信號中存在的噪聲，或者可能無法將噪聲與圖像中的邊緣和紋理區域區分開。在這些情況下，傳統銳化技術可能實際上增加了圖像中噪聲的顯現，而這通常是不期望發生的。此外， 還可以執行多個附加圖像處理步驟，這些步驟中的一些可能依靠由統計信息收集引擎所收集到的圖像統計數據。可被應用於由圖像傳感器獲得的圖像數據的另一個圖像處理操作是解馬賽克 (demosaicing)操作。因為濾色器陣列一般為每個傳感器像素提供一個波長的顏色數據，所以一般針對每個顏色通道進行插值得到顏色數據的完整集合，以再現全彩圖像(例如RGB 圖像)。通常，傳統解馬賽克技術一般依據某種類型的固定閾值，在水平或垂直方向上內插丟失的顏色數據的值。然而，這些傳統解馬賽克技術可能未充分計及圖像內各邊緣的位置和方向，這可能導致引入到全彩圖像中的特別是沿著圖像內的對角邊緣的邊緣偽影，例如混疊(aliasing)、棋盤格偽影或彩虹偽影。
因此，當處理由數位相機或其他成像設備獲得的數字圖像時，應當注意多種考慮以提高結果圖像的外觀。具體而言，以下公開的特定方面可以解決以上簡要提及的一個或多個缺點。

發明內容
以下將闡述此處公開的特定實施例的概述。可以理解的是這裡僅僅呈現這些方面以向閱讀者提供這些特定實施例的簡要概述，並且這些方面並不限制本公開的範圍。實際上，本公開可以涵蓋以下沒有闡述的多個方面。本公開提供了多種用於在圖像信號處理器(ISP)中收集並處理統計數據的技術。 在一個實施例中，可以在ISP的前端處理單元中實現統計信息收集引擎，這樣可以先於在前端處理單元下遊的ISP流水線處理而收集統計信息。依據本公開一個方面，該統計信息收集引擎可以被配置為獲取與自動白平衡、自動曝光和自動對焦相關的統計信息。在一個實施例中，該統計信息收集引擎可以接收由圖像傳感器獲取的原始拜耳(Bayer)RGB數據， 並且可以被配置為執行一個或多個顏色空間轉換以獲得其他顏色空間中的像素數據。一組像素濾波器可被配置為基於YC1C2特性而有條件地(逐像素濾波器地由像素條件定義)積累像素數據之和。取決於所選的顏色空間，像素濾波器可以生成顏色和，所述顏色和可被用於將當前發光體與圖像傳感器已由其先前校準的一組參考發光體進行匹配。依照本公開另一個方面，自動對焦統計信息可用來產生用於確定定位與圖像傳感器關聯的鏡頭的最佳對焦長度的粗略的和精細的自動對焦分數。例如，該統計邏輯可以確定指示最佳對焦區域的粗略位置，在一個實施例中，該最佳對焦區域可以通過搜索相對於前一位置其粗略自動對焦分數降低的第一粗略位置來確定。使用該位置作為精細分數搜索的起始點，可以通過搜索精細自動對焦分數的峰值來確定最佳對焦位置。還可以基於拜耳 RGB的每個顏色來確定自動對焦統計信息，以便即使存在色差，每個顏色的相對自動對焦分數可以用來確定對焦的方向。此外，可以將收集的統計信息輸出到存儲器，並由ISP使用該收集的統計信息以處理獲取的圖像數據。以上所示特徵的多種細化存在於本公開涉及的多個方面。其他特徵也可併入到這些方面。這些細化和附加特徵可獨立存在或組合地存在。例如，以下討論的涉及一個或多個示例實施例的多種特徵可被單獨或任意組合地併入到本公開的上述方面中。再次，以上呈現的簡要概述僅旨在使閱讀者熟悉本公開的實施例的特定方面和內容，而非對要求保護的主題的限制。


本專利或申請文件包括至少一張彩色列印的附圖。將由官方根據請求和支付必要費用來提供具有彩色附圖的該專利或專利申請公開的拷貝。閱讀以下詳細描述以及參考附圖可以更好的理解本公開的多個方面，在附圖中圖1是描述包括被配置為實現本公開中闡述的一個或多個圖像處理技術的成像設備和圖像處理電路的電子設備的一個例子的部件的簡單方框圖；圖2示出了在圖1的成像設備中實現的拜耳濾色器陣列的2X2像素塊的示意圖；圖3是依照本公開的一些方面的膝上型計算設備形式的圖1的電子設備的透視圖；圖4是依照本公開的一些方面的桌上型計算設備形式的圖1的電子設備的前視圖；圖5是依照本公開的一些方面的手持便攜型電子設備形式的圖1的電子設備的前視圖；圖6是圖5所示的電子設備的後視圖；圖7是例示了依照本公開的一些方面的可以在圖1的圖像處理電路中實現的前端圖像信號處理(ISP)邏輯和ISP流水處理邏輯的方框圖；圖8是示出了依照本公開的一些方面的圖7的ISP前端邏輯的實施例的更詳細的方框圖；圖9是描繪了依照一個實施例的用於在圖8的ISP前端邏輯中處理圖像數據的方法的流程圖；圖10是例示了依照一個實施例的可被用於在ISP前端邏輯中處理圖像數據的雙重緩衝寄存器和控制寄存器的結構的方框圖；圖11-13是描繪了依照本技術的實施例的用於觸發圖像幀的處理的不同模式的時序圖；圖14是描繪了依照一個實施例的控制寄存器的詳細框圖；圖15是描繪了當圖8中的ISP前端邏輯操作於單傳感器模式時用於使用前端像素處理單元來處理圖像幀的方法的流程圖；圖16是描繪了當圖8中的ISP前端邏輯操作於雙傳感器模式時用於使用前端像素處理單元來處理圖像幀的方法的流程圖；圖17是描繪了當圖8中的ISP前端邏輯操作於雙傳感器模式時用於使用前端像素處理單元來處理圖像幀的方法的流程圖；圖18是描繪了依照一個實施例的的方法的流程圖，其中兩個圖像傳感器都是活動的，但是其中第一圖像傳感器正在發送圖像幀給前端像素處理單元，而第二圖像傳感器正在發送圖像幀給統計處理單元，因此當第二圖像傳感器稍後繼續發送圖像幀給前端像素處理單元時，可以立刻獲得第二傳感器的成像統計數據；圖19是依照本公開的一些方面的可在由圖像傳感器捕捉的源圖像幀中定義的各種成像區域的圖解說明；圖20是依照本公開的一些方面的提供對如圖8的ISP前端邏輯中所示的ISP前端像素處理單元的一個實施例的更詳細視圖的方框圖；圖21是依照一個實施例的例示了如何將時域濾波應用到由圖20所示的ISP前端像素處理單元接收到的圖像像素數據的處理框圖；圖22例示了可被用於確定圖21所示的時域濾波處理的一個或多個參數的一組參考圖像像素和一組對應的當前圖像像素；圖23是例示了依照一個實施例的用於將時域濾波應用到一組圖像數據的當前圖像像素的處理的流程圖；圖M是示出了依照一個實施例的用於計算圖23的當前圖像像素的時域濾波所使用的運動增量值的技術的流程圖25是例示了依照另一個實施例的用於將時域濾波應用到一組圖像數據的當前圖像像素的另一個處理的流程圖，其包括對圖像數據的每個顏色分量使用不同增益；圖沈是例示了依照另一個實施例的時域濾波技術如何對由圖20所示的ISP前端像素處理單元接收到的圖像像素數據的每個顏色分量使用分別的運動和亮度(Iuma)表的處理框圖；圖27是例示了依照另一個實施例的使用如圖沈所示的運動和亮度表而將時域濾波應用到一組圖像數據的當前圖像像素的處理的流程圖；圖觀描繪了依照本公開的一些方面的由圖像傳感器捕捉的全解析度原始(raw) 圖像數據的採樣；圖四例示了依照本公開的一個實施例的被配置為將像素合併(binning)應用到圖觀的全解析度原始圖像數據以輸出經像素合併的原始圖像數據的採樣的圖像傳感器；圖30描繪了依照本公開的一些方面的可由圖四的圖像傳感器提供的經像素合併的原始圖像數據的採樣；圖31描繪了依照本公開一些方面的來自圖30的經像素合併的原始圖像數據在由像素合併補償濾波器重新採樣之後提供的數據；圖32描繪了依照一個實施例的可在圖20的ISP前端像素處理單元中實現的像素合併補償濾波器；圖33是依照本公開一些方面的被應用到差分分析器以選擇用於像素合併補償濾波的中心輸入像素和索引/相位的多種步進大小(step size)的圖解描繪；圖34是例示了依照一個實施例的使用圖32的像素合併補償濾波器來縮放圖像數據的處理的流程圖；圖35是例示了依照一個實施例的確定由圖32的像素合併補償濾波器所執行的水平和垂直濾波的當前輸入源中心像素的處理的流程圖；圖36是例示了依照一個實施例的確定用於選擇由圖32的像素合併補償濾波器所執行的水平和垂直濾波的濾波係數的索引的處理的流程圖；圖37是示出了依照本公開一些方面的可在圖8所示的ISP前端處理邏輯中實現的統計處理單元的實施例的更詳細方框圖；圖38示出了依照本公開一些方面的當應用用於在圖37的統計處理單元進行統計處理時檢測和校正缺陷像素的技術時可能要考慮的各種圖像幀邊界情況；圖39是例示了依照一個實施例的用於在統計處理過程中執行缺陷像素檢測和校正的處理的流程圖；圖40示出了描繪成像設備的傳統鏡頭的光強度相對於像素位置的三維分布；圖41是表現圖像中不均勻光強度的有色圖，這可能是鏡頭明暗(lens shading) 不規則的結果；圖42是依照本公開一些方面的包括鏡頭明暗糾正區域和增益柵格(gain grid) 的原始成像幀的圖解例示；圖43例示了依照本公開一些方面的用於被周圍四個柵格增益點包圍的圖像像素的增益值的插值；圖44是例示了依照本技術一個實施例的用於確定在鏡頭明暗校正操作期間可被應用到成像像素的插值增益值的處理的流程圖；圖45是描繪了依照本公開一些方面的當執行鏡頭明暗校正時，可被應用到表現出圖40所示的光強度特性的圖像的插值增益值的三維分布；圖46示出了依照本公開一些方面的來自圖41的有色圖在應用了鏡頭明暗校正操作之後表現出改進的光強度均勻性的有色圖；圖47圖解例示了依照一個實施例的可以如何計算和使用當前像素和圖像的中心之間的徑向距離來確定用於鏡頭明暗校正的徑向增益分量；圖48是例示了依照本技術一個實施例的使用來自增益柵格的徑向增益和插值增益來確定總增益的處理的流程圖，在鏡頭明暗校正操作期間可將該總增益應用到成像像素；圖49是示出了顏色空間中的白色區域以及低和高色溫軸的圖；圖50是示出了依照一個實施例的可以如何為各種參考發光體條件配置白平衡增益的表；圖51是示出了依照本公開一個實施例的可以在ISP前端處理邏輯中實現的統計信息收集引擎的方框圖；圖52例示了依照本公開一些方面的原始拜耳RGB數據的下採樣；圖53描繪了依照一個實施例的可以由圖51的統計信息收集引擎收集的二維顏色直方圖；圖M描繪了在二維顏色直方圖中的變焦和鏡頭移動(panning)；圖55是示出了依照一個實施例的用於實現統計信息收集引擎的像素濾波器的邏輯的更詳細的視圖；圖56是依照一個實施例的可如何基於為像素濾波器定義的像素條件而估算 C1-C2顏色空間內的像素位置的圖解描繪；圖57是依照另一個實施例的可如何基於為像素濾波器定義的像素條件而估算 C1-C2顏色空間內的像素位置的圖解描繪；圖58是依照又一個實施例的可如何基於為像素濾波器定義的像素條件而估算 C1-C2顏色空間內的像素位置的圖解描繪；圖59是示出了依照一個實施例的可如何確定圖像傳感器積分時間而補償閃爍的圖；圖60是示出了依照一個實施例的可以在圖51的統計信息收集引擎中實現且被配置為收集自動對焦統計數據的邏輯的詳細方框圖；圖61是描繪了依照一個實施例的用於使用粗略和精細自動對焦評分值而執行自動對焦的技術的圖；圖62是描繪了依照一個實施例的用於使用粗略和精細自動對焦評分值執行自動對焦的處理的流程圖；圖63和64示出了抽選原始拜耳數據以獲得白平衡亮度值；圖65示出了依照一個實施例的用於使用對每個顏色分量的相對自動對焦評分值來執行自動對焦的技術；圖66是依照一個實施例的圖37的統計處理單元更詳細的視圖，其示出了可以如何使用拜耳RGB直方圖數據來幫助黑度(blacklevel)補償；圖67是示出了依照本公開一些方面的圖7的ISP流水處理邏輯的一個實施例的方框圖；圖68是示出了依照本公開一些方面的可在圖67的ISP流水處理邏輯中實現的原始像素處理塊的一個實施例的更詳細視圖；圖69示出了依照本公開一些方面的當在圖68所示的原始像素處理塊執行處理期間應用用於檢測和校正缺陷像素的技術時要考慮的各種圖像幀邊界情況；圖70-72是依照一個實施例的描繪可由圖68的原始像素處理塊執行的用於檢測和校正缺陷像素的多種處理的流程圖；圖73示出了依照本公開一些方面的在圖68的原始像素處理邏輯執行處理期間應用綠色非均勻性校正技術時在拜耳圖像傳感器的2X2像素塊內的兩個可內插的綠色像素的位置；圖74例示了依照本公開一些方面的包括中心像素和關聯的水平相鄰像素在內的可被用作用於降噪的水平濾波處理的一部分的像素集合；圖75例示了依照本公開一些方面的包括中心像素和關聯的垂直相鄰像素在內的可被用作用於降噪的垂直濾波處理的一部分的像素集合；圖76是描繪了如何將解馬賽克應用到原始拜耳圖像模式(pattern)以產生全彩 RGB圖像的簡化流程圖；圖77表示依照一個實施例的拜耳圖像模式的像素集合，在該拜耳圖像模式的解馬賽克期間，可以從其中導出用於對綠色值進行插值的水平和垂直能量分量；圖78示出了依照本技術一些方面的水平像素集合，在拜耳圖像模式的解馬賽克期間，可對其應用濾波以確定經插值得到的綠色值的水平分量；圖79示出了依照本技術一些方面的垂直像素集合，在拜耳圖像模式的解馬賽克期間，可對其應用濾波以確定經插值得到的綠色值的垂直分量；圖80示出了依照本技術一些方面的多種3x3像素塊，在拜耳圖像模式的解馬賽克期間，可對其應用濾波以確定經插值得到的紅色和藍色值；圖81-84提供依照一個實施例的描繪在拜耳圖像模式的解馬賽克期間用於插值綠色、紅色和藍色值的各種處理的流程圖；圖85示出了可由圖像傳感器捕捉的並依照此處公開的解馬賽克技術的一些方面而處理的初始圖像場景的有色圖；圖86示出了如圖85所示的圖像場景的拜耳圖像模式的有色圖；圖87示出了使用傳統解馬賽克技術基於圖86的拜耳圖像模式而重構的RGB圖像的有色圖；圖88示出了依照此處公開的解馬賽克技術的一些方面從圖86的拜耳圖像模式重構的RGB圖像的有色圖；圖89是示出了依照本公開一些方面的可在圖67的ISP流水處理邏輯中實現的 RGB處理塊的一個實施例的更詳細視圖；圖90是示出了依照本公開一些方面的可在圖67的ISP流水處理邏輯中實現的 YCbCr處理塊的一個實施例的更詳細視圖91是依照本公開一些方面的在使用1平面格式的源緩衝器內定義的用於亮度和色度的活動源區域的圖解描繪；圖92是依照本公開一些方面的在使用2平面格式的源緩衝器內定義的用於亮度和色度(chroma)的活動源區域的圖解描繪；圖93是例示了依照一個實施例的可在如圖90所示的YCbCr處理塊中實現的圖像銳化邏輯的方框圖；圖94是例示了依照一個實施例的可在如圖90所示的YCbCr處理塊中實現的邊緣增強邏輯的方框圖；圖95是示出了依照本公開一些方面的色度衰減因子與銳化的亮度值之間的關係的圖；圖96是例示了依照一個實施例的可在如圖90所示的YCbCr處理塊中實現的圖像明亮度(brightness)、對比度(contrast)和顏色(BCC)調整邏輯的方框圖；以及圖97示出了在如圖96所示的BCC調整邏輯執行顏色調整期間可以在定義各種色相(hue)角和飽和度(saturation)值的YCbCr顏色空間中應用的色相和飽和度顏色輪 (colorwheel)。
具體實施例方式以下將描述本公開的一個或多個特定實施例。這些描述的實施例都僅是當前公開的技術的示例。此外，為了提供這些實施例的簡明描述，可能不會在說明書中描述實際實現的全部特徵。應當明了的是在任意這些實際實現的開發中，如同在任何工程或設計項目中一樣，都必須做出眾多特定於實現的決定以達到開發者的特定目的，例如順從因實現的不同而變化的涉及系統的和涉及商業的限制。此外，應當明了的是這樣的開發努力可能是複雜且很耗時間的，但仍然是從本公開獲益的本領域技術人員的日常設計、生產和製造任務。當介紹本公開的多個實施例的要素時，冠詞「a」、「an」和「the」旨在表示一個或多個要素。術語「包含」、「包括」和「具有」旨在是開放的，並且表示除了所列的要素之外還可能有額外的要素。此外，應當理解的是，對於本公開「一個實施例」或「一實施例」的提及並不旨在將其解釋為排除同樣具有所列舉的特徵的其他實施例的存在。如以下將要描述的，本公開一般涉及用於處理經由一個或多個圖像感測設備獲取的圖像數據的技術。具體而言，本公開的特定方面可以涉及用於檢測和校正缺陷像素的技術，用於對原始圖像模式進行解馬賽克的技術，用於使用多尺度虛光蒙版(multi-scale unsharp mask)來銳化亮度圖像的技術，以及用於應用鏡頭明暗增益以校正鏡頭明暗不規則的技術。此外，應當理解的是這裡公開的技術可被應用到靜態圖像和運動圖像(例如視頻)這兩者，並且可被用於任何合適類型的成像應用，例如數位相機、具有集成數位相機的電子設備、安全或視頻監視系統、醫療成像系統等等。留意以上要點，圖1是例示電子設備10的一個示例的方框圖，所述電子設備10可以提供使用以上簡單提及的一個或多個圖像處理技術對圖像數據進行的處理。電子設備10 可以是任何類型的電子設備，例如膝上或桌上型計算機、行動電話、數字媒體播放器等等， 其被配置為接收和處理圖像數據，例如使用一個或多個圖像感測部件獲取的數據。僅作為示例，電子設備10可以是可攜式電子設備，例如可從加利福尼亞州庫比蒂諾的蘋果公司獲得的iPod 或iPhone 的模型。此外，電子設備10可以是桌上或膝上型計算機，例如可從蘋果公司獲得的MacBook 、MacBook :Pro,MacBookAir ,iMac >Mac Mini 或 Mac Pro 的模型。在另外的實施例中，電子設備10還可以是來自其他製造商的能夠獲取並處理圖像數據的電子設備的模型。無關其形式(例如可攜式或非可攜式)，應當理解的是電子設備10可以提供使用以上簡要討論的一個或多個圖像處理技術對圖像數據進行的處理，這些技術可包括缺陷像素校正和/或檢測技術、鏡頭明暗校正技術、解馬賽克技術、或圖像銳化技術，等等。在某些實施例中，電子設備10可將這樣的圖像處理技術應用到存儲在電子設備10的存儲器中的圖像數據。在其他實施例中，電子設備10可包括一個或多個被配置為獲得圖像數據的成像設備，例如集成的或外置的數位相機，於是電子設備10可使用一個或多個以上提及的圖像處理技術來處理這些圖像數據。以下將在圖3-6中進一步討論示出電子設備10的可攜式和非可攜式實施例的實施例。如圖1所示，電子設備10可包括各種用於實現設備10的功能的內置和/或外置部件。本領域技術人員可以理解如圖1所示的各種功能塊可包括硬體要素(包括電路)、軟體要素(包括存儲在計算機可讀介質上的計算機代碼)或硬體和軟體要素這兩者的組合。 例如，在當前所示的實施例中，電子設備10可包括輸入/輸出(I/O)埠 12、輸入結構14、 一個或多個處理器16、存儲器設備18、非易失性存儲器20、( 一個或多個)擴展卡22、聯網設備24、電源沈和顯示器28。此外，電子設備10可包括一個或多個成像設備30 (例如數位相機)以及圖像處理電路32。如下所要進一步討論的，圖像處理電路32可被配置為在處理圖像數據時執行一個或多個以上討論的圖像處理技術。可以明了的是，可以從存儲器18 和/或非易失性存儲設備20檢索或者可以使用成像設備30獲得供圖像處理電路32處理的圖像數據。在繼續之前，應當理解的是如圖1所示的設備10的系統方框圖旨在表示描述可能包括在該設備10中的各部件的高級控制框圖。也就是說，在如圖1所示的每個獨立元件之間的連接線並不是一定表示在設備10的各部件之間的數據流動或傳輸的路徑或方向。實際上，如下所討論的，在某些實施例中，描繪的(一個或多個)處理器16可以包括多個處理器，例如主處理器(例如CPU)和專用圖像和/或視頻處理器。在這樣的實施例中，可主要由這些專用處理器來執行對圖像數據的處理，有效地使得主處理器(CPU)免於裝載這樣的任務。關於圖1所示的每個元件，I/O埠 12可包括被配置為連接多種外置設備的埠，這些外置設備例如是電源、音頻輸出設備(例如耳機或頭戴受話器)、或其他電子設備 (例如手持設備和/或計算機、印表機、投影儀、外置顯示器、數據機、塢站(docking station)等等)。在一個實施例中，1/0埠 12可被配置為連接到外置成像設備，例如數位相機，用以獲取可使用圖像處理電路32處理的圖像數據。1/0埠 12可以支持任何適合類型的接口，例如通用串行總線(USB)埠、串行連接埠、IEEE-1394(FireWire)埠、乙太網或數據機埠、和/或AC/DC電源連接埠。在某些實施例中，特定的1/0埠 12可被配置為提供多於一種功能。例如，在一個實施例中，1/0埠 12可包括蘋果公司專有的埠，其功能不僅在於方便在電子設備10 和外部源之間進行數據傳輸，還將設備10耦合到電源充電接口，例如被設計為從牆壁插座提供電力的電源適配器，或者耦合到被配置為從諸如桌上或膝上型計算機的另一個電子設備吸取電力以用於對電源26(其可包括一個或多個可充電電池)進行充電的接口電纜。以此方式，例如，取決於通過I/O埠 12被耦合到設備10的外置元件，I/O埠 12可被配置為具有數據傳輸埠和AC/DC電源連接埠的雙重功能。輸入結構14可向(一個或多個)處理器16提供用戶輸入或反饋。例如，輸入結構14可被配置為控制電子設備10的一個或多個功能，例如在電子設備10中運行的應用。 僅作為示例，輸入結構14可包括按鈕、滑塊、開關、控制板、按鍵、旋鈕、滾輪、鍵盤、滑鼠、觸摸板等，或以上這些的某些組合。在一個實施例中，輸入結構14可以允許用戶導航在設備 10上顯示的圖形用戶界面(⑶I)。此外，輸入結構14可包括與顯示器觀一起提供的觸摸敏感機構。在這些實施例中，用戶可通過觸摸敏感機構來選擇所顯示的界面元素或與之交互。輸入結構14可包括多種設備、電路和路徑，通過這些將用戶的輸入或反饋提供給一個或多個處理器16。這樣的輸入結構14可被配置為控制設備10的功能、在設備10上運行的應用和/或連接到電子設備10或被電子設備10使用的任何接口或設備。例如，輸入結構14可允許用戶導航顯示的用戶界面或應用界面。輸入結構14的示例可包括按鈕、滑塊、開關、控制板、按鍵、旋鈕、滾輪、鍵盤、滑鼠、觸摸板等等。在特定實施例中，輸入結構14和顯示器觀可被一併提供，例如「觸控螢幕」的情況， 籍此與顯示器觀一併提供觸摸敏感機構。在這樣的實施例中，用戶可通過觸摸敏感機構來選擇所顯示的界面元素或與之交互。以此方式，顯示的界面可提供交互功能，允許用戶通過觸摸顯示器觀來導航顯示的界面。例如，利用輸入結構14進行的用戶交互，例如與用戶交互或與顯示在顯示器觀上的應用界面交互，可生成指示用戶輸入的電信號。這些輸入信號可以通過合適的路徑(例如輸入集線器或數據總線)被路由到一個或多個處理器16以做進一步處理。除了處理通過(一個或多個)輸入結構14接收到的各種輸入信號之外，(一個或多個)處理器16還控制設備10的一般操作。例如，處理器16可提供處理能力以運行作業系統、程序、用戶和應用界面、以及電子設備10的任何其他功能。(一個或多個)處理器16 可包括一個或多個微處理器，例如一個或多個「通用」微處理器、一個或多個專用微處理器和/或特定於應用的微處理器(ASIC)、或這些處理部件的組合。例如，(一個或多個)處理器16可包括一個或多個指令集(例如RISC)處理器，以及圖形處理器(GPU)、視頻處理器、 音頻處理器和/或相關晶片組。將明了的是，(一個或多個)處理器16可耦合到一個或多個用於在設備10的各個部件之間傳輸數據和指令的數據總線。在特定實施例中，(一個或多個)處理器16可提供處理能力以在電子設備10中運行成像應用，例如可從蘋果公司獲得的PhotoBooth 、Aperture 、iPhoto 或Preview ,或由蘋果公司提供的「相機」和/ 或「照片」應用，這些都是iPhone 的模型上可用的。將由(一個或多個)處理器16處理的指令或數據可被存儲在計算機可讀介質中， 例如存儲器設備18中。存儲器設備18可以被提供為易失性存儲器，例如隨機存取存儲器 (RAM)，或非易失性存儲器，例如只讀存儲器(ROM)，或一個或多個RAM和ROM設備的組合。 存儲器18可存儲多種信息並被用於各種用途。例如，存儲器18可存儲用於電子設備10的固件，例如基本輸入/輸出系統(BIOS)、作業系統、各種程序、應用或可在電子設備10中上運行的任何其他例程，包括用戶界面功能、處理器功能等等。此外，在電子設備10的操作期間，存儲器18可被用來緩衝或高速緩存。例如，在一個實施例中，存儲器18包括一個或多個幀緩衝器，用以緩衝要被輸出到顯示器觀的視頻數據。除了存儲器設備18，電子設備10還可包括非易失性存儲器20以用於持久存儲數據和/或指令。非易失性存儲器20可以包括快閃記憶體、硬碟驅動器或任何其他光學、磁和/或固態存儲介質，或以上這些的組合。因此，儘管為了清楚的目的只在圖1中描繪了單個設備， 但是應當理解的是(一個或多個)非易失性存儲器20可以包括一個或多個以上列出的與 (一個或多個)處理器16 —起操作的存儲設備的組合。非易失性存儲器20可被用來存儲固件、數據文件、圖像數據、軟體程序和應用、無線連接信息、個人信息、用戶偏好和任何其他合適的數據。依照本公開一些方面，在輸出到顯示器之前，可通過圖像處理電路32來處理存儲在非易失性存儲器20和/或存儲器設備18中的圖像數據。如圖1所示的實施例還可包括一個或多個卡槽或擴展槽。卡槽可被配置為接收擴展卡22，其可被用於增加電子設備10的功能，例如額外的存儲器、I/O功能或聯網能力。這樣的擴展卡22可通過任何類型的合適連接器被連接到設備上，並且可以相對於電子設備 10的殼體而被內部地或外部地訪問。例如，在一個實施例中，擴展卡22可以是快閃記憶體卡，例如安全數字(SD)卡、迷你或微SD、緊湊快閃記憶體卡等，或者可以是PCMCIA設備。此外，對於提供行動電話能力的電子設備10的實施例，擴展卡22可以是訂戶標識模塊(SIM)卡。電子設備10還包括網絡設備對，其可以是通過無線802. 11標準或任何其他合適的聯網標準(例如區域網(LAN)、廣域網(WAN)，例如GSM演進的增強數據率(EDGE)網絡、 3G數據網絡或網際網路)而提供網絡連接的網絡控制器或網絡接口卡(NIC)。在特定實施例中，網絡設備對可以提供至在線數字媒體內容提供商(例如可從蘋果公司獲得的il\ines 音樂服務)的連接。設備10的電源沈可包括在非便攜和便攜設置下向設備10供電的能力。例如，在便攜設置下，設備10可包括一個或多個用於向設備10供電的電池，例如鋰離子電池。可以通過將設備10連接到外部電源(例如牆壁插座)來對電池重新充電。在非便攜設置下，電源沈可包括供電單元(PSU)，其被配置為從牆壁插座取得電力，並將所述電力分配給非便攜電子設備(例如桌上型計算系統)的各個部件。顯示器觀可被用於顯示由設備10生成的各種圖像，例如用於作業系統的⑶I，或由圖像處理電路32處理的圖像數據(包括靜止圖像和視頻數據)，以下將對其進行進一步討論。如上所述，圖像數據可包括使用成像設備30獲取的圖像數據或從存儲器18和/或非易失性存儲器20檢索出的圖像數據。顯示器觀可以是任何合適類型的顯示器，例如液晶顯示器(IXD)、等離子顯示器或有機發光二極體(OLED)顯示器。此外，如上所討論的，顯示器觀可以具有可作為電子設備10的控制界面的一部分的、如上所述的觸摸敏感機構(例如觸控螢幕)。所例示的(一個或多個)成像設備30還可被提供為被配置以獲取靜態圖像和運動圖像(例如視頻)的數位相機的形式。相機30可包括鏡頭和一個或多個被配置為捕捉光並將光轉換為電信號的圖像傳感器。僅作為示例，圖像傳感器可包括CMOS圖像傳感器(例如CMOS有源像素傳感器(APQ)或CCD(電荷耦合器件)傳感器。一般來說，相機30中的圖像傳感器包括具有像素陣列的集成電路，其中每個像素包括一個用於感測光的光電檢測器。本領域技術人員應當明了，成像像素中的光電檢測器一般檢測通過相機鏡頭捕捉的光的強度。然而，光電檢測器一般無法自己檢測所捕捉的光的波長，因此，無法確定顏色信息。因此，圖像傳感器可進一步包括濾色器陣列(CFA)，其可覆蓋圖像傳感器的像素陣列或被置於像素陣列之上，以捕捉顏色信息。濾色器陣列可包括小型濾色器的陣列，每一個小型濾色器可以覆蓋圖像傳感器的一個相應像素，並且按波長對捕捉的光進行濾波。因此， 當一併使用時，濾色器陣列和光電檢測器可提供關於通過相機所獲得的光的波長和強度信息，這可以表示所捕捉的圖像。在一個實施例中，濾色器陣列可包括拜耳濾色器陣列，其提供50 %綠色元素，25 % 紅色元素和25%藍色元素的濾波器模式。例如，圖2示出了包括2個綠色元素(Gr和(ib)，l 個紅色元素(R)和1個藍色元素(B)的拜耳CFA的2X2像素塊。因此，利用拜耳濾色器陣列的圖像傳感器可提供關於相機30在綠色、紅色和藍色波長處接收到的光的強度的信息， 由此每個圖像像素僅記錄三種顏色(RGB)之一。被稱為「原始圖像數據」或「原始域」中的數據的這一信息隨後被使用一種或多種解馬賽克技術進行處理，由此將原始圖像數據轉換為全彩圖像，這一般是通過為每個像素內插一組紅色、綠色和藍色值而實現的。如以下將描述的那樣，可由圖像處理電路32來執行這樣的解馬賽克技術。如上所述，圖像處理電路32可提供各種圖像處理步驟，例如缺陷像素檢測/校正、 鏡頭明暗校正、解馬賽克、以及圖像銳化、降噪、伽馬校正、圖像增強、顏色空間變換、圖像壓縮、色度亞採樣和圖像縮放操作等等。在一些實施例中，圖像處理電路32可包括多個子部件和/或離散的邏輯單元，其集合地形成用於執行各個圖像處理步驟中的每一個步驟的圖像處理「流水線」。可以使用硬體(例如數位訊號處理器或ASIC)或軟體，或通過硬體和軟體部件的組合來實現這些子部件。以下將更加詳細的描述可由圖像處理電路32提供的各種圖像處理操作，尤其是涉及缺陷像素檢測/校正、鏡頭明暗校正、解馬賽克和圖像銳化的那些處理操作。在繼續之前，應當注意的是雖然以下所討論的各種圖像處理技術的多個實施例可以利用拜耳CFA，但是當前公開的技術並不限於此。實際上，本領域技術人員將明了此處提供的圖像處理技術可適用於任何適合類型的濾色器陣列，包括RGBW濾色器、CYGM濾色器寸。再次參考電子設備10，圖3-6例示了電子設備10可採用的各種形式。如上所述， 電子設備10可採用計算機的形式，包括通常便攜的計算機(例如膝上型、筆記本和平板計算機)以及通常不便攜的計算機(例如桌上型計算機、工作站和/或伺服器)，或其他類型的電子設備，例如手持便攜電子設備(例如數字媒體播放器或行動電話)。具體而言，圖3 和圖4分別描繪了膝上型計算機40形式和桌上型計算機50形式的電子設備10。圖5和圖 6分別示出了手持便攜設備60形式的電子設備10的前視圖和後視圖。如圖3所示，描繪的膝上型計算機40包括殼體42、顯示器觀、1/0埠 12和輸入結構14。輸入結構14可包括與殼體42集成的鍵盤和觸摸板滑鼠。此外，輸入結構14可包括多種可用於與計算機40交互(例如給計算機加電或啟動計算機)的其他按鈕和/或開關，以操作GUI或在計算機40中運行的應用，以及調整多種涉及計算機40操作的其他方面(例如音量、顯示器亮度等)。計算機40還可包括提供至其他設備的連接的多種I/O埠 12，如上所述，例如FireWire ,或USB埠、高清多媒體接口(HDMI)埠或任何其他類型的適於連接到外部設備的埠。此外，計算機40可包括如以上圖1所示的網絡連接(例如網絡設備26)、存儲器(例如存儲器20)和存儲能力(例如存儲設備22)。另外，在所示的實施例中，膝上型計算機40可包括集成的成像設備30(例如相機)。在另一個實施例中，膝上型計算機40可利用連接到一個或多個I/O埠 12的外置相機(例如外置USB相機或「攝像頭」)以作為集成相機30的替代或附加。例如，外置相機可以是可從蘋果公司得到的iSight .相機。不管集成的還是外置的，相機30可以提供圖像的捕捉和記錄。接著這些圖像可由用戶使用圖像觀看應用來觀看，或者可以被其他應用來使用，包括視頻會議應用，例如iChat ，以及圖像編輯/觀看應用，例如可從蘋果公司得到的Photo Booth 、Aperture 、iPhoto .或Preview 在特定實施例中，所描繪的膝上型計算機40可以是可從蘋果公司獲得的MacBook^xMacBook^l^cKMacBookAir .或 PowerBook 的模型。此外，在一個實施例中，計算機40可以是可攜式平板計算設備，例如同樣可從蘋果公司獲得的iPad⑩平板計算機的模型。圖4進一步例示了電子設備10被提供作為桌上型計算機50的一個實施例。將明了的是，桌上型計算機50可包括多種與由圖4所示的膝上型計算機40提供的大致類似的特徵，但是也可能具有通常更大的整體形狀。如圖所示，桌上型計算機50可被裝入包括顯示器觀和如圖1所示的方框圖中所討論的各種其他部件的外殼42中。另外，桌上型計算機50可包括通過一個或多個1/0埠(例如USB)耦合至該計算機50的、或能夠與該計算機50無線通信(例如通過RF、藍牙等)的外置鍵盤和滑鼠(輸入結構14)。如上所述，桌上型計算機50還可包括可以是集成的或外置相機的成像設備30。在特定實施例中，所描繪的桌上型計算機50可以是可從蘋果公司獲得的iMac 、Mac mini或Mac Pro 的模型。如進一步所示，顯示器觀可被配置為生成可被用戶觀看的各種圖像。例如，在計算機50的操作期間，顯示器觀可顯示圖形用戶界面(「GUI」)52以允許用戶與在計算機50 中運行的作業系統和/或應用進行交互。GUI 52可包括各種層、窗口、屏幕、模板或可在整個或部分顯示設備觀上顯示的其他圖形元素。例如，在所描繪的實施例中，作業系統GUI52 可包括各種圖形圖標54，每一種圖標可對應於可基於檢測到用戶的選擇(例如通過鍵盤/ 滑鼠或觸控螢幕輸入)被打開或執行的各種應用。圖標M可被顯示在停靠欄56中或在屏幕上顯示的一個或多個圖形窗口元素58內。在一些實施例中，對圖標M的選擇可導致分級導航處理，使得對圖標M的選擇導致一個屏幕或打開另一個包括一個或多個附加圖標或其他GUI元素的圖形窗口。僅作為示例，圖4顯示的作業系統GUI 52可以是來自可從蘋果公司獲得的Mac OS 作業系統的一個版本。繼續至圖5和6，電子設備10進一步被例示為便攜手持電子設備60的形式，其可以是可從蘋果公司獲得的iPod 或iPhone 的模型。在所描繪的實施例中，手持設備60包括外殼42，其可以起到保護內部部件免於物理損傷同時屏蔽電磁幹擾的作用。外殼42可由任何合適的材料或這些材料的組合來形成，例如塑料、金屬或複合材料，並且能夠允許特定頻率的電磁輻射(例如無線聯網信號)穿透以到達如圖5所示的可置於外殼42內的無線通信電路(例如網絡設備對)。外殼42還包括各種用戶輸入結構14，通過這些輸入結構14用戶可與手持設備60 交互。例如，每個輸入結構14可被配置為在被按壓或啟動時控制一個或多個相應的設備功能。作為示例，一個或多個輸入結構14可被配置為調用「home」屏幕(主屏幕)42或菜單以便顯示，被配置為在睡眠、喚醒或開機/關機模式之間切換，被配置為使蜂窩電話應用的鈴聲靜音，被配置為增加或減小音量輸出等等。應當理解的是所例示的輸入結構14僅是示例性的，並且手持設備60可包括任意數量的合適的用戶輸入結構，其可以具有各種形式， 包括按鈕、開關、按鍵、旋鈕、滾輪等等。如圖5所示，手持設備60可包括各種I/O埠 12。例如，所描繪的I/O埠 12可包括用於傳輸和接收數據文件或用於給電源26充電的專有連接埠 12a，和用於將設備60 連接到音頻輸出設備(例如頭戴式耳機或揚聲器)的音頻連接埠 12b。此外，在手持設備60提供行動電話功能的實施例中，設備60可包括用於接收訂戶標識模塊(SIM)卡(例如擴展卡22)的I/O埠 12c。顯示設備28可以是IXD、OLED或任何適合類型的顯示器，其可以顯示由手持設備 60生成的各種圖像。例如，顯示器觀可以顯示向用戶提供關於手持設備60的一個或多個狀態(例如電源狀態、信號強度、外置設備連接等)的反饋的各種系統指示符64。參考以上圖4所討論的，顯示器還可顯示⑶I 52以允許用戶與設備60交互。⑶I 52可以包括圖形元素，例如圖標M，其可以對應於基於檢測到用戶對相應圖標M的選擇而打開或執行的各種應用。作為示例，圖標討之一可以表示可與相機30(如圖5中的虛線所示)一併使用以獲取圖像的相機應用66。簡單地參考圖6，例示了在圖5中所描繪的手持電子設備60的後視圖，其示出了相機30被集成於殼體42且位於手持設備60背面。如上所述，用相機30獲得的圖像數據可使用圖像處理電路32進行處理，所述圖像處理電路32可以包括硬體(例如位於外殼42內部)和/或存儲在設備60的一個或多個存儲設備(例如存儲器18或非易失性存儲器20)中的軟體。使用相機應用66和相機30 獲得的圖像可被存儲到設備60 (例如在存儲設備20中)，並且可使用照片觀看應用68在稍後觀看這些圖像。手持設備60還可包括各種音頻輸入和輸出元件。例如，一般地由參考標記70所描繪的音頻輸入/輸出元件可以包括輸入接收器，例如一個或多個麥克風。例如，在手持設備60包括蜂窩電話功能的情況下，輸入接收器可被配置為接收用戶音頻輸入，例如用戶語音。此外，音頻輸入/輸出元件70可包括一個或多個輸出發射器。這些輸出發射器可包括一個或多個揚聲器，其可以例如在使用媒體播放器應用72回放音樂數據時起到將音頻信號傳送給用戶的作用。此外，在手持設備60包括蜂窩電話應用的實施例中，如圖5所示，還可提供附加的音頻輸出發射器74。類似於音頻輸入/輸出元件70的輸出發射器，輸出發射器74也可包括一個或多個被配置為將音頻信號(例如在電話呼叫期間接收到的語音數據)傳送至用戶的揚聲器。因此，音頻輸/輸出元件70和74可聯合地操作以作為電話的音頻接收和發射元件。現已提供了一些關於電子設備10可採用的多種形式的背景，於是本公開將關注於圖1所描繪的圖像處理電路32。如上所述，圖像處理電路32可使用硬體和/或軟體部件來實現，並且可以包括定義圖像信號處理(ISP)流水線的各種處理單元。具體而言，以下討論會關注在本公開中闡述的圖像處理技術的各方面，尤其是涉及缺陷像素檢測/校正技術、鏡頭明暗校正技術、解馬賽克技術和圖像銳化技術的那些方面。現在參考圖7，例示了依照當前公開的技術的一個實施例的描繪了可實現為圖像處理電路32的一部分的多個功能性部件的簡化頂層方框圖。具體地，圖7旨在依照至少一個實施例來例示圖像數據可如何流過圖像處理電路32。為了提供對圖像處理電路32的一般概觀，這裡參考圖7提供了這些功能性部件如何操作以處理圖像數據的一般描述，同時， 後面將進一步提供所示的功能性部件的每一個及其各自的子部件的更具體的描述。參考所示的實施例，圖像處理電路32可包括圖像信號處理(ISP)前端處理邏輯 80、ISP流水處理邏輯82和控制邏輯84。由成像設備30捕捉的圖像數據首先由ISP前端邏輯80處理，並對其進行分析以獲得可被用於確定ISP流水邏輯82和/或成像設備30的一個或多個控制參數的圖像統計信息。ISP前端邏輯80可被配置為從圖像傳感器輸入信號獲得圖像數據。例如，如圖7所示，成像設備30可包括具有一個或多個鏡頭88和(一個或多個)圖像傳感器90的相機。如上所述，(一個或多個)圖像傳感器90可以包括濾色器陣列(例如拜耳濾波器)，並且因此可以提供由圖像傳感器90的每個成像像素獲得的光強和波長信息，從而提供可由ISP前端邏輯80處理的一組原始圖像數據。例如，成像設備30 的輸出92可由傳感器接口 94接收，隨後例如基於傳感器接口類型，傳感器接口 94可將原始圖像數據96提供給ISP前端邏輯80。作為示例，傳感器接口 94可利用標準移動成像架構(SMIA)接口或其他串行或並行相機接口，或它們的某些組合。在特定實施例中，ISP前端邏輯80可在其自身的時鐘域內操作，並且可以向傳感器接口 94提供異步接口以支持具有不同大小和定時需求的圖像傳感器。原始圖像數據96可被提供給ISP前端邏輯80，並以多種格式被逐像素地處理。例如，每個圖像像素可具有8，10，12或14位的位深。ISP前端邏輯80可對原始圖像數據96 執行一個或多個圖像處理操作，並收集關於圖像數據96的統計數據。可以以相同的或不同的位深精度來執行圖像處理操作和統計數據的收集。例如，在一個實施例中，可以以14位精度來執行原始圖像像素數據96的處理。在這些實施例中，由ISP前端邏輯80接收到的具有小於14位(例如8位，10位，12位)位深的原始像素數據被上採樣至14位以用於圖像處理目的。在另一個實施例中，可以以8位精度進行統計處理，因此具有更高位深的原始像素數據可被下採樣至8位格式用以統計目的。可以明了的是，下採樣至8位可降低硬體大小(例如面積)並且還能減少用於統計數據的處理/計算複雜度。此外，原始圖像數據可被空間平均以允許統計數據對噪聲更為魯棒。此外，如圖7所示，ISP前端邏輯80還可從存儲器108接收像素數據。例如，如參考標記98所示，原始像素數據可從傳感器接口 94被發送到存儲器108。如參考標記100所示，駐留在存儲器108中的原始像素數據隨後可被提供給ISP前端邏輯80以供處理。存儲器108可以是存儲設備20、存儲器設備18的一部分，或者可以是電子設備10內的單獨的專用存儲器並且可包括直接存儲器訪問(DMA)特徵。此外，在特定實施例中，ISP前端邏輯 80可在其本身的時鐘域內操作，並且向傳感器接口 94提供異步接口以支持不同大小並且具有不同定時需求的傳感器。一旦接收到原始圖像數據96 (從傳感器接口 94)或100 (從存儲器108)，ISP前端邏輯80可以執行一個或多個圖像處理操作，例如時域濾波和/或像素合併補償濾波。經處理的圖像數據隨後可被提供給ISP流水邏輯82(輸出信號109)以便在被顯示(例如在顯示設備觀上)之前進行其他處理，或者可被發送到存儲器(輸出信號110)。ISP流水邏輯 82直接從ISP前端邏輯80或者從存儲器108 (輸入信號11 接收「前端」經處理的數據， 並且提供對原始域中以及RGB和YCbCr顏色空間中的圖像數據的其他處理。由ISP流水邏輯82處理後的圖像數據隨後可被輸出(信號114)到顯示器觀以供用戶觀看和/或可由圖形引擎或GUP進行進一步處理。此外，ISP流水邏輯82的輸出可被發送到存儲器108 (信號115)，並且顯示器觀可從在特定實施例中被配置為實現一個或多個幀緩衝器的存儲器 108(信號116)讀取圖像數據。此外，在一些實施方式中，ISP流水邏輯82的輸出還可被提供給壓縮/解壓縮引擎118(信號117)以用於編碼/解碼圖像數據。經編碼的圖像數據可被存儲，並在隨後在被顯示在顯示器28設備上(信號119)之前進行解壓縮。作為示例，壓縮引擎或「編碼器」 118可以是用於編碼靜態圖像的JPEG壓縮引擎，或用於編碼視頻圖像的 H. 264壓縮引擎，或它們的組合，用於解碼圖像數據的相應的解壓縮引擎也是如此。後面將參考圖67-97來更加詳細的討論可在ISP流水邏輯82中提供的關於圖像處理操作的附加信息。同樣的，應當注意的是ISP流水邏輯82還可從存儲器108接收原始圖像數據，其被描述為輸入信號112。由ISP前端邏輯80確定的統計數據102可被提供給控制邏輯單元84。統計數據 102可包括，例如關於自動曝光、自動白平衡、自動對焦、閃爍檢測、黑度補償(BLC)、鏡頭明暗校正等的圖像傳感器統計信息。控制邏輯84可包括處理器和/或微控制器，其被配置為執行一個或多個例程(例如固件)，所述例程可被配置為基於接收到的統計數據102來確定用於成像設備30的控制參數104和用於ISP流水處理邏輯82的控制參數106。僅作為示例，控制參數104可包括傳感器控制參數(例如增益、曝光控制的累積時間)、相機閃光燈控制參數、鏡頭控制參數(例如對焦的對焦長度或變焦的焦距)或這些參數的組合。ISP 控制參數106可包括用於自動白平衡和顏色調整(例如在RGB處理期間)的增益等級和顏色校正矩陣OXM)係數，以及如下所討論的可基於白點平衡參數而確定的鏡頭明暗校正參數。在一些實施例中，除了分析統計數據102之外，控制邏輯84還可分析可存儲在電子設備10上(例如存儲器18或存儲器20內)的歷史統計信息。由於此處所示的圖像處理電路32的總體複雜設計，如下所示，將關於ISP前端邏輯80和ISP流水處理邏輯82的討論劃分為單獨的部分會是有益的。具體而言，本申請的圖8至66可涉及ISP前端邏輯80的多個實施例和各方面的討論，而本申請的圖67至97 可涉及ISP流水處理邏輯82的多個實施例和各方面的討論。
ISP前端處理邏輯圖8是示出了依照一個實施例的可在ISP前端邏輯80中實現的功能性邏輯塊的更詳細方框圖。基於成像設備30和/或傳感器接口 94的構造，如圖7所示，可由一個或多個圖像傳感器90將原始圖像數據提供給ISP前端邏輯80。在所描繪的實施例中，可通過第一圖像傳感器90a(傳感器0)和第二圖像傳感器90b (傳感器1)將原始圖像數據提供給ISP 前端邏輯80。如下將進一步討論的，每個圖像傳感器90a和90b可被配置為將像素合併應用到全解析度圖像數據，以增加圖像信號的信噪比。例如，可以應用一種像素合併技術(如 2X2像素合併)，其可基於相同顏色的四個全解析度圖像像素來插值得到「經像素合併的」 原始圖像像素。在一個實施例中，這可導致相比於單個噪聲分量，會有四個與經像素合併的像素相關聯的累積信號分量，由此改善圖像數據的信噪比，但是降低了整體解析度。此外， 像素合併還可導致圖像數據的不均勻或不一致的空間採樣，但可以通過使用如下將更詳細討論的像素合併補償濾波來對其進行校正。如圖所示，圖像傳感器90a和90b可分別提供原始圖像數據作為信號SifO和Sifl。圖像傳感器90a和90b中的每一個一般可與相應的統計處理單元120 (StatsPipeO) 和122 (MatsPipel)相關聯，而統計處理單元120和122可被配置為處理圖像數據以確定一組或多組統計信息(由信號MatsO和Matsl表示)，其包括涉及自動曝光、自動白平衡、 自動對焦、閃爍檢測、黑度補償和鏡頭明暗校正等的統計信息。在特定實施例中，當圖像傳感器90a和90b中僅有一個正在活動地獲取圖像時，如果需要附加的統計信息，則圖像數據可被發送到MatsPipeO和MatsPipel兩者。舉例而言，如果MatsPipeO和MatsPipel都可用，StatsPipeO可被用來收集一種顏色空間(例如RGB)的統計信息，而MatsPipel可被用來收集另一種顏色空間(例如YUV或YCbCr)的統計信息。也就是說，統計處理單元120 和122可以並行地操作以收集由活動傳感器獲得的圖像數據的每一幀的多組統計信息。
在本實施例中，在ISP前端80中提供五個異步數據源。這些數據源包括(1)來自對應於傳感器0 (90a)的傳感器接口的直接輸入(被稱為SifO或knsO)，(2)來自對應於傳感器l(90b)的傳感器接口的直接輸入(被稱為Sifl或％1181)，(3)來自可包括DMA接口的存儲器108的傳感器O數據輸入(被稱為SifInO或knsODMA)，(4)來自存儲器108 的傳感器1數據輸入(被稱為SifInl或knslDMA)，以及(5)從存儲器108檢索出的具有來自傳感器0和傳感器1數據輸入的幀的一組圖像數據(被稱為狗1^0(^11或ftxx^nDMA)。 ISP前端80還可包括來自源的圖像數據可被路由到的多個目的地，其中每個目的地可以是存儲器中(例如在108中)的存儲位置或處理單元。例如，在本實施例中，ISP前端80包括六個目的地(1)在存儲器108中用於接收傳感器0數據的SifODMA，(2)在存儲器108 中用於接收傳感器1數據的SiflDMA，(3)第一統計處理單元120 GtatsPipeO)，(4)第二統計處理單元122 (MatsPipel)，(5)前端像素處理單元(FEftx)c) 130，以及(6)到存儲器 108或ISP流水線82的!^eOut (或FEftOcOut)(以下將作進一步詳細討論)。在一個實施例中，如下表1所示，ISP前端80可被配置為針對具體源，僅有特定目的地有效。
權利要求
1.一種圖像信號處理系統，包括前端像素處理單元，被配置為接收多顏色原始圖像數據的幀，所述多顏色原始圖像數據包括表示使用數字圖像傳感器獲取的圖像場景的像素，其中，所述前端像素處理單元包括被配置為收集基於原始幀像素數據的統計信息的統計信息收集邏輯，其中所收集的統計信息包括自動白平衡統計信息和自動曝光統計信息中的至少一個，並且其中所述統計信息收集邏輯包括輸入端，被配置為接收原始幀像素數據；顏色空間轉換邏輯，被配置為將原始幀像素數據轉換成多組轉換後的像素數據，其中， 各組轉換後的像素數據彼此處於不同的顏色空間；以及一組像素濾波器，其中每個像素濾波器被配置為接收原始幀像素數據以及所述多組轉換後的像素數據，選擇原始幀像素數據或一組轉換後的像素數據，以及分析所選擇的一組像素數據並確定一個或多個累加的顏色和的值；其中，所述圖像信號處理系統包括控制邏輯，該控制邏輯被配置為至少部分地基於所述累加的顏色和的值，確定要應用到多顏色原始幀像素的一組白點平衡增益。
2.如權利要求1所述的圖像信號處理系統，其中，每個像素濾波器被配置為根據亮度和色度顏色空間中的一組像素條件來評估所選擇的一組像素數據中的每個像素，以及如果當前像素滿足這一組像素條件，將當前像素計入對應的顏色和的值。
3.如權利要求2所述的圖像信號處理系統，其中，所述一組像素條件定義所述亮度和色度顏色空間的顏色空間中的區域，並且其中評估所選擇的一組像素數據中的每個像素包括確定與當前像素相對應的亮度和色度值是否滿足至少一個線條件。
4.如權利要求3所述的圖像信號處理系統，其中，所述亮度和色度顏色空間選自線性亮度和色度顏色空間或非線性相機亮度和色度顏色空間之一。
5.如權利要求1所述的圖像信號處理系統，其中，所述原始幀像素數據包括拜耳RGB像素數據，並且其中，所述顏色空間轉換邏輯被配置為使用第一顏色校正矩陣來將所述拜耳RGB像素數據轉換為sRGBlinear顏色空間中一組對應的像素數據；使用非線性查找表來將這一組sRGBlinear像素數據轉換為sRGB顏色空間中一組對應的像素數據；使用第二顏色校正矩陣來將這一組sRGB像素數據轉換為亮度(Y)和色度(Cl，C2)顏色空間中一組對應的像素數據；以及使用第三顏色校正矩陣來將所述拜耳RGB像素數據轉換為相機亮度(camY)和色度 (camCl, camC2)顏色空間中一組對應的像素數據。
6.如權利要求5所述的圖像信號處理系統，其中，在將所述拜耳RGB數據提供給所述顏色空間轉換邏輯之前，對所述拜耳RGB數據進行抽選。
7.如權利要求5所述的圖像信號處理系統，其中，所述拜耳RGB像素數據、sRGBlinear 像素數據、sRGB像素數據、YC1C2像素數據和camYClC2像素數據之中的每一組像素數據被提供給像素濾波器中的每一個，並且其中每個像素濾波器選擇這些組像素數據中的一組像素數據，並為所選擇的一組像素數據確定一個或多個累加的顏色和的值。
8.如權利要求7所述的圖像信號處理系統，其中，如果像素濾波器被配置為獲取白點平衡統計信息，則所述一個或多個累加的顏色和的值是基於所述拜耳RGB像素數據或 sRGBlinear像素數據的；並且如果像素濾波器被配置為執行場景分析，則所述一個或多個累加的顏色和的值是基於所述YC1C2像素數據的。
9.如權利要求1所述的圖像信號處理系統，其中，確定要應用到多顏色原始幀像素數據的一組白點平衡增益包括基於所述累加的顏色和的值確定紅色與綠色之比以及藍色與綠色之比；以及至少部分地基於所述紅色與綠色之比以及藍色與綠色之比，從一組參考發光體中選出與圖像場景的當前發光體最緊密匹配的參考發光體；其中與所選的參考發光體相對應的白點平衡增益被應用到所述多顏色原始幀像素。
10.一種使用圖像信號處理器收集自動白平衡(AWB)統計信息的方法，包括 接收圖像幀，所述圖像幀具有使用圖像傳感器獲取的拜耳RGB原始圖像像素；將所述拜耳RGB原始圖像像素轉換成多組像素，所述多組像素至少包括sRGBlinear顏色空間中的第一組像素、sRGB顏色空間中的第二組像素、亮度和色度顏色空間(YC1C2)中的第三組像素、以及相機亮度和色度顏色空間(camYCia)中的第四組像素；以及將所述拜耳RGB原始圖像像素、sRGBlinear像素、sRGB像素、YC1C2像素和camYClC2 像素提供給一組所選的像素濾波器中的每個像素濾波器，其中所選的像素濾波器中的每個像素濾波器被配置為使用第一選擇邏輯來選擇YC1C2像素或camYClC2像素作為第一組選擇像素； 使用第二選擇邏輯來選擇所述拜耳RGB像素、sRGBlinear像素、sRGB像素或所述第一組選擇像素之一作為第二組選擇像素；以及根據一組像素條件來評估所述第一組選擇像素，以確定是否要將所述第二組選擇像素中的哪些像素累加到顏色和中。
11.如權利要求10所述的方法，其中，確定是否要將所述第二組選擇像素中的各個像素計入累加的顏色和包括評估所述第一組選擇像素中的當前對應像素是否滿足與當前像素濾波器相關聯的一組像素條件。
12.如權利要求11所述的方法，其中，評估所述第一組選擇像素中的當前對應像素是否滿足一組像素條件包括確定與當前對應像素相關聯的第一色度分量的值是否處於第一色度分量的最小值和最大值範圍內，所述最小值和最大值範圍是由與所述第一組選擇像素相對應的顏色空間 (C1-C2)中的第一點和第二點確定的；確定與當前對應像素相關聯的第二色度分量的值是否處於第二色度分量的最小值和最大值範圍內，所述最小值和最大值範圍是由所述顏色空間(C1-C2)中的所述第一點和所述第二點確定的；確定與當前對應像素關聯的亮度分量的值是否處於最小和最大亮度範圍內；以及確定當前對應像素的坐標是否滿足至少部分地基於所述第一點和所述第二點而定義的至少一個線條件。
13.如權利要求12所述的方法，其中，確定當前對應像素的坐標是否滿足所述一組像素條件包括確定與所述第一點相關聯的第一色度分量和與所述第二點相關聯的第一色度分量之間的第一增量；確定與所述第一點相關聯的第二色度分量和與所述第二點相關聯的第二色度分量之間的第二增量；確定偏移量，所述偏移量是所述第一增量乘以所述第一點和第二點之間的線與對應於所述第二色度分量的軸相交處的值；確定當前對應像素到所述線的第一垂直距離； 通過將所述第一垂直距離乘以歸一化因子來確定最大距離；確定第一值，所述第一值是所述第二增量與關聯於當前對應像素的第一色度分量的值的乘積和所述第一增量與關聯於當前對應像素的第二色度分量的值的乘積之差； 將所述第一值加上所述偏移量以獲得第二值；以及確定所述第二值的絕對值，並確定所述第二值的絕對值是否小於所述最大距離。
14.如權利要求13所述的方法，其中，所述歸一化因子是通過將所述第一增量值的平方與所述第二增量值的平方相加並獲得該結果的平方根而確定的。
15.如權利要求12所述的方法，其中，確定當前對應像素的坐標是否滿足一組像素條件包括識別顏色空間(C1-C2)的區域，該區域是使用所述第一點、所述第二點以及至少一個附加點作為頂點而形成的至少一個多邊形；以及對於形成該多邊形的邊的每條線，確定當前對應像素的坐標是否位於所述線的使得該當前相應像素被該多邊形包圍的一側。
16.一種電子設備，其包括 包括數字圖像傳感器的成像設備；被配置為與所述數字圖像傳感器進行通信的接口； 存儲設備；顯示設備，其被配置為顯示與所述數字圖像傳感器獲取的原始圖像數據相對應的圖像場景的視覺表示；以及圖像信號處理子系統，包括前端像素處理單元，該前端像素處理單元被配置為接收原始圖像數據的幀，所述原始圖像數據包括使用具有數字圖像傳感器的成像設備獲取的像素，其中，所述前端像素處理單元包括統計信息收集單元，該統計信息收集單元包括顏色空間轉換邏輯，被配置為將原始幀像素數據轉換成多組轉換後的像素數據，其中， 各組轉換後的像素數據被此處於不同的顏色空間，其中至少一組轉換後的像素數據處於線性顏色空間並且至少一組轉換後的像素數據處於非線性顏色空間；以及一組像素濾波器，其中每個像素濾波器被配置為接收原始幀像素數據以及所述多組轉換後的像素數據，選擇原始幀像素數據或一組轉換後的像素數據，以及分析所選擇的一組像素數據並確定一個或多個累加的顏色和的值；其中，每個像素濾波器被配置為根據亮度和色度顏色空間中的一組像素條件來評估所選擇的一組像素數據中的每個像素，以及如果當前像素滿足這一組像素條件，將當前像素計入對應的顏色和的值。
17.如權利要求16所述的電子設備，其中，所述圖像信號處理子系統被配置為至少部分地基於所述累加的顏色和的值，確定要應用到原始幀像素的一組白點平衡增益。
18.如權利要求16所述的電子設備，其中所述圖像傳感器包括以下至少一項與所述電子設備集成的數位相機、通過所述接口耦合到所述電子設備的外置數位相機、或其某一組合。
19.如權利要求16所述的電子設備，其中，所述原始幀像素數據包括拜耳RGB像素數據。
20.如權利要求16所述的電子設備，包括以下至少一項桌上型計算機、膝上型計算機、平板計算機、移動蜂窩電話、可攜式媒體播放器、或其任意組合。
21.一種使用圖像信號處理器收集自動白平衡(AWB)統計信息的設備，包括 用於接收圖像幀的裝置，所述圖像幀具有使用圖像傳感器獲取的拜耳RGB原始圖像像素；用於將所述拜耳RGB原始圖像像素轉換成多組像素的裝置，所述多組像素至少包括 sRGBlinear顏色空間中的第一組像素、sRGB顏色空間中的第二組像素、亮度和色度顏色空間(YC1C2)中的第三組像素、以及相機亮度和色度顏色空間(camYClC2)中的第四組像素； 以及用於將所述拜耳RGB原始圖像像素、sRGBlinear像素、sRGB像素、YC1C2像素和 camYClC2像素提供給一組所選的像素濾波器中的每個像素濾波器的裝置，其中所選的像素濾波器中的每個像素濾波器被配置為使用第一選擇邏輯來選擇YC1C2像素或camYClC2像素作為第一組選擇像素； 使用第二選擇邏輯來選擇所述拜耳RGB像素、sRGBlinear像素、sRGB像素或所述第一組選擇像素之一作為第二組選擇像素；以及根據一組像素條件來評估所述第一組選擇像素，以確定是否要將所述第二組選擇像素中的哪些像素累加到顏色和中。
22.如權利要求21所述的設備，其中，確定是否要將所述第二組選擇像素中的各個像素計入累加的顏色和包括評估所述第一組選擇像素中的當前對應像素是否滿足與當前像素濾波器相關聯的一組像素條件。
23.如權利要求22所述的設備，其中，評估所述第一組選擇像素中的當前對應像素是否滿足一組像素條件包括確定與當前對應像素相關聯的第一色度分量的值是否處於第一色度分量的最小值和最大值範圍內，所述最小值和最大值範圍是由與所述第一組選擇像素相對應的顏色空間 (C1-C2)中的第一點和第二點確定的；確定與當前對應像素相關聯的第二色度分量的值是否處於第二色度分量的最小值和最大值範圍內，所述最小值和最大值範圍是由所述顏色空間(C1-C2)中的所述第一點和所述第二點確定的；確定與當前對應像素關聯的亮度分量的值是否處於最小和最大亮度範圍內；以及確定當前對應像素的坐標是否滿足至少部分地基於所述第一點和所述第二點而定義的至少一個線條件。
24.如權利要求23所述的設備，其中，確定當前對應像素的坐標是否滿足所述一組像素條件包括確定與所述第一點相關聯的第一色度分量和與所述第二點相關聯的第一色度分量之間的第一增量；確定與所述第一點相關聯的第二色度分量和與所述第二點相關聯的第二色度分量之間的第二增量；確定偏移量，所述偏移量是所述第一增量乘以所述第一點和第二點之間的線與對應於所述第二色度分量的軸相交處的值；確定當前對應像素到所述線的第一垂直距離；通過將所述第一垂直距離乘以歸一化因子來確定最大距離；確定第一值，所述第一值是所述第二增量與關聯於當前對應像素的第一色度分量的值的乘積和所述第一增量與關聯於當前對應像素的第二色度分量的值的乘積之差；將所述第一值加上所述偏移量以獲得第二值；以及確定所述第二值的絕對值，並確定所述第二值的絕對值是否小於所述最大距離。
25.如權利要求M所述的設備，其中，所述歸一化因子是通過將所述第一增量值的平方與所述第二增量值的平方相加並獲得該結果的平方根而確定的。
26.如權利要求23所述的設備，其中，確定當前對應像素的坐標是否滿足一組像素條件包括識別顏色空間(C1-C2)的區域，該區域是使用所述第一點、所述第二點以及至少一個附加點作為頂點而形成的至少一個多邊形；以及對於形成該多邊形的邊的每條線，確定當前對應像素的坐標是否位於所述線的使得該當前相應像素被該多邊形包圍的一側。
全文摘要
本公開涉及用於自動白平衡處理的靈活的顏色空間選擇。公開了用於在圖像信號處理器(ISP)(32)中處理統計數據的各種技術。在一個實施例中，統計信息收集引擎可被配置為獲取關於自動白平衡的統計信息。該統計信息收集引擎可接收由圖像傳感器(90)獲取的原始拜耳RGB數據，並且可被配置為執行一個或多個顏色空間轉換以獲得其他顏色空間中的像素數據。如同通過每個濾波器(650)的像素條件所定義的，一組像素濾波器(650)可被配置為基於YC1C2特性而有條件地累加像素數據的和。基於所選的顏色空間，像素濾波器(650)可生成顏色和，其可被用來將當前發光體與圖像傳感器已由其先前校準的一組參考發光體進行匹配。
文檔編號H04N9/73GK102404582SQ20111039909
公開日2012年4月4日 申請日期2011年9月1日 優先權日2010年9月1日
發明者G·科泰, J·E·弗雷德裡克森, P·M·哈貝爾, S·齊瓦拉 申請人:蘋果公司