使用圖像信號處理器處理圖像數據的系統和方法

2023-09-14 08:25:45

專利名稱：使用圖像信號處理器處理圖像數據的系統和方法
技術領域：
本公開一般涉及數字成像設備，更具體地說，涉及用於處理利用數字成像設備的圖像傳感器獲得的圖像數據的系統和方法。
背景技術：
背景技術部分旨在向讀者介紹與下面描述和/或要求保護的本發明技術的各個方面相關的技術的各個方面。相信下面的討論有助於向讀者提供背景信息，以便於更好地理解本公開的各個方面。因此，應明白要就此而論理解這些陳述，而不應理解成對於現有技術的承認。近年來，至少部分由於普通消費者越來越負擔得起數字成像設備的費用，因此數字成像設備變得日益普及。此外，除了目前可從市場上獲得的許多獨立的數位照相機之外， 作為另一個電子設備(比如桌上型或筆記本計算機、蜂窩電話或可攜式媒體播放器)的一部分而被集成的數字成像設備也不罕見。為了獲得圖像數據，多數數字成像設備包括提供許多光檢測元件(例如，光電檢測器)的圖像傳感器，所述光檢測元件被配置成把圖像傳感器檢測的光轉換成電信號。圖像傳感器還可包括過濾圖像傳感器捕捉的光，從而捕捉顏色信息的顏色濾光器陣列。圖像傳感器捕捉的圖像數據隨後由圖像處理管線處理，所述圖像處理管線可對圖像數據應用多種不同的圖像處理操作，從而生成可顯示在顯示設備(比如監視器)上以供觀看的全色圖像。雖然常規的圖像處理技術的目的通常在於產生在客觀和主觀方面令觀看者滿意的值得一看的圖像，不過這樣的常規技術可能沒有充分解決由成像設備和/或圖像傳感器引入的圖像數據的錯誤和/或畸變。例如，圖像傳感器上的歸因於製造缺陷或操作故障的有缺陷像素不能精確地感測光級，如果未被校正，那麼會表現為出現在最後得到的經處理的圖像中的偽像。另外，在圖像傳感器邊緣處的光強降低(可能歸因於透鏡的製造缺陷) 可能不利地影響特性測量，並且可能導致整體光強度不均勻的圖像。圖像處理管線還可進行銳化圖像的一種或多種處理。不過，常規的銳化技術可能未充分解決現有的圖像信號中的噪聲，或者可能不能把噪聲和圖像中的邊緣和紋理化區域區分開。在這種情況下，常規的銳化技術實際上可能會增加圖像中的噪聲的出現，這通常是不可取的。此外，還可進行各種另外的圖像處理步驟，其中的一些圖像處理步驟依賴於用統計信息收集引擎收集的圖像統計fe息。可對圖像傳感器捕捉的圖像數據應用的另一種圖像處理操作是去馬賽克操作。由於色彩濾鏡陣列通常每個傳感器像素一個波長地提供顏色數據，因此為了再現全色圖像 (例如，RGB圖像)，通常對於每個顏色通道內插完整的一組顏色數據。常規的去馬賽克技術通常基於某種類型的固定閾值，沿著水平或垂直方向內插丟失的顏色數據的值。不過，這種常規的去馬賽克技術可能未充分考慮圖像內的邊緣的位置和方向，這可能會導致將邊緣偽像(比如混疊(aliasing))、棋盤格偽像、或者彩虹偽像引入全色圖像，尤其是沿著圖像內的對角邊緣引入。因此，當處理利用數位照相機或其它成像設備獲得的數字圖像時，應專注於各種考慮因素，以改善最後得到的圖像的外觀。特別地，下面的本公開的某些方面解決了上面簡要提及的一個或多個缺陷。

發明內容
下面陳述這裡公開的某些實施例的概要。應明白介紹這些方面只是為了向讀者提供所述這些實施例的簡明概要，所述這些方面並不意圖限制本公開的範圍。實際上，本公開可包含未在下面陳述的各個方面。本公開提供和舉例說明圖像信號處理技術的各個實施例。特別地，本公開的公開實施例可涉及利用後端圖像處理單元的圖像數據的處理，實現原始像素處理邏輯器的線緩衝器的布置和結構，在存在溢出(也稱為過速(overrun))狀態的情況下，管理像素數據的移動的技術，使視頻和音頻數據同步的技術，以及涉及可用於把像素數據保存到存儲器和從存儲器讀取像素數據的各種像素存儲器格式的使用的技術。就後端處理來說，公開的實施例提供一種圖像信號處理系統，它包括接收由前端像素處理單元和像素處理管線中的至少一個處理之後的像素數據的後端像素處理單元。在一些實施例中，後端處理單元接收亮度/色度圖像數據，並且可被配置成應用面部檢測操作，局部色調映射，明度(brightness)、對比度和顏色調整以及比例縮放。此外，後端處理單元還可包括可收集頻率統計信息的後端統計單元。頻率統計信息可被提供給編碼器，並且可用於確定將應用於圖像幀的量化參數。本公開的另一方面涉及利用一組線緩衝器的原始像素處理單元的實現。在一個實施例中，所述一組線緩衝器可包括第一子集和第二子集。可按照共用的方式，利用線緩衝器的第一子集和第二子集，實現原始像素處理單元的各個邏輯器單元。例如，在一個實施例中，可利用線緩衝器的第一子集實現缺陷像素校正和檢測邏輯器。線緩衝器的第二子集可用於實現透鏡陰影校正邏輯器，增益、偏移和箝位邏輯器，和去馬賽克邏輯器。此外，也可分別利用線緩衝器的第一子集和第二子集的至少一部分實現降噪。本公開的另一方面涉及一種圖像信號處理系統，包括當傳感器輸入隊列和/或前端處理單元接收到來自下遊目的地單元的背壓時，檢測出目的地單元出現溢出狀態的溢出控制邏輯器。圖像信號處理系統還可以包括閃光控制器，所述閃光控制器被配置成利用傳感器定時信號，在目標圖像幀開始之前啟用閃光設備。在一個實施例中，閃光控制器接收延遲的傳感器定時信號，並如下確定閃光啟用開始時間利用延遲的傳感器定時信號識別與前一幀的結束對應的時間，使所述時間增大垂直消隱間隔時間，隨後減去第一偏移量，以補償傳感器定時信號和延遲的傳感器定時信號之間的延遲。隨後，閃光控制器減去第二偏移量，以確定閃光啟用時間，從而確保在接收目標幀的第一個像素之前，閃光被啟用。本公開的其它方面提供涉及音頻-視頻同步的技術。在一個實施例中，當被採樣時，時間碼寄存器提供當前時間戳。可根據圖像信號處理系統的時鐘，每隔一定時間間隔遞增時間碼寄存器的值。在圖像傳感器獲得的當前幀開始時，對時間碼寄存器採樣，把時間戳保存在與圖像傳感器相關的時間戳寄存器中。隨後從時間戳寄存器讀出時間戳，並將其寫入與當前幀相關的一組元數據中。隨後可以使用保存在幀元數據中的時間戳以使當前幀與對應的一組音頻
6數據同步。本公開的另一個方面提供一種靈活的存儲器輸入/輸出控制器，所述控制器被配置成支持多種像素和像素存儲器格式的保存和讀取。例如，存儲器I/O控制器可支持各種比特精度，例如8比特，10比特，12比特，14比特和16比特的原始圖像像素的存儲和讀取。 可按照緊縮方式，保存未與存儲器字節對準(例如，不是8比特的倍數)的像素格式。存儲器I/O控制器還可以支持各種格式的RGB像素組和YCC像素組。本公開的各個方面存在上面提及的特徵的各種修改。在這些各個方面中也可結合另外的特徵。這些修改和另外的特徵可單獨存在或任意組合地存在。例如，下面關於一個或多個舉例說明的實施例討論的各個特徵可以單獨地或者任意組合地結合到本公開的上述各個方向任意之一中。同樣，上面給出的簡要概述只是用來使讀者熟悉本公開的實施例的某些方面和上下文，而不是對要求保護的主題的限制。


本專利或申請文件包含至少一個彩色附圖。在支付必要費用的情況下，事務所將應請求提供本專利或專利申請公開的帶彩色附圖的副本。參考附圖，閱讀下面的詳細說明，可更好地理解本公開的各個方面，其中圖1是描述電子設備的一個例子的組件的簡化方框圖，所述電子設備包括成像設備和配置成實現在本公開中陳述的一種或多種圖像處理技術的圖像處理電路；圖2表示可在圖1的成像設備中實現的Bayer色彩濾鏡矩陣的2X2像素塊的圖形表示。圖3是按照本公開的各個方面的圖1的呈膝上型計算設備形式的電子設備的透視圖；圖4是按照本公開的各個方面的圖1的呈桌上型計算設備形式的電子設備的正視圖；圖5是按照本公開的各個方面的圖1的呈手持可攜式電子設備形式的電子設備的正視圖；圖6是圖5中所示的電子設備的後視圖；圖7是按照本公開的各個方面，圖解說明的圖1的圖像處理電路的一個實施例的方框圖，所述圖像處理電路包括前端圖像信號處理(ISP)邏輯器和ISP管道(pipe)處理邏輯器；圖8是按照本公開的各個方面，圖解說明圖1的圖像處理電路的另一個實施例的方框圖，所述圖像處理電路包括前端圖像信號處理(ISP)邏輯器、ISP管道(管線)處理邏輯器和ISP後端處理邏輯器；圖9是按照本公開的各個方面，描述利用圖7或圖8的圖像處理電路處理圖像數據的方法的流程圖；圖10是按照本公開的各個方面，表示可在圖7或圖8中實現的ISP前端邏輯器的一個實施例的更詳細方框圖；圖11是按照一個實施例，表示用於在圖10的ISP前端邏輯器中處理圖像數據的方法的流程圖；CN 102547301 A圖12是按照一個實施例，圖解說明可用於在ISP前端邏輯器中處理圖像數據的雙緩衝寄存器和控制寄存器的結構的方框圖；圖13-15是按照本發明技術的實施例，描述觸發圖像幀的處理的不同模式的時序圖；圖16是按照一個實施例，更詳細地描述控制寄存器的示圖；圖17是描述當圖10的ISP前端邏輯器按照單傳感器模式工作時，使用前端像素處理單元處理圖像幀的方法的流程圖；圖18是描述當圖10的ISP前端邏輯器按照雙傳感器模式工作時，使用前端像素處理單元處理圖像幀的方法的流程圖；圖19是描述當圖10的ISP前端邏輯器按照雙傳感器模式工作時，使用前端像素處理單元處理圖像幀的方法的流程圖；圖20是按照一個實施例，描述其中兩個圖像傳感器都有效的方法的流程圖，不過其中第一圖像傳感器在向前端像素處理單元發送圖像幀，而第二圖像傳感器在向統計信息處理單元發送圖像幀，以致當第二圖像傳感器稍後繼續向前端像素處理單元發送圖像幀時，可立即得到第二傳感器的成像統計信息；圖21是按照本公開的各個方面，可應用於保存在圖1的電子設備的存儲器中的像素格式的線性存儲器尋址格式的圖形描述；圖22是按照本公開的各個方面，可應用於保存在圖1的電子設備的存儲器中的像素格式的分塊(tiled)存儲器尋址格式的圖形描述；圖23是按照本公開的各個方面，在圖像傳感器捕捉的源圖像幀內定義的各個成像區的圖形描述；圖M是使用ISP前端處理單元處理圖像幀的重疊垂直條紋的技術的圖形描述；圖25是描述按照本公開的各個方面，如何利用交換代碼，把字節交換應用於來自存儲器的進入(incoming)圖像像素數據的示圖；圖沈-四表示按照本公開的各個實施例，可由圖7或圖8的圖像處理電路支持的原始圖像數據的存儲器格式的例子；圖30-34表示按照本公開的各個實施例，可由圖7或圖8的圖像處理電路支持的全色RGB圖像數據的存儲器格式的例子；圖35-36表示按照本公開的各個實施例，可由圖7或圖8的圖像處理電路支持的亮度/色度圖像數據(YUV/YC1C2)的存儲器格式的例子；圖37表示按照本公開的各個方面，如何確定線性尋址格式的存儲器中的幀位置的例子；圖38表示按照本公開的各個方面，如何確定分塊尋址格式的存儲器中的幀位置的例子；圖39是描述按照本公開的一個實施例，如何進行溢出處理的圖8的ISP電路的方框圖；圖40是描述按照本公開的各個方面，在從圖片存儲器讀取圖像像素數據的同時， 當發生溢出情況時用於溢出處理的方法的流程圖；圖41是描述按照本公開的一個實施例，在從圖像傳感器接口讀入圖像像素數據的同時，當發生溢出情況時用於溢出處理的方法的流程圖；圖42是描述按照本公開的另一個實施例，在從圖像傳感器接口讀入圖像像素數據的同時，當發生溢出情況時的另一種用於溢出處理的方法的流程圖；圖43是可由圖1的電子設備捕捉和保存的圖像(例如，視頻)和對應音頻數據的圖形描述；圖44圖解說明按照一個實施例，可用於提供使圖43的音頻和視頻數據同步的時間戳的一組寄存器；圖45是按照本公開的各個方面，可捕捉為圖43的視頻數據的一部分的圖像幀的簡化表示，並且說明如何把時間戳信息保存為圖像幀元數據的一部分；圖46是描述按照一個實施例，利用基於VSYNC信號的時間戳使圖像數據與音頻數據同步的方法的流程圖；圖47是描述按照本公開的一個實施例，可如何進行閃光計時控制的圖8的ISP電路的方框圖；圖48是描述按照本公開的一個實施例，用於確定閃光啟用和停用時間的技術；圖49是描述根據圖48中所示的技術，確定閃光啟用時間的方法的流程圖；圖50是描述按照本公開的各個方面，在利用閃光獲取圖像場景之前，使用預閃光更新圖像統計信息的方法的流程圖；圖51是按照本公開的各個方面，提供如在圖10的ISP前端邏輯器中所示的ISP 前端像素處理單元的一個實施例的更詳細的視圖的方框圖；圖52是圖解說明按照一個實施例，可如何對圖51中所示的ISP前端像素處理單元接收的圖像像素數據應用時域濾波的處理圖；圖53圖解說明可用於確定圖52中所示的時域濾波處理的一個或多個參數的一組參考圖像像素和一組對應的當前圖像像素；圖M是圖解說明按照一個實施例，對一組圖像數據的中的當前圖像像素應用時域濾波的處理的流程圖；圖55是表示按照一個實施例，計算供圖M的當前圖像像素的時域濾波之用的運動增量值的技術的流程圖；圖56是圖解說明按照另一個實施例，對一組圖像數據中的當前圖像像素應用時域濾波的另一種處理的流程圖，所述另一種處理包括對圖像數據的每個顏色分量使用不同的增益；圖57是圖解說明按照又一個實施例，對圖51中所示的ISP前端像素處理單元接收的圖像像素數據的每個顏色分量使用單獨的運動表和亮度表的時域濾波技術的處理圖；圖58是圖解說明按照又一個實施例，利用圖57中所示的運動表和亮度表，對一組圖像數據中的當前圖像像素應用時域濾波的處理的流程圖；圖59描述按照本公開的各個方面，可用圖像傳感器捕捉的全解析度原始圖像數據的樣本；圖60圖解說明按照本公開的一個實施例，可被配置成對圖59的全解析度原始圖像數據應用箱化(binning)，以輸出箱化的原始圖像數據的樣本的圖像傳感器；
圖61描述按照本公開的各個方面，可由圖60的圖像傳感器提供的箱化的原始圖像數據的樣本；圖62描述按照本公開的各個方面，在用箱化補償濾波器重新採樣之後的圖61的箱化的原始圖像數據；圖63描述按照一個實施例，可在圖51的ISP前端像素處理單元中實現的箱化補償濾波器；圖64是按照本公開的各個方面，可應用於微分分析器，以選擇用於箱化補償濾波的中心輸入像素和索引/相位的各個步長的圖形描述；圖65是圖解說明按照一個實施例，利用圖63的箱化補償濾波器，比例縮放圖像數據的處理的流程圖；圖66是圖解說明按照一個實施例，確定圖63的箱化補償濾波器的水平和垂直濾波的當前輸入源中心像素的處理的流程圖；圖67是圖解說明按照一個實施例，確定用於選擇圖63的箱化補償濾波器的水平和垂直濾波的濾波係數的指數的處理的流程圖；圖68是表示按照本公開的各個方面，可在如圖10中所示的ISP前端處理邏輯器中實現的統計信息處理單元的一個實施例的更詳細的方框圖；圖69表示按照本公開的各個方面，當在圖68的統計信息處理單元的統計信息處理中，應用檢測和校正缺陷像素時可以考慮的各個圖像幀邊界情況；圖70是圖解說明按照一個實施例，在統計信息處理期間進行缺陷像素檢測和校正的處理的流程圖；圖71表示描述成像設備的常規透鏡的光強度與像素位置的關係的三維輪廓；圖72是表現整個圖像內的非均勻光強度(可能由於透鏡陰影不規則性)的彩圖；圖73是按照本公開的各個方面，包括透鏡陰影校正區和增益網格的原始成像幀的圖示；圖74圖解說明按照本公開的各個方面，由四個邊界網格增益點圍繞的圖像像素的增益值的內插；圖75是圖解說明按照本技術的一個實施例，確定在透鏡陰影校正操作期間，可應用於成像像素的內插增益值的處理的流程圖；圖76是描述按照本公開的各個方面，當進行透鏡陰影校正時，可應用於表現出圖 71中所示的光強度特性的圖像的內插增益值的三維輪廓；圖77表示按照本公開的各個方面，在應用透鏡陰影校正操作之後的表現出改進的光強度均勻性的圖72的彩圖；圖78圖示按照一個實施例，如何計算當前像素和圖像的中心之間的徑向距離，並且將其用於確定透鏡陰影校正的徑向增益分量；圖79是圖解說明按照本發明技術的一個實施例，使用增益網格的徑向增益和內插增益來確定在透鏡陰影校正操作中，可應用於成像像素的總增益的處理的流程圖；圖80是表示顏色空間中的白色區域及低色溫軸和高色溫軸的圖示；圖81是表示按照一個實施例，如何關於各種參考照明條件設定白平衡增益的表；圖82是表示按照本公開的一個實施例，可在ISP前端處理邏輯器中實現的統計信息收集引擎的方框圖；圖83圖解說明按照本公開的各個方面，原始Bayer RGB數據的下採樣；圖84描述按照一個實施例，可利用圖82的統計信息收集引擎收集的二維顏色直方圖；圖85描述二維顏色直方圖內的變焦和搖攝；圖86是按照一個實施例，更詳細地表示用於實現統計信息收集引擎的像素濾波器的邏輯器的示圖；圖87是按照一個實施例，可如何根據為像素濾波器定義的像素條件，評估像素在 C1-C2顏色空間內的位置的圖形描述；圖88是按照另一個實施例的可如何根據為像素濾波器定義的像素條件，評估像素在C1-C2顏色空間內的位置的圖形描述；圖89是按照又一個實施例，如何根據為像素濾波器定義的像素條件，評估像素在 C1-C2顏色空間內的位置的圖形描述；圖90是表示按照一個實施例，可以如何確定圖像傳感器積分時間，以補償閃爍的圖示；圖91是詳細表示按照一個實施例，可在圖82的統計信息收集引擎中實現的，並被配置成收集自動聚焦統計信息的邏輯器的方框圖；圖92是描述按照一個實施例，利用粗調和微調自動聚焦評分值進行自動聚焦的技術的圖示；圖93是描述按照一個實施例，利用粗調和微調自動聚焦評分值進行自動聚焦的處理的流程圖；圖94和95表示獲得白平衡亮度值的原始Bayer數據的抽選(decimation)；圖96表示按照一個實施例，利用每個顏色分量的相對自動聚焦評分值進行自動聚焦的技術；圖97是表示按照一個實施例，如何使用Bayer RGB直方圖數據幫助黑電平補償的圖68的統計信息處理單元的更詳細示圖；圖98是表示按照本公開的各個方面，圖7的ISP管道處理邏輯器的實施例的方框圖；圖99是表示按照本公開的各個方面，可在圖98的ISP管道處理邏輯器中實現的原始像素處理塊的實施例的更詳細的視圖；圖100是表示按照本公開的各個方面，當在圖99中所示的原始像素處理塊的處理期間，應用檢測和校正缺陷像素的技術時，可考慮的各種圖像幀邊界情況；圖101-103是描述按照一個實施例，可在圖99的原始像素處理塊中進行的檢測和校正缺陷像素的各種處理的流程圖；圖104表示按照本公開的各個方面，當在圖99的原始像素處理塊的處理中，應用綠色不均勻校正技術時，可內插的Bayer圖像傳感器的2X2像素塊中的兩個綠色像素的位置；圖105圖解說明按照本公開的各個方面，可用作降噪用水平濾波處理的一部分的，包括中央像素和相關聯的水平相鄰像素的一組像素；
圖106圖解說明按照本公開的各個方面，可用作降噪用垂直濾波處理的一部分的，包括中央像素和相關聯的垂直相鄰像素的一組像素；圖107是描述如何把去馬賽克應用於原始Bayer圖像模式，以產生全色RGB圖像的簡化流程圖；圖108描述按照一個實施例，在Bayer圖像模式的去馬賽克期間，可從中得到水平和垂直能量分量，以便內插綠色顏色值的Bayer圖像模式的一組像素；圖109表示按照本發明技術的各個方面，在Bayer圖像模式的去馬賽克期間，可對其應用濾波，以確定內插綠色顏色值的水平分量的一組水平像素；圖110表示按照本發明技術的各個方面，在Bayer圖像模式的去馬賽克期間，可對其應用濾波，以確定內插綠色顏色值的垂直分量的一組垂直像素；圖111表示按照本發明技術的各個方面，在Bayer圖像模式的去馬賽克期間，可對其應用濾波，以確定內插的紅色和藍色值的各個3X3像素塊；圖112-115提供描述按照一個實施例，在Bayer圖像模式的去馬賽克期間，內插綠色、紅色和藍色顏色值的各種處理的流程圖；圖116表示可用圖像傳感器捕捉，並按照這裡公開的去馬賽克技術的各個方面處理的原始圖像場景的彩圖；圖117表示圖116中所示的圖像場景的Bayer圖像模式的彩圖；圖118表示根據圖117的Bayer圖像模式，利用常規的去馬賽克技術重構的RGB 圖像的彩圖；圖119表示按照這裡公開的去馬賽克技術的各個方面，從圖117的Bayer圖像模式重構的RGB圖像的彩圖；圖120-123描述按照一個實施例，可用於實現圖99的原始像素處理塊的線緩衝器的結構和布置；圖IM是表示按照一個實施例，利用圖120-123中所示的線緩衝器結構，處理原始像素數據的方法的流程圖；圖125是表示按照本公開的各個方面，可在圖98的ISP管道處理邏輯器中實現的 RGB處理塊的一個實施例的更詳細的示圖；圖1 是表示按照本公開的各個方面，可在圖98的ISP管道處理邏輯器中實現的 YCbCr處理塊的一個實施例的更詳細的示圖；圖127是按照本公開的各個方面，在利用1-平面格式的源緩衝器內定義的亮度和色度的激活源區的圖形描述；圖1 是按照本公開的各個方面，在利用2-平面格式的源緩衝器內定義的亮度和色度的激活源區的圖形描述；圖1 是圖解說明按照一個實施例，可在如圖126中所示的YCbCr處理塊中實現的圖像銳化邏輯器的方框圖；圖130是圖解說明按照一個實施例，可在如圖126中所示的YCbCr處理塊中實現的邊緣增強邏輯器的方框圖；圖131是表示按照本公開的各個方面，色度衰減因子與銳化的亮度值的關係的圖示；
圖132是圖解說明按照一個實施例，可在如圖126中所示的YCbCr處理塊中實現的圖像明度(brightness)、對比度和顏色(BCC)調整邏輯器的方框圖；圖133表示定義可在圖132的BCC調整邏輯器中的顏色調整期間應用的各種色相角和飽和度值的YCbCr顏色空間中的色相和飽和度色輪；圖134是表示按照本公開的各個方面，圖8的ISP後端處理邏輯器的一個實施例的方框圖，所述ISP後端處理邏輯器可被配置成進行ISP管線下遊的各個後處理步驟；圖135是表示一種常規的全局色調映射技術的圖形表示；圖136是表示另一種常規的全局色調映射技術的圖形表示；圖137描述按照本公開的各個方面，為了應用局部色調應用技術，可如何分割圖像的各個區域；圖138圖形地圖解說明常規的局部色調映射如何導致輸出色調範圍的有限利用；圖139圖形地圖解說明按照本公開的實施例，用於局部色調映射的技術；圖140是按照本公開的各個方面，表示局部色調映射LTM邏輯器的一個實施例的更詳細的方框圖，所述局部色調映射LTM邏輯器可被配置成實現圖134的ISP後端邏輯器中的色調映射處理；圖141是表示按照一個實施例，利用圖134的ISP後端處理邏輯器處理圖像數據的方法的流程圖；圖142是表示按照一個實施例，利用圖140中所示的LTM邏輯器，應用色調映射的方法的流程圖。
具體實施例方式下面將說明本公開的一個或多個具體實施例。這些說明的實施例只是目前公開的技術的例子。另外，在致力於提供這些實施例的簡明描述的過程中，在說明書中可能未描述實際實現的所有特徵。應意識到，在任何這種實際實現的開發中，和任何工程或設計項目中一樣，為了實現開發人員的可能因實現而異的特定目標，比如遵守與系統相關的和與商業相關的約束條件，必須做出各種特定於實現的決策。此外，應意識到這樣的開發工作可能複雜和費時，不過對受益於本公開內容的普通技術人員來說，這樣的開發工作不過是常規的設計、加工和生產任務。當介紹本公開的各個實施例的部件時，冠詞「一個」等旨在意味存在一個或多個所述部件。用語「包含」、「包括」和「具有」旨在是開放的，並且意味可以存在除列舉的部件以外的其它部件。另外，應明白本公開的對「一個實施例」或「實施例」的引用並不意圖被解釋成排除也包含所引用特徵的其它實施例的存在。如下所述，本公開一般涉及處理利用一個或多個圖像感測設備獲得的圖像數據的技術。特別地，本公開的某些方面可以涉及檢測和校正缺陷像素的技術，對原始圖像模式去馬賽克的技術，利用多尺度非銳化掩膜銳化亮度圖像的技術，和應用透鏡陰影增益校正透鏡陰影不規則性的技術。此外，應明白，目前公開的技術可應用於靜止圖像和運動圖像(例如，視頻)，並且可用在任何適當類型的成像應用中，比如數位照相機、具有一體化數位照相機的電子設備、安全或視頻監視系統、醫療成像系統等等。在記住以上內容的同時，圖1是圖解說明通過利用上面簡要提及的一種或多種圖
13像處理技術，提供圖像數據的處理的電子設備10的例子的方框圖。電子設備10可以是被配置成接收和處理圖像數據，比如利用一個或多個圖像感測組件獲得的數據的任意類型的電子設備，比如膝上型或桌上型計算機、行動電話、數字媒體播放器等等。例如，電子設備10 可以是可攜式電子設備，比如可從Cupertino，California的蘋果公司獲得的某種型號的 iPod 或iPhone 。另外，電子設備10可以是桌上型或膝上型計算機，比如可從蘋果公司獲得的某種型號的 MacBook 、MacBook Pro,MacBook Air 、iMac 、Mac Mini或Mac Pro 。在其它實施例中，電子設備10也可以是另一家製造商的能夠獲得和處理圖像數據的某種型號的電子設備。與其形式(例如，可攜式或非可攜式)無關，應明白，電子設備10可利用上面簡要討論的一種或多種圖像處理技術提供圖像數據的處理，所述圖像處理技術可包括缺陷像素校正和/或檢測技術、透鏡陰影校正技術、去馬賽克技術或者圖像銳化技術等等。在一些實施例中，電子設備10可把這樣的圖像處理技術應用於保存在電子設備10的存儲器中的圖像數據。在另外的實施例中，電子設備10可包括被配置成獲取圖像數據的一個或多個成像設備，比如一體的或者外部的數位照相機，電子設備10隨後可利用一種或多種上述圖像處理技術處理所述圖像數據。下面在圖3-6中進一步討論表示電子設備10的可攜式和非可攜式實施例的各個實施例。如圖1中所示，電子設備10可包括為設備10的功能作出貢獻的各個內部和/或外部組件。本領域的普通技術人員將認識到圖1中所示的各個功能塊可包含硬體部件(包括電路)、軟體部件(包括保存在計算機可讀介質上的計算機代碼)、或者硬體部件和軟體部件的組合。例如，在目前舉例說明的實施例中，電子設備10可包括輸入/輸出(1/0)埠 12、輸入結構14、一個或多個處理器16、存儲設備18、非易失性存儲設備20、擴展卡22、 連網設備24、電源沈和顯示器28。另外，電子設備10可包括一個或多個成像設備30 (比如數位照相機)和圖像處理電路32。如下進一步所述，圖像處理電路32可被配置成在處理圖像數據時實現一種或多種上述圖像處理技術。可認識到，圖像處理電路32處理的圖像數據可以取自存儲器18和/或非易失性存儲設備20，或者可以利用成像設備30獲得。在繼續進行說明之前，應明白圖1中所示的設備10的系統方框圖旨在是描述可包括在這樣的設備10中的各個組件的高級控制圖。S卩，圖1中表示的各個單獨組件之間的連接線不一定必須代表數據流經的，或者在設備10的各個組件之間傳送數據的路徑或方向。事實下，如下所述，在一些實施例中，描述的處理器16可包括多個處理器，比如主處理器(例如，CPU)和專用圖像和/或視頻處理器。在這樣的實施例中，圖像數據的處理主要可由這些專用處理器負責，從而有效地從主處理器(CPU)卸載這些任務。就圖1中例示的每個組件來說，1/0埠 12可包括被配置成與各個外部設備連接的埠，所述外部設備比如是電源、音頻輸出設備(例如，頭戴式聽筒或頭戴式收話器)、或者其它電子設備(比如手持設備和/或計算機、印表機、投影儀、外部顯示器、數據機、 擴展塢等等)。在一個實施例中，1/0埠 12可被配置成連接到外部成像設備，比如數位照相機，以便獲得可利用圖像處理電路32處理的圖像數據。1/0埠 12可支持任何適當的接口類型，比如通用串行總線(USB)埠、串行連接埠、IEEE-1394(火線)埠、乙太網或數據機埠、和/或AC/DC電力連接埠。在一些實施例中，某些1/0埠 12可被配置成提供不止一種功能。例如，在一個實施例中，I/O埠 12可包括蘋果公司的專用埠，所述專用埠不僅能夠使數據在電子設備10和外部源之間的傳送更容易，而且能夠使設備10與充電接口(比如用於從壁裝電源插座提供電力的電源適配器，或者被配置成從另一個電設備，比如桌上型或膝上型計算機抽取電力的接口電纜)耦接，以便對電源26 (它可包括一個或多個可再充電電池)充電。 因此，I/O埠 12可被配置成基於經I/O埠 12與設備10耦接的外部組件，既起數據傳送埠的作用，又起AC/DC電源連接埠的作用。輸入結構14可向處理器16提供用戶輸入或反饋。例如，輸入結構14可被配置成控制電子設備10的一個或多個功能，比如在電子設備10上運行的應用程式。例如，輸入結構14可以包括按鈕、滑動器、開關、控制板、按鍵、旋鈕、滾輪、鍵盤、滑鼠、觸摸板等等，或者它們的組合。在一個實施例中，輸入結構14允許用戶操縱顯示在設備10上的圖形用戶界面(GUI)。另外，輸入結構14可包括結合顯示器觀設置的觸敏機構。在這樣的實施例中， 用戶可以利用觸敏機構選擇或與顯示的界面部件互動。輸入結構14可包括向一個或多個處理器16提供用戶輸入或反饋的各種設備、電路和通道。這種輸入結構14可被配置成控制設備10的功能，在設備10上運行的應用，和 /或與電子設備10連接或者由電子設備10使用的任意接口或設備。例如，輸入結構14可以允許用戶操縱顯示的用戶界面或應用界面。輸入結構14的例子可包括按鈕、滑動器、開關、控制板、按鍵、旋鈕、滾輪、鍵盤、滑鼠、觸摸板等等。在一些實施例中，輸入結構14和顯示器設備觀可以設置在一起，比如在「觸控螢幕」 的情況下，從而與顯示器觀相結合地設置觸敏機構。在這種實施例中，用戶可藉助觸敏機構，選擇或與顯示的界面部件互動。這樣，顯示的界面可提供交互式功能，從而允許用戶通過觸摸顯示器觀來操縱顯示的界面。例如，用戶與輸入結構14的交互，比如與顯示在顯示器觀上的用戶或者應用界面互動可生成表示用戶輸入的電信號。這些輸入信號可以經由適當的通道，比如輸入集線器或數據總線路由到一個或多個處理器16，以供進一步處理。在一個實施例中，輸入結構14可包括音頻輸入設備。例如，電子設備10可以配有一個或多個音頻捕捉設備，比如一個或多個麥克風。音頻捕捉設備可以與電子設備10—體化，或者可以是比如通過I/O埠 12與電子設備10耦接的外部設備。如下進一步所述，電子設備10可以既是音頻輸入設備又是成像設備30，以捕捉聲音和圖像數據(例如，視頻數據)，並且可以包括被配置成提供使捕捉的視頻數據和音頻數據同步的邏輯器。除了處理經輸入結構14接收的各種輸入信號外，處理器16可控制設備10的一般操作。例如，處理器16可提供執行作業系統、程序、用戶界面和應用界面、和電子設備10 的任何其它功能的處理能力。處理器16可包括一個或多個微處理器，比如一個或多個「通用」微處理器、一個或多個專用微處理器和/或專用微處理器(ASIC)，或者這些處理組件的組合。例如，處理器16可包括一個或多個指令集(例如，RISC)處理器、以及圖形處理器 (GPU)、視頻處理器、音頻處理器和/或相關的晶片集。應認識到，處理器16可以與一個或多個數據總線耦接，以便在設備10的各個組件之間傳送數據和指令。在一些實施例中，處理器16可提供在電子設備 ο上運行成像應用，比如可從蘋果公司獲得的WiotoBooth 、 Aperture 、iPhoto 或Preview ，或者由蘋果公司提供的存在於各種型號的 iPhone 上的「照相機」和/或「照片」應用的處理能力。將由處理器16處理的指令或數據可被保存在計算機可讀介質，比如存儲器裝置18中。可以易失性存儲器(比如隨機存取存儲器(RAM))，或者以非易失性存儲器(比如只讀存儲器(ROM))，或者以一個或多個RAM和ROM設備的組合的形式提供存儲器裝置18。存儲器18可保存各種信息，並且可用於各種用途。例如，存儲器18可保存電子設備10的固件，比如基本輸入/輸出系統(BIOS)、作業系統、各種程序、應用、或者可在電子設備10上運行的任何其它例程，包括用戶接口功能、處理器功能等等。另外，在電子設備10的工作期間，存儲器18可用於緩存或高速緩存。例如，在一個實施例中，存儲器18包括當視頻數據被輸出給顯示器觀時，緩存視頻數據的一個或多個幀緩衝器。除了存儲器裝置18之外，電子設備10還可包括用於永久保存數據和/或指令的非易失性存儲設備20。非易失性存儲設備20可包括閃速存儲器，硬碟驅動器，或者任何其它光、磁和/或固態存儲介質，或者它們的某種組合。從而，儘管為了清楚起見，在圖1中被描述成單個設備，但應明白，非易失性存儲設備20可包括結合處理器16工作的一個或多個上面列舉的存儲設備的組合。非易失性存儲器20可被用於保存固件、數據文件、圖像數據、 軟體程序和應用、無線連接信息、個人信息、用戶首選項、和任何其它適當的數據。按照本公開的各個方面，在顯示器上被輸出之前，保存在非易失性存儲設備20和/或存儲器裝置18 中的圖像數據可被圖像處理電路32處理。圖1中圖解說明的實施例還包括一個或多個卡或者擴展槽。卡槽可被配置成接納擴展卡22，擴展卡22可用於向電子設備10增添功能，比如額外的存儲器、I/O功能或者連網能力。這種擴展卡22可通過任意種類的適當連接器與設備連接，並且可相對於電子設備 10的機殼在外部或內部被訪問。例如，在一個實施例中，擴展卡22可以是閃速存儲卡，比如安全數字卡(SD)卡、小型或微型SD、緊湊式快閃記憶體卡等，或者可以是PCMCIA設備。另外，擴展卡22可以是供電子設備10的提供行動電話能力的實施例使用的用戶識別模塊(SIM)卡。電子設備10還包括網絡設備對，它可以是通過無線802. 11標準，或者任何其它適當的連網標準提供網絡連通性的網絡控制器或網絡接口卡(NIC)，其它適當的連網標準比如是區域網(LAN)、廣域網(WAN)，例如增強數據速率GSM演進(EDGE)網絡，3G數據網絡或網際網路。在一些實施例中，網絡設備M可提供與在線數字媒體內容提供者，比如可從蘋果公司得到的iTunes 音樂服務的連接。設備10的電源沈可包括按非可攜式和可攜式設置向設備10供電的能力。例如， 在可攜式設置中，設備10可包括向設備10供電的一個或多個電池，比如鋰離子電池。通過把設備10連接到外部電源，比如連接到壁裝電源插座，電池可被再充電。在非可攜式設置中，電源沈可包括被配置成從壁裝電源插座抽取電力，並且向非可攜式電子設備(比如桌上型計算系統)的各個組件分配電力的電源單元(PSU)。顯示器觀可用於顯示設備10生成的各種圖像，比如作業系統的⑶I，或者圖像處理電路32處理的圖像數據(包括靜止圖像和視頻數據)，如下進一步所述。如上所述，圖像數據可包括利用成像設備30獲得的圖像數據，或者從存儲器18和/或非易失性存儲設備20取回的圖像數據。顯示器觀可以是任何適當類型的顯示器，比如，例如液晶顯示器 (LCD)、等離子體顯示器、或者有機發光二極體(OLED)顯示器。另外，如上所述，可以結合上述觸敏機構(例如，觸控螢幕)設置顯示器觀，所述觸敏機構起電子設備10的控制界面的一部分的作用。可以被配置成獲得靜止圖像和運動圖像(例如視頻)的數位照相機的形式，提供
16圖解所示的成像設備30。照相機30可包括鏡頭，和被配置成捕捉光並把光轉換成電信號的一個或多個圖像傳感器。例如，圖像傳感器可包括CMOS圖像傳感器(例如，CMOS有源像素傳感器(APQ)或者CCD(電荷耦合器件)傳感器。通常，照相機30中的圖像傳感器包括具有像素陣列的集成電路，其中，每個像素包括感測光的光電探測器。本領域的技術人員將認識到，成像像素中的光電探測器通常探測經照相機鏡頭捕捉的光的強度。不過，光電探測器本身通常不能檢測捕捉的光的波長，從而不能確定顏色信息。因此，圖像傳感器還包括覆蓋或者置於圖像傳感器的像素陣列上，以捕捉顏色信息的色彩濾鏡陣列(CFA)。色彩濾鏡陣列可包括微小色彩濾鏡的陣列，每個色彩濾鏡可重疊在圖像傳感器的相應像素上，並按波長過濾捕捉的光。從而，當結合使用時，色彩濾鏡陣列和光電探測器可提供關於通過照相機捕捉的光的波長和強度信息，所述光可以代表捕捉的圖像。在一個實施例中，色彩濾鏡陣列可包括Bayer色彩濾鏡陣列，它提供為50 %綠色元素，25%紅色元素和25%藍色元素的濾波模式。例如，圖2表示Bayer CFA的2X2像素塊，它包括2個綠色元素(Gr和(ib)、l個紅色元素(R)和一個藍色元素(B)。從而，利用 Bayer色彩濾鏡陣列的圖像傳感器可提供關於照相機30在綠色、紅色和藍色波長下接收的光的強度有關的信息，從而每個圖像像素只記錄三種顏色(RGB)之一。隨後可利用一種或多種去馬賽克技術處理該信息(可被稱為「原始圖像數據」或者「原始域」中的數據)，以把原始圖像數據轉換成全色圖像，通常是通過對於每個像素內插一組紅色、綠色和藍色值進行的。如下進一步所述，這種去馬賽克技術由圖像處理電路32執行。如上所述，圖像處理電路32可提供各種圖像處理步驟，比如缺陷像素檢測/校正、 透鏡陰影校正、去馬賽克、圖像銳化、降噪、伽馬校正、圖像增強、顏色空間變換、圖像壓縮、 色度子採樣和圖像比例縮放操作等等。在一些實施例中，圖像處理電路32可包括各種子組件和/或離散邏輯器單元，所述子組件和/或離散邏輯器單元共同構成執行各種圖像處理步驟中的每一種的圖像處理「管線」。這些子組件可以利用硬體(例如，數位訊號處理器或 ASIC)或者軟體實現，或者藉助硬體和軟體組件的組合實現。圖像處理電路32可提供的各種圖像處理操作，尤其是與缺陷像素檢測/校正、透鏡陰影校正、去馬賽克和圖像銳化相關的那些處理操作將在下面更詳細地說明。在繼續進行說明之前，應注意，雖然下面說明的各種圖像處理技術的各個實施例可利用Bayer CFA，不過目前公開的技術並不意圖局限於此。事實上，本領域的技術人員將認識到這裡提供的圖像處理技術適合於任何適當類型的色彩濾鏡陣列，包括RGBW濾鏡、 CYGM濾鏡等等。重新參見電子設備10，圖3-6圖解說明電子設備10可以採取的各種形式。如上所述，電子設備10可以採取計算機的形式，包括通常便攜的計算機(比如膝上型、筆記本和平板計算機)，以及通常不便攜的計算機(比如桌上型計算機、工作站和/或伺服器)，或者其它類型的電子設備，比如手持可攜式電子設備(例如，數字媒體播放器或行動電話機)。特別地，圖3和4分別描述呈膝上型計算機40和桌上型計算機50形式的電子設備10。圖5 和6分別表示呈手持可攜式設備60形式的電子設備10的正視圖和後視圖。如圖3中所示，描述的膝上型計算機40包括機殼42、顯示器觀、1/0埠 12和輸入結構14。輸入結構14可包括與機殼42 —體化的鍵盤和觸摸板滑鼠。另外，輸入結構14可包括各種其它按鈕和/或開關，所述各種其它按鈕和/或開關可用於與計算機40交互， 比如使計算機通電或啟動計算機，操作GUI或者在計算機40上運行的應用，以及調整與計算機40的操作相關的各個其它方面(例如，音量、顯示明度等)。計算機40還可包括提供與如上所述的其它設備的連通性的各種I/O埠 12，比如FireWire 或USB埠、高解析度多媒體接口(HDMI)埠、或者適合於連接到外部設備的任何其它類型的埠。另外，如上關於圖1所述，計算機40可包括網絡連通性(例如，網絡設備沈)、存儲器(例如，存儲器 20)，和存儲能力(例如，存儲設備22)。此外，在圖解說明的實施例中，膝上型計算機40可包括一體式成像設備30 (例如，照相機)。在其它實施例中，代替或者除了一體式照相機30之外，膝上型計算機40可以利用連接到一個或多個I/O埠 12的外部照相機(例如，外部USB照相機或「網絡照相機(webcam)」)。例如，外部照相機可以是可從蘋果公司獲得的iSight 照相機。照相機30(不論是一體的，還是外部的)可提供圖像的捕捉和記錄。這樣的圖像隨後可由用戶利用圖像觀看應用觀看，或者可被其它應用使用，所述其它應用包括視頻會議應用(比如 iChat )和圖像編輯 / 觀看應用(比如 Photo Booth 、Aperture 、iPhoto 或者Preview )，這些應用程式可從蘋果公司獲得。在一些實施例中，描述的膝上型計算機40可以是可從蘋果公司獲得的某種型號的MacBook 、MacBook Pro, MacBook Air 或者PowerBook 。另外，在一個實施例中，計算機40可以是可攜式平板計算設備，比如也可從蘋果公司獲得的某種型號的iPad 平板計算機。圖4還圖解說明其中以桌上型計算機50的形式提供電子設備10的實施例。要認識到，桌上型計算機50可包括許多大體與圖4中所示的膝上型計算機40提供的那些特徵類似的特徵，不過可具有通常更大的整體形狀因子。如圖所示，桌上型計算機50可被置於外殼42中，所述外殼42包括顯示器觀，以及上面關於圖1中所示的方框圖討論的各種其它組件。此外，桌上型計算機50可包括可以通過一個或多個1/0埠 12(例如，USB)與計算機50耦接，或者可以與計算機50無線(例如，RF、藍牙等)通信的外部鍵盤和滑鼠(輸入結構14)。桌上型計算機50還包括成像設備30，如上所述，成像設備30可以是一體式或外部照相機。在一些實施例中，描述的桌上型計算機50可以是可從蘋果公司獲得的某種型號的iMac 、Mac mini 或 Mac Pro 。如圖進一步所示，顯示器觀可被配置成生成可由用戶觀看的各種圖像。例如，在計算機50的工作期間，顯示器觀可顯示圖形用戶界面(「⑶1」)52，⑶I 52允許用戶與在計算機50上運行的作業系統和/或應用交互。GUI 52可包括可以顯示在整個或者部分顯示器觀中的各種層、窗口、屏幕、模板或其它圖形元素。例如，在描述的實施例中，作業系統 GUI 52可包括各種圖形圖標M，每個圖形圖標M對應於當檢測到用戶選擇(例如，藉助鍵盤/滑鼠或觸控螢幕輸入)時，被打開或執行的各種應用。圖標討可被顯示在塢站(dock) 56 中，或者被顯示在顯示於屏幕上的一個或多個圖形窗口元素58內。在一些實施例中，圖標 54的選擇可通向分級導航處理，從而圖標M的選擇通向屏幕，或者打開包括一個或多個另外的圖標或其它GUI元素的另一個圖形窗口。例如，顯示在圖4中的作業系統GUI 52可以源自可從蘋果公司獲得的某種版本的Mac OS 作業系統。繼續參見圖5和6，圖中進一步以可攜式手持電子設備60的形式圖解說明了電子設備10，所述可攜式手持電子設備60可以是可從蘋果公司獲得的某種型號的iPod 或iPhone 。在所描述的實施例中，手持設備60包括殼體42，殼體42可保護內部組件免受物理損壞，和屏蔽內部組件使其不受電磁幹擾的影響。殼體42可以用任何適當的材料，或者多種材料的組合構成，所述材料比如是塑料、金屬或複合材料，並且可以允許某些頻率的電磁輻射(比如無線連網信號)通過，從而到達置於殼體42內的無線通信電路(例如，網絡設備M)，如圖5中所示。殼體42還包括各種用戶輸入結構14，通過用戶輸入結構14，用戶可以與手持設備 60交互。例如，每個輸入結構14可被配置成當被按下或啟動時，控制一個或多個相應設備功能。例如，一個或多個輸入結構14可被配置成調用「主」屏幕，或者要顯示的菜單，在睡眠、喚醒或者通電/斷電模式之間切換，使蜂窩電話機應用的鈴聲靜音，增大或減小音量輸出等等。應明白，圖解說明的輸入結構14僅僅是例證性的，並且手持設備60可包括以各種形式(包括按鈕、開關、按鍵、旋鈕、滾輪等)存在的許多適當的用戶輸入結構。如圖5中所示，手持設備60可包括各種I/O埠 12。例如，描述的I/O埠 12可包括傳送和接收數據文件，或者對電源沈充電的專用連接埠 12a，和使設備60與音頻輸出設備(例如，頭戴式收話器或揚聲器)連接的音頻連接埠 12b。此外，在手持設備60提供行動電話功能的實施例中，設備60可包括接納用戶識別模塊(SIM)卡(例如，擴展卡22) 的 I/O 埠 12c。顯示器設備觀(它可以是IXD、OLED或者任何適當類型的顯示器)可以顯示手持設備60生成的各種圖像。例如，顯示器觀可顯示向用戶提供關於手持設備60的一個或多個狀態(比如電源狀態、信號強度、外部設備連接等等)的反饋的各種系統指示符64。顯示器還可顯示如下參考圖4所述，允許用戶與設備60交互的⑶I 52。⑶I 52可包括圖形元素，比如圖標54，圖標M與當檢測到用戶選擇相應圖標M時，可被打開或運行的各種應用相對應。例如，圖標M之一可代表可以結合照相機30(圖5中用虛線表示)使用，以便獲得圖像的照相機應用66。簡要地參見圖6，圖中圖解說明了圖5中所示的手持電子設備60 的後視圖，該圖把照相機30表示成與機殼42 —體化，並被置於手持設備60的背面。如上所述，利用圖像處理電路32可以處理利用照相機30獲得的圖像數據，圖像處理電路32可包括硬體(例如，置於殼體42內)和/或保存在設備60的一個或多個存儲器 (例如，存儲器18或非易失性存儲設備20)上的軟體。利用照相機應用66和照相機30獲得的圖像可保存在設備60上(例如，保存在存儲設備20中)，並且可在稍後利用照片觀看應用68觀看。手持設備60還可包括各種音頻輸入和輸出部件。例如，由附圖標記70表示的音頻輸入/輸出部件可包括輸入接收器，比如一個或多個麥克風。例如，在手持設備60包括蜂窩電話功能的情況下，輸入接收器可被配置成接收用戶音頻輸入，比如用戶的話音。另外， 音頻輸入/輸出部件70可包括一個或多個輸出發送器。這樣的輸出發送器可包括一個或多個揚聲器，所述揚聲器可用於向用戶傳送音頻信號，比如在利用媒體播放器應用72重放音樂數據期間。此外，在手持設備60包括蜂窩電話應用的實施例中，可以設置另外的音頻輸出發送器74，如圖5中所示。類似於音頻輸入/輸出部件70的輸出發送器，輸出發送器 74也包括被配置成向用戶傳送音頻信號，比如在電話通話期間接收的話音數據的一個或多個揚聲器。從而，音頻輸入/輸出部件70和74可以一起工作，起電話機的音頻接收和發送部件的作用。
在提供了關於電子設備10可以採取的各種形式的一些背景的情況下，下面的討論將專注於圖1中描述的圖像處理電路32。如上所述，圖像處理電路32可以利用硬體和/ 或軟體組件實現，並且可包括定義圖像信號處理(ISP)管線的各種處理單元。特別地，下面討論將專注於在本公開中陳述的圖像處理技術的各個方面，尤其是涉及缺陷像素檢測/校正技術、透鏡陰影校正技術、去馬賽克技術和圖像銳化技術的方面。現在參見圖7，按照目前公開技術的一個實施例，圖解說明描述可實現成圖像處理電路32的一部分的若干功能組件的簡化高級方框圖。特別地，圖7意解說明按照至少一個實施例，圖像數據是如何流過圖像處理電路32的。為了提供圖像處理電路32的概述， 這裡參考圖7提供了這些功能組件如何工作以處理圖像數據的一般性描述，而每個圖解說明的功能組件的更具體說明以及它們相應的子組件將在下面進一步提供。參見圖解說明的實施例，圖像處理電路32可以包括圖像信號處理(ISP)前端處理邏輯器80、ISP管道處理邏輯器82和控制邏輯器84。成像設備30捕捉的圖像數據可以首先由ISP前端邏輯器80處理，並對其進行分析以捕捉可用於確定ISP管道邏輯器82和/或成像設備30的一個或多個控制參數的圖像統計信息。ISP前端邏輯器80可被配置成從圖像傳感器輸入信號捕捉圖像數據。例如，如圖7中所示，成像設備30可包括具有一個或多個透鏡88和圖像傳感器90的照相機。如上所述，圖像傳感器90可包括色彩濾鏡陣列(例如，Bayer濾鏡)，從而可提供用圖像傳感器90的每個成像像素捕捉的光強度和波長信息， 以提供可由ISP前端邏輯器80處理的一組原始圖像數據。例如，成像設備30的輸出92可被傳感器接口 94接收，傳感器接口 94接著可基於例如傳感器接口類型把原始圖像數據96 提供給ISP前端邏輯器80。例如，傳感器接口 94可以利用標準移動成像架構(SMIA)接口或者其它串行或並行照相機接口，或者它們的某種組合。在一些實施例中，ISP前端邏輯器 80可在它自己的時鐘域內工作，並且可向傳感器接口 94提供異步接口，以支持大小和定時要求不同的圖像傳感器。在一些實施例中，傳感器接口 94可包括在傳感器側的子接口(例如，傳感器側接口)和在ISP前端側的子接口，所述子接口構成傳感器接口 94。原始圖像數據96可被提供給ISP前端邏輯器80，並按多種格式逐個像素地處理。 例如，每個圖像像素可具有8、10、12或14比特的位深度。表示在存儲器中如何保存和尋址像素數據的存儲格式的各種例子將在下面進一步詳細討論。ISP前端邏輯器80可對原始圖像數據96進行一個或多個圖像處理操作，以及收集關於圖像數據96的統計信息。可按相同或不同的位深度精度進行圖像處理操作，以及統計數據的收集。例如，在一個實施例中， 可以14比特的精度進行原始圖像像素數據96的處理。在這種實施例中，ISP前端邏輯器 80接收的位深度小於14比特(例如，8比特、10比特、12比特)的原始像素數據可被上採樣到14比特，以便進行圖像處理。在另一個實施例中，可以8比特的精度進行統計處理，從而，具有較高位深度的原始像素數據可被下採樣成8比特格式，以供統計。要認識到，下採樣到8比特可減小硬體尺寸(例如，面積)，還降低關於統計數據的處理/計算複雜性。另外，可在空間上平均原始圖像數據，以使統計數據對噪聲的魯棒性更高。此外，如圖7中所示，ISP前端邏輯器80還可從存儲器108接收像素數據。例如， 如附圖標記98所示，原始像素數據可從傳感器接口 94被發送給存儲器108。駐留在存儲器108中的原始像素數據隨後可被提供給ISP前端邏輯器80以供處理，如附圖標記100所示。存儲器108可以是存儲器裝置18的一部分、存儲設備20，或者可以是電子設備10內的獨立的專用存儲器，並且可包括直接存儲器存取(DMA)特徵。此外，在一些實施例中，ISP 前端邏輯器80可在它自己的時鐘域內工作，並且可向傳感器接口 94提供異步接口，以支持大小不同並且具有不同的定時要求的傳感器。 當收到原始圖像數據96 (來自傳感器接口 94)或100 (來自存儲器108)時，ISP前端邏輯器80可進行一個或多個圖像處理操作，比如時域濾波和/或箱化補償濾波。處理後的圖像數據隨後可被提供給ISP管道邏輯器82 (輸出信號109)，以便在被顯示(例如，顯示在顯示器設備觀上)之前進行另外的處理，或者可被發送給存儲器(輸出信號110)。ISP 管道邏輯器82或者直接從ISP前端邏輯器80接收「前端」處理數據，或者從存儲器108接收「前端」處理數據(輸入信號112)，並且可提供原始域中以及RGB和YCbCr顏色空間中的圖像數據的其它處理。ISP管道邏輯器82處理的圖像數據隨後可被輸出給顯示器觀(信號 114)，以供用戶觀看和/或可由圖形引擎或GPU進一步處理。另外，ISP管道邏輯器82的輸出可被發送給存儲器108 (信號11 ，並且顯示器觀可從存儲器108讀取圖像數據(信號116)，在一些實施例中，存儲器108可被配置成實現一個或多個幀緩衝器。此外，在一些實現中，ISP管道邏輯器82的輸出可被提供給壓縮/解壓縮引擎118 (信號117)，以便編碼 /解碼圖像數據。編碼的圖像數據可被保存，稍後在被顯示在顯示器設備觀上(信號119) 之前被解壓縮。例如，壓縮引擎或「編碼器」 118可以是用於編碼靜止圖像的JPEG壓縮引擎、或者編碼視頻圖像的H. 264壓縮引擎、或者它們的某種組合、以及解碼圖像數據的對應解壓縮引擎。關於可在ISP管道邏輯器82中提供的圖像處理操作的額外信息將在下面參考圖98-133更詳細地討論。另外，應注意，ISP管道邏輯器82還可從存儲器108接收原始圖像數據，如由輸入信號112所示。ISP前端邏輯器80確定的統計數據102可被提供給控制邏輯器單元84。例如，統計數據102可包括涉及自動曝光、自動白平衡、自動聚焦、閃爍檢測、黑電平補償(BLC)、透鏡陰影校正等等的圖像傳感器統計信息。控制邏輯器84可包括被配置成執行一個或多個例程(例如，固件)的處理器和/或微控制器，所述一個或多個例程可以被配置成根據接收的統計數據102，確定成像設備30的控制參數104，以及ISP管道邏輯器82的控制參數106。 例如，控制參數104可包括傳感器控制參數(例如，增益、曝光控制的積分時間)、照相機閃光控制參數、透鏡控制參數(例如，聚焦或變焦用焦距)、或者這些參數的組合。ISP控制參數106可包括用於自動白平衡和顏色調整(例如，在RGB處理期間)的增益水平和色彩校正矩陣(CCM)，以及透鏡陰影校正參數，如下所述，透鏡陰影校正參數可以是根據白點平衡參數確定的。在一些實施例中，除了分析統計數據102之外，控制邏輯器84還可以分析歷史統計信息，所述歷史統計信息可保存在電子設備10上(例如，保存在存儲器18或存儲設備20中)。參見圖解說明的實施例，圖像處理電路32可包括信號處理(ISP)前端處理邏輯器 80、ISP管道處理邏輯器82和控制邏輯器84。成像設備30捕捉的圖像數據首先可由ISP 前端邏輯器80處理，並被分析以捕捉可用於確定ISP管道邏輯器82和/或成像設備30的一個或多個控制參數的圖像統計信息。ISP前端邏輯器80可被配置成從圖像傳感器輸入信號中捕捉圖像數據。例如，如圖7中所示，成像設備30可包括具有一個或多個透鏡88和圖像傳感器90的照相機。如上所述，圖像傳感器90可包括色彩濾鏡陣列(例如，Bayer濾鏡)，從而可提供用圖像傳感器90的每個成像像素捕捉的光強度和波長信息，以提供可由ISP前端邏輯器80處理的一組原始圖像數據。例如，成像設備30的輸出92可被傳感器接口 94接收，傳感器接口 94隨後把原始圖像數據96提供給基於例如傳感器接口類型的ISP 前端邏輯器80。例如，傳感器接口 94可以利用標準移動成像架構(SMIA)接口，或者其它串行或並行照相機接口，或者它們的某種組合。在一些實施例中，ISP前端邏輯器80可在它自己的時鐘域內工作，並且可向傳感器接口 94提供異步接口，以支持大小和定時要求不同的圖像傳感器。圖8表示描述圖像處理電路32的另一個實施例的方框圖，其中，相同的組件用相同的附圖標記表示。一般來說，圖8的圖像處理電路32的操作和功能與圖7的圖像處理電路32類似，除了圖8中所示的實施例還包括ISP後端處理邏輯器單元120之外，ISP後端處理邏輯器單元120可耦接在ISP管線82的下遊並且提供另外的後處理步驟。在圖解說明的實施例中，ISP後端邏輯器120可從ISP管線82接收輸出114，並對接收的數據114進行後處理。另外，ISP後端120可直接從存儲器108接收圖像數據，如輸入IM所示。如下參考圖134-142進一步所述，ISP後端邏輯器120的一個實施例可提供圖像數據的動態範圍壓縮(通常稱為「色調映射」)、明度、對比度和顏色調整、以及把圖像數據比例縮放到期望的尺寸或解析度(例如，根據輸出顯示器設備的解析度)的比例縮放邏輯器。此外，ISP後端邏輯器120還可包括檢測圖像數據中的某些特徵的特徵檢測邏輯器。 例如，在一個實施例中，特徵檢測邏輯器可包括被配置成識別圖像數據內，面部和/或面部特徵位於和/或置於的區域的面部檢測邏輯器。面部檢測數據可被提供給前端統計信息處理單元，作為用於確定自動白平衡、自動聚焦、閃爍和自動曝光統計信息的反饋數據。例如， ISP前端80中的統計信息處理單元(下面在圖68-97中更詳細地討論)可被配置成根據確定的圖像數據中的面部和/或面部特徵的位置，選擇用於統計信息處理的窗口。在一些實施例中，代替或者除了被反饋給ISP前端統計信息反饋控制迴路之外， 面部檢測數據也可被提供給局部色調映射處理邏輯器、ISP後端統計信息單元、或者編碼器 /解碼器單元118中至少之一。如下進一步所述，提供給後端統計信息單元的面部檢測數據可被用於控制量化參數。例如，當編碼或壓縮輸出圖像數據(例如，在宏塊中)時，對於圖像的已確定為包括面部和/或面部特徵的區域，可以減少量化，從而當用戶顯示和觀看圖像時，提高面部和面部特徵的視覺質量。在其它實施例中，特徵檢測邏輯器還可被配置成檢測圖像幀中的對象的角落的位置。該數據可用於識別連續圖像幀中的特徵的位置，以確定各幀之間的全局運動的估計，這可用於進行某些圖像處理操作，比如圖像配準。在一個實施例中，角落特徵等的識別可能對於組合多個圖像幀的算法(比如某些高動態範圍(HDR)成像算法，以及某些全景拼接算法) 特別有用。此外，如圖8中所示，ISP後端邏輯器120處理的圖像數據可被輸出給顯示器設備 28(信號126)，以供用戶觀看，和/或可被圖形引擎或GPU進一步處理。另外，ISP後端邏輯器120的輸出可被發送給存儲器108 (信號12 ，並且顯示器觀可從存儲器108讀取圖像數據(信號116)，在一些實施例中，存儲器108可被配置成實現一個或多個幀緩衝器。在圖解說明的實施例中，ISP後端邏輯器120的輸出還可被提供給壓縮/解壓縮引擎118 (信號117)，以編碼/解碼圖像數據，供存儲和隨後重放之用，如上面大體在圖7中所述。在其它實施例中，圖8的ISB子系統32可具有旁路ISP後端處理單元120的選項。在這樣的實施例中，如果後端處理單元120被旁路，那麼圖8的ISP子系統32可按照和圖7中所示類似的方式工作，即，ISP管線82的輸出被直接/間接發送到存儲器108、編碼器/解碼器118 或顯示器觀中的一個或多個。在圖7和圖8中所示的實施例中描述的圖像處理技術可大體利用圖9中的流程圖中描述的方法130概述。如圖所示，方法130始於方框132，在方框132，利用傳感器接口， 從圖像傳感器(例如，90)接收原始圖像數據(例如，Bayer模式數據)。在方框134，利用 ISP前端邏輯器80處理在步驟132接收的原始圖像數據。如上所述，ISP前端邏輯器80可被配置成應用時域濾波、箱化補償濾波。隨後在步驟136，ISP前端邏輯器80處理的原始圖像數據可被ISP管線82進一步處理，ISP管線82可進行各種處理步驟，以把原始圖像數據去馬賽克成全色RGB數據，並且進一步把RGB顏色數據轉換到YUV或YC1C2顏色空間(其中Cl和C2代表不同的色度差顏色，其中，在一個實施例中，Cl和C2可代表藍色色差(Cb) 和紅色色差(Cr)色度)。從步驟136，方法130可以繼續到步驟138，或者繼續到步驟140。例如，在ISP管線82的輸出被提供給顯示器設備觀的實施例(圖7)中，方法130繼續到步驟140，在步驟 140，利用顯示器設備觀顯示YC1C2圖像數據(或者把YC1C2圖像數據從ISP管線82發送給存儲器108)。另一方面，在用ISP後端單元120對ISP管線82的輸出進行後處理的實施例(圖8)中，方法130可從步驟136繼續到步驟138，在步驟138，利用ISP後端處理邏輯器120處理ISP管線182的YC1C2輸出，隨後在步驟140用顯示器設備顯示。由於這裡所示的圖像處理電路32的一般複雜的設計，有益的是把ISP前端邏輯器 80、ISP管道處理邏輯器82 (或ISP管線)和ISP後端處理邏輯器120的討論分成多個獨立的部分，如下所示。特別地，本申請的圖10-97可以涉及ISP前端邏輯器80的各個實施例和各個方面的討論，本申請的圖98-133可以涉及ISP管道處理邏輯器82的各個實施例和各個方面的討論，圖134-142可以涉及ISP後端邏輯器120的各個實施例和各個方面的討論。ISP前端處理邏輯器圖10是按照一個實施例，更詳細地表示可在ISP前端邏輯器80中實現的功能邏輯器塊的方框圖。基於成像設備30和/或傳感器接口 94的結構，如上在圖7中所述，原始圖像數據可由一個或多個圖像傳感器90提供給ISP前端邏輯器80。在描述的實施例中， 原始圖像數據可由第一圖像傳感器90a(knSor0)和第二圖像傳感器90b(knsOrl)提供給 ISP前端邏輯器80。如下進一步所述，每個圖像傳感器90a和90b可被配置成對全解析度圖像數據應用箱化，以便提高圖像信號的信噪比。例如，可以應用諸如2X2箱化之類的箱化技術，所述箱化技術可以內插以相同顏色的4個全解析度圖像像素為基礎的「箱化的」原始圖像像素。在一個實施例中，這會導致相對於單個噪聲分量，存在與箱化的像素相關的4個累積信號分量，從而提高圖像數據的信噪比，不過降低總解析度。另外，箱化還會可能導致圖像數據的不均勻或不一致的空間採樣，這可利用箱化補償濾波來校正，如下更詳細所述。如圖所示，圖像傳感器90a和90b可分別提供作為信號SifO和Sifl的原始圖像數據。每個圖像傳感器90a和90b可大體與相應的統計信息處理單元142 (StatsPipeO) 和 144 (StatsPipel)關聯，統計信息處理單元 142 (StatsPipeO)和 144 (StatsPipel)可被配置成處理圖像數據，以確定一組或多組統計信息(如信號MatsO和Matsl所示)，包括
23與自動曝光、自動白平衡、自動聚焦、閃爍檢測、黑電平補償和透鏡陰影校正等等相關的統計信息。在一些實施例中，當只有傳感器90a或90b之一在有效地獲取圖像時，如果需要另外的統計信息，那麼圖像數據可被發給MatsPipeO和MatsPipel。例如，舉例來說，如果MatsPipeO和MatsPipel都可用，那麼可以利用MatsPipeO收集一個顏色空間(例如 RGB)的統計信息，並且利用MatsPipel收集另一個顏色空間(例如，YUV或YCbCr)的統計信息。即，統計信息處理單元142和144可以並行工作，以收集有效傳感器獲得的圖像數據的每一幀的多組統計信息。在本實施例中，在ISP前端80中提供5個異步數據源。這些包括(1)來自對應於knsOr0(90a)的傳感器接口的直接輸入(稱為SifO或knsO)，(2)來自對應於 Sensorl (90b)的傳感器接口的直接輸入(稱為Sif 1或knsl)，(3)來自存儲器108的 SensorO數據輸入(稱為SifInO或knsODMA)，存儲器108可包括DMA接口，(4)來自存儲器108的Sensorl數據輸入(稱為SifInO或knslDMA)，和(5)具有來自從存儲器108取回的knsorO和Sensorl數據輸入的各幀的一組圖像數據(稱為!^eProch或ProcInDMA)。 ISP前端80還可包括來自多個源的圖像數據可被發送到的多個目的地，其中，每個目的地可以是存儲器(例如，108)中的存儲位置，或者是處理單元。例如，在本實施例中，ISP前端80包括6個目的地(1)接收存儲器108中的SensorO數據的SifODMA，(2)接收存儲器 108中的Sensorl數據的SiflDMA, (3)第一統計信息處理單元142 (StatsPipeO)，(4)第二統計信息處理單元144 (MatsPipel)，(5)前端像素處理單元(FEProc) 150, ^P (6)到存儲器108或ISP管線82的!^eOut (或FEftOcOut)(下面更詳細討論)。在一個實施例中，ISP
前端80可被配置成使得只有某些目的地對於特定數據源有效，如下面的表1中所示。
權利要求
1.一種圖像信號處理系統，包括圖像處理管線，被配置成接收包括利用數字圖像傳感器獲取的像素的原始圖像數據幀，並且通過應用去馬賽克來處理原始圖像幀，以生成對應的全色RGB圖像數據幀，並隨後將該RGB圖像數據轉換成對應的亮度和色度圖像數據幀；和後端處理單元，被配置成接收亮度和色度圖像數據的幀，並且利用特徵檢測邏輯器、色調映射邏輯器以及比例縮放邏輯器中的至少一個邏輯器來處理亮度和色度圖像幀。
2.根據權利要求1所述的圖像信號處理系統，其中，所述特徵檢測邏輯器包括面部檢測邏輯器，該面部檢測邏輯器被配置成檢測接收到的幀內包含面部特徵的位置，並且將所檢測到的位置設置為一組面部檢測數據。
3.根據權利要求2所述的圖像信號處理系統，進一步包括前端處理單元，該前端處理單元耦接在所述圖像處理管線的上遊側，並且具有前端統計信息收集引擎，該前端統計信息收集引擎被配置成處理所述原始圖像幀，以在通過所述圖像處理管線和所述後端處理單元處理所述原始圖像幀之前，確定自動白平衡統計信息、自動曝光統計信息、自動聚焦統計信息以及閃爍檢測統計信息中的至少一種統計信息。
4.根據權利要求3所述的圖像信號處理系統，其中，所述面部檢測數據被反饋至所述前端統計信息收集引擎，並且所述前端統計信息收集引擎被配置成利用面部檢測反饋數據來定位用於確定自動白平衡統計信息的一個或更多個統計信息收集窗口。
5.一種用於利用圖像信號處理(ISP)系統的後端處理邏輯器來處理圖像數據的方法， 該方法包括以下步驟接收包括亮度和色度圖像數據的圖像幀，所述圖像幀已經預先通過所述ISP系統的圖像處理管線處理；利用色調映射邏輯器向所述圖像幀應用局部色調映射；以及在應用局部色調映射之後，利用比例縮放邏輯器將所述圖像幀比例縮放至至少一個希望輸出解析度。
6.根據權利要求5所述的方法，其中，向所述圖像幀應用局部色調映射的步驟包括基於所述圖像幀內的局部特徵將所述圖像幀劃分成多個部分，並且通過以下步驟處理所述多個部分中的每一個部分識別所述圖像幀的總可用動態範圍；識別總可用動態範圍；確定所述圖像幀的當前部分中的亮度值的實際動態範圍；如果所述當前部分的所述實際動態範圍小於所述總可用動態範圍，則通過將所述實際動態範圍映射至所述總可用動態範圍來擴展所述實際動態範圍；以及將所擴展的所述實際動態範圍映射至所述總可用輸出動態範圍。
7.根據權利要求5所述的方法，所述方法進一步包括以下步驟在應用局部色調映射之後但在利用所述比例縮放邏輯器應用比例縮放之前，利用輝度、對比度和顏色(BCC)調節邏輯器來向所述圖像幀應用輝度、對比度和顏色(BCC)調節中的至少一種調節。
8.根據權利要求5所述的方法，其中，所述至少一個希望輸出解析度包括第一輸出解析度和第二輸出解析度，其中，所述第一輸出解析度對應於被配置成顯示所述圖像幀的顯示設備的希望觀看解析度，並且所述第二輸出解析度對應於比所述希望觀看解析度低的預覽解析度。
9.一種圖像信號處理系統，包括後端像素處理單元，被配置成接收圖像數據幀，其中，所述後端像素處理單元包括 面部檢測邏輯器，被配置成接收並處理所述圖像幀，並且輸出表示所述圖像幀內的面部特徵的位置的一組面部檢測數據；色調映射邏輯器，被配置成向所述圖像幀應用色調映射；比例縮放邏輯器，被配置成將所述圖像幀比例縮放至一個或更多個希望輸出解析度;以及後端統計信息處理單元，被配置成處理經比例縮放的所述圖像數據，以收集針對經比例縮放的所述圖像數據的頻率統計信息；以及編碼器/解碼器邏輯器，被配置成至少部分地基於所述頻率統計信息來向經比例縮放的所述圖像數據應用壓縮。
10.根據權利要求9所述的圖像信號處理系統，其中，所述後端統計信息處理單元將經比例縮放的所述圖像數據處理為多個宏塊，並且收集所述頻率統計信息包括確定表示針對每一個宏塊的頻率內容的頻率參數。
11.根據權利要求10所述的圖像信號處理系統，其中，利用離散餘弦變換、快速傅立葉變換、小波壓縮、或其某一組合中的至少一種來確定針對每一個宏塊的頻率參數。
12.根據權利要求10所述的圖像信號處理系統，其中，針對每一個宏塊，所述編碼器/ 解碼器邏輯器基於與所述宏塊相關聯的頻率參數來調製至少一個量化參數。
13.根據權利要求10所述的圖像信號處理系統，其中，所述面部檢測數據被提供給所述後端統計信息處理單元和所述編碼器/解碼器邏輯器中的至少一個，並且所述編碼器/ 解碼器邏輯器被配置成縮減針對所述圖像幀中的、與所述面部檢測數據所表示的面部特徵的位置相對應的多個宏塊的量化。
14.根據權利要求10所述的圖像信號處理系統，其中，所述後端像素處理單元包括選擇邏輯器，該選擇邏輯器被配置成，接收所述圖像幀和來自所述比例縮放單元的至少一個經比例縮放的圖像幀兩者，並且其中，所述選擇邏輯器被配置成選擇所述圖像幀或者所述經比例縮放的圖像幀，並且將所選擇的圖像幀提供給所述面部檢測邏輯器。
15.一種電子設備，該電子設備包括 數字圖像傳感器；傳感器接口，被配置成與所述數字圖像傳感器通信； 存儲器裝置；顯示設備，被配置成顯示與通過所述數字圖像傳感器獲取的原始圖像數據相對應的圖像場景的可視表示；以及圖像信號處理子系統，包括圖像處理管線，被配置成接收包括利用所述數字圖像傳感器獲取的像素的原始圖像數據的幀，對原始圖像幀去馬賽克以生成對應的全色RGB圖像幀，並將全色RGB圖像數據轉換成對應的亮度和色度圖像幀；以及後端處理單元，被配置成接收並利用面部檢測邏輯器、局部色調映射邏輯器、以及比例縮放邏輯器中的至少一個邏輯器來處理所述亮度和色度圖像幀，並且利用後端統計信息引擎收集圖像統計信息；其中，所述圖像統計信息包括頻率統計信息，該頻率統計信息能夠被用於確定用於利用編碼器編碼所述亮度和色度圖像幀的量化參數。
16.根據權利要求15所述的電子設備，其中，利用所述局部色度映射邏輯器處理所述亮度和色度圖像幀的步驟包括首先將所述亮度和色度圖像幀從亮度和色度顏色空間轉換到至少近似線性RGB顏色空間，並向所述近似線性RGB顏色空間應用局部色調映射。
17.根據權利要求16所述的電子設備，其中，將所述亮度和色度圖像幀轉換到所述至少近似線性RGB顏色空間的步驟包括基於冪函數應用近似變換。
18.根據權利要求17所述的電子設備，其中，如果所述亮度和色度數據包括採用YCC 422或YCC 4:2:0子採樣數據格式的亮度和色度數據，則所述亮度和色度數據在被轉換到所述至少近似線性RGB顏色空間之前首先被向上轉換成YCC 4:4:4全數據格式。
19.根據權利要求16所述的電子設備，其中，將所述亮度和色度數據轉換到所述至少近似線性RGB顏色空間的步驟包括將所述亮度和色度數據轉換至sRGB顏色空間，並接著將所述sRGB數據轉換至sRGBlin_顏色空間。
20.根據權利要求15所述的電子設備，其中，所述數字圖像傳感器包括以下各項中的至少一項與所述電子設備集成的數位照相機、經由輸入/輸出埠耦接至所述電子設備的外部數位照相機、或其某種組合。
全文摘要
本公開涉及使用圖像信號處理器處理圖像數據的系統和方法。所公開實施例提供了針對包括後端像素處理單元(120)的圖像信號處理系統(32)，該後端像素處理單元(120)接收在被前端像素處理單元(80)和像素處理管線(82)中的至少一個處理之後的像素數據。在某些實施方式中，後端處理單元(120)接收亮度/色度圖像數據，並且可以被設置成，應用面部檢測操作，局部色調映射，亮度、對比度、顏色調節以及縮放。而且，後端處理單元(120)還可以包括可以收集頻率統計信息的後端統計信息單元(2208)。該頻率統計信息可以提供給編碼器(118)，並且可以被用於確定要向圖像幀應用的量化參數。
文檔編號H04N9/04GK102547301SQ20111030569
公開日2012年7月4日 申請日期2011年9月30日 優先權日2010年9月30日
發明者G·科泰, J·E·弗雷德裡克森 申請人:蘋果公司