色調校正方法、色調校正裝置、色調校正程序以及圖像設備的製作方法

2023-06-24 00:54:46 1

專利名稱：色調校正方法、色調校正裝置、色調校正程序以及圖像設備的製作方法
技術領域：
本發明涉及用於校正圖像色調的色調校正方法、色調校正裝置和 色調校正程序，以及圖像設備。
背景技術：
用於校正圖像色調的色調校正裝置的一個示例是專利文獻l描述 的亮度(值)校正裝置。專利文獻l描述的亮度校正裝置將圖像劃分成 若干個區域，並根據各劃分區域的平均亮度算出參數，以進行伽馬校 正。一種用於校正人物圖像色調方法是根據顏色信息提取人體皮膚 區域，並根據事先確定的參數將人體皮膚區域的顏色校正成所需膚色 (如專利文獻2)。專利文獻3描述了一種利用面部檢測單元對圖像進行 處理的圖像處理方法。根據專利文獻3中描述的圖像處理方法，面部檢 測單元獲取面部區域圖像數據SH，並根據SH的特徵值確定諸如背光 等圖像狀態。執行圖像處理的過程為先用加權係數對所需膚色的皮膚圖像和原始圖像進行加權，再將它們相加，其中，加權係數是利用確定出的圖像狀態獲得的。此外，專利文獻4描述了一種圖像處理方 法，該方法對灰度(density)進行校正，使面部區域的灰度值處於目 標範圍以內。此外，專利文獻5描述了一種根據附屬於待校正圖像的圖像信息確 定校正參數，以便執行圖像處理的圖像處理方法。專利文獻5描述，根 據輸入圖像的縮減圖像(預覽)數據確定伽馬校正值，從而在短時間 內執行適當的圖像校正過程。專利文獻l: JP-A10-150566 (0013-0014段)專利文獻2: JP-A11-267937 (0006-0008段) 專利文獻3: JP-A11-328359 (0016-0023段)專利文獻4: JP-A2000-1968卯(0005段) 專利文獻5: JP-A2000-137805 (0017-0018段)發明內容本發明要解決的問題舉例而言，如果圖像是逆光拍攝的人物圖像，那麼利用專利文獻l 和2中描述的校正方法，並不總是能夠將人物圖像校正為具有令人滿意的可見度的人物圖像。由於專利文獻1的亮度校正裝置不判斷圖像是否 含有人物，因此，即使可對整幅圖像進行校正，使其具有令人滿意的 可見度，該圖像也並不總是具有針對人物圖像的令人滿意的可見度。 也就是說，並不總是能夠將人物的膚色校正為優選膚色。在專利文獻2的色調校正方法中，嘗試基於顏色信息檢測人體皮 膚，然而，在嚴重背光的情況下，膚色可能不符合正態分布。此外，即使裝備了面部檢測單元，也必需執行需要大存儲容量的 操作，因而，處理時間變長。在專利文獻3的圖像處理方法中，由於需 要通過加權，將有色皮膚轉換為期望膚色的面部圖像同面部區域以外 的背景圖像進行合成，因而用於存儲圖像數據的幀存儲器是必不可少 的。在專利文獻4的圖像處理方法中，由於必需執行轉換為灰度值的操 作，因而，各像素所用的操作單元以及用於存儲灰度圖像的存儲器是 必不可少的。在專利文獻5描述的圖像處理方法中，並不總是能夠確定出最優校 正參數。在專利文獻5的圖像處理方法中，推導出計算公式gamma-in (0.5)/In(Lv)，將其作為基於所有像素的亮度平均值Lv來求解伽馬校正 值的計算公式。根據該計算公式，產生輸出圖像，使亮度平均值變為 常數。因此，例如，如果輸入了過亮或過暗的圖像，圖像會被過度增 強，從而導致圖像質量下降。此外，由於必需用到對數轉換，因而增 加了計算的處理負荷。因此，本發明的目的是提供一種色調校正方法、色調校正裝置以 及色調校正程序，能夠自動校正色調，以將甚至逆光拍攝的人物圖像 轉換為具有令人滿意的可見度的人物圖像。此外，本發明的另一目的是減少色調校正操作所需的存儲容量以及操作次數。具有令人滿意的 可見度的人物圖像是指，具有在整幅圖像色調平衡中給出面部部分優 選膚色的亮度的圖像。解決問題的手段本發明的用於校正圖像色調的色調校正方法，其特徵在於，包括 步驟計算對提取自圖像的圖像特定區域中包括的像素的亮度分量進行 表示的代表亮度值；根據代表亮度值以及預定亮度分量的預定邊界值，計算用於校正 圖像色調的校正參數；以及利用校正參數對圖像的像素值進行轉換。只要能夠表示和待校 正圖像內容相同的內容，提取特定區域時所見的圖像以及計算代表亮 度值時所見的圖像可以是比如縮減圖像。依照本發明的、用於校正圖像色調的色調校正裝置，其特徵在於， 包括-特定區域校正參數計算單元，用於根據對提取自圖像的圖像特定 區域中包括的像素的亮度分量進行表示的值、以及所述亮度分量的指 定邊界值，計算用於校正圖像色調的校正參數；以及像素轉換單元，用於利用校正參數對圖像的像素值進行轉換。 依照本發明的、用於校正圖像色調的色調校正程序，其特徵在於，使計算機能夠執行如下過程-從圖像中提取特定區域；根據對特定圖像中包括的像素的亮度分量進行表示的值以及預定 亮度分量的邊界值，計算校正參數，作為用於校正圖像色調的參數； 以及利用校正參數對所述圖像的像素值進行轉換。 本發明的效果依照本發明，由於校正參數是根據代表輸入圖像中特定區域所含像素的亮度分量的值以及預定亮度分量的邊界值計算得到的，因而可 以實現比如將含有逆光拍攝的黑暗的面部的圖像(背光圖像)的面部 部分調亮的色調校正。此外，不僅可以對背光圖像，還可以對以順光 拍攝的特定區域上的圖像實現抑制波動的色調校正。在本發明中，校 正參數是用於校正亮度色調的轉換運算所用的參數。


圖1是示出了依照第一實施例的色調校正裝置的構成示例的框圖；圖2是示出了面部區域校正參數計算單元3的構成示例的框圖； 圖3是示出了面部中心區的設置示例的說明圖； 圖4是示出了通過Y校正得到的色調曲線的一個示例的說明圖； 圖5是示出了從代表亮度值到Y值的轉換特性的一個示例的說明圖；圖6是示出了代表亮度值和最優Y值間的關係的圖，該關係是通 過主觀評價實驗得到的；圖7是示出了利用色調曲線的控制點移動距離得到的色調曲線的 一個示例的說明圖；圖8是示出了將代表亮度值轉換為控制點移動距離的轉換表的一 個示例的說明圖；圖9是示出了依照第一實施例的色調校正裝置的操作示例的流程圖；圖10是示出了依照第二實施例的色調校正裝置的構成示例的框圖；圖11是示出了依照第二實施例的色調校正裝置的操作示例的流 程圖；圖12是是示出了依照第三實施例的色調校正裝置的構成示例的 框圖；圖13是示出了包含多個面部的輸入圖像的一個示例的說明圖； 圖14是其中以圖表示校正參數映射函數的說明圖；圖15是示出了個人計算機的構成示例的框圖；圖16是示出了依照另一實施例的色調校正裝置的構成示例的框圖；以及圖17是示出了作為本發明圖像設備示例的、裝有照相機的蜂窩電 話的構造的框圖。附圖標記說明1:面部檢測單元2:參數計算控制單元3:面部區域校正參數計算單元11:面部中心區設置單元12:代表亮度計算單元13:校正參數計算單元4:標準校正參數計算單元5:圖像轉換單元21:多面部重複確定單元22:校正參數合併單元31:面部強調校正參數計算單元32:面部強調圖像轉換單元具體實施方式
第一實施例下面將參考附圖對本發明的實施例予以說明。圖1是示出了依據 本發明第一實施例的色調校正裝置的構成示例的框圖。圖1所示的色調校正裝置包含面部檢測單元1、參數計算控制單元2、面部區域校正參數計算單元3、標準校正參數計算單元4以及圖像轉換單元5，其 中圖像轉換單元5是像素轉換單元。色調校正裝置可由信息處理裝置， 如按照程序運行的個人計算機予以實現。色調校正裝置的功能不僅可 用軟體實現，還可以用配置色調校正裝置各個組件的專用IC (硬體) 或集成色調校正裝置各個組件的專用IC (硬體)予以實現。在第一實施例中，將用於校正圖像色調的色調校正程序存儲在存儲設備，如用 於實現色調校正裝置的信息處理裝置的硬碟中。圖15是示出了個人計算機的構成示例的框圖。用於校正圖像色調 的色調校正程序存儲在磁碟裝置204 (如硬碟)中，且CPU205根據 圖9流程圖所示的過程執行色調校正程序。RAM 206存儲經輸入/輸 出單元203輸入的圖像數據以及執行所含程序所必需的數據。在顯示 單元202，如液晶顯示設備(LCD)上顯示輸入圖像以及經色調校正 後的圖像輸出。操作單元201利用比如鍵盤等控制程序運行的啟動或 者停止。可以將經色調校正後的圖像輸出保存在磁碟設備上，或逋過 輸入/輸出單元203將其輸出至印表機，或從輸入/輸出單元203經由 網絡傳輸。本發明可作為記錄著色調校正程序的計算機可讀記錄介質。 這樣的記錄介質並不局限於安裝在計算機內的硬碟等記錄介質，還包 括可拆卸的記錄介質，如CDROM、 DVD以及快閃記憶體。面部檢測單元1分析輸入圖像，並檢測面部是/否存在以及面部的 位置。面部檢測單元l參考輸入圖像的圖像數據(通過對圖像數位化 得到的信息)，利用模式識別判斷圖像上是/否存在面部，並在檢測到 面部時檢測面部的位置。面部檢測單元1輸出輸入圖像上面部特徵點 的坐標(例如，眼睛位置的坐標)作為表示面部位置的信息。為了檢測面部，面部檢測單元1可以利用陰影模式(shading pattern)進行模板匹配。模板匹配方法在比如文獻Shin Kosugi的 "Searching and Locating of Face in Scene Using Multiple Pyramid for Identifying Individuals"，電子學會，信息與通信工程師期刊，1994 年3月，第J77-D-II巻，第4期，第672-681頁"中有所說明。此夕卜， 為了檢測位置，可以釆用特徵向量探查照片距離(eigenvector spy-photo distance)進行定位。定位單元在比如文獻M. Turk、A. Pentland的"Face Recognition on Using Eigenfaces，， ， Proceedings of IEEE, 、 CVPR91，1991 年6月,第586-591頁中有所說明。面部檢測單元1可以在檢測面部時計算面部檢測可靠度，該可靠 度表示檢測到的面部模式的可靠度。可以用檢測面部時獲得的模式識 別特徵量與輸入圖像特徵量之差作為面部檢測可靠度。此外，可以使用該差的倒數，從而使得可靠度越高，差越大。面部檢測單元1所分 析的圖像不必和輸入圖像大小相同，因而可以使用經縮減以便能夠檢 測到面部的參考輸入圖像。為了產生參考輸入圖像，面部檢測單元1 可以對輸入圖像執行縮減過程。參數計算控制單元2根據面部檢測單元1的檢測結果確定校正參 數計算方法，以便進行控制來執行該方法。參數計算控制單元2根據 來自面部檢測單元1的有關是/否存在面部的信息，控制如何計算校正 參數(即，哪個單元(組件)計算校正參數)。在第一實施例中，如 果尚未檢測到面部，參數計算控制單元2就控制標準校正參數計算單 元4計算校正參數，如果檢測到面部，參數計算控制單元2就控制面 部區域校正參數計算單元3計算校正參數。面部區域校正參數計算單元3根據輸入圖像的面部區域的亮度分 量計算校正參數。面部區域校正參數計算單元3可以使用參考輸入圖 像代替輸入圖像，來計算校正參數。如圖2所示，面部區域校正參數 計算單元3包含面部中心區設置單元11、代表亮度計算單元12以及 校正參數計算單元13。圖2是示出了面部區域校正參數計算單元3的 構成示例的框圖。面部檢測單元1和面部中心區設置單元11構成面部 區域提取單元。面部中心區設置單元11根據面部檢測單元1輸出的面部特徵點的 坐標，在圖像上設置面部中心區。在第一實施例中，面部中心區是人 們在觀察面部時留意的區域，即雙眼和嘴所包圍的區域。圖3是示出 了面部中心區的設置示例的說明圖。如圖3所示，可以將面部中心區 101定義為基於雙眼間距w的矩形區域。如圖3所示，例如，當將連 接雙眼的寬度看作雙眼間距w時，面部中心區設置單元11將由基於 雙眼位置向上延伸0.4w和向下延伸0.8w的點圍成的矩形區域設置為 面部中心區。除矩形外，面部中心區還可以是橢圓形等其他形狀。代表亮度計算單元12計算面部中心區所含像素的亮度分量的代 表值。如果輸入圖像為彩色圖像，可將XYZ坐標系統的Y值用作亮 度分量。如果輸入圖像為灰度圖像，則可以直接使用像素值。此外， 還可以將平均值、中值、最大值以及最小值用作亮度分量的代表值，然而通過實驗發現，使用平均值可以達到最高精度。以下，將代表亮度計算單元12算得的亮度分量的代表值稱為代表亮度值。校正參數計算單元13根據代表亮度計算單元12算得的代表亮度 值，計算校正參數。當面部檢測單元l計算面部檢測可靠度時，校正 參數計算單元13可以根據代表亮度和面部檢測可靠度計算校正參數。 在第一實施例中，舉例說明將Y校正中的Y(伽馬)值以及色調曲線 的控制點移動距離用作校正參數的情形。Y校正通常校正由元件特性 或類似因素導致的誤差或類似問題，從而使表示電壓轉換值的變化與 圖像亮度變化之比的Y值移動靠近1。在第一實施例中，將由以下公 式(l)表示的校正稱為Y校正。公式(1)中，R、 G、 B表示紅、綠和藍 (三原色)光的強度，R，、 G，和B，表示經y校正的R、 G、 B。此夕卜， 在公式(l)中，a是常數。在由公式(l)表示的y校正中，進行校正，以 使當Y〈1時強度變大，當丫>1時強度變小。 R， = a(R)y G， = a(G)yB， = a(B)Y 公式(l) 此外，如果"R"、 "G"禾卩"B"處於0到255的範圍以內，就採用 由以下公式(2)所表示的y校正。 R，-255' (R/255)y G，-255' (G/255)y B，=255' (B/255)y 公式(2)圖4是示出了通過Y校正得到的色調曲線的一個示例的說明圖。 色調曲線是在將輸入rgb值(校正前的像素值)沿著橫軸繪製，並將輸出rgb值(校正後的像素值)沿著縱軸繪製時的轉換特性曲線。在 Y校正中，圖4所示的轉換特性曲線適用於R、 G和B。因為圖4所 示的色調曲線相比於45。的直線向上升起，這表明通過Y校正使輸入 圖像變亮。當計算y值作為校正參數時，基於將代表亮度值Yf轉換為y值時 的特性(以下稱轉換特性)，根據代表亮度值計算Y值。圖5是示出了 從代表亮度值Yf到y值的轉換特性的一個示例的說朋圖。圖5示出了線性轉換特性41以及非線性轉換特性42，作為本發明中使用的轉 換特性的示例。校正參數計算單元13利用基於線性轉換特性41的線性一次 (primary)表達式(線性變換)計算y值。此外，還可以利用基於非 線性轉換特性42的非線性函數或査找表計算y值。查找表(以下稱査 找表1)是針對代表亮度的可能值而記錄基於非線性轉換特性21確定 的y值的表。以下公式(3)是基於線性轉換特性41計算Y值的校正參數計算單 元13所用的轉換等式的一個示例。公式(3)中，"ct"和"P"為常數。 y = aYf+p 公式(3)此外，當面部檢測單元1計算面部檢測可靠度L時，校正參數計 算單元13可以利用以下的公式(4)計算加權y值(y')。在公式(4)中，如 果面部檢測可靠度較高，就用較大的值對根據代表亮度值算得的y值 進行加權，如果可靠度較低，就增大預設參數y0的權重。在公式(4) 中，面部檢測可靠度L是(KI^1的實數，並且值越大，可靠度越高。 公式(5)是通過將公式(4)重寫為不限制y值計算方法的表達式而得到 的。y' = L x (aYf+p ) + (1醒L) x Y0 公式(4) Y' = Lxy + (1-L)xy0 公式(5)在本發明中，提供了轉換特性的特定標準。即，如圖5所示，基 於預定等級(以下稱邊界亮度等級)，根據轉換特性來計算校正參數， 其中轉換特性曲線具有這樣的特性代表亮度值Yf越低，圖像變得 越亮(y值減小)，代表亮度值Yf越高，圖像變得越暗(y值增大)。 邊界亮度等級事先設定為用於根據使用區域提供優選膚色的亮度值。如有需要，事先將計算公式中用到的常數和查找表1的內容存 儲在色調校正裝置的存儲設備中。允許事先使用多個轉換特性，並且 用戶可以指定轉換特性。當用戶調整邊界亮度值時，根據邊界亮度值 更新所存儲的常數以及査找表1的內容。圖6是示出了代表亮度值Yf和最優Y值間的關係的圖，該關係是 通過主觀評價實驗得到的。在評價者手動調整人物圖像的y校正的情況下，最優y值是將人物圖像校正為評價者認為優選時的y值。如圖 6所示，面部中心區的代表亮度值Yf與最優y值正相關。據觀察，當 代表亮度Yf較大時，將圖像校正得較暗，當代表亮度Yf較小時，將 圖像校正得較亮。因此，圖6的實驗結果證實，可以通過根據具有本 發明所確定的標準的轉換特性來計算校正參數，實現最優y校正。可以獲得色調曲線的控制點移動距離作為校正參數。色調曲線的 控制點移動距離是在如圖7所示繪製色調曲線的圖中作為以45°直線 為基礎沿縱軸方向的控制點而確定的亮度值的移動距離，即顯示了預 定輸入亮度值的校正量的信息。圖7是示出了利用色調曲線的控制點 移動距離(dl、 d2和d3)得到的色調曲線的一個示例的說明圖。可以 利用圖8所示的記錄了與可能的代表亮度值對應的控制點移動距離的 轉換表，得到色調曲線的控制點移動距離。圖8是示出了用於將代表 亮度值轉換為控制點移動距離的轉換表的一個示例的說明圖。同樣，在控制點移動距離中，使用的轉換表具有這樣的特性代 表亮度值Yf越小，控制點越向亮的方向移動(值朝正加方向顯著變 化)，代表亮度值Yf越高，控制點越向暗的方向移動(值朝負減方 向顯著變化)。控制點移動距離表明的並不是各個控制點的移動距離， 而是全部亮度值的校正量。在圖7中，將3個點確定為控制點，然而 控制點的數量並不局限於3。也就是說，舉例而言，可以確定一個中 點或三個或三個以上的點，只要能從控制點的移動距離推導出基於特 性的色調曲線的近似公式即可。轉換表的內容事先存儲在色調校正裝 置的存儲設備中。可以將利用根據上述Y值繪製的Y校正而得到的色 調曲線的值記錄在轉換表中。雖然將色調曲線的控制點移動距離描述 為沿縱軸方向的移動距離，然而還可以將控制點移動距離定義為沿橫 軸方向的移動距離。如果將控制點移動距離定義為沿橫軸方向的移動 距離，那麼當控制點向左移動時圖像變亮，當控制點向右移動時圖像 變暗。標準校正參數計算單元4利用輸入圖像的圖像數據計算標準校正 參數。標準校正參數計算單元4根據整個輸入圖像或預定評估區內的 圖像數據計算校正參數。標準校正參數計算單元4可以用參考輸入圖像而不是輸入圖像來計算校正參數。標準校正參數計算單元4可以根 據對圖像進行分割得到的各個小區域中亮度值的平均值計算校正參 數，而不考慮圖像內容。此外，不僅可以根據平均值，還可以根據最 小值、最大值或最小值與最大值的差值進行計算。圖像轉換單元5根據校正參數對輸入圖像中的像素值進行轉換， 以對整個輸入圖像的色調加以校正。圖像轉換單元5用校正參數對像 素值進行運算，以對像素值進行轉換。例如，當計算伽馬值作為校正 參數時，圖像轉換單元5根據伽馬校正公式(2)為待進行伽馬校正的分 量(例如R、 G和B)的可能值(例如，0到255)計算經伽馬校正的 值，並將值存儲在預定存儲區中，以建立査找表。此處的査找表(以 下稱查找表2)是其中記錄著要用校正參數計算出的、色調有待校正 的分量的可能值經過校正後的數值。如公式(2)所示，由於使用同一計 算公式對要進行Y校正的分量R、 G和B進行校正，因而，査找表2 可以是公用的。如此以來，由於像素轉換所使用的查找表記錄了利用 校正參數對像素值分量中待校正分量的可能值加以運算得到的計算 值，因而不必對每個像素執行獲取校正量的運算。此外，由於具有輸 出尺寸的圖像並不是合成的，因而不需要大容量存儲器，並且可以執 行高速校正處理。當計算色調曲線的控制點移動距離作為校正參數時，圖像轉換單 元5根據全部控制點的移動距離得到色調曲線的近似公式，並根據求 得的近似公式為色調有待校正的分量的可能值(例如，0到255)計算 校正值，以建立查找表2。可以根據諸如線性插值或樣條插值等插值 方法，從經校正的亮度值獲得色調曲線的近似公式，其中所述校正由 控制點的移動距離表示。也就是說，圖像轉換單元5建立了查找表2，査找表2針對色調 有待校正的分量的可能值，記錄利用校正參數計算得到校正值。圖像 轉換單元5利用建立的查找表2，用輸入圖像像素值的分量中色調有 待校正的分量的值作為輸入，進行錶轉換，以對整個輸入圖像的色調 進行校正。在第一實施例中，利用依程序運行的CPU實現面部檢測單元1、參數計算控制單元2、面部區域校正參數計算單元3、面部中心區設置 單元11、代表亮度計算單元12、校正參數計算單元13、標準校正參 數計算單元4以及圖像轉換單元5。下面參考圖9說明第一實施例的操作，圖9是示出了依照第一實 施例的色調校正裝置的操作示例的流程圖。當輸入待校正的輸入圖像 時，面部檢測單元1執行面部檢測過程(步驟A1)。面部檢測單元l 參考通過縮減輸入圖像而得到的參考輸入圖像，以採用模式識別檢測 面部。當檢測到面部時，面部檢測單元l檢測面部的位置。面部檢測 單元1輸出面部檢測結果以及表示面部位置的信息(例如，雙眼的位 置坐標)。面部檢測單元1可以在檢測面部時計算面部檢測可靠度。 參數計算控制單元2判斷是否檢測到面部(步驟A2)。如果檢測到面 部(步驟A2，是)，參數計算控制單元2就指示面部區域校正參數計 算單元3計算校正參數。面部區域校正參數計算單元3接收到來自參數計算控制單元2的 指令，並根據參考輸入圖像中面部區域的亮度值計算校正參數。面部 中心區設置單元11根據面部檢測單元1檢測到的表示面部位置的信 息，確定參考輸入圖像上的面部中心區。代表亮度計算單元12根據面 部中心區設置單元11所確定的面部中心區內的像素值，計算代表像素 值(步驟A3)。代表亮度計算單元12獲得比如面部中心區內包括的 像素值的平均亮度值，以此作為代表亮度值。校正參數計算單元13根據代表亮度計算單元12算出的代表亮度 值，計算校正參數(步驟A4)。校正參數計算單元13可以利用線性 一次公式或非線性函數或査找表1，根據代表亮度值計算Y校正中的 Y值，其中線性一次公式、非線性函數、査找表1具有這樣的轉換特 性基於邊界亮度等級，校正方向以及校正量根據代表亮度值而變化。 此外，校正參數計算單元13可以利用轉換表，根據代表亮度值計算色 調曲線的控制點運動距離，其中轉換表具有這樣的特性基於邊界亮 度等級，，校正方向以及校正量根據代表亮度值而變化。當面部檢測 單元1計算面部檢測可靠度時，校正參數計算單元13可以在計算的校 正參數和預設參數之間，利用面部檢測可靠度進行加權。如果未檢測到面部(步驟a2，否)，參數計算控制單元2就指示 標準校正參數計算單元4計算校正參數。標準校正參數計算單元4利 用參考輸入圖像的圖像數據計算標準校正參數。標準校正參數計算單 元4可以根據比如參考輸入圖像內的預定區域內包括的像素值計算校 正參數(步驟a6)。圖像轉換單元5利用算得的校正參數對輸入圖像的像素值進行轉 換。如果計算y值作為校正參數，圖像轉換單元5就根據Y校正公式， 為待y校正的像素值的分量的可能值計算經y校正的值，以建立査找 表2。此外，如果計算色調曲線的控制點移動距離作為校正參數，圖 像轉換單元5就根據全部控制點的移動距離求得色調曲線的近似公 式，並根據求得的近似公式，為色調有待校正的分量的可能值計算經 過校正的值，以建立查找表2。對於輸入圖像的像素，圖像轉換單元5 利用建立的查找表對色調有待校正的像素值的分量的值進行轉換。圖 像轉換單元5對輸入圖像的全部像素的像素值進行轉換，以校正輸入 圖像的色調。在第一實施例中，由於檢測到圖像中的面部，並利用根據面部中 心區的亮度信息(代表亮度值)算得的校正參數校正整個圖像的色調， 因而可以實現這樣的色調校正使背光圖像中暗的面部變亮。此外， 由於校正參數是根據校正方向以及校正量基於邊界亮度等級並根據代 表亮度值而變化這一特性計算的，因而可以對背光圖像實現色調校正， 還可以對含有以順光拍攝的面部的圖像實現抑制波動的色調校正。也 就是說，由於色調校正是根據被預置為能夠提供優選膚色的亮度值的 邊界亮度等級而基於代表亮度值實現的，因而可以提供可見度良好的 人物圖像。由於可以僅使用參考輸入圖像計算校正參數，而不必執行根據輸 出尺寸的合成，因而不必使用大容量存儲器。由於在計算校正參數時 沒有用到諸如對數轉換等複雜運算，而是通過在圖像轉換時建立査找 表2進行錶轉換，因而可以高速執行這一處理過程。第二實施例下面將參考附圖，對本發明的第二實施例予以說明。圖IO是示出 了依照第二實施例的色調校正裝置的構成示例的框圖。圖IO所示的色調校正裝置包含面部檢測單元1、參數計算控制單元2、面部區域校正參數計算單元3、多面部重複確定單元21、標準校正參數計算單元 4、校正參數合併單元22以及圖像轉換單元5。圖IO所示的色調校正 裝置與圖1所示的第一實施例的不同之處在於添加了多面部重複確 定單元21以及校正參數合併單元22。如果檢測到多個(N個)面部，多面部重複確定單元21就進行控 制，計算N個面部區域所對應的校正參數。多面部重複確定單元21 重複指示面部區域校正參數計算單元3，直至計算出N個面部區域所 對應的校正參數。如果檢測到多個(N個)面部，校正參數合併單元 22對對應於各面部區域計算的校正參數進行合併。為了合併校正參 數，校正參數合併單元22可以取校正參數的平均值。此外，如公式(6) 所示，如果面部檢測單元1計算了面部檢測可靠度，還可以利用加權 的均值執行合併。在公式(6)中，"N"是檢測到的面部數量，"L(N)"是 面部檢測可靠度，"Y(N)"是對應於各面部區域計算的校正參數(以下 稱Y值)。[數學公式l]formula see original document page 18
公式(6)作為合併示例，可以用面部尺寸對多個面部的校正參數進行加權 均值平均。例如，可以使用雙眼之間的距離作為面部尺寸，根據下面formula see original document page 18校正參數合併單元22將該合併的校正參數作為合併校正參數予 以輸出。此外，如果檢測到的面部數量為0，且輸入了標準校正參數 計算單元4計算的校正參數，校正參數合併單元22可以直接將該校正 參數作為合併校正參數予以輸出。圖像轉換單元5利用校正參數合併 單元22輸出的合併校正參數對像素值進行轉換。在第二實施例中，利用依程序運行的CPU實現多面部重複確定單 元21和校正參數合併單元22。下面參考圖11說明第二實施例的操作。圖11是示出了依照第二 實施例的色調校正裝置的操作示例的流程圖。由於步驟A、 A2和A5 以及步驟A5和A6與圖9所示的第一實施例中的步驟類似，故而將其 說明省略。當面部檢測單元1執行面部檢測過程(步驟Al)時，檢測 到N個面部。面部區域校正參數計算單元3接收到來自參數計算控制 單元2的指令，根據參考輸入圖像上的面部區域的亮度值計算校正參、W'數。多面部重複確定單元21進行控制，對檢測到的N個面部區域執 行步驟A3和A4的操作。當面部區域校正參數計算單元3完成了對應 於一個面部區域的校正參數的計算，多面部重複確定單元21就判斷是 否存在其他面部區域(步驟All)。如果存在其他面部(步驟All中 的是)，多面部重複確定單元21就指示面部區域校正參數計算單元3 計算下一個面部區域所對應的校正參數(返回步驟A3)。如果不存在 其他面部，多面部重複確定單元21就向校正參數合併單元22輸出算 得的N個面部所對應的校正參數。校正參數合併單元22對與N個面部相對應的校正參數加以合併， 以計算合併校正參數(步驟A12)。校正參數合併單元22通過對校正 參數取平均，計算合併校正參數。此外，如果面部檢測單元l計算了 面部檢測可靠度，校正參數合併單元22可以通過用面部檢測可靠度或 面部尺寸來取加權均值(加權平均)，計算合併校正參數。圖像轉換 單元5根據合併校正參數或標準校正參數計算單元4算出的校正參數 對輸入圖像的各像素值進行轉換(步驟A5)。如果輸入了標準校正參 數計算單元4算出的校正參數，校正參數合併單元22可以直接把該校正參數作為合併校正參數予以輸出。依照第二實施例，由於對圖像上的所有面部區域進行了加權以及 同時合併，因而實現的校正可以維持整幅圖像的平衡，從而避免了由 於特定面部的影響而使校正對整幅圖像造成不良影響。第三實施例下面將參考附圖對本發明的第三實施例予以說明。圖12是示出了 依照第三實施例的色調校正裝置的構成示例的框圖。圖12所示的色調校正裝置包含面部檢測單元1、參數計算控制單元2、面部區域校正參數計算單元3、多面部重複確定單元21、標準校正參數計算單元4、 面部強調校正參數計算單元31以及面部強調圖像轉換單元32。圖12 所示的色調校正裝置與圖IO所示的第二實施例的不同之處在於加入 了取代校正參數合併單元22的面部強調校正參數計算單元31，加入 了取代圖像轉換單元5的面部強調圖像轉換單元32。面部強調校正參數計算單元31利用面部區域校正參數計算單元3 算得的與面部區域相對應的校正參數，計算用於對各面部中心區進行 密集校正的校正參數映射。面部強調圖像轉換單元32根據面部強調校 正參數計算單元31算得的校正參數映射，對特定區域的色調密集地加 以轉換。在第三實施例中，將校正參數視為隨圖像坐標值(x，y)變化的校正 參數映射，因而面部區域的校正效果可以較顯著。面部強調校正參數 計算單元31將坐標上的校正參數(此處，為Y值)表示為如以下公式 所示的函數r(x, y)。以下，將函數r(x， y)稱為校正參數映射函數。面 部強調校正參數計算單元31基於檢測到的面部中心區的坐標，根據校正參數映射函數為圖像上的所有坐標計算校正參數。 Y-r(x,y)公式(8)更具體地說，面部強調校正參數計算單元31基於檢測到的面部中心區的坐標及其校正參數，建立表示圖像上所有坐標上校正參數的校正參數映射函數。校正參數映射函數r(x， y)的示例是使用公式(9)所表示的二維高斯分布函數的函數。在公式(9)中，"N"是檢測到的面部數量，yi是對應於第i (1 ^ i ^ N)個面部區域的校正參數，"(x0,y0)"是第i個面部 區域的中心坐標，"cri"是根據第i個面部中心區尺寸而變化的參數(如 果面部中心區面積較大，得到較大的"ai"值，如果面部中心區面積較小，得到較小的"C7i"值)。[數學公式3] r(x,y)= Z0v『(u。，_y，_y。，CT,》'、2 " 、2、公式(9)『O，Xo,少,少o,",) =:;~rexP27TCT.-在公式(9)中，以這樣的格式定義校正參數映射函數r(x，y):首先 用加權函數W對與各面部區域相對應的校正參數Yi進行加權，然後 進行求和。加權函數W可以是隨著到面部中心坐標的距離的增加將校 正參數逐漸減小的函數，然而W並不局限於公式(9)的形式。此外， 可以事先將加權函數W的輸出值作為表存儲。圖13示出了包含數個面部的輸入圖像的一個示例。面部檢測單元 l檢測到第一個面部中心區101-1以及第二個面部中心區101-2。圖13 示出了第一面部影響範圍102-1，在該範圍內，對第一面部中心區101 的校正的影響佔主導，還示出了第二面部影響範圍102-2，在該範圍 內，對第二面部中心區101-2的校正的影響佔主導。圖14是示出了根據圖14的面部檢測結果產生的、圖形式的校正 參數映射函數r(x， y)的一個示例的說明圖。圖14示出了第一面部校 正參數分布103-1以及第二面部校正參數分布103-2，第一面部校正參 數分布103-1是根據對應於第一面部中心區101-1的校正參數求得的 校正參數分布，第二面部校正參數分布103-2是根據對應於第二面部 中心區101-2的校正參數求得的校正參數分布。如圖13所示，由於第一面部中心區101-1中亮度值較大，因而在 圖14的第一面部校正參數分布103-1上面部中心周圍的校正參數(此 處為Y值)變大。另一方面，由於第二面部中心區101-2中亮度值較 小，因而在圖14的第二面部校正參數分布103-2中面部中心周圍的校 正參數小於第一校正參數分布103-1中面部中心周圍的校正參數。面部強調圖像轉換單元32利用面部強調校正參數計算單元31生 成的校正參數映射函數r(x, y)對輸入圖像的像素值進行轉換，以校正 整幅輸入圖像的色調。為了對像素值進行轉換，面部強調圖像轉換單 元32獲取坐標上的輸入圖像像素，並根據校正參數映射函數r(x， y) 所代表的坐標上的校正參數對像素值加以運算。面部強調圖像轉換單元32對輸入圖像上所有坐標所代表的像素 值進行轉換，以對整幅輸入圖像的色調加以校正。如果校正參數映射 函數r(x, y)顯示在某個坐標(y值為0)上無校正，就不對該坐標表 示的像素值執行轉換過程。此外，如果檢測到的面部數量為0，那麼 同第一實施例類似，面部強調圖像轉換單元32利用標準校正參數計算 單元4算得的校正參數對輸入圖像的像素值進行轉換。在第三實施例中，利用依程序運行的CPU實現面部強調校正參數 計算單元31以及面部強調圖像轉換單元32。依照第三實施例，可以設置對應於多個面部的校正參數。由於只 校正了面部區域及其周圍的區域，並且可以根據每個面部分別進行校 正，因而可以避免由於特定面部的影響使校正對整幅圖像造成不良影 響。在計算各坐標上的校正量時，使用校正量參數映射函數，因而不 必使用多餘的、用於圖像合成的幀存儲器或類似裝置。第三實施例說明了圖像包含人物、且可以從圖像提取出面部區域 作為特定區域的情形，然而，該特定區域還包括如下情況圖像含有 要作為特定區域的動物、圖像含有要作為特定區域的建築物或車輛、 以及圖像含有自然物體，如山脈、島嶼，因而並未對特定區域作具體 限制。在第三實施例中，對輸入圖像進行分析，以自動檢測特定區域， 然而圖像是顯示在顯示設備上的，以便可以手動指定特定區域。在各實施例中，不一定要提供面部檢測單元1和面部中心區設置單元ll，只要可以將圖像顯示在顯示設備上，並且可以手動指定特定 區域，從而可以提取圖像的面部區域(具體而言，中心區域)即可。 此外，不一定要提供標準校正參數計算單元4，在這種情況下，參數 計算控制單元2也不是必需的。也就是說，在本發明的實施例中，可以採用圖16所示的構造。在圖16的構造中，將同圖2的面部中心區 設置單元11的輸出相類似的、有關圖像上面部中心區的信息輸入代表 亮度計算單元12。實施例中的色調校正裝置可用於諸如視頻攝像機、數位相機、裝 有攝像機的行動電話以及具有圖像處理功能的印表機等圖像設備。圖17是示出了作為依照本發明實施例的圖像設備的、裝有照相機 的蜂窩電話的構造的說明圖。ROM104存儲用於校正圖像色調的色調 校正程序，CPU105按照圖9流程圖所示的步驟執行色調校正程序。 RAM106存儲從輸入/輸出裝置103、發射機/接收機101或圖像拾取元 件107 (如CCD)輸入的圖像數據，以及用於執行程序的必要數據。 輸入圖像和經色調校正的圖像輸出顯示在顯示單元102，如液晶顯示 單元(LCD)上。將經色調校正的圖像輸出保存在RAM106中，或通 過輸入/輸出單元103將其輸出至印表機，或利用發射機/接收機101 將其發送出去。可以在不背離本發明精神或特徵的前提下做出各種其他修改。上 述各實施例僅僅是示例，本發明並不局限於這些實施例。本發明是在 權利要求書中限定的，因而本發明不受說明書限制。此外，本發明範 圍包括權利要求等價物的意義和範圍以內的全部改變。
權利要求
1.一種用於校正圖像色調的色調校正方法，包括步驟計算對提取自圖像的圖像特定區域中包括的像素的亮度分量進行表示的代表亮度值；根據代表亮度值以及預定亮度分量的預定邊界值，計算用於校正圖像色調的校正參數；以及利用校正參數對圖像的像素值進行轉換。
2. 根據權利要求l所述的色調校正方法，其中所述特定區域是面 部區域。
3. —種用於校正圖像色調的色調校正裝置，包括 特定區域校正參數計算單元，用於根據對提取自圖像的圖像特定區域中包括的像素的亮度分量進行表示的值、以及所述亮度分量的指 定邊界值，計算用於校正圖像色調的校正參數；以及像素轉換單元，用於利用校正參數對圖像的像素值進行轉換。
4. 根據權利要求3所述的色調校正裝置，其中所述特定區域是面 部區域，特定區域校正參數計算單元是面部區域校正參數計算單元。
5. 根據權利要求4所述的色調校正裝置，還包括用於從圖像中提取面部區域的面部區域提取單元。
6. 根據權利要求5所述的色調校正裝置，其中面部區域校正參數計算單元包括代表亮度值計算單元，用於計算對面部區域提取裝置所提取的面 部區域中包括的像素的亮度分量進行表示的代表亮度值；以及校正參數計算單元，用於根據代表亮度值以及所述亮度分量的預 定邊界值，計算所述校正參數。
7. 根據權利要求6所述的色調校正裝置，其中校正參數計算單元 計算所述校正參數，以使在被預定為提供優選膚色的值的所述亮度分 量的邊界值的基礎上，校正方向和校正量與代表亮度值具有負相關。
8. 根據權利要求6所述的色調校正裝置，其中校正參數計算單元通過利用代表亮度值的線性變換來計算校正參數。
9. 根據權利要求6所述的色調校正裝置，其中校正參數計算單元計算用於Y校正的Y值，作為所述校正參數，所述Y值具有轉換特性，以 使在代表亮度值大於所述亮度分量的邊界值時，將圖像變暗，而在代 表亮度值小於所述亮度分量的邊界值時，將圖像變亮。
10. 根據權利要求6所述的色調校正裝置，其中校正參數計算單元 計算色調曲線的控制點移動距離，作為所述校正參數，以使在代表亮 度值大於所述亮度分量的邊界值時，將圖像變暗，而在代表亮度值小 於所述亮度分量的邊界值時，將圖像變亮，所述控制點移動距離是對 根據色調曲線圖中向縱軸方向或橫軸方向的移動距離的預定輸入亮度 值的校正量進行表示的信息。
11. 根據權利要求5所述的色調校正裝置，其中面部區域提取單元 提取由雙眼和嘴包圍的區域作為所述面部區域。
12. 根據權利要求3所述的色調校正裝置，其中像素轉換裝置建立 査找表，並利用査找表進行錶轉換，以對像素值進行轉換，在所述査 找表中，針對所述像素值的分量中各個待校正分量的可能值，記錄了 利用所述校正參數計算的校正值。
13. 根據權利要求4所述的色調校正裝置，還包括-校正參數合併單元，用於採用加權平均，將對應於多個面部區域 而計算的校正參數合併，其中像素轉換單元利用合併的校正參數對像素值進行轉換。
14. 根據權利要求4所述的色調校正裝置，還包括校正參數映射計算單元，用於計算對圖像上全部坐標上的校正參 數進行表示的校正參數映射，以根據所述面部區域的中心坐標、對應 於所述面部區域而計算的校正參數以及所述面部區域的面積，對面部 中心區進行密集的校正。其中像素轉換單元根據所述校正參數映射對像素值迸行轉換。
15. 根據權利要求14所述的色調校正裝置，其中校正參數映射計 算單元計算校正參數映射，作為基於所述面部區域的中心坐標、對應 於所述面部區域而計算的校正參數以及所述面部區域的面積並利用二 維高斯分布函數的函數。
16. 根據權利要求15所述的色調校正裝置，其中校正參數映射計 算單元利用隨著到所述面部區域的中心坐標的距離的增加而減小權值 的加權函數，計算校正參數映射。
17. —種用於校正圖像色調的色調校正程序，使計算機能夠執行如下過程從圖像中提取特定區域； : 根據對特定圖像中包括的像素的亮度分量進行表示的值以及預定 亮度分量的邊界值，計算校正參數，作為用於校正圖像色調的參數； 以及'利用校正參數對所述圖像的像素值進行轉換。
18. —種圖像設備，包括權利要求3所述的色調校正裝置；圖像拾取元件，用於拍攝圖像並將圖像輸入色調校正裝置；以及存儲元件， 用於存儲來自色調校正裝置的像素轉換單元的輸出圖像。
全文摘要
[問題]將逆光拍攝的人物圖像校正為具有良好可見度的圖像。[解決方法]面部檢測單元(1)從輸入圖像或其縮減圖像中檢測面部是/否存在以及面部的位置。參數計算控制單元(2)根據面部是/否存在，控制用於計算校正參數的方法。當檢測到面部時，面部區域校正參數計算單元(3)計算校正參數，校正參數具有特性，以使根據邊界亮度級，代表亮度值越大，圖像越暗，而代表亮度值越小，圖像越亮，其中亮度值是預定的，以根據根據從檢測到的面部中心區算出的代表亮度值來提供優選膚色。當未檢測到面部時，標準校正參數計算單元(4)不考慮圖像內容，而根據輸入圖像或其縮減圖像的圖像數據計算校正參數。圖像轉換單元(5)利用獲得的校正參數對輸入圖像的像素值進行轉換，以對色調加以校正。
文檔編號H04N1/407GK101331515SQ200680047700
公開日2008年12月24日 申請日期2006年12月21日 優先權日2005年12月21日
發明者井上晃 申請人:日本電氣株式會社