檢測圖像中陰影的裝置和方法

2023-09-22 16:35:25 1

專利名稱：檢測圖像中陰影的裝置和方法
技術領域：
本發明涉及一種圖像處理裝置和方法，更具體地說，本發明提供了一種自動檢測 輸入圖像中的陰影並把圖像分為陰影和非陰影區域的裝置和方法。
背景技術：
在彩色圖像分析中，陰影分割/檢測有著重要的作用，尤其是對於照相機的白平 衡和曝光補償處理。傳統的白平衡處理對輸入圖像全圖做一個整體的色彩調整，這種處理 往往使得位於陰影中的物體色彩偏藍。而對於人像攝影來說，發藍的臉往往是人們不樂意 接受的。如果陰影區域能被事先檢測到，那麼這種發藍的現象可以通過對陰影和非陰影區 域設定不同的白平衡參數解決。專利文獻1提出了一種陰影檢測的方法。其中，一個或多個包含陰影的圖像被用 來與一個事先準備的不具備陰影的參考圖像作比較，然和計算每個像素對之間的比值。比 值落在一個事先定義的區間內的像素被認為是陰影。但是在使用照相機的情況下，不能期 望用戶對所有想拍攝的場景都提供對應的沒有陰影的參考圖像。專利文獻2提出了一種在HSV (hue saturation value，色度飽和度亮度)彩色空 間中檢測陰影的方法。該方法作如下的假定H/S(色度分量與飽和度分量的比值)的直方 圖中，為1的值的附近的一個波谷對應於陰影和非陰影之間的分界線，其中左邊的部分對 應於陰影而右邊的部分對應於非陰影。類似地，在S/V(飽和度分量與亮度分量的比值)的 直方圖中，為1的值的附近的一個峰值對應於陰影和非陰影的邊界，其中左邊的部分對應 於非陰影而右邊的部分對應於陰影。但該假設在複雜的場景中並不成立。專利文獻1美國專利申請公開No.2007/0110309A專利文獻2美國專利No.7，305, 127B非專利文獻 1 V. Vapnik，The nature of statistical learning theory, Springer-Verlag, New York,1995.物體成像的像素值實際上是對應位置的光照和該位置的反射率的乘積。如果χ和 y分別為像素在圖像中的橫縱坐標，將圖像中各像素的像素值表示為I(x，y)，陰影圖像中 相應像素位置的光照記為S(x, y)，相應像素位置的反射率記為R(x，y)，那麼可以得到如公 式⑴的關係I(x, y) = S(x, y) XR(x, y) (1)從上述的公式⑴中可以看出，僅僅根據輸入圖像I不可能得到陰影圖像的光照 S的解析解。所以陰影的檢測是不可解的問題。但是人的眼睛實際上是有能力區分圖像中 的陰影區域的，這意味著存在一些特徵能夠在某種程度上辨別陰影區域。由於本發明可以 應用於照相機中的白平衡處理，而這需要實時處理，因此僅僅使用圖像中的色彩特徵用於 區別陰影和非陰影。此方法被證明在具有明顯的陰影的情況下是有效的，即圖像是在晴天 拍攝的因而陰影和非陰影區域之間的對比度較高。另一方面，如果圖像是在陰天拍攝的，那 麼由於不存在強烈的光照，因而這種圖像不會存在明顯的陰影，從白平衡處理的角度出發，並不需要將圖像分為兩個部分來分別進行白平衡處理。本發明針對兩種情況陰/雨天圖像和晴天圖像。實際上還可以考慮更多的場景 類型，例如室內/室外場景的分類。已經有現有的成熟技術來區分室內/室外場景，本發明 可以再結合室內/室外場景區分技術，首先對圖像進行室內/室外場景的判斷，然後針對室 外圖像進行陰影檢測處理。在本說明書後文的描述中，均針對室外圖像。

發明內容
本發明公開了一種針對數位照相機應用的新的陰影檢測方法。理論上陰影檢測是 病態問題，無法獲得解析解。但是從統計的角度，存在一些特徵具備一定的區分陰影的能 力。例如，陰影通常是較暗的。在本發明中，可以利用機器學習的方法來解決陰影檢測的問 題。首先，通過分析陰影和非陰影這兩類樣本的分布，找到具備區分陰影和非陰影像 素能力的色彩特徵集合，其中包括亮度、飽和度以及RGB空間中藍色和紅色分量的比值。然 後，基於事先收集的樣本集合建立分類器，其中分類器的輸入可以為上述色彩特徵集合中 的值組成的特徵向量，輸出為屬性值(陰影和非陰影)。如果圖像中含有陰影和日照的區 域(通常在晴天的情況下才可能產生陰影)，則這樣整個圖像的對比度會較高，而上述的基 於機器學習的方法會取得較好的效果。但是如果圖像的對比度較低(例如在陰天拍攝的圖 像，不存在陰影)，則上述的方法可能會產生很多錯誤的分類結果。基於此，可以在陰影/非陰影分類之前加入場景識別的步驟，專門用於過濾掉不 是在晴天拍攝的圖像，這類圖像中一般不會包含陰影從而也不需要分為兩個部分分別進行 單獨的白平衡處理。大部分關於場景識別/分類的技術使用了一些複雜的紋理特徵量，例 如方向直方圖或局部二值模式(Local Binary Pattern)，這些特徵量過於複雜因而不適合 在照相機的硬體環境下計算。根據本發明的實施例，使用照相機的攝影參數(諸如感光度，光圈大小以及曝光 時間)來校正圖像的亮度值，然後使用校正後的亮度以及色彩特徵來建立分類器，以預測 所輸入的是否為晴天的圖像。然後，還可以基於圖像分割，設計後處理操作來改進陰影分割 結果，其中對每個分割區域設定一個唯一的類別屬性。考慮到數位照相機的硬體處理能力以及後續的白平衡處理的需求，輸入圖像被分 為相等大小的塊，陰影檢測以及圖像分割都以塊為單位圖像來進行處理。實際上，任何數字 照相機都有內建的硬體用來測量一定大小的圖像塊的平均亮度和色彩值。根據本發明的一個方面，提供一種檢測圖像中陰影的裝置，包括圖像成像單元，產生多通道圖像，所述多通道圖像包含關於亮度的通道、關於紅色的通道、關於綠色的通道 和關於藍色的通道；亮度校正單元，用於校正多通道圖像中的亮度通道值以避免受圖像成 像單元的攝影參數設置的影響，輸出校正後的多通道圖像；場景分類單元，根據在校正後的 多通道圖像上計算的全局特徵來判斷該校正後的多通道圖像是否需要作陰影檢測；陰影檢 測單元，對被場景分類單元判斷為需要作陰影檢測的校正後的多通道圖像，判斷每個像素 的類別，並由此產生陰影類別標記矩陣；區域分割單元，將圖像成像單元產生的多通道圖像 分割為多個區域，其中每個區域內的像素具有相似的色彩值，並由此產生區域標記矩陣，該 區域標記矩陣中，屬於同一區域的像素具有相同的區域標記值；後處理單元，將陰影檢測單元輸出的陰影類別標記矩陣和區域分割單元輸出的區域標記矩陣結合，輸出更新後的陰影 類別標記矩陣。根據本發明的另一個方面，提供一種檢測圖像中陰影的方法，包括圖像成像步 驟，產生多通道圖像，所述多通道圖像包含關於亮度的通道、關於紅色的通道、關於綠色的 通道和關於藍色的通道；亮度校正步驟，校正多通道圖像中的亮度通道值以避免受圖像成 像步驟中的攝影參數設置的影響，輸出校正後的多通道圖像；場景分類步驟，根據在校正後 的多通道圖像上計算的全局特徵來判斷該校正後的多通道圖像是否需要作陰影檢測；陰影 檢測步驟，對在場景分類步驟中判斷為需要作陰影檢測的校正後的多通道圖像，判斷每個 像素的類別，並由此產生陰影類別標記矩陣；區域分割步驟，將在圖像成像步驟產生的多通 道圖像分割為多個區域，其中每個區域內的像素具有相似的色彩值，並由此產生區域標記 矩陣，該區域標記矩陣中，屬於同一區域的像素具有相同的區域標記值；後處理步驟，將在 陰影檢測步驟輸出的陰影類別標記矩陣和在區域分割步驟輸出的區域標記矩陣結合，輸出 更新後的陰影類別標記矩陣。通過閱讀結合附圖考慮的以下本發明的優選實施例的詳細描述，將更好地理解本 發明的以上和其他目標、特徵、優點和技術及工業重要性。


圖1描述了根據本發明實施例的陰影檢測裝置的框圖。圖2顯示了一幅圖像，該圖像被等分為16*16像素塊。圖3示出了與圖2所示圖像相對應的低解析度圖像的亮度及色彩值(L，R，G，B)。圖4顯示了在沒有亮度校正的情況下晴天和陰天兩類樣本的均值和標準差特徵 的分布。圖5顯示了有亮度校正的情況下晴天和陰天兩類樣本的均值和標準差特徵的分布。圖6描述了場景分類處理的流程圖。圖7A和圖7B示出stdBK特徵的直方圖的例子，其中圖7A為關于晴天圖像的直方 圖，圖7B為關於陰天圖像的直方圖。圖8顯示了陰影和非陰影像素的關於3個色彩特徵的分布的例子。圖9描述了陰影檢測處理的流程圖。圖10描述了區域分割處理的流程。圖11描述了後處理單元的處理的流程圖。圖12A 12C示出了後處理單元的處理結果的例子，其中圖12A示出陰影檢測單 元輸出的陰影類別標記矩陣，圖12B示出區域分割單元輸出的區域標記矩陣，圖12C示出後 處理單元輸出的更新後的陰影類別標記矩陣。
具體實施例方式下面參考附圖詳細描述本發明的示例實施例。參考圖1，根據本發明實施例的陰影檢測單元包括圖像成像單元10、亮度校正單 元11、場景分類單元12、陰影檢測單元13、區域分割單元14、後處理單元15、及場景分類器16和陰影分類器17。圖像成像單元10在照相機對場景拍照時產生圖像信號。亮度校正單 元11使用攝影參數，諸如曝光時間、感光度(ISO)值、及光圈大小(F值)，來校正圖像成像 單元10所產生的圖像信號，從而獲得對圖像亮度的更精確的測量值。場景分類單元12將 場景分類器16應用到圖像數據上以判斷所產生的圖像信號是否需要陰影檢測處理，換句 話說，該單元將過濾掉明顯不包含陰影的圖像(例如在陰/雨天拍攝的圖像)。對於可能 包含陰影的圖像，陰影檢測單元13應用陰影分類器17來將圖像中的像素分為兩類陰影像 素或非陰影像素。區域分割單元14將圖像成像單元產生的圖像信號分割為多個區域，其中 每個區域中的像素具有相近的色彩值。後處理單元15將區域分割單元14和陰影檢測單元 13的結果相結合，使具有相似的色彩值且位置上相鄰的像素具有相同的陰影或非陰影的類 別屬性。圖像成像單元10產生用於陰影檢測的圖像信號。該圖像可以是一幅全尺寸的照
片(通常包含上百萬個像素)。但是對於白平衡應用，陰影檢測可以在更為粗糙的解析度下
實現，以滿足實時處理的需求。實際上，在本發明實施例中，使用的圖像信號的解析度可以
為16*16像素，其中的一個像素對應到7百萬像素的全尺寸圖像中相當於一個204*153像
素的塊。圖2顯示了一幅全尺寸圖像，圖3給出了和圖2相對應的、用於陰影檢測的16*16
像素尺寸的圖像，該圖像包含四個通道，即亮度、紅色、綠色、和藍色。該低解析度圖像信號
可以從照相機硬體中直接實時獲取，也可以通過計算每個對應的圖像塊的平均值，從最後
成像的全尺寸圖像中計算獲得。在後者的情況下，亮度通道值L可以通過紅色通道值R、綠
色通道值G、藍色通道值B求得。例如可以採用如下的公式(2)計算 Γ T R+2G+Bformula see original document page 9也可以將紅色通道值R、綠色通道值G、或藍色通道值B直接賦給L，即L = R 或 L = G 或 L = B。照相機的攝影參數將影響圖像成像單元10所產生的圖像信號的亮度值。根據攝 影理論，亮度值受到曝光時間(e)、IS0值(iso)以及光圈大小(F值)的影響。在亮度校正 單元11，根據如下公式(3)對輸入的圖像信號的亮度值進行校正formula see original document page 9⑶其中L和L。分別為較正前和校正後的亮度值，e, iso和F分別為照相機在拍攝時 使用的曝光時間、ISO值和光圈的F值，e,ef，ISOref和Fref為相應的三個參考值。在根據本 發明的一個實施例中，可以設為eMf = 1/200，Isoref = 200以及Fref = 4。在公式(3)中增加一個係數k並不影響本發明的實現，例如formula see original document page 9亮度校正單元11也可以僅通過e、iso、F中的一項或兩項來校正，例如formula see original document page 9亮度校正的效果可以通過分析樣本在有校正和沒有校正情況下的亮度特徵分布的變化看出。例如，收集兩個圖像集合，一個是在晴天的環境下拍攝的，另一個是在陰天/雨天的環境下拍攝的。計算每幅圖像中像素的亮度均值和標準差。根據經驗知識，和晴天 的圖像相比，陰天的圖像通常亮度較暗且對比度小(即標準差值較小)。圖4給出了上述兩 個集合在沒有校正情況下的亮度均值和標準差特徵的分布，其中圓圈表示陰/雨天的圖像 樣本，而星號表示晴天的圖像樣本。在這個分布圖中兩類樣本並沒有如預料的那樣能被很 好地區別開，這是因為照相機會自動地通過調整e，iso，F值來對圖像的整體亮度作一定的 補償，以致模糊了兩者之間的界限。圖5給出了兩類樣本的亮度校正後的特徵分布，可以看 到兩類樣本有了更好的區分度。場景分類單元12用於篩選出需要進行陰影檢測處理的圖像。場景分類單元12 可以配置為包括第一輸入單元，用於輸入校正後的多通道圖像；第一特徵計算單元，用於 計算多通道圖像的校正後的亮度通道值的均值和標準差分別作為第一特徵和第二特徵；BR 矩陣計算單元，根據校正後的多通道圖像來計算其藍色通道值和紅色通道值對應像素的比 值，從而得到BR矩陣；第二特徵計算單元，用於計算BR矩陣的標準差作為第三特徵；置信 度計算單元，將第一特徵、第二特徵、和第三特徵輸入到事先訓練的場景分類器從而得到置 信度值，如果該置信度值大於預先設定的閾值，則把輸入的校正後的多通道圖像送入陰影 檢測單元作陰影檢測處理，否則將不作陰影檢測處理。圖6描述了場景分類單元12進行的處理的流程。在步驟S120，輸入多通道圖像信 號，包含Lc，R，G和B四個通道值，均為16*16像素的圖像矩陣，其中Lc為經過亮度校正單 元11校正後的結果。在步驟S121，計算Lc矩陣的亮度的均值％和標準差Stdp用作場景 分類的第一和第二特徵。在步驟S122，基於B矩陣和R矩陣計算得到另一個矩陣BR，BR中 元素BR(i，j)的值定義為相應的B分量和R分量的比值，如公式(4)，其中i和j分別為矩 陣中元素的行列號BR(i, j) = B(i, j)/R(i, j) (4)在步驟S123，計算BR矩陣的標準差stdBK作為第三分類特徵。這三個特徵是通過 實驗優選出的。圖5已經顯示了特徵％和計< 對晴天/陰天這兩類樣本的區分能力。在 圖7A和圖7B中，給出了兩類樣本的計知特徵的分布的直方圖，其中圖7A為晴天圖像的直 方圖，圖7B為陰天圖像的直方圖。其中可以看到，大部分晴天圖像的stdBK值較大而大部分 陰天圖像的8{(^值較小。因此三個特徵均顯示了一定的區分晴天/陰天圖像的能力。然 而期望將這些特徵結合起來從而獲得比使用單個特徵更好的結果。可以通過根據經驗設定一些固定的閾值來在三維的特徵空間中確定這兩類樣本 的分界面。或者更精確的方法為，事先收集兩個樣本集合，每個集合中僅包含一種類型的圖 像，然後分類界面可以通過機器學習的方法從這兩類樣本中學習得到。在本發明的一個實例中，使用支持向量機的方法來建立這個分類界面。在訓練 階段，收集兩個樣本集，其中一個正例樣本集僅僅包含晴天圖像，一個負例樣本集僅僅包 含陰天圖像。對每個樣本圖像(編號為i)，計算一個特徵向量Vi，Vi = {mL(i), stdL(i), stdBE(i)}, mL(i)、stdL(i)分別為第i個樣本的亮度的均值和標準差，stdBE(i)為第i個樣 本的BR矩陣的標準差。在本發明的另一個實例中，也可以僅僅使用特徵％和對晴天 和陰天圖像進行分類，這樣Vi = {mL(i)，stdL(i)})。假設總共有η個正例樣本和m個負例樣本，令k = n+m,從而可以得到一個向量集 合V= {vj, i = l..k和一個標記集合Y = {yj, i = l..k，其中yi是對應於特徵向量Vi的樣本的類別標記，按公式(5)定義
formula see original document page 11支持向量機方法要求選定一個核函數K。在本發明的一個實例中，可以選用如公式 (6)的高斯函數作為核函數formula see original document page 11(6)其中參數σ為事先確定的常數，例如取σ = 1。核函數可以有多種選擇，例如也可以採用線性函數formula see original document page 11其中為向量Xl和x2的內積，e為事先確定的常數，例如e= 1。在訓練過程，支持向量機算法從向量集V中選擇出包含ην個向量的子集W= {wj, i = l..nv，稱為支持向量集，並且對每個&賦予一個權重 。則分類器函數fiml可以按 照公式(7)表示為formula see original document page 11(7)其中yi是向量Wi對應的類別標記，b是訓練算法計算得到的一個常數。支持向量機算法是機器學習領域的一種公知的方法，可以採用非專利文獻1所公 開的方法。訓練得到的分類器函數及其參數存儲在場景分類器16中。在步驟S124，基於場景分類器16中存儲的如公式(7)的分類器函數funl，可以通 過公式⑶計算出關於向量ν的置信度Cf(V)formula see original document page 11其中Cf是
間的值。對輸入的特徵向量V，通過公式(9)比較Cf和事先確定 的閾值T。可以得到輸入向量ν的類別標記yv
formula see original document page 11如果Tc = 0. 5，分類器將以相同的概率產生晴天圖像或陰天圖像的預測(即不偏 向於任何一種情況)；當Tc大於0.5，分類器將傾向於產生晴天圖像的預測；當Tc小於0.5， 分類器將傾向於產生陰天圖像的預測。對輸入的圖像信號，如果得到的置信度Cf小於閾值Tc，該圖像將被認為是不需 要陰影檢測處理的陰天圖像，在步驟S125，結束處理，否則將被認為是晴天圖像，在步驟 S126，把圖像信號傳給陰影檢測單元13。陰影檢測單元13通過考慮每個像素的色彩特徵來將輸入圖像的每個像素分類為 陰影點或非陰影點。通常，圖像中的陰影區域具有如下的特徵陰影的亮度(校正的亮度) 較低，所以Lc的值較小；陰影通常色彩偏藍，意味著其中藍色分量的比重較大。此外，根據照相機的成像特點，圖像中遠方的背景處一般飽和度較低而近景處飽和度較高。如果只考慮近景處的陰影(通常對白平衡處理是這樣)，那麼飽和度也可以作為 一個分類特徵。在本發明的一個實例中，可以考慮三種色彩特徵校正的亮度(Lc)，飽和度(S)以 及藍色值和紅色值的比值(B/R)。輸入的圖像信號具有4個通道值Lc，R，G，B，分別對應校 正的亮度、紅色、綠色和藍色分量，每一個通道是一個16*16像素的圖像矩陣。對圖像中的 每個位置(i，j)，i和j分別為圖像中像素的橫縱位置，通過計算上述三種色彩特徵可以得 到特徵向量P(i，j)P(i, j) = [Lc(i, j),BR(i, j), S(i, j)] (10)其中Lc(i，j)是位置(i，j)上的校正的亮度值，R(i，j)，G(i，j)，B(i，j)分別為 位置(i，j)處的R、G、B值，BR(i，j)根據公式(11)計算，S(i，j)根據公式(12)計算BR(i, j) = B(i, j)/R(i, j) (11) [_] S⑴)=1 -[min (R(M).Gaj),B(i,j))] (12)對飽和度S(i，j)的計算也可以採用不同於(12)的公式，例如
!0, max = 0
腿~ min 其它 max 『 「其中maX、min分別為R(i，j)、G(i，j)、B(i，j)值中的最大、最小值。在本發明的另一個實例中，也可以僅考慮兩個色彩特徵校正的亮度(L。)，飽和度 (S)0 這樣P(i，j) = [Lc(i，j)，S(i，j)]。圖8給出了陰影和非陰影像素的關於上述三種特徵量的分布，其中的星號表示陰 影像素，圓圈表示非陰影像素。陰影檢測單元13可以配置為，包括第二輸入單元，用於輸入校正後的多通道圖 像；第三特徵計算單元，對校正後的多通道圖像的每個像素計算一個特徵向量；陰影類別 標記矩陣計算單元，根據所述第三特徵計算單元計算得到的特徵向量和事先訓練得到的陰 影分類器來計算多通道圖像的每個像素的關於陰影或非陰影的類別，從而產生陰影類別標 記矩陣，在所述陰影類別標記矩陣中，認為是陰影的像素賦予第一標記值，認為是非陰影的 像素賦予第二標記值。圖9示出了陰影檢測單元13的處理流程。首先，在步驟S130，得到輸入的圖像信 號。然後，在步驟S131，對輸入圖像中的每個像素(i，j)根據公式(10) (12)計算得到特 徵向量P(i，j)。在步驟S 132，基於陰影分類器17所存儲的陰影分類器函數來預測每個像 素(i，j)的屬性(陰影或非陰影)。對於每個所處理的像素點(i，j)，給出類別標記Z(i， j)，值1表示陰影，0表示非陰影。在步驟S133，輸出該陰影類別標記矩陣Z。參照非專利文獻1，採用構建場景分類器中所使用的支持向量機方法，可以類似地 構造陰影分類器17，其採用第二分類器函數fim2 fun2(·) = Σ ^νι YsiasiKs (fi,0 + bs(13)其中mv是在陰影分類器訓練過程中得到的分類器的支持向量的數目，&是支持向 量，ysi是對應於支持向量fi的類別標記(1意味著陰影，ο意味著非陰影)，asi和bs是訓練過程得到的參數。Ks是陰影分類器中使用的核函數。在本發明的一個實例中，Ks可以按照 公式(14)定義為高斯函數Ks(xl,x2) = exp (- l|xl 一 x2ll^p(14)其中σ s為事先確定的常數，例如取σ s = 1。核函數可以有多種選擇，例如可以採用線性函數Ks(xl，x2) = + e
其中為向量Xl和x2的內積，e為事先確定的常數，例如e= 1。在步驟S132，基於陰影分類器17中存儲的如公式(13)的分類器函數fim2，可以 通過公式(15)計算像素點(i，j)的類別標記Z(i，j)
,、(1 fun2(P(i,j)) > 0…、Ζ(Μ) = ο fun2:P^<。(15)其中P(i，j)為象素點(i，j)所對應的特徵向量，其中，類別標記Z(i，j)為1表 示該象素點(i，j)為陰影，類別標記z(i，j)為O表示該象素點(i，j)為非陰影。陰影檢測單元13的輸出中可能有錯分類的情況。例如，天空區域由於色彩偏藍且 亮度較低有時錯分類為陰影。考慮到空間位置上相鄰且色彩相近的像素點一般或者同是陰 影或者同是非陰影。基於此，區域分割單元14將圖像分為多個區域，其中每個區域中的像 素點具有相似的色彩值。另外，後處理單元15將陰影檢測單元13的輸出和區域分割單元 14的結果結合來改善陰影檢測的結果。後處理單元15可以配置為，包括第三輸入單元，用於輸入陰影檢測單元產生的 陰影類別標記矩陣；第四輸入單元，用於輸入區域分割單元產生的區域標記矩陣；陰影類 別標記更新單元，對於區域標記矩陣中的各個區域，計算陰影類別標記矩陣的對應區域中 具有第一標記值的元素數目Ntl和具有第二標記值的元素數目N1,並根據Ntl和N1的值來把 陰影類別標記矩陣的所述對應區域中的元素全部更新為第一標記值或第二標記值。圖10描述了區域分割單元14的處理流程。首先，建立一個和輸入圖像尺寸相同 的區域標記矩陣M，其中的每個元素對應於輸入圖像中的一個像素。M中的元素均被初始化 為O。此外，變量C用於記錄當前分配的區域標號，C被初始化為O。在分割階段，依次順序地考慮M中的每個元素0^，》，如果"^7)為0，將當前的 標號C賦予M(x，y)同時以(x，y)為種子點向其鄰域做區域生長過程，其中兩個相鄰的像素 點(x0，Y0)和Yi)的合併條件如公式(16)所示L(x0, y0)-L(Xi, Yi) I N1，將Z中與區域Ri對應的位置上的值都設 為O ；否則都設為1。在步驟S154，輸出更新後的陰影類別標記矩陣Z作為最終的陰影檢測 的結果。圖12A至圖12C示出後處理的一個例子。圖12A為陰影檢測單元13輸出的陰影 類別標記矩陣Z，圖12B為區域分割單元14輸出的區域標記矩陣M，其中灰色區域屬於第一 區域C1,白色區域屬於第二區域C2。圖12C是更新後的陰影類別標記矩陣，其中C1中的所 有元素被設為0，C2中的所有元素被設為1。按照本發明實施例，所處理的圖像尺寸為16*16像素。本領域技術人員顯而易見 的是，圖像尺寸並不局限於此，可以根據圖像成像單元10的硬體配置以及實際應用中的需 求(諸如時間等)來選取不同的值。
在說明書中說明的一系列操作能夠通過硬體、軟體、或者硬體與軟體的組合來執 行。當由軟體執行該一系列操作時，可以把其中的電腦程式安裝到內置於專用硬體的計 算機中的存儲器中，使得計算機執行該電腦程式。或者，可以把電腦程式安裝到能夠執 行各種類型的處理的通用計算機中，使得計算機執行該電腦程式。例如，可以把電腦程式預先存儲到作為記錄介質的硬碟或者R0M(只讀存儲器) 中。或者，可以臨時或者永久地存儲(記錄)電腦程式到可移動記錄介質中，諸如軟盤、 ⑶-ROM(光碟只讀存儲器)、M0(磁光)盤、DVD(數字多功能盤)、磁碟、或半導體存儲器。可 以把這樣的可移動記錄介質作為封裝軟體提供。本發明已經參考具體實施例進行了詳細說明。然而，很明顯，在不背離本發明的精 神的情況下，本領域技術人員能夠對實施例執行更改和替換。換句話說，本發明用說明的形 式公開，而不是被限制地解釋。要判斷本發明的要旨，應該考慮所附的權利要求。
權利要求
一種檢測圖像中陰影的裝置，包括圖像成像單元，產生多通道圖像，所述多通道圖像包含關於亮度的通道、關於紅色的通道、關於綠色的通道和關於藍色的通道；亮度校正單元，用於校正多通道圖像中的亮度通道值以避免受圖像成像單元的攝影參數設置的影響，輸出校正後的多通道圖像；場景分類單元，根據在校正後的多通道圖像上計算的全局特徵來判斷該校正後的多通道圖像是否需要作陰影檢測；陰影檢測單元，對被場景分類單元判斷為需要作陰影檢測的校正後的多通道圖像，判斷每個像素的類別，並由此產生陰影類別標記矩陣；區域分割單元，將圖像成像單元產生的多通道圖像分割為多個區域，其中每個區域內的像素具有相似的色彩值，並由此產生區域標記矩陣，該區域標記矩陣中，屬於同一區域的像素具有相同的區域標記值；後處理單元，將陰影檢測單元輸出的陰影類別標記矩陣和區域分割單元輸出的區域標記矩陣結合，輸出更新後的陰影類別標記矩陣。
2.根據權利要求1所述的裝置，其中，所述圖像成像單元所產生的多通道圖像的亮度 通道值通過對紅色通道值、綠色通道值、藍色通道值加權平均得到。
3.根據權利要求1所述的裝置，其中，所述亮度校正單元校正後的多通道圖像通過將 原多通道圖像的亮度通道值乘以係數獲得。
4.根據權利要求3所述的裝置，其中，所述係數通過圖像成像單元在拍攝多通道圖像 時所使用的曝光時間、光圈大小以及感光度確定。
5.根據權利要求1所述的裝置，其中，所述場景分類單元根據從該校正後的多通道圖 像中獲取的全局特徵來把校正後的多通道圖像分類為晴天圖像或陰天圖像。
6.根據權利要求1所述的裝置，其中，在所述場景分類單元中，所述全局特徵包括校正 後的亮度通道值的均值和標準差以及藍色通道值和紅色通道值的比值的標準差。
7.根據權利要求1所述的裝置，其中，所述場景分類單元包括 第一輸入單元，用於輸入校正後的多通道圖像；第一特徵計算單元，用於計算多通道圖像的校正後的亮度通道值的均值和標準差分別 作為第一特徵和第二特徵；BR矩陣計算單元，根據校正後的多通道圖像來計算其藍色通道值和紅色通道值對應像 素的比值，從而得到BR矩陣；第二特徵計算單元，用於計算BR矩陣的標準差作為第三特徵； 置信度計算單元，將第一特徵、第二特徵、和第三特徵輸入到事先訓練的場景分類器從 而得到置信度值，如果該置信度值大於預先設定的閾值，則把輸入的校正後的多通道圖像 送入陰影檢測單元作陰影檢測處理，否則將不作陰影檢測處理。
8.根據權利要求7所述的裝置，其中，通過事先準備圖像集，其中每幅圖像的關于晴天 或陰天的屬性已知，並基於分類器訓練方法在該圖像集上訓練，從而得到所述場景分類器。
9.根據權利要求1所述的裝置，其中，所述陰影檢測單元包括 第二輸入單元，用於輸入校正後的多通道圖像；第三特徵計算單元，對校正後的多通道圖像的每個像素計算一個特徵向量；陰影類別標記矩陣計算單元，根據所述第三特徵計算單元計算得到的特徵向量和事先 訓練得到的陰影分類器來計算多通道圖像的每個像素的關於陰影或非陰影的類別，從而產 生陰影類別標記矩陣，在所述陰影類別標記矩陣中，認為是陰影的像素賦予第一標記值，認 為是非陰影的像素賦予第二標記值。
10.根據權利要求9所述的裝置，其中，所述特徵向量包含校正後的亮度通道值、計算 的藍色通道值和紅色通道值的比值、以及計算的飽和度值。
11.根據權利要求9所述的裝置，其中，通過事先準備圖像集，其中每幅圖像的每個像 素的關於陰影或非陰影的屬性已知，並基於分類器訓練方法在該圖像集上訓練，從而得到 所述陰影分類器。
12.根據權利要求1所述的裝置，其中，所述區域分割單元基於多通道圖像的亮度通道 值來把多通道圖像分割為多個區域。
13.根據權利要求1所述的裝置，其中，所述區域分割單元把在區域標記矩陣中具有相 同的區域標記值的像素構成一個圖像區域。
14.根據權利要求1所述的裝置，其中，所述後處理單元包括 第三輸入單元，用於輸入陰影檢測單元產生的陰影類別標記矩陣； 第四輸入單元，用於輸入區域分割單元產生的區域標記矩陣；陰影類別標記更新單元，對於區域標記矩陣中的各個區域，計算陰影類別標記矩陣的 對應區域中具有第一標記值的元素數目隊和具有第二標記值的元素數目N」並根據隊和& 的值來把陰影類別標記矩陣的所述對應區域中的元素全部更新為第一標記值或第二標記 值。
15.一種檢測圖像中陰影的方法，包括圖像成像步驟，產生多通道圖像，所述多通道圖像包含關於亮度的通道、關於紅色的通 道、關於綠色的通道和關於藍色的通道；亮度校正步驟，校正多通道圖像中的亮度通道值以避免受圖像成像步驟中的攝影參數 設置的影響，輸出校正後的多通道圖像；場景分類步驟，根據在校正後的多通道圖像上計算的全局特徵來判斷該校正後的多通 道圖像是否需要作陰影檢測；陰影檢測步驟，對在場景分類步驟中判斷為需要作陰影檢測的校正後的多通道圖像， 判斷每個像素的類別，並由此產生陰影類別標記矩陣；區域分割步驟，將在圖像成像步驟產生的多通道圖像分割為多個區域，其中每個區域 內的像素具有相似的色彩值，並由此產生區域標記矩陣，該區域標記矩陣中，屬於同一區域 的像素具有相同的區域標記值；後處理步驟，將在陰影檢測步驟輸出的陰影類別標記矩陣和在區域分割步驟輸出的區 域標記矩陣結合，輸出更新後的陰影類別標記矩陣。
16.根據權利要求15所述的方法，其中，在所述圖像成像步驟，所產生的多通道圖像的 亮度通道值通過對紅色通道值、綠色通道值、藍色通道值加權平均得到。
17.根據權利要求15所述的方法，其中，經所述亮度校正步驟校正後的多通道圖像通 過將原多通道圖像的亮度通道值乘以係數獲得。
18.根據權利要求17所述的方法，其中，所述係數通過圖像成像步驟在拍攝多通道圖像時所使用的曝光時間、光圈大小以及感光度確定。
19.根據權利要求15所述的方法，其中，在所述場景分類步驟，根據從該校正後的多通 道圖像中獲取的全局特徵來把校正後的多通道圖像分類為晴天圖像或陰天圖像。
20.根據權利要求15所述的方法，其中，在所述場景分類步驟中，所述全局特徵包括校 正後的亮度通道值的均值和標準差以及藍色通道值和紅色通道值的比值的標準差。
21.根據權利要求15所述的方法，其中，所述場景分類步驟包括 第一輸入步驟，輸入校正後的多通道圖像；第一特徵計算步驟，計算多通道圖像的校正後的亮度通道值的均值和標準差分別作為 第一特徵和第二特徵；BR矩陣計算步驟，根據校正後的多通道圖像來計算其藍色通道值和紅色通道值對應像 素的比值，從而得到BR矩陣；第二特徵計算步驟，用於計算BR矩陣的標準差作為第三特徵； 置信度計算步驟，將第一特徵、第二特徵、和第三特徵輸入到事先訓練的場景分類器從 而得到置信度值，如果該置信度值大於預先設定的閾值，則輸入的校正後的多通道圖像在 陰影檢測步驟作陰影檢測處理，否則將不作陰影檢測處理。
22.根據權利要求21所述的方法，其中，通過事先準備圖像集，其中每幅圖像的關于晴 天或陰天的屬性已知，並基於分類器訓練方法在該圖像集上訓練，從而得到所述場景分類o
23.根據權利要求15所述的方法，其中，所述陰影檢測步驟包括 第二輸入步驟，輸入校正後的多通道圖像；第三特徵計算步驟，對校正後的多通道圖像的每個像素計算一個特徵向量； 陰影類別標記矩陣計算步驟，根據在所述第三特徵計算步驟計算得到的特徵向量和事 先訓練得到的陰影分類器來計算多通道圖像的每個像素的關於陰影或非陰影的類別，從而 產生陰影類別標記矩陣，在所述陰影類別標記矩陣中，認為是陰影的像素賦予第一標記值， 認為是非陰影的像素賦予第二標記值。
24.根據權利要求23所述的方法，其中，所述特徵向量包含校正後的亮度通道值、計算 的藍色通道值和紅色通道值的比值、以及計算的飽和度值。
25.根據權利要求23所述的方法，其中，通過事先準備圖像集，其中每幅圖像的每個像 素的關於陰影或非陰影的屬性已知，並基於分類器訓練方法在該圖像集上訓練，從而得到 所述陰影分類器。
26.根據權利要求15所述的方法，其中，在所述區域分割步驟，基於多通道圖像的亮度 通道值來把多通道圖像分割為多個區域。
27.根據權利要求15所述的方法，其中，在所述區域分割步驟，把在區域標記矩陣中具 有相同的區域標記值的像素構成一個圖像區域。
28.根據權利要求15所述的方法，其中，所述後處理步驟包括 第三輸入步驟，輸入在陰影檢測步驟產生的陰影類別標記矩陣； 第四輸入步驟，輸入在區域分割步驟產生的區域標記矩陣；陰影類別標記更新步驟，對於區域標記矩陣中的各個區域，計算陰影類別標記矩陣的 對應區域中具有第一標記值的元素數目隊和具有第二標記值的元素數目N」並根據隊和&的值來把陰影類別標記矩陣的所述對應區域中的元素全部更新為第一標記值或第二標記值。
全文摘要
提供一種檢測圖像中陰影的裝置，包括圖像成像單元，產生多通道圖像，包含亮度、紅色、綠色和藍色的通道；亮度校正單元，校正亮度通道值以避免受攝影參數設置的影響，輸出校正後的多通道圖像；場景分類單元，根據全局特徵來判斷校正後的多通道圖像是否需要作陰影檢測；陰影檢測單元，對需要作陰影檢測的校正後的多通道圖像，判斷每個像素的類別，並由此產生陰影類別標記矩陣；區域分割單元，將圖像成像單元產生的多通道圖像分割為多個區域，其中每個區域內的像素具有相似的色彩值，並由此產生區域標記矩陣，其中屬於同一區域的像素具有相同的區域標記值；後處理單元，將陰影類別標記矩陣和區域標記矩陣結合，輸出更新後的陰影類別標記矩陣。
文檔編號G06T5/00GK101833749SQ20091012654
公開日2010年9月15日 申請日期2009年3月12日 優先權日2009年3月12日
發明者師忠超, 李滔, 王剛, 袁勳 申請人:株式會社理光