陰影檢測方法和裝置製造方法
2023-09-22 23:40:45
陰影檢測方法和裝置製造方法
【專利摘要】本發明提供了一種陰影檢測的方法，包括：從雙目或者立體相機中獲取深度/視差圖像和彩色/灰度圖像；檢測並分割出前景點；將所分割出的前景點投影到三維坐標系；在三維坐標系中，通過對前景點進行聚類而將前景點分割成不同的點雲；通過主成分分析法來計算每個點雲的密度分布狀況，從而獲得主成份分量值；以及基於所述主成分分量值，判斷點雲是否為陰影。
【專利說明】陰影檢測方法和裝置
【技術領域】
[0001] 本發明涉及一種陰影檢測方法與裝置，更具體地涉及使用雙目相機或者立體相機 的彩色圖/灰度圖和深度圖/視差圖來檢測和去除陰影的方法和裝置。
【背景技術】
[0002] 陰影是一種常見的自然現象，在普通相機拍攝到的彩色和灰度圖像中非常常見， 圖1A和1B示意性地給出的由雙目相機得到的灰度圖像和深度圖像中存在陰影的情形。陰 影的存在給計算機圖像處理帶來了很多的困難和約束，尤其是在進行圖像中的對象檢測處 理中，給對象檢測的精度造成負面影響。例如，分割算法就易受陰影的影響而導致分割錯 誤。此外對象的檢測算法，對象的跟蹤算法均會因為陰影的影響而導致誤檢和誤跟蹤。為 此，視頻和單幀圖像中的陰影檢測去除技術得到廣泛關注。
[0003] 最常見的陰影去除方法是基於彩色或者灰度圖像進行的，諸如智能邊界匹配，基 於紋理的方法，基於顏色和紋理的方法等，這些方法受環境的背景複雜度影響很大，同時易 受光照變化的幹擾。
[0004] 美國專利申請US2010830525提出了一種車載相機上的陰影去除方法。該方法辨 識輸入圖像中的邊緣，同時在一個光照不變的圖像中辨識邊緣，通過判定邊緣是否在兩個 圖像中的存在狀況來判斷是否有陰影的存在。該專利申請提出的方法主要是基於邊緣檢測 技術，同時使用輸入圖像和光照不變的圖像，通過檢測到的邊緣的差異情況，判定陰影的有 無。該專利申請必須得到一個光照不變的圖像，陰影的去除受制於該光照不變圖像的獲取 和該光照不變圖像的質量。
[0005] 美國專利US7133083B2提出了一種動態的陰影去除方法，其使用多個攝像機和投 影儀，計算相機、投影儀和屏幕的關係，然後計算投影圖像和攝像機捕獲到圖像的差異情況 來判斷是否有陰影。該專利提出的方法，要使用多個攝像機和投影儀，還需要建立攝像機、 投影儀及屏幕的空間對應關係。其核心是通過投影的內容來建立一個預測圖像，然道比較 預測圖像和真實捕獲的圖像的差異，根據差異再判定是否有陰影。該專利必須事先知道顯 示的內容，同時其應用場景非常有限，僅適合投影展示系統中的陰影的檢測。
[0006] Brown大學的Yong Zhao的博士論文"基於立體視覺的人的檢測、跟蹤和識別"中 提出了一種基於深度圖像的背景建模的方法來去除陰影的方法。該方法使用了兩個背景建 模，一個是基於深度圖像的深度背景模型，另一個是基於RGB/灰度圖像的表觀背景模型。 首先，其根據表觀背景模型來檢測出表觀前景，該表觀前景中可能會包含陰影。其次，判定 表觀前景是否同深度背景模型有重合，有的話，則說明該重合部分是陰影。其基本思想是陰 影不會改變背景的深度。該方法太過依賴於兩個背景模型的質量，通常的雙目相機很難保 證得到稠密的深度背景模型，為此，該方法將失效。
【發明內容】
[0007] 通常情況下，在真實的3維坐標系中，物體是一個3維物體(例如，人、車、動物等)， 而陰影其多為物體的投影，例如投影到地面、牆面、桌面等。為此，多數的陰影在3維空間中 是符合面特性的。為此，本發明提出了一種基於陰影在3維空間中的面特性來檢測陰影的 方法。
[0008] 根據本發明的一個方面，提出了一種陰影檢測的方法，包括：從雙目或者立體相機 中獲取深度/視差圖像和彩色/灰度圖像；檢測並分割出前景點；將所分割出的前景點投 影到三維坐標系；在三維坐標系中，通過對前景點進行聚類而將前景點分割成不同的點雲； 通過主成分分析法來計算每個點雲的密度分布狀況，從而獲得主成份分量值；以及基於所 述主成分分量值，判斷點雲是否為陰影。
[0009] 根據本發明的陰影檢測的方法，所述基於所述主成分分量值判斷點雲是否為陰影 步驟包括：如果對於一個點雲，其存在一個主成份分量值接近零，則該點云為陰影。
[0010] 根據本發明的陰影檢測的方法，其中所述檢測並分割出前景點包括：通過彩色/ 灰度圖像或者是深度/視差圖像進行背景建模；根據背景模型，提取出前景點。
[0011] 根據本發明的陰影檢測的方法，所述將所分割出的前景點投影到三維坐標系的步 驟包括根據雙目/立體相機的圖像坐標系和攝像機坐標系的關係，將提取出的前景點映射 到攝像機坐標系中。
[0012] 根據本發明的陰影檢測的方法，其中所述通過對前景點進行聚類而將前景點分割 成不同的點雲是通過KNN聚類法或K均值法對前景點的三維坐標信息進行聚類實現的。
[0013] 根據本發明的一個方面，提出了一種陰影檢測的裝置，包括：圖像獲取模塊，獲取 深度/視差圖像和彩色/灰度圖像；前景檢測模塊，檢測並分割出前景點；坐標轉換模塊， 將所分割出的前景點投影到三維坐標系；聚類模塊，在三維坐標系中，通過對前景點進行聚 類而將前景點分割成不同的點雲；主成份分析模塊，通過主成分分析法來計算每個點雲的 密度分布狀況，從而獲得主成份分量值；以及判斷模塊，基於所述主成分分量值，判斷點雲 是否為陰影。
[0014] 根據本發明的陰影檢測方法，相對於基於邊緣檢測技術的現有陰影檢測和去除方 法而言，本發明的方法不使用邊緣檢測技術，也不需要光照不變的圖像，本發明將提取的前 景點投影到3維空間，進行聚類得到不同的點雲，對每個點雲進行面特性的匹配，如果符 合，則判定其為陰影進行去除。相對於通過投影的內容來建立一個預測圖像並比較預測圖 像和真實捕獲的圖像的差異來根據差異再判定是否有陰影的現有陰影檢測和去除方法而 言，本發明的陰影檢測方法使用的是立體相機或者雙目相機，使用的是彩色/灰度圖像和 深度/視差圖像，可應用於多種不同的應用場景，而不需要事先知道顯示的內容。相對於基 於表觀背景模型和深度背景模型現有陰影檢測和去除方法而言，本發明僅僅基於陰影在3 維空間中的物理特性(面特性）來檢測和去除陰影，簡便實用。
[0015] 因此，根據本發明的陰影檢測方法，其基於陰影的面特性在3維空間中檢測和去 除陰影，可用於任何使用立體相機/雙目相機的應用場景。並且，本發明的方法對相機輸入 的深度圖/視差圖沒有過多的要求，同時對光照魯棒。其僅處理前景點，速度快，計算開銷 小。
【專利附圖】
【附圖說明】
[0016] 通過閱讀結合附圖考慮的以下本發明的優選實施例的詳細描述，將更好地理解本 發明的以上和其他目標、特徵、優點和技術及工業重要性。
[0017] 圖1A和1B所示的是雙目相機/立體相機的灰度圖像和深度圖像中均包含陰影的 示意圖。
[0018] 圖2所示的是根據本發明實施例的陰影檢測和去除的過程示意圖。
[0019] 圖3所示的是根據本發明實施例的檢測和去除陰影的流程圖。
[0020] 圖4所示的是根據本發明實施例分割前景點以及將前景點轉換到三維空間中的 示意圖。
[0021] 圖5所示的是根據本發明實施例將三維空間中的前景點分割為不同的前景點雲 的示意圖。
[0022] 圖6所示的是根據本發明實施例在三維空間中對每個景點雲進行PCA分析後獲得 第一種三個PCA分量的實例的示意圖。
[0023] 圖7所示的是根據本發明實施例在三維空間中對每個景點雲進行PCA分析後獲得 第二種三個PCA分量的實例的示意圖。
[0024] 圖8所示的是根據本發明實施例在三維空間中對每個景點雲進行PCA分析後獲得 第三種三個PCA分量的實例的示意圖。
[0025] 圖9所示的是根據本發明實施例的陰影檢測和去除系統的功能模塊圖。
【具體實施方式】
[0026] 為了使本領域技術人員更好地理解本發明，下面結合附圖和【具體實施方式】對本發 明作進一步詳細說明。
[0027] 圖2所示的是根據本發明實施例的陰影檢測和去除的過程示意圖。為了使得讀者 對本發明的技術方案有個總體概念並便於對隨後描述的理解，給出了圖2來圖釋根據本發 明實施例的陰影檢測和去除的過程。如圖2所示，首先通過圖2頂部的雙目相機拍攝捕獲 所拍攝場景的彩色或灰度圖或深度圖。將所獲取的圖像輸入到本發明的陰影檢測和去除系 統中。在本發明的陰影檢測和去除系統中，對所輸入的彩色或灰度圖或深度圖進行本發明 的陰影檢測和去除方法處理，獲得僅僅包含備選對象的圖像。本發明是"陰影檢測和去除" 處理。發明的輸出是深度圖像中的備選對象。圖2僅是一個示例，輸入的設備可以是一個 雙目相機，也可以是多個，還可以是其他類型的立體相機，只要設備能輸出彩色/灰度圖像 和深度/視差圖像即可。
[0028] 圖3所示的是根據本發明實施例的檢測和去除陰影的流程圖。如圖3所示，首先， 在步驟S11處，雙目或者立體相機捕獲深度/視差圖像和彩色/灰度圖像，並將所捕獲的圖 像輸入到根據本發明的圖像處理系統。具體而言，所捕獲的圖像輸入到後面將提到的前景 檢測模塊。隨後，在步驟S12處，前景檢測模塊基於深度/視差圖來進行背景建模，或者基 於RGB/灰度圖來進行背景建模。根據得到的背景模型，通過差值運算得到前景點。背景建 模是一種共知的技術，這裡不進行贅述。背景建模可以使用靜態背景建模，也可以使用動態 背景建模，例如GMM (混合高斯模型）等。通過這種差值運算，可以分割出前景點。隨後將 所獲得前景點的圖像供應到坐標轉換模塊。在步驟S13處，坐標轉換模塊將2維圖像坐標 系中的前景點到投影到3維的攝像機坐標系中。這裡，需要用的雙目相機/立體相機的相 關參數。以符合右手坐標系準則的雙目相機為例，給出其轉換公式如公式（1)所示。
[0029] Xc= (XfCx) *Z/fx
[0030] Yc=(yi-Cy)*Z/fy (1)
[0031] 這裡Xi和是前景點在圖像坐標系中的坐標值，cx和cy是圖像坐標系中的中心 的坐標；Z是前景點在深度圖中的對應點的深度值；X。，和Y。和就是最終的3維攝像機坐標 系中的前景點的三維坐標值（X c，Yc，Z)。
[0032] 基於公式（1)對圖像坐標系中得到的所有的前景點進行轉換，即可在3維攝像機 坐標系中得到相應的前景點。考慮到真實世界中，這些3維空間中的前景點應該是屬於不 同對象的，為此後續需要將其進行分割，以得到不同的前景點雲。圖4所示的是根據本發明 實施例分割前景點以及將前景點轉換到三維空間中的一個實例的示意圖。如圖4所示，在 灰度圖中可以看到有四個人。同樣的在深度圖中也可以發現他們。做完背景建模後，可以 分割出前景，並生成前景圖像，即圖像坐標系中的前景點。最後，把這些前景點從2維的圖 像坐標系轉換到3維的攝像機坐標系。3維的攝像機坐標系中的前景點，可以通過後續的分 隔處理來得到不同的前景點雲。
[0033] 坐標轉換模塊在進行轉換之後，將所獲得前景點的三維坐標值供應到聚類模塊。 在步驟S14處，聚類模塊對所有前景點進行聚類處理，從而將這些前景點劃分成不同的前 景點雲團。前景點雲團簡稱為前景點雲或點雲。可以採用諸如KNN和K均值的聚類的方法 將3維點雲分割為不同的前景點雲。KNN聚類法也稱之為K最近鄰（k-Nearest Neighbor, KNN)分類算法。KNN是一個理論上比較成熟的方法，也是最簡單的機器學習算法之一。該 方法的思路是：如果一個樣本在特徵空間中的k個最相似（即特徵空間中最鄰近）的樣本 中的大多數屬於某一個類別，則該樣本也屬於這個類別。而K均值聚類是最著名的劃分聚 類算法，由於簡潔和效率使得他成為所有聚類算法中最廣泛使用的。簡而言之，就是給定一 個數據點集合和需要的聚類數目k，k由用戶指定，k均值算法根據某個距離函數反覆把數 據分入k個聚類中。關於KNN和K均值方法，其是公知技術，這裡不進行贅述。詳細的可以 參考下面的連結。
[0034] http://en.wikiDedia.org/wiki/K-nearest neighbor algorithm
[0035] http://en. wikipedia. org/wiki/K-means clustering
[0036] 聚類模塊在將前景點進行聚類而分割成多個前景點雲之後，對每個前景點雲進行 編號，並將所編號後的前景點雲供應給主成份分析模塊。在步驟S15處，主成份分析模塊對 每個前景點雲執行主成成份分析（PCA)，獲得每個前景點雲的主成份分量值，從而獲得每個 3維前景點雲的密度分布。主成分分析PCA (Principal Component Analysis)能辨識出數 據變化和分布的主方向。主成分分析或者主元分析是一種掌握事物主要矛盾的統計分析方 法，它可以從多元事物中解析出主要影響因素，揭示事物的本質，簡化複雜的問題。計算主 成分的目的是將高維數據投影到較低維空間，去除掉那些變化不大的維，從而使特徵留下 的都是"精品"，而且計算量也變小了。關於PCA，其是公知技術，這裡不進行贅述。關於PCA 的詳細信息，可以參照下面的連結。
[0037] http://en.wikiDedia.org/wiki/PrinciDal component analysis
[0038] 圖6所示的是根據本發明實施例在三維空間中對每個景點雲進行PCA分析後獲得 第一種三個PCA分量的實例的不意圖。如圖6所不，在3維空間中對一個前景點雲進行PCA 分析後，得到其三個主成分的幅值PC1、PC2和PC3。這三個成分的幅值均大於零(不接近於 零)。
[0039] 圖7所示的是根據本發明實施例在三維空間中對每個景點雲進行PCA分析後獲得 第二種三個PCA分量的實例的示意圖。如圖7所示，對在三維空間中人的影子投射到牆面 上形成的陰影進行PCA分析後得到三個PCA分量。我們得到其三個主成分的幅值PC1、PC2 和PC3。這三個成分中，PC1和PC3均大於零(不接近於零)，而PC2接近於零。
[0040] 圖8所示的是根據本發明實施例在三維空間中對每個景點雲進行PCA分析後獲得 第三種三個PCA分量的實例的示意圖。如圖8所示，對在三維空間中人的影子投射到地面 上形成的陰影進行PCA分析後獲得三個PCA分量。我們得到其三個主成分的幅值PC1、PC2 和PC3。這三個成分中，PC2和PC3均大於零(不接近於零)，而PC1接近於零。
[0041] 主成份分析模塊在對每個點雲進行主成分分析之後所獲得每個點雲的主成份分 量值供應給判斷模塊。在步驟S16處，判斷模塊基於陰影的面特性來判斷每個點雲是否是 陰影。通常，在3維空間中投射的影子多數情況下接近一個面。而對於一個面來說，其在圖 像中成像後所對應的點雲進行PCA分析後，所獲得的三個分量中的一個往往要遠小於其他 兩個，最小的分量往往接近於零值，這就是陰影的面特性。因此，基於陰影的這種面特性，來 判斷每個點雲是否屬於一個面，即是否屬於一個陰影。具體而言，針對每個點雲，如果其PCA 分量中有一個分量的幅值遠小於其他兩個，並且其值接近於零，就將該前景點雲判定為陰 影，否則該前景點云為備選的對象。如圖6所示，得到其三個主成分的幅值PC1、PC2和PC3 均大於零，因此該點雲不是陰影，而是一種圖像中的被檢測對象。如圖7和8所示，得到的 三個主成分的幅值PC1、PC2和PC3中，PC1和PC3均大於零(不接近於零)而PC2接近於零， 或者PC2和PC3均大於零(不接近於零）而PC1接近於零，因此圖7和8所示的點雲被判斷 為陰影。
[0042] 在經過陰影判斷之後，在步驟S17處，從前景雲點圖中去除被判定為陰影的前景 點雲，並輸出剩餘的前景點雲作為備選對象輸出。這些被輸出的備選對象可用於後續的對 象檢測、對象跟蹤和對象識別等應用。
[0043] 圖9所示的是根據本發明實施例的陰影檢測和去除系統的功能模塊圖。如圖9所 示，陰影檢測和去除系統包括：圖像獲取模塊11，獲取深度/視差圖像和彩色/灰度圖像； 前景檢測模塊12,檢測並分割出前景點；坐標轉換模塊13,將所分割出的前景點投影到三 維坐標系；聚類模塊14,在三維坐標系中，通過對前景點進行聚類而將前景點分割成不同 的點雲；主成份分析模塊15,通過主成分分析法來計算每個點雲的密度分布狀況，從而獲 得主成份分量值；判斷模塊16,基於所述主成分分量值，判斷點雲是否為陰影；以及備選對 象輸出模塊17。
[0044] 以上結合具體實施例描述了本發明的基本原理，但是，需要指出的是，對本領域的 普通技術人員而言，能夠理解本發明的方法和裝置的全部或者任何步驟或者部件，可以在 任何計算裝置(包括處理器、存儲介質等）或者計算裝置的網絡中，以硬體、固件、軟體或者 它們的組合加以實現，這是本領域普通技術人員在閱讀了本發明的說明的情況下運用他們 的基本編程技能就能實現的。
[0045] 因此，本發明的目的還可以通過在任何計算裝置上運行一個程序或者一組程序來 實現。所述計算裝置可以是公知的通用裝置。因此，本發明的目的也可以僅僅通過提供包 含實現所述方法或者裝置的程序代碼的程序產品來實現。也就是說，這樣的程序產品也構 成本發明，並且存儲有這樣的程序產品的存儲介質也構成本發明。顯然，所述存儲介質可以 是任何公知的存儲介質或者將來所開發出來的任何存儲介質。
[0046] 還需要指出的是，在本發明的裝置和方法中，顯然，各部件或各步驟是可以分解和 /或重新組合的。這些分解和/或重新組合應視為本發明的等效方案。並且，執行上述系列 處理的步驟可以自然地按照說明的順序按時間順序執行，但是並不需要一定按照時間順序 執行。某些步驟可以並行或彼此獨立地執行。
[0047] 上述【具體實施方式】，並不構成對本發明保護範圍的限制。本領域技術人員應該明 白的是，取決於設計要求和其他因素，可以發生各種各樣的修改、組合、子組合和替代。任何 在本發明的精神和原則之內所作的修改、等同替換和改進等，均應包含在本發明保護範圍 之內。
【權利要求】
1. 一種陰影檢測的方法，包括： 從雙目或者立體相機中獲取深度/視差圖像和彩色/灰度圖像； 檢測並分割出前景點； 將所分割出的前景點投影到三維坐標系； 在三維坐標系中，通過對前景點進行聚類而將前景點分割成不同的點雲； 通過主成分分析法來計算每個點雲的密度分布狀況，從而獲得主成份分量值；以及 基於所述主成分分量值，判斷點雲是否為陰影。
2. 根據權利要求1所述的陰影檢測的方法，其中，所述基於所述主成分分量值，判斷點 雲是否為陰影步驟包括：如果對於一個點雲，其存在一個主成份分量值接近零，則該點云為 陰影。
3. 根據權利要求1或2所述的陰影檢測的方法，其中所述檢測並分割出前景點包括： 通過彩色/灰度圖像或者是深度/視差圖像進行背景建模；根據背景模型，提取出前景點。
4. 根據權利要求3所述的陰影檢測的方法，所述將所分割出的前景點投影到三維坐標 系的步驟包括根據雙目/立體相機的圖像坐標系和攝像機坐標系的關係，將提取出的前景 點映射到攝像機坐標系中。
5. 根據權利要求4所述的陰影檢測的方法，其中所述通過對前景點進行聚類而將前景 點分割成不同的點雲是通過KNN聚類法或K均值法對前景點的三維坐標信息進行聚類實現 的。
6. -種陰影檢測的裝置，包括： 圖像獲取模塊，獲取深度/視差圖像和彩色/灰度圖像； 前景檢測模塊，檢測並分割出前景點； 坐標轉換模塊，將所分割出的前景點投影到三維坐標系； 聚類模塊，在三維坐標系中，通過對前景點進行聚類而將前景點分割成不同的點雲； 主成份分析模塊，通過主成分分析法來計算每個點雲的密度分布狀況，從而獲得主成 份分量值；以及 判斷模塊，基於所述主成分分量值，判斷點雲是否為陰影。
【文檔編號】G06T7/00GK104156937SQ201310178434
【公開日】2014年11月19日 申請日期:2013年5月15日 優先權日:2013年5月15日
【發明者】範聖印, 王鑫, 王千, 喬剛 申請人:株式會社理光