基於深度圖像的對象檢測方法及其實現裝置與流程
2023-10-05 23:45:14
本發明涉及模式識別和人機互動領域，更具體地說，涉及一種基於深度圖像的對象檢測方法及其實現裝置。
背景技術：
基於圖像的物體檢測是指在一幅給定圖像中確定是否存在某一類或者幾類特定的物體，並且給出該物體在圖像中的具體的位置的過程。在模式識別和人機互動領域，常見的被檢測的物體包括：車輛、人體、人臉、手等。通過確定這些對象的大小、位置、以及運動等信息，計算機可以實現對於特定的視覺目標或者人的行為進行響應，最終實現人機互動或者計算機自動處理識別的目的。物體檢測過程中包括兩個關鍵步驟：特徵選擇和分類器的學習。特徵選擇需要解決的問題是：對於當前對象而言，哪些信息具有更強的描述能力。特徵選擇是否恰當，直接決定了物體檢測的成功與否。例如：在人臉檢測領域，PaulViola和MichaelJones將灰度差異特徵（Haar）應用於快速魯棒的人臉檢測，並且獲得的巨大的成功；在人體檢測領域，NavneetDalal和BillTriggs利用梯度方向直方圖（HOG）特徵進行人體描述，實現了較高性能的人體檢測。分類器學習所解決的問題是：在已確定的特徵的基礎上，找到一系列規則，用這些規則來判定當前圖像區域是否為包含物體的區域。確定規則的過程稱為（機器）學習的過程。在物體檢測領域，目前經常採用的分類器包括支持向量機（SVM）方法和基於Adaboost的方法。物體檢測的輸入圖像通常為彩色圖像或者灰度圖像。為了實現對於不同大小的物體的檢測，常採用的策略為對於輸入圖像在多個尺度上進行放縮，形成一個圖像金字塔，然後在圖像金字塔的所有層上利用掃描窗口進行判定。最後再將所有層上的判定結果映射回到輸入圖像的標準尺寸上進行融合，從而實現對不同大小的物體進行檢測。然而，這種基於灰度或者彩色圖像的檢測方法存在以下不足：其一，易受光照變化的影響，當光照變化較大時，物體的外觀會發生較大的變化，而在光照較弱的環境下，某些外觀特徵也會變得不可辨識；其二，易受到複雜的背景的影響，當背景紋理很豐富時，極易產生與物體相似的外觀模式，產生誤檢；其三，需要對於圖像的所有尺度的所有位置進行檢測，掃描窗口的數量過多，當採用計算量較大的特徵時，系統的實時性沒有保證。四、
技術實現要素：
本發明的目的在於針對上述物體檢測技術中，檢測窗口數量過多，限制了計算量較大的複雜特徵的應用的問題，提出了一種基於深度圖像的對象檢測方法及其實現裝置。實現本發明目的的技術解決方案為：本發明基於深度圖像的對象檢測方法，包括訓練過程和檢測過程,訓練過程的步驟如下：a1）從相機中讀取圖像作為數據源；a2）根據待檢測物體距離相機的距離，在圖像上對物體進行分割；a3）在分割的基礎上計算物體的外觀和形狀特徵；a4）根據計算出的物體的外觀和形狀特徵訓練針對於物體的分類器；檢測過程的步驟如下：b1）從相機中讀取圖像作為數據源；b2）根據物體距離相機的距離對其圖像進行不同尺度的縮放，形成一個圖像金字塔；b3）對於圖像金字塔的每一層的圖像上的非空區域，劃分為多個掃描窗口；b4）在每一個掃描窗口內部，計算物體的外觀和形狀特徵；b5）利用訓練過程中得到的分類器，對掃描窗口內的外觀和形狀特徵進行判定，決定掃描窗口內是否包含目標物體；b6）將圖像金字塔每一層的檢測結果進行融合，得到最終的檢測結果。本發明基於深度圖像的對象檢測方法，所述步驟a1）和步驟b1）中的數據源可以只包含深度圖像，也可以同時包含可見光圖像；深度圖像是物體距離相機的距離；該深度圖像通過雙目視覺設備或通過紅外結構光投影設備得到。本發明基於深度圖像的對象檢測方法，所述步驟a2）如下：a21）在深度圖像上標記目標物體的包圍框；對深度圖像和可見光圖像進行配準，利用變化矩陣將一個圖像上的標註結果映射到另一個圖像上；a22）從包圍框的中心開始，得到物體在包圍框內部的聯通區域；假設同一個物體在深度上是連續的，在深度圖像上已經標註的物體包圍框內，採用連續區域分析connectedcomponentanalysis方法將物體進行分割，每個包圍框被分割成兩部分：物體區域和背景區域；a23）如果輸入信息除了深度圖像還包括可見光圖像，在配準的基礎上將步驟12）中的分割結果映射到可見光圖像上。本發明基於深度圖像的對象檢測方法，所述步驟a3）包括以下具體步驟：a31）利用待測物體距離相機的距離信息，將待測物體區域剪切出來，對其大小進行尺寸歸一化處理；a32）在歸一化後的樣本上計算物體的形狀特徵；a33）如果輸入信息除了深度圖像還包括可見光圖像，對其進行外觀特徵的計算；a34）將可得到的物體的所有特徵，形成一個特徵池；對該特徵池進行特徵選擇，找到那些分類錯誤率較小的的特徵，用於區分目標物體和非目標物體。本發明基於深度圖像的對象檢測方法，所述步驟a4）包括以下具體步驟：a41）在已有的目標樣本集、非目標樣本集以及它們的特徵池的基礎上，進行分類器的訓練；a42）從特徵池中，利用迭代過程，選擇具有最小分類錯誤率的特徵；a43)利用選擇的特徵，生成物體對應的分類器。本發明基於深度圖像的對象檢測方法，所述步驟b2）包括以下具體步驟：b21）給定輸入圖像對，包括可見光圖像和深度圖像，且輸入圖像對已經經過配準；b22）構建可見光圖像金字塔和深度圖像金字塔；b221）：圖像初始尺度s為1，標準檢測窗口的大小為；b222）：圖像尺度為s，對應的等效檢測窗口大小為，即對應的物體的像的大小為；b223）：當物體的像時，其對應的深度的取值範圍為；b224）：根據步驟b223）中的範圍，獲得當前深度圖像：其中，表示深度圖像中的像素點的坐標位置；表示該位置上的物體的距離值；b225）：根據深度圖像，分割出對應的可見光圖像中的相應區域，表示為；b226）：根據當前圖像尺度縮小深度圖像和可見光圖像，作為圖像金字塔的第一層；b227）：更新當前圖像尺度；b228）：重複步驟b222）~b227），構建圖像金字塔上的其他層次：可見光圖像金字塔以及深度圖像金字塔；b229）：當圖像金字塔的圖像的尺寸小於標準檢測窗口尺寸時，構建過程終止。本發明基於深度圖像的對象檢測方法，所述步驟b4）包括以下具體步驟：b41）在掃描窗口內計算物體的形狀特徵；b42）如果輸入信息除了深度圖像還包括可見光圖像，對可見光圖像進行外觀特徵的計算。本發明基於深度圖像的對象檢測方法，所述步驟b5）包括以下具體步驟：b51）將判定為物體的檢測窗口映射回到輸入圖像尺寸，假設當前檢測窗口的位置為，其在原始圖像上的對應位置為；b52）在原始輸入圖像上，將重疊區域大於一定閾值的窗口進行融合，然後利用分類器輸出進行閾值處理，得到最終檢測結果。本發明基於深度圖像的對象檢測方法的實現裝置，包括數據採集模塊，用於採集樣本數據，其中包括深度信息獲取模塊和可見光信息獲取模塊，數據採集模塊將採集到的深度圖像和可見光圖像傳遞給數據配準模塊；數據配準模塊，用於配準深度圖像和可見光圖像，數據配準模塊將配準結果傳遞給距離分割模塊；距離分割模塊，用於將距離相機遠近不同的物體分離，將分離結果傳遞給特徵計算模塊；特徵計算模塊，用於計算分割後的物體的形狀特徵和外觀特徵，並將計算好的特徵傳遞給分類器訓練模塊；分類器訓練模塊，用於根據特徵計算裝置得到的特徵，訓練得到分類器；分類器檢測模塊，利用分類器訓練模塊得到的分類器，對輸入的深度圖像以及可見光圖像進行檢測，得到可能包含物體的候選窗口，並將結果傳遞給後處理模塊；後處理模塊，對於分類器檢測裝置得到的候選窗口進行融合，輸出物體檢測窗口。本發明與現有技術相比，其顯著優點：其一，深度圖像不受光照變化的影響，當光照變化較大或者在光照較弱的環境下，本發明仍然能夠對目標對象辨識；其二，不易受到複雜的背景的影響，即使當背景紋理很豐富時，仍然能夠有效的將目標與背景進行區分，從而減小誤檢數目；其三，不需要對於圖像的所有尺度的所有位置進行檢測，通過稀疏的圖像金字塔，有效的減少了掃描窗口的數目，顯著提高了檢測的速度，當採用計算量較大的特徵時，系統的實時性仍然可以保證。附圖說明圖1是圖像採集設備採集的彩色/灰度圖像和深度圖像的示意圖。圖2是正例數據預處理流程圖。圖3圖像歸一化過程示意圖。圖4傳統物體檢測中圖像金字塔的構建。圖5物體成像大小與其距離投影中心的距離的關係。圖6基於深度信息的圖像金字塔的構建。圖7基於深度圖像的對象檢測方法的實現裝置。具體實施方式本發明提供了一種利用基於深度圖像的對象檢測方法，包括訓練和檢測兩個過程：訓練過程包括以下步驟：1）根據物體距離相機的距離，在深度圖像上對物體區域進行分割；2）在分割的基礎上計算物體的外觀和形狀特徵；3）根據所述特徵訓練針對於物體的分類器。檢測過程包括以下步驟：4）根據物體距離相機的距離對其圖像進行不同尺度的縮放，形成一個圖像金字塔。5）對於圖像金字塔的每一層的圖像上的非空區域，劃分為多個掃描窗口。6）在每一個掃描窗口內部，計算外觀和形狀特徵；7）利用訓練過程中得到的分類器，對掃描窗口內的所述特徵進行判定，決定掃描窗口內是否包含目標物體。8）將圖像金字塔每一層的檢測結果進行融合，得到最終的檢測結果。上述方法中，所述步驟1）中物體距離相機的距離表示成為一副深度圖像；上述方法中，所述步驟1）中的深度圖像可以通過雙目視覺設備得到；上述方法中，所述步驟1）中的深度圖像也可以通過紅外結構光投影設備得到；上述方法中，所述步驟1）包括以下具體步驟：11）在深度圖像上標註待檢測的物體的包圍框；12）從包圍框的中心開始，得到物體在包圍框內部的聯通區域；13）如果輸入信息除了深度圖像還包括彩色圖像或者灰度圖像，在彩色圖像和灰度圖像經過配準後，在彩色圖像上的對應位置進行分割。上述方法中，所述步驟2）包括以下具體步驟：21）利用物體距離相機的距離信息，對物體區域的大小進行歸一化；22）在歸一化後的樣本上計算物體的形狀特徵；23）如果輸入信息除了深度圖像還包括彩色圖像或者灰度圖像，可以對其進行外觀特徵的計算。24）將可得到的物體的所有特徵，形成一個特徵池。上述方法中，所述步驟3）包括以下具體步驟：31）從特徵池中，利用迭代過程，選擇具有最小分類錯誤率的一組的特徵；32）利用選擇的特徵，生成物體對應的分類器。上述方法中，所述步驟4）包括以下具體步驟：41）對於輸入深度圖像，根據物體距離相機的距離，劃分成多個圖像，稱為一組圖像；42）對於41）中的一組圖像，利用21）中的歸一化方法，對一組圖像根據其距離相機的距離進行不同尺度的縮放，形成一個圖像金字塔；上述方法中，所述步驟5）包括以下具體步驟：51）每一層的圖像金字塔對應於位於一定距離區間的物體，圖像金字塔中一層的圖像只有在對應區間內的物體的位置具有有效的取值；其他位置取值為空值。52）在每一層的圖像金字塔的非空值區域，劃分為多個掃描窗口。上述方法中，所述步驟6）包括以下具體步驟：61）在掃描窗口上計算物體的形狀特徵；形狀特徵的提取可以採用哈爾特徵Haar，梯度方向直方圖特徵HOG或者輪廓模板等特徵。本發明中利用梯度方向直方圖特徵描述物體的形狀。62）如果輸入信息除了深度圖像還包括彩色圖像或者灰度圖像，可以對其進行外觀特徵的計算。外觀特徵或者紋理特徵的提取可以使用哈爾特徵Haar或者局部二值模式特徵LBP。本發明中採用哈爾特徵Haar。上述方法中，所述步驟7）包括以下具體步驟：71）將特徵輸入步驟3）中得到分類器。72）所述分類器對輸入特徵給出判定結果，判定當前窗口為目標物體或者非目標物體。上述方法中，所述步驟8）包括以下具體步驟：81）將每一層的圖像金字塔的檢測結果，放縮回原始圖像中。82）在原始圖像中，將相互重疊的檢測結果進行合併，得到最終檢測結果。本發明還提供了一種基於深度圖像的對象檢測方法的實現裝置，包括下列模塊：數據採集模塊，用於採集樣本數據；數據配準模塊，用於配準深度圖像和彩色圖像；距離分割模塊，用於將距離相機遠近不同的物體分離；特徵計算模塊，用於計算分割後的物體的形狀特徵和外觀特徵；分類器訓練模塊，用於根據特徵計算裝置得到的特徵，訓練分類器；分類器檢測模塊，用於對輸入的深度圖像以及彩色或者灰度圖像進行檢測，得到可能包含物體的候選窗口；後處理模塊，對於分類器檢測裝置得到的候選窗口進行後處理，輸出物體檢測窗口。上述裝置中，還包括分類器選擇裝置：根據用戶要求，選擇使用物體的形狀特徵或者外觀特徵。上述裝置中，分類器結構為瀑布型分類器。上述裝置中，瀑布型分類器的每一層分類器可以採用支持向量機（SVM）分類器或者Adaboost分類器。下面結合附圖對本發明的具體實施方式作進一步詳細的說明。本發明的物體檢測方法包括訓練過程（生成檢測器）和檢測過程（應用檢測器進行物體檢測）兩個主要過程。訓練過程是指通過已知的樣本，學習確定物體的規則的過程。包括以下具體步驟：首先，本發明的數據源為從圖像採集設備得到深度圖像和彩色/灰度圖像，如圖1所示。在以下說明中，在不引起混淆的前提下，將彩色/灰度圖像統稱為可見光圖像。深度圖像12上的每個像素點的值表示該物點到相機投影中心的距離，如13所示。深度圖像可以由雙目視覺裝置獲得或者結構光投影裝置獲得。深度圖像為本發明的必要數據源，通過該數據可以得到物體的形狀信息以及三維位置信息。可見光圖像11由可見光成像裝置獲得。可見光圖像為本發明的可選數據源。在可獲得彩色/灰度數據的情況下，可以得到物體的外觀和紋理信息；在不可獲得彩色/灰度數據的情況下，可以通過深度圖像中物體的形狀信息進行物體檢測。其次，數據預處理過程包括正例樣本（包含目標物體的樣本）的採集和反例樣本（不包含目標物體的樣本）的採集。正例樣本的預處理過程如圖2所示，其中包括以下具體步驟：可見光圖像與深度圖像的配準過程21，是確定可見光圖像與深度圖像上的像素點之間的對應關係的過程。配準的結果為兩幅圖像之間的坐標變換矩陣，通過該變換矩陣，可以找到深度圖像和可見光圖像上的像素點的映射關係。該坐標變換矩陣可以作為圖像採集設備參數，在圖像採集設備的相關出廠說明中給出；也可以採用人工的方法，利用靶標物體進行配準。在深度圖像上標記物體的包圍框22。在深度圖像上標記目標物體的包圍框。該過程也可以在可見光圖像上進行，因為深度圖像和可見光圖像已經經過配準，因此可以利用變化矩陣將一個圖像上的標註結果映射到另一個圖像上。利用深度圖像的連通性進行物體的分割24。這裡採用一個假設，同一個物體在深度上應該是連續的。利用這個假設，在深度圖像上已經標註的物體包圍框內，將物體進行分割。然後將分割結果映射到可見光圖像上23。至此，每個包圍框被分割成兩部分，物體區域和背景區域。分割方法採用連續區域分析（connectedcomponentanalysis,CCA）方法。尺寸歸一化處理25，26。將可見光圖像和深度圖像上的包圍框區域剪切出來，放縮到標準尺寸。可見光圖像的歸一化過程如圖3所示，在包含物體的圖像31、32、33上手工標註物體的包圍框34，歸一化後成標準尺寸的樣本35。本發明中物體的標準尺寸為24×24像素。根據具體應用不同，也可以採用其它標準化尺寸。深度圖像的歸一化過程與可見光圖像相同。形狀特徵提取28。在歸一化後的深度圖像的樣本上，提取物體的形狀特徵。形狀特徵的提取可以採用哈爾特徵Haar，梯度方向直方圖特徵HOG或者輪廓模板等特徵。本發明中利用梯度方向直方圖特徵描述物體的形狀。外觀特徵提取27。在歸一化後可見光圖像的樣本上，提取物體的外觀特徵或者紋理特徵。外觀特徵或者紋理特徵的提取可以使用哈爾特徵Haar或者局部二值模式特徵LBP。本發明中採用哈爾特徵Haar。形成特徵池29。在提取完物體的外觀和形狀特徵後，對於目標物體形成一個由多個特徵組成的特徵池。該特徵池中的特徵數目非常大，需要進行特徵選擇，找到那些分類錯誤率較小的的特徵，用於分類。反例樣本的包圍框在不包含目標的圖像上隨機選取。歸一化處理的過程和特徵提取的過程與正例樣本相同。最後，分類器的生成。在已有的正例樣本集、反例樣本集以及它們的特徵池的基礎上，任意學習算法都可以被用來進行分類器的訓練，例如支持向量機SVM或者RealAdaboost算法等。本發明中分類器採用RealAdaboost算法進行學習。該分類器的形式如下：其中，表示應用於學習窗口的強分類器函數，其輸出為1或者-1，如果為1，則表示判定為目標物體；如果為-1，則表示判定為非目標物體。公式（1）表示，強分類器的判定結果是多個弱分類器的信度的累加（加法操作）得到的。是符號函數。每個表示一個弱分類器的計算，在本發明中，每個弱分類器對應於特徵池中的一個特徵。是特徵的的標號，同時也是弱分類器器的標號。是待檢測窗口。在本例子中，由各弱分類器構成。對於物體檢測問題，針對某一具體目標物體，圖像中「非目標物體」的數量要遠遠大於「目標物體」的數量。因此，在訓練或者使用分類器的過程中，為了提高效率運行，本發明採用層級式的瀑布型分類器。瀑布型分類器包含個串行的層級分類器，每個層級分類器都會排除一定比例的反例樣本，因此，只有通過所有層級分類器後的測試樣本才會被判定為「物體」。樣本在瀑布型分類器中測試的層級數目越少，測試的速度也就越快。因為大部分「非目標物體」窗口在層級分類器中的前幾個層級通過少量的計算就可以被排除，且實際圖像中「非目標物體」的數量要遠遠大於「目標物體」的數量，因此通過這種瀑布型分類器，可以迅速排除大量「非目標物體」窗口，從而提高處理效率。而「目標物體」窗口雖然要經過所有的層級，但是因為其所佔比例相對較少，對於整體的速度影響不大。經過訓練過程後，生成的分類器可以直接用於檢測一定大小的物體。在本發明中，歸一化後的樣本尺寸為24×24像素，因此，生成的分類器可以直接用於檢測24×24像素大小的物體。應用檢測器進行物體檢測是指對於任意給定圖像，判定圖像中是否包含目標物體以及確定目標物體所在位置的過程。本發明中分類器可以直接用於檢測24×24像素大小的物體，對於不同大小的物體，可以通過放縮輸入圖像的方式來進行檢測。例如，將輸入圖像的寬和高分別縮小到原來的後，利用檢測器進行檢測得到的物體，其實際圖像尺寸為48×48。為了實現對於所有尺寸的物體的檢測，需要將輸入圖像按照一定的比例進行一系列的放縮，得到一個圖像金字塔。然後窮舉圖像金字塔的所有位置，進行標準尺寸的物體檢測。最後再將所有的檢測結果按照其所在圖像的放縮尺度進行復原，得到最終的物體檢測結果。這裡，圖像金字塔的放縮尺度稱為尺度因子，用表示；掃描窗口的移動步長用表示，標準檢測窗口尺寸用表示，輸入圖像的尺寸用表示。傳統的圖像金字塔構建過程如圖4所示。給定輸入圖像40，構建圖像金字塔41的過程如下：步驟1：初始的圖像尺度為1。步驟2：根據當前圖像尺度縮小圖像，形成圖像金字塔的第一層410。步驟3：在圖像410上以為步長，移動掃描窗口415，檢測所有的位置，判斷其是否為目標物體。步驟4：將判定為目標物體的檢測窗口映射回到輸入圖像尺寸，假設當前檢測窗口的位置為，其在原始圖像上的對應位置為步驟5：更新當前圖像尺度步驟6：重複步驟2~步驟5，構建圖像金字塔上的其他層次：411、412、413、414、…，進行相應尺度的物體檢測。步驟7：當圖像金字塔的圖像的尺寸小於標準檢測窗口尺寸時，檢測過程終止。步驟8：在原始輸入圖像上，將重疊區域大於一定閾值的窗口進行融合，然後利用檢測的可信度進行閾值處理，得到最終檢測結果。上述的檢測過程，一個主要的問題是掃描窗口的數量非常巨大。以輸入圖像大小為的圖像為例，假設掃描窗口的尺寸為；尺度因子；移動步長用。為了遍歷所有的位置和尺度，需要判別的掃描窗口的數量約為21萬個。大量的檢測窗口會顯著影響檢測器的檢測時間。在本發明中，深度圖像和可見光圖像同時獲得，可以利用圖像的深度信息來大大減少掃描窗口的數量。如圖5所示成像系統中，投影中心50、投影平面（像平面）51，物體52，以及物體在像平面上的投影53。假設物體實際尺寸為mm，其距離投影中心的距離為，像的尺寸為像素，像平面到投影中心的距離為。假設像素與mm之間的變換比例為，則像的尺寸由像素轉換為mm，可以表示為。根據圖5，不難得出物體的像的尺寸和物體的尺寸以及物體距離投影中心的距離存在以下關係：進一步表示為：其中，因為對於給定成像系統中，和均為常數，因此也為常數。對於特定的物體檢測任務而言，其所檢測的目標物體的實際尺寸通常會在一定的範圍之內。例如對於人臉檢測，人臉的實際尺寸的正常範圍為；如對於手掌檢測，人的手掌的實際尺寸的正常範圍為。因此，物體的尺寸可以表示為基準尺寸與變化區間的形式。即：其中為目標物體的基準尺寸，而為目標物體尺寸的變化區間。而公式（3）可以進一步表示為：其中，。對於用於檢測特定的目標的特定系統，和均為確定參數，且可以通過計算得到。公式（5）是成像系統的一般性公式，表示物體的像尺寸與物體到投影中心的距離的乘積，可以近似的認為是一個常數。在本發明中，因為數據源為經過配準的可見光圖像與深度圖像組成的圖像對，因此可以認為物體到投影中心的距離是已知的（通過深度圖像的信息）。本發明的所採用的檢測過程如圖6所示：步驟1：給定輸入圖像對60，包括可見光圖像601和深度圖像602。且輸入圖像對601和602已經經過配準。步驟2：構建可見光圖像金字塔61和深度圖像金字塔62，進行多尺度的物體檢測。步驟201：圖像初始尺度s為1，標準檢測窗口的大小為。步驟202：圖像尺度為s，對應的等效檢測窗口大小為，即對應的物體的像的大小為步驟203：根據公式（5），當物體的像時，其對應的深度的取值範圍為步驟204：根據步驟203中的範圍，獲得當前深度圖像，如圖6中的620：在這裡，表示深度圖像中的像素點的坐標位置；表示該位置上的物體的距離值。上式表明，深度圖像中的像素只包含屬於步驟203中範圍的部分；而不屬於該範圍的像素值為空值。這裡需要指出，空值不等同於0，空值表示圖像上該部分為無效區域。如圖6中的陰影區域616和617均表示空區域。步驟205：根據深度圖像，分割出對應的可見光圖像中的相應區域，表示為。步驟206：根據當前圖像尺度縮小620深度圖像和610可見光圖像，作為圖像金字塔的第一層。步驟207：在圖像610和620上的非空區域以為步長，移動掃描窗口615，檢測所有的位置，判斷其是否為物體。步驟208：將判定為物體的檢測窗口映射回到輸入圖像尺寸，假設當前檢測窗口的位置為，其在原始圖像上的對應位置為步驟209：更新當前圖像尺度步驟210：重複步驟202~步驟209，構建圖像金字塔上的其他層次：可見光圖像金字塔611、612、613、614、…；以及深度圖像金字塔621、622、623、624、…。進行相應尺度的物體檢測。步驟211：當圖像金字塔的圖像的尺寸小於標準檢測窗口尺寸時，檢測過程終止。步驟3：在原始輸入圖像上，將重疊區域大於一定閾值的窗口進行融合，然後利用檢測的可信度進行閾值處理，得到最終檢測結果63。這裡需要著重指出，本發明在步驟207中，掃描窗口只掃描深度圖像和可見光圖像上的非空區域。而在金字塔的每一層上，非空區域所佔的比例通常很小，因此掃描窗口的數量遠遠小於傳統的檢測系統。因此，物體的檢測速度可以較傳統系統提升10倍以上。此外，因為空區域的加入，物體的誤檢率能夠顯著的降低。另一方面，因為將物體圖像的大小與物體的實際尺寸相關聯，可以排除一些非正常尺寸的物體檢測，例如對於人臉檢測而言，可以排除宣傳畫和照片上的過大或者過小的非真實的人臉。這一特性可以應用於某些安防領域，利用尺寸信息的約束和人臉區域在深度圖像上的非平面特性，可以排除利用照片通過安檢的可能。所述的具體步驟可以劃分為7個具體模塊，構成基於深度圖像的對象檢測方法的實現裝置，如圖7所示：數據採集模塊，用於採集樣本數據；數據配準模塊，用於配準深度圖像和彩色圖像；距離分割模塊，用於將距離相機遠近不同的物體分離；特徵計算模塊，用於計算分割後的物體的形狀特徵和外觀特徵；分類器訓練模塊，用於根據特徵計算裝置得到的特徵，訓練分類器；分類器檢測模塊，用於對輸入的深度圖像以及彩色或者灰度圖像進行檢測，得到可能包含物體的候選窗口；後處理模塊，對於分類器檢測裝置得到的候選窗口進行後處理，輸出物體檢測窗口。上述裝置中，還包括分類器選擇裝置：根據用戶要求，選擇使用物體的形狀特徵或者外觀特徵。上述裝置中，分類器結構為瀑布型分類器。上述裝置中，瀑布型分類器的每一層分類器可以採用支持向量機（SVM）分類器或者Adaboost分類器。