物體定位方法和裝置製造方法
2023-06-17 14:26:21 1
物體定位方法和裝置製造方法
【專利摘要】公開了一種物體定位方法，包括：從多個立體相機獲得彩色圖像和深度圖像；利用每個立體相機獲得的圖像，對物體進行定位；對每個立體相機定位到的每個物體計算複合特徵，該複合特徵包括物體在統一世界坐標系下的位置信息並且包括物體的可見特徵、速度矢量、加速度矢量中的至少一種；基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似度，從而確定不同相機定位到的物體是否屬於同一物體；如果確定不同相機定位到的物體屬於同一物體，則基於物體對於相機的可見度和物體與相機間距離，融合不同相機關於該同一物體的定位結果。該物體定位方法和裝置可以降低融合歧義，得到更合理的融合結果。
【專利說明】物體定位方法和裝置
【技術領域】
[0001]本發明總體地涉及圖像處理，更具體地涉及基於立體視覺的物體定位方法和裝置。
【背景技術】
[0002]近年來，基於視頻的人的跟蹤定位已成為了計算機視覺領域一個熱門的研究課題，這是因為它是許多高層應用如人的動作識別，行為分析與預測的基礎。人定位是指檢測到人進而得到人在室內或者室外的位置信息，也就是得到人在世界坐標系中的坐標值(x, y, z)的過程。
[0003]已經存在一些利用立體攝像機採集的圖像來定位跟蹤對象的技術，例如，標題為「METHOD AND SYSTEM TO SEGMENT DEPTH IMAGES AND TO DETECT SHAPES INTHREE-DIMENSIONALLY ACQUIRED DATA」 的專利文獻 US8009871B,標題為 「SURFACEGENERATION METHOD FROM BOUNDARIES OF STEREO IMAGES」 的專利文獻 US5202928A，Michael Harville 在 2003 年發表的文章"Stereo Person Tracking with AdaptivePlan-View Templates of Height and Occupancy Statistics"等。
[0004]基於單個單目攝像機的人的跟蹤定位這一研究課題已被廣泛開展了多年，但目前，其仍是一個挑戰性的技術課題，尤其是當前技術不能很好地適應寬敞且人流量大場景下的多人跟蹤問題。造成這一問題的原因主要有:第一，人流量大，場景中出現的人多，勢必造成一定的人與人之間的遮擋，這將在一定程度上降低跟蹤的準確度；第二，單攝像機的拍攝範圍有限，難以覆蓋整個需要監視的區域。這樣以來，為了克服上述問題，已經逐漸引入和採用基於多個立體雙目相機的人的跟蹤定位系統。
【發明內容】
[0005]如何利用多個立體相機的深度/視差信息來更有效地檢測人、跟蹤人和更精確地定位人，是對實際應用非常有意義的課題，可以通過使用融合技術來進行解決。融合，按照其融合對象的不同大致可以分為三類:原始數據集的融合；特徵集的融合；以及結果集的融合。
[0006]對於多個立體相機諸如雙目相機的場景而言，原始數據集的融合，即像素集的融合，網絡傳輸數據量大和處理的數據量大，無法在實際場景中進行實時應用。
[0007]本發明關注結果集層面的融合。
[0008]專利US7929017B2提出了一種方法和裝置用於立體相機、多相機以及RF和視頻的融合。該方法融合單目相機、立體相機的跟蹤結果，以及RFID、定位系統和生物識別系統的結果。該融合技術通過對不同傳感器信息的噪聲和模糊進行嚴格地不確定性分析後，進行傳感器信息的轉換。其基於時空約束來融合不同傳感器的位置和速度信息。該專利提出的方法使用了貝葉斯方法來融合各類結果，融合目標是跟蹤的結果和位置信息。為了增加穩定性，其考慮了時空的約束。[0009]專利US7742620B2提出了一種採用時空融合來提高目標檢測的方法。該發明提出的目標檢測方法採用預處理與後處理相結合的方法對傳感器發來的數據進行時域上的融合。為了進一步提高目標的檢出率以及避免傳統恆虛警率檢測器存在的缺點，該發明採用了雙門限閾值與反向閾值的方法。
[0010]本發明的一個目的是希望提供一種物體定位方法和裝置，其對多個物體距離較近且存在遮擋的情況具有較強的魯棒性，能夠準確地定位出對象。
[0011 ] 根據本發明的實施例，提供了 一種物體定位方法，包括:從多個立體相機獲得彩色圖像和深度圖像；利用每個立體相機獲得的圖像，對物體進行定位；對每個立體相機定位到的每個物體計算複合特徵，該複合特徵包括物體在統一世界坐標系下的位置信息並且包括物體的可見特徵、速度矢量、加速度矢量中的至少一種；基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似度，從而確定不同相機定位到的物體是否屬於同一物體；如果確定不同相機定位到的物體屬於同一物體，則基於物體對於相機的可見度和物體與相機間距離，融合不同相機關於該同一物體的定位結果。
[0012]根據本發明的另一實施例，提供了一種物體定位裝置，包括:圖像獲得部件，從多個立體相機獲得彩色圖像和深度圖像；物體定位部件，利用每個立體相機獲得的圖像，對物體進行定位；複合特徵計算部件，對每個立體相機定位到的每個物體計算複合特徵，該複合特徵包括物體在統一世界坐標系下的位置信息並且包括物體的可見特徵、速度矢量、加速度矢量中的至少一種；同一物體判定部件，基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似度，從而確定不同相機定位到的物體是否屬於同一物體；結果融合部件，如果確定不同相機定位到的物體屬於同一物體，則基於物體對於相機的可見度和物體與相機間距離，融合不同相機關於該同一物體的定位結果。
[0013]利用根據本發明實施例的物體檢測方法和裝置，因為引入了複合特徵來判定不同相機定位到的物體是否屬於同一物體，從而能夠更好地區別如人與人之間距離很近情況下的人，避免融合歧義(fusion ambiguity);因為在融合不同相機的定位結果時綜合考慮了物體對於相機的可見度和物體與相機間距離，因此得到更合理的融合結果。
【專利附圖】
【附圖說明】
[0014]圖1 (a)和I (b)是根據本發明一個實施例的解釋引入人相對於攝像機可見性原因的示意圖。
[0015]圖2(a)和(b)是根據本發明一個實施例的解釋了雙目立體相機用於人的跟蹤定位時的鳥瞰圖概念的示意圖。
[0016]圖3是根據本發明一個實施例的生成鳥瞰視圖下的顏色直方圖、鳥瞰視圖下的高度直方圖，鳥瞰視圖下的表面積直方圖的示意圖。
[0017]圖4是根據本發明一個實施例的通過複合特徵融合多路跟蹤結果完成人定位的系統不意圖。
[0018]圖5是根據本發明一個實施例的系統構架圖以及構架中的每個組成部分所完成功能的示意圖。
[0019]圖6示出了根據本發明一個實施例的物體定位方法的總體流程圖。
[0020]圖7示出了根據本發明一個實施例的作為複合特徵示例的人的速度矢量、相對於相機的可見度、轉換後的高度直方圖、轉換後的顏色直方圖的計算方法的流程圖。
[0021]圖8(a) ,8(b) ,8(c)是根據本發明一個實施例的解釋人相對於攝像機可見度概念的示意圖。圖8 (a)示意性地示出了當人相對於攝像機完全可見時的鳥瞰視圖下的表面積圖；圖8 (b)示意性地示出了當人被部分遮擋住時，其相應的鳥瞰視圖下的表面積圖；圖8(c)示意性地示出了根據本發明實施例的計算人相對於攝像機可見度過程中所涉及的因素。
[0022]圖9示出了根據本發明一個示例性實施例的基於各個立體相機定位到的各個物體的複合特徵而建立的關聯度矩陣的示意圖。
[0023]圖10是根據本發明一個實施例的由複合特徵序列建立關聯度矩陣的示例性方法的流程圖。
[0024]圖11示出了根據本發明一個實施例的基於關聯度矩陣的示例性物體定位方法的流程圖。
[0025]圖12示出了根據本發明一個實施例的示例性物體定位裝置的功能配置框圖。
[0026]圖13是示出按照本發明實施例的物體定位(跟蹤)系統的總體硬體框圖。
【具體實施方式】
[0027]以下，將參照附圖描述本發明的優選實施例。需注意，在本說明書和附圖中，具有實質上相同功能和結構的元件用相同的參考標記表示，並且省略了重複的解釋。
[0028]將按下列順序進行描述:
[0029]1、發明思想概述
[0030]2、本發明中的概念或術語含義
[0031]3、系統示意圖
[0032]4、物體定位方法的概述
[0033]5、複合特徵示例以及獲得方法示例
[0034]6、基於複合特徵序列建立關聯度矩陣以及關聯性判定
[0035]7、基於關聯度矩陣的物體定位跟蹤方法
[0036]8、物體定位裝置
[0037]9、系統硬體配置
[0038]10、總結
[0039]1、發明思想概述
[0040]下面，首先總體介紹一下本發明的思想，以便本領域人員更好地理解本發明。
[0041]本發明中所關注的「融合」是結果的融合，更具體地，可以理解為在考慮某些因素的條件下，將從多個攝像機跟蹤的結果根據某種策略合為一個跟蹤結果，並把這個跟蹤結果作為最終的融合結果。一般地，該最終的融合結果比單攝像機跟蹤的結果精度要高。例如，一個人出現在了兩臺攝像機A和B視野的公共區域中，將從攝像機A和攝像機B檢測和跟蹤到的結果分別記為代81111:_4和result_B。由於代81111:_4和result_B是屬於同一個人的跟蹤結果，而該人的跟蹤結果只能有一個。因此，需將其合併為一個result_f inal，作為最終的結果輸出。在本發明中以上這個過程稱之為「融合」。
[0042]發明人總結得出，融合涉及的技術點主要有:[0043](I)、當場景中出現了多個人的時候，如何判斷哪些跟蹤結果來自於同一個人，SP關聯問題；
[0044](2)、當多個來自不同相機的跟蹤結果被判定屬於同一個人的時候，採用何種策略將這若干個結果融合為一個最終的結果輸出。
[0045]對於第一個問題，現有的方案一般是根據不同跟蹤結果間的距離來關聯的。這樣做的合理性在於，對同一個人的來自不同相機的跟蹤結果在統一的世界坐標系下的距離不會相隔太大(理想情況下是完全重合，但是由於存在各種誤差，它們之間會有距離偏差)。但是發明人發現，這種方法，在人與人之間距離很近的情況下將失效，從而產生融合歧義的問題(fusion ambiguity)。
[0046]對於第二個問題，現有的方案一般是根據攝像機的跟蹤結果與相應相機的距離來衡量該跟蹤結果在最終融合結果中的重要性。這是因為，一般而言，雙目立體相機的深度值的精度會隨著離相機距離的增大而降低。因此，對於屬於同一個人的若干跟蹤結果，在融合時，一般根據他們離相應相機的距離來分配它們在最終結果中的重要性。但是，發明人發現，當人被部分遮擋時，這種融合方案可能有失妥當，如圖1(a)和圖1(b)所示。在圖1(a)中，有兩個人A和B出現在了攝像機Cl和攝像機C2視野的公共交疊區域。假設人A比人B高，對於攝像機C2，人B部分可見(存在源於人A的遮擋)；對於攝像機Cl，人B完全可見(不存在遮擋)。圖1(b)是圖1(a)對應的俯視圖，其中直線1、2、3代表攝像機Cl的視野或者說視角邊緣；直線4、5、6代表攝像機C2的視野或者說視角邊緣，圓點IB和2B分別表示攝像機Cl和攝像機C2對人B的跟蹤結果，而dl和d2分別表示跟蹤結果1B、2B和相應相機C1、C2的距離(為了表示的清晰，人A的跟蹤結果未在圖上標記出)。按照現有的方法，在只考慮跟蹤結果與攝像機距離的因素下，因為攝像機C 2和對應跟蹤結果2B的距離比攝像機C I和對應跟蹤結果IB的距離更小，因此攝像機C2的跟蹤結果被認為更精確，從而在融合中將給予更大的權重。然而，事實上，人B對於攝像機C2僅部分可見，這將在一定程度上影響C2對人B的跟蹤；而人B對於攝像機Cl完全可見。若加之考慮人對攝像機可見性的因素，來自Cl的跟蹤結果的重要性將在融合時得到提升。
[0047]鑑於以上發現，為了克服上述兩個問題，發明人提出如下解決思想:
[0048](I)、上述融合歧義性問題產生的根源在於缺少可觀測的特徵。因此，本發明人提出基於更複雜的複合特徵的關聯方法，該複合特徵除了位置信息外還包括統計的可觀測特徵；
[0049](2)、在融合時，不僅考慮跟蹤結果與相應相機的距離，還考慮人對於相機的可見度。
[0050]後續將結合具體實施描述實踐本發明的思想的示例。
[0051]2、本發明中的概念或術語含義
[0052]下面介紹與本發明相關的鳥瞰視圖、鳥瞰視圖下的高度直方圖，顏色直方圖和表面積直方圖以及轉換的高度直方圖、轉換的顏色直方圖的概念，更多細節請參看MichaelHarville 於 2003 年發表的論文「Stereo Person Tracking with Adaptive Plan-ViewTemplates of Height and Occupancy Statistics，，
[0053]「鳥瞰圖」或「俯視圖」:本發明中的鳥瞰圖是指是指當世界坐標系的兩個坐標軸XZ置於地面(下文稱之為X O Z平面)上時世界坐標系中的點投影到X O Z平面下獲得的圖像。
[0054]圖2(a)和(b)是根據本發明一個實施例的解釋了雙目立體相機用於人的跟蹤定位時的鳥瞰圖概念的示意圖。
[0055]圖2(a)示出了將立體攝像機獲得的立體圖像進行坐標轉化，獲得相當於假想的攝像機垂直拍攝物體的立體圖像的示意圖；以及圖2(b)示意性示出了真實立體攝像機拍攝的圖像和假想的攝像機拍攝的圖像的對比示意圖。
[0056]如圖2a所示，在已知攝像機外參(圖2(a)中的R和T)的情況下，對於按照與對面成一定傾斜角度布置的真實攝像機所拍攝的圖像，可以將圖像中的任意一個像素位置轉換到世界坐標系，轉換後就得到了如同圖2(a)中的假想攝像機垂直俯拍物體時得到的立體圖像。注意，圖2(a)中的攝像機外參R為旋轉參數，外參T為平移參數，具體描述可參見上述 T.Darrel 於 2001 年發表的文章 「Stereo Person Tracking with Adaptive Plan-ViewTemplates of Height and Occupancy Statistics，，。
[0057]鳥瞰視圖下的高度直方圖、顏色直方圖、表面積直方圖:圖3示出了從立體圖像即彩色圖像和深度圖像獲得鳥瞰視圖下的高度直方圖、顏色直方圖和表面積直方圖的示例性過程的示意圖。具體地，從雙目攝像機獲取顏色圖和深度圖後，首先通過背景減除法提取前景像素，然後把提取到的前景像素投影到三維世界坐標系中。並且將世界坐標系沿垂直於XOZ平面的方向分成等底面積的小立方體，稱之為BIN,然後基於BIN，生成三種圖:
[0058]鳥瞰視圖下的高度肓方圖:統計落入每個BIN中的最高點的高度，反映在圖上為:高度越高，亮度越亮。
[0059]鳥瞰視圖下的顏色肓方圖:保存高度圖中每個最高點的顏色，可以近似的看成是從上往下觀察人的外觀顏色。
[0060]鳥瞰視圖下的表面積肓方圖:保存的是落入每個BIN中的像素點的個數，反映在圖上為:點數越多，亮度越亮。
[0061]上述表面積直方圖、高度直方圖可以視為立體圖像在某個平面視圖上物體的表面點的分布的統計數據，在某些文獻例如標題為〃Plan-view trajectory estimation withdense stereo background model〃的T.Darrel於2001年發表的文章中也稱為外觀平面視圖(Appearance plan view),或者同屬理光株式會社 申請人:的發明人為王鑫等的專利申請號為CN201210292660.2的發明專利申請中被稱為累加俯視圖或高度俯視圖，或者在同屬理光株式會社申請的發明人為範聖印等的專利申請號為CN201210574632.X中被稱為外觀二維直方圖或高度二維直方圖。這裡通過引用將上述三篇文獻併入本文。
[0062]本文中的顏色直方圖的獲得方法和高度直方圖的獲得方法類似，只不過代替保存每個BIN中的最高點的高度，保存最高點的顏色。
[0063]另外，下文某實施例中，為了例如簡化處理和適於實際應用的目的，可以對上述高度直方圖和顏色直方圖通過進一步統計進行轉換處理，以轉換成去除了位置信息的直方圖。具體地，例如，對於高度直方圖，可以通過統計像素值落入例如各區間[80,90], [90，100],...[190，200]內的像素個數，從而得到了轉換後的高度直方圖。類似地，可以得到轉換後的顏色直方圖。下文中，為了與高度直方圖和顏色直方圖進行區分的目的，將此轉換後的直方圖稱為轉換後的高度直方圖和轉換後的顏色直方圖。
[0064]3、系統示意圖[0065]圖4是根據本發明一個實施例的通過複合特徵融合多路跟蹤結果完成人定位的系統示意圖。圖4主要示例性給出了本發明實施例的輸入和輸出。其中，輸入的信息來自於兩個雙目相機，圖4中僅給出了兩個雙目相機，實際上本發明可以支持一個、兩個、更多個雙目相機。本發明實施例的輸出是定位到的人的位置，我們以鳥瞰圖或俯視圖的形式呈現出來。圖1中的兩個圓1、2表示的是兩個雙目相機在鳥瞰圖中的位置；線A，B，C表示的是雙目相機I的視角邊緣；D，E，F表示的是雙目像機2的視角邊緣；正方形3、4表示經融合後的人在統一世界坐標系下的位置。
[0066]需要說明的是，本例子以及後續例子中，以人為檢測目標，並假設人站在地面上。不過這僅為示例，本發明並不局限於此，可以以任何物體為檢測目標，如動物、椅子等等，而且被檢測對象可以任意布置而未必一定位於地面上。
[0067]圖5示出了根據本發明一個實施例的示例性系統構架以及構架中的每個組成部分所完成功能的示意圖。在該例子中，裝置系統主要包括兩個部分:第一個部分是在客戶端上運行的複合特徵隊列生成模塊；第二個部分是在伺服器端運行的基於複合特徵序列的多路跟蹤結果融合模塊。這兩個部分之間通過網絡進行連接。
[0068]4、物體定位方法的概述
[0069]下面參考圖6描述根據本發明一個實施例的、利用多個立體攝像機來對物體進行定位的整體過程。
[0070]圖6示出了根據本發明一個實施例的物體定位方法100的總體流程圖。
[0071]為便於描述，該總體流程圖假定針對一預定空間中，布置了多個立體攝像機，以對出現於該預定空間中的對象進行立體成像，通過對立體圖像進行處理來進行對象檢測。
[0072]關於預定空間，例如可以是一個房間，例如超市、廠房等，不過也可以是室外的空間，例如學校場地、軍工場所等，只要是可以作為監控對象的空間即可。關於被檢測的對象，沒有特別限制，可以是人、動物、飛行物、汽車、椅子等等。
[0073]關於立體攝像機是指能夠對物體進行三維成像或立體成像的攝像機，一般可同時輸出深度圖像和彩色圖像(或灰度圖像)。作為立體攝像機的例子，一類立體攝像機使用主動發射紅外光來輔助生成立體信息，這樣的攝像機例子，有微軟的Kinect，還有基於紅外光飛行時間(Time of Flight，T0F)技術的類型，或者基於紋理光的類型。作為立體攝像機的另一例子，另一類立體攝像機基於立體視距的雙目原理，例如雙目攝像機或多目攝像機。為描述便利，下文將採用雙目攝像機為例進行說明，不過本發明並不局限於此，而是可以應用任何立體攝像機。
[0074]請注意，由於使用立體攝像機，能得到準確的三維信息。所以本發明提出的人的檢測應理解為可以同時完成檢測和定位，當然不必說也可以僅進行對象檢測和定位之一。
[0075]如圖6所示，在步驟SllO中，從多個立體相機的每個獲得彩色圖像和深度圖像。
[0076]在步驟S120中，利用每個立體相機獲得的圖像，對物體進行定位。
[0077]任何基於彩色圖像和/或深度圖像進行物體檢測和/或定位的方法均可以用於本發明。
[0078]在一個示例中，對物體進行定位包括從深度圖像或彩色圖像提取前景，或者說進行前景分割，即從立體圖像中將作為處理對象的前景與背景分開，並提取出前景。作為提取前景的方法的示例，可以根據深度信息或者顏色信息，或者是兩者的結合建立起當前場景的背景模型；然後根據建立的背景模型，採用背景減除法，獲得每一幀圖像上的前景。背景建模可以使用靜態背景建模，也可以使用動態背景建模，作為一種示例性實現，可以使用RGBD的混合高斯動態建模來分割前景，具體可以參考標題為"Plan-view trajectoryestimation with dense stereo background model〃的 T.Darrel 於 2001 年發表的文章。
[0079]在前景提取之後，對於提取到的前景像素，採用例如圖3中所示的方法，利用深度信息將其投影到三維空間中，生成鳥瞰圖。接著在鳥瞰圖上完成對人進行檢測。這裡可採用的檢測方法可以有很多，最終的輸出為鳥瞰圖下人的外接矩形框。
[0080]這裡，對於檢測方法，本發明沒有特別限制，任何檢測方法都可以用於本發明，例如基於連通域分析來分割和檢測對象的方法等。
[0081]作為一個物體檢測方法示例，可以通過物體標準模板和表面積直方圖中待檢對象進行匹配的方法進行檢測。具體地，例如通過將被檢測物體和物體標準模板進行匹配、確定匹配程度、將匹配程度和閾值進行比較來檢測物體。
[0082]例如，在一個示例性檢測方法中，通過將物體標準模板和表面積直方圖中待檢對象進行匹配來檢測對，例如以預定形狀例如矩形、圓形等的匹配窗口在表面積直方圖上移動，通過匹配窗口內的區域和物體標準模板的匹配來檢測物體。例如，在檢測人的情況下，計算匹配窗口內的物體表面積，將計算的物體表面積和標準物體的表面積大小進行比較，如果差值小於預定閾值，則認為匹配窗口內存在待檢測對象即人，否則認為不存在待檢測對象。
[0083]作為物體檢測方法的另一示例，可以通過對物體檢測模型進行建模的方法來對物體進行檢測。
[0084]在同屬理光株式會社 申請人:的發明人為王鑫等的專利申請號為CN201210292660.2的發明專利申請中或者在同屬理光株式會社申請的發明人為範聖印等的專利申請號為CN201210574632.X的發明專利申請中介紹的物體檢測方法均可以用於本發明。
[0085]在步驟S130中,對每個立體相機定位到的每個物體計算複合特徵,該複合特徵包括物體在統一世界坐標系下的位置信息並且包括物體的可見特徵、紋理、速度矢量、加速度矢量中的至少一種。
[0086]在一個示例中，複合特徵包括物體在統一世界坐標系下的位置信息、某種可見特徵和速度矢量。可見特徵例如包括物體相對於立體相機的可見度(或表面積直方圖)、物體在鳥瞰視圖下的高度直方圖、以及物體在鳥瞰視圖下的顏色直方圖中的一種或者幾種的任
意組合。
[0087]下文中，將參考圖7、圖8(a)_8(c)詳細描述各種複合特徵以及獲得方法示例。
[0088]在步驟S140中，基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似度，從而確定不同相機定位到的物體是否屬於同一物體。
[0089]下文將參考圖9-10描述通過基於來自各個相機的複合特徵序列建立關聯度矩陣來計算不同相機定位到的物體之間的相似度(或關聯度)，從而確定不同相機定位到的物體是否屬於同一物體的示例。
[0090]在步驟S150中，如果確定不同相機定位到的物體屬於同一物體，則基於物體對於相機的可見度和物體與相機間距離，融合不同相機關於該同一物體的定位結果。[0091]在一個示例中，基於物體對於相機的可見度和物體與相機間距離，融合不同相機關於該同一物體的定位結果包括:如果確定不同相機定位到的物體屬於同一物體，則如果可見度最高的物體定位結果相關聯的相機和距離所定位的物體位置最近的相機為不同的相機，則融合該可見度最高的物體定位結果和距離所定位的物體位置最近的相機的物體定位結果。
[0092]例如，假設攝像機A的一個物體定位結果是Ra (PA，VA，DA)，攝像機B的一個物體定位結果是Rb (Pb, Vb, Db)，且來自攝像機A的物體定位結果Ra (Pa, Va, Da)和來自攝像機B的物體定位結果Rb(Pb，Vb，Db)被判定為屬於同一個人的定位結果。這裡P表示在統一世界坐標系下的位置坐標，V表示可見度，D表示人離攝像機的距離，即Pa表示攝像機A的物體定位結果在統一世界坐標系下的位置坐標，Va表示攝像機A定位的該物體相對於攝像機A的可見度，Da表示攝像機A定位到的該物體相對於攝像機A的距離；類似地，Pb表示攝像機B的物體定位結果在統一世界坐標系下的位置坐標，Vb表示攝像機B定位的該物體相對於攝像機B的可見度，Db表示攝像機B定位到的該物體相對於攝像機B的距離。在一個示例中，可以通過公式(I)將這對關聯上的跟蹤結果融合:
[0093]
【權利要求】
1.一種物體定位方法，包括: 從多個立體相機獲得彩色圖像和深度圖像； 利用每個立體相機獲得的圖像，對物體進行定位； 對每個立體相機定位到的每個物體計算複合特徵，該複合特徵包括物體在統一世界坐標系下的位置信息並且包括物體的可見特徵、速度矢量、加速度矢量中的至少一種； 基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似度，從而確定不同相機定位到的物體是否屬於同一物體； 如果確定不同相機定位到的物體屬於同一物體，則基於物體對於相機的可見度和物體與相機間距離，融合不同相機關於該同一物體的定位結果。
2.根據權利要求1的物體定位方法，其中複合特徵包括物體的可見特徵和速度矢量，該可見特徵包括物體相對於立體相機的可見度、物體在鳥瞰視圖下的高度直方圖、以及物體在鳥瞰視圖下的顏色直方圖。
3.根據權利要求1的物體定位方法，所述基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似性，從而確定不同相機定位到的物體是否屬於同一物體包括: 基於各個立體相機定位到 的各個物體的複合特徵，建立關聯度矩陣，其中對於來自任意兩個相機的兩個第一和第二複合特徵序列，關聯矩陣的行數等於第一複合特徵序列所包含的元素個數，關聯矩陣的列數等於第二複合特徵序列所包含的元素個數，反之亦然，其中每個相機的複合特徵序列由該相機定位到的各物體的複合特徵作為元素而組成； 依次計算第一複合特徵序列中每個第一元素所包含的物體在統一世界坐標系下的位置與第二複合特徵序列中每個第二元素所包含的物體在統一世界坐標系下的位置之間的距離； 如果距離大於預定的距離閾值，將該複合特徵矩陣的相應元素設定為O ; 否則，計算第一元素和第二元素之間的相似度，並將該相似度與預定閾值比較；如果該相似度小於預定閾值，將矩陣的相應元素設定為O ;否則保存該相似度到矩陣的相應元素中。
4.根據權利要求3的物體定位方法，所述基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似度，從而確定不同相機定位到的物體是否屬於同一物體包括: 根據關聯度矩陣，為第一複合特徵序列中的物體和第二複合特徵序列中的物體，分配局部或全局的最優關聯，這裡的關聯是指將兩個相機定位到的哪兩個物體確定為屬於同一物體。
5.根據權利要求1的物體定位方法，基於物體對於相機的可見度和物體與相機間距離，融合不同相機關於該同一物體的定位結果包括: 如果確定不同相機定位到的物體屬於同一物體，則如果可見度最高的物體定位結果相關聯的相機和距離所定位的物體位置最近的相機為不同的相機，則融合該可見度最高的物體定位結果和距離所定位的物體位置最近的相機的物體定位結果。
6.一種物體定位裝置，包括: 圖像獲得部件，從多個立體相機獲得彩色圖像和深度圖像；物體定位部件，利用每個立體相機獲得的圖像，對物體進行定位； 複合特徵計算部件，對每個立體相機定位到的每個物體計算複合特徵，該複合特徵包括物體在統一世界坐標系下的位置信息並且包括物體的可見特徵、紋理、速度矢量、加速度矢量中的至少一種； 同一物體判定部件，基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似度，從而確定不同相機定位到的物體是否屬於同一物體； 結果融合部件，如果確定不同相機定位到的物體屬於同一物體，則基於物體對於相機的可見度和物體與相機間距離，融合不同相機關於該同一物體的定位結果。
7.根據權利要求6的物體定位裝置，其中複合特徵包括物體的可見特徵和速度矢量，該可見特徵包括物體相對於立體相機的可見度、物體在鳥瞰視圖下的高度直方圖、以及物體在鳥瞰視圖下的顏色直方圖。
8.根據權利要求6的物體定位裝置，所述基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似性，從而確定不同相機定位到的物體是否屬於同一物體包括: 基於各個立體相機定位到的各個物體的複合特徵，建立關聯度矩陣，其中對於來自任意兩個相機的任意兩個第一和第二複合特徵序列，關聯矩陣的行數等於第一複合特徵序列所包含的元素個數，關聯矩陣的列數等於第二複合特徵序列所包含的元素個數，反之亦然，其中每個相機的複合特徵序列由該相機定位到的各物體的複合特徵作為元素而組成；依次計算第一複合特徵序列中每個第一元素所包含的物體在統一世界坐標系下的位置與第二複合特徵序列中每個第二元素所包含的物體在統一世界坐標系下的位置之間的距離；如果距離大於預定的距離閾值，將該複合特徵矩陣的相應元素設定為O ;否則，計算第一元素和第二元素之間的相似度，並將該相似度與預定閾值比較；如果該相似度小於預定閾值，將矩陣的相應元素設定為O ;否則保存該相似度到矩陣的相應元素中。
9.根據權利要求8的物體定位方法，所述基於各個立體相機定位到的各個物體的複合特徵，計算不同相機定位到的物體之間的相似度，從而確定不同相機定位到的物體是否屬於同一物體包括: 根據關聯度矩陣，為第一複合特徵序列中的物體和第二複合特徵序列中的物體，分配局部或全局的最優關聯，這裡的關聯是指將兩個相機定位到的哪兩個物體確定為屬於同一物體。
10.根據權利要求6的物體定位方法，基於物體對於相機的可見度和物體與相機間距離，融合不同相機關於該同一物體的定位結果包括: 如果確定不同相機定位到的物體屬於同一物體，則如果可見度最高的物體定位結果相關聯的相機和距離物體最近 的相機為不同的相機，則融合該可見度最高的物體定位結果和距離物體最近的相機的物體定位結果。
【文檔編號】G06T7/00GK104021538SQ201310063037
【公開日】2014年9月3日 申請日期:2013年2月28日 優先權日:2013年2月28日
【發明者】王千, 王鑫, 範聖印, 喬剛 申請人:株式會社理光