物體尺寸估測之系統及方法
2023-12-04 21:56:11 2
專利名稱：：物體尺寸估測之系統及方法
技術領域：
：本發明涉及測量系統及方法，且特別涉及獲得影像內物體尺寸之系統及方法。
背景技術：
：隨著科技演進以及社會安全需求的增加，監視系統變成受歡迎的研究主題並且可用於許多應用情況。許多監視系統需要在許多位置上安裝許多視頻攝影機，並且記錄的視頻影像通過纜線或網絡傳輸至存儲媒體。若在監視區域內發生意外或糾紛，則稍後可查閱己記錄的視頻影像供進一步分析。因為視頻影像的辨識通常依賴人工識別，這難以讓監視系統提供事先和/或預防警示。因此，利用計算系統自動分析的發展吸引許多人的注意。近年來，運用視覺技術獲得幾何信息已廣為應用。其應用的範例包含建築與室內測量、畫作內物體重建、廣場測量以及交通意外調査。針對範例，該技術可用於利用身高以及自定目標分析來區分景物內的人。一種獲得物體尺寸的方法例如在監視場景內某處放置一支或多支尺，如此稍後可參照這些尺來評估物體尺寸。其它方式是使用計算機分析攝取的可見信息，在離線狀態下獲得物體尺寸，這樣有時候比較精確、有彈性以及有效目前有許多從影像中測量物體的計算技術，例如Criminisi等人提出一種從單一透視影像中計算物體測量值的方法，此由A.Criminisi與A.Zisserman於1999年9月在希臘Kekyrn舉行的ComputerVision(計算機視覺)國際會議中的S/wg/eW，m"rafogy第434-442頁內所提出。假設可從影像中決定場景中參考平面的消失線以及參考方向中的消失點，根據消失線與點，與參考平面平行的任何平面間之距離、這些平面上的面積與長度比例以及攝影機位置都可計算。其它方式為使用攝影機與3D場景之間的直線轉換獲得參數，接著可用於計算物體尺寸，此為A.Bovyrin和K.Rodyushkin於IEEE2005中//證aw//e妙//VeWc"ow朋dioa^!s5幼'w加,ow》rWv""c^iPdeo^rve/〃朋ceS"fe臘第219-223頁內所提出。Wang等人提出先通過參考空間平面及其虛擬消失點的對應來獲得攝影機投射矩陣，然後使用該矩陣以及某些可變場景限制攝取場景的幾何實體，像是物體高度以及從點到線的距離，這由G.Wang、Z.Hu、F.Wu以及H.Tsui於2005年在ImageVisionComputing,ElsevierB.V的5V"g/eWewMe/ra/ogy屍ra/w5be"eComtra/她中提出。在其它方式中，物體尺寸由通過兩端測定影像之間關系所獲得的參數來計算，這由Z.Chen、N.Pears以及B.Liang於2006年在PatternRecognitionLetters,ElsevierB.V白勺爿AfeAotio/Pfewa/A/ie^o/ogyFromt/wcfl/Aratoi/wages1中提出。
發明內容構成本發明的一個範例提供一種獲得影像內目標物體尺寸的方法。該方法包含接收該影像內許多特徵點的坐標、接收該影像內具有己知尺寸的至少一個參考物體之坐標、執行校正來調整至少該特徵點之一的中的一個該坐標，以及接收該影像內該目標物體的坐標並根據該特徵點的該坐標來決定該目標物體的該尺寸。調整至少一個特徵點的坐標來增加決定參考物體尺寸時的精確度。在其它範例中，提供一種獲得影像內目標物體尺寸的方法。該方法包含接收對應至該影像內許多特徵點的坐標、根據對應至該特徵點的該坐標來決定對應至消失點的坐標、接收對應至該影像內具有己知尺寸的至少一個參考物體之坐標、根據對應至該消失點的該坐^^來決定對應至該參考物體的該尺寸、執行校正來調整對應至該特徵點的該坐標，以及接收該影像內該目標物體的坐標並根據該消失點決定該目標物體的尺寸。調整對應至特徵點的坐標來增加決定參考物體尺寸時的精確度。構成本發明的其它範例提供一種獲得影像內目標物體尺寸的系統。該系統包含第一裝置，其可提供對應至該影像內許多特徵點的坐標，並提供對應至該影像內至少一個參考物體的坐標，其中該參考物體的尺寸己知，以及校正裝置，其用於接收對應至該特徵點的該坐標以及對應至該參考物體的該坐標，以及用於調整對應該特徵點的該坐^^。調整對應至特徵點的坐標來增加決定參考物體尺寸時的精確度。所屬
技術領域：
的技術人員可了解到，上述一般說明以及下列詳細說明都僅是示範，並不因此限制本發明。當並同各附圖而閱覽時，即可更佳了解本發明之摘要以及下文詳細說明。為達本發明之說明目的，各附圖裡圖繪有現屬較佳之各具體實施例。然應了解本發明並不限於所繪之精確排置方式及設備裝置。在各附圖中圖1為用於說明構成本發明的一項應用之範例場景附圖；圖2A-2C為用於說明某些幾何原理的附圖；圖3說明構成本發明的範例內用於物體尺寸^^測的方法之範例流程；圖4為場景的範例說明。圖5為用於說明構成本發明的影像處理技術之範例方框圖；圖6為構成本發明的範例內用於應用物體尺寸估測方法之場景說明；以及圖7為構成本發明的範例內用於應用物體尺寸估測方法之場景說明。主要元件標記說明100102一般視頻CCD監視攝影機數字視頻攝影機104地平面106計算機108人110車輛114樹112房屋200地平面202並行線2102D影像平面212一致的直線214消失點216消失線218攝影機中心220平面222參考方向230平面400影像402地平面404立方體406參考物體408滑鼠500視頻數據502快照504測試點手動選擇506高度估測508物體分割510測試點自動選擇具體實施方式圖1顯示可實施本發明的示範範例。請參照圖1，像是一般視頻CCD監視攝影機100以及數字視頻攝影機102的這類單眼攝影機可用於攝取影像。攝影機100或102的設置方式為將地平面104包含在攝取場景內。此外，攝影機100或102連接至併入本發明內的計算機106。在適當設置攝影機100或102之後，可執行下列將詳細討論的最佳空間校正，以獲得物體測量的最佳參數。根據最佳參數，只要提供物體的頂端與底端坐標，就可估測影像內的任何物體，例如人108、車輛IIO、樹114以及房屋112。圖2A-2C說明有關平面的消失線與消失點之某些幾何原理。請參照圖2A，3D空間內的參考平面通常但不必然為地平面200。一組地平面200上的並行線202投射進入2D影像平面210變成一組一致的直線212。這些直線在2D影像平面210內的會合點稱之為消失點214。將地平面200上所有可能並行線的消失點214連接起來構成消失線216，如圖2B所示。消失線216和攝影機中心218可構成與地平面200平行的平面220。圖2B顯示物體在兩平面之間3D空間內相對於從地平面200到攝影機中心218的距離。請參照圖2B，假設3D空間內的物體具有底部坐標P和頂端坐標P'，高度為Z。頂端與底部坐標分別位於地平面200與和參考平面200平行的平面230上。參考方向222為平面200和230的法向量，如圖2B所示。V3為與參考方向222平行的方向上之消失點，如圖2B所示。C為平面220和與參考方向222平行的直線之交叉點。因為攝影機中心218和點C都落在平面220上，所以點C和地平面200之間的距離等於攝影機中心218與地平面200的距離Ze。對應至圖2B，圖2C顯示物體在兩平面之2D影像平面210上相對於從兩平面中的一個到攝影機中心218的距離。點214為平面200的兩消失點，並且構成消失線216。v;為與平面200垂直的方向上之消失點。c為消失線216與和平面200垂直並連接至V3的直線之交叉點。大寫字母(P)用於指示3D空間內的數量，並且小寫字母(p)用於指示影像數量。圖2C上標示的四點個p、p'、c、V3定義出交叉率。交叉比例的值提供3D空間內的長度比例，可如下決定出平面200與230之間的距離Z，相對於攝影機與地平面200的距離Ze:，，c)xd(p',v3)—d(P，C)xt/(P',V)d(p'，c)xd(p，v3)—d(P'，C)xd(P,V)(J)其中d(xl,x2)為兩個一般點xl和x2之間的距離。因為點V的背面投H丄射為無限遠的點，所以"(P，V)—。另外因為d(P,C):Ze並且d(P',C"Zc-z，所以簡化(l)上的代數式產生formulaseeoriginaldocumentpage10(2)根據上述等式(2)，一旦指定攝影機的距離Ze，就可從此距離比例獲得絕對距離z。另外，可先根據像是己知的物體尺寸這類己知的參考距離計算出Ze，然後可套用計算出的Ze來估測影像內物體的尺寸。圖3說明構成本發明的範例內物體測量方法之範例流程。如圖3所示，首先在步驟302上設定初始參數。圖4說明步驟302的示範範例。在影像400內，地平面402上的參考立方體404提供許多特徵點&-f6。特徵點&-f6可由通過滑鼠408在影像400上手動按一下或由計算機自動偵測來識別。在坐標對應至特徵點f,-f6並且通過滑鼠408選擇參考物體406的情況下，影像可先放大，增加選擇坐標提供給物體尺寸估測系統的準確度。^3和"、"和"以及^和玩的延伸線會導致三個消失點。利用連接與地平面402平行的直線上兩個消失點可建立消失線。在已經物體高度或尺寸，像是圖4上所示的參考立方體404或旗子406的情況下，物體406、404的頂端與底部坐標q和q'以及其實際尺寸可提供給本發明的物體尺寸估測系統來完成步驟302。請回頭參照圖3，步驟304執行最佳空間校正，避免點或坐標位置的手動選擇或自動偵測誤差影響到消失點的計算，最終影響到物體尺寸估測。步驟302上所識別對應至特徵點的坐標可考慮當成要調整的初始參數。利用與參考物體的實際尺寸做比較使用目標函數，來評估根據初始參數計算的物體尺寸估測。以圖4上的立方體404當成範例。立方體404可提供六個特徵點&-f6的坐標，集中表示為x—f'卜、1^…4e912。因為每一個特徵點fi都具有坐標(/T,/)，六個特徵點就可提供十二個參數。根據這十二個參數，就可根據直線^和^、直線^和^以及直線^和^計算出三個消失點。從與參考平面平行的直線中獲得的兩消失點可建立一條消失線。根據消失線與第三消失點，可獲得圖2C上顯示的交叉點c。根據等式(2)，攝影機中心218與地平面200的距離可計算如下formulaseeoriginaldocumentpage11假設已知高度的參考物體數量為N，集中表示為(q'，《，Ml'/42"'一，則x的目標函數為formulaseeoriginaldocumentpage11其中Zi為根據下列等式計算出來的第j個參考物體之高度:formulaseeoriginaldocumentpage11為了找尋A-"'1'=的最佳參數集，將第k個參數fk設定在[//)-^，//)+5/(]的範圍之間，其中&為找尋空間並且k:1，2，3,...12。運用計算機仿真，像是基因算法、退火算法、禁制搜尋法或粒子群體最佳化法，候選參數抽象呈現的數量發展成更佳的參數集，如此參考物體的估測尺寸會更接近其實際尺寸。D.E.Goldberg於1989年發表於J/gon說m515"earc/2C^/脂'z"f/owM3c/z/"e丄ear油g，Addison—Wesley,ReadingMA中、D.T.Pham和D.Karaboga於2000年發表於/"fe〃/ge"f」朋ea/Z"g朋diVewra/iVefvvorfo，NewYork:Springer-Verlag中以及M,Clerc於2006年發表於屍aW/c/e5V(3rm(9p"w/z""ow，HermesSciencePubns中，在此都分別關於基因算法、退火算法、禁制搜尋法或粒子群體最佳化法而併入本發明。請回頭參照圖3，在步驟304的最佳空間校正之後，在提供對應至影像內特定物體的頂端與底部坐標之下，可進行相同影像內任何物體上的物體尺寸估測。在步驟306上，對應至要測量的物體之坐標會通過使用者輸入裝置或所選物體坐標的自動偵測提供給系統。在步驟308上，根據上述等式(2)可獲得物體尺寸。圖5說明步驟306和308的示範範例。快照502可先攝取一系列視頻數據500的訊框，以獲得特定影像。一旦獲得影像，在步驟504上使用者可通過滑鼠或鍵盤選擇要測量的物體頂端與底部點。然後根據上述等式(2)獲得物體尺寸估測。另外，可依賴物體分割技術508偵測所要測量物體的所在區域，以此利用計算機分析取得該區域的頂端與底部坐標。圖6和圖7為構成本發明的範例內用於應用物體尺寸估測方法之範例場景說明。在此範例中，使用LogitechQuickCamSphere數字視頻攝影機以及CCDPulisP2650視頻攝影機含影像攝取卡WinnovVideum1000+來進行實驗。兩支攝影機的影像解析度都為640x480像素。範例使用基因算法進行最佳空間校正。搜尋空間設定為&=5。迭代次數設定為5000。群體的大小Np。p為20。選擇率Ps設定為0.2、交配率Pe為0.8並且突變率Pm設定為0.1。使用尺寸為275mm的立方體當成參考方塊。在第一範例中，數字視頻攝影機P4攝取如圖6所示的場景。攝影機的實際高度為800mm。立方體可提供六個特徵點，並且圖6內垂直畫出的三個特徵點P1、P2和P3。假設原點的坐標為(O,O)，則影像上每一點的坐標為P,(365,175)、P2(345,140)、P3(370，125)、P4(75,90)、Q"380，250)、Q2(315,170)、Q3(410，135)、Q4(285,120)。下列表1顯示根據特徵點最佳坐標獲得的物體尺寸估測結果。表1tableseeoriginaldocumentpage13其中像素表示影像上參考物體佔用的像素、轉換比例為(實際高度/像素數目)並且誤差率為(l估測高度-實際高度l/實際高度)。在第二範例中，使用CCD攝影機P4攝取場景，類似於圖7內所顯示。在此範例中攝影機的實際高度為2，650mm。假設原點的坐標為(O，0)，則影像上每一點的坐標為P,(505，260)、P2(475，230)、P3(495，210)、P4(30,220)、Qt(475，320)、Q2(635，320)、Q3(840,320)、Q4(l170，290)、Q5(670，185)、Q6(755，170)、Q7(755，100)。下列表2顯示根據特徵點最佳坐標獲得的物體尺寸估測結果。表2tableseeoriginaldocumentpage14根據上述表1和表2，本發明可提供高精確度的影像內物體之尺寸估測。所屬
技術領域：
的技術人員應即了解可對上述各項具體實施例進行變化，而不致悖離其廣義之發明性概念。因此，應了解本發明並不限於上述特定具體實施例，而為涵蓋權利要求所定義之本發明精神及範圍內的改變。權利要求1.一種獲得影像內目標物體尺寸之方法，該方法包含接收該影像內許多特徵點的坐標；接收該影像內具有已知尺寸的至少一個參考物體之坐標；執行校正來調整至少該特徵點之一的該坐標，其中調整至少該特徵點之一的該坐標來增加決定該參考物體尺寸時的精確度；以及接收該影像內該目標物體的坐標並根據該特徵點的該坐標來決定該目標物體的該尺寸。2.根據權利要求l所述的方法，其特徵在於該校正由最佳化算法來執行。3.根據權利要求2所述的方法，其特徵在於該最佳化算法包含至少基因算法、退火算法、禁制搜尋法以及粒子群體最佳化法之一。4.根據權利要求1所述的方法，其特徵在於還包含根據該特徵點的該坐標來決定消失點的坐標。5.根據權利要求4所述的方法，其特徵在於還包含根據該消失點來決定該參考物體的尺寸。6.根據權利要求4所述的方法，其特徵在於還包含接收該影像內該目標物體的坐標，並根據該消失點決定該目標物體的尺寸。7.根據權利要求1所述的方法，其特徵在於根據該影像內使用者選擇的對應點來識別該特徵點以及該參考物體的該坐標。8.根據權利要求1所述的方法，其特徵在於根據自動偵測來識別該特徵點以及該參考物體的該坐標。9.一種獲得影像內目標物體尺寸之方法，該方法包含接收對應至該影像內許多特徵點的坐標；根據對應至該特徵點的該坐標來決定對應至消失點的坐標；接收對應至該影像內具有已知尺寸的至少一個參考物體之坐標；根據對應至該消失點的該坐標來決定對應至該參考物體的該尺寸；執行校正來調整對應至該特徵點的該坐標，其中調整對應至該特徵點的該坐標來增加決定該參考物體尺寸時的精確度；以及接收該影像內該目標物體的坐標並根據該消失點決定該目標物體的尺寸。10.根據權利要求9所述的方法，其特徵在於該校正由最佳化算法來執行。11.根據權利要求io所述的方法，其特徵在於該最佳化算法包含至少基因算法、退火算法、禁制搜尋法以及粒子群體最佳化法之一。12.根據權利要求9所述的方法，其特徵在於根據使用者選擇來識別對應至該特徵點以及該參考物體的該坐標。13.根據權利要求9所述的方法，其特徵在於根據自動偵測來識別該特徵點以及該參考物體的該坐標。14.一種獲得影像內目標物體尺寸之系統，該系統包含第一裝置，其可提供對應至該影像內許多特徵點的坐標，並提供對應至該影像內至少一個參考物體的坐標，其中該參考物體的尺寸為已知；以及校正裝置，其用於接收對應至該特徵點的該坐標以及對應至該參考物體的該坐標，以及用於調整對應該特徵點的該坐標，其中調整對應至該特徵點的該坐標來增加決定該參考物體尺寸時的精確度。15.根據權利要求14所述的系統，其特徵在於該第一裝置為使用者輸入裝置。16.根據權利要求14所述的系統，其特徵在於該第一裝置為自動偵測裝置。17.根據權利要求14所述的系統，其特徵在於該校正裝置執行最佳化算法。18.根據權利要求17所述的系統，其特徵在於該最佳化算法包含至少基因算法、退火算法、禁制搜尋法以及粒子群體最佳化法之一。19.根據權利要求14所述的系統，其特徵在於還包含第二裝置，其用於接收對應至該特徵點的該坐標並產生消失點的坐標。全文摘要本發明披露一種獲得影像內目標物體尺寸之系統及方法，其包含接收影像內許多特徵點的坐標、接收該影像內具有已知尺寸的至少一個參考物體之坐標、執行校正來調整至少一個特徵點上的坐標，以及接收影像內目標物體的坐標，並根據特徵點的坐標來決定目標物體的尺寸。然後調整至少一個特徵點的坐標來增加決定參考物體尺寸時的精確度。文檔編號G01C11/00GK101216304SQ20071012318公開日2008年7月9日申請日期2007年7月2日優先權日2007年1月4日發明者李國徵申請人:財團法人工業技術研究院