一種多相機定位與跟蹤方法及系統的製作方法
2023-05-04 05:38:16
專利名稱：一種多相機定位與跟蹤方法及系統的製作方法
技術領域：
本發明涉及計算機視覺技術領域，尤其涉及的是一種多相機定位與跟蹤方法及系 統。
背景技術：
20世紀80年代美國麻省理工學院人工智慧實驗室的Marr提出了一種基於兩幅有 視差的二維平面圖像，產生具有深度信息的立體圖形的視覺計算理論，奠定了計算機立體 視覺發展的理論基礎。相比於其他的立體視方法，如全息照相術、投影式三維顯示和透鏡板 三維成像等技術；計算機立體視覺技術模擬人類雙眼處理景物的方式，測量簡便可靠，在很 多領域具有應用價值。目前，較為流行的計算機立體視覺測量技術是基於雙目立體視覺的三維測量技 術。雙目視覺測距原理，如
圖1所示，點P(x，y，z)代表帶測量的空間點，P1和已分別代表 P點在兩個相機成像面的投影，O1和O2分別代表兩個相機的光心，0_xyz代表世界坐標系。相 機101的焦距Π和相機102的焦距Π相同，兩相機的光軸平行，且二維成像平面與相機 101坐標系和相機102坐標系重合。兩個相機之間的基線距離為b，則空間目標的深度Z則 可以用以下公式表達Z =—
d其中，d表示目標在兩相機成像面中的視差(X1-Xr)。在實際應用中，由於在相機成像器件和光學鏡頭製造，測試環境光照和視差計算 等方面均存在誤差，這些累積誤差對雙目視覺測量系統的測量精度產生了很大的影響。以 微視公司的MVC360SAM_GE60_STERE0雙目視覺產品為例，其測量方向僅有物體的深度信 息，且精度約為150mm。所以，現有的基於雙目視覺的測量技術具有測量精度較低，穩定性不 好，易受外界噪聲幹擾等缺點。因此，現有技術還有待於改進和發展。
發明內容
為了克服以往雙目視覺測量方法易受外界噪聲幹擾的影響，本發明的目的在於提 供一種多相機定位與跟蹤方法及系統，其不受外界的影響，可以實現較好的定位精度，且測
量穩定性高。本發明的技術方案如下一種多相機定位與跟蹤方法，其中，包括步驟A、多個相機從不同的方位實時連續採集被測物體的圖像信號；B、將採集到的各路圖像信號通過圖像畸變技術進行圖像矯正；C、將矯正後的各路圖像信號採用基於顏色空間模型的目標識別技術，進行目標識 另|J，找出被測物在各個相機中不同時刻的成像位置二維坐標；
D、將被測 物在各個相機中不同時刻的成像位置二維坐標通過優化算法進行2D坐 標插值計算；E、基於經過優化算法計算的被測物體，在所有相機成像面中的多個二維平面坐標 所構成的多條空間異面直線，通過三維坐標定位算法計算被測物的空間三維坐標。所述多相機定位與跟蹤方法，其中，所述步驟C具體包括Cl、通過多次拍攝取平均值的方法，提取出被測物體矯正後的多路圖像信號顏色 分量模型[R，G，B]；C2、對含有該被測物體待識別圖像的每個像素的顏色分量[Rp，Gp，Bp]，和已提取 的顏色分量模型[R，G，B]做如下處理
權利要求
1.一種多相機定位與跟蹤方法，其特徵在於，包括步驟A、多個相機從不同的方位實時連續採集被測物體的圖像信號；B、將採集到的各路圖像信號通過圖像畸變技術進行圖像矯正；C、將矯正後的各路圖像信號採用基於顏色空間模型的目標識別技術，進行目標識別， 找出被測物在各個相機中不同時刻的成像位置二維坐標；D、將被測物在各個相機中不同時刻的成像位置二維坐標通過優化算法進行2D坐標插 值計算；E、基於經過優化算法計算的被測物體，在所有相機成像面中的多個二維平面坐標所構 成的多條空間異面直線，通過三維坐標定位算法計算被測物的空間三維坐標。
2.根據權利要求1所述多相機定位與跟蹤方法，其特徵在於，所述步驟C具體包括 Cl、通過多次拍攝取平均值的方法，提取出被測物體矯正後的多路圖像信號顏色分量模型[R，G，B]；C2、對含有該被測物體待識別圖像的每個像素的顏色分量[Rp，Gp, Bp]，和已提取的顏 色分量模型[R，G，B]做如下處理Rc- RbPG-G1tB-B^< σbOr,, 08和％代表三個顏色分量的門限閾值，如果以上公式成立，則當前像素則被認 為是被測物體；C3、當找到圖像中的所有目標的像素，則被測物體在該幅圖像中即被識別出來，其二維 平面坐標可以用重心位置(x，y)表示。
3.根據權利要求1所述多相機定位與跟蹤方法，其特徵在於，所述步驟E具體包括 E1、獲取被測物體在所有相機成像面中的，經過2D坐標插值計算的二維平面坐標(Xi， y》，其中，i = 1，2，... N，N表示系統的相機個數；E2、在世界坐標系Ow-XwYwZw中，定義相機的外部參數用平移向量(tx，ty，tz)和旋轉角 度θ，Ψ，^表示，並建立相機的旋轉R和平移向量t :ru = COS ψ cos φrn = sin Θ sin ψ cos φ-cos θ sin φ rn = cos Θ sin ψ cos φ-sin θ sin φ "2| = cos ψ sin φ 胃 φ ■ r22 二 sin θ sin ^ sin ^ + cos θ cos φ r23 = cos θ sin ψ sm. φ ~ sin Θ cos φ^31 =Sin ψ言一rn = sin ^ COS^-r33 = cos 權 sin ρE3、定義每個相機光心與相機成像面其中一點(x，y)連成的直線為極線； 令相機的焦距用f表示，則通過該相機光心和點(χ，y)的極線方程[Xw，Yw, Zw]，用如 下式子表達rurn R =hir22,23/31hir33txtytz
4.根據權利要求1所述多相機定位與跟蹤方法，其特徵在於，所述步驟D中的優化算法 採用最小二乘法、平均法或中值法。
5.根據權利要求4所述多相機定位與跟蹤方法，其特徵在於，當採用最小二乘法時，所 述步驟D具體包括步驟D1、計算被測物在各個相機中的不同時刻成像位置二維坐標(Xmk Ymk)，其中，m代表標 號為m的相機，k = 0，1，2. . . η代表不同時刻計算出的目標在相機m中的平面二維坐標； D2、對於坐標X，令Φ (χ) = ax2+bx+C，將η個χ坐標帶入後得到 Xm0 = aO2 士 b0 士 c Xm1 = al2+bl+c Xm2 = a22+b2+cXmn = an2+bn+cD3、依據誤差的最小平方和，求得參數a，b，c
6.根據權利要求4所述多相機定位與跟蹤方法，其特徵在於，當採用平均法時，所述步 驟D具體包括步驟D11、計算被測物在各個相機中的不同時刻成像位置二維坐標(Xmk Ymk)，其中，m代表標 號為m的相機，k = 0，1，2. . . η代表不同時刻計算出的目標在相機m中的平面二維坐標；D12、採用均值
7. 一種多相機定位與跟蹤系統，其特徵在於，包括多個圖像視頻採集設備、用於從不同的方位實時連續採集被測物體的圖像信號，並將 所述被測物體的圖像信號通過有線或者無線的方式傳送至圖像矯正模塊；與多個圖像視頻採集設備聯接的圖像矯正模塊，用於通過圖像畸變技術對所述採集到 的各路圖像信號進行矯正；與所述圖像矯正模塊聯接的目標識別模塊，用於將矯正後的各路圖像信號採用基於顏 色空間模型的目標識別技術，進行目標識別，找出被測物在各個相機中不同時刻的成像位 置二維坐標；與所述目標識別模塊聯接的2D坐標插值計算模塊，用於將被測物在各個相機中不同 時刻的成像位置二維坐標通過優化算法進行2D坐標插值計算；與所述2D坐標插值計算模塊聯接的三維定位計算模塊，用於基於經過優化算法計算 的被測物體，在所有相機成像面中的多個二維平面坐標所構成的多條空間異面直線，通過 三維坐標定位算法計算被測物的空間三維坐標。
全文摘要
本發明公開了一種多相機定位與跟蹤方法及系統，所述的方法包括多個相機從不同的方位實時連續採集被測物體的圖像信號；將被測物在各個相機中不同時刻的成像位置二維坐標通過優化算法進行2D坐標插值計算；在所有相機成像面中的多個二維平面坐標所構成的多條空間異面直線，通過三維坐標定位算法計算被測物的空間三維坐標本。發明所提供的一種多相機定位與跟蹤方法及系統，利用多相機成像的信息冗餘特點，最大程度地克服相機內外參數誤差和其他諸如光照等因素影響所帶來的系統測量誤差，可以實現較好的定位精度，達到5-20mm的定位精度，而且測量結果為待測目標的三維坐標信息，實現目標的三維空間坐標測量。
文檔編號G01B11/03GK102072706SQ20091018952
公開日2011年5月25日 申請日期2009年11月20日 優先權日2009年11月20日
發明者劉偉, 胡超, 賀慶 申請人:深圳先進技術研究院