一種三點定標測量方法

2023-08-02 14:58:51

專利名稱：一種三點定標測量方法
技術領域：
本發明屬於光學成像測量定位領域，具體說是一種智能汽車的視覺導航以及軍用無人平臺的環境感知等方法。
背景技術：
在所有的視覺導航系統和基於視覺的環境感知系統中，攝像機標定和視覺測量都是最基本的，也是最為關鍵的技術之一。攝像機標定指的是通過一些技術手段獲取攝像機的內外參數或者是這些參數的某些組合，並建立攝像機逆投影模型。視覺測量則指的是根據攝像機攝取的圖像中的像素坐標，計算與像素相對應景物點的世界坐標或者車體坐標系參考坐標。目前常用的攝像機標定方法首先要在路面與計算機屏幕圖像中選取大量的「景物點——象素」二元組，然後代入攝像機模型，最後用最小二乘法求解，推導攝像機逆投影公式，而目前常用的視覺測量方法則是在智能汽車或軍用無人平臺執行任務的過程中，計算機實時地在屏幕圖像中識別路面上的特徵(例如車道線、障礙物、溝坑、水跡、石頭、建築物陰影等)，然後將這些特徵上象素的計算機屏幕圖像坐標代入攝像機逆投影公式，計算與特徵象素對應的路面景物點的車體坐標系坐標，從而得出這些特徵與車體之間的橫向與縱向距離。
目前常用的攝像機標定方法不易於攝像機內外參數的維護。首先要選取大量的路面景物點及其對應象素，提高了標定計算量，其次最小二乘法計算複雜度也很大，這些都不利於攝像機的實時標定。而目前常用的視覺測量方法則應用了攝像機標定中求解出的攝像機內外參數建立的攝像機逆投影公式，這些公式的一般形式如下xv=Hcdcrdrcos+fsinyv=H(fcos-rdrsin)rdrcos+fsin---(1)]]>公式1中，包含了大量的三角函數運算，而在計算機的內部計算中，三角函數是最為複雜的計算形式，每一個三角函數的求解都必須經過數十步甚至上百步計算機內部的加法運算來實現。因此，如果在嵌入式計算機中運用目前常用基於大量路面景物點的方法來實時實現攝像機標定於視覺測量，就必須要求較大的計算機內存儲器容量和較高的CPU計算速度，從而提高了智能汽車視覺導航系統和軍用無人平臺環境感知系統的成本。

發明內容
本發明通過在路面上選擇三個特定的景物點以及對應的三個像素，根據其之間的坐標關係推導像素到景物點之間的逆投影公式，實現攝象機標定與視覺測量計算。
本發明的一種優選技術方案為一種三點定標測量方法，所述測量方法包括以車體為中心建立車體坐標系，以攝像機為中心建立攝像機坐標系，車體正面朝向為Y軸垂直地面方向為Z軸垂直車體側面的方向為X軸，在路面上畫兩條直線，其中一條直線與車體坐標系橫軸平行，另一條直線與車體坐標軸縱軸平行，取所述直線的交點作為三點定標中的第一特定景物點，分別在所述兩條直線的其他位置各選擇一點作為三點定標中的第二特定景物點與第三特定景物點，根據三個特定景物點以及對應的在攝像鏡頭上投影的三個像素之間的坐標關係以及消失點的坐標計算與像素相對應的景物點的世界坐標和車體坐標系參考坐標。
本發明的更進一步的一種優選技術方案為攝相機坐標系與車體坐標系的關係為Xv，Yv，Zv，攝像機坐標系Xc，Yc，Zc，所述車體坐標系與攝像機坐標系關係為xc＝xvyc＝yvcosα+Hsinα，消失點的橫坐標決定於平行線的斜率zc＝-Hcosα+yvsinαxi=(Bv1cosH-Kvsin)yi+Bv1fsinH+Kvfcos]]>xi=(Bv2cosH-Kvsin)yi+Bv2fsinH+Kvfcos]]>並記錄消失點的坐標，將消失點的坐標代入
y=(r0-r)(r-VPr)(r0-r1)(r1-VPr)dy+y0.]]>x=r-VPrr0-VPrcdx(r0).]]>四、發明目的本發明的目的是為了解決目前方法的高成本問題，力求在路面上選取儘可能少的景物點來實現攝像機標定，而且力求最終推導出的攝像機逆投影公式中只包含加、減、乘、除四則運算，從而降低對計算機內存儲器容量和CPU計算速度的要求，降低智能汽車視覺導航系統和軍用無人平臺環境感知系統的成本。
五、附

圖1、圖1為前投影小孔成像攝像機模型；2、圖2為攝像機坐標系與車體坐標系；3、圖3為縱向距離測量示意圖；4、圖4為橫向距離計算示意圖；5、圖5為基於三點定標的攝像機標定與視覺測量示意圖；6、圖6為攝像機標定程序流程圖；7、圖7為視覺測量流程圖。
六、實施例配套設施應用本發明的配套設施包括，普通攝像機，用於攝取道路圖像，攝像機攝取的道路圖像輸入到圖像採集卡，圖像採集卡安裝在計算機中，是計算機硬體系統的一部分，用於採集攝像機攝取的路面圖像，計算機及其視覺處理軟體系統，用於處理圖像採集卡採集的道路圖像，根據本發明編制的攝像機標定軟體模塊和視覺測量計算軟體模塊，包含於計算機視覺處理軟體系統中。軟體系統包括攝像機標定和視覺測量兩個獨立的軟體模塊，這兩個模塊嵌入到視覺處理計算機軟體系統中。當進行攝像機標定時，按照攝像機標定處理流程圖，計算機軟體系統應用攝像機標定軟體模塊進行處理。一旦攝像機標定完畢，即可按照視覺測量計算流程，計算機軟體系統應用視覺測量計算模塊進行視覺測量計算處理。軟體系統的核心是本發明中的兩個計算公式y=(r0-r)(r-VPr)(r0-r1)(r1-VPr)dy+y0]]>x=r-VPrr0-VPrcdx(r0)]]>本發明採用常見的前投影小孔成像攝像機模型，如圖1所示，其中像素平面表示計算機屏幕圖像，像素平面坐標原點位於計算機屏幕圖像中心。坐標系C表示攝像機坐標系。在3-D空間中取景物點P，其坐標為(xc，yc，zc)，與其對應的像素為P′，坐標為(c，r)，則根據空間幾何，(xc，yc，zc)與(c，r)之間的關係可由公式2表示。
cdcf=xcycrdrf=-zcyc---(2)]]>其中，dc表示每一像素對應的圖像平面中的寬度，dr表示每一像素對應圖像平面中的高度。令xi＝c×dc和yi＝r×dr，並代入公式2，得圖像平面中像xif=xcycyif=-zcyc---(3)]]>素點(xi，yi)和(xc，yc，zc)之間的對應關係攝像機安裝於車體頂部中心線上，與地面之間的距離為H，攝像機坐標系如圖1所示，攝像機光軸與地面之間的夾角為α，攝像機光軸在地面的投影與車體的中軸線平行。車體坐標系的原點設於攝像機坐標系原點在地面上的投影，車體坐標系Y軸與攝像機光軸在地面的投影重合。攝像機坐標系與車體坐標系之間的關係如圖2所示。
在路面上取一點P，P在攝像機坐標系中的坐標為(xv，yv，0)，在攝像機坐標系中的坐標為(xc，yc，zc)，則(xv，yv，0)與(xc，yc，zc)之間具有如下關係xc=xvyc=yvcos+Hsinzc=-Hcos+yvsin---(4)]]>將公式4代入公式3，得路面景物點在車體坐標系中的坐標(xv，yv，0)與對應像素在圖像平面坐標系中坐標(xi，yi)的對應關係xi=fxvyvcos+Hsinyi=f(Hcos-yvsin)yvcos+Hsin---(5)]]>將公式2、1代入公式5並進行變換，得xv=Hcdcrdrcos+fsinyv=H(fcos-rdrsin)rdrcos+fsin---(6)]]>目前常用的攝像機標定與視覺測量方法用的就是形如公式6計算公式。本發明為了避免大量景物點的選取以及避免公式6中的大量三角函數運算，將從下一步驟開始，逐步設計新的方法。
攝像機透視投影具有如下性質路面上的直線投影到圖像平面和計算機屏幕仍然是直線如果攝像機的俯仰角不等於90°，路面上的平行線投影到圖像平面和計算機屏幕後會匯聚於一點，即消失點，消失點的坐標與路面上平行線的斜率有關。
經推導，可得出路面上斜率為kv的平行直線在攝像機像素平面坐標系中消失點坐標(公式7)和計算機屏幕圖像坐標系中的消失點坐標(公式8)。
VPxi=KvfcosVPyi=-ftan---(7)]]>
縱向距離測量指的是測量路面上一點與車體坐標系X軸之間的縱向距離VPc=KvfdccosVPr=-ftandr---(8)]]>如圖3所示，在車體坐標系中取兩點P0和P1，其坐標分別為(x0，y0)和(x0，y1)，與P0和P1對應的像素為P0′、P1′，其坐標分別為(c0，r0)和(c0，r1)。在路面上任取一點P，其坐標為(x，y)，與其對應的像素P′的坐標為(c，r)。經過測量得知P0和P1之間的縱向距離為dy，設點P和P0之間的縱向距離為k×dy，則有將公式6、8代入公式9並簡化，可得k=y-y0y1-y0---(9)]]>公式10中，Y0表示路面上景物點P與車體之間的縱向距離，Y表示路面上任一點P與車體之間的縱向距離。
Y=(r0-r)(r-VPr)(r0-r1)(r1-VPr)dy+Y0---(10)]]>橫向距離測量指的是測量路面上一點與車體坐標系Y軸之間的橫向距離。
為了設計新的橫向距離測量方法，本發明首先提出一個定理並證明。
定理在圖像平面內任一水平線上任取兩個像素P0′和P2′，與之對應的路面上的兩個點為P0和P2，則P0和P2之間的橫向距離與P0′和P2′之間的橫向距離的比值是一個與P0′和P2′的橫坐標無關的參數。
證明設P0和P2的坐標為(x0，y0)和(x2，y2)，P0′和P2′的坐標為(c0，r0)和(c2，r2)，則根據公式6有x2-x0c2-c0=Hdc(c2-c0)rdrcos+fsinc2-c0=Hdcrdrcos+fsin---(11)]]>由公式11可知，P0和P2之間的橫向距離與P0′和P2′之間的橫向距離的比值與P0′和P2′的橫坐標無關，而是一個與P0′和P2′的縱坐標有關的參數。而且P0′和P2′的縱坐標越大，這個參數越小。該參數的實際意義是在r行每一像素所對應的實際路面寬度，令其為dx(r)，則有dx(r)=Hdcrdrcos+fsin---(12)]]>實際應用中，只要適當選定計算機屏幕圖像中的某一行，然後在這一行上任取兩個像素，即可根據這兩個像素的橫坐標以及與其對應的景物點的橫坐標很方便地計算出來。
如圖4所示，如果預先在屏幕圖像中適當選取一行作為參考線，其方程為r＝r0，並用上面介紹的方法計算出dx(r0)。此後在屏幕圖像中任取一個像素P′，其坐標為(c，r)，與像素P′對應的景物點為P，其坐標為(x，y)。那麼，如果連接路面上平行與車體坐標系Y軸平行的垂直線在圖像平面中的消失點VP0和像素P′作一直線，則該像素直線對應的路面上的景物點直線也是與車體坐標系Y軸平行的垂直線，即這條像素直線上任一像素對應的景物點與車體之間的橫向距離都相等。
如圖4所示，過消失點VP0和像素P′作一直線，該直線與參考線的交點為P″，設點P″的坐標為(c′，r0)，有cc=r-VPr0r0-VPr0c=r-VPr0r0-VPr0c---(13)]]>像素P′對應的景物點與車體Y軸之間的橫距離為X=cdx(r0)=r-VPr0r0-VPr0cdx(r0)---(14)]]>本發明規定好車體坐標系與攝像機坐標系之間的關係後，在車體前路面上作三條特定的直線，直線1和直線2平行於車體坐標系Y軸，直線3平行於車體坐標系X軸，取如圖5所示的三個特定點，其中點P0(x0，y0)為直線1與直線3的交點，點P2(x2，y2)為直線2與直線3的交點，點P1(x1，y1)位於直線1上。路面上x1=x0y2=y0---(15)]]>三個景物點的坐標之間具有如下關係與路面上三個景物點對應的計算機屏幕圖像坐標系中的三個像素分別是P0′(c0，r0)、P1′(c1，r1)和P2′(c2，r2)。這三個像素的坐標之間具有如下關係在計算機屏幕圖像中，路面上直線1和直線3的投影像素線將相交於消失點(0，VPr)，將點P0(x0，y0)、P1(x1，y1)、P0′(c0，r0)、P1′(c1，r1)以及消失點(0，VPr)的坐標代入公式10，得縱向距離的測量計算公式y=(r0-r)(r-VPr)(r0-r1)(r1-VPr)dy+y0---(17)]]>公式17中，r為計算機屏幕圖像中任意一個像素的縱坐標，y表示與該像素對應的路面上景物點的縱坐標。
將點P0(x0，y0)、P2(x2，y2)、P0′(c0，r0)、P2′(c2，r2)以及消失點(0，VPr)的坐標代入公式14，得x=r-VPrr0-VPrcdx(r0)---(18)]]>公式18中，c、r分別為計算機屏幕圖像中任意一個像素的橫坐標與縱坐標，x為該像素對應的路面上景物點的橫坐標。
由公式17、18可知，進行攝像機標定時，只需在路面上作三條如圖5所示的三條直線，取三個特定點，這三個點P0(x0，y0)、P1(x1，y1)、P2(x2，y2)以及與這三個點相對應的三個像素P0′(c0，r0)、P1′(c1，r1)、P2′(c2，r2)的坐標即為已知，而消失點的縱坐標VPr也已知。因此，本發明設計的攝像機標定方法僅僅基於路面上的三個特定點，即可標定出本發明推導的逆投影公式17、18中的參數，與傳統的標定方法相比，方便快捷。
一旦攝像機標定完成後，即可應用逆投影公式17、18進行視覺測量。即將計算機屏幕圖像中任意一個像素的坐標值代入已經參數已標定的公式17、18，就可以計算出該像素對應的路面景物點在車體坐標系中的橫、縱坐標，從而得出該景物點與車體參考原點之間的橫向、縱向距離。
對比本發明推導的逆投影公式17、18和目前常用的逆投影公式6可知，公式17、18中代表定的參數都是路面上三個特定點以及與其對應的像素的坐標，標定方式簡單，而且公式中沒有三角函數計算。與傳統的攝像機標定和視覺測量方法相比，本發明對嵌入式計算機的內存儲器容量以及CPU速度的要求均有很大程度的降低，有利於嵌入式計算機系統中的實時實現。
權利要求
1.一種三點定標測量方法，所述測量方法包括以車體為中心建立坐標系，以攝像機為中心建立坐標系，車體正面朝向為Y軸垂直地面方向為Z軸垂直車體側面的方向為X軸，其特徵在於在路面上畫兩條直線，其中一條直線與車體坐標系橫軸平行，另一條直線與車體坐標軸縱軸平行，取所述直線的交點作為三點定標中的第一特定景物點，分別在所述兩條直線的其他位置各選擇一點作為三點定標中的第二特定景物點與第三特定景物點，根據三個特定景物點以及對應的在攝像鏡頭上投影的三個像素之間的坐標關係以及消失點的坐標計算與像素相對應的景物點的世界坐標和車體坐標系參考坐標。
2.根據權利要求1所述的一種三點定標測量方法，其特徵在於攝相機坐標系與車體坐標系的關係為Xv，Yv，Zv，攝像機坐標系Xc，Yc，Zc，所述車體坐標xc＝xv系與攝像機坐標系關係為 yc＝yvcosα+Hsinα。zc＝-Hcosα+yvsinα
3.根據權利要求1所述的一種三點定標測量方法，其特徵在於消失點的橫坐標決定於平行線的斜率xi=(Bv1cosH-Kvsin)yi+Bv1fsinH+Kvfcosxi=(Bv2cosH-Kvsin)yi+Bv2fsinH+Kvfcos]]>並記錄消失點的坐標。
全文摘要
一種三點定標測量方法，所述測量方法包括以車體為中心建立坐標系，以攝像機為中心建立坐標系，車體正面朝向為Y軸垂直地面方向為Z軸垂直車體側面的方向為X軸，在路面上畫兩條直線，其中一條直線與車體坐標系橫軸平行，另一條直線與車體坐標軸縱軸平行，取所述直線的交點作為三點定標中的第一特定景物點，分別在所述兩條直線的其他位置各選擇一點作為三點定標中的第二特定景物點與第三特定景物點，根據三個特定景物點以及對應的在攝像鏡頭上投影的三個像素之間的坐標關係以及消失點的坐標計算與像素相對應的景物點的世界坐標和車體坐標系參考坐標。
文檔編號G06T7/00GK101038153SQ20071000080
公開日2007年9月19日 申請日期2007年1月15日 優先權日2007年1月15日
發明者張朋飛 申請人:中國北方車輛研究所