交通監視環境下的攝像機標定方法
2023-05-07 20:01:26 2
專利名稱：交通監視環境下的攝像機標定方法
技術領域：
本發明涉及一種交通監視環境下的攝像機標定方法，主要用於交通監視環境下攝像機方位參數和焦距的求取，為基於視頻的各種交通信息的實時準確檢測提供基本保證。屬於智能交通技術領域。
背景技術：
通過交通智能監控系統實現交通信息的自動採集和處理是各國乃至全球智能交通系統(ITS，Intelligent Transportation System)中最基本要素之一，隨著傳感器技術、通信與網絡技術以及模式識別、圖像處理與計算機視覺等高新技術的發展，智能交通信息監測技術也得到長足的進展。一般說來，交通狀態和交通流量數據可通過各種類型的傳感器獲得，如埋藏於路面下的電感傳感器和設置於路面上的雷達、紅外線、超聲波、微波傳感器等等。但是由於這些「點」傳感器所獲取的信號不直觀，檢測精度不高而且監測範圍和檢測參數都非常有限，不能提供全面而直接的交通信息。近年來，以攝像機等視覺傳感器和計算機視覺理論為基礎的車輛識別與交通運行狀態檢測技術已經逐漸成熟，開始應用於交通信息的自動採集與處理過程中，在不需要人的幹預、或者只需要很少幹預的情況下，通過對攝像機拍錄的視頻序列分析實現動靜態車輛的檢測、分割、識別和跟蹤，判斷車輛的行為，提取交通狀態信息並予以適當控制和誘導，實現對交通系統的有效管理。攝像機標定是一個必要和基本的處理步驟，它可以確定兩維圖像坐標和三維世界坐標之間的映射關係，是車速、車型、事故勘察等與空間尺寸相關的交通信息有效提取的前提和基本保證。
在計算機視覺、工業測量、智慧機器人導航以及質量控制等領域，針對各種具體應用場合，人們常用的攝像機標定方法有以下幾種(1)利用三維結構的標定塊與圖像點的對應點進行標定的方法；(2)利用消失點標定的方法，這種方法利用平行線在圖像中形成的消失點和消失線的性質來求解攝像機參數；(3)利用平面對應矩陣標定的方法；(4)基於對應點的自標定方法，該方法利用攝像機在兩組平移或旋轉中拍攝的序列圖像之間的對應關係求取攝像機的內參數等等。這些方法由於沒有考慮交通場景的特殊性和交通景物的具體特點，當用在視頻交通監控場合時存在一定的缺點，缺乏具體的針對性和通用性。對於交通場景中的攝像機標定過程而言，標定目標的方便快捷地提取和辨識是一個必不可少的步驟和要求。基於路面上相鄰車道線段的幾何特性，Nelson，Grantham，和George等人曾引入了一種新型的交通視頻監控系統攝像機標定方法(「Anovel camera calibration technique for visual traffic surveillance，」Proc.7thWorld Congress on Intelligence Transportation Systems，paperno.3024，2000)。由於在很多情況下，相鄰兩車道線段平行且各端點順時針遞次相連所成四邊形往往為矩形，該方法充分利用此類矩形目標四個頂點的空間位置關係以及它們在圖像平面中的投影所成對應點的圖像坐標，在車道間距已知的前提下，可以直接導出求取攝像機焦距和方位參數的解析表達式。它實現簡單，具有線性時間計算複雜度，能夠簡單、快速地完成攝像機標定並且具有相當的針對性，不失為一種高效的標定方法。然而，在很多交通場合，矩形標定目標並不是很容易被發現的，比如在城市交通路口的視頻監控場景下就很難直接找到類似的目標，這是一個不容忽視的局限性，因此該方法在交通監視環境下必然缺乏通用性。
發明內容
本發明的目的在於針對現有攝像機標定技術的不足，提供一種新的交通監視環境下的攝像機標定方法，實現容易，能充分保證交通監視環境下的針對性或通用性，滿足智能交通信息視頻監測系統交通參數準確提取的實際需要。
為實現這樣的目的，本發明利用了城市交通場景內易於提取的一些典型特徵，根據路面上諸多特殊直線的分布信息，進行攝像機相關參數的確定。本發明作為一種通用的交通場景攝像機標定新方法，無需一個規則的標定矩形，僅需要路面上一組彼此間隔已知的三條平行邊和一條斜率已知的與平行線相交的直線以及它們在圖像平面上的投影來求取攝像機焦距長度和方位參數。該組平行邊彼此之間的距離需要預先確定，所選用相交直線及其斜率也需要被事先選擇並計算出來。在實際應用場合中，類似斑馬線以及包含道路兩側邊緣在內的車道線可能是所需要平行邊集合的良好選擇，也是城市交通場景中非常有代表性的典型特徵。斜率已知且與三平行邊相交的直線在交通場景中同樣很容易被找到或者被預置，這充分保證了交通監視環境下本發明所提出攝像機標定方法的針對性和通用性。要完成攝像機標定，本發明首先從交通場景中選擇出所需要的標定目標，測量路面上三平行線彼此間距並計算出與它們相交直線的空間斜率，同時找到它們在圖像中所對應的各投影直線並求出各投影直線的所有交點坐標，將這些數據作為原始輸入，最終可求得攝像機的焦距、方向和位置參數。
本發明方法的具體步驟如下(1)標定目標的選取和相關坐標系的建立在交通場景中選擇路面上一組彼此間隔已知的三條平行線、一條斜率已知並與三條平行線相交的直線作為標定目標，並確定標定目標在圖像中的各投影對應直線和對應交點。建立世界坐標系，設定其原點位於中間一條平行線與相交直線的交點，Y軸正向沿中間平行線指向前方，正Z軸垂直於地面方向向上，X軸正向水平指向右方。建立以攝像機為中心的坐標系，以透鏡中心為原點，攝像機的光軸作為V軸，並使U-W坐標軸的平面平行於圖像平面，且與原點間距為攝像機焦距。
(2)標定輸入數據初始化用最小二乘法計算出標定目標在圖像中各投影對應直線的所有交點的坐標，同時求出它們在圖像平面上的斜率；(3)關於消失線和相交直線消失點的計算根據三平行線中相鄰兩直線間距、相交直線與三平行線空間交點坐標以及它們相應投影直線的各交點坐標參數，得到消失線斜率和一般式方程以及相交直線在圖像平面上的投影直線與消失線的交點坐標；(4)攝像機參數標定由三平行線中相鄰兩直線間距、相交直線與三平行線空間交點坐標、三平行線和相交直線在圖像中投影直線的各交點坐標、消失線斜率以及相交直線的投影直線與消失線的交點坐標求得攝像機的旋轉角、偏角、俯仰角以及攝像機焦距，最後根據本發明所定義兩坐標系的相關變換關係得到攝像機鏡頭中心的三維位置坐標，完成攝像機標定。
本發明的方法實現簡單，針對性和通用性好，且具有線性計算複雜度，可應用於傳統標定方法不可能應用的諸多交通監控場合下完成攝像機標定。
圖1為本發明中世界坐標系和標定目標的關係示意圖。
圖2為本發明中標定目標投影圖像與地面消失線的示意圖。
圖3為本發明的攝像機坐標系。
圖4為本發明實施例所採用的交通場景原始圖像。
圖5為本發明實施例從原始圖像中選擇的標定目標示意圖。
具體實施例方式
為了更好地理解本發明的技術方案，以下結合附圖和實施例作進一步詳細描述。
1)標定目標的選取和相關坐標系的建立在交通場景中選擇標定目標即一組彼此間距已知的三條平行線以及一條與該組平行線相交的已知斜率的直線。它們在實際路面上分別被表示為a，b，c，d，直線a，b，c表示三條平行線，直線d與它們相交，三條平行線與直線d的交點分別被表示為A，O，B，如圖1所示。這裡，直線d的斜率已經預先測出，表示為m，直線a，b，c中兩相鄰平行線的間距順次表示為d1，d2。本發明將標定目標在圖像中所對應的投影直線分別表示為a′，b′，c′，d′，並將直線d′與直線a′，b′，c′的交點相應表示為A′，O′，B′，如圖2所示。需要說明的是，圖2中直線 表示圖像中路面平面所對應的消失線。其中，點VD表示平行線組投影a′，b′，c′所對應的消失點，而V0表示直線d′所對應消失點。
為了標定攝像機的方向和焦距參數，需要定義兩個右手坐標系世界坐標系和以攝像機為中心的坐標系。假定世界坐標系的原點位於直線b和d的交點O，Y軸正向沿直線b指向前方，正Z軸垂直於地面方向向上，而X軸正向則水平指向右方，則交點A，O，B坐標可以被表示為(xA＝-d1，yA，zA＝0)，(xo＝0，yo＝0，zo＝0)，(xB＝+d2，yB，zB＝0)，計算路面直線d斜率m＝(yB-yA)/(d2+d1)。
攝像機坐標系以透鏡中心為原點如圖3所示。V軸是攝像機的光軸，位於V＝f處的U-W平面平行於圖像平面，其中-f表示攝像機焦距。假設圖像平面上的任一點的坐標相對於攝像機坐標系而言，用(u，w)表示。
2)標定輸入數據初始化用最小二乘法計算圖像中投影直線a′，b′，c′的公共交點VD的坐標為(uD，wD)，同時得到它們與直線d′交點A′，O′，B′坐標分別為(uA′，wA′)，(uo′，wo′)，(uB′，wB′)，假設直線a′，b′，c′，d′斜率分別為k-1、k0和k1和k2，則有k-1=wA-wDuA-uD,k0=wo-wDuo-uD,k1=wB-wDuB-uD,k2=wB-wAuB-uA;]]>3)關於消失線和相交直線消失點的計算計算中間變量X45，X56，X46，X456D值分別為X45=(2k-1k1-k0k1-k0k-1)(d1/d2)+(k1k-1-k0k-1)(d1/d2)2+(k1k-1-k0k1)(k0-k1)(d1/d2)2+(2k0-k-1-k1)(d1/d2)+(k0-k-1),]]>X56=(k0-k1)(d1/d2)+(k0-k-1)(k1-k0)(k-1uD-wD)(d1/d2)+(k-1-k0)(k1uD-wD),]]>X46＝X45·X56X456D＝uD·X56-wD·X46則路面直線在圖像中投影所對應的消失線方程為k·u-w+(wD-k·uD)＝0，其中k＝-X45，為消失線斜率。
直線d′通過O′(uo′，wo′)點，且已求得斜率為k2，其方程可表示為k2·u-w+(wo′-k2·uo′)＝0則通過消失線和直線d′方程能夠計算出消失線的交點坐標(u，w)；4)攝像機參數標定
假定攝像機鏡頭中心位於空間點(xc，yc，zc)，並且攝像機的偏角(Pan)，俯仰角(Tilt)和旋轉角(Swing)分別被表示為θ，，ψ，則計算旋轉角(Swing)ψ。公式為ψ＝arctg(X45)計算攝像機的偏角(Pan)θ為{|=k1+arcsin[(2X+m)/1+m2]/2-[k2+arctg(m)]/2or]]>=(2k1+1)/2-arcsin[(2X+m)/1+m2]/2-[k2+arctg(m)]/2,]]>k1，k2＝…-1，0，1，2…，-π/2≤θ≤π/2}其中X=X456D/[(1+X452)X56(u-uD)],]]>計算俯仰角(Tilt)φ為φ＝arcsin(tgθ/X456D)計算攝像機焦距為f=-wDcos+uDsintg]]>考慮世界坐標系中地面上的一點P(x，y，z)，假定它在圖像平面上的投影點是P′＝(u，w)，並定義A＝cosθcosψ+sinθsinφsinψ，B＝sinθcosψ-cosθsinφsinψ，C＝cosφsinψ，D＝-sinθcosφ，E＝cosθcosφ，F＝sinφ，G＝sinθsinφcosψ-cosθsinψ，H＝-cosθsinφcosψ-sinθsinψ，I＝cosφcosψ，則攝像機透鏡中心的實際坐標可由如下方程式給出(L.L.Wang，and W.H.Tsai，「Camera Calibration by Vanishing Lines for 3-D Computer Vision，」IEEE Transactions on Pattern Analysis and Machine Intelligence，vol.13，no.4，pp.370-376，April 1991.) 其中，h為攝像機的安裝高度。
根據式(1)中關於xc的表達式，計算攝像機安裝高度為h＝(d1+d2)/(a-b)，其中
a＝(uA′A+fD+wA′G)/(uA′C+fF+wA′I)，b＝(uB′A+fD+wB′G)/(uB′C+fF+wB′I)由於O點坐標為(xo＝0，yo＝0，zo＝0)，根據式(1)計算攝像機鏡頭中心三維位置坐標為
根據A到I定義計算A，B，C，D，E，F，G，H，I的值並取驗證式|uD-BfE|+|wD-HfE|T]]>(T為一接近零的閾值)以檢驗所得多組θ，φ，ψ，f的值，最終選擇出攝像機方位參數準確解組。為了驗證本發明所提出方法的有效性，本發明的一個實施例採用了以圖4所示的實際交通場景圖像，並在此實際交通場景圖像中選擇了標定目標，如圖5所示。選擇圖像中共點於VD的三條相鄰車道線作為標定所需要的一組平行線，分別標識為a′，b′，c′，以停車線作為相交直線d′，它們在世界坐標系中的實際對應直線分別表示為a，b，c，d，其中直線d斜率m＝0，直線a和b以及直線b與c之間的距離也事先已知。
實驗結果表明，標定參數的求取與四條直線選擇的精度有密切關係，但是經過仔細選擇，可以得到平均浮動誤差約為5％的穩定結果，如表1所列為焦距f和攝像機安裝高度h的標定值和實際值的比較(攝像機方向數據因無法測量，難以給出實際值予以比較，故從略)，這說明本方法完全能夠滿足交通監控系統的精度要求，該實驗在一定程度上證明了本發明所提出方法的有效性。
表1攝像機焦距和安裝高度的實驗標定結果
權利要求
1.一種交通監視環境下的攝像機標定方法，其特徵在於包括如下步驟1)標定目標的選取和相關坐標系的建立在交通場景中選擇路面上一組彼此間隔已知的三條平行線、一條斜率已知並與三條平行線相交的直線作為標定目標，並確定標定目標在圖像中的各投影對應直線和對應交點，建立世界坐標系，設定其原點位於中間一條平行線與相交直線的交點，Y軸正向沿中間平行線指向前方，正Z軸垂直於地面方向向上，X軸正向水平指向右方，建立以攝像機為中心的坐標系，以透鏡中心為原點，攝像機的光軸作為V軸，並使U-W坐標軸的平面平行於圖像平面，且與原點間距為攝像機焦距；2)標定輸入數據初始化用最小二乘法計算出標定目標在圖像中各投影對應直線的所有交點的坐標，同時求出它們在圖像平面上的斜率；3)關於消失線和相交直線消失點的計算根據三平行線中相鄰兩直線間距、相交直線與三平行線空間交點坐標以及它們相應投影直線的各交點坐標參數，得到消失線斜率和一般式方程以及相交直線在圖像平面上的投影直線與消失線的交點坐標；4)攝像機參數標定由三平行線中相鄰兩直線間距、相交直線與三平行線空間交點坐標、三平行線和相交直線在圖像中投影直線的各交點坐標、消失線斜率以及相交直線的投影直線與消失線的交點坐標求得攝像機的旋轉角、偏角、俯仰角以及攝像機焦距，最後根據兩坐標系的變換關係得到攝像機鏡頭中心的三維位置坐標，完成攝像機標定。
全文摘要
一種交通監視環境下的攝像機標定方法，從交通場景中選擇出一組彼此間隔已知的三條平行邊和一條斜率已知的與平行線相交的直線作為所需要的標定目標，找到它們在圖像中所對應的各投影直線並求出各投影直線的所有交點坐標，根據這些數據求得攝像機的焦距、方向和位置參數。本發明可以利用城市交通場景內類似斑馬線以及包含道路兩側邊緣在內的車道線等易於提取的典型特徵，根據路面上諸多特殊直線的分布信息，進行攝像機相關參數的確定，方法實現簡單，針對性和通用性好，且具有線性計算複雜度，可應用於傳統標定方法不可能應用的諸多交通監控場合下完成攝像機標定。
文檔編號H04N5/225GK1564581SQ20041001770
公開日2005年1月12日 申請日期2004年4月15日 優先權日2004年4月15日
發明者陳兆學, 施鵬飛 申請人:上海交通大學