基於視頻的智能飛行器追蹤系統的製作方法

2023-05-19 11:12:36 1

專利名稱：基於視頻的智能飛行器追蹤系統的製作方法
技術領域：
本發明屬於視頻監控技術領域，具體涉及一種智能飛行器追蹤系統。
背景技術：
隨著世界經濟的迅速發展，航空技術的突飛猛進，不同地域之間人員的往來越來 越密切，需要快速、便捷、安全運輸的物品越來越多，在此情況下，航空運輸在整個運輸體系 中所佔比重越來越大。長期以來，空中運輸的智能信息化管理一直是相關部門探索研究的 一個重要課題。航空運輸的飛行器監控到至今仍停留在人工記錄觀測的水平上，這種傳統的方式 存在兩個不足一是管理上很難確保現場觀測工作的實時性、有效性和完整性，直接影響 了機場觀測數據的質量；二是人工觀測的一手資料差異很大，後期整理處理分析過程手段 複雜，信息的再利用價值不高。近幾年來，隨著航空器數量的不斷增加，以及重大航空事 故增多，飛行器管理工作越顯重要，急需一種能夠對飛行器起降進行精細化管理的技術手 段。智能視頻監控系統的引入很好地解決了上述問題。通過安裝在機場塔臺上的監 控攝像頭拍攝的實時監控視頻畫面來分析機場情況，主要優點在於其信號包含的畫面完整 而不殘缺，內容更加豐富而不單一，信息實時而不滯後，可以同時為計算機及工作人員所理 解，為人工快速預警和啟動緊急措施提供了可能，因此大大提高了其可靠性以及發展前景。針對機場交通環境的視頻監控系統的關鍵在於跑道上及半空的航空器的檢測，主 要難點在於戶外監控環境下的光線變化以及高速運動的背景畫面中前景對象的提取和分 離，難以建立樣本。本發明在這方面提出了很好的解決方案。

發明內容
本發明的目的在於克服上述難點，提供一種基於監控視頻的智能交通監控系統， 即飛行器追蹤系統。本發明提供的基於監控視頻的智能交通監控系統，包括安裝在機場塔臺上的監控 攝像頭及雲臺1，轉換器3，視頻分析模塊5，雲臺控制與分析模塊6，位於觀察室中的顯示屏 7 ；其中，視頻分析模塊5包括視頻觸發模塊5. 1和視頻跟蹤模塊5. 2，而視頻觸發模塊5. 1 包括背景更新子模塊5. 1. 1，前景提取子模塊5. 1. 2，多框觸發子模塊5. 1. 3 ；視頻跟蹤模塊
5.2包括特徵點提取子模塊5. 2. 1，光流跟蹤子模塊5. 2. 2，卡爾曼濾波子模塊5. 2. 3 ；雲臺 控制與分析模塊6包括速度估計子模塊6. 1，雲臺控制子模塊6. 2，飛行器行為分析子模塊
6.3o該系統由監控攝像頭拍攝實時圖像，並送出模擬信號2，傳送到位於觀察室中的 顯示屏7，顯示屏7向工作人員8顯示該攝像頭所拍攝的實時圖像；模擬信號2經由轉換器 3轉換成數字視頻信號4，然後由視頻分析模塊5中的視頻觸發模塊5. 1進行飛行器初始位 置獲取，視頻觸發模塊5. 1中的背景更新子模塊5. 1. 1接收數字視頻信號4，並根據其建立背景模型；前景提取子模塊5. 1. 2接收數字視頻信號4，並根據背景模型提取前景；多框觸 發子模塊5. 1. 3接收前景提取模塊5. 1. 2輸出的信息；特徵點提取子模塊5. 2. 1接收多框 觸發子模塊5. 1. 3輸出的信息；光流跟蹤子模塊5. 2. 2接收特徵點提取子模塊5. 2. 1輸出 的信息；卡爾曼濾波子模塊5. 2. 3接收光流跟蹤子模塊5. 2. 2輸出的信息；由視頻分析模 ±夬5輸出的飛行器坐標用於雲臺控制與分析模塊6中速度估計子模塊6. 1進行速度估計、 雲臺控制子模塊6. 2進行雲臺控制；速度估計子模塊6. 1處理後的實時速度用於飛行器行 為分析子模塊6. 3進行後期飛行器行為分析。所述背景更新子模塊5. 1. 1通過平均取出的幀圖像對背景進行學習更新。所述前景提取子模塊5. 1. 2根據背景學習模塊5. 1. 1提供的背景信息，對取出的 中貞圖像進行二值化處理，即與背景相似度(通過灰度值的差來衡量)高的像素點設為白色， 與背景差異性較大的設為黑色，從而提取出所需要的前景信息。所述多框觸發子模塊5. 1. 3，根據前景提取子模塊5. 1. 2生成的二值化圖像對圖 像幀的前景部分進行檢查，當前景按照預定次序通過多個觸發框時，產生觸發事件，獲取前 景中飛行器的位置範圍，傳遞給視頻跟蹤模塊(5. 2)中的特徵點提取子模塊5. 2. 1。所述的特徵點提取子模塊5. 2. 1在多框觸發子模塊5. 1. 3輸入的矩形範圍內，尋 找特徵點，此特徵點為角點，並存儲特徵點坐標。所述光流跟蹤子模塊5. 2. 2，在前一幀獲取的特徵點周圍基於光流金字塔，進行特 徵點匹配，如果匹配成功的特徵點數目少於指定數目，則重新檢測特徵點。否則，將獲取的 特徵點的中位數作為輸出。所述的卡爾曼濾波子模塊5. 2. 3，用於通過飛行器運動軌跡中柱形障礙物。飛行器 在通過柱形障礙物時，所有特徵點都會被遮擋一次。為卡爾曼濾波器指定好飛行器運動模 型，如果濾波器預測值與實測特徵點坐標值大於指定偏差，則在卡爾曼濾波器修正後的坐 標周圍的指定範圍內重新檢測特徵點。否則，將修正坐標傳入雲臺控制與分析模塊6。由視頻分析模塊5輸出的信息進入雲臺控制與分析模塊6。所述速度估計字模塊6. 1採用馬爾可夫鏈方法對速度計算預測，其主要思想是先 將前後兩幀飛行器中心點的像素位置轉化為實際位置(坐標係為右手三維坐標系)
其中，其中R11為第η時刻獲得的飛行器在圖像中的位置信息，-,Fn為第η時刻飛行器 在圖像中的大小，P為標定位置同對象圖像大小；左為第η時刻焦距參數，/為標定位置焦距參數； 為實測垂直距離向量；％為橫向實測長度向量，i 為縱向實測長度向量;Py
為標定位一個像素對應實際長度，pz為標定位一個像素對應實際高度。
然後利用球極坐標系將其轉換到實際速度
以攝像頭所在位置為原點，其中F為原點到飛機位置的向量，θ為F在xy平面上投影 與χ軸夾角,一π < θ <π ;Φ為？在yz平面上投影與y軸夾角jcy +《蘭。 通過機械運動的速度位移公式對視頻中飛行器的實時速度F = ^進行計算
然後將實際速度與馬爾可夫模型中的經驗速度進行對比，利用時間和位置信息與m種 狀態相匹配
所述雲臺控制子模塊(6. 2)根據上述匹配出的最合適速度vn+1 i，計算 所述行為分析子模塊(6. 3)通過將得到的一系列即時速度與歷史大量數據進行對
其中《(k)為飛行器起降各個階段權重，可以對飛機各個階段取不同權值而分別突出 要分析的階段，在起飛時當絕對值距離大於階段閾值Tt時，則可判斷飛行器有明顯的離 地過早異常行為；而在降落時絕對值距離大於階段閾值Tl時，則可判斷飛行器有明顯的 滑行過長異常行為。


圖1是本發明的系統結構圖。圖2是本發明的自動監控模塊的子模塊結構示意圖。
具體實施例方式下面根據圖1-3給出本發明的較好實施例，並予以詳細說明，使能更好地理解本 發明而不是用來限制本發明的範圍。系統以及外圍組成部分結構如圖1所示，首先由安裝在機場塔臺上的監控攝像頭 拍攝實時監控畫面，監控畫面以模擬信號的形式在線路上傳送至監控室屏幕以及信號轉換 器，信號轉換器將模擬視頻信號轉化為數字視頻信號，並作為視頻分析模塊的輸入。視頻分 析模塊對輸入的視頻信號進行智能分析，並提供給雲臺控制與分析模塊，分析速度，向雲臺 智能發送命令，輸出分析結果等。圖1中各個部分的釋義及功能如下
監控攝像頭及雲臺1 安裝在機場塔臺上，拍攝跑道與半空的實時視頻。模擬信號2 由監控攝像頭1拍攝的模擬信號視頻流。轉換器3 將模擬視頻信號2轉化為數字視頻信號4。數字視頻信號4 由數位訊號編碼的視頻流。視頻分析模塊5 接收數字視頻信號4，並基於數字視頻信號4進行一系列分析來 得到運動的飛行器坐標
視頻觸發模塊5. 1 基於背景學習和多框觸發來獲取飛行器的初始坐標。雲臺控制與分析模塊6 根據視頻分析模塊5的輸出進行分析和發送控制命令，分 為三個模塊
速度估計子模塊6. 1 通過馬爾可夫模型中的速度與計算出的實時速度相匹配得到飛 行器飛行狀態與預測速度。雲臺控制子模塊6. 2 根據得到的預測速度指揮雲臺進行下一時刻進一步追蹤。行為分析子模塊6. 3 通過與歷史以往數據的對比分析飛行器的行為是否異常。監控室屏幕7 監控室原有的監控屏幕，播放實時的監控視頻。工作人員8 根據讀取信息統計顯示模塊6信息得到相關數據採取對應規劃。圖1中編號為5的視頻分析模塊為本發明中的主要組成部分，其對數字視頻的處 理如圖2所示。
首先將數字視頻信號4進行背景建模，從而使之擁有背景信息以作為提取飛行器 的依據模型。根據該模型，可以對監控視頻進行前景提取來提出移動飛行器從而進行分析 監控。這個過程當中，飛行器依次經過多個觸發框，產生觸發事件，調用跟蹤模塊。跟蹤模 塊通過對特徵點的跟蹤和對坐標的濾波，獲取準確的飛行器坐標輸入給雲臺控制模塊。圖2中各個部分的釋義及功能如下 數字視頻信號4 其為由數位訊號編碼的視頻流。基於視頻的河道檢測模塊5. 1 基於背景學習方法，來檢測飛行器前景。背景更新子模塊(5. 1. 1)該模塊通過平均取出的幀圖像對背景進行學習更新。前景提取子模塊(5. 1. 2)該模塊根據背景學習模塊(5. 1. 1)提供的背景信息對取 出的幀圖像進行二值化處理，即與背景相似度(通過灰度值的差來衡量)高的像素點設為白 色，與背景差異性較大的設為黑色從而提取出了所需要的前景信息。多框觸發子模塊(5. 1. 3)，該模塊根據前景模塊(5. 1. 2)生成的二值化圖像對圖 像幀的前景部分進行檢查，當前景依次通過多個觸發框才產生觸發事件，可以有效避免由 於噪聲幹擾產生的誤觸發。特徵點提取子模塊(5. 1. 4)，該模塊在飛行器初始位置提取飛行器的特徵點。光流跟蹤子模塊(5. 2. 2)，在前一幀獲取的特徵點周圍基於光流金字塔，進行特徵 點匹配，如果匹配成功的特徵點數目少於指定數目，則重新檢測特徵點。否則，將獲取的特 徵點的中位數作為輸出。所述的卡爾曼濾波子模塊(5. 2. 3)，用於通過飛行器運動軌跡中柱形障礙物。飛行 器在通過柱形障礙物時，所有特徵點都會被遮擋一次。為卡爾曼濾波器指定好飛行器運動 模型，如果濾波器預測值與實測特徵點坐標值大於指定偏差，則在卡爾曼濾波器修正後的 坐標周圍的指定範圍內重新檢測特徵點。否則，將修正坐標傳入雲臺控制與分析模塊。具體跟蹤效果和視頻的質量和雲臺精確度有關。
權利要求
一種基於視頻的飛行器追蹤系統，其特徵在於包括安裝在機場塔臺上的監控攝像頭及雲臺(1),轉換器(3)，視頻分析模塊(5)，雲臺控制與分析模塊(6)，位於觀察室中的顯示屏(7)；其中，視頻分析模塊(5)包括視頻觸發模塊(5.1)和視頻跟蹤模塊(5.2)，而視頻觸發模塊(5.1)包括背景更新子模塊(5.1.1)，前景提取子模塊(5.1.2)，多框觸發子模塊(5.1.3)；視頻跟蹤模塊(5.2)包括特徵點提取子模塊(5.2.1)，光流跟蹤子模塊(5.2.2)，卡爾曼濾波子模塊(5.2.3)；雲臺控制與分析模塊(6)包括速度估計子模塊 (6.1)，雲臺控制子模塊(6.2)，飛行器行為分析子模塊(6.3)；該系統由監控攝像頭拍攝實時圖像，並送出模擬信號(2)，傳送到位於觀察室中的顯示屏(7)，顯示屏(7)向工作人員(8)顯示該攝像頭所拍攝的實時圖像；模擬信號(2)經由轉換器(3)轉換成數字視頻信號(4)，然後由視頻分析模塊(5)中的視頻觸發模塊(5.1)進行飛行器初始位置獲取，視頻觸發模塊5.1中的背景更新子模塊(5.1.1)接收數字視頻信號(4)，並根據其建立背景模型；前景提取子模塊(5.1.2)接收數字視頻信號(4)，並根據背景模型提取前景；多框觸發子模塊(5.1.3)接收前景提取模塊(5.1.2)輸出的信息；特徵點提取子模塊(5.2.1)接收多框觸發子模塊(5.1.3)輸出的信息；光流跟蹤子模塊(5.2.2)接收特徵點提取子模塊(5.2.1)輸出的信息；卡爾曼濾波子模塊(5.2.3)接收光流跟蹤子模塊(5.2.2)輸出的信息；由視頻分析模塊(5)輸出的飛行器坐標用於雲臺控制與分析模塊(6)中速度估計子模塊(6.1)進行速度估計、雲臺控制子模塊(6.2)進行雲臺控制；速度估計子模塊(6.1)處理後的實時速度用於飛行器行為分析子模塊(6.3)進行後期飛行器行為分析。
2.根據權利要求1所述的基於視頻的飛行器追蹤系統，其特徵在於所述的背景更新子 模塊(5. 1. 1)通過平均取出的幀圖像對背景進行學習更新。
3.根據權利要求2所述的基於視頻的飛行器追蹤系統，其特徵在於所述的前景提取子 模塊(5. 1.2)根據背景學習子模塊(5. 1. 1)提供的背景信息，對取出的幀圖像進行二值化 處理，即與背景相似度高的像素點設為白色，與背景差異性較大的設為黑色，從而提取出所 需要的前景信息。
4.根據權利要求3所述的基於視頻的飛行器追蹤系統，其特徵在於所述的多框觸發子 模塊(5. 1. 3)，根據前景提取子模塊(5. 1. 2)生成的二值化圖像對圖像幀的前景部分進行 檢查，當前景按照預定次序通過多個觸發框時，產生觸發事件，獲取前景中飛行器的位置範 圍，傳遞給視頻跟蹤模塊(5. 2)中的特徵點提取子模塊(5. 2. 1)。
5.根據權利要求4所述的基於視頻的飛行器追蹤系統，其特徵在於所述的特徵點提取 子模塊(5. 2. 1)在多框觸發子模塊(5. 1.3)輸入的矩形範圍內，尋找特徵點，此特徵點為角 點，並存儲特徵點坐標。
6.根據權利要求5所述的基於視頻的飛行器追蹤系統，其特徵在於所述的光流跟蹤子 模塊(5. 2. 2)，在前一幀獲取的特徵點周圍基於光流金字塔，進行特徵點匹配，如果匹配成 功的特徵點數目少於指定數目，則重新檢測特徵點；否則，將獲取的特徵點的中位數作為輸 出ο
7.根據權利要求6所述的基於視頻的飛行器追蹤系統，其特徵在於所述的卡爾曼濾波 子模塊(5. 2. 3)，用於通過飛行器運動軌跡中柱形障礙物；為卡爾曼濾波器指定好飛行器 運動模型，如果濾波器預測值與實測特徵點坐標值大於指定偏差，則在卡爾曼濾波器修正後的坐標周圍的指定範圍內重新檢測特徵點；否則，將修正坐標傳入雲臺控制與分析模塊 (6)。
8.根據權利要求7所述的基於視頻的飛行器追蹤系統，其特徵在於所述的 速度估計字模塊(6. 1)採用馬爾可夫鏈方法對速度計算預測，其主要思想是將前後兩幀飛行器中心點的像素位置轉化為實際位置 其中，iC屮R:: m η時刻獲得的飛行器在圖像中的位置信息，-,Fn為第η時刻飛行器在圖像中的大小，F為標定位置同對象圖像大小；左為第η時刻焦距參數，/為標定位置焦距參數；為實測垂直距離向量&為橫向實測長度向量，&為縱向實測長度向量為標定位一個像素對應實際長度，為標定位一個像素對應實際高度； 然後利用球極坐標系將其轉換到實際速度 以攝像頭所在位置為原點，其中F為原點到飛機位置的向量，θ為？在xy平面上投影 與χ軸夾角,一π < β < π ； Φ為？在yz平面上投影與y軸夾角，；<1通過機械運動的速度位移公式對視頻中飛行器的實時速度進行計算然後將實際速度與馬爾可夫模型中的經驗速度進行對比，利用時間和位置信息與m種 狀態相匹配。
9.根據權利要求8所述的基於視頻的飛行器追蹤系統，其特徵在於所述的雲臺控制 子模塊(6. 2)根據上述匹配出的最合適速度Vn+1,i，計算ω為雲臺橫向角速度，<J為雲臺縱向角速度，然後將下一步指令發往攝像頭及雲臺(1)。
10.根據權利要求9所述的基於視頻的飛行器追蹤系統，其特徵在於所述的行為分析 子模塊(6. 3)通過將得到的一系列即時速度與歷史大量數據進行對比，記其中《(k)為飛行器起降各個階段權重，根據對飛機各個階段取不同權值而分別突出 要分析的階段，在起飛時當絕對值距離Clij大於階段閾值Tt時，則可判斷飛行器有明顯的離 地過早異常行為；而在降落時絕對值距離大於階段閾值Tl時，則可判斷飛行器有明顯的 滑行過長異常行為。
全文摘要
本發明屬於視頻監控技術領域，具體為一種基於視頻的智能飛行器追蹤系統。包括安裝在機場塔臺上的監控攝像頭及雲臺、轉換器、視頻分析模塊、雲臺控制與分析模塊、位於觀察室中的顯示屏；本發明利用計算機視覺特徵構建實時視頻監控檢測模塊，通過雲臺控制算法構建雲臺控制與分析模塊。本發明可以自動追蹤起降飛行器軌跡，降低機場對飛行器監控的人力資源的消耗，克服運動背景視頻中對象提取與追蹤的種種困難，利用監控視頻，實現自動智能追蹤錄像分析，從而提高監控質量，可用於對機場中的飛行器進行起降全程追蹤監控、錄像和對起降行為異常分析。
文檔編號G06T7/00GK101909206SQ20101024258
公開日2010年12月8日 申請日期2010年8月2日 優先權日2010年8月2日
發明者宋振中, 張德峰, 張文強, 薛向陽, 路紅, 陳義東, 陳晨 申請人:復旦大學