一種針對目標跟蹤控制的圖像信號綜合處理裝置製造方法
2023-10-17 08:08:04
一種針對目標跟蹤控制的圖像信號綜合處理裝置製造方法
【專利摘要】本實用新型公開了一種針對目標跟蹤控制的圖像信號綜合處理裝置，包括依次相互連接的CCD電視跟蹤控制器、串行數字接口、跟蹤計算機和伺服裝置，所述CCD電視跟蹤控制器包括相互連接的CCD攝像頭、數字接口電路和跟蹤處理器，所述跟蹤處理器包括相互連接的主控制計算機和圖像數據採集卡。本實用新型解決了實時場景中獲取的圖像容易受到如光照、新目標的影響等因素幹擾的問題；同時解決了目標跟蹤過程中，運動目標的不規則運動或是目標之間相互遮擋的問題，是一種準確性、魯棒性、實時性的目標檢測和跟蹤方法。
【專利說明】一種針對目標跟蹤控制的圖像信號綜合處理裝置
【技術領域】
[0001]本實用新型公開了一種針對目標跟蹤控制的圖像信號綜合處理裝置，涉及圖像處理和圖像跟蹤控制【技術領域】。
【背景技術】
[0002]隨著計算機技術、網絡技術、圖像處理技術的迅猛發展，視頻監控目前已成為研究熱點，視頻監控是指在沒有人為幹預的情況下，通過攝像頭採集監控場景的視頻圖像序列，利用圖像處理、視頻分析以及模式識別等方法對採集到的圖像進行自動分析，得到目標的運動參數並以此作為主要依據控制攝像頭始終指向目標實現對目標的連續跟蹤，還可以判斷目標的行為，並對異常情況作出反應。
[0003]監控系統一般由前臺的視頻捕捉系統及後臺的圖像處理系統組成，捕捉系統主要負責圖像採集，提供檢測信息；圖像處理系統完成圖像分割、特徵提取以及對目標的跟蹤，目標圖像信號經過圖像處理單元處理後，產生偏移信號並驅動電路使伺服機構產生控制信號帶動雲臺上的攝像頭將目標放大、做特寫，獲取目標的特徵信息，使目標始終處於圖像顯示區的中心附近，從而完成對目標的跟蹤。
[0004]雖然對運動目標檢測和跟蹤理論的研究已經進行了好多年，但是目前他仍然存在許多難以解決的問題，在實時場景中獲取的圖像容易受到很多因素的幹擾，如光照、新目標的影響；同時在目標跟蹤過程中，運動目標的不規則運動或是目標之間相互遮擋問題等，所以目前來說開發出一種準確性、魯棒性、實時性的目標檢測和跟蹤方法是現在最需要解決的問題。
實用新型內容
[0005]本實用新型所要解決的技術問題是:針對現有技術的缺陷，提供一種針對目標跟蹤控制的圖像信號綜合處理裝置，解決了實時場景中獲取的圖像容易受到如光照、新目標的影響等因素幹擾的問題；同時解決了目標跟蹤過程中，運動目標的不規則運動或是目標之間相互遮擋的問題，是一種準確性、魯棒性、實時性的目標檢測和跟蹤方法。
[0006]本實用新型為解決上述技術問題採用以下技術方案:
[0007]一種針對目標跟蹤控制的圖像信號綜合處理裝置，包括依次相互連接的CXD電視跟蹤控制器、串行數字接口、跟蹤計算機和伺服裝置，所述CCD電視跟蹤控制器包括相互連接的CXD攝像頭、數字接口電路和跟蹤處理器，所述跟蹤處理器包括相互連接的主控制計算機和圖像數據採集卡；所述CXD攝像頭的信號輸出端通過數字接口電路連接至跟蹤處理器；跟蹤處理器經過數據採集卡和主控制計算機相連接，主控計算機的輸出端和串行數字接口相連接，串行數字接口的輸出端和跟蹤計算機相連，跟蹤計算機的輸出端和至伺服裝置相連。
[0008]作為本實用新型的進一步優選方案，所述C⑶攝像頭為CS8620HCi型號的黑白工業級高解析度數字CCD攝像機。
[0009]作為本實用新型的進一步優選方案，所述串行數字接口具體為IEEE1394。
[0010]作為本實用新型的進一步優選方案，所述主控制計算機為通用微機。
[0011]本實用新型採用以上技術方案與現有技術相比，具有以下技術效果:本實用新型解決了實時場景中獲取的圖像容易受到如光照、新目標的影響等因素幹擾的問題；同時解決了目標跟蹤過程中，運動目標的不規則運動或是目標之間相互遮擋的問題，是一種準確性、魯棒性、實時性的目標檢測和跟蹤方法。
【專利附圖】
【附圖說明】
[0012]圖1是本實用新型的實物結構示意圖。
[0013]圖2是本實用新型所採用雙波門跟蹤方法示意圖。
【具體實施方式】
[0014]下面詳細描述本實用新型的實施方式，所述實施方式的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施方式是示例性的，僅用於解釋本實用新型，而不能解釋為對本實用新型的限制。
[0015]本【技術領域】技術人員可以理解的是，本實用新型中涉及到的相關模塊及其實現的功能是在改進後的硬體及其構成的裝置、器件或系統上搭載現有技術中常規的計算機軟體程序或有關協議就可實現，並非是對現有技術中的計算機軟體程序或有關協議進行改進。例如，改進後的計算機硬體系統依然可以通過裝載現有的軟體作業系統來實現該硬體系統的特定功能。因此，可以理解的是，本實用新型的創新之處在於對現有技術中硬體模塊的改進及其連接組合關係，而非僅僅是對硬體模塊中為實現有關功能而搭載的軟體或協議的改進。
[0016]本【技術領域】技術人員可以理解的是，本實用新型中提到的相關模塊是用於執行本申請中所述操作、方法、流程中的步驟、措施、方案中的一項或多項的硬體設備。所述硬體設備可以為所需的目的而專門設計和製造，或者也可以採用通用計算機中的已知設備或已知的其他硬體設備。所述通用計算機有存儲在其內的程序選擇性地激活或重構。
[0017]本【技術領域】技術人員可以理解，除非特意聲明，這裡使用的單數形式「一」、「一個」、「所述」和「該」也可包括複數形式。應該進一步理解的是，本實用新型的說明書中使用的措辭「包括」是指存在所述特徵、整數、步驟、操作、元件和/或組件，但是並不排除存在或添加一個或多個其他特徵、整數、步驟、操作、元件、組件和/或它們的組。應該理解，當我們稱元件被「連接」或「耦接」到另一元件時，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這裡使用的「連接」或「耦接」可以包括無線連接或耦接。這裡使用的措辭「和/或」包括一個或更多個相關聯的列出項的任一單元和全部組合。
[0018]本【技術領域】技術人員可以理解，除非另外定義，這裡使用的所有術語(包括技術術語和科學術語)具有與本實用新型所屬領域中的普通技術人員的一般理解相同的意義。還應該理解的是，諸如通用字典中定義的那些術語應該被理解為具有與現有技術的上下文中的意義一致的意義，並且除非像這裡一樣定義，不會用理想化或過於正式的含義來解釋。
[0019]下面結合附圖對本實用新型的技術方案做進一步的詳細說明:
[0020]本實用新型的電路結構示意圖如圖1所示，所述CCD電視跟蹤控制器通過CCD攝像頭獲取外部的圖像信息，通過數字接口電路將數位訊號傳遞給跟蹤處理器，跟蹤處理器完成通過視頻採集卡採集數據，跟蹤處理器對圖像信息處理後，輸出角位置偏差信號，通過串行數字接口向跟蹤伺服裝置的跟蹤計算機發送圖像跟蹤信號，實現對目標的跟蹤。CCD攝像頭選用東芝泰力CS8620HCi型號的黑白工業級高解析度數字C⑶攝像機，圖像質量高，顏色還原性好，以IEEE1394作為輸出，信號穩定。該攝像機有如下特點:
[0021]1、高解析度:採用高像素數(38萬像素)(XD，實現水平解析度570電視線，可以採集到雜波少、抖動量少的高解析度圖像。CCIR規格:44萬像素，水平解析度560電視線。
[0022]2、超小型輕便:29(W) X29 0l)x31(D)約50g，本產品超小型輕便，使用DV12V的電源就可採集圖像。
[0023]3、電子快門:具有電子快門功能，即便超動態條件下也能採集到不模糊的清晰圖像。
[0024]4、AGC(自動增益控制):具有自動增益控制功能，可在變化的光量條件下採集到清晰的圖像。
[0025]5、重啟/復位:位功能，通過輸入R.R脈衝信號(VD)可在所需要的任意時段採集至IJ圖像。
[0026]6、特殊快門/隨機觸發快門:通過輸入外觸發信號，可實時採集到圖像的特殊快門及隨機觸發快門。
[0027]7、近紅外光譜區域感光:CS8620Hci採用近紅外光譜區域感光(XD，即便接近近紅外光譜區域也能採集到清晰鮮明的圖像。
[0028]跟蹤處理器需要實時對圖像進行處理，檢測出圖像中的目標，同時對圖像進行壓縮和本身的狀態進行檢查，實時輸出目標的角偏差信號、狀態信息及疊加處理信息的圖像數據。
[0029]跟蹤處理器用於對圖像信號的綜合處理，包括對視頻圖像信號的處理、跟蹤角誤差形成、自身的狀態實時監測、與外圍計算機的信息交互、電視圖像的疊加處理以及交互信息的實時輸出，其主要任務和功能是:
[0030](I)對視頻信號進行處理，完成對目標的檢測與跟蹤，並實時把跟蹤信號送給控制計算機；
[0031](2)對處理機進行檢查，並實時將上述狀態參數送給控制計算機；
[0032](3)接收控制計算機的中斷信號，控制空載信息處理機由待機狀態轉運行狀態。
[0033]為便於教學演示，跟蹤處理器採用通用微機作為主控制計算機，採用圖像數據採集卡實現圖像信號輸入PC計算機，再由通用圖像識別與跟蹤控制軟體實現圖像跟蹤。
[0034]在原理上本系統採用的是波門跟蹤。波門是目標跟蹤系統實際處理時所採用的窗口，它的大小介於目標和視場之間。設置波門可以非常有效地排除背景幹擾，還可以大大減少計算量以提高計算速度。波門中心由圖中目標的位置決定，通常可以認為目標的中心和波門的中心是完全重合的。
[0035]跟蹤波門可分為固定式和自適應式兩種。固定式波門的大小不會隨著目標的遠近移動而變化，自適應式則會根據目標圖像在視場中的大小按一定的規則發生變化。當目標由遠到近運動而探測器焦距不變時，目標圖像自然會隨之變大，這就要求跟蹤波門也要隨之作出相應的變化以保證目標圖像始終包含在波門之內。對於自適應大小的跟蹤波門，其大小的調整可以通過人的參與進行，也可以通過測距儀先測出目標的攝像機的距離，然後根據投影關係確定目標的大小，根據計算得到的目標大小確定跟蹤波門的大小。
[0036]波門中心及其大小由目標圖像中心以及基於圖像的目標快速識別與跟蹤技術研究其目標圖像尺寸大小所控制。穩定平臺自動跟蹤系統在工作時需要從目標的圖像中提取目標的位置信息，進而形成跟蹤誤差信號去驅動伺服機構對目標進行跟蹤。通常，從目標圖像中提取目標位置信息的方法常用波門跟蹤模式。
[0037]波門的大小在很大程度上影響運算速度，波門過大會導致運算速度降低，所以波門不能太大，否則影響跟蹤效果。在滿足系統跟蹤精度要求的情況下，為了兼顧運算速度和系統的抗幹擾能力，考慮採用雙波門來設置跟蹤窗口。雙波門算法是指波門由內門和外門二層構成，內門緊貼目標，外門的設置是為了判斷目標的運動狀態(離開或進入)，相當於為內門跟蹤提供一定的裕度，內外門之間區域稱為背景採樣區，下面介紹雙波門的設計方法，如圖2所示。
[0038]圖2給出了跟蹤窗口的設置，內門用來緊緊套住運動的目標，隨著目標的移動導致的圖像大小變化，內門隨之變化，並且隨著目標的中心而移動。外門將內門包含其中，它的大小是根據內門的大小按照一定比例自行調整的，調整的規則是保證能反映目標周邊的灰度分布且不影響圖像處理的實時性。
[0039]在一個目標跟蹤系統中，波門中心和大小的初始值通常有兩種方法確定:一種方式是通過人的參與，人通過觀看屏幕上圖像中目標的位置和大小，採用半自動的方式確定波門大小和位置；另一種方式利用序列圖像提供的信息，自動確定圖像中目標的位置和大小。第一種方式由於有人的介入，因此目標的確定的可信度和位置的精度比較高，由於第二種方式需要先對圖像的內容進行理解識別，從圖像中分離出所需要跟蹤的目標，而目標的自動識別的正確性還不能完全保證，因此在實際中還有待更好的識別方法的研究。目前的目標自動識別方法通常有:灰度分割法，區域增長法，模板匹配法，特徵提取識別法等，對於運動目標的序列圖像，還可以通過幀間差，計算光流場，特徵點對應等方法來提取運動目標。
[0040]波門跟蹤通常和其它跟蹤方法相結合，例如，波門跟蹤和質心跟蹤結合時，跟蹤時使質心的計算只需要在波門內進行，在波門內計算得到目標的質心後，再將波門的中心移動到質心處，使目標始終處于波門的中心，在任何一個處理周期內，都取波門的中心作為目標的位置，從而在不斷的波門位置的更新過程中完成對目標的跟蹤。
[0041]相關跟蹤是利用序列圖像中運動目標在不同位置的相關性進行目標跟蹤的一種算法，這種方法不需要對圖像進行分割和特徵的提取，而只在原始圖像數據上進行運算，保留了圖像的全部信息，具有對圖象質量要求不高，可以在低信噪比條件下穩定工作的特點，同時該算法能適應目標的背景比較複雜的場景條件下的跟蹤，局部抗幹擾能力有所提高，在許多複雜環境場景下都能得到應用。因此相關跟蹤算法是目前國內外研究地最多的一種跟蹤算法。
[0042]相關跟蹤採用模板匹配的方法，模板匹配一種是基於對圖像相似性的衡量，在現場實時獲取的圖像中尋找與目標模板最為接近的圖像區域的識別跟蹤方式[47]。模板匹配法對於圖像的特徵不明顯，特徵不易提取的場合特別適用。其算法的描述如下:
[0043]I)通過人的參與或自動識別獲取包含目標的初始模板，模板的大小為MXN ；
[0044]2)設定模板的移動區域為土L，即模板的移動範圍為當前位置向上下左右四個方向的偏移量均從O到L;
[0045]3)在搜索範圍內採用某種相關性度量函數和一定的搜索策略獲取原圖像中和模板的匹配度最高的子圖，將該子圖的位置設定為目標的新位置；
[0046]4)根據原來的模板圖像和最佳匹配子圖，同時依據一定的模板更新策略更新模板，採用新的模板，並將當前位置移動到新位置回到第3步進行新一次的搜索。
[0047]在相關跟蹤算法中，匹配函數的選擇對匹配的精度和匹配的速度有很大的影響，常用的匹配相關度量有如下幾種:
[0048](a)歸一化相關函數
[0049]設模板T以圖像I為背景做平移運動，模板下方和模板同樣大小的I中的子圖為Si』j，其中i，j分別為子圖的中心在圖像I中的坐標。可用絕對差的平方和D(i，j)來表示子圖和模板的相似性:
[0050]D(i,j) = Y^Slj{m,η)-T⑴
m=l n=\
[0051]D(i, j)越小，表示模板和子圖相似度越高，將(2.18)展開有:
[0052]D(i,j) = ^^\slJ-2^^SlJ(m,n)xT(m,n) + ^^\T(m,n)\2 (2)
m=l n=\m=\ n=\m=\ n=\
[0053]式中，等號右邊最後一項表示模板的總能量，大小與(i，j)無關；第一項表示背景中被模板覆蓋的子圖能量，它隨(i，j)的位置而改變；第二項是圖像和模板的互相關，隨(i, j)變化，當T與SU匹配時此項最大，因此可用如下函數作為圖像的相關性度量:
YjYjSij (m,n)xT(m,n)
[0054]R(Ij) = ^r-N-— (3)
ΣΣ|η")Ι
m=l ?=1
[0055]可以歸一化為:
M N
Σ Σ ^lj (rr^n)xT (m，η)
[0056]D=卜廣1N2(4)
λ/ΣΣΙγ(^^)Γ α/ΣΣ|^,7(^π)|
Y m=l n=l]f m=l n=l
[0057]則式(4)中的R(i，j)就為歸一化相關函數，當R(i，j) = I時，表示子圖在(i，j)處和模板完全匹配，在相關跟蹤中，取R(i，j)最大時的(i，j)作為一次搜索的結果，搜索到的目標的位置完全由歸一化相關函數的最大值來確定。但採用歸一化相關函數做為相關跟蹤中的匹配函數計算量特別巨大，不適合在工程實踐中作為實時跟蹤算法使用，因此又提出了下面幾種相關度量來進行相關跟蹤，以減少相關跟蹤的計算量，提高相關跟蹤的跟蹤速度。
[0058](b)平均絕對差值法(SDA)I MN
[0059]SDA 算法的表達式為:所/,./』)—(5)
IVifS m=i n=\
[0060]當R(i，j)取為最小值時，(i，j)處的子圖就是與模板最為相似的，該位置為最佳匹配點。
[0061](c)固定權值的δ相關算法
[0062]δ相關算法採用了 δ相關度量來計算子圖和模板的相關性大小。下面先給出δ相關度量中S的定義:
I, shi(m,n)-T(m,?)| < ε
_3],取二丨(6)
O,.V (ηι,η)-Τ(ιη,η)^ > ε
[0064]其中，ε表示子圖和模板中對應像素判定為相同的閾值，ε的取值通常取圖像的噪聲強度均方差的3倍。
[0065]因為對於均值為μ，均方差為σ的正態分布的隨機變量X, P { μ _3 O< X ^ μ +3 σ } = 0.9974,因此X落在[μ _3 σ，μ +3 σ ]之間幾乎是肯定的事，因為圖像的噪聲為標準正態分布的，因此可以取ε =3。作為閾值來決定模板和子圖中對應的像素是否相同，如果相同，則δ取1，否則取O。
[0066]δ相關算法定義為:
Y M N
_7] RH,/)(7)
[0068]將模板在圖像I的搜索區內移動，使R(i，j)為最大的子圖就是最佳匹配的子圖，取(i，j)作為運動目標的新位置。當子圖和模板完全匹配時，R(i，j) = I。
[0069](d)變權值的δ相關算法
[0070]在執行相關跟蹤算法時，通常在模板中含有目標部分，也含有背景部分，在鎖定目標並確定模板時，通常使目標處在模板的中心，而在模板的邊緣處會有一些背景像素，為了減小這些非目標像素的影響，可以在固定權值的S相關算法的基礎上作一點改進，取δ函數為:
C, s''J (m,n) - T'(m, η) < ε
[0071]Sij=\..(8)
[0072]其中(:為(1變化的一個可變的權值，d為模板上的點到模板中心的距離。通常情況下，d越小，則權值C越大，但又要使最大和最小的C維持在一個合理的變化範圍內。通常可以取C為d的鐘形函數，gp
[0073]C = C(d) = Ae—"1 (9)
[0074]式中，Α、λ的取值儂據經驗而定，可取A = I, λ = 0.0025。定義了可變權值的δ函數後，餘下部分的處理和固定權值的δ函數處理方式完全一樣。
[0075]圖像跟蹤根據不同的應用場合有各自適用的算法，還有諸如邊緣跟蹤、基於卡爾曼濾波的預測跟蹤、基於仿射變換的目標跟蹤等方法，這些算法對目標的變化有較好的適應性，但其運算量特別巨大，帶來的運算延遲使得相鄰兩幀圖像中的目標運動的太遠的距離而超出圖像跟蹤器的搜索範圍，從而目標就很容易丟失，因此在實際的圖像跟蹤中需要綜合考慮運算的複雜度和跟蹤的穩定性。
[0076]上面結合附圖對本實用新型的實施方式作了詳細說明，但是本實用新型並不限於上述實施方式，在本領域普通技術人員所具備的知識範圍內，還可以在不脫離本實用新型宗旨的前提下做出各種變化。以上所述，僅是本實用新型的較佳實施例而已，並非對本實用新型作任何形式上的限制，雖然本實用新型已以較佳實施例揭露如上，然而並非用以限定本實用新型，任何熟悉本專業的技術人員，在不脫離本實用新型技術方案範圍內，當可利用上述揭示的技術內容做出些許更動或修飾為等同變化的等效實施例，但凡是未脫離本實用新型技術方案內容，依據本實用新型的技術實質，在本實用新型的精神和原則之內，對以上實施例所作的任何簡單的修改、等同替換與改進等，均仍屬於本實用新型技術方案的保護範圍之內。
【權利要求】
1.一種針對目標跟蹤控制的圖像信號綜合處理裝置，其特徵在於:包括依次相互連接的CCD電視跟蹤控制器、串行數字接口、跟蹤計算機和伺服裝置，所述CCD電視跟蹤控制器包括相互連接的CXD攝像頭、數字接口電路和跟蹤處理器，所述跟蹤處理器包括相互連接的主控制計算機和圖像數據採集卡； 所述CXD攝像頭的信號輸出端通過數字接口電路連接至跟蹤處理器；跟蹤處理器經過數據採集卡和主控制計算機相連接，主控計算機的輸出端和串行數字接口相連接，串行數字接口的輸出端和跟蹤計算機相連，跟蹤計算機的輸出端和至伺服裝置相連。
2.如權利要求1所述的一種針對目標跟蹤控制的圖像信號綜合處理裝置，其特徵在於:所述CXD攝像頭為CS8620HCi型號的黑白工業級高解析度數字CXD攝像機。
3.如權利要求1或2所述的一種針對目標跟蹤控制的圖像信號綜合處理裝置，其特徵在於:所述串行數字接口具體為IEEE 1394。
4.如權利要求3所述的一種針對目標跟蹤控制的圖像信號綜合處理裝置，其特徵在於:所述主控制計算機為通用微機。
【文檔編號】G06T7/20GK203968271SQ201420383801
【公開日】2014年11月26日 申請日期:2014年7月11日 優先權日:2014年7月11日
【發明者】周洪成, 胡豔, 陳存寶, 姜志鵬, 劉海陵 申請人:金陵科技學院