海難搜救機器視覺系統中結合運動信息的視覺注意模型的製作方法

2023-08-09 10:07:21 3

專利名稱：海難搜救機器視覺系統中結合運動信息的視覺注意模型的製作方法
技術領域：
本發明屬於機器視覺領域，是涉及一種應用於海難搜救機器視覺系統的，結合運 動信息的改進的視覺注意模型。
背景技術：
通過分析可見光成像設備獲取的圖像序列，在水上場景中進行目標檢測是海難搜 救機器視覺系統的重要任務之一。上世紀九十年代起，國外學者對海難搜救中應用圖像處理技術和機器視覺技術， 進行了初步的探討。Sumimoto利用搜救目標的顏色特徵進行海難目標檢測；Yamamoto 提出了利用圖像處理技術檢測救生筏的方法。Westall等提出利用形態學方法等輔助 UAV(unmanned automatic vechile)對落水人員進行定位。視覺注意是建立在人類視覺感知機制基礎上的，該方法特別適合在複雜場景中檢 測目標，引起了國內外學者的廣泛關注。自下而上和自上而下是視覺注意機制中兩類注意 區域選擇機制，自下而上是數據驅動的，完全根據圖像自身的特徵得到顯著區域，而自上而 下是任務驅動的，根據先驗知識指導顯著區域的選擇。Itti提出的特徵圖組合策略中，利 用了圖像的顏色、亮度和方向三個特徵，同時Itti提出了四種特徵合併策略，並對其進行 了對比。葉聰穎提出了基於HSI空間的船舶檢測視覺注意模型，即在HSI顏色空間中，對三 個分量採用多尺度的視覺差分計算獲得各個分量特徵圖，進而對其進行線性融合獲得顯著 圖。這些模型僅考慮了圖像的靜態信息。近年來，很多學者在視覺注意模型中靜態信息與動態信息相結合的理論和方法上 開展了大量研究工作。張焱提出了一種結合運動特徵的顯著圖提取方法，該方法中顯著圖 是利用了圖像的灰度、細節和運動特徵，其中圖像的灰度特徵來自小波分解中的低頻分量， 細節部分來自經過小波分解後的高頻分量，而運動特徵是由相鄰幀之間的相關曲線得到 的。Sim討論了基於運動集成的弱小目標檢測算法，其中特徵選擇了亮度、方向和運動特徵。 陳嘉威將運動速度和運動方向弓丨入運動顯著圖中，以此在複雜場景中檢測目標。Bur等人對 各類綜合靜態特徵和動態特徵的視覺注意模型進行了對比，其中動態特徵中利用了圖像的 空間梯度信息。針對海難搜救的特殊應用，即船載攝像機會隨著船舶運動，而被檢測目標也是動 態變化的，普通的運動目標檢測方法效果不理想，即僅考慮運動特徵時，較易把目標和背景 噪聲混淆。同時，採用經典的三類特徵生成視覺顯著圖時，水天線明顯的方向特徵，在方向 通道中十分顯著，對海難搜救的目標檢測任務而言是較大的幹擾。

發明內容
本發明主要針對在海難搜救的場景下，經典的視覺注意模型，沒有包括運動信息， 並且顏色、亮度和方向三個特徵顯著圖計算量較大；此外海上背景中水天線對搜救目標檢 測有較大的影響等問題；而提供一種結合運動信息的視覺注意模型，以進行海難搜救視覺系統中的目標檢測問題。為了實現上述目的，本發明是通過如下的技術方案來實現海難搜救機器視覺系統中結合運動信息的視覺注意模型，所述結合運動信息的視 覺注意模型是通過以下步驟實現的1)對當前幀圖像Ik，獲取其顏色信息Color和亮度信息Intensity ；2)對顏色信息與亮度信息，分別求其高斯金字塔，並通過center-surround差分 運算和規範化處理，得到兩個通道的特徵圖；3)對當前幀圖像Ik與前一幀圖像Ιη，利用滑動平均方法獲得當前幀的背景圖像 Backgr0Imdk，然後利用差分方法得到當前幀的運動信息圖，並對其進行規範化處理；4)將顏色、亮度和運動信息，三個部分的特徵，按照線性合併策略進行特徵合併， 得到總顯著圖。5)通過WTA機制，選擇視覺注意的焦點，生成總特徵圖。本發明的使用考慮到視覺注意模型在複雜場景目標檢測中的優勢，使用視覺注意 模型進行目標檢測時，在原有的靜態特徵基礎上加入運動信息，形成總顯著圖，該運動信息 來源於採用滑動平均的幀間差分結果，該方法簡單易實現；此外，顯著圖選用顏色、亮度和 運動特徵，而棄用傳統視覺注意模型中的方向特徵，一方面可以簡化算法，另一方面可以避 免水天線的幹擾。該方法可以滿足海難搜救的應用要求。


下面結合附圖和具體實施方式
來詳細說明本發明；圖1為本發明中結合運動信息的視覺注意模型流程圖。圖2a為實驗的原圖像。圖2b為背景差分結果效果示意圖。圖2c為Itti模型的各通道顯著圖。圖2d為Itti模型的顯著圖。圖2e為Itti模型中無方向信息的顯著圖。圖2f為本發明方法的顯著圖。圖3a為實驗的原圖像。圖3b為背景差分結果效果示意圖。圖3c為Itti模型的各通道顯著圖。圖3d為Itti模型的顯著圖。圖3e為Itti模型中無方向信息的顯著圖。圖3f為本發明方法的顯著圖。
具體實施例方式為使本發明實現的技術手段、創作特徵、達成目的與功效易於明白了解，下面結合具體實施方式
，進一步闡述本發明。本發明是一種結合運動信息的視覺注意模型，主要針對在海難搜救的場景下，經 典的視覺注意模型，沒有包括運動信息，並且顏色、亮度和方向三個特徵顯著圖計算量較大；此外海上背景中水天線對搜救目標檢測有較大的影響。針對這些問題，進行的改進設 計。基於上述目的，本發明提供的海難搜救機器視覺系統中結合運動信息的視覺注意 模型，是通過下列步驟實施的(如圖1所示)1)對當前幀圖像Ik，通過線性濾波獲取其顏色信息Color和亮度信息Intensity ；2)對顏色信息與亮度信息，分別求其高斯金字塔，並通過center-surround差分 運算和規範化處理，得到兩個通道的特徵圖，生成顏色特徵的顯著圖以及生成亮度特徵的 顯著圖；3)對當前幀圖像Ik與前一幀圖像Ιη，利用滑動平均方法獲得當前幀的背景圖像 Backgr0Imdk，然後利用差分方法得到當前幀的運動信息圖，並對其進行規範化處理；4)將顏色、亮度和運動信息，三個部分的特徵，按照線性合併策略進行合併，得到 總顯著圖。5)通過WTA機制，選擇視覺注意的焦點，生成總特徵圖。基於上述方案，本發明在實施時，主要面臨的問題是，第一是如何提取運動信息， 要求計算量儘量小並足以反映運動目標的特徵；第二是針對總顯著圖，如何選擇圖像序列 的特徵。針對第一個問題，本發明採用了較常見的滑動平均方法，獲得背景圖像，然後利用 圖像序列中的當前幀與當前背景圖像差分獲得運動特徵；設Ik(X，y)是圖像序列V的第k幀，則當前更新的背景圖像為Background, (x, y) = α Ik(x, y) + (1-α ) I^1 (χ, y),0 ^ α 彡 1 (1)α是當前幀在背景圖像中的權重，其大小取決於背景變化的程度。由背景差分方 法可得運動目標圖像為Mk(x, y) = Ik(χ, y)-Background,(χ, y) (2)針對不同的圖像，可採用不同權重。同時，為與顏色特徵及運動特徵進行合併，獲得的運動目標圖像還需要進行規範 化處理，即有丸(xj) = N[Mk (x,>；)]。針對第二個問題，本發明選擇了顏色、亮度和運動信息三個特徵，計算量小，實現簡單。首先，特徵圖中沒有考慮方向通道的信息，可避免24個方向特徵圖的計算，簡化 運算，本發明所需的特徵圖僅有19個；其次，本發明提出的特徵圖生成方法有效的去除了水天線的幹擾。基於上述方案，本發明具體實驗如下實驗一，參見圖2a_2f，該實驗中權重設定為0.8。其中圖2a顯示實驗的原圖像； 圖2b顯示背景差分結果效果示意圖；圖2c顯示Itti模型的各通道顯著圖；圖2d顯示Itti 模型的顯著圖；圖2e顯示Itti模型中無方向信息的顯著圖；圖2f顯示本發明方法的顯著 圖。實驗二，參見圖3a_3f，該實驗中權重設定為0.9。其中圖3a顯示實驗的原圖像； 圖3b顯示背景差分結果效果示意圖；圖3c顯示Itti模型的各通道顯著圖；圖3d顯示Itti 模型的顯著圖；圖3e顯示Itti模型中無方向信息的顯著圖；圖3f顯示本發明方法的顯著
5
從附圖2a_2f和附圖3a_3f的實驗結果可以看出，應用Itti的模型，水天線是方 向顯著圖中的主要部分，經過三個通道信息加權，會在總顯著圖中顯示出來，而在海難搜救 的具體應用中，該信息是較強的幹擾信息。本發明方法得到的顯著圖中，因為沒有考慮方向 信息，水天線不再出現。另外，本發明在生成顯著圖時，即考慮了圖像的靜態信息，又考慮了動態信息。在 附圖2a_2f和附圖3a_3f的實驗結果中，本發明方法生成的顯著圖中，由於同時考慮了圖像 的靜態信息和動態信息，特別是背景差分後的結果更加突出可能存在目標的區域。本發明的使用考慮到視覺注意模型在複雜場景目標檢測中的優勢，生成視覺顯著 圖時，在原有的靜態特徵基礎上加入運動信息，形成綜合的顯著圖，該運動信息來源於採用 滑動平均的幀間差分結果，該方法簡單易實現；總顯著圖選用顏色、亮度和運動三類特徵， 沒有包括方向特徵，一方面可以簡化算法，另一方面可以避免水天線的幹擾；在特徵合併策 略上，採用了線性合併策略；該方法可以滿足海難搜救的應用要求。以上顯示和描述了本發明的基本原理和主要特徵和本發明的優點。本行業的技術 人員應該了解，本發明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本 發明的原理，在不脫離本發明精神和範圍的前提下，本發明還會有各種變化和改進，這些變 化和改進都落入要求保護的本發明範圍內。本發明要求保護範圍由所附的權利要求書及其 等效物界定。
權利要求
海難搜救機器視覺系統中結合運動信息的視覺注意模型，其特徵在於，所述結合運動信息的視覺注意模型是通過以下步驟實現的1)對當前幀圖像Ik，獲取其顏色信息和亮度信息；2)對顏色信息與亮度信息，分別求其高斯金字塔，並通過center surround差分運算和規範化處理，得到兩個通道的特徵圖；3)對當前幀圖像Ik與前一幀圖像Ik 1，利用滑動平均方法獲得當前幀的背景圖像，然後利用差分方法得到當前幀的運動信息圖，並對其進行規範化處理；4)將顏色、亮度和運動信息，三個部分的特徵，按照線性合併策略進行特徵合併，得到總視覺顯著圖；5)通過WTA機制，選擇視覺注意的焦點，生成總特徵圖。
全文摘要
本發明公開了一種應用於海難搜救機器視覺系統中，結合運動信息的視覺注意模型，在實施時，主要利用圖像序列中的亮度、顏色和運動信息三個方面的特徵，利用線性合併策略形成視覺顯著圖，並通過競爭機制獲得當前視覺注意焦點，以此進行海難搜救的目標檢測。此處的運動信息來源於圖像序列的當前幀與滑動平均後背景圖像之間差分的結果。本發明的使用，可以實現在海難搜救動態背景條件下生成搜救目標顯著圖，從而得到視覺注意焦點。本發明使用的運動信息計算量小、實現方便，同時該方法不必計算傳統視覺注意模型中的方向特徵，這樣可以有效去除水天線帶來的幹擾，使視覺注意模型更適用於海難搜救特定環境中。
文檔編號G06T7/20GK101976439SQ20101052776
公開日2011年2月16日 申請日期2010年11月2日 優先權日2010年11月2日
發明者任蕾, 冉鑫, 應士君, 施朝健, 陳建彪, 陳錦標 申請人:上海海事大學