一種適用於移動救援機器人的圖像採集與處理系統的製作方法

2023-05-20 06:48:51 1

專利名稱：一種適用於移動救援機器人的圖像採集與處理系統的製作方法
技術領域：
本發明涉及一種圖像處理系統，更特別地說，是指一種適用於移動^[援^L器人的 圖像採集，以及對採集圖像的處理。
技術背景近年來，多發的自然災害(如地震、火災、洪水等)，人為的恐怖禍害(如恐怖 活動、武力衝突等)，以及由炭疽熱、SARS、禽流感等生化病毒和有毒物質、輻射 性物質等帶來的恐怖，威脅著人們的安全，引起了人們廣泛的關注。雖然人們對各種 災難的警覺和反應能力有所提高，但在處理破壞性災難事件時還是準備不夠充分，很 多人依然死於非專業、不及時的救援活動。將機器人技術、營救行動技術、災難學等 多學科知識有機融合，研製與開發用於搜尋和營救的移動救援機器人，是機器人學研究中一個富有挑戰性的新領域。移動救援機器人在輔助救援工作中具有以下突出的優勢1) 可以連續執行乏味的搜索救援任務，而不會像人一樣感到疲倦；2) 不怕火、濃煙等危險和有害條件；3) 可以深入危險地帶拍攝資,研究人員分析查找；4) 重量輕，與人和搜救犬相比引起建築物二次坍塌的可能性小；5) 靈活，可以進入那些人和搜救犬都無法進入的危險地帶，越來越得到大家的 廣泛重視，並逐步得到廣泛的應用。而移動救援機器人作用的發揮離不開^IL器人的探測感知技術，對救援機器人lf言 對環境圖像信息的獲取及遇險人員的搜尋t顯得格外重要，這些都需要移動救援機器 人具有很強的圖,取處理能力。針對救援 人應用場合環^雜、體積小巧、需要長時間的工作的特點，其搭載的圖像採集與處理系統，應具有以下特點體積小巧， 功耗低，採集圖像質量高，有一定的圖像處理能力，以提高救援的效率。發明內容為了適用於小型化移動救援機器人在行進狀態下，對四周環境信息採集的需要， 本發明設計出一種嵌入式的圖像採集與處理系統，該圖像採集與處理系統應用CMOS圖像傳感器對四周環境進行採集，並將獲得的圖像信息輸出給ARM處理器,然後通過配置在ARM處理器中的圖像局部特徵提取處理模塊進行特徵提取，以更有效的獲取環境信息便於救援人員進行及時的救援活動。本發明的一種適用於移動救援機器人的圖像釆集與處理系統，其包括有圖像傳感單元(1)、圖像預處理單元(2)、模數轉換單元(3)、圖像採集與格式轉換單元(4)、邊,測單元(5)、圖像傳輸單元(6)和控制中心單元(7);圖像傳感單元(1)用於記錄下移動救援機器人行進中的環境信息《； 倒像預處理單元(2)用於對接收到的環境信息^先進行增益放大後，再進行去除白噪聲處理，從而獲得去噪圖像信息屍2;模數轉換單元(3)用於對接收到的去噪圖像信息屍2進行模數轉換後輸出YUV422格式圖像g ;圖像釆集與格式轉換單元(4)用於對接收到的YUV422格式圖像S採用整數 箅法規化處理得到RGB888格式圖像^;邊緣檢測單元(5)依據不同場景和處理速度要求對接收到的RGB888格式圖 像^進行處理獲得特徵增強圖像g;圖像傳輸單元(6)用於將S傳輸至控制中心單元(7);控斜中心單元(7)用於對接收到的S進行實時調度，較為直觀的供救援者參考。本發明的一種適用於移動it援^L器人的圖像採集與處理系統優點為(1) 本圖像採集與處理系統僅採用了 COMS傳感器和ARM處理器硬體，設備使 用簡單，結構小巧緊湊，通過在硬體上內嵌軟體的方式，f吏得控制可靠性高。(2) 在數據傳輸上充分利用ARM處理器的片上功能，提高了系統的圖像採集速度與效率。(3) 可以採用多種圖像處理手段使現有硬體能夠實現更廣的應用。(4) 軟體上釆用Linux系統作為作業系統，增強了系統軟體 可靠性、擴展性與 開放性。(5) 採用乙太網有線通訊與GPRS無線通訊兩種通訊方式，提高了系統的圖像傳 輸距離與傳輸可靠性，拓展了系統的應用範圍。(6) 採用基於PC的控制中心單元，方便系統對多個圖像採集單，行控制，以適 應移動救援機器人對於多個圖像釆集單元的需求。


圖1是本發明移動^t援機器人的圖像釆集與處理系統的結構框圖。
具體實施方式
下面將結合附圖對本發明做進一步的詳細說明。參見圖1所示，本發明是一種適用於移動救援機器人的圖像採集與處理系統， 該圖像採集與處理系統包括有圖像傳感單元1、圖像預處理單元2、模數轉換單元3、 圖像採集與格式轉換單元4、邊緣襝測單元5、圖像傳輸單元6和控制中心單元7。在本發明中，圖像採集單元1、圖像預處理單元2和模數轉換單元3可以釆用 ( MOS傳感器實現。CMOS傳感器是OV公司生產的OV9650， 130萬像素(1280 X1024像素)的圖像傳感器。在本發明中,圖像格式轉換單元4和邊緣檢測單元5可以採用ARM處理器實現。 ARM處理器是Intel生產的XScale系列PXA270型號處理器晶片。在本發明中，圖像傳輸單元6可以採用有線和/或無線進行傳輸信息。在本發明中，控制中心單元7可以是一臺PC機、筆記本等，該控制中心單元7 除了基本作業系統以外，還在安裝有能夠對g進行調度的處理軟體。本發明的一種圖像採集與處理系統中各個單元實現的功能作如下所述(一) 圖像傳感單元1圖像傳感單元1用於記錄下移動救援機器人行進中的環境信息A。 在本發明中，環境信息A包括了移動救援機器人在行進中的各種信息，如受困人 員、道路狀況、障礙物等攝像器件視野範圍內的環境圖像信息。(二) 圖像預處理單元2圖像預處理單元2用於對接收到的環境信息《先進行增益放大後，再進行去除 白噪聲處理，從而獲得去除千擾後的圖像信息A (簡稱去噪圖像信息g)。(三) 模數轉換單元3模數轉換單元3用於對接收到的去噪圖像信息屍2進行模數轉換後輸出具有 YUV422格式(Y表示明高度，UV表示色差，U和V是構成彩色的兩個分量，422 表示YUV圖像數據的打包格式,即將碼流Y。，U。,YhV,，Y2，U2,Y3,V3影射為四個像素: fYo,Uo,ViUY"U。，V丄[Y2,U2,V3UY3,U2，V3])的數位化圖像信息屍3 (簡稱YUV422 格式圖像屍3)。(四) 圖像採集與格式轉換單元4圖像採集與格式轉換單元4用於對接收到的YUV422格式圖像屍3採用整數箅法 規化處理得到RGB888格式(R表示紅色，G表示綠色，B表示藍色，888表示 RGB顏色分量各佔8比特)的圖像信息戶4 (簡稱RGB888格式圖像A)。在本發明中，所述整數箅法規化處理是運用整型運算代替浮點運箅，具體軟體語言表g形式為 0 = U-128;V = V-128;r# = V + ((Vxl03)》8;/ vg# = ((tl x 88) 8)+((V x 183)》8);Z># = 0 + ((t}xl98) 8);R = Y + *;G = Y-/"vgi/jf;tJ表示色差U運箅過程的中間變量，V表示色差V運箅過程的中間變量，r# 表示R分量與Y分量的差值，i"vg^f表示Y分量與G分量的差值，6t^表示B分 量與Y分量的差值。為了防止RGB888格式圖像屍4出現溢出，本發明分別對RGB顏色分量的計箅,/(R>255) ,/(G>255) //(B>255) R = 255; G = 255; B = 255;結《行判斷°判斷規則為、(R, ， (B<0) °R = 0; G = 0; B = 0;(五) 邊緣檢測單元5邊緣檢測單元5依據不同場景和處理速度要求對接收到的RGB888格式圖像屍4進行處理獲得特徵增強圖像g 。在本發明中，為了快速的得到被探測環境下的全部信息，在邊緣檢測單元5對 接收到的RGB888格式圖像屍4釆用自適應閾值方法來獲取最佳閾值，然後對 RGB888格式圖像g中的每一個像素點的像素值分別與最佳閾值作比較，大於最佳 閾值的賦值255，小於等於最佳閾值的賦值O，從而得到RGB888格式圖像的二值 化圖，即具有二值化的特徵增強圖像屍5;最後採用'peg壓縮方法對RGB888格式 圖像A和二值化的特徵增強圖像g進行壓縮，並通過乙太網使用UDP協議將壓縮後 的RGB888格式圖像戶4和二值化的特徵增強圖像屍5傳輸給救援控制中心7。在本發明中，為了得到更加明晰清楚的被探測環境下物體的輪廓，在邊緣檢測單 元5對接收到的RGB888格式圖像《採用canny算子的邊緣檢測方法獲得具有物體輪廓信息的特徵增強圖像S (簡稱輪廓特徵增強圖像S)，其處理步驟如下步驟一 對RGB888格式圖像屍4釆甩高斯濾波器進行圖像平滑處理得到平滑圖像；一+/高斯濾波器中的高斯平滑函數為H"，力-e 2一 ， //(^，力為^n維零均值離散高斯函數，G(;c,力為高斯平滑濾波後輸出像素函數，/(x,力為原始圖像的像 素函數，e為指數運箅，"為高斯濾波器寬度，義為像素點的橫坐標，Y為像素點的 縱坐標。步驟二對平滑圖像釆用一階偏導的有限差分來計箅梯度的幅值和方向，並對計 箅得到的梯度幅值進行非極大值抑制，從而獲得非極大值抑制圖像；對平滑圖像採用一階偏導的有限差分來計算梯度購幅值和方向滿足關係為formula see original document page 8其中巧為2X2 —階有限差分模板，用來計箅原始圖像函數的^軸的偏導數，ff2為2X2—階有限差分模板，用來計算原始圖像函數的少軸的偏導數，A(x力為原始 圖像函數的對x軸的偏導函數，伊2(矽)為原始圖像函數的對>/軸的偏導函數，伊(;c.y) 為圖像的邊緣強度，^為圖像的邊緣方向。得到全局梯度並不足以確定邊緣，要確定邊緣，必須保留局部梯度最大的點，而 抑制非極大值，對梯度幅值進行非極大值抑制是指利用梯度的方向將梯度角離散為圓 周的四個扇區，使用3X3窗口做抑制運算，在每一個點上，鄰域的中心像素伊(x力 與沿著梯度線的兩個像素相比，如果伊(x力不比沿著梯度線方向的兩個像素值大，則 令伊(x力=0。步驟三對非極大值抑制圖像採用雙閾值算法檢測和連接邊緣。 雙閾值箅法對非極大值抑制圖象作用兩個閾值rl和r2,且2rl-r2，從而可以 得到兩個閾值邊緣圖象M[/,/]和W2[/,/。由於W2[U〗使用高閾值得到，因而含有 很少的假邊緣，伹有間斷(不閉合)。雙閾值法要在iV2p^]中把邊緣連接成輪廓，當 到達輪廓的端點時，該箅法就在M[O]的八鄰域位置尋找可以連接到輪廓上的邊緣， 這樣，箅法不斷地在iV屮,y;i中收集邊緣，直到將iV2。力]連接起來為止。其中八鄰域是指該像素點為中心周圍3X3區域中除去中心點外其餘八個像素點。(六) 圖像傳輸單元6圖像傳輸單元6用於將屍5傳輸至控制中心單元7;(七) 控制中心單元7控制中心單元7用於對接收到的g進行實時調度，較為直觀的供Ht援者參考。 本發明的一種適用於移動救援機器人的圖像採集與處理系統，該系統採用了較為 ,筒單的設備CMOS傳感^% ARM處理器，以及分別內嵌這兩個晶片上的圖像處理 軟體的配合，使得在移動救援機器人的整體尺寸達到小型化設計，更有利於為實施救 援H供全面、充分的場景信息。
權利要求
1、一種適用於移動救援機器人的圖像採集與處理系統，其特徵在於該圖像採集與處理系統包括有圖像傳感單元(1)、圖像預處理單元(2)、模數轉換單元(3)、圖像採集與格式轉換單元(4)、邊緣檢測單元(5)、圖像傳輸單元(6)和控制中心單元(7)；圖像傳感單元(1)用於記錄下移動救援機器人行進中的環境信息P1；圖像預處理單元(2)用於對接收到的環境信息P1先進行增益放大後，再進行去除白噪聲處理，從而獲得去噪圖像信息P2；模數轉換單元(3)用於對接收到的去噪圖像信息P2進行模數轉換後輸出YUV422格式圖像P3；圖像採集與格式轉換單元(4)用於對接收到的YUV422格式圖像P3採用整數算法規化處理得到RGB888格式圖像P4；邊緣檢測單元(5)依據不同場景和處理速度要求對接收到的RGB888格式圖像P4進行處理獲得特徵增強圖像P5；圖像傳輸單元(6)用於將P5傳輸至控制中心單元(7)；控制中心單元(7)用於對接收到的P5進行實時調度，較為直觀的供救援者參考。
2、 根據權利要求1所述的適用於移動救援機器人的圖像採集與處理系統，其特徵在f所述整數箅法規化處理為 D = U-128;V-V-128;喊-V + ((Vxl03)》8;一# = ((t5 x 88)》8)+((V x 183) 8);W = t} + ((tjx 198)》8); °R = Y +喊；G = Y — /wvgcft/;
3、 根據權利要求1所述的適用於移動救援機器人的圖像採集與處理系統，其特徵在 於為了防止RGB888格式圖像A出現溢出，分別對RGB顏色分量的計箅結果進行判斷；其判斷規則為:formula see original document page 0
4、根據權利要求1所述的適用於移動救援機器人的圖像採集與處理系統，其特徵在 於在邊緣檢測單元(5)對接收到的RGB888格式圖像^採用canny算子的邊緣檢測方法獲得具有物體輪廓信息的特徵增強圖像屍5 ，其處理步驟如下 步驟一對RGB888格式圖像屍4採用髙斯濾波器迸行圖像平滑處理得到平滑圖像；步驟二對平滑圖像採用一階偏導的有限差分來計算梯度的幅值和方向，並對計 算得到的梯度幅值進行非極大值抑制，從而獲得非極大值抑制圖像；對平滑圖像釆用一階偏導的有限差分來計算梯度的幅值和方向滿足關係為formula see original document page 3步驟三對非極大值抑制圖像採用雙閾值箅法檢測和連接邊緣； 雙閾值算法對非極大值抑制圖象作用兩個閾值rl和r2 ，且2rl = z"2 ，從而得到 兩個閾值邊緣圖象M _/和[i, /]。
全文摘要
本發明公開了一種適用於移動救援機器人的圖像採集與處理系統，該圖像採集與處理系統包括有圖像傳感單元、圖像預處理單元、模數轉換單元、圖像採集與格式轉換單元、邊緣檢測單元、圖像傳輸單元和控制中心單元。圖像採集單元、圖像預處理單元和模數轉換單元採用CMOS傳感器實現。圖像格式轉換單元和邊緣檢測單元採用ARM處理器實現。本發明通過配置在ARM處理器中的圖像局部特徵提取處理模塊進行特徵提取，以更有效地獲取環境信息便於救援人員進行及時的救援活動。
文檔編號G06T5/20GK101577789SQ20091008646
公開日2009年11月11日 申請日期2009年6月15日 優先權日2009年6月15日
發明者醜武勝, 佳 劉 申請人:北京航空航天大學