冷凝器管口圖像的平面質心定位方法

2023-06-20 23:17:41 1

專利名稱：冷凝器管口圖像的平面質心定位方法
技術領域：
本發明主要涉及圖像處理技術領域，尤其涉及一種冷凝器管口圖像的平面質心定位方法。
背景技術：
我國火力、太陽能及核能發電廠大型機組冷凝器的循環冷卻水多採用江河湖海及地下水作補充水，隨著自然界水源的水質汙染日益嚴重，且其鹽鹼度因循環冷卻水的濃縮而不斷增高，會造成冷凝管內汙物堵塞和管道結垢。冷凝管材多為黃銅和碳鋼，因循環水處理不當易發生垢下腐蝕、黃銅脫鋅腐蝕、電偶腐蝕、應力腐蝕和衝擊腐蝕，導致凝汽器冷凝管穿孔、洩露而引發停機事故。冷凝管道結垢腐蝕造成管內真空度下降、換熱效率嚴重降低和汽輪機排汽壓力增加，導致發電機組工作效率降低、設備壽命縮短以及運行成本提高。此外，醫院、辦公大樓及賓館等公共場所使用的集中空調通風系統因空氣中存在灰塵、細菌及病毒微生物，運行一段時間後空調通風管道容易積塵結垢並受到微生物汙染，造成通風管道堵塞、環境汙染和疾病傳播。因此，需要採用經濟有效的手段防止循環冷卻水系統及通風管道系統的結垢和腐蝕，保持換熱管路及通風管道的清潔，提高換熱效率，並節約能源，確保公共環境衛生和預防疾病。採用傳統的膠球清洗、酸洗、人工噴槍清洗、刮刀或鑽頭清洗和高壓水槍清洗法清洗冷凝管，因膠球分布不均勻，酸洗劑對冷凝管損害較大，需要停機人工操作，工作環境惡劣而且清洗效率低，都會影響設備的正常運轉。為實現高效在線自動化清洗，目前已出現智能移動式冷凝器清洗機器人，可利用聲傳感器系統搜索並定位目標的大致方位，引導機器人靠近清洗目標，近距離採用光學傳感器進行目標識別和定位，採用高壓水射流技術，通過視覺伺服系統和運動控制系統的協作，提取管板的圖像特徵信息並加以處理，指揮清洗臂帶動高壓水噴槍對準凝汽器管板上的冷凝管口自動噴洗。此外，現有的空調風管清洗機器人能夠平穩行走和越障，能實現對風管進行攝像、定量採樣、照明、清洗和吹氣。智能移動清洗機器人的機械臂末端安裝攝像頭，需要實時估計機械臂末端執行器位姿的變化量與圖像平面特徵變化量之間的特徵靈敏度矩陣，即圖像雅可比矩陣(Image Jaccobin Matrix)，並且要計算其逆矩陣。特徵抽取精度會影響整個系統的控制精度。現有的管口視覺定位方法主要採用邊緣檢測和聚類算法提取管口邊緣，採樣精度固定為邊緣級，尚未實現根據圖像內管口大小和數目自動調整採樣精度。現有的「內接三角形定位法」 和「二弦中垂線交點定位法」對邊緣的取樣點數太少，求出的質心與實際質心的位置誤差較大。由於管板位於水室中，水下照明方式為匯聚光照明，管板以照明中心點的光線最強，徑向逐漸減弱，導致圖像背景區域灰度分布不均勻；且水和水中的渾濁物對光線存在折射、散射和卷積效應，亮度不均產生許多雜散的白亮色團，造成圖像信噪比降低，出現偽輪廓、自陰影和噪聲
發明內容
本發明所要解決的技術問題是針對現有技術存在的問題，本發明提供一種精度高、計算量小，能夠準確計算圖像包含的完整管口數量，提取管口輪廓，並計算管口質心坐標信息的冷凝器管口圖像的平面質心定位方法。為解決上述技術問題，本發明採用以下技術方案—種冷凝器管口圖像的平面質心定位方法，其特徵在於，所述方法包括以下步驟(1)對攝像機進行標定；(2)控制機器人手眼機構沿攝像機的光軸運動，連續拍攝待清洗管板區域的灰度鳥瞰圖，在其中選擇清晰的圖像進行預處理，得到多個管口和背景呈「黑白」對照的二值圖像，所述待清洗管板區域中的管口呈橫縱錯列式分布；(3)按「列掃描」所述二值圖像中每列的像素灰度值之和，並投影到Y坐標軸，繪製成列像素灰度值累加和曲線S1 ；統計S1中共N個「列波谷」谷底處的局部極小值點集的橫坐標，存入各列管口的質心粗略橫坐標向量COL (j)；按「行掃描」所述二值圖像中每行的像素灰度值之和，並投影到X坐標軸，繪製成行像素灰度值累加和曲線& ；統計&中共M個「行波谷」谷底處的局部極小值點集的縱坐標，存入各行管口質心粗略縱坐標向量ROW(i)；得到所有可能的質心粗略坐標對集合(COL (j)，ROW(i))；(4)剔除所述(COL(j)，ROW(i))中位於背景區域的偽質心，得到各行及各列管口質心的粗略二維坐標集合(CENTER_X(k)，CENTER_Y(k))，其中k為管口序號且
k=l，2，···，；完成多目標的質心粗略定位。作為本發明的進一步改進上述的方法中，所述對攝像機進行標定，具體包括以下步驟預先在待清洗管板區域內用固定雷射束標識出二個以上標定點，控制機器人手眼機構使攝像機做六次純平移運動並在每次運動前後拍攝圖像，前三次的運動方向互相垂直，後三次的運動方向互相垂直， 找出每次標定點在運動前圖像中的投影點和在運動後圖像中的投影點，並根據標定點在運動後圖像中的投影點的位置坐標，在運動前圖像中找出相同位置坐標的對應點，在運動前圖像中畫出運動前投影點與所述對應點的連線；攝像機每次純平移運動時根據所述二個以上標定點所得的二條以上連線交於同一交點，運動前攝像頭的光心到所述交點的矢量方向為攝像機運動方向，得到攝像機六次純平移運動的六個運動方向，解出攝像機內外參數和畸變參數；根據所述內外參數和畸變參數建立攝像機圖像像素坐標與對應的空間點坐標之間的幾何關係，從而在拍攝圖像時在2D圖像平面空間內根據所述幾何關係補償反饋偏差， 矯正畸變。上述的方法中，所述預處理具體包括以下步驟(2. 1)對所述灰度鳥瞰圖像進行自適應中值濾波和直方圖均衡化，以去除較大孤立點噪聲並提高對比度；(2. 2)對圖像進行自適應閾值處理假設隨機像素只屬於目標管口區域或者背景區域，求取圖像灰度級的離散概率密度函數的歸一化直方圖，再採用Otsu法選擇最大化類間方差σ〗的閾值，並將該閾值縮放到合適的範圍，使用縮放後的閾值對完成步驟(2. 1)後的圖像做全局閾值處理；(2. 3)對圖像進行形態學處理假設待處理圖像像素集合為F，全局閾值處理後的圖像像素集合為A，採用公式(1)對圖像進行處理廠=<^ (義05)=(((義 5) 5) <^) <^公式(1)使用結構元素B對集合A開操作即用B對A先腐蝕，再用B對所述腐蝕結果膨脹；使用結果元素C對(AoB)後的結果進行閉操作即用C對(AoB)先膨脹，再用C對膨脹結果進行腐蝕；公式(1)中，所述B為結構元素，所述C為結果元素。上述的方法中，所述完成多目標的質心粗略定位後，進行分類質心精確定位，包括以下步驟(4. 1)在所述二值圖像中繪製k個分別包圍所述圖像中的k個管口的矩形框，鎖定管口區域；(4. 2)設 numberl, number2, number3 e N+(N+ 為正整數集合)，且 number 1 < number2 < number3 < L，其中L為二值圖像中可能的最大管口數；(4.2.1)當所述二值圖像中管口數量^曰(0，numberl]時，採用邊界取樣鏈碼
模塊在所述矩形框範圍內進行管口識別和質心精確定位，即對所述管口區域邊界進行網格二次取樣，確定管口的邊界鏈碼，求取邊界鏈碼的近似多邊形的頂點的數目、橫坐標累加和以及縱坐標累加和，計算相應的算術平均值，作為管口的質心精確坐標；(4.2.2)當所述二值圖像中管口數量^ie (numberljumbed]時，採用直接提
取邊界模塊在所述矩形框範圍內進行管口識別和質心精確定位，即提取管口區域邊界，分別求取邊界點橫坐標的累加和與縱坐標的累加和，計算對應的算術平均值，作為管口的質心精確坐標；(4.2.3)當所述二值圖像中管口數量(number2，number3]時，採用區域均
值精確定位模塊在所述矩形框範圍內進行管口識別和質心精確定位，即分別求取管口所在區域點的橫坐標累加和縱坐標累加和，求取對應的算術平均值，作為管口的質心精確坐標。上述的方法中，所述L為10 15，所述numberl為3，所述number2為6 8， number3 為 10 15。上述的方法中，所述步驟(4. 1)具體包括以下步驟(4. 1. 1)求取直線ysl = m與曲線S1中的每個「列波谷」的交點，其中m為圖像高度，獲得每個「列波谷」的下降側的起始端點(x_left)p和上升側的終止端點(x_right)p; 將各「列波谷」的兩端點橫坐標間的區間長度作為圖像中各縱列管口的最大橫軸徑長，存入最大橫軸徑長向量max (D_a)，其中，第ρ列管口的最大橫軸徑長為maX(D_a)p，即max (D_a)p = (x_right)p-(x_left)p, ρ = 1，2，· · .，N 公式求取直線^ = n與曲線&中的各「行波谷」的交點，其中η為圖像寬度，獲得每個 「行波谷」的下降側的起始端點(y_d0Wn) q和上升側的終止端點(y_up) q ；將各「行波谷」的兩端點縱坐標之間的區間長度作為圖像中各橫排管口的最大縱軸徑長，存入最大縱軸徑長向量max (D_b)，其中，第q排管口的最大縱軸徑長為max (D_b),，即max (D_b) = (y_up) -(y_down) , q = 1,2, . . . , M公式(5)
(4. 1.2)根據得到的最大橫軸徑長向量maX(D_a)，並選定一疊加裕量θ，採用下式計算得到管口圖像的外包矩形框的寬度基準值rectjidth，其中，Max_D_a為第1 列至第N列縱列管口的最大橫軸徑長；根據得到的最大縱軸徑長向量max (D_b)，並選定一疊加裕量σ，採用下式計算得到管口圖像的外包矩形框的高度基準值reCt_height，其中，Max_D_b為第 1行至第M行橫排管口的最大縱軸徑長；(4. 1. 3)從圖像左上角第一個管口起直至右下角最後一個管口，以粗略二維坐標集合(CENTER_X(k)，CENTER_Y(k))中的坐標點為中心，分別繪製以rectjidth為寬度 rect_height為高度的矩形框，按序包圍第1 第k個目標管口，鎖定管口區域。上述的方法中，所述疊加裕量θ的取值範圍為0.03 0.07，所述疊加裕量σ的取值範圍為0. 03 0.07。上述的方法中，(4. 2. 1. 1)從所述二值圖像中左上方第1個矩形框開始，即從k = 1開始，當前矩形框左上角點為起點，按行列掃描方式遍歷矩形框，判斷如果當前點超出所在矩形框範圍，轉步驟(4. 2. 1. 2)；否則，轉步驟(4. 2. 1. 3)；(4. 2. 1. 2)跳到下一個矩形框，即令k = k+Ι，如果矩形框序號大於總矩形框數，即 MxN
,\~^，轉步驟(4. 2. 1. 4)；否則，轉步驟(4. 2. 1. 3)； k> 2(4. 2. 1. 3)提取第k個管口的邊界，選擇間隔合適的網格對邊界二次取樣，網格線與邊界的交點作為二次取樣點，按順時針方式用8方向鏈碼對二次取樣點進行編碼並存儲，計算當前管口邊界的二次取樣點的橫坐標累加和與縱坐標累加和，根據取樣點數目計算相應的算術平均值，即得所述第k個管口的質心精確坐標，轉步驟(4. 2. 1. 2)；(4. 2. 1. 4)輸出所述質心精確坐標並結束。上述的方法中，所述採用直接提取邊界模塊在所述矩形框範圍內進行管口識別和質心精確定位，具體包括以下步驟(4. 2. 2. 1)從所述二值圖像中的左上方第1個矩形框開始，即從k = 1開始，當前矩形框左上角點為起點，按行列掃描方式遍歷矩形框，判斷如果當前點超出所在矩形框範圍，轉步驟(4. 2. 2. 2)；否則，轉步驟(4. 2. 2. 3)；(4. 2. 2. 2)跳到下一個矩形框，即令k = k+Ι，如果矩形框序號大於總矩形框數，即 MxN
,\~^，轉步驟(4. 2. 2. 4)；否則，轉步驟(4. 2. 2. 3)； k> 2(4. 2. 2. 3)提取第k個管口的邊界並存儲各邊界點的坐標，分別計算邊界點的橫坐標的累加和與縱坐標的累加和，計算相應的算術平均值，即得所述第k個管口的質心精確坐標，轉步驟(4.2.2.2)；(4. 2. 2. 4)輸出所述質心精確坐標並結束。上述的方法中，所述採用區域均值精確定位模塊在所述矩形框範圍內進行管口識Max_D_a = Max {max (D_a) Jp = 1，2，. . .，N}rect_width = (1+ θ )Max_D_a
公式(6) 公式(7)Max_D_b = Max {max (D_b) Jq= 1，2，· · ·，M}rect_height = (1+σ )Max_D_b
公式(8) 公式(9)別和質心精確定位，具體包括以下步驟(4. 2. 3. 1)從所述二值圖像中的左上方第1個矩形框開始，即從k = 1開始，當前矩形框左上角點為起點，按行列掃描方式遍歷矩形框，判斷如果當前點超出所在矩形框範圍，轉步驟(4. 2. 3. 2)；否則，轉步驟(4. 2. 3. 3)；(4. 2. 3. 2)跳到下一個矩形框，即令k = k+Ι，如果矩形框序號大於總矩形框數，即 MxN
,\~^，轉步驟(4. 2. 3. 4)；否則，轉步驟(4. 2. 3. 3)； k> 2(4. 2. 3. 3)計算第k個管口區域像素個數，分別求出管口像素橫坐標累加和與縱坐標累加和，計算相應的算術平均值，即得所述第k個管口的質心精確坐標，轉步驟 (4. 2. 3. 2)；(4. 2. 3. 4)輸出所述質心精確坐標並結束。與現有技術相比，本發明的優點在於1、本發明的冷凝器管口圖像的平面質心定位方法，採用分別繪製列像素灰度值累加和曲線以及行像素灰度值累加和曲線，並通過統計「列波谷」和「行波谷」的局部極小值點集坐標，去除偽質心的方法求取質心粗略坐標，管口呈橫縱錯列式分布的待清洗管板區域，特別適用於正方形錯列管口分布，能夠快速地獲取冷凝器管口圖像的平面質心，實現多管口的定位；2、本發明的冷凝器管口圖像的平面質心定位方法，採用外包矩形框將各管口鎖定分隔開，再依次對每個矩形框內的管口區域進行處理，能儘量消除背景影響，鎖定管口區域的大致範圍，避免重複計算；3、本發明的冷凝器管口圖像的平面質心定位方法，根據實際定位的精度要求、管口數目以及管口的橫縱徑長，自動將管口分為大、中、小三類，對每類管口調用最合適的精度定位模塊以確定每個矩形框內的管口質心精確坐標，能提高計算精度，實現定位精度自調整。對面積大、像素多的管口區域提取邊界並二次取樣，用儘量少的點近似邊界形狀，網格大小可調整，取樣點分布更均勻；對面積適中、像素數目適中的管口區域直接提取邊界得到完整的管口輪廓，容易得到各像素的鄰接關係，從局部特徵分割整體圖像，減小計算量並確保定位誤差較小；對面積小、像素少的管口區域對所有目標像素坐標累加求和取平均值， 最大程度保留管口完整信息，在較多管口情況下確保質心定位的誤差最小。


圖1是本發明總流程示意圖；圖2是本發明具體實施例1中的總流程示意圖；圖3是本發明具體實施例1中的圖像預處理流程示意圖；圖4是本發明具體實施例1中的繪製外包矩形框、鎖定管口區域流程示意圖；圖5是本發明具體實施例1中的分模塊精確定位管口質心流程示意圖；圖6是本發明具體實施例1中的待清洗區域多管口圖像預處理結果示意圖；其中， 圖6(a)為原始256級灰度圖；其中圖6(b)為經中值濾波後的圖像；圖6 (c)為經自適應閾值化後的圖像；圖6(d)為經開運算後的圖像；圖6(e)為經閉運算後的圖像；圖7是本發明具體實施例1中的質心粗略定位及繪製外包矩形框處理示意圖；其中，圖7(a)為行列掃描求像素值之和示意圖，圖中「行波谷」和「列波谷」極小值對應管口 ； 圖7(b)為行像素灰度值累加和曲線7(c)為列像素灰度值累加和曲線S1;圖7(d)為粗略定位的質心位置以及根據最大橫縱徑長繪製的外包矩形框示意圖；圖8是本發明具體實施例1中的直接提取邊界模塊精確定位質心過程示意圖；其中，圖8(a)為管口邊界二值示意圖；圖8(b)為邊界均值定位質心圖像二值示意圖；圖9是本發明具體實施例1中的邊界二次取樣、邊界取樣鏈碼模塊精確定位質心對比示意圖；其中，圖9(a)為第1個目標管口邊界網格鏈碼示意圖；圖9(b)為邊界二次取樣點(η = 10)示意圖；圖9(c)為邊界二次取樣(η = 10)的多管口邊界樣點連接示意圖；圖9(d)為邊界二次取樣(η = 10)多管口邊界樣點連線示意圖；圖9(e)為邊界二次取樣(Π =36)多管口邊界樣點示意圖；圖9(f)為邊界二次取樣(η =36)多管口邊界樣點連線示意圖；圖9(g)為邊界二次取樣(η = 36)邊界樣點連線與管口對比示意圖；圖9(h) 為邊界二次取樣(η =36)定位管口相對於區域精確定位的質心對比圖，其中「X」表示二次取樣質心位置質心，圖中連線表示定位順序從左上方第一個管口開始，按列定位。
具體實施例方式以下將結合說明書附圖和具體實施例對本發明作進一步詳細說明。如圖1、圖2、圖3、圖4、圖5所示，本發明的冷凝器管口圖像的平面質心定位方法， 包括以下步驟1、對攝像機進行標定，以消除攝像機鏡頭的畸變對所攝圖像的影響(參見文獻 IEEETrans "A self-calibration technique for active vision system，，馬頌德白勺基於兩組三正交運動的線性方法和《學習0penCV(中文版)》」)1. 1劃分冷凝器管板待清洗區域，用固定雷射束在區域四角標識出標定點Ρ」Ρ2、Ρ3 和P4。控制機器人手眼機構(攝像機安裝於機器人末端執行器上方，相當於「眼在手上」， 一起構成「機器人手眼機構」)使攝像機做六次純平移運動並在每次運動前後拍攝圖像。分別沿機器人坐標系O-XJJ^的\、Yr和L三個正交方向作平移運動，從運動控制器獲得機器人手眼機構在機器人坐標系下的平移運動量A^1、4^和^，每次運動時找出運動前點P1 在運動前所攝圖像I1中的投影點P11和運動後點P1在運動後所攝圖像I2中的投影點P12， 在I1內找出坐標值等於P12在圖像I2內坐標的對應點P12』，畫出P12』與P11兩點間的連線 P11P12』，同理，可得連線P21P22』、P31P32』和P41P42』，每次純平移運動所得任意二條連線交於同一交點，運動前攝像頭的光心到所述交點的矢量方向為攝像機運動方向，根據所述三個運動方向可以得到兩個三元線性方程，從而求出末端執行器在攝像機坐標系下的三次平移運動方向0^.(/ = 1, 。1. 2為獲得唯一解，控制攝像機沿另外三個正交方向^、4^2和=2作三次平移運動，採用上述方法再得到另三次平移運動方向0^.(,_ = 4,5,6)，得到另兩個三元線性方程，解出攝像機內參數矩陣A。1. 3輸入圖像並調用OpenCV庫中的攝像機標定函數cvCalibarateCamera2處理後，得到畸變係數，函數cvCalibarateCamerd 根據冷凝器待清洗區域的4個角點在多幅圖像上的物理坐標，及4個角點的像素坐標，從而解出攝像機外參數矩陣R和T，徑向畸變參數Ic1A2和切向畸變參數Pi、P2。根據所得的內外參數和畸變參數建立攝像機圖像像素坐標與對應的空間點坐標之間的幾何關係，將圖像標識點被映射後的χ和y值傳遞給OpenCV庫中用於校正(糾正失真)標定圖像的函數cvRemapO，實現在2D圖像平面空間計算反饋偏差，矯正畸變效應，將機器人視場中的管板平面映射為鳥瞰圖。2、控制機器人手眼機構沿攝像機的光軸運動，連續拍攝待清洗管板區域的灰度鳥瞰圖，在其中選擇清晰的圖像進行預處理，得到多個管口和背景呈「黑白」對照的二值圖像， 待清洗管板區域中的管口呈橫縱錯列式分布；其中，如圖3、圖6所示，圖像預處理具體包括以下步驟2. 1對灰度鳥瞰圖像進行自適應中值濾波和直方圖均衡化，以去除較大孤立點噪聲並提高對比度；2. 1. 1如圖6(a)所示，灰度鳥瞰圖像中，目標管口區域以橫縱錯列方式分布，呈類圓形且灰度較大，背景噪聲明顯，採用自適應中值濾波，對較大孤立點噪聲可有效濾除，同時不出現明顯的模糊和失真，結果如圖6(b)所示。2. 1. 2攝像機和圖像傳感器負責處理視場的對比度，將視場的光線在圖像中曝光。 雖然圖像傳感器在捕獲的黑暗區域曝光時間較長，在明亮區域曝光時間較短，但仍可能發生非光源直射的黑暗區域曝光不足、光源直射的明亮區域曝光過飽和的現象。為擴大圖像的動態範圍，可以利用直方圖均衡化拉伸亮度範圍，使直方圖中灰度級平均值高於原始值， 平均亮度增強，直方圖在整個亮度標度上顯著擴展，增強對比度。2. 2對圖像進行自適應閾值處理假設隨機像素只屬於目標管口區域或者背景區域，求取圖像灰度級的離散概率密度函數的歸一化直方圖，再採用Otsu法選擇最大化類間方差σ〗的閾值，並將該閾值縮放到合適的範圍，使用縮放後的閾值對完成步驟(2. 1)後的圖像做全局閾值處理，處理結果如圖6(c)所示；2. 3對圖像進行形態學處理由於照明不均勻，全局閾值處理後，圖像的管口邊界不平滑，有不完整的管口，背景區域還存在噪聲，需要進行圖像補償，可以運用連續的開閉運算改善這種情況。開運算可使管口區域的輪廓變光滑，消除細小「毛刺」並使狹窄間斷斷開；閉運算可使輪廓更光滑，並消除細長的鴻溝和狹窄的間斷，填補輪廓線中的斷裂。如圖 6(d)、(e)所示，假設待處理圖像像素集合為F，全局閾值處理後的圖像像素集合為A，採用公式(1)對圖像進行處理廠=<^ (義05)=(((義 5) 5) <^) <^公式(1)使用結構元素B對集合A開操作即用B對A先腐蝕，再用B對腐蝕結果膨脹；使用結果元素C對(AoB)後的結果進行閉操作即用C對(AoB)先膨脹，再用C對膨脹結果進行腐蝕；公式(1)中，B為結構元素，本實例中，B為一個5X5且值為O的矩陣，C為結果元素，本實例中，C為一個18X 18且值為O的圓盤。3、如圖1、圖7所示，繪製列像素灰度值累加和曲線S1和行像素灰度值累加和曲線 &，計算得到一質心粗略坐標集合3. 1如圖7(a)所示，假設圖像矩陣大小為mXn，其中m表示圖像高度，η表示圖像寬度。按「列掃描」二值圖像中每列的像素灰度值之和，並投影到Y坐標軸，用ysl表示。 繪製成列像素灰度值累加和曲線S1 ；如圖7(c)所示，其中S1橫坐標j表示列數，且j = 1， 2，…，n，可以發現縱向排列的「黑色」管口區域對應於S1的「列波谷」；「全白色」背景所在列的像素灰度值之和為最大max(ysl)(本實施例中，max(ysl)等於圖像高度)；各縱列管口質心附近的列像素灰度值之和達到局部極小值min(Ysl) ( S卩「列谷底」)；縱向排列的管口個數一致，各個「列谷底值」大致相等。3. 2按「行掃描」 二值圖像中每行的像素灰度值之和，並投影到X坐標軸，用&表示，繪製成行像素灰度值累加和曲線& ；如圖7(b)所示，&中縱坐標i表示行數，且i = 1， 2，…，m，可以發現橫向排列的「黑色」管口區域對應於&中的「行波谷」；「全白色」背景所在行的像素灰度值之和為最大maX(Xs2)(本實施例中，max(xs2)等於圖像寬度)；「行掃描」 管口質心附近的行像素灰度值之和達到局部極小值min(Xs2)(即「行谷底值」)；橫向排列的管口個數越多，相應「行波谷」的「行谷底值」越小；管口個數越少，相應「行波谷」的「行谷底值」越大。3. 3統計S1中共N個「列波谷」處的局部極小值點集的橫坐標，存入各列管口的質心粗略橫坐標向量COL(j)；統計&中共M個「行波谷」處的局部極小值點集的縱坐標，存入各行管口質心粗略縱坐標向量ROW(i)；取局部極小值點時，一般取一個「列波谷」或「行波谷」的谷底的一段曲線，將該段曲線上所有點的坐標的均值作為相應的局部極小值。計算方法如下，設一個「列波谷」谷底處曲線段上的點集的橫坐標向量為Xsl(P)，其中ρ = 1，2，…， N;設一個「行波谷」谷底處曲線段上的點集的縱坐標向量為Ys2 (q)，其中q= 1，2，…，M ； 則Xsl (ρ)、Ys2 (q)的計算公式如下所示Xsl (ρ) = [jr+1，jr+2. · ·，jr+w]p公式 O)Ys2 (q) = [it+1，it+2，... , it+v]q 公式(3)設縱坐標等於局部極小值min ysl (ρ)處曲線段的起始點，其橫坐標為j,+1，下標 r+Ι表示從第r+Ι列開始，縱坐標值等於該「列波谷」局部極小值min ysl (ρ)，公式(2)表示將min ysl(p)處谷底的一段曲線上的點對應的所有橫坐標九+1、九+2··· 順次存入「列波谷」橫坐標向量)(sl(P)。設橫坐標等於局部極小值min Xs2 (q)處曲線段的起始點，其縱坐標為it+1，下標t+Ι表示從第t+Ι行開始，橫坐標值等於該「行波谷」局部極小值min xs2(q),v 為橫坐標等於min Xs2 (q)處曲線段上的所有點的個數，曲線&第t+1、t+2··· t+v行的橫坐標值均為該「行波谷」的局部極小值min )(s2(q)，公式(3)表示將min Xs2 (q)處谷底的一段曲線上的點對應的所有縱坐標存入「行波谷」縱坐標向量Ys2 (q)。3.4質心粗略橫坐標0)1^)取向量Xsl(P)的中值，質心粗略縱坐標
ROW⑴取向量Ys2(q)的中值+^t+v，組成MXN個坐標對(COL(j), ROW⑴)，如圖7(d)所示，即所有可能的質心粗略坐標集合。
MxN4、由於管口呈錯列式分布(隔一個空位有一個管口)，真正管口數目實際為γ ^
需要判斷坐標對(COL(j)，ROW(i))是在管口區域還是位於背景區域，位於背景區域的坐標對(C0L(j)，R0W(i))不是真正的目標管口質心，應作為偽質心予以剔除。假設圖像閾值化後，管口區域像素灰度值為「0」，背景區域像素灰度值為「1」，按列依次計算坐標對(C0L(j)，R0W(i))處的像素灰度值，值為「1」說明是位於背景區域的偽質心，如圖7(a)中「☆」號所示，不保留其坐標值；像素灰度值為「0」的點，取其橫坐標值COL(j)存入向量CENTER_X(k)，縱坐標值R0W(i)存入向量CENTER_Y(k)，得到各行及各列管口質心的粗略二維坐標集合(CENTER_X(k)，CENTER_Y(k))，其中k為管口序號且 k=l，2，···，；完成多目標的質心粗略定位。完成多目標的質心粗略定位後，進行分類質心精確定位，包括以下步驟4. 1在二值圖像中繪製k個分別包圍圖像中的k個管口的矩形框，鎖定管口區域；以多個目標管口的粗略質心坐標為基準可以繪製包含管口區域的外包矩形，這一點是基於圖像區域分割的思想將圖像中有意義的特徵區域或者需要應用的特徵區域提取出來，可以是像素的灰度值、物體輪廓曲線、紋理特徵、空間頻譜或直方圖。本步驟可自動識別圖像內的每個目標管口區域並精確定位其質心。4. 1. 1如圖4所示，根據各列像素灰度值之和曲線S1中「波谷」縱坐標隨橫坐標的增加滿足「先單調遞減，後單調遞增」的規律，求取直線ysl = m與曲線S1中的每個「列波谷」的交點，其中m為圖像高度，獲得每個「列波谷」的下降側的起始端點(x_left)p和上升側的終止端點(x_right)pJf各「列波谷」的兩端點橫坐標間的區間長度作為圖像中各縱列管口的最大橫軸徑長，存入最大橫軸徑長向量max (D_a)，其中，第ρ列管口的最大橫軸徑長為 max (D_a)p,艮口max (D_a)p = (x_right)p-(x_left)p, ρ = 1，2，· · .，N 公式根據各行像素灰度值之和曲線&中「波谷」橫坐標隨縱坐標的增加滿足「先單調遞減，後單調遞增」的規律，求取直線^ = η與曲線&中的各「行波谷」的交點，其中η為圖像寬度，獲得每個「行波谷」的下降側的起始端點(y_d0Wn) q和上升側的終止端點(y_up) q ；將各「行波谷」的兩端點縱坐標之間的區間長度作為圖像中各橫排管口的最大縱軸徑長， 存入最大縱軸徑長向量max (D_b)，其中，第q排管口的最大縱軸徑長為max (D_b),，即max (D_b) q = (y_up)q-(y_down)q, q = 1，2，· · ·，M 公式(5)4. 1.2根據得到的最大橫軸徑長向量maX(D_a)，並選定一疊加裕量θ (疊加裕量 θ的取值範圍為0. 03 0. 07)，採用下式Max_D_a = Max {max (D_a) p | ρ = 1，2，· · ·，N} 公式(6)rect_width = (1+ θ )Max_D_a公式(7)計算得到管口圖像的外包矩形框的寬度基準值rectjidth，其中，Max_D_a為第1 列至第N列縱列管口的最大橫軸徑長；根據得到的最大縱軸徑長向量max (D_b)，並選定一疊加裕量σ (疊加裕量σ的取值範圍為0. 03 0. 07)，採用下式Max_D_b = Max {max (D_b) Jq= 1,2, . . . , Μ}公式(8)rect_height = (l+σ )Max_D_b公式(9)計算得到管口圖像的外包矩形框的高度基準值reCt_height，其中，Max_D_b為第 1行至第M行橫排管口的最大縱軸徑長；4. 1. 3如圖7 (d)所示，從圖像左上角第一個管口起直至右下角最後一個管口，以
粗略二維坐標集合(CENTER_X(k)，CENTER_Y(k))中的坐標點為中心，分別繪製以rect_
width為寬度、rect_height為高度的矩形框，按序包圍第1 第k個目標管口，鎖定管口區
MxN
域。經過區域分割後，計算量從整幅圖像像素數減少為計算包含^^管口區域的矩形框
所佔像素數，該處理可以提高目標精確定位的時間效率，並降低目標管口誤檢率。
4. 2 設numberl,number2,number3 e, number 1 < number2 < number3 < L，其中L為二值圖像中可能的最大管口數；另設，實際工況操作下的定位要求相對於區域均值精確定位質心方法允許的最大質心定位誤差率為α。當L為10 15 時，number 1取3，number2取6 8，number3取10 15。能達到定位誤差率δ < α，滿足要求。4.2. 1如圖5所示，當二值圖像中管口數量—Ε (0，numberl]時，採用邊界取樣
鏈碼模塊在矩形框範圍內進行管口識別和質心精確定位，即對管口區域邊界進行網格二次取樣，確定管口的邊界鏈碼，求取邊界鏈碼的近似多邊形的頂點的數目、橫坐標累加和以及縱坐標累加和，計算相應的算術平均值，作為管口的質心精確坐標；4. 2. 1. 1從二值圖像中的左上方第1個矩形框開始，即從k = 1開始，當前矩形框左上角點(reCt_leftup_X(k)，rect_leftup_y(k))為起點，按行列掃描方式遍歷矩形框， 判斷如果當前點超出所在矩形框範圍，轉步驟4. 2. 1. 2 ；否則，轉步驟4. 2.1.3；4. 2. 1. 2跳到下一個矩形框，即令k = k+Ι，如果矩形框序號大於總矩形框數，即 MxN
,—，轉步驟4. 2. 1. 4 ；否則，轉步驟4. 2. 1.3 ； k> 24. 2. 1. 3提取第k個管口的邊界，選擇間隔合適的網格對邊界二次取樣，網格線與邊界的交點作為二次取樣點，按順時針方式用8方向鏈碼對二次取樣點進行編碼(為避免在不同方向採樣生成的邊界形狀不同以及減小圖像解析度對邊界差異帶來的比例影響，將二次取樣網格的方向定為邊界的主軸方向(如圖9(a)中，從黑點處起始的箭頭方向所示)， 取樣點坐標順序存入二維數組，計算當前管口邊界的二次取樣點的橫坐標累加和subSam_ x(k)與縱坐標累加和SUbSam_y(k)，根據取樣點數gn_SUbSam(k)計算相應的算術平均值， 即得第k個管口的質心精確坐標(subsam_x (k)，subsam_y (k))，轉步驟4. 2.1.2；4.2. 1.4將各個邊界取樣點的坐標單元數組進行連接，按列依次輸出管口質心的一 MxN
坐標(subsam_x(k), subsam_y (k)),其中，k=l』 2』 …』 ~-~ ；4.2. 1.5當前模塊結束。因求取鏈碼需要較大間隔的網格取樣，對於圖像中管口數目較多的情況，因取樣邊界點數少，近似多邊形與原始管口邊界形狀差異較為明顯，質心定位誤差較大，主要用於管口較少的圖像分析。網格大小的選取依賴於圖像解析度以及邊界的平滑程度，一般選取圖像大小的10% -20%為宜。4. 2. 2如圖5所示，當二值圖像中管口數量—e (numberl, numbed]時，採用直
接提取邊界模塊在矩形框範圍內進行管口識別和質心精確定位，即提取管口區域邊界，分別求取邊界點橫坐標的累加和與縱坐標的累加和，計算對應的算術平均值，作為管口的質心精確坐標；4. 2. 2. 1從二值圖像中的左上方第1個矩形框開始，即從k = 1開始，當前矩形框左上角點(rect_leftup_x(k)，rect_leftup_y (k))為起點，其中，rect_leftup_x(k)= CENTER_X(k)0. 5*rect_width，rect_leftup_y(k) = CENTER_y(k)0. 5*rect_height ；按行列掃描方式遍歷矩形框，判斷如果當前點超出所在矩形框範圍，轉步驟4. 2. 2. 2 ；否則，轉步驟 4. 2. 2. 3 ；
權利要求
1.一種冷凝器管口圖像的平面質心定位方法，其特徵在於，所述方法包括以下步驟(1)對攝像機進行標定；(2)控制機器人手眼機構沿攝像機的光軸運動，連續拍攝待清洗管板區域的灰度鳥瞰圖，在其中選擇清晰的圖像進行預處理，得到多個管口和背景呈「黑白」對照的二值圖像，所述待清洗管板區域中的管口呈橫縱錯列式分布；(3)按「列掃描」所述二值圖像中每列的像素灰度值之和，並投影到Y坐標軸，繪製成列像素灰度值累加和曲線S1 ；統計S1中共N個「列波谷」谷底處的局部極小值點集的橫坐標， 存入各列管口的質心粗略橫坐標向量COL(j)；按「行掃描」所述二值圖像中每行的像素灰度值之和，並投影到X坐標軸，繪製成行像素灰度值累加和曲線& ；統計&中共M個「行波谷」谷底處的局部極小值點集的縱坐標，存入各行管口質心粗略縱坐標向量ROW(i)；得到所有可能的質心粗略坐標對集合(C0L(j)，R0W(i))；(4)剔除所述(COL(j)，R0ff(i))中位於背景區域的偽質心，得到各行及各列管口質心的粗略二維坐標集合(CENTER_X(k)，CENTER_Y(k))，其中k為管口序號且k=l，2，…，^；完成多目標的質心粗略定位。
2.根據權利要求1所述的冷凝器管口圖像的平面質心定位方法，其特徵在於，所述對攝像機進行標定，具體包括以下步驟預先在待清洗管板區域內用固定雷射束標識出二個以上標定點，控制機器人手眼機構使攝像機做六次純平移運動並在每次運動前後拍攝圖像，前三次的運動方向互相垂直，後三次的運動方向互相垂直，找出每次標定點在運動前圖像中的投影點和在運動後圖像中的投影點，並根據標定點在運動後圖像中的投影點的位置坐標，在運動前圖像中找出相同位置坐標的對應點，在運動前圖像中畫出運動前投影點與所述對應點的連線；攝像機每次純平移運動時根據所述二個以上標定點所得的二條以上連線交於同一交點，運動前攝像頭的光心到所述交點的矢量方向為攝像機運動方向，得到攝像機六次純平移運動的六個運動方向，解出攝像機內外參數和畸變參數；根據所述內外參數和畸變參數建立攝像機圖像像素坐標與對應的空間點坐標之間的幾何關係，從而在拍攝圖像時在2D圖像平面空間內根據所述幾何關係補償反饋偏差，矯正畸變。
3.根據權利要求1所述的冷凝器管口圖像的平面質心定位方法，其特徵在於，所述預處理具體包括以下步驟(2. 1)對所述灰度鳥瞰圖像進行自適應中值濾波和直方圖均衡化，以去除較大孤立點噪聲並提高對比度；(2. 2)對圖像進行自適應閾值處理假設隨機像素只屬於目標管口區域或者背景區域，求取圖像灰度級的離散概率密度函數的歸一化直方圖，再採用Otsu法選擇最大化類間方差σ〗的閾值，並將該閾值縮放到合適的範圍，使用縮放後的閾值對完成步驟(2. 1)後的圖像做全局閾值處理；(2. 3)對圖像進行形態學處理假設待處理圖像像素集合為F，全局閾值處理後的圖像像素集合為Α，採用公式(1)對圖像進行處理==十5)十公式(1)使用結構元素B對集合A開操作即用B對A先腐蝕，再用B對所述腐蝕結果膨脹；使用結果元素C對(AoB)後的結果進行閉操作即用C對(AoB)先膨脹，再用C對膨脹結果進行腐蝕；公式(1)中，所述B為結構元素，所述C為結果元素。
4.根據權利要求1或2或3所述的冷凝器管口圖像的平面質心定位方法，其特徵在於， 所述完成多目標的質心粗略定位後，進行分類質心精確定位，包括以下步驟(4. 1)在所述二值圖像中繪製k個分別包圍所述圖像中的k個管口的矩形框，鎖定管口區域；(4. 2)設 numberl, number2, number3 e ^(N+ 為正整數集合),且 number 1 < number2 < number3 < L，其中L為二值圖像中可能的最大管口數；(4.2.1)當所述二值圖像中管口數量^曰(0，numberl]時，採用邊界取樣鏈碼模塊在所述矩形框範圍內進行管口識別和質心精確定位，即對所述管口區域邊界進行網格二次取樣，確定管口的邊界鏈碼，求取邊界鏈碼的近似多邊形的頂點的數目、橫坐標累加和以及縱坐標累加和，計算相應的算術平均值，作為管口的質心精確坐標；(4.2.2)當所述二值圖像中管口數量￥e(numberl，numbed]時，採用直接提取邊界模塊在所述矩形框範圍內進行管口識別和質心精確定位，即提取管口區域邊界，分別求取邊界點橫坐標的累加和與縱坐標的累加和，計算對應的算術平均值，作為管口的質心精確坐標；(4.2.3)當所述二值圖像中管口數量(numbed，numberf]時，採用區域均值精確定位模塊在所述矩形框範圍內進行管口識別和質心精確定位，即分別求取管口所在區域點的橫坐標累加和縱坐標累加和，求取對應的算術平均值，作為管口的質心精確坐標。
5.根據權利要求4所述的冷凝器管口圖像的平面質心定位方法，其特徵在於，所述L為 10 15，所述 numberl 為 3，所述 number2 為 6 8，number3 為 10 15。
6.根據權利要求4所述的冷凝器管口圖像的平面質心定位方法，其特徵在於，所述步驟(4. 1)具體包括以下步驟(4. 1. 1)求取直線ysl = m與曲線S1中的每個「列波谷」的交點，其中m為圖像高度， 獲得每個「列波谷」的下降側的起始端點(x_left)p和上升側的終止端點(x_right)p ；將各 「列波谷」的兩端點橫坐標間的區間長度作為圖像中各縱列管口的最大橫軸徑長，存入最大橫軸徑長向量max (D_a)，其中，第ρ列管口的最大橫軸徑長為maX(D_a)p，即 max (D_a)p = (x_right)p- (x_left)p, ρ = 1，2，...，N 公式求取直線^ = η與曲線&中的各「行波谷」的交點，其中η為圖像寬度，獲得每個「行波谷」的下降側的起始端點(y—down),和上升側的終止端點(y^p),；將各「行波谷」的兩端點縱坐標之間的區間長度作為圖像中各橫排管口的最大縱軸徑長，存入最大縱軸徑長向量 max (D_b)，其中，第q排管口的最大縱軸徑長為max (D_b),，即max (D_b) q = (y_up) q- (y_down) q, q = 1, 2, . . . , M公式(5)(4. 1.2)根據得到的最大橫軸徑長向量max (D_a)，並選定一疊加裕量θ，採用下式Max_D_a = Max {max (D_a) p | ρ = 1，2，· · ·，N}公式(6)rect_width = (1+ θ )Max_D_a公式(7)計算得到管口圖像的外包矩形框的寬度基準值rect_Width，其中，Max_D_a為第1列至第N列縱列管口的最大橫軸徑長；根據得到的最大縱軸徑長向量max (D_b)，並選定一疊加裕量σ，採用下式 Max_D_b = Max {max (D_b) Jq= 1，2，...，Μ}公式(8)rect_height = (l+σ )Max_D_b公式(9)計算得到管口圖像的外包矩形框的高度基準值reCt_height，其中，Max_D_b為第1行至第M行橫排管口的最大縱軸徑長；(4. 1. 3)從圖像左上角第一個管口起直至右下角最後一個管口，以粗略二維坐標集合 (CENTER_X(k)，CENTER_Y(k))中的坐標點為中心，分別繪製以rect_width為寬度、rect_ height為高度的矩形框，按序包圍第1 第k個目標管口，鎖定管口區域。
7.根據權利要求6所述的冷凝器管口圖像的平面質心定位方法，其特徵在於，所述疊加裕量θ的取值範圍為0.03 0.07，所述疊加裕量σ的取值範圍為0.03 0.07。
8.根據權利要求4所述的冷凝器管口圖像的平面質心定位方法，其特徵在於，所述採用邊界取樣鏈碼模塊在所述矩形框範圍內進行管口識別和質心精確定位，具體包括以下步驟(4. 2. 1. 1)從所述二值圖像中的左上方第1個矩形框開始，即從k = 1開始，當前矩形框左上角點為起點，按行列掃描方式遍歷矩形框，判斷如果當前點超出所在矩形框範圍，轉步驟(4. 2. 1. 2)；否則，轉步驟(4. 2. 1. 3)；(4. 2. 1. 2)跳到下一個矩形框，即令k = k+Ι，如果矩形框序號大於總矩形框數，BPk> MxN^^，轉步驟(4. 2. 1. 4)；否則，轉步驟(4. 2. 1. 3)；(4. 2. 1.3)提取第k個管口的邊界，選擇間隔合適的網格對邊界二次取樣，網格線與邊界的交點作為二次取樣點，按順時針方式用8方向鏈碼對二次取樣點進行編碼並存儲，計算當前管口邊界的二次取樣點的橫坐標累加和與縱坐標累加和，根據取樣點數目計算相應的算術平均值，即得所述第k個管口的質心精確坐標，轉步驟(4. 2. 1. 2)； (4. 2. 1. 4)輸出所述質心精確坐標並結束。
9.根據權利要求4所述的冷凝器管口圖像的平面質心定位方法，其特徵在於，所述採用直接提取邊界模塊在所述矩形框範圍內進行管口識別和質心精確定位，具體包括以下步驟(4. 2. 2. 1)從所述二值圖像中的左上方第1個矩形框開始，即從k = 1開始，當前矩形框左上角點為起點，按行列掃描方式遍歷矩形框，判斷如果當前點超出所在矩形框範圍，轉步驟(4. 2. 2. 2)；否則，轉步驟(4. 2. 2. 3)；(4. 2. 2. 2)跳到下一個矩形框，即令k = k+Ι，如果矩形框序號大於總矩形框數，BPk> MxN^^，轉步驟(4. 2. 2. 4)；否則，轉步驟(4. 2. 2. 3)；(4. 2. 2. 3)提取第k個管口的邊界並存儲各邊界點的坐標，分別計算邊界點的橫坐標的累加和與縱坐標的累加和，計算相應的算術平均值，即得所述第k個管口的質心精確坐標，轉步驟(4.2.2.2)；(4. 2. 2. 4)輸出所述質心精確坐標並結束。
10.根據權利要求4所述的冷凝器管口圖像的平面質心定位方法，其特徵在於，所述採用區域均值精確定位模塊在所述矩形框範圍內進行管口識別和質心精確定位，具體包括以下步驟(4. 2. 3. 1)從所述二值圖像中的左上方第1個矩形框開始，即從k = 1開始，當前矩形框左上角點為起點，按行列掃描方式遍歷矩形框，判斷如果當前點超出所在矩形框範圍，轉步驟(4. 2. 3. 2)；否則，轉步驟(4. 2. 3. 3)；(4. 2. 3. 2)跳到下一個矩形框，即令k = k+Ι，如果矩形框序號大於總矩形框數，BPk> MxN^^，轉步驟(4. 2. 3. 4)；否則，轉步驟(4. 2. 3. 3)；(4. 2. 3. 3)計算第k個管口區域像素個數，分別求出管口像素橫坐標累加和與縱坐標累加和，計算相應的算術平均值，即得所述第k個管口的質心精確坐標，轉步驟G.2.3.2)； (4. 2. 3. 4)輸出所述質心精確坐標並結束。
全文摘要
本發明公開了一種冷凝器管口圖像的平面質心定位方法，包括步驟(1)對攝像機進行標定；(2)控制機器人手眼機構沿攝像機的光軸運動，連續拍攝待清洗管板區域的灰度鳥瞰圖，在其中選擇清晰的圖像進行預處理，得到多個管口和背景呈「黑白」對照的二值圖像，待清洗管板區域中的管口呈橫縱錯列式分布；(3)繪製列像素灰度值累加和曲線S1和行像素灰度值累加和曲線S2；統計S1中「列波谷」處的局部極小值點集的橫坐標以及S2中「行波谷」處的局部極小值點集的縱坐標，得到一質心粗略坐標集合；(4)剔除偽質心，完成多目標的質心粗略定位。本發明具有精度高、計算量小的優點。
文檔編號G06T7/00GK102289824SQ20111018806
公開日2011年12月21日 申請日期2011年7月6日 優先權日2011年7月6日
發明者喬豫川, 劉理, 劉暢, 盧笑, 周金麗, 張耀, 朱慧慧, 朱江, 王耀南 申請人:湖南大學