基於多圖像序列的井下液壓支架組位姿及直線度測量方法與流程
2023-10-22 10:06:36 1
本發明屬於礦用設備運行狀態監測領域，尤其涉及一種基於多圖像序列的煤礦井下液壓支架組位姿及直線度測量方法。
背景技術：
液壓支架作為煤礦綜採工作面的重要設備，其位姿與直線度信息是非常重要的參數。常採用傾角傳感器、位移傳感器或慣導傳感器測量；其中傾角傳感器對容易受到加速度的影響，位移傳感器由於是接觸式測量傳感器容易損壞，而慣導傳感器由於累積誤差不能單獨使用，與其他傳感器融合使用時其系統比較複雜成本較高。
技術實現要素：
針對現有製備技術的缺陷和不足，本發明的目的是提供一種基於多圖像序列的煤礦井下液壓支架組位姿與直線度測量方法，解決現有的接觸式測量方法中傳感器易損、系統比較複雜的問題。
為了實現上述目的，本發明採用如下技術方案予以實現：
基於多圖像序列的井下液壓支架組位姿測量方法，包括以下步驟：
步驟一：在液壓支架上安裝方形定位標識板，通過攝像機採集液壓支架圖像，得到目標圖像；
步驟二：對採集得到的目標圖像進行降噪處理，提取降噪處理後圖像中的定位標識；
步驟三：利用感受野細胞模型對定位標識進行邊緣直線擬合，得到定位標識的四個頂點坐標；
步驟四：根據步驟三得到定位標識的四個頂點坐標，計算定位標識的法向量；然後通過式(1)計算得到定位標識的位姿，即液壓支架的位姿；
其中，為定位標識的單位法向量，θk表示光心坐標軸形成的第k個平面與定位標識平面夾角，k＝1,2,3，θ1為定位標識的俯仰角，θ2為定位標識的偏轉角，θ3為定位標識的橫滾角，
進一步的，所述的步驟二包括：
步驟2.1：對採集得到的目標圖像進行自適應二值化預處理；
步驟2.2：利用基於連通分量的方法對預處理後的目標圖像中的定位標識進行提取；
進一步的，步驟三中採用感受野細胞模型對定位標識進行邊緣直線擬合，具體步驟為：
步驟3.1：對定位標識按照設定的中心間距和大小分布感受野，採用(r*2+1)*(r*2+1)的掩模，r為感受野細胞半徑，掩模中心與感受野細胞中心重合；
步驟3.2：利用梯度算子計算每個感受野掩模梯度方向，通過掩模梯度方向對每個感受野方向進行定性判斷，從而分別劃分出定位標識的上邊緣、下邊緣、左邊緣和右邊緣上分布的感受野細胞；
步驟3.3：利用感受野模型，計算上邊緣方向各個感受野的響應值，根據單個感受野內像素點形成的對比邊緣位置與感受野中心距離的關係，確定每個感受野中心到感受野內對比邊緣到感受野中心的距離，然後利用帶約束的最小二乘法模型擬合出標識板上邊緣所在直線；
步驟3.4：重複步驟3.3，分別對定位標識的下邊緣、左邊緣、右邊緣所在直線進行擬合；
步驟3.5：根據擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程，得到定位標識的四個頂點坐標。
進一步的，計算液壓支架的位姿的具體步驟包括；
步驟4.1：根據步驟三得到定位標識的四個頂點坐標，將其轉化為圖像坐標，很據圖像坐標與光心坐標的關係，計算定位標識的法向量；
其中，為定位標識的法向量，a∈i，b∈i，c∈i，a≠b≠c，i＝1,2,3,4；
(xi,yi,zi)為定位標識頂點的第i個頂點的光心坐標，(xi,yi)為定位標識頂點的第i個頂點的圖像坐標，c為攝像機的有效焦距；
b1＝x2y3-x4y3+x4y2-x2y4+x3y4-x3y2
b2＝x3y4-x4y3-x1y4+x4y1+x1y3-x3y1
b3＝x1y2-x4y2-x2y1-x1y4+x4y1+x2y4
b4＝x3y2-x2y3+x1y3+x2y1-x1y2-x3y1
其中，l為長方形定位標識的長邊邊長或正方形定位標識的邊長；
步驟4.2：通過式(1)計算得到定位標識的位姿，即液壓支架的位姿，
其中，為定位標識的單位法向量，θk表示光心坐標軸形成的第k個平面與定位標識平面夾角，k＝1,2,3，θ1為定位標識的俯仰角，θ2為定位標識的偏轉角，θ3為定位標識的橫滾角，
基於多圖像序列的井下液壓支架組直線度測量方法，該方法對n個液壓支架的直線度進行測量，每個液壓支架上連接有一個刮板，巡檢機器人沿著刮板運動，其特徵在於，包括以下步驟：
步驟一：在每個液壓支架上安裝方形定位標識板，所述的定位標識板位於液壓支架的相同位置上，當巡檢機器人行走到每節刮板末端、每節刮板與液壓支架的連接處時分別採集圖像；
步驟二：對採集得到的目標圖像進行降噪處理，提取降噪處理後圖像中的定位標識；
步驟三：利用感受野細胞模型對每個定位標識進行邊緣直線擬合，得到每個定位標識的四個頂點坐標；
步驟四：根據步驟三得到每個定位標識的四個頂點坐標，計算每個定位標識的在光心坐標系中的坐標；
步驟五：計算液壓支架組的直線度；
步驟5.1：計算每個定位標識的四個頂點在世界坐標系中的坐標
βk＝θk-γk(7)
其中，pji代表p(xji,yji,zji)，p(xji,yji,zji)為第j個定位標識的第i個頂點在光心坐標系中的坐標，表示為第j個定位標識的第i個頂點在世界坐標系中的坐標，i＝1,2,3,4，n＝2,3,4…,n；
βk為相鄰刮板之間的夾角，k＝1,2,...,n-1，n為標識板的個數，為第k+1個定位標識板的第i個頂點坐標，i為定位標識板四個頂點中的任意一個；lk為第k個刮板末端與第k+1個定位標識板之間在光心坐標系中的投影距離，lk為第k+1個刮板末端與第k+1個定位標識板之間在光心坐標系中的投影距離，l0為每節刮板的長度；
步驟5.2：取所有定位標識的頂點在xoz平面上對這些頂點進行直線擬合，得到一條直線，液壓支架的直線度h為：
其中，l為攝像機的第一個拍攝點和最後一個拍攝點的直線距離，dj為頂點與擬合直線之間距離，取擬合直線兩側的最大距離分別為dmax1和dmax2，b＝dmax1+dmax2。
進一步的，所述的步驟二包括：
步驟2.1：對採集得到的每幀目標圖像進行自適應二值化預處理；
步驟2.2：利用基於連通分量的方法對預處理後的目標圖像中的定位標識進行提取；
進一步的，步驟三中採用感受野細胞模型對每個定位標識進行邊緣直線擬合，具體步驟為：
步驟3.1：對第j個定位標識按照設定的中心間距和大小分布感受野，採用(r*2+1)*(r*2+1)的掩模，r為感受野細胞半徑，掩模中心與感受野細胞中心重合；
步驟3.2：利用梯度算子計算每個感受野掩模梯度方向，通過掩模梯度方向對每個感受野方向進行定性判斷，從而分別劃分出定位標識的上邊緣、下邊緣、左邊緣和右邊緣上分布的感受野細胞；
步驟3.3：利用感受野模型，計算上邊緣方向各個感受野的響應值，根據單個感受野內像素點形成的對比邊緣位置與感受野中心距離的關係，確定每個感受野中心到感受野內對比邊緣到感受野中心的距離，然後利用帶約束的最小二乘法模型擬合出標識板上邊緣所在直線；
步驟3.4：重複步驟3.3，分別對定位標識的下邊緣、左邊緣、右邊緣所在直線進行擬合；
步驟3.5：根據擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程，得到第j個定位標識的四個頂點坐標；
步驟3.6：重複步驟3.1～步驟3.5，得到所有定位標識的四個頂點坐標。
進一步的，所述的步驟四中第j個定位標識的第i個頂點在光心坐標系中的坐標p(xji,yji,zji)，i＝1,2,3,4，通過式(2)進行計算：
bj1＝xj2yj3-xj4yj3+xj4yj2-xj2yj4+xj3yj4-xj3yj2
bj2＝xj3yj4-xj4yj3-xj1yj4-xj4yj1+xj1yj3-xj3yj1
bj3＝xj1yj2-xj4yj2-xj2yj1-xj1yj4+xj4yj1-xj2yj4
bj4＝xj3yj2-xj2yj3+xj1yj3-xj2yj1-xj1yj2-xj3yj1
其中，lj為第j個長方形定位標識的長邊邊長或正方形定位標識的邊長，(xji,yji)為步驟三得到的定位標識頂點的圖像坐標，c為攝像機的有效焦距。
與現有技術相比，本發明的有益效果是：
本發明利用視覺技術測量液壓支架的位姿，能夠自動檢測出每架液壓支架的位姿，同時能夠檢測工作面中液壓支架的直線度，為煤礦井下液壓支架的自動調製和綜採工作面的自動化智能化提供了必要的技術支持，保障工作面的安全運行，減少了人員的勞動強度。
附圖說明
圖1為本發明的液壓支架測量方法流程圖。
圖2為本發明方法採集的圖像及其處理後的圖像，(a)原始圖像，(b)二值化預處理後的圖像，(c)提取的定位標識。
圖3本發明方法測量得到的液壓支架組的擬合直線。
以下結合實施例對本發明的具體內容作進一步詳細解釋說明。
具體實施方式
本發明首先對文中使用的坐標系作以說明：
光心坐標系(相機坐標系)：以相機的光心為坐標原點，x軸、y軸分別平行於ccd平面的兩條垂直邊，z軸與相機的光軸重合；圖像坐標系：坐標原點在ccd圖像平面的中心，x軸、y軸分別平行於ccd平面的兩條垂直邊；像素坐標系：坐標原點在ccd圖像平面的左上角，u軸、v軸分別平行於圖像坐標的x軸、y軸；世界坐標系：以第一個液壓支架與刮板的連接處為坐標原點，x軸平行於第一節刮板，z軸垂直於第一節刮板，指向第一個液壓支架，y軸垂直向下。
本發明的基於多圖像序列的井下液壓支架組位姿測量方法，包括以下步驟：
步驟一：在液壓支架安置方形定位標識，在沿與工作面平行方向移動的巡檢機器人上安裝攝像機，並通過固定安裝在巡檢機器人上的攝像機採集液壓支架圖像，得到目標圖像；
步驟二：對採集得到的目標圖像進行降噪處理，提取預處理後圖像中的定位標識；
步驟2.1：對採集得到的目標圖像進行自適應二值化預處理；
步驟2.2：利用基於連通分量的方法對預處理後的目標圖像中的定位標識進行提取；
步驟三：對定位標識進行邊緣直線擬合，得到定位標識的四個頂點坐標；
步驟3.1：對定位標識按照設定的中心間距和大小分布感受野，採用(r*2+1)*(r*2+1)的掩模，r為感受野細胞半徑，掩模中心與感受野細胞中心重合；
步驟3.2：利用梯度算子計算每個感受野掩模梯度方向；
通過掩模梯度方向對每個感受野方向進行定性判斷，從而分別劃分出定位標識的上邊緣、下邊緣、左邊緣和右邊緣上分布的感受野細胞；
步驟3.3：利用感受野模型，計算上邊緣方向各個感受野的響應值s，
s＝s1-s2(2)
其中，σd＝rd/4，σs＝rs/4；rd和rs分別表示感受野的中心區和外周區(也包含中心區的大圓)的半徑，h(u,v,η)表示對比刺激覆蓋率為η時，位於像素(u,v)的像素點刺激強度，對於二值圖像中像素值為255的點取值為1，像素值為0的點取值為0；
s1為感受野中心區響應值，s2為感受野周邊區域的響應值，dl為位於感受野中心區的像素點，se為位於感受野周邊區域的像素點，l＝0,1,2,...,f，e＝1,2,...,m，f為位於感受野中心區的像素點，m為位於感受野周邊區域的像素點個數。
根據單個感受野內像素點形成的對比邊緣位置與感受野中心距離的關係，確定每個感受野中心到感受野內擬合對比邊緣的距離dh，h＝1,2,...,n，其中n表示感受野細胞個數。
假設邊緣所在直線方程(a,b)(u,v)t+c＝0，根據點到直線的距離公式：
其中，(uh,vh)為感受野中心在像素坐標系上的坐標點。
利用帶約束的最小二乘法模型對該邊緣所在直線進行擬合；
其中，l(a,b,c,λ)表示拉格朗日函數，λ為參數；a，b，c為擬合的邊緣所在直線方程係數，u、v均表示由感受野細胞中心的像素坐標組成的n*1矩陣，d表示dh組成的n*1矩陣；
在約束條件a2+b2＝1下，找到a，b，c最優解(a*,b*,c*)；
步驟3.4：重複步驟3.3，分別對定位標識的下邊緣、左邊緣、右邊緣所在直線進行擬合；
步驟3.5：根據擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程，得到定位標識的四個頂點坐標。
步驟四：計算定位標識的位姿，即液壓支架的位姿；
步驟4.1：根據步驟三得到定位標識的四個頂點坐標，將其轉化為圖像坐標，根據圖像坐標與光心坐標的關係，計算定位標識的法向量；在計算法向量過程中，選擇定位標識其中三個頂點坐標，通過三個頂點形成的向量即可確定定位標識所在空間平面，從而求得其法向量
其中，為定位標識的法向量，a∈i，b∈i，c∈i，a≠b≠c，i＝1,2,3,4；
(xi,yi,zi)為定位標識頂點的第i個頂點的光心坐標，(xi,yi)為定位標識頂點的第i個頂點的圖像坐標，c為攝像機的有效焦距；
b1＝x2y3-x4y3+x4y2-x2y4+x3y4-x3y2
b2＝x3y4-x4y3-x1y4+x4y1+x1y3-x3y1
b3＝x1y2-x4y2-x2y1-x1y4+x4y1+x2y4
b4＝x3y2-x2y3+x1y3+x2y1-x1y2-x3y1
其中，l為長方形定位標識的長邊邊長或正方形定位標識的邊長；
步驟4.2：通過式(1)計算得到每個定位標識的位姿，即液壓支架的位姿，其中，液壓支架的位姿通過偏轉角、橫滾角和仰俯角來表示；
其中，為定位標識的單位法向量，θk表示光心坐標軸形成的第k個平面與定位標識平面夾角，k＝1,2,3，θ1為定位標識的俯仰角，即繞光心坐標系的x軸旋轉的角度，θ2為定位標識的偏轉角，即繞光心坐標系的y軸旋轉的角度，θ3為定位標識的橫滾角，即繞光心坐標系的z軸旋轉的角度，
本發明還包括液壓支架組的直線度計算方法，該方法中包括n個液壓支架，每個液壓支架上連接有一個刮板，所述的刮板首尾相接，巡檢機器人沿著刮板運動，具體包括：
步驟一：在每個液壓支架上安裝方形定位標識板，所述的定位標識板位於液壓支架的相同位置上，在沿與工作面平行方向移動的巡檢機器人上安裝攝像機，當巡檢機器人行走到每節刮板末端、每節刮板與液壓支架的連接處時分別拍攝圖像，得到目標圖像；
步驟二：對採集得到的目標圖像進行降噪處理，提取降噪處理後圖像中的定位標識；
步驟2.1：對採集得到的每幀目標圖像進行自適應二值化預處理；
步驟2.2：利用基於連通分量的方法對預處理後的目標圖像中的定位標識進行提取；
步驟三：對每個定位標識進行邊緣直線擬合，得到每個定位標識的四個頂點坐標；
步驟3.1：對第j個定位標識按照設定的中心間距和大小分布感受野，採用(r*2+1)*(r*2+1)的掩模，j＝1,2,…,n，n為定位標識板的個數，r為感受野細胞半徑，掩模中心與感受野細胞中心重合；
步驟3.2：利用梯度算子計算每個感受野掩模梯度方向；
通過掩模梯度方向對每個感受野方向進行定性判斷，從而分別劃分出定位標識的上邊緣、下邊緣、左邊緣和右邊緣上分布的感受野細胞；
步驟3.3：利用感受野模型，計算上邊緣方向各個感受野的響應值s，
s＝s1-s2(2)
其中，σd＝rd/4，σs＝rs/4；rd和rs分別表示感受野的中心區和外周區(也包含中心區的大圓)的半徑，h(u,v,η)表示對比刺激覆蓋率為η時，位於像素(u,v)的像素點刺激強度，對於二值圖像中像素值為255的點取值為1，像素值為0的點取值為0；
s1為感受野中心區響應值，s2為感受野周邊區域的響應值，dl為位於感受野中心區的像素點，se為位於感受野周邊區域的像素點，l＝0,1,2,...,f，e＝1,2,...,m，f為位於感受野中心區的像素點，m為位於感受野周邊區域的像素點個數。
根據單個感受野內像素點形成的對比邊緣位置與感受野中心距離的關係，確定每個感受野中心到感受野內擬合對比邊緣的距離dh，h＝1,2,...,n，其中n表示感受野細胞個數。
假設邊緣所在直線方程(a,b)(u,v)t+c＝0，根據點到直線的距離公式：
其中，(uh，vh)為感受野中心在像素坐標系上的坐標點。
利用帶約束的最小二乘法模型對該邊緣所在直線進行擬合；
其中，l(a,b,c,λ)表示拉格朗日函數，λ為參數；a，b，c為擬合的邊緣所在直線方程係數，u、v均表示由感受野細胞中心的像素坐標組成的n*1矩陣，d表示dh組成的n*1矩陣；
在約束條件a2+b2＝1下，找到a，b，c最優解(a*,b*,c*)；
步驟3.4：重複步驟3.3，分別對定位標識的下邊緣、左邊緣、右邊緣所在直線進行擬合；
步驟3.5：根據擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程，得到第j個定位標識的四個頂點坐標；
步驟3.6：重複步驟3.1～步驟3.5，得到所有定位標識的四個頂點坐標；
步驟四：根據步驟三得到每個定位標識的四個頂點坐標，計算每個定位標識的在光心坐標系中的坐標；第j個定位標識的第i個頂點在光心坐標系中的坐標p(xji,yji,zji)，i＝1,2,3,4，通過式(2)進行計算：
bj1＝xj2yj3-xj4yj3+xj4yj2-xj2yj4+xj3yj4-xj3yj2
bj2＝xj3yj4-xj4yj3-xj1yj4-xj4yj1+xj1yj3-xj3yj1
bj3＝xj1yj2-xj4yj2-xj2yj1-xj1yj4+xj4yj1-xj2yj4
bj4＝xj3yj2-xj2yj3+xj1yj3-xj2yj1-xj1yj2-xj3yj1
其中，lj為第j個長方形定位標識的長邊邊長或正方形定位標識的邊長，(xji,yji)為步驟三得到的定位標識頂點的圖像坐標，c為攝像機的有效焦距。
步驟五：計算液壓支架組的直線度；
步驟5.1：將上述得到的光心坐標轉化為世界坐標系下的坐標
βk＝θk-γk(7)
其中，pji表示p(xji,yji,zji)，為第j個定位標識的第i個頂點在光心坐標系中的坐標，表示為第j個定位標識的第i個頂點在世界坐標系中的坐標，i＝1,2,3,4，n＝2,3,4…,n；
βk為相鄰刮板之間的夾角，k＝1,2,...,n-1，n為標識板的個數，為第k+1個標識板的第i個頂點坐標，i為定位標識板四個頂點中的任意一個；lk為第k個刮板末端與第k+1個定位標識板之間在光心坐標系中的投影距離，lk為第k+1個刮板末端與第k+1個定位標識板之間在光心坐標系中的投影距離，l0為每節刮板的長度；
步驟5.2：取所有定位標識的頂點在xoz平面上對這些頂點進行最小二乘法直線擬合，得到一條直線，分布在擬合直線兩側，求頂點與該直線之間距離dj，取擬合直線上方最大距離為dmax1，擬合直線下方最大距離為dmax2，b＝dmax1+dmax2，則液壓支架的直線度h為：
其中，l為攝像機的第一個拍攝點和最後一個拍攝點的直線距離。
以下給出本發明的具體實施例，需要說明的是本發明並不局限於以下具體實施例，凡在本申請技術方案基礎上做的等同變換均落入本發明的保護範圍。
實施例1
本實施例的一種基於多圖像序列的井下液壓支架組位姿測量方法，包括：在一個液壓支架上安置正方形定位標識，在沿與工作面平行方向移動的巡檢機器人上固定安裝攝像機，沿巡檢路徑對煤礦井下一定範圍內的液壓支架圖像進行採集，得到多幅目標圖像序列。
將採集到的一副圖像進行說明，圖2為採集到的第一幅圖像，此時其液壓支架的實際位姿為：偏轉角度為7°，橫滾角度為2°，俯仰角度為10°；
對採集得到的每幀目標圖像進行自適應二值化預處理，處理結果如圖2(a)所示；提取二值化預處理後的液壓支架圖像中的連通分量；利用連通分量的長短軸比和面積信息提取與分割液壓支架圖像中的定位標識，提取後的圖像如圖2(b)；
利用梯度算子計算每個感受野掩模梯度方向，通過梯度方向，對每個感受野方向進行定性判斷，從而分別劃分出定位標識上任一邊緣上分布的感受野細胞，如圖2(c)所示；利用感受野模型，計算定位標識邊緣方向各個感受野的響應值，根據單個感受野內像素點形成的對比邊緣位置與感受野中心距離的關係，確定每個感受野中心到感受野內擬合對比邊緣的距離；
利用帶約束的最小二乘法模型對該邊緣所在直線進行擬合；根據擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程，計算掘進機圖像中定位標識的四個頂點的像素坐標。
利用成像模型和四個頂點的像素坐標，計算定位標識的四個頂點在光心坐標系中的坐標；通過光心坐標確定定位標識的法向量；最後得到該液壓支架的位姿為偏轉角度為6.7879°，橫滾角度為2.0412°，俯仰角度為10.1120°，該角度與液壓支架實際的位姿比較接近。
實施例2
本實施例給出一種基於多圖像序列的井下液壓支架組直線度測量方法，該方法對5個液壓支架進行測量，實際這5個液壓支架組的直線度為4.022mm/m。
以下通過本發明方法計算：在每個液壓支架相同位置安置正方形定位標識，在沿與工作面平行方向移動的巡檢機器人上固定安裝攝像機，當巡檢機器人運動至每個液壓支架與刮板連接處採集圖像，得到多幅目標圖像序列。
將其中採集到的一副圖像進行說明，圖2為採集到的第一幅圖像；對採集得到的每幀目標圖像進行自適應二值化預處理，處理結果如圖2(a)所示；提取二值化預處理後的液壓支架圖像中的連通分量；利用連通分量的長短軸比和面積信息提取與分割液壓支架圖像中的定位標識，提取後的圖像如圖2(b)；
利用梯度算子計算每個感受野掩模梯度方向，通過梯度方向，對每個感受野方向進行定性判斷，從而分別劃分出定位標識上任一邊緣上分布的感受野細胞，如圖2(c)所示；利用感受野模型，計算定位標識邊緣方向各個感受野的響應值，根據單個感受野內像素點形成的對比邊緣位置與感受野中心距離的關係，確定每個感受野中心到感受野內擬合對比邊緣的距離；利用帶約束的最小二乘法模型對該邊緣所在直線進行擬合；根據擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程，計算掘進機圖像中定位標識的四個頂點的像素坐標。
利用成像模型和四個頂點的像素坐標，計算定位標識的四個頂點在光心坐標系中的坐標；將其轉換到世界坐標系下，取每個定位標識的第一個頂點在世界坐標系下的坐標。利用得到的坐標，進行最小二乘擬合法，擬合出在xoz平面內的直線如圖3，圖3中o1～o5所在的曲線表示刮板的軌跡，即巡檢機器人的運動軌跡，虛線部分為液壓支架組在xoz平面內坐標q1～q5擬合得到的直線；計算出每個定位標識的第一個頂點到該直線的距離，最大距離即為液壓支架組的直線度，最後得到前五個液壓支架的直線度為4.326mm/m。可以看出，本發明方法測出的直線度與液壓支架組實際的直線度較為接近。