基於無人機影像的電力線自動提取定位方法
2023-05-05 12:35:11
基於無人機影像的電力線自動提取定位方法
【專利摘要】一種基於無人機影像的電力線自動提取定位方法，包括利用無人機進行雙航帶飛行，獲取航空影像；航空影像的電力線自動提取，用LSD直線檢測方法對航空影像進行提取；利用電力線的輻射特徵進行粗提取，利用連通性排除背景信息；求並去除LSD檢測圖像的背景信息，排除剩下的背景信息，同時將所檢測到的電力線連接起來；航空影像電力線三維數據定位，進行核線影像提取，核線與導線相交求同名點坐標，進行前方交會，得到電力線的三維數據。本發明提高三維巡線系統的效率，獲得更加精準的三維坐標，降低電力線走廊巡線的成本。
【專利說明】基於無人機影像的電力線自動提取定位方法
【技術領域】
[0001] 本發明屬於攝影測量與遙感【技術領域】，特別涉及基於無人機影像的電力線自動提 取定位方法。
【背景技術】
[0002] 為了適應國家經濟的高速發展，國家加速進行電力網絡的建設。但是由於電力線 路距離長、範圍大，而且常常架設在遠離居民區的地方，給輸電網絡等電力基礎設施的安全 維護工作帶來了巨大的難題。
[0003] 長期以來，對輸電線路的巡檢與維護主要依靠效率低、成本高、安全性差的人工實 地勘探來完成。每年國家電網都要投入大量的人力物力財力來進行人工巡檢，其勞動強度 大，勞動效率低，勞動條件艱苦。由於常常工作於荒郊野外，甚至要穿過原始森林、高海拔、 冰雪覆蓋區及存在頻繁滑坡、泥石流等地質災害地區，不僅維護車輛無法進駐，工作人員的 安全問題也得不到保障。
[0004] 目前發達國家電力部門普遍採用先進技術，如應用直升機進行人員和設備的運 輸，利用直升機對電力網絡進行例行巡檢。直升機巡檢主要分目視巡檢和紅外發熱檢測。直 升機巡檢解決了步行巡檢效率低和通行困難等特點，降低了工作強度，也提高了效率。但是 人工參與的直升機巡檢仍存在問題，如成本較高。進行目視巡檢時直升機需要飛行速度緩 慢，一次只能對一小部分區域進行巡檢，而且要儘可能貼近電力線飛行，周遭植被給直升機 帶來了安全隱患。因此電力部門迫切地需要一種新方法來解決相關問題。
[0005] 而依靠航空攝影測量技術進行電力走廊巡檢的方法由於其高效率、低成本，無安 全隱患的特點一直被看做解決問題的關鍵，是國外應用較為廣泛的一項高新技術。在不拉 閘斷電的情況下進行一次飛行就可以得到電力線走廊的三維可視化信息，從而進行高程分 析，三維可視化管理等，大大減少了野外工作，降低了巡線的成本。
[0006] 根據文章《基於攝影測量技術的電力線高程測量方法》，目前利用測量技術進行電 力線巡檢的方法有如下幾種：
[0007] (1)點對點雷射測距方法。該方法主要利用全站儀進行電力線角度和距離的測定， 適用於高精度的稀疏目標的測量。優點是精度非常高，缺點也很明顯，效率很低，採集的目 標數量少，無法進行三維可視化管理。
[0008] (2)三維雷射掃描的方法。三維雷射掃描可以得到高可靠性的大量數據，但是其價 格昂貴，體積龐大，重量大，數據處理複雜，操作複雜，無法成為電力線巡線的首要選擇。
[0009] (3)高解析度多光譜近紅外航攝儀的方法。
[0010] ⑷基於航空攝影測量的方法。這是目前主流方法之一，具備體積小，重量輕，成本 低等特點。
[0011] 與前三種方法相比起來，航空攝影測量技術只需要數位相機便可以完成測量任 務，成本很低，而且相對於雷射和近紅外航攝儀，航拍相片更加直觀，更利於進行三維可視 化管理。
[0012] 利用二維圖形提取三維信息是視覺測量理論的核心思想，如何確定多個圖像中的 同名點是其難點問題。一般圖像是通過尋找影像上同名特徵點的方法來進行影像匹配，然 而由於電力線在各個影像上是非常相似的，因此用一般的圖像特徵匹配方案是不可能確定 同名點的。
[0013] 為解決以上難題，文章《直升機電力巡線系統中利用核線約束進行線路三維重建》 採用將電力線間隔棒作為輔助匹配特徵，從而找出導線同名點；文章《基於攝影測量技術的 電力線高程測量方法》利用杆塔所確定的鉛垂面作為約束條件來尋找導線點的對應。但是 由於直升機是單航帶飛行的，所以導線在影像上的成像基本與核線平行，這對尋找同名點 造成很大影響，產生的誤差也很大。
[0014] 為此，有人利用直升機攜帶立體相機來解決導線與核線平行這一問題。其精度有 所提高，但是由於立體相機安置於直升機兩側，其基線僅僅只是直升機上兩臺相機的距離， 基線長度很難符合要求，所以其結果誤差仍然比較大。
[0015] 在建立三維可視化巡線系統和精確測量電力線與周圍植被相對距離的過程中，如 何從航空圖像中提取電力線和電力塔也是解決方案的重點內容。只有將電力線精確提取出 來，才能使用慣導和GPS，從而得到三維數據。根據《基於多種遙感數據的電力線走廊特徵 物提取方法研究》，航空圖像中電力線通常有如下特徵：（1)電力線比較長，通常貫穿整個圖 像；（2)圖像中電力線的寬度一般有3到5個像素；（3)由於直升機一般進行俯拍，所以電 力線類似於直線，且各個電力線是平行關係；(4)電力線背景通常為森林植被、裸地及建築 物，其中裸地與電力線在影像中的輻射特徵較為相似。
[0016] 現階段，國內外從機載雷射雷達數據中提取電力線較為成熟並且應用到實際項目 中。而從複雜的航拍圖像或遙感數據背景中完整地提取到電力線還很少涉及，而且精度不 高。從複雜背景中提取電力線傳統上一般分為兩個步驟：一、利用邊緣檢測算子如Robert、 Sober、Prewitt、Canny提取影像邊緣信息；二、採用直線檢測算子對電力線進行擬合，並計 算電力線的方向及位置。
[0017] 然而傳統算法的提取結果並不理想，表現為：（1)閾值較難確定。確定閾值沒有較 為合理的方法，而且由於影像拍攝的光照等條件限制，每幅圖的閾值又有不同；（2)有些算 子的抗噪性不強。觀察結果可以看出，處理結果又大量噪聲沒有被排除，對噪聲非常敏感。 一般針對此問題會先進行低通濾波，但是這一做法又會使得電力線的邊緣模糊化；（3)某 些算子，如Canny，提取的結果過於豐富，大量背景邊緣如樹木邊緣信息也會被保留。
[0018] 在現階段下，電力部門急需一種新的電力線巡線方案和精確的航空影像電力線電 力塔提取方法來提高三維巡線系統的效率，獲得更加精準的三維坐標，降低電力線走廊巡 線的成本，而這正是本發明的重要內容。
【發明內容】
[0019] 本發明目的在於解決現有階段下電力線巡線成本高、精度差、效率低的問題，提出 利用無人機進行雙航帶飛行和基於LSD與Hough的航空影像電力線精確提取方法。
[0020] 本發明提供一種基於無人機影像的電力線自動提取定位方法，包括以下步驟：
[0021] 步驟1，利用無人機進行雙航帶飛行，獲取航空影像；
[0022] 步驟2,航空影像的電力線自動提取，包括以下子步驟，
[0023] 步驟2. 1，用LSD直線檢測方法對航空影像進行提取；
[0024] 步驟2. 2,利用電力線的輻射特徵進行粗提取；
[0025] 步驟2. 3,針對步驟2. 2的結果利用連通性排除背景信息；
[0026] 步驟2. 4,對步驟2. 1所得結果和步驟2. 3所得結果求並，去除LSD檢測圖像的背 景?目息；
[0027] 步驟2. 5,對步驟2. 4所得結果，排除剩下的背景信息，同時將所檢測到的電力線 連接起來；
[0028] 步驟3,航空影像電力線三維數據定位，包括以下子步驟，
[0029] 步驟3· 1，進行核線影像提取；
[0030] 步驟3. 2,核線與導線相交求同名點坐標；
[0031] 步驟3. 3,根據步驟3. 2所得同名點坐標及外方位元素，進行前方交會，得到電力 線的三維數據。
[0032] 而且，步驟2. 5中，對步驟2. 4所得結果，排除剩下的背景信息採用以下方式，
[0033] ①計算出步驟2. 4所得結果中各個直線的角度Θ ;
[0034] ②將[Θ -t，Θ +t]範圍內的直線歸為一組；
[0035] ③查看各組直線數目，小於相應預設閾值的捨棄；
[0036] ④對各組內直線按照坐標轉換公式計算p值，將[p_n，p+n]範圍內直線歸為一 組；
[0037] ⑤查看各組內直線個數，小於相應預設閾值的捨棄；
[0038] ⑥查看各組內的直線，找出距離最遠的兩個端點，合併直線段。
[0039] 其中，p是極徑，Θ是極角，t和η是相應的容錯範圍。
[0040] 本發明提出了一種新的電力線巡線方案即無人機雙航道飛行方案，和精確的航空 影像電力線電力塔提取方法即LSD與HOUGH結合的方法，來提高三維巡線系統的效率，獲得 更加精準的三維坐標，降低電力線走廊巡線的成本。
【專利附圖】
【附圖說明】
[0041] 圖1為本發明實施例的電力線自動提取流程圖；
[0042] 圖2為本發明實施例的航空影像電力線數據計算流程圖。
【具體實施方式】
[0043] 下面結合附圖和實施例對本發明做進一步詳細描述。
[0044] 本發明實施例包括三個步驟：
[0045] 步驟1，利用無人機進行雙航帶飛行：
[0046] 利用直升機進行單航帶巡線會使導線與核線平行，不利於同名點的精確定位。為 了提高精度，在本發明中採用雙航帶飛行方式。
[0047] 雙航帶法可以得到電力線兩側的圖像，圖像上電力線點的核線與導線近似垂直， 而且由於用於匹配的圖像分別攝於導線兩側，所以基線長度足夠。利用該方法可以比較精 準地找出同名點。然而使用載人直升機進行多航帶飛行最大的問題是成本較高，多航帶飛 行必然比單航帶耗費的成本高，為此本發明採用無人機代替載人直升機。
[0048] 無人機相比直升機或運輸機效費比好、重量小、飛行靈活；採集數據速度快，無人 員傷亡風險；無人機智能化科技日趨成熟，只要程序合理，基本不會出現操作失誤；其成本 要比直升機搭載雷射雷達掃描儀或專業的航空數位相機低很多。使用無人機進行雙航帶飛 行既保證了測量精度又控制了成本。
[0049] 步驟2,航空影像的電力線自動提取，參見圖1 :
[0050] 步驟2. 1，應用LSD直線檢測方法
[0051] LSD能在很短的時間內得出亞像素級精度的檢測結果。本領域技術人員可參考文 章《LSD:a Line Segment Detector》實現步驟2.1，本發明不予贊述。
[0052] 步驟2. 2,利用電力線的輻射特徵進行粗提取
[0053] 實施例中本算子採用最簡潔的RGB閾值法，讀取圖像紅、綠、藍三個通道的像素 值，然後判斷其是否在給定的閾值內，若是則保留像素值，並將其變換為灰度圖像，否則將 像素值賦值為0。
[0054] 電力線在航拍影像上具有較為明顯的輻射特徵，利用輻射特徵可以排除很大一部 分背景信息，特別是與電力線輻射特徵差別較大的背景，如植被。本算子採用最簡潔的RGB 閾值法，通過閾值的控制保留電力線信息，排除大量背景信息。本算子並非要精確定位電力 線，而是要進行粗提取為下一步驟做準備。本算子的關鍵作用是排除掉與電力線輻射特徵 差別較大的信息，並且將與電力線輻射特徵類似的區域打散。
[0055] 步驟2. 3,利用連通性排除背景信息
[0056] 實施例中具體算法為使用種子填充法，先掃描被讀入影像，將掃描到的第一個非 零像點設為種子，查看種子八方向鄰域，如果像素值非零即將其壓入棧中，結束後彈出棧頂 元素，將其作為種子繼續進行八方向繼續查看連通性、壓棧，循環直到棧為空。循環期間記 錄X、Y坐標的最小與最大值，如其差值小於相應預設閾值，則判定其為背景信息，將其曾入 棧的像素均賦值為0。
[0057] 由於裸地等反射強度大的地方，其輻射特徵和電力線極為相似，步驟2. 2的結果 必然仍然帶有大量背景信息。但是這種背景信息與電力線信息相比大都是離散的點，或者 非常小的區域，而電力線則是貫穿整幅影像。根據這一特徵，本算子根據區域連通性排除那 些離散的點，較短的線，和小面積區域，最大程度去除複雜背景信息。
[0058] 步驟2. 4,去除LSD檢測圖像的背景信息
[0059] LSD算法雖然有很強的抗噪性，但是仍然不可避免的有誤檢情況發生，為排除誤檢 直線，將LSD算法的結果與上步的結果進行類似於集合中的"交"處理，即一個像素只有在 兩個影像中都有亮度值，才會在新影像中賦予它亮度，否則賦值為〇。
[0060] 步驟2. 5,利用改進後的Hough檢測直線
[0061] 步驟2. 4為LSD結果影像排除了大量幹擾直線，其剩餘的背景信息多為方向零散 的短直線。由於LSD為局部檢測算子，其檢測到的直線會出現間斷情況。本算子的目的為 排除僅剩下的背景信息，同時將LSD所檢測到的電力線連接起來。
[0062] Hough變換是圖像處理中識別幾何圖像的基本方法之一，受噪聲和曲線間斷的影 像比較少。Hough變換利用的是x-y坐標系與其極坐標k-b坐標系之間點-線的對偶性。 χ-y坐標系中每一個點在Θ -p坐標系中都為一個正弦曲線，而χ-y坐標系中若干個共線的 點在Θ -p坐標系中呈現出相交於一點的多個正弦曲線。
[0063] 其中坐標系的轉換公式為：
[0064] p = x*cos ( Θ )+y*sin ( θ )，Θ 取（〇-180。）
[0065] 由於LSD算法已經將直線端點的坐標求出，所以本發明改進的Hough算子並不需 要Θ取（0-180° )，只需按照兩端點的坐標計算即可，這樣節省了大量程序運行時間。實 施例中本算子具體步驟為：①計算出LSD中各個直線（步驟2. 4所得結果）的角度Θ ;② 將[Θ -t，Θ +t]範圍內的直線歸為一組；③查看各組直線數目，小於相應預設閾值的捨棄； ④對各組內直線按照坐標轉換公式計算P值，將[ρ-η,ρ+n]範圍內直線歸為一組；⑤查看 各組內直線個數，小於相應預設閾值的捨棄；⑥查看各組內的直線，找出距離最遠的兩個端 點，合併直線段。
[0066] 其中，p是極徑，Θ是極角，t和η是相應的容錯範圍。
[0067] 具體實施時，步驟2. 1和步驟2. 2、2. 3可並列執行。
[0068] 步驟3,航空影像電力線三維數據計算，參見圖2 :
[0069] 精確提取各個影像中電力線後，就可以利用GPS輔助空中三角測量的方法，根據 機載GPS/P0S系統提供的外方位元素，相機檢校的內方位元素，生成核線影像，以立體像對 為單位，自動匹配影像中電力線同名點，利用前方交會的方法得到電力線的三維數據，實現 定位。步驟3.1，核線影像提取。
[0070] 通過攝影基線與任意物方點Α所作的平面成為通過Α的核面。
[0071] 核面與影像面的交線成為核線。一條核線上的任一點其在另一影像上的同名點必 定在其同名核線上。根據此原理，只需在電力線上找到一點P，求出它在另一幅影像上的同 名核線，其同名核線與電力線的交點必定是P點的同名點。
[0072] 求同名核線的方法一般可分為兩類：一是基於數字影像的幾何校正；二是基於共 麵條件。本發明採用後一種辦法。
[0073] -般基於共麵條件的核線影像求解都要先進行相對定向來求兩影像的旋轉矩陣， 需要匹配大量的同名點來求解相對定向元素。然而，由於無人機上攜帶GPS/P0S系統，可以 根據慣導提供的外方位元素直接求解同名核線。
[0074] 若已知S為左影像攝影中心，S'為右影像攝影中心，左影像上電力線上一點 口^715)，其像空間輔助坐標為？％義，2 1))，其同名核線上有任意一點1^〇^1)，/1))，像 空間輔助坐標為P(X' P，Y< P，Z' P)，其由於同一核線上的點均位於同一核面上，故滿足共 麵條件：
[0075] B · (SPXS，P，）= 0
[0076] 或
【權利要求】
1. 一種基於無人機影像的電力線自動提取定位方法，其特徵在於：包括以下步驟， 步驟1，利用無人機進行雙航帶飛行，獲取航空影像； 步驟2,航空影像的電力線自動提取，包括以下子步驟， 步驟2. 1，用LSD直線檢測方法對航空影像進行提取； 步驟2. 2,利用電力線的輻射特徵進行粗提取； 步驟2. 3,針對步驟2. 2的結果利用連通性排除背景信息； 步驟2. 4,對步驟2.1所得結果和步驟2. 3所得結果求並，去除LSD檢測圖像的背景 信息； 步驟2. 5,對步驟2. 4所得結果，排除剩下的背景信息，同時將所檢測到的電力線連接 起來； 步驟3,航空影像電力線三維數據定位，包括以下子步驟， 步驟3.1，進行核線影像提取； 步驟3. 2,核線與導線相交求同名點坐標； 步驟3. 3,根據步驟3. 2所得同名點坐標及外方位元素，進行前方交會，得到電力線的 三維數據。
2. 根據權利要求1所述基於無人機影像的電力線自動提取定位方法，其特徵在於：步 驟 2. 5， 對步驟2. 4所得結果，排除剩下的背景信息採用以下方式， ① 計算出步驟2. 4所得結果中各個直線的角度Θ ; ② 將[Θ -t，Θ +t]範圍內的直線歸為一組； ③ 查看各組直線數目，小於相應預設閾值的捨棄； ④ 對各組內直線按照坐標轉換公式計算P值，將[ρ-η,ρ+η]範圍內直線歸為一組； ⑤ 查看各組內直線個數，小於相應預設閾值的捨棄； ⑥ 查看各組內的直線，找出距離最遠的兩個端點，合併直線段；其中，P是極徑，Θ是 極角，t和η是相應的容錯範圍。
【文檔編號】G06K9/60GK104091168SQ201410344788
【公開日】2014年10月8日 申請日期:2014年7月18日 優先權日:2014年7月18日
【發明者】裴慧坤, 周偉才, 江克宜, 譚波, 魏前虎, 申作家, 張金廣, 楊進科, 周海峰, 黃浩, 周雲, 黃海鵬, 楊斌, 林樂, 趙義南, 朱敏傑, 江萬壽, 楊成城, 楊亮 申請人:深圳供電局有限公司, 武漢大學