一種基於特徵的機載雷射點雲與影像數據融合系統及方法
2023-05-03 21:27:06 1
一種基於特徵的機載雷射點雲與影像數據融合系統及方法
【專利摘要】本發明公開了一種基於特徵的機載雷射點雲與影像數據融合方法，包含以下順序的步驟：首先對機載相機採集的影像數據進行SIFT圖像拼接技術處理，然後確定掃描區域中點雲數據與影像數據對應的特徵點，接著利用攝影測量領域中的直接線性變換方法建立三維點雲與二維拼接影像平面中像素點行列號的對應關係，最後將像素點的RGB顏色信息賦給點雲中的每個點，實現了兩種數據的融合。本發明的方法及系統，實現簡便，融合效果精度高，能很好的解決小型無人直升機雷射掃描系統中點雲貼圖問題，具有極大的靈活性好，可以適應相機與雷射掃描儀的分開採集數據的情況。
【專利說明】一種基於特徵的機載雷射點雲與影像數據融合系統及方法
【技術領域】
[0001] 本發明涉及地理三維空間建模領域，特別涉及一種基於特徵的機載雷射點雲與影 像數據融合系統及方法。
【背景技術】
[0002] 機載雷射雷達（LIDAR)測量技術是一種新興的地理空間信息獲取技術。隨著硬體 設備集成度的不斷提高，許多LIDAR系統中都集成了 CCD(圖像傳感器）數位相機，可以在 測量獲取點雲數據的同時得到被測場景的影像數據。通過機載雷射掃描儀可以迅速獲取目 標的空間信息及光照強度信息，這些信息有助於建立精確的DTM模型。由於受到雷射掃描 儀工作方式的限制，點雲數據具有離散、密度不一、不規則性等特點，而且也無法直接獲得 空間對象的表面紋理顏色信息，因此利用點雲數據對目標對象進行識別和特徵提取還是有 一定的難度。雖然有些雷射掃描儀接收光束的反射強度信息可以近似於物體的顏色，但畢 竟不是真實的。
[0003] 然而高解析度的CCD數位相機能夠獲取物體表面的紋理顏色信息具有採樣密度 高、直觀、容易辨別物體細節的特點。這些特性與離散的三維雷射點雲正好形成了互補，利 用數位相機拍攝的CCD影像信息與雷射點雲進行融合處理，能很好地得到具有真實感場景 模型，這對於點雲模型的三維重建、城市建模、海岸帶保護等工作具有重要的意義。
[0004] 目前國內在基於無人機低空飛行的雷射點雲與(XD影像數據的融合方案還存在 著一些空白，而且大多數的融合方案中所採用的影像數據都是由集成在掃描儀上的相機所 獲取的。
[0005] 針對這一情況，本發明根據機載雷射點雲數據與C⑶影像數據的各自的特點，設 計了一種基於特徵點匹配的方案來解決點雲與影像數據的融合問題。
【發明內容】
[0006] 本發明的目的在於克服現有技術的缺點與不足，提供一種基於特徵的機載雷射點 雲與影像數據融合系統及方法。
[0007] 本發明的目的通過以下技術方案實現：
[0008] -種基於特徵的機載雷射點雲與影像數據融合系統，包括順序相連的點雲與圖像 數據採集模塊、影像數據拼接模塊、直接線性變換算法模塊和點雲貼圖模塊；其中
[0009] 點雲與圖像數據採集模塊，採集點雲數據和影像數據；
[0010] 影像數據拼接模塊，利用SIFT圖像拼接算法將採集的影像相片進行拼接處理得 到一幅全景圖片；
[0011] 直接線性變換算法模塊，利用攝影測量理論中的共線方程建立三維點雲與二維影 像數據之間的變換關係；
[0012]點雲貼圖模塊，在建立了這種變換關係之後，將像素點的RGB顏色信息賦給點雲 中的每個點，實現了兩種數據的融合。
[0013] 所述的點雲與圖像數據採集模塊包括點雲數據採集模塊、圖像數據採集模塊，其 中所述的點雲數據採集模塊由搭載平臺、動態差分GPS系統、慣性導航系統INS、雷射測距 系統組成，
[0014] 搭載平臺為直升機或固定翼飛機；
[0015] 動態差分GPS系統由GPS基站和GPS移動站構成，GPS基站固定在地面某處，用於 接收來自GPS衛星發射的定位信號然後將定位數據發射給安置在搭載平臺上的GPS移動 站，由此得到搭載平臺的位置信息，慣性導航系統INS、雷射測距系統均安裝在搭載平臺上， 故確定雷射信號發射參考點的空間位置坐標；
[0016] 慣性導航系統INS利用陀螺儀和加速度計等慣性測量元件感受搭載平臺在飛行 過程中的旋轉變換，經過積分運算，得到實時的姿態信息，包括橫滾角和俯仰角，偏航角由 電子羅盤獲取；
[0017] 雷射測距系統能夠發射和接收雷射脈衝，通過測量發射光束與接收光束的時間差 來計算掃描儀與目標物體之間的距離；同時還能提供光強信息，這些信息最終能夠用來實 現強度成像；
[0018] 通過雷射測距系統得到雷射腳點的距離數據，結合由動態差分GPS系統輸出的搭 載平臺的空間位置信息和慣性導航系統提供的姿態信息，可以聯合解算出雷射腳點在當地 水平坐標系NED下的三維坐標，這些坐標點的集合就是點雲。
[0019] 所述的圖像數據採集模塊，通過裝置在機載系統上的C⑶數位相機拍攝的航片， 提供高解析度的影像數據，這些數據能生成數字正攝影模型D0M產品或者用於點雲融合。
[0020] 本發明的另一目的通過以下技術方案實現：
[0021] 一種基於特徵的機載雷射點雲與影像數據融合方法，包含以下順序的步驟：
[0022] S1.採集點雲數據和影像數據；
[0023] S2.利用SIFT圖像拼接算法將採集的影像相片進行拼接處理得到一幅全景圖片；
[0024] S3.利用攝影測量理論中的共線方程建立三維點雲與二維影像數據之間的變換關 系；
[0025] S4.在建立了這種變換關係之後，將像素點的RGB顏色信息賦給點雲中的每個點， 實現了兩種數據的融合。
[0026] 步驟S2中，所述的SIFT圖像拼接算法包含以下步驟：
[0027] a)檢測尺度空間極值點：圖像在不同尺度下的尺度空間可以用高斯核卷積公式 L(x，y, 〇) =G(x，y, 〇)*I(x，y)來表示，為了有效地在尺度空間檢測到穩定的關鍵點，利 用DoG算子對兩幅圖像在灰度和尺度兩個空間進行局部極值檢測；算子定義為兩個不同尺 度的高斯核的差分，然後通過具體的模型精確確定關鍵點的位置和尺度，去除低對比度和 邊緣響應不穩定的關鍵點；
[0028] b)分配關鍵點方向：點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參 數，保證SIFT算子的旋轉不變性；梯度表示如下 ：
[0029]
【權利要求】
1. 一種基於特徵的機載雷射點雲與影像數據融合系統，其特徵在於：包括順序相連的 點雲與圖像數據採集模塊、影像數據拼接模塊、直接線性變換算法模塊和點雲貼圖模塊；其 中 點雲與圖像數據採集模塊，採集點雲數據和影像數據； 影像數據拼接模塊，利用SIFT圖像拼接算法將採集的影像相片進行拼接處理得到一 幅全景圖片； 直接線性變換算法模塊，利用攝影測量理論中的共線方程建立三維點雲與二維影像數 據之間的變換關係； 點雲貼圖模塊，在建立了這種變換關係之後，將像素點的RGB顏色信息賦給點雲中的 每個點，實現了兩種數據的融合。
2. 根據權利要求1所述的基於特徵的機載雷射點雲與影像數據融合系統，其特徵在 於：所述的點雲與圖像數據採集模塊包括點雲數據採集模塊、圖像數據採集模塊，其中所述 的點雲數據採集模塊由搭載平臺、動態差分GPS系統、慣性導航系統INS、雷射測距系統組 成， 搭載平臺為直升機或固定翼飛機； 動態差分GPS系統由GPS基站和GPS移動站構成，GPS基站固定在地面某處，用於接收 來自GPS衛星發射的定位信號然後將定位數據發射給安置在搭載平臺上的GPS移動站，由 此得到搭載平臺的位置信息，慣性導航系統INS、雷射測距系統均安裝在搭載平臺上，故確 定雷射信號發射參考點的空間位置坐標； 慣性導航系統INS利用陀螺儀和加速度計等慣性測量元件感受搭載平臺在飛行過程 中的旋轉變換，經過積分運算，得到實時的姿態信息，包括橫滾角和俯仰角，偏航角由電子 羅盤獲取； 雷射測距系統能夠發射和接收雷射脈衝，通過測量發射光束與接收光束的時間差來計 算掃描儀與目標物體之間的距離；同時還能提供光強信息，這些信息最終能夠用來實現強 度成像； 通過雷射測距系統得到雷射腳點的距離數據，結合由動態差分GPS系統輸出的搭載平 臺的空間位置信息和慣性導航系統提供的姿態信息，可以聯合解算出雷射腳點在當地水平 坐標系NED下的三維坐標,這些坐標點的集合就是點雲。
3. 根據權利要求2所述的基於特徵的機載雷射點雲與影像數據融合系統，其特徵在 於：所述的圖像數據採集模塊，通過裝置在機載系統上的CCD數位相機拍攝的航片，提供高 解析度的影像數據，這些數據能生成數字正攝影模型DOM產品或者用於點雲融合。
4. 一種基於特徵的機載雷射點雲與影像數據融合方法，其特徵在於，包含以下順序的 步驟：
51. 採集點雲數據和影像數據；
52. 利用SIFT圖像拼接算法將採集的影像相片進行拼接處理得到一幅全景圖片；
53. 利用攝影測量理論中的共線方程建立三維點雲與二維影像數據之間的變換關係；
54. 在建立了這種變換關係之後，將像素點的RGB顏色信息賦給點雲中的每個點，實現 了兩種數據的融合。
5. 根據權利要求4所述的基於特徵的機載雷射點雲與影像數據融合方法，其特徵在 於，步驟S2中，所述的SIFT圖像拼接算法包含以下步驟： a) 檢測尺度空間極值點：圖像在不同尺度下的尺度空間可以用高斯核卷積公式 L(x，y, 〇) =G(x，y, 〇)*I(x，y)來表示，利用DoG算子對兩幅圖像在灰度和尺度兩個空間 進行局部極值檢測；算子定義為兩個不同尺度的高斯核的差分，然後通過具體的模型精確 確定關鍵點的位置和尺度，去除低對比度和邊緣響應不穩定的關鍵點； b) 分配關鍵點方向：點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數，保 證SIFT算子的旋轉不變性；梯度表示如下：
;以關鍵點為中心的鄰域窗口內採樣，並用直方圖統 計鄰域像素的梯度方向；直方圖的峰值代表了該關鍵點處鄰域梯度的主方向，即作為該關 鍵點的方向； c) 生成關鍵點描述子：首先將坐標軸旋轉為關鍵點的方向，以確保旋轉不變性；對每 個關鍵點使用4X4共16個種子點來描述；這樣對於一個關鍵點就可以產生128個數據，形 成128維的SIFT特徵向量；將特徵向量的長度歸一化，則可以進一步去除光照變化的影響， 增強算法抗噪聲的能力，同時對於含有定位誤差的特徵匹配也提供了較好的容錯性； d) 特徵向量匹配：生成兩幅圖像的SIFT特徵向量後，採用關鍵點特徵向量的歐式距離 作為兩幅圖像中關鍵點的相似性判定準則，得到滿足準則的SIFT匹配點對；取圖像中的某 個關鍵點，並找出其與另一張圖像中歐式距離最近的前兩個關鍵點，如果最近的距離除以 次近的距離小於某個閾值，則接受這一對匹配點；降低這個比例閾值，SIFT匹配點數目會 減少，但更加穩定；根據得到的SIFT匹配點對計算出圖像的變換參數，進行拼接融合得到 拼接圖像。
6. 根據權利要求5所述的基於特徵的機載雷射點雲與影像數據融合方法，其特徵在 於，所述的步驟S3,利用攝影測量領域中的DLT算法，建立三維點雲與二維影像平面數據 的對應關係，其中直接線性變換是指建立像素點坐標和相應物點的物方空間坐標之間的 線性關係的算法，根據攝影測量理論中的共線方程可以推導出直接線性變換算法公式：
從上述方程可以看出，直接線性變換算法可以表示二維 像素坐標點（x，y)與其對應的物體空間坐標點（X，Y，Z)間的關係式。
7. 根據權利要求6所述的基於特徵的機載雷射點雲與影像數據融合方法，其特徵在 於，所述的直接線性變換算法公式的解算主要是對參數1的求解，其中解算1參數相當於攝 影測量中的後方空間交會，解算物方空間坐標相當於前方交會，在DLT式子中存在11個未 知參數，對於每一個地物點控制點而言，已知其世界坐標及其像平面坐標可以得到兩個方 程，因此要解算這些1參數，需要6對這樣的控制點；為了提高參數1的解的精度，引入了像 點坐標觀測值改正係數，其表達式如下：
表示控制點在相片中的像平面坐標；然後通過迭代運算完成參數1的解算。
8.根據權利要求7所述的基於特徵的機載雷射點雲與影像數據融合方法，其特徵在 於，所述的步驟S4,具體包含以下步驟： (1) 首先在圖片中選取具有明顯特徵的控制點，這些控制點在圖像中分布比較均勻，且 任意三點不能布設在同一平面內；在目標區域沒有明顯的特徵點時，需要藉助於人工布設 的控制點； (2) 接下來在記錄所選擇的幾組控制點的三維坐標值（X，Y，Z)，以及它們在圖像中對 應的像點的像平面坐標（u，v); (3) 從這些點中選取6對控制點的坐標數據，包括點雲坐標（X，Y，Z)和像平面坐標 (u，V)，將其代入到DLT方程的矩陣中，利用迭代方法解算出11個1參數值； (4) 根據解算出1參數，將點雲中的每個點的坐標值（X，Y，Z)代入該方程，即可求出每 一個點雲所對應的像平面坐標（u，V)，根據像平面坐標就可以取出對應坐標上的RGB像素 值；將真實的RGB值再賦給對應點雲中的點，這樣就完成了點雲的貼圖工作。
【文檔編號】G06T17/05GK104268935SQ201410479615
【公開日】2015年1月7日 申請日期:2014年9月18日 優先權日:2014年9月18日
【發明者】裴海龍, 徐勇 申請人:華南理工大學