利用雷射點雲輔助的可量測全景影像生成方法與流程
2023-11-11 18:08:47
本發明屬於計算機視覺及雷射點雲測量數據處理自動化領域，尤其涉及一種利用雷射點雲輔助的可量測全景影像生成方法。
背景技術：
車載移動測量系統(mobile mapping system，MMS)結合雷射掃描儀、全景相機、高精度定位定姿系統(position and orientation system，POS)等多種優異的傳感器，是近年來快速發展的一種新型集成高效的測量系統。利用該系統可以融合雷射點雲的幾何屬性及全景影像的光譜屬性，生產具有可量測性的全景影像，用於城市規劃、道路檢測、市政部件資產普查等。而準確地將雷射點雲、全景影像數據配準以及準確地計算點雲特徵是生產可量測全景影像的前提。
目前，國內外一些學者已經對上述問題做了一些研究，ZHANG and PLESS（2004）通過棋盤格子標定的方式，將影像與雷射點雲配準；MEI and RIVES（2006）提出了一種配準柱狀相機和雷射點雲的方式；曾凡洋（2016）給出了一種基於共線方差的全景與點雲配準方式。現有許多全景配準研究主要是在車載掃描儀與車載全景相機間的研究，這類研究往往基於掃描儀與相機之間通過系統標定建立其嚴格幾何關係的前提之下，而對於非同機採集數據，POS初值不準的情況下全景影像與雷射點雲數據的配準研究較少，如果沒有靶標，則無法採用上述標定的方法；而如果採用共線方程的方法，則存在全景影像畸變大，因而，選點時不可選圖像上靠近邊緣的點，且點對選擇不當就會造成誤差很大。
對於點雲法向量的計算，Hoppe and DeRose（1992）假設點雲的採樣平面是局部處處光滑的，這樣對於每一個點都位於一個平面上，對於採樣點p，取以p為中心，k為半徑的鄰域中所有點，將這些點擬合平面，該平面的法向量作為採樣點p的法向量。Gross and Pfister（2007）在此基礎上，對採樣點p的k鄰域內的每一個點賦予高斯權重，即離採樣點p越近的點對採樣點p的法向量影響越大。Lange and Polthier（2005）利用主元分析法（Principal Component Analysis，PCA）計算採樣點p的k鄰域內所有點的主成分作為採樣點p的法向量。但是由於雷射點雲數據採集過程中產生的噪聲點影響，法向量計算會有一定的誤差，如何合理的處理噪聲點的影響，是一個需要解決的問題。
技術實現要素：
針對現有技術存在的不足，本發明提供了一種利用雷射點雲輔助的可量測全景影像生成方法。
本發明方法包括全景影像雷射點雲配準、點雲特徵計算及可量測全景影像生成。第一步中，將全景影像和點雲配準，即計算全景影像的曝光中心在點雲坐標系下的三維坐標以及全景影像的三個角度控制的朝向。第二步中，為處理大規模點雲的計算和揀選，將車載雷射點雲建立空間索引，並根據第一步計算出的全景影像曝光中心的位置，選出曝光中心半徑R內的點云為後續處理做準備。第三步中，計算選出的點雲中每個點的法向量，再依次遍歷全景影像的每個柵格，求出對應點雲中點的深度，並將該點的法向量保存，對於全景影像中柵格沒有對應三維點的情況，需要通過雙三次內插得到該柵格深度。
本發明的技術方案如下：
利用雷射點雲輔助的可量測全景影像生成方法，包括步驟：
步驟1，將全景影像沿水平方向劃分為多個部分，分別進行虛擬成像獲得多幅框幅式影像，各框幅式影像像主點對應的虛擬光線水平方向均勻分布；沿水平方向將框幅式影像依次記為框幅式影像0、框幅式影像1……框幅式影像N-1；
步驟2，選取初始點對，並初始化框幅式影像的外方位元素，具體為：
各框幅式影像上分別隨機選取角點，所選角點和所選角點在雷射點雲坐標下對應的雷射點構成初始點對；
採用PNP算法計算框幅式影像0的外方位元素初始值，基於各框幅式影像曝光中心相同以及各框幅式影像的空間姿態關係，獲得其他框幅式影像的外方位元素初始值；
步驟3，基於步驟2所得外方位元素初始值，以初始點對中所有雷射點到對應框幅式影像上的投影誤差的和最小為條件方程，調整外方位元素初始值，獲得精確的外方位元素值；
步驟4，構建雷射點雲的空間索引，根據步驟3所得外方位元素中線元素獲得全景影像的曝光中心，在空間索引中選取以曝光中心為球心的球形鄰域，球形鄰域內雷射點雲即全景影像的鄰域點雲；
步驟5，計算鄰域點雲中各雷射點的法向量，將各雷射點的法向量作為鄰域點雲的特徵；
步驟6，將鄰域點雲的深度和特徵投影到全景影像，即得到可量測全景影像。
步驟1中，將全景影像沿水平方向劃分為6個部分。
步驟2中，所述的各框幅式影像上分別隨機選取角點具體為：
框幅式影像0上隨機選取4個以上角點；其他框幅式影像上隨機選取2個以上角點。
步驟3中，所述的條件方程如下：
其中：
imgj表示框幅式影像j；
pji表示框幅式影像j的初始點對中第i個雷射點；
Q(imgj,pi)表示pji在imgj上的推測投影點；
xji表示框幅式影像j的初始點對中與pji對應的角點；
d(·)表示推測投影點和xji的平面距離；
jm表示框幅式影像j的初始點對的點對數；
vij為係數，
步驟5中，計算鄰域點雲中各雷射點的法向量，具體為：
找雷射點的k鄰近點；
求k鄰近點的質心；
計算半正定協方差矩陣其中，pi表示雷射點的第i個鄰近點的坐標，表示質心的坐標；
分解半正定協方差矩陣，其最小特徵值即雷射點的法向量。
步驟6中，鄰域點雲的深度採用如下方法獲得：
遍歷全景影像的各柵格，各柵格對應點雲中雷射點的深度即柵格的深度，所有柵格的深度構成鄰域點雲的深度。
若當前柵格無對應點雲，通過相鄰柵格的深度內插獲得當前柵格的深度。
本發明的特點如下：
本發明可實現可量測全景影像的生產，其中，設計了一種全景影像和雷射點雲配準方法，以實現全景影像和雷射點雲無靶標情況下的準確配準；完成了大規模點雲索引的生成，方便後續對點雲數據及計算及顯示等其他運用的實現；設計了一種魯棒性PCA點雲特徵計算方法，降低了點雲中點噪聲對點特徵計算的影響。
採用本發明生產的可量測全景影像具有較高精度，可廣泛運用於測量領域及資產調查。
附圖說明
圖1是本發明的具體流程圖；
圖2是虛擬成像原理圖；
圖3是虛擬成像示例圖，其中，圖（a）為全景影像，圖（b）～（g）為6幅框幅式影像；
圖4是實施例中點雲索引示例圖，圖（a）和圖（b）分別為不同視角的點雲索引截圖；
圖5是實施例中點雲數據在全景影像上的投影示意圖，圖（a）～（f）分別為不同場景下點雲數據在全景影像上的投影示意圖。
具體實施方式
本發明可採用計算機軟體方式支持自動運行流程，其流程如圖1所示，包括以下步驟：
步驟1：全景影像的虛擬成像。
將全景影像按照水平方向劃分成6個部分，虛擬成像得到6個框幅式影像，每張框幅式影像的像主點對應的虛擬光線水平均勻分布，每張框幅式影像與第一張框幅式影像相機主軸水平夾角分別為0°、60°、120°、180°、240°、300°，對應的框幅式影像序號依次為0、1、2、3、4、5。
本實施例中，水平方向劃分為6個部分充分考慮了影像間的重疊關係以及數據冗餘度，通過大量實踐經驗，劃分為6個部分可相對保證影像的重疊度，也保證了較小的數據冗餘度。
框幅式影像成像原理如圖2，令全景影像的成像中心為Op，令虛擬成像相機內方位元素中像主點cx＝cy＝c0，焦距為f＝f0，面陣大小為h*w，外方位元素角元素對應的旋轉矩陣為Rv，而虛擬成像的曝光中心與全景影像的曝光中心相同，則外方位元素中的平移量為0。令虛擬成像平面上的點坐標為(xv,yv,-f0)T，而對應全景球上的點直角坐標系下坐標為(xp,yp,zp)T，對應全景相片上的平面點坐標為(r,c)T，比例係數為λ，則可以得到如下虛擬成像公式：
根據虛擬成像公式，則可從全景影像獲得6幅框幅式影像，見圖3。
步驟2：選取初始點對，並初始化外方位元素。
在序號為0的框幅式影像上隨機選取4個以上角點，一般取10個，選出角點在雷射點雲坐標下對應的雷射點，獲得初始點對。在序號為1、2、3、4、5的框幅式影像上依次選取2個以上角點，一般取4個，採用相同的方法獲得初始點對。
利用PNP算法計算序號為0的框幅式影像的外方位元素初始值，外方位元素包括角元素和線元素，令得到的角元素初始值為(α,β,γ)，線元素初始值為T0(t0,t1,t2)。根據公式（1）所示的成像模型，可得到其他5張框幅式影像的角元素初始值分別為(α+60,β,γ)、(α+120,β,γ)、(α+180,β,γ)、(α+240,β,γ)、(α+300,β,γ)。由於每張框幅式影像的曝光中心相同，則可得到每張框幅式影像的線元素：
T1＝T2＝T3＝T4＝T5＝T0 （2）
式（2）中，T0、T1、T2、T3、T4、T5分別表示框幅式影像0、1、2、3、4、5的線元素。
步驟3：列條件方程，最小化所有初始點對的重投影誤差。
根據步驟2得到的各框幅式影像的外方位元素初始值以及所有初始點對，列出條件方程，最小化各雷射點到對應框幅式影像上的投影誤差，從而得到更精確的外方位元素值，待平差元素為(α,β,γ,t0,t1,t2)。
條件方程如下：
式（3）～（4）中：
imgj表示框幅式影像j；
pji表示框幅式影像j的初始點對中第i個雷射點；
Q(imgj,pi)表示pji在imgj上的推測投影點；
xji表示框幅式影像j的初始點對中與pji對應的角點；
d(·)表示推測投影點和xji的平面距離；
jm表示框幅式影像j的初始點對的點對數；
vij為係數。
步驟4：構建雷射點雲的空間索引，搜索全景影像的鄰域點雲。
遍歷點雲數據，得到點雲數據的空間範圍，根據空間範圍構建點雲數據的空間八叉樹，見圖4。將節點對應的點雲數據存入硬碟，這樣就構建了點雲數據的外存索引，可減輕內存壓力。
根據步驟3得到的外方位元素中的線元素，即全景影像的曝光中心Op，以Op為球心，R為鄰域半徑，在空間索引中選取落入球形鄰域範圍內的雷射點雲，記為全景影像的鄰域點雲。鄰域半徑實際應用環境進行確值，城市環境中鄰域半徑一般定為20m；而在開闊場地中，鄰域半徑一般設為50m或更大。
步驟5：計算鄰域點雲特徵。
將鄰域點雲中雷射點記為點p，計算點p的法向量n方法如下：找到點p的k鄰近點，並求出k鄰近點的質心令法向量n滿足||n||2=1，此時法向量計算問題轉化為對半正定協方差矩陣M陣進行分解，將M的最小特徵值作為點p的法向量。
公式（5）中，pi表示點p的第i個鄰近點的坐標，表示質心的坐標。
為提高算法的魯棒性，降低點雲法向量的計算誤差，對上述計算過程採用RANSAC（RANdom Sample Consensus）法，最終獲得點p的法向量。
步驟6：將鄰域點雲的深度和特徵投影到全景影像，即得到可量測全景影像。
遍歷全景影像的各柵格，求出柵格對應點雲中雷射點的深度，即柵格的深度，所有柵格的深度構成鄰域點雲的深度。對柵格無對應點雲的情況，該柵格的深度則通過對相鄰柵格的深度進行雙三次內插得到。點雲數據在全景影像上的投影如圖5所示。
本文中所描述的具體實施例僅僅是對本發明精神作舉例說明。本發明所屬技術領域的技術人員可以對所描述的具體實施例做各種各樣的修改或補充或採用類似的方式替代，但並不會偏離本發明的精神或超越所附權利要求書所定義的範圍。