基於詞彙樹分塊聚類的無人機航拍圖像匹配的方法
2023-05-17 19:17:21
基於詞彙樹分塊聚類的無人機航拍圖像匹配的方法
【專利摘要】本發明涉及一種基於詞彙樹分塊聚類的無人機航拍圖像匹配的方法，本發明首先以詞彙樹量化場景中的圖像，將圖像集中的海量特徵建立層次聚類，實現快速的帶匹配圖像與海量圖像集相似性的篩選。實現了快速的場景分類過程，避免了傳統方法中逐幀匹配挑選帶匹配圖像集運算量。其次，該方法對於已經得到具有相似性的兩幀圖像，建立圖像的縮略圖並在縮略圖下對圖像進行粗匹配。隨後利用聚類的方法將圖像分塊，是對由粗到細匹配思想的一次有效的嘗試。此外，該發明針對無人機圖像數據量大，圖像解析度高和圖像重疊率低等數據特性，第一次提出適合無人機海量圖像匹配的方法。從而，使得無人機圖像匹配的精度和效率有效的提升。通過在PAMView:ProvidenceAerialMultiViewDataset資料庫中航拍圖像進行測試，驗證了發明方法的有效性。
【專利說明】基於詞彙樹分塊聚類的無人機航拍圖像匹配的方法
【技術領域】
[0001] 本發明涉及海量航拍圖像的匹配方法，具體為一種基於詞彙樹分塊聚類的無人機 航拍圖像匹配的方法。
【背景技術】
[0002] 圖像匹配是計算機視覺和場景分析領域一個重要的問題，其在圖像拼接和三維 重建等領域具有廣泛的應用。現有的圖像匹配算法主要有：基於kd-tree的最近鄰匹配 方法，基於圖像塊近似匹配方法以及基於哈希表的臨近元素檢索方法。文獻"Computing Nearest-Neighbor Fields via Propagation-Assisted KD-Trees，2012 CVPR" 提出了一 種基於傳播方法KD-Trees匹配方法計算兩個視角間稠密的匹配關係，旨在兩張圖像中通 過一張圖像恢復出另一張圖像的信息。傳統的基於樹形結構的匹配方法，通常利用KD-Tree 計算特徵點之間的最近鄰關係，該方法能夠通過樹形結構統計圖像中帶匹配特徵的分布信 息，然而該方法常常獨立的考慮每一組匹配關係，並沒有充分利用多個匹配特徵對之間的 相互依賴關係。圖像塊近似匹配方法（PatchMatch)是基於圖像的局部一致性假設設計的 圖像匹配方法，即若圖像1中的區域A與圖像2中的區域B已驗證具有匹配關係，則在相當 的概率上A的臨近區域與B的臨近區域也具有相似的匹配關係。這是一個高效且自動的算 法，巧妙的結合了基於樹形結構與圖像塊的兩種匹配思想。同時有效的避免了針對樹形結 構檢索時具有的大量的回溯現象，而有能夠提前對圖像數據進行整理，迴避了圖像塊匹配 中需要隨機採樣的算法不穩定性。然而，在無人機航拍領域需要的進行的是特徵點之間的 稀疏匹配，且圖像間存在大量的旋轉與縮放。常常無需完全的得到從一個視角到另一個視 角的完美恢復，而是需要準確的計算同名特徵點。因此該算法不能直接應用的無人機航拍 圖像匹配的問題中。
【發明內容】
[0003] 要解決的技術問題
[0004] 為了解決該類圖像的匹配時存在匹配的速度較慢且匹配的誤差較大等的缺點，本 發明提出一種基於詞彙樹分塊聚類的無人機航拍圖像匹配的方法。
[0005] 技術方案
[0006] -種基於詞彙樹分塊聚類的無人機航拍圖像匹配的方法，其特徵在於步驟如下：
[0007] 步驟1 :對航拍圖像建立訓練集，給每一張圖像建立一個獨立的IDp提取圖像的 SIFT特徵集合，將所有圖像的特徵構建特徵集合Feat = {FeatJ ;
[0008] 步驟2 :利用K-Means聚類方法對特徵集合Feat = {FeatJ建立有層次的L層聚 類的聚類樹，每一層的特徵分為k類，節點數為
【權利要求】
1. 一種基於詞彙樹分塊聚類的無人機航拍圖像匹配的方法，其特徵在於步驟如下： 步驟1 :對航拍圖像建立訓練集，給每一張圖像建立一個獨立的IDi，提取圖像的SIFT 特徵集合，將所有圖像的特徵構建特徵集合Feat = {FeatJ ; 步驟2 :利用K-Means聚類方法對特徵集合Feat = {FeatJ建立有層次的L層聚類的 聚類樹，每一層的特徵分為k類，節點數為
步驟3 :計算每個IDi圖像與聚類樹中的每一個聚類中心節點匕的權值矩陣：
其中，
為聚類中心節點匕出現在圖像IDi中的頻數，N為訓練集 圖像總數，r^_表示節點包含圖像總數，矩陣的每一行表示第i張圖像對從1到t個聚類中心 節點的相關度權值； 步驟4:將無人機採集到的新的圖像作為匹配圖像ID，提取匹配圖像ID的SIFT特徵集 合，計算匹配圖像在聚類樹中的權值向量
為匹配圖 像特徵在聚類中心節點匕中出現的頻數； 對匹配圖像的q逐行計算與訓練集圖像的IDi的2-範數，用快速排序算法得到距離排 名前20的圖像形成待匹配圖像集合{IDJ ; 步驟5 :對待匹配圖像和匹配圖像進行水平與堅直方向上降採樣得到縮略圖，在待匹 配圖像集{IDJ與匹配圖像ID的縮略圖尺度下，利用SIFT特徵構建KD-Tree，採用下式計 算匹配圖像與待匹配圖像集合中的每個圖像IDi的FLANN最近鄰特徵：
當圖像對的特徵的最近鄰距離與次近鄰的距離小於固定閾值時，匹配圖像能夠與待匹 配圖像匹配，對匹配縮略圖像的已匹配的特徵分別進行k-means聚類，根據聚類類別對圖 像特徵進行分塊，利用下述規則得到匹配縮略圖像上第i個聚類的圖像塊的四個方向的邊 界：
其中，X，y分別為第i個特徵點的像素的位置，同時對待匹配縮略圖像集合中的IDi進 行分塊，並映射到原始圖像的尺度下； 步驟6 :對能夠匹配的圖像塊在原始圖像下構建KD-Tree子樹，按照步驟5的方法計算 匹配圖像ID與待匹配集合{IDJ每個元素間的特徵匹配關係。
2.根據權利要求1所述的基於詞彙樹分塊聚類的無人機航拍圖像匹配的方法，其特徵 在所述的固定閾值為0.7。
【文檔編號】G06F17/30GK104216974SQ201410432326
【公開日】2014年12月17日 申請日期:2014年8月28日 優先權日:2014年8月28日
【發明者】張豔寧, 楊濤, 宋徵璽 申請人:西北工業大學