一種圖像底層視覺特徵的提取方法
2023-09-12 19:37:00 1
一種圖像底層視覺特徵的提取方法
【專利摘要】本發明公開了一種圖像底層視覺特徵的提取方法，基於MapReduce框架，其包括以下步驟：1）分別通過MSER檢測器和Harris-Affine檢測器對海量高解析度遙感影像進行MSER特徵區域和Harris-Affine特徵區域的檢測；2）通過SIFT128維特徵描述器在檢測出的MSER特徵區域和Harris-Affine特徵區域中選取興趣點並進行向量描述。本圖像底層視覺特徵的提取方法可以有效地處理海量遙感影像、實現海量高解析度遙感影像的底層視覺特徵的提取，從而可以提高海量遙感影像的利用率。
【專利說明】一種圖像底層視覺特徵的提取方法
【技術領域】
[0001] 本發明涉及遙感【技術領域】，特別涉及一種圖像底層視覺特徵的提取方法。
【背景技術】
[0002] 隨著技術的發展，各種時間、空間和光譜解析度的遙感影像正在呈幾何級數的增 長，但傳統遙感影像處理方法一般是採用串行或循環的方式對單張遙感影像或單個遙感影 像集進行處理，無法有效應對日產量海量或單幅像素海量的遙感影像。因而，目前的處理技 術對遙感影像的利用效率很低。另外，受限於目前的計算機單機硬體，海量遙感影像的處理 無法直接進行，這其中也出現了某些勉強成功的處理，但是其是需要長時間的等待的，這對 於數據處理者和使用者來說都是無法接受的。
[0003] 近十年來，新興的高性能計算技術，如雲計算等技術，在海量數據處理方面已經得 到了廣泛的推廣。因此，利用新興的高性能計算集群的超強計算、存儲及吞吐能力處理海量 高解析度遙感影像成為一種新的思路。而遙感影像視覺特徵的提取又是進行遙感影像進一 步信息檢索、圖像理解的重要基礎。因此，研發高擴展的底層視覺特徵提取方法，能有效地 推進海量遙感數據的及時高效的處理和分析，提高數據的使用效率和利用率。
[0004] 但是，這其中，影響高解析度遙感影像獲取的條件十分複雜，如天氣變化、拍攝位 置和角度變化、設備自身的不穩定等，這些都使採集的高解析度遙感影像的質量和內容存 在較大差異。為了更好的對高解析度遙感影像和人工地物進行描述，使同類型的人工地物 能被更好的歸類，而不同類型的人工地物能被更好的區分，選擇的高解析度遙感影像底層 視覺特徵要能有效應對三個方面的差異性問題：1)不同人工地物類型間的差異；2)視點變 化所帶來的差異；3)不同條件下獲取的差異。
[0005] 因此，我們需要一種可以有效地處理海量遙感影像的技術，實現海量高解析度遙 感影像的底層視覺特徵的提取，來提高海量遙感影像的利用率。
【發明內容】
[0006] 本發明的目的就是針對上述問題，提供一種可以有效地處理海量遙感影像、實現 海量高解析度遙感影像的底層視覺特徵的提取，從而可以提高海量遙感影像的利用率的圖 像底層視覺特徵的提取方法。
[0007] 為了實現上述目的，本發明提供了以下技術方案：一種圖像底層視覺特徵的提取 方法，基於MapReduce框架，其包括以下步驟： 1) 分別通過MSER檢測器和Harris-Affine檢測器對海量高分 辨率遙感影像進行MSER特徵區域和Harris-Affine特徵區域的檢測； 2) 通過SIFT128維特徵描述器在檢測出的MSER特徵區域和Harris-Affine特徵區域 中選取興趣點並進行向量描述。
[0008] 進一步地，上述的步驟1)中： 通過MSER檢測器對海量高解析度遙感影像進行MSER特徵區域的檢測：通過該MSER檢 測器遍歷每個像素的灰度值，獲得圖中所有的二值化閾值，在該MSER檢測器中設定所述二 值化閾值的一個為界限值，然後指定大於或者小於該界限值的像素為黑色，對應地指定小 於或者大於該界限值的像素為白色，然後生成一個以幀對應數值為閾值的二值化處理圖像 的連續圖像集； 通過Harris-Affine檢測器對海量高解析度遙感影像進行Harris-Affine特徵區域的 檢測：通過該Harris-Affine檢測器對海量高解析度遙感影像的特徵尺度和空間位置進行 自動選取。
[0009] 進一步地，上述的Harris-Affine檢測器還根據自適應迭代方法調整檢測出的 Harris-Affine特徵區域的形狀，克服Harris-Affine特徵區域因仿射變化所產生的形變。
[0010] 進一步地，上述的步驟2)中，通過上述SIFT128維特徵描述器在上述興趣點的領 域範圍內選取至少16X16像素的窗口，然後將其劃分為至少4X4像素的子窗口共16個， 通過所述SIFT128維特徵描述器計算該子窗口中每個像素的梯度大小和梯度方向，然後根 據8梯度方向的直方圖來統計子窗口的平均方向，為每個該子窗口都創建一個8方向且通 過高斯核函數加權的梯度直方統計圖，得到128維特徵向量，對該128維特徵向量進行單位 化，得到所述興趣點中的128維SIFT描述子。
[0011] 進一步地，上述的圖像底層視覺特徵的提取方法的描述過程還包括以下基於 MapReduce框架的檢測和描述方法，其包括以下步驟： 21) 劃分：計算機對輸入文件或文件集切分成InputSplit (邏輯小塊）並傳輸給每個 Map (映射)，Split函數通過完全讀取大文件-索引來分析大文件-數據中遙感影像數據 的元數據，進而以預定規則對所述大文件-數據進行邏輯上的劃分並分配給Map操作，然後 RecordReader函數將劃分inputSplit讀取成一條條key-value的記錄，隨後按次序傳遞給 map函數完成數據輸入工作； 22) 映射：在一個Map操作內部，計算機根據串行的順序進行底層視覺特徵的檢測和 描述，在一個Map操作內部，將按照串行的順序來進行底層視覺特徵檢測和描述處理，Map 操作輸入的記錄key-value格式為〈Metadata, Remote image〉，其中Metadata為當前影 像遙感的元數據，Remote image為當前遙感影像的二進位數據流；Map操作輸出的記錄 key-value 格式為〈Feature type，Feature〉，Feature type 為特徵區域的類型，Feature 為字符型特徵描述； 23) 歸約（Reduce):計算機按類型排序重組的上述〈Feature type, Feature〉被分配到 不同的Reduce操作，每個Reduce操作實例對應一種類型的底層視覺特徵，將接收的多個同 類型的底層視覺特徵集合合併成一個完整的文件。
[0012] 進一步地，上述的步驟22)中，還包括分區（Partition)步驟：計算機根據上述 Feature type對上述Map輸出的上述〈Feature type, Feature〉進行分類，為後續Reduce 提供數據準備，在每個Map操作的後面都插入一個上述Partition的操作，讓它對上述Map 操作生成的所有上述〈Feature type,Feature〉進行分區處理，獲得與底層視覺特徵檢測器 數目相等的上述〈Feature type, Feature〉的分區，然後各個上述Map操作輸出結果經上述 Partition操作處理後會在系統後臺進行排序重組,再傳遞給上述的後續Reduce操作。
[0013] 進一步地，上述的步驟21)中，計算機根據規則格網劃分方法對輸入文件或文件集 切分成 InputSplit。
[0014] 採用以上技術方案的有益效果在於： 本發明的方法主要包括了 MSER特徵區域和Harris-Affine特徵區域的檢測和對該 特徵區域的描述兩大步驟，其結合了兩種底層視覺特徵提取方法進行遙感影像視覺特徵提 取，具備以下優點：1)通過像素梯度計算而來，具有多尺度視點不變描述性；2)從像素層次 對強度信息有較好的表達，對指定區域有較好的描述穩定性；3)使用像素間差異對區域進 行描述，對輻射變化具有較好的容錯性。因此，本發明的方法與現有技術相比，其可以有效 地處理海量遙感影像、實現海量高解析度遙感影像的底層視覺特徵的提取，從而可以提高 海量遙感影像的利用率。
【專利附圖】
【附圖說明】
[0015] 圖1是本發明的圖像底層視覺特徵的提取方法在實施例中的流程示意圖。
[0016] 圖2a和2b是本發明的圖像底層視覺特徵的提取方法的MSER特徵區域在實施例 中的檢測結果圖。
[0017] 圖3a和3b是本發明的圖像底層視覺特徵的提取方法的Harris-Affine特徵區域 在實施例中的檢測結果圖。
[0018] 圖4是本發明的圖像底層視覺特徵的提取方法在實施例中六組小影像集大文件 運行時間與輸出數據量的示意圖。
【具體實施方式】
[0019] 下面結合附圖詳細說明本發明的優選實施方式。
[0020] 本實施例為實施本發明最優選的。本實施例中的圖像底層視覺特徵的提取方法是 基於MapReduce框架的，該方法包括以下步驟： 1) 分別通過MSER檢測器和Harris-Affine檢測器對海量高分辨 率遙感影像進行MSER特徵區域和Harris-Affine特徵區域的檢測； 2) 通過SIFT128維特徵描述器在檢測出的MSER特徵區域和Harris-Affine特徵區域 中選取興趣點並進行向量描述。
[0021] 上述的步驟都基於MapReduce框架，可以使用Visual Geometry Group (VGG) 所提供的LINUX環境下的LN應用程式實現。圖2a、2b和3a、3b分別描述了 MSER和 Harris-Affine檢測器的特徵提取效果，圖2 a和3a分別表示MSER和Harris-Affine檢測 器的自然地物特徵檢測效果、圖2b和3b分別表示MSER和Harris-Affine檢測器的人工地 物特徵檢測結果。這其中，自然地物分布面積廣，邊緣不明顯，紋理單一，特徵數量少，而人 工地物面積小、類型多、邊緣明顯、結構複雜，可檢測出的MSER特徵多，而Harris-Aff ine特 徵實現了特徵尺度和空間位置的自動選取，克服了 Harris特徵點的弱尺度特性。同時，還 引入自適應的迭代方法調整特徵區域形狀，使Harris-Affine特徵能夠克服仿射變換所產 生的形變，自然地物特徵尺度小，重疊部分少，邊緣不明顯，特徵數量少，而人工地物邊緣明 顯、結構複雜、遮擋陰影多，可檢測出Harris-Affine特徵多，而且其具在尺度和仿射不變 性。說明這兩個檢測器適用於高解析度遙感影像特徵描述，特別是人工地物。
[0022] 上述的步驟1)中可以通過以下方法實現：通過MSER檢測器遍歷每個像素的灰 度值，獲得圖中所有的二值化閾值，在MSER檢測器中設定所述二值化閾值的一個為界限 值，然後指定大於或者小於該界限值的像素為黑色，對應地指定小於或者大於該界限值的 像素為白色，然後生成一個以幀對應數值為閾值的二值化處理圖像的連續圖像集；通過 Harris-Affine檢測器對海量高解析度遙感影像進行Harris-Affine特徵區域的檢測：通 過該Harris-Affine檢測器對海量高解析度遙感影像的特徵尺度和空間位置進行自動選 取。
[0023] 上述的連續圖像集中，隨著閾值的增力口，兩個局部最小區域將在某 點出現合併。最終，整張圖像將變為全黑。此連續圖像集中所有幀全部連接 部分的集合，就是最大區域的集合；而最小區域的集合則可以通過倒轉圖像 ?的強度並執行同樣的處理而獲得。本MSER檢測器特別適於檢測高解析度遙感影像中人工 地物的底層視覺特徵。上述的MSER特徵區域，即最大穩定極值區域，是通過一個區域和其 外邊界強度函數的極值屬性來獨立定義的區域。
[0024] 上述的Harris-Affine檢測器還可以根據自適應迭代方法調整檢測出的 Harris-Affine特徵區域的形狀，克服Harris-Affine特徵區域因仿射變化所產生的形變。
[0025] 上述的Harris-Affine檢測器監測人工地物區域時，檢測結果邊緣明顯、結構復 雜、遮擋陰影多，可檢測出Harris-Affine特徵多，而且其具在尺度和仿射不變性，是高分 辨率遙感影像描述的較好選擇。
[0026] 上述的步驟2)中，可以通過上述SIFT128維特徵描述器在上述興趣點的領域範圍 內選取16 X 16像素的窗口，也可以是大於此像素的其他值，然後將其劃分為4X 4像素的子 窗口共16個，通過所述SIFT128維特徵描述器計算該子窗口中每個像素的梯度大小和梯度 方向，然後根據8梯度方向的直方圖來統計子窗口的平均方向，為每個該子窗口都創建一 個8方向且通過高斯核函數加權的梯度直方統計圖，得到128維特徵向量，對該128維特徵 向量進行單位化，得到所述興趣點中的128維SIFT描述子。
[0027] 如圖1所示，上述的圖像底層視覺特徵的提取方法的描述過程還包括以下基於 MapReduce框架的檢測和描述方法，其包括以下步驟： 21) 劃分：計算機對輸入文件或文件集切分成InputSplit (邏輯小塊）並傳輸給每個 Map (映射)，Split函數通過完全讀取大文件-索引來分析大文件-數據中遙感影像數據 的元數據，進而以預定規則對所述大文件-數據進行邏輯上的劃分並分配給Map操作，然後 RecordReader函數將劃分inputSplit讀取成一條條key-value的記錄，隨後按次序傳遞給 map函數完成數據輸入工作； 22) 映射：在一個Map操作內部，計算機根據串行的順序進行底層視覺特徵的檢測和 描述，在一個Map操作內部，將按照串行的順序來進行底層視覺特徵檢測和描述處理，Map 操作輸入的記錄key-value格式為〈Metadata, Remote image〉，其中Metadata為當前影 像遙感的元數據，Remote image為當前遙感影像的二進位數據流；Map操作輸出的記錄 key-value 格式為〈Feature type，Feature〉，Feature type 為特徵區域的類型，如"MSER，' 和"Harris-Affine"等，Feature為字符型特徵描述； 23) 歸約（Reduce):計算機按類型排序重組的上述〈Feature type, Feature〉被分配到 不同的Reduce操作，每個Reduce操作實例對應一種類型的底層視覺特徵，將接收的多個同 類型的底層視覺特徵集合合併成一個完整的文件。
[0028] 繼續如圖1所示，上述的步驟22)中，還可以包括分區（Partition)步驟：計算機根 據上述Feature type對上述Map輸出的上述〈Feature type, Feature〉進行分類，為後續 Reduce提供數據準備，在每個Map操作的後面都插入一個上述Partition的操作，讓它對上 述Map操作生成的所有上述〈Feature type, Feature〉進行分區處理，獲得與底層視覺特徵 檢測器數目相等的上述〈Feature type, Feature〉的分區，然後各個上述Map操作輸出結果 經上述Partition操作處理後會在系統後臺進行排序重組,再傳遞給上述的後續Reduce操 作。
[0029] 上述的步驟21)中，計算機可以根據規則格網劃分方法對輸入文件或文件集切分 成 InputSplit。
[0030] 上述的基於MapReduce框架的檢測和描述方法具體實施中可以在計算機中的 Visual Geometry Group (VGG)所提供的LINUX環境下的LN應用程式的軟體環境下實現。
[0031] 為驗證本發明在不同數量視覺特徵下的提取效率，進行了如下實驗： 準備如下硬體：四臺浪潮英信NF5220伺服器，每臺8個Intel Xeon E5504 2. 0G的 CPU、64GB RAM內存和IT硬碟、網絡連接用TP-Link千兆交換機。
[0032] 準備如下軟體：虛擬系統為 CentOS 6. 5，安裝 jdk-6u27-linux-x64_rpm、 Hadoop-〇· 20. 2、HBase-0· 90. 3、Zookeeper-3. 3. 1、GDAL1. 6,編程平臺為 Eclipse3. 7 (INDIGO)。其中，Java 在 Linux 下調用的 GDAL 包是在 SWIG (Simplified Wrapper and Interface Generator)的基礎上使用G++4. 4和ANT編譯而成。
[0033] 虛擬集群：在四臺物理機器中的每臺上再虛擬出四臺機器，組成共16個節點的 他(1〇0口集群。其中包括1臺]\^8七61'(1381^1'四〇1^1'、似11161^0(16)和15臺313￥6(]〇131'四〇1^1'、 DataNode)，HDFS系統數據備份設置為3，MapReduce內存設置為2046MB，每臺虛擬機可支持 兩個Map操作。
[0034] 本實驗數據為小影像集大文件，以256為影像規則網格劃分像素處理生成的六組 小影像集大文件，詳細內容如表1所示。
[0035] 表1 本實驗處理的小影像集大文件詳細信息_ι
【權利要求】
1. 一種圖像底層視覺特徵的提取方法，基於MapReduce框架，其特徵在於：包括以下步 驟： 1) 分別通過MSER檢測器和Harris-Affine檢測器對海量高解析度遙感影像進行MSER 特徵區域和Harris-Affine特徵區域的檢測； 2) 通過SIFT128維特徵描述器在檢測出的MSER特徵區域和Harris-Affine特徵區域 中選取興趣點並進行向量描述。
2. 根據權利要求1所述的圖像底層視覺特徵的提取方法，其特徵在於：所述步驟1) 中： 通過MSER檢測器對海量高解析度遙感影像進行MSER特徵區域的檢測：通過所述MSER 檢測器遍歷每個像素的灰度值，獲得圖中所有的二值化閾值，在所述MSER檢測器中設定所 述二值化閾值的一個為界限值，然後指定大於或者小於所述界限值的像素為黑色，對應地 指定小於或者大於所述界限值的像素為白色，然後生成一個以幀對應數值為閾值的二值化 處理圖像的連續圖像集； 通過Harris-Affine檢測器對海量高解析度遙感影像進行Harris-Affine特徵區域的 檢測：通過所述Harris-Affine檢測器對海量高解析度遙感影像的特徵尺度和空間位置進 行自動選取。
3. 根據權利要求2所述的圖像底層視覺特徵的提取方法，其特徵在於：所述 Harris-Affine檢測器還根據自適應迭代方法調整檢測出的Harris-Affine特徵區域的形 狀，克服Harris-Affine特徵區域因仿射變化所產生的形變。
4. 根據權利要求1所述的圖像底層視覺特徵的提取方法，其特徵在於：所述步驟2)中， 通過所述SIFT128維特徵描述器在所述興趣點的領域範圍內選取至少16 X 16像素的窗口， 然後將其劃分為至少4X4像素的子窗口共16個，通過所述SIFT128維特徵描述器計算所 述子窗口中每個像素的梯度大小和梯度方向，然後根據8梯度方向的直方圖來統計子窗口 的平均方向，為每個所述子窗口都創建一個8方向且通過高斯核函數加權的梯度直方統計 圖，得到128維特徵向量，對所述128維特徵向量進行單位化，得到所述興趣點中的128維 SIFT描述子。
5. 根據權利要求1所述的圖像底層視覺特徵的提取方法，其特徵在於：描述過程還包 括以下基於MapReduce框架的檢測和描述方法，其包括以下步驟： 21) 劃分：計算機對輸入文件或文件集切分成InputSplit (邏輯小塊）並傳輸給每個 Map (映射)，Split函數通過完全讀取大文件-索引來分析大文件-數據中遙感影像數據 的元數據，進而以預定規則對所述大文件-數據進行邏輯上的劃分並分配給Map操作，然後 RecordReader函數將劃分inputSplit讀取成一條條key-value的記錄，隨後按次序傳遞給 map函數完成數據輸入工作； 22) 映射：在一個Map操作內部，計算機根據串行的順序進行底層視覺特徵的檢測和 描述，在一個Map操作內部，將按照串行的順序來進行底層視覺特徵檢測和描述處理，Map 操作輸入的記錄key-value格式為〈Metadata, Remote image〉，其中Metadata為當前影 像遙感的元數據，Remote image為當前遙感影像的二進位數據流；Map操作輸出的記錄 key-value 格式為〈Feature type，Feature〉，Feature type 為特徵區域的類型，Feature 為字符型特徵描述； 23)歸約（Reduce):計算機按類型排序重組的所述〈Feature type, Feature〉被分配到 不同的Reduce操作，每個Reduce操作實例對應一種類型的底層視覺特徵，將接收的多個同 類型的底層視覺特徵集合合併成一個完整的文件。
6. 根據權利要求5所述的圖像底層視覺特徵的提取方法，其特徵在於：所述步驟22) 中，還包括分區（Partition)步驟：計算機根據所述Feature type對所述Map輸出的所述 〈Feature type, Feature〉進行分類，為後續Reduce提供數據準備，在每個Map操作的後面 都插入一個所述Partition的操作，讓它對所述Map操作生成的所有所述〈Feature type, Feature〉進行分區處理，獲得與底層視覺特徵檢測器數目相等的所述〈Feature type, Feature〉的分區，然後各個所述Map操作輸出結果經所述Partition操作處理後會在系統 後臺進行排序重組，再傳遞給所述的後續Reduce操作。
7. 根據權利要求5所述的圖像底層視覺特徵的提取方法，其特徵在於：所述步驟21) 中，計算機根據規則格網劃分方法對輸入文件或文件集切分成InputSplit。
【文檔編號】G06K9/46GK104112136SQ201310137436
【公開日】2014年10月22日 申請日期:2013年4月19日 優先權日:2013年4月19日
【發明者】張彤, 沈盛彧 申請人:崑山鴻鵠信息技術服務有限公司