一種基於街景的城市圖片信息認證方法

2023-09-20 06:55:35

專利名稱：一種基於街景的城市圖片信息認證方法
技術領域：
本發明屬於圖像取證和檢測技術領域，涉及一種圖像認證方法。
背景技術：
隨著各種圖像處理設備和圖像編輯軟體的廣泛使用，普通用戶可以對圖像進行各種編輯操作。然而數字媒體編輯的這種方便性，卻又使得惡意攻擊者可以輕易地對其進行篡改或偽造，由此可能造成極為嚴重的經濟、政治(如2004年7月四日獲民主黨提名為該黨2004年美國總統選舉的候選人的約翰·克裡深受網上流傳的其與美國著名影星簡方達一起，出席某抗議越南的反戰活動的照片的影響——這活動壓根就沒舉辦過。)損失。因此，數字圖像認證成為國內外研究的熱門課題。它主要解決的問題是區分惡意篡改和正常處理，並且對篡改的區域進行精確定位。傳統的圖像認證技術如12使用水印將一些標識信息(即數字水印)直接嵌入圖像當中，通過這些隱藏在圖像中的信息，可以判斷圖像是否被篡改。屬於主動方法，對水印容量有限制。較新的可逆水印方法3，將原始圖像的SHA-256哈希值嵌入高頻子帶， 根據提取的水印或者提取的水印與原水印的差值圖進行篡改檢測。圖像盲檢測算法克服了主動水印方法的限制，不要求在圖像中主動嵌入任何信息，它包括基於數位相機的數字圖像認證方法4，通過獲取該數位相機所拍攝的數字圖像，並通過所獲取的數字圖像提取該數位相機的模式噪聲來進行認證。還有基於傅立葉變換的全盲圖像認證方法5，利用運動圖像的傅立葉變換模的帶狀調製特性，來判斷圖像是否經過篡改。這些方法一般是基於圖像內容本身的驗證，通過檢測圖像內容信息的完整性和真實性來判斷圖像是否被篡改過， 認證算法本身通常較為複雜，計算量大。現有最流行的圖像匹配算法大多採用描述符之間的點積，然後根據第一和第二近鄰點歐式距離的比值是否滿足預定義的閾值來決定他們是否匹配。儘管這種策略減少了大部分幾何和光度變換的影響，其缺點是犧牲了很多正確的特徵點。一些改進的方法如光譜技術，其基於成對約束，提高了匹配的精度，但是忽視了正確匹配的數量。相關文獻1郭曉梅；劉紅梅；黃繼武；一種數字圖像的水印嵌入及認證方法(發明專利)， 申請號200910040627.9 申請日2009-06_26，公開號101582158，
公開日2009-11-182安虎；左燕；肖雨婷；何小龍；楊志剛；楊文；張兵；彭駿；一種數字水印的認證和恢復方法(發明專利)，申請號:200910216716.4申請日:2009-12_11，公開號 101710414A，
公開日:2010-05-193梁小萍；黃繼武；一種用於圖像認證的可逆水印方法(發明專利)，申請號 200610036388. 6，申請日:2006-07_07，公開號1885341，
公開日:2006-12-24屈振華；李寅祥；康顯桂；黃繼武；一種數位相機的數字圖像認證方法(發明專利)，申請號200910041228.4，申請日2009-07_17，公開號101616238，
公開日
2009-12-30
5方勇；張瑾；基於傅立葉變換的全盲圖像認證方法(發明專利)，申請號 200610028154. 7，申請日:2006-06_27，公開號1873684，
公開日:2006-12-0
發明內容
本發明的目的是克服現有技術的上述不足，提供一種方法簡單、易於實現，能夠藉助外在已有的圖像資源，驗證圖像信息是否被篡改且匹配精度較高的圖像信息認證方法。 本發明的技術方案如下一種基於街景的城市圖片信息認證方法，包括下列步驟步驟一提取原始圖片的包括GPS和方向屬性在內的EXIF屬性信息，主要是GPS fn息；步驟二 根據提取出的EXIF屬性信息定位該原始圖片的地理位置，並在相應的地理位置的街景視圖中，每隔一定的方位度數提取一張該位置的街景圖片；步驟三採用基於具有尺度不變性的特徵的SIFT雙向匹配方法，將原始圖片與找到的街景圖片做內容匹配；步驟四根據匹配結果進行圖像信息認證，判斷原始圖片的EXIF經緯度信息的真實性。作為優選實施方式，步驟二中，利用Google街景視圖進行信息認證；步驟三中，採用的雙向匹配方法採用基於三角形約束的雙向匹配方法，該方法首先利用雙向匹配算法得到穩定的特徵匹配對作為種子點，然後使用三角剖分算法來重新組織這些種子點，最後利用基於三角形約束的特徵匹配算法來提高匹配點的正確率和增加正確匹配的點的個數。本發明的有益效果如下l.Google街景面向大眾公開，而且其獨特的三維實景效果使人有身臨其境的感覺，可以360°的查看街道景觀。只要是在其覆蓋範圍之內，可以根據需求獲得指定地點的街景視圖，並且可以截取不同角度的圖片來做內容匹配，使匹配結果更有說服力。此方便性和易於應用性是傳統的圖像信息認證方法無法比擬的。2.傳統的圖像認證技術包括數字水印和數字籤名等技術，經過多年的發展，已經處於較為成熟的階段。傳統技術基本是通過檢測圖像內容信息的完整性和真實性來判斷圖像是否被篡改。然而這些技術無法驗證圖像EXIF屬性信息被篡改的情況。本發明提出了利用原圖像與對應的Google街景視圖進行內容匹配的方法來判斷圖像屬性信息的真實性，解決了這個問題。該方法簡單易於實現，並且為圖像的真實性提供一種新的判斷依據， 隨著Google街景視圖覆蓋範圍的逐漸變大，其應用前景非常廣泛。3. EXIF信息為大眾熟知，可從各種類型的圖片文件中提取出需要的屬性信息，簡單方便。SIFT特徵點匹配算法已比較成熟，本發明優選方案使用的TCM算法，基於SIFT並對其進行了改進，增加了三角約束，更提高了匹配的準確率，所以本發明的方法方便而且高效。


圖1第一幅帶有正確GPS信息的測試圖片。圖2第二幅帶有正確GPS信息的測試圖片。
圖3第三幅帶有正確GPS信息的測試圖片。圖4第四幅帶有錯誤GPS信息的測試圖片。圖5第五幅帶有錯誤GPS信息的測試圖片。圖6第六幅帶有錯誤GPS信息的測試圖片。圖7圖1對應的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖8圖2對應的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖9圖3對應的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖10圖4對應的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖11圖5對應的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖12圖6對應的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖13和圖14分別為圖1與其對應的320度和340度街景圖的匹配結果圖(連線的兩點為匹配點)。圖15-圖17分別為圖2與其對應的260度、300度和320度街景圖匹配結果圖(連線的兩點為匹配點)。圖18和圖19分別為圖3與其對應的60度、80度街景圖匹配結果圖(連線的兩點為匹配點)。
具體實施例方式本發明是在基於街景視圖(本發明選用Google街景視圖)的圖像信息認證，輸入是一些帶有EXIF屬性信息的圖片，主要包括GPS信息和方向信息，提取出圖片的相關屬性信息，找到對應的街景圖片，而後進行圖片的內容匹配的實驗。可交換圖像文件(E)Cchangeable Image File format, EXIF)專門為數位相機的照片設定，可以記錄數碼照片的屬性信息和拍攝時的數據如相機部分參數。EXIF最初由日本電子工業發展協會在1996年制定，版本為1.0。2010年4月，日本電子工業發展協會和相機與影像產品協會聯合發布了 2. 3版。EXIF適用於大部分圖像格式如JPEG、TIFF、RIFF 等，記錄的屬性信息範圍很廣，包括數位相機拍攝信息的內容，如時間、日期、快門速度、光圈值等，甚至可以包括全球定位信息(經緯度)和圖像處理軟體的版本信息。應用軟體如 A⑶See和PowerExif等可以讀取這些數據，再按照Exif標準，檢索出它們的具體含義。Google公司所開發的Google街景視圖是應用於Google地圖及Google地球，提供水平方向360°及垂直方向四0°的街道全景。這項服務於2007年5月25日啟用，當時僅涵蓋美國的五大城市如紐約、舊金山等。現在，其覆蓋範圍已經擴展到了美國，法國，西班牙，義大利，荷蘭，英國，澳大利亞，紐西蘭，日本等9個國家的135個城市。本發明就是利用這些街景視圖來對生活中拍攝的街景圖片進行身份信息認證。即我們可以從現有拍攝的街景圖片中提取出EXIF屬性信息，這些信息包括GPS信息和相機方向等，我們運用提取出的屬性信息找到對應的街景視圖，然後把原圖片和對應的街景視片做一個內容上的匹配。本發明提出的方法是運用原圖像與街景視圖對比匹配的方法進行圖像信息認證。具體步驟如下步驟一提取原始圖片的EXIF屬性信息Exif包括廠商、機型、方向、水平垂直解析度等圖像信息，以及拍攝時的光圈、快門、白平衡、ISO、焦距、日期時間等各種相機拍攝記錄信息。還包括GPS經度、緯度等全球定位系統(GPS)信息和縮略圖信息等。本發明主要用到的是GPS和方向等屬性信息，在EXIF中對應的屬性標籤分別為 GPSLatitudeRef (緯度參照)、GPSLatitude (緯度)、GPSLongitudeRef (經度參照)、 GPSLongitude ( ^it)、Orientation (力 @ )。步驟二 根據提取出的屬性信息定位對應的街景圖片本發明利用當前的谷歌街景視圖，找到與原始圖片相對應的街景視圖。這一步驟也是後期的圖像匹配工作的一個必要前提。要保證圖像認證的準確性，此處就要保證定位街景視圖的準確性，本發明利用Google Street View Image API定位與原始圖片的位置最接近的街景視圖，為了保證後期圖像內容匹配的準確性，此處以該位置的正北為起始點，每隔20度提取一張該位置的街景圖片，保存下來為後期圖像匹配做準備。當然若根據提取出的GPS等屬性信息找不到對應的街景視圖，則本發明的方法就不再適用了。步驟三將原始圖片與找到的街景圖片做內容匹配圖像的特徵在一定程度上反映了圖像的內容，特徵的提取至關重要。常用的圖像匹配算法一般採用kale-invariant feature transform(簡稱SIFT)算法提取圖像特徵。 SIFT算法可以處理兩幅圖像之間發生平移、旋轉、尺度變化、光照變化情況下的特徵匹配問題，並能在一定程度上對視角變化、仿射變化也具備較為穩定的特徵匹配能力。因而基於 SIFT特徵的圖像內容匹配具有較高的準確性和可靠性。然而sift特徵點匹配是單向匹配，可能會產生不正確和不穩定的匹配對，需要丟棄。本發明採用基於sift特徵點匹配的圖像雙向匹配方法實現圖像內容匹配。現有技術中已經有不少有關此類匹配算法，例如騫森，朱建英在《基於改進的SIFT特徵的圖像雙向匹配算法》(機械科學與技術，2007年9月，第沈卷第9期)及劉煥敏，王華，段慧芬在《一種改進的SIFT雙向匹配算法》(兵工自動化，2009年觀卷第06期，92-94)分別突出了兩種雙向匹配算法。本發明提出的優選方案是選用發明人之前提出的一種基於雙向匹配和三角形約束的特徵匹配方法(簡稱TCM算法)，具體可參見一下兩篇文獻(1) Xiaojie Guo and Xiaochun Cao，《利用三角約束尋找更多好的特徵點》，模式識別國際會議，Istanbul, Turkey, 2010 年 8 月，pp. 1393-1396(2)天津大學.基於雙向匹配和三角形約束的特徵匹配方法，申請號 2010101605060.本發明使用TCM算法進行圖像匹配，使用Triangle-Constraint約束來尋找更好的特徵點。其核心思想如下。首先通過Bi-matching的雙向匹配方法選出一些穩定的特徵匹配對作為種子點，這樣就丟棄了很多由於sift單向匹配產生的錯誤匹配。然後通過 Delaunay三角剖分算法組織這些種子點。將參考圖片中的種子點按照一定規則劃分成三角形，匹配圖片的種子點也按照參考圖片的順序劃分。眾所周知，三角形是最簡單，最穩定的多邊形，只要給定了三角形的各個頂點，無需其他額外的信息，三角形就可以確定下來。 由於兩幅圖片的種子點是按照相同的順序組織成三角形的，本該是一一對應的。但是可能由於錯誤匹配的存在，會出現兩幅圖片中劃分的三角形並不完全相同的情況，此處使用 Triangle-Constraint約束(簡稱TC)來解決這個問題，以增加正確匹配的數量。方法大致如下，在兩幅圖片中對應的每對三角形中都有很多特徵點，對參考圖片中每個特徵點計算一下該特徵點與三角形三個頂點的相對位置關係，然後根據兩個三角形的相對位置的轉換矩陣，計算出與該特徵點相對應的特徵點在對應三角形中的具體位置，為了去除噪聲等的影響，我們給定一個對應特徵點所在的區域作為候選區域(本發明選取的是3個像素大小的區域)。對該候選區域中的特徵點與原特徵點計算一個相似性度量的分數，如果該區域內所有特徵點的分數的最大值大於某個指定的閾值(本發明選擇的閾值為0.4)則認為這對特徵點是臨時匹配的。對一個三角形的所有特徵點處理以後，所有臨時的匹配對組成一個組合，該集合的個數若大於兩幅圖片中各自圖片所含特徵點個數的最小值的指定倍數(本發明選擇0. 3倍)，則認為這些特徵點是最終接受的匹配，反之則丟棄。TCM算法對於大多數幾何和光度變換都具有很好的魯棒性，包括旋轉，縮放變化，模糊變換，視角的改變，JPEG 壓縮和照明變化，顯著改善了正確的匹配數和匹配得分。步驟四根據匹配結果進行圖像信息認證根據兩幅圖片的匹配結果可以判斷原始圖片的EXIF信息的真實性，本發明使用的TCM算法已經去除了很多錯誤匹配的情況，使匹配達到了很高的正確率。所以如果兩幅圖片匹配個數大於十個的話，就認為原始圖片的EXIF信息是真實有效的。如果匹配個數太少，就認為兩幅圖片不相關，原始圖片的EXIF信息是錯誤的。本實施例選取了 3幅正確EXIF信息的圖片和3張錯誤的EXIF信息的圖片作為測試圖片(原始圖片均為彩色圖片)。具體步驟如下步驟一提取屬性信息首先提取出圖片的EXIF屬性信息，主要包括GPS信息等，原圖片如圖1至圖3的三幅帶有正確GPS信息的測試圖片，主要的EXIF屬性信息如下表權利要求
1.一種基於街景的城市圖片信息認證方法，包括下列步驟步驟一提取原始圖片的包括GPS和方向屬性在內的EXIF屬性信息，主要是GPS信息； 步驟二 根據提取出的EXIF屬性信息定位該原始圖片的地理位置，並在相應的地理位置的街景視圖中，每隔一定的方位度數提取一張該位置的街景圖片；步驟三採用基於具有尺度不變性的特徵的SIFT雙向匹配方法，將原始圖片與找到的街景圖片做內容匹配；步驟四根據匹配結果進行圖像信息認證，判斷原始圖片的EXIF經緯度信息的真實性。
2.根據權利要求1所述的城市圖片信息認證方法，其特徵在於，步驟二中，利用Google 街景視圖進行信息認證。
3.根據權利要求1所述的城市圖片信息認證方法，其特徵在於，步驟三中，採用的雙向匹配方法採用基於三角形約束的雙向匹配方法，該方法首先利用雙向匹配算法得到穩定的特徵匹配對作為種子點，然後使用三角剖分算法來重新組織這些種子點，最後利用基於三角形約束的特徵匹配算法來提高匹配點的正確率和增加正確匹配的點的個數。
全文摘要
本發明屬於圖像取證和檢測技術領域，涉及一種基於街景的城市圖片信息認證方法，包括提取原始圖片的EXIF屬性信息；根據提取出的EXIF屬性信息定位該原始圖片的地理位置，並在相應的地理位置的街景視圖中，每隔一定的方位度數提取一張該位置的街景圖片；採用基於具有尺度不變性的特徵的SIFT雙向匹配方法，將原始圖片與找到的街景圖片做內容匹配；根據匹配結果進行圖像信息認證，判斷原始圖片的EXIF經緯度信息的真實性。本發明採用的方法簡單、易於實現，能夠藉助外在已有的圖像資源，驗證圖像信息是否被篡改且匹配精度較高。
文檔編號G06T1/00GK102542523SQ201110447738
公開日2012年7月4日 申請日期2011年12月28日 優先權日2011年12月28日
發明者宣國靜, 操曉春 申請人:天津大學