用於圖像識別的尺度健壯的基於特徵的標識符的製作方法
2023-11-06 04:00:47
專利名稱：用於圖像識別的尺度健壯的基於特徵的標識符的製作方法
技術領域：
本發明涉及健壯的圖像識別問題並且公開了相對於例如早期提交的共同未決專 利申請 EP 06255239.3、GB 0700468.2、GB 0712388.8、GB0719833.6 和 GB 0800364.2 中 所公開的那些現有技術的方法提供了優點的新方法。
背景技術：
多媒體內容的健壯識別的目的在於提取可能對於多媒體內容執行的典型修改下 保留的信息。該修改可以出於單純或惡意的目的。在圖像的情況下，當其中經受壓縮、 灰度變換、旋轉、噪聲、顏色變更、裁剪和平移(translate)等時，健壯的標識符應當基本 上被保留。另外，標識符應當提供鑑別能力，使得無關的內容具有充分不同的標識符。歐洲專利申請No.EP 06255239.3以及英國專利申請No.GB0700468.2、GB 0712388.8和GB 0719833.6的類似之處在於它們都基於全局信息提取標識符，全局信息是 關於整個圖像的信息。該系列的相關標識符以非常低的誤報警率提供了接近100%的健壯 性(這意味著它們提供了高鑑別能力)，通常的誤報警率小於百萬分之0.1。大量圖像存在於各種圖像資料庫中，嵌入在網頁、演示文稿和文檔中。著名網 站的調查顯示Flickr具有超過20億個圖像，Photobucket具有超過40億並且Facebook具 有17億。用戶在他們的個人收集中常常具有數千個照片，並且專業人士將具有更多。 為了實際使用給出的大尺寸的數據集，標識符必須也允許非常快速的搜索。專利申請EP 06255239.3、GB 0700468.2、GB 0712388.8 和 GB 0719833.6 中公開的技術可以允許超過 每秒1千萬個圖像的搜索速度。儘管對於許多普通圖像修改有高水平的健壯性，但是專利申請EP06255239.3、 GB 0700468.2、GB 0712388.8和GB 0719833.6中公開的現有技術的標識符對某類圖像修 改無法提供所需水平的健壯性，在該類圖像修改中圖像內容的重要部分丟失或被代替， 例如平移和裁剪。GB0800364.2中公開的技術提供了在該類圖像修改的情況下的顯著改 進的健壯性。它是涉及i)特徵檢測和選擇，ii)特徵區域和標識符提取，以及iii)匹配的 處理。本發明提出了對於現有技術圖像標識符的健壯性的改進。已經在計算機視覺和對象識別領域(後面的參考文獻2、3)中開發了現有技術的 特徵點方法。方法依賴於非常大量的點「該方法的重要方面在於它生成密集地覆蓋圖像的大量特徵...尺寸500X500像 素的通常圖像將導致大約2000個特徵。，，[後面的參考文獻2]提取大量特徵的結果是搜索和匹配計算變得非常慢；在原始情況下，來自查詢 圖像的所有特徵應當與來自資料庫中所有圖像的所有特徵相比較。為了減少搜索時間， 現有技術的方法使用各種形式的數據結構，然而這些結構造成了附加的資料庫初始化時 間、附加的存儲和內存需求的成本，並且常常進行一些用較低的檢測率換取提高的搜索 速度的近似。本發明涉及檢測圖像和它們的修改版本，其不同於許多現有技術的應用領域。特別是，圖像複製檢測涉及查找圖像的修改版本，例如已裁剪的、已壓縮的等等。相 反，大部分現有技術的方法涉及檢測圖像中的特定對象或者一類對象，例如FordFocus汽 車。儘管這些問題之間的區別可能看起來微不足道或者細微，但是它是重要的。例如考 慮倫敦聖保羅大教堂的兩幅圖像，從兩種不同的視角拍攝了圖像。現在，在對象識別任 務下，應當檢測這些圖像之間的相似性，但是在圖像複製檢測下，不應當檢測相似性。 想到這個，需要不同的技術來處理這兩種不同的問題。 GB 0800364.2中公開的方法提出了基於跡變換的二元特徵點描述符。使用二元 描述符的優點在於，漢明(Hamming)距離用於特徵匹配，這使得搜索處理非常快。而 且，選擇處理將特徵的數量限制為被證明對於難的圖像修改(例如裁剪和平移)來說令人 驚訝地健壯的小集合。儘管健壯性好，但是期望提供進一步的改進。
發明內容
根據第一方面，本發明提供了一種通過處理與圖像相對應的信號來得到該圖像 的表示(即，圖像描述符)的方法。該方法包括得到該圖像的尺度空間表示。處理該尺 度空間表示，以檢測在尺度空間表示中具有幅度極值(即極大值或極小值)的多個特徵 點。針對所檢測到的多個特徵點中的一個或更多個特徵點，該方法確定與相應特徵點相 關聯的尺度相關的圖像區域。然後得到所確定的、尺度相關的圖像區域各個的表示。因此，可以基於圖像的具有最高特徵強度的特徵來得到圖像描述符。在實施方式中，通過將基於二階圖像梯度的第一算子應用於圖像的尺度空間表 示，並且識別尺度空間表示中具有最高結果值的那些特徵點，來檢測多個特徵點。然 後，第二算子可以應用到所檢測到的多個特徵點，第二算子是基於一階圖像梯度的，並 且具有閾值之下的結果值的特徵點被去除。可以從通過應用第一算子和第二算子所檢測 到的多個特徵點中，選擇預定數量的特徵點。在其它實施方式中，根據期望的應用，可以使用不同階的算子，或者使用不同 的技術，來檢測多個特徵點。優選地，對於所選擇的一個或更多個所檢測到的特徵點，通過確定圖像中與特 徵點的空間位置相關聯的空間區域，來確定尺度相關的圖像區域，其中，空間區域的尺 寸是基於特徵點的尺度的。所確定的、尺度相關的圖像區域各個的表示可以是例如通過使用跡變換或等同 物基於在圖像區域上的線投影得到的。在一個示例中，對於一個或更多個所確定的、尺度相關的圖像區域中的每一 個，得到圖像區域的至少一部分的函數，其中圖像區域的平移後的、縮放後的或旋轉後 的版本是該圖像區域的所述函數的平移後的或縮放後的版本。得到圖像區域的至少一部 分的函數的步驟可以包括在圖像區域上沿著線應用第一泛函。該方法還可以包括將第二 泛函應用於所得到的函數，以獲得圖像區域的至少一部分的中間表示。所確定的、尺度相關的圖像區域各個的表示可以包括二元圖像描述符。圖像的表示可以從尺度相關的圖像區域的兩個或更多個所得到表示來得到。根據第二方面，本發明提供了一種使用圖像的描述符比較圖像的方法，所述圖 像的描述符是使用根據本發明第一方面的方法而得到的。該方法包括將與第一圖像的描述符相關聯的一個或更多個尺度相關的圖像區域的表示和與第二圖像的描述符相關聯的 一個或更多個尺度相關的圖像區域的表示進行比較。本發明的另外方面包括使用根據本發明第一方面的方法而得到的圖像表示的 用途，包括發送或接收；用於執行根據本發明第一方面或第二方面，或者其兩者的方法 的裝置，以及包括由計算機執行時執行根據本發明第一方面或第二方面或者其兩者的方 法的指令的計算機可讀存儲介質。根據以下描述和附圖，本發明的其它特徵和優點將是明顯的。本發明包括按照需要改進健壯性的兩個主要方面，i)區域尺度合併到特徵選擇 及提取的處理中，和ii)提出了在計算成本最小化的同時保持健壯性的多達四個階段的匹 配處理。
使用特徵檢測處理來選擇具有空間和尺度位置的多個特徵。特徵選擇使用新的 處理，以選擇適合於任務的特徵，並且其已在實驗上被示出與基於跡變換的特徵描述符 工作得很好。對於圖像匹配，需要在檢測性能、獨立性、計算時間和內存需求之間做權衡。 在公開的實施方式中，引入了旨在使計算時間和內存需求兩者最小化的同時使檢測率和 獨立性最大化的四個步驟的匹配處理。第一階段快速確定具有高概率的假定(即，候選) 並且排除低概率匹配，第二階段測試這些假定並且去除大量的錯誤假定。第三階段進一 步排除錯誤假定。每個階段對於前面的階段而言涉及增加級別的複雜性，所以通過在處 理中儘可能早地排除錯誤假定來管理複雜性並使複雜性最小化。除了前述方面，本發明的其它方面包括基於圖像的所選擇和提取出的特徵得到 圖像的表示，以及用於實現根據本發明一個或更多個方面的處理的裝置和電腦程式。
現在將參考附圖描述本發明的實施方式，在附圖中圖1中(a)示出了圖像；圖1中(b)示出了圖1中(a)的圖像的縮小後的版本；圖1中(C)示出了圖1中(a)的圖像的旋轉後的版本；圖1中(d)示出了圖1中(a)的圖像的模糊化後的版本；圖1中(e)示出了圖1中(a)的圖像的翻轉(左右)後的版本；圖1中(f)示出了圖1中(a)的圖像的嚴重壓縮後的版本；圖1中(g)示出了圖1中(a)的圖像的裁剪後的版本；圖2示出了圖像和根據現有技術的圖像的比特串表示；圖3示出了圖像的由特徵檢測器檢測到的關注點的示例集合；圖4示出了從其選擇特徵的最終集合的圖像，特徵的尺度用圓的大小表示，並 且特徵的方向用線表示；圖5示出了使用根據(a)原始圖像和(b) (a)的旋轉後的版本的漢明距離所 找到的匹配的關注點，其中關注點之間的線長度用於應用幾何約束；圖6是根據本發明實施方式的裝置的框圖；並且圖7是示出根據本發明實施方式的特徵標識符(a)和圖像標識符(b)的結構的圖。
具體實施方式
下面將描述用於得到圖像的表示，特別是圖像標識符，並且用於例如出於識 另IJ、匹配或驗證圖像的目的而使用這種表示/標識符的各種實施方式。本發明對於識別 圖像尤其有用於，但是不限於識別圖像。在描述的實施方式中，「圖像標識符」(也稱 作為「標識符」、「描述符」、「圖像描述符」、「籤名」或「圖像籤名」)是圖像的 表示的示例，並且術語僅用於指代圖像的表示或者描述符。技術人員將會理解，根據本發明實施方式的圖像識別裝置和方法的特定設計細 節，以及圖像識別中使用的圖像標識符的得到，是由與圖像修改類型相關的需求所確定 的，它對於標識符的尺寸、提取和匹配複雜性、目標誤報警率等應當是健壯的。以下示例示出了導致對於圖像的下列修改(這不是窮盡列表)健壯的標識符的一 般設計退色(colour reduction),模糊，亮度改變，翻轉(左右和上下)，灰度級轉換，直方圖均衡化，JPEG 壓縮，噪聲，旋轉，裁剪，縮放，平移，歪斜(skew)，以及透視改變。已經發現，所提出的設計在廣泛類別的圖像上通常可以獲得少於百萬分之 (PPM) 一的低的誤報警率，和98.0%以上的普通檢測率。圖1示出了圖像和圖像的修改後的版本的示例。更具體地，圖1中(a)是原始圖 像，圖ι中(b)是圖ι中ω的圖像的縮小(縮放)後的版本，圖ι中ω是圖ι中ω 的圖像的旋轉後的版本，圖1中(d)是圖1中ω的圖像的模糊化後的版本，圖1中(e) 是圖ι中ω的圖像的翻轉後的版本，圖ι中⑴是圖ι中ω的圖像的壓縮後的版本， 並且圖1中(g)是圖1中(a)的圖像的裁剪後的版本。本發明的實施方式通過處理與圖像相對應的信號和/或圖像數據得到了圖像的 表示，並且更具體地，是圖像標識符。特徵點的檢測和選擇與EP 06255239.3、GB 0700468.2、GB 0712388.8、GB 0719833.6 禾口 GB 0800364.2相一致，在提取圖像標識符的初始階段，可選地通過調整大小和濾波來預處理圖像。調整大小的步驟用於在處理之前使圖像標準化。濾波的步驟可以包括濾波以去除 例如圖形失真(aliasing)的影響，它還可以包括區域選擇和錐化。在一個實施方式中，圖 像被調整大小為256XN或NX256的解析度並且保持縱橫比，其中N356。在另一個實 施方式中，圖像被調整大小為256X256的正方形。然後用3X3的高斯(Gaussian)內核 來對圖像進行低通濾波。預處理步驟是可選的並且可以包括上面的任意組合。在下一個階段中，檢測圖像中的特徵點。一個實施方式使用特徵檢測器，以基 於測量圖像梯度來檢測圖像中的潛在特徵和它們的強度。基於一階圖像梯度的一個適當 的圖像特徵檢測器是如在GB 0800364.2中使用的哈裡斯(Harris)
權利要求
1.一種通過處理與圖像相對應的信號來得到該圖像的表示的方法，所述方法包括以 下步驟得到所述圖像的尺度空間表示；處理所述尺度空間表示，以檢測具有幅度極值的多個特徵點；針對所檢測到的所述多個特徵點中的一個或更多個特徵點，確定與相應特徵點相關 聯的尺度相關的圖像區域；以及得到所確定的、尺度相關的圖像區域各個的表示。
2.根據權利要求1所述的方法，其中，通過將基於二階圖像梯度的算子應用於所述圖 像的所述尺度空間表示，並且識別所述尺度空間表示中具有最高結果值的那些特徵點， 來檢測所述多個特徵點。
3.根據權利要求1或2所述的方法，所述方法還包括以下步驟選擇步驟，從所檢測到的所述多個特徵點選擇預定數量的特徵點；以及確定與各個所選擇的特徵點相關聯的尺度相關的圖像區域。
4.根據權利要求3所述的方法，其中，所述選擇步驟包括從所檢測到的所述多個特徵 點去除具有尺度空間表示中的最低幅度值的、或者在在尺度空間表示中的幅度值在閾值 之下的那些特徵點。
5.根據權利要求3或權利要求4所述的方法，其中，所述選擇步驟包括從所檢測到的 所述多個特徵點中根據特徵點在圖像中的空間位置去除特徵點。
6.根據權利要求5所述的方法，其中，所選擇的特徵點的空間位置大致遍布所述圖像 而分布，並且優選地，在所述圖像中各個所選擇的特徵點的空間位置與其它所選擇的特 徵點分開至少預定距離。
7.根據權利要求3、4、5或6所述的方法，其中，所述選擇步驟包括將算子應用於 所檢測到的所述多個特徵點，所述算子基於一階圖像梯度；以及去除具有低於閾值的結 果值的特徵點。
8.根據權利要求7所述的方法，其中，所述算子是尺度適化哈裡斯算子。
9.
10.根據前述任一權利要求所述的方法，其中，針對所述尺度空間表示中的特徵點確 定尺度相關的圖像區域的步驟包括確定所述圖像的與所述特徵點的所述空間位置相關聯 的空間區域，其中，所述空間區域的尺寸基於所述特徵點的尺度。
11.根據前述任一權利要求所述的方法，所述方法還包括以下步驟在確定尺度相關的圖像區域之前，將所述一個或更多個特徵點的所述空間位置改善 到子像素解析度，優選地採用三次插值將所述一個或更多個特徵點的所述空間位置改善 到子像素解析度。
12.根據前述任一權利要求所述的方法，其中，得到所確定的、尺度相關的圖像區域 各個的表示的步驟包括基於在所述圖像區域上的線投影得到表示，優選地使用跡變換 或等同物基於在所述圖像區域上的線投影得到表示。
13.根據前述任一權利要求所述的方法，其中，得到所確定的、尺度相關的圖像區域 各個的表示的步驟包括得到所述圖像區域的至少一部分的函數；以及使用所述函數，以獲得所述圖像區域的所述至少一部分的中間表示。
14.根據權利要求13所述的方法，所述方法包括以下步驟 針對一個或多個所述所確定的、尺度相關的圖像區域中的各個得到所述圖像區域的至少一部分的函數，其中，圖像區域的平移後、縮放後的或旋 轉後的版本的所述函數是所述圖像區域的所述函數的平移後的或縮放後的版本。
15.根據權利要求13或14所述的方法，其中，得到所述圖像區域的至少一部分的函數的步驟包括在所述圖像區域上沿著線應用 第一泛函，所述方法優選地還包括以下步驟將第二泛函應用於所得到的函數，以獲得所述圖像區域的所述至少一部分的中間表示。
16.根據前述任一權利要求所述的方法，所述方法還包括以下步驟從所述尺度相關的圖像區域的兩個或更多所得到的表示，得到所述圖像的所述表示。
17.根據前述任一權利要求所述的方法，所述方法還包括以下步驟針對所述多個特徵點中的所述一個或更多個特徵點，來確定所述特徵點的特徵方 向，優選地通過在所述特徵點的鄰域上進行積分來確定所述特徵點的特徵方向。
18.根據權利要求17所述的方法，其中，使用以下等式確定所述特徵方向
19.根據前述任一權利要求所述的方法，其中，得到所確定的、尺度相關的圖像區域 各個的表示的步驟包括得到所述尺度相關的圖像區域的二元圖像描述符。
20.一種使用圖像的描述符比較圖像的方法，所述圖像的描述符是使用前述任一權利 要求所述的方法而得到的，所述方法包括以下步驟將與第一圖像的所述描述符相關聯的一個或更多個尺度相關的圖像區域的表示和與 第二圖像的所述描述符相關聯的一個或更多個尺度相關的圖像區域的表示進行比較。
21.根據權利要求21所述的方法，所述方法包括以下步驟將第一圖像的所述描述符的圖像區域的表示的子集與第二圖像的所述描述符的圖像 區域的表示的對應子集進行比較，以識別匹配圖像區域的候選對。
22.根據權利要求21或權利要求22所述的方法，所述方法包括以下步驟確定與所述第一圖像的所述描述符中表示的圖像區域相關聯的預定數量的特徵點的 第一多個集合；確定與所述第二圖像的所述描述符中表示的圖像區域相關聯的所述預定數量的特徵 點的第二多個集合；使用匹配算法，將所確定的第一多個集合的集合與所確定的第二多個集合的集合進 行比較。
23.根據權利要求23所述的方法，其中，所述預定數量為3，並且所述匹配算法基於 與所述第一圖像和所述第二圖像中的特徵點相關聯的圖像區域的一對表示之間的漢明距 離，以及與所述第一圖像和所述第二圖像中的特徵點相關聯的圖像區域的三對表示之間 的累計漢明距離。
24.
25.根據權利要求24所述的方法，所述方法還包括以下步驟在所述第一圖像和所述第二圖像中，當所述漢明距離在第一閾值之下並且所述累計 漢明距離在第二閾值之下時，確定為特徵點的候選匹配集合。
26.根據權利要求25所述的方法，所述方法還包括以下步驟將幾何約束應用於各個所述候選匹配集合的幾何信息，以從所述候選集合中消除假 匹配。
27.根據權利要求26所述的方法，其中，應用幾何約束的步驟包括確定所述候選集合中各個特徵點之間的空間線長度；確定所述第一圖像和所述第二圖像的所述候選集合中的線對之間的比，以及得到與所述第一圖像相關聯的所確定的線長度比和與所述第二圖像相關聯的所確定 的線長度比之間的至少一個相似性測度。
28.根據權利要求26或權利要求27所述的方法，其中，與所述特徵點相關聯的所述 圖像區域的表示包括特徵方向信息，並且所述幾何約束把特徵方向考慮在內。
29.根據權利要求26、27或28所述的方法，所述方法還包括以下步驟如果相似性測度在閾值之下，則從所述候選集合消除特徵點的候選匹配集合。
30.根據權利要求26、27、28或29所述的方法，所述方法還包括以下步驟如果沒有候選匹配集合，則確定所述第一圖像和所述第二圖像不匹配。
31.根據權利要求30所述的方法，所述方法還包括以下步驟如果候選匹配集合剩餘，貝U:將第一圖像的所述描述符的所有圖像區域的表示與第二圖像的所述描述符的所有圖 像區域的表示進行比較，以確定未出現在所述候選集合中的特徵點的另外匹配集合。
32.根據權利要求31所述的方法，其中，基於所述第一圖像和所述第二圖像的未出現 在所述候選集合中的特徵點之間的最低漢明距離，來確定特徵點的另外匹配集合。
33.根據權利要求31或權利要求32所述的方法，所述方法還包括以下步驟將所確定的特徵點的另外匹配集合添加到所述候選集合，以產生更新後的候選集 合；以及將幾何約束應用於四個特徵點的更新後的候選匹配集合各個的幾何信息，以進一步 從所述候選集合消除假匹配。
34.使用權利要求1到20中任一項所述的方法而得到的圖像的表示的用途，例如包括 所述圖像的表示的發送或接收。
35.一種用於執行權利要求1到33中任一項所述的方法的設備。
36.根據權利要求35所述的設備，所述設備包括控制裝置，其用於控制所述裝置的操 作，以執行權利要求1到20和/或權利要求21到33中任一項所述的方法。
37.根據權利要求36所述的設備，所述設備還包括用於存儲圖像和/或圖像的表示的 存儲裝置、顯示裝置和圖像選擇裝置中的一個或更多個，所述存儲裝置例如是圖像數據 庫和/或描述符資料庫。
38.一種包括當由計算機執行時執行權利要求1到20和/或權利要求21到33中任一 項所述的方法的指令的計算機存儲介質。
全文摘要
一種得到圖像標識符的方法包括得到圖像的尺度空間表示，並且處理尺度空間表示以檢測具有極大值或極小值的多個特徵點。對於與所檢測到的多個特徵點中的一個或更多個特點相關聯的尺度相關的圖像區域，得到表示。在實施方式中，圖像區域的大小取決於與相應特徵點相關聯的尺度。使用針對尺度相關的圖像區域得到的表示來得到圖像標識符。圖像標識符可以在用於比較圖像的方法中使用。
文檔編號G06K9/46GK102016880SQ200980114051
公開日2011年4月13日 申請日期2009年4月21日 優先權日2008年4月23日
發明者保羅·布拉斯尼特, 米羅斯瓦夫·博貝爾 申請人:三菱電機株式會社