基於多個特徵檢測器的應用的圖像特徵檢測的製作方法

2023-05-05 23:16:36 1

專利名稱：基於多個特徵檢測器的應用的圖像特徵檢測的製作方法
技術領域：
本發明大體上涉及圖像處理。
背景技術：
技術進步已導致較小且較強有力的計算裝置。舉例來說，當前存在多種可攜式個人計算裝置，包含無線計算裝置，例如較小、輕重量且易於由用戶攜帶的可攜式無線電話、個人數字助理(PDA)和尋呼裝置。更具體地說，可攜式無線電話(例如蜂窩式電話)可經由無線網絡傳送語音和數據包。此外，許多此類無線電話包含併入其中的其它類型裝置。舉例來說，無線電話還可包含數字靜態相機、數字攝像機、數字記錄器和音頻文件播放器。而且，這些無線電話可處理可執行指令，其包含可用以接入網際網路的軟體應用程式，例如，網頁瀏覽器應用程式。因而，這些無線電話可包含顯著的計算能力。計算機視覺算法經常用以「辨識」由數字相機捕捉的圖像中的對象。然而，許多計 算機視覺算法是複雜且資源密集的，從而使其不適合用於移動裝置(例如無線電話)中。此夕卜，計算機視覺算法通常受到待處理的圖像的質量和組成的限制，且算法可能因為例如噪聲和對象雜波等因素而不正確地辨識對象。

發明內容
當包含若干對象和雜波的典型視頻圖形陣列(VGA)圖像經受高級圖像特徵檢測器(例如尺度不變特徵變換(SIFT))時，特徵檢測器可檢測幾千個關鍵點。基於這個特徵檢測的結果的對象辨識可為緩慢且耗時的過程。本文中掲示的圖像特徵檢測方法將不耗費計算的圖像特徵檢測器(例如加速分段測試特徵(FAST))應用於圖像的全部或部分以將圖像分段為ー個或ー個以上關注區。在用戶選擇所要關注區之後，將較準確的特徵檢測器(例如SIFT)應用於關注區。在特定實施例中，掲示ー種方法，其包含將第一特徵檢測器應用於由相機捕捉的圖像的一部分以檢測第一特徵集合。方法還包含基於所述第一特徵集合定位關注區和確定對應於所述關注區的邊界。方法進ー步包含在顯示器處顯示所述邊界。方法包含響應於接收到接受所述顯示的邊界的用戶輸入，將第二特徵檢測器應用於所述圖像的由所述邊界囊封的區域。在另ー特定實施例中，掲示一種移動裝置。所述移動裝置包含相機、顯示器和用戶輸入裝置(例如，觸控螢幕幕或小鍵盤)。所述移動裝置還包含經配置以將第一特徵檢測器應用於圖像的一部分以檢測第一特徵集合的處理器。所述處理器還經配置以基於所述第一特徵集合定位關注區和確定對應於所述關注區的邊界。所述處理器進ー步經配置以檢測經由用戶輸入裝置進行的指示用戶對邊界的接受的用戶輸入。所述處理器經配置以將第二特徵檢測器應用於所述圖像的由所述邊界囊封的區域。由所掲示實施例中的至少ー者提供的ー個特定優點為以增加的速度和減少的計算複雜性提供高準確性的改善的對象辨識方法。由所掲示實施例中的至少ー者提供的另ー特定優點為關於在不包含觸控螢幕幕的移動裝置處的捕捉的圖像執行對象分段的能力。在檢視整個申請案後，將明白本發明的其它方面、優點和特徵，申請案包含以下部分


具體實施方式
和權利要求書。

圖I是說明包含自動邊界確定的圖像特徵檢測方法的特定說明性實施例的使用的圖； 圖2是說明包含在多個對象之間進行區分的圖像特徵檢測方法的另ー特定說明性實施例的使用的圖；圖3是說明包含關鍵點的識別和跟蹤的圖像特徵檢測方法的另ー特定說明性實施例的使用的圖；圖4是說明包含關鍵點的識別和跟蹤的圖像特徵檢測方法的另ー特定說明性實施例的使用的圖；圖5是說明包含用戶輔助邊界確定的圖像特徵檢測方法的另ー特定說明性實施例的使用的圖；圖6是基於多個特徵檢測器的應用的圖像特徵確定方法的特定說明性實施例的流程圖；圖7是基於多個特徵檢測器的應用的圖像特徵確定方法的另ー特定說明性實施例的流程圖；圖8是可操作以支持圖I到7和圖9中說明的實施例的移動裝置的框圖；以及圖9是對象辨識管線的特定說明性實施例的圖。
具體實施例方式儘管計算機視覺算法可檢測圖像內的特徵，但最準確的計算機視覺算法通常為最資源密集且計算複雜的。舉例來說，基於關鍵點定位而執行特徵檢測的算法(例如尺度不變特徵變換(SIFT)和加速穩健特徵(SURF))分別基於計算複雜的高斯尺度空間和近似哈爾小波計算來提供關鍵點的準確定位。不耗費計算的(例如，較有效地計算的)圖像特徵檢測器(例如加速分段測試特徵(FAST))可提供較快但較不準確的關鍵點檢測。SIFT或SURF類型特徵檢測器都不可適合用於具有有限資源的裝置(例如行動電話)處。舉例來說，在行動電話處實施複雜算法(例如SIFT和SURF)可導致緩慢的響應時間和遲緩的用戶體驗。另ー方面，使用較快但較不準確的算法(例如FAST)可導致不可接受數目的錯誤識別和錯誤肯定(例如，不正確地將背景噪聲辨識為對象)。本文中掲示的圖像特徵檢測方法可以減少的計算成本提供計算複雜的算法(例如SIFT)的準確性。舉例來說，待處理的特定圖像可包含用戶的所要關注對象且還可包含不關注的鄰近/周圍對象。對表不不關注對象的圖像部分執行基於SIFT的關鍵點定位可浪費計算資源。因此，在執行SIFT算法之前定位關注對象且將關注對象與圖像的其它部分隔離可為有益的。舉例來說，確定包圍關注對象的邊界且關於圖像的僅由邊界囊封的區域執行SIFT算法可為有益的。在包含觸控螢幕幕的裝置上，用戶可手動地「繪畫」關注對象周圍的邊界。然而，並非所有裝置都具有觸控螢幕幕。此外，在觸控螢幕幕裝置處確定邊界而不要求用戶手動地繪畫邊界的能力可帶來較流暢的用戶體驗。舉例來說，用戶可能夠以「點擊」方式識別對象。本文中掲示的圖像特徵檢測方法可利用FAST類型特徵檢測直到確定邊界為止且接著執行SIFT類型特徵檢測以「辨識」邊界內的關注對象。因此，圖像特徵檢測可包含三個步驟基於FAST類型特徵檢測定位圖像中的關注區，確定對應於關注區的邊界，以及在圖像的由邊界囊封的區域中執行SIFT類型特徵檢測。FAST類型特徵檢測適合用作SIFT類型特徵檢測的預處理算法，因為FAST類型和SIFT類型特徵檢測器都是具有類似區別表現的基於團塊(blob-based)的特徵檢測器。此外，儘管FAST關鍵點可能不確切地對應於SIFT 關鍵點，但FAST關鍵點和SIFT關鍵點的對應集合可大體上呈現為重疊的群集。因此，FAST關鍵點的迅速確定的群集分布(例如，在所要對象的拐角處)可用以定位圖像中的關注區，隨後使用較準確的SIFT類型特徵檢測器處理所述關注區。參看圖1，掲示包含自動邊界確定的圖像特徵檢測方法的特定說明性實施例的使用且大體上將其指定為100。在圖I中說明的特定實施例中，基於來自行動電話相機應用程式的示範性捕捉圖像110、120、130、140說明方法。圖像110、120、130和140可為行動電話相機應用程式捕捉的視頻幀(例如，當用戶將行動電話的相機「瞄準」清潔劑盒吋)。然而，應注意，本文中掲示的圖像特徵檢測不限於具有圖像捕捉裝置(例如，相機)和顯示器的行動電話。本文中掲示的圖像特徵檢測可由任何電子成像裝置執行。第一圖像110包含兩個清潔劑盒。當將FAST類型特徵檢測器應用於第一圖像110(例如，第一圖像110的一部分或整個第一圖像110)時，可群集所得FAST關鍵點以便指示兩個清潔劑盒中的每ー者為候選關注區。在特定實施例中，當檢測到多個候選關注區吋，選擇最靠近圖像中心的關注區。舉例來說，在圖I中說明的特定實施例中，左側的清潔劑盒可最靠近第一圖像110的中心。可確定並顯示對應於關注區的邊界112。應注意，儘管將邊界112描繪為邊界框，但邊界可替代地為邊界橢圓、邊界圓或其它邊界形狀。當用戶移動相機時，邊界可改變形狀。舉例來說，用戶可將相機移動到右側，從而將第一圖像110平移為第二圖像120。響應於移動，邊界112可改變形狀，如由經修改邊界122所說明。經修改邊界可與先前邊界囊封同一關注對象或可囊封不同關注對象。因此，關注區周圍的邊界可相對於用戶所作的相機移動而在用戶看來正在實時地或近實時地改變形狀或隨對象移動。當相機移動時，先前識別的關注區可能不再為最可能關注區。舉例來說，ー個不同的候選關注區可最靠近圖像中心，可包含更多關鍵點，或可具有比先前識別的關注區高的關鍵點密度。當新關注區被選定時，可調整邊界以圍繞新關注區。舉例來說，在第三圖像130中，可將右側的清潔劑盒識別為新關注區且可確定並顯示新邊界132。因此，用戶可向上、向下、向左、向右、朝著或遠離所要關注對象移動相機，直到所要關注對象由自動確定的邊界包圍為止。當所要關注對象由顯示的邊界包圍時，用戶可提供接受顯示的邊界的輸入。在特定實施例中，顯示的邊界可改變顏色或陰影以指示用戶接受，如由第四圖像140中的所接受邊界142所說明。響應於接受顯示的邊界的用戶輸入，SIFT類型特徵檢測器可被應用於圖像的由顯示的邊界囊封的區域。舉例來說，SIFT類型特徵檢測器的應用可提供可用以執行產品識別(例如，識別清潔劑製造商)或信息檢索(例如，找到來自在線賣主的相同清潔劑盒的價格)的結果。在特定實施例中，將SIFT類型特徵檢測器的結果與存儲於對象辨識知識庫(例如，資料庫)處的關鍵點集合作比較。應了解，圖I的圖像特徵檢測方法可基於多個類型特徵檢測器的應用提供對象辨識能力。因此，圖I的方法可組合與SIFT類型特徵檢測相關聯的準確性益處與FAST類型特徵檢測的速度益處。還應了解，圖I的方法可在不檢查圖像中的任何顔色數據的情況下操作，此可導致處理速度增加。參看圖2，描繪包含在多個對象之間進行區分的圖像特徵檢測方法的特定說明性實施例的使用且大體上將其指定為200。在特定實施例中，兩個候選關注區離圖像中心可等距或幾乎等距。舉例來說，在圖 2中，兩個關注區(例如，兩個清潔劑盒中的每ー者一個關注區)離圖像210的中心可幾乎等距。當存在多個候選關注區時，可選擇具有最高數目的經定位關鍵點(例如，FAST關鍵點)的候選者。舉例來說，在圖2中，包含左側的清潔劑盒的關注區包含的FAST關鍵點(例如，50個關鍵點)可比包含右側的清潔劑盒的關注區(例如，20個關鍵點)多。因此，可選擇包含左側的清潔劑盒的關注區且可確定並顯示對應於選定關注區的邊界212。在兩個候選關注區爭奪邊界的情況下，過程可通過相對於選定關注區實施動量項而穩定化。動量項可為施加到選定區中的實際數目的特徵的偏差或乘數。添加動量項可導致用戶必須在邊界的移動受影響之前輕微誇大運動以將相機指向另ー候選關注區。或者，當在圖像中心附近存在多個關注候選者時，可選擇具有最聞FAST關鍵點密度的候選者。而且，在特定實施例中，可忽略具有比對象指示閾值(例如，每100平方像素I個關鍵點)小的FAST關鍵點密度的候選區。因此，選定關注區可為具有超過對象指示閾值的FAST關鍵點密度的最靠近圖像中心的區。參看圖3，描繪包含關鍵點的識別和跟蹤的圖像特徵檢測方法的特定說明性實施例的應用且大體上將其指定為300。在特定實施例中，從圖像中心開始以擴展半徑對相機捕捉的每ー圖像(例如，幀)執行FAST類型特徵檢測，如由第一圖像310所說明。當不可檢測到FAST關鍵點時(例如，相機瞄準空白紙張或牆壁)，不可定位關注區且不可顯示邊界。當相機移動且對象進入圖像吋，如由第二圖像320所說明，可檢測到FAST關鍵點。可定位包含對象的關注區且可確定並顯示對應於所定位關注區的邊界，如第三圖像330處的邊界332所指示。如果相機繼續移動，那麼邊界332可「跟蹤」關注區。應注意，儘管可從圖像中心開始以擴展半徑檢測到FAST關鍵點，但只要對象進入相機畫面就可確定對象的關注區。即，可最初在圖像邊緣識別關注區。舉例來說，參看圖4，如果未檢測到FAST關鍵點，那麼在第一圖像410處無邊界可顯示。只要對象(例如，汽車)進入圖像邊緣，就可確定並顯示邊界422，如第二圖像420處所指示。參看圖5，描繪包含用戶輔助邊界確定的圖像特徵檢測方法的特定說明性實施例的應用且大體上將其指定為500。
圖像特徵檢測可包含用戶輔助邊界確定以代替自動邊界確定。舉例來說，用戶可需要關於第一圖像510中的右下方花生醬罐子的對象辨識。在特定實施例中，用戶可通過移動相機以使得第一圖像510處的中心光標定位於右下方花生醬罐子的第一拐角處來初始化邊界確定。響應於用戶輸入(例如，按鈕推動)，FAST類型特徵檢測可應用於第一圖像510的包圍中心光標的小塊512。FAST類型特徵檢測器可檢測FAST關鍵點的第一集合。可存儲FAST關鍵點的第一集合的位置，使得當用戶向下和向右移動相機鏡頭，從而將第一圖像510平移為第二圖像520吋，「跟蹤」右方花生醬罐子的第一拐角。第一圖像510的小塊512因此可被跟蹤到第二圖像520的小塊522。用戶可定位相機以使得中心光標定位於右下方花生醬罐子的與第一拐角相対的第二拐角處。響應於另ー用戶輸入(例如，另ー按鈕推動)，FAST類型特徵檢測可應用於第二拐角以檢測FAST關鍵點的第二集合。接著可基於FAST關鍵點的第一集合與第二集合來確定邊界524。因此應了解，圖5的方法可基於用戶輸入(例如，拐角識別)以較大速度確定關注區，藉此減少基於組合FAST類型和SIFT類型特徵檢測來識別對象的總時間。參看圖6，描繪基於多個特徵檢測器的應用的圖像特徵確定方法的特定說明性實施例的流程圖且大體上將其指定為600。在說明性實施例中，方法600可由圖8的移動裝置800執行。方法600包含在602處接收指示從相機接收的圖像的關注區的第一拐角的第一用戶輸入。方法600還包含在604處將FAST類型特徵檢測器應用於圖像的包含第一拐角的一部分以檢測FAST關鍵點的第一集合。舉例來說，如圖5中所展示，相機可由用戶握持以使得第一圖像510的中心光標處於所要花生醬罐子的左上方拐角處，且FAST類型特徵檢測器可應用於小塊512以檢測FAST關鍵點的第一集合。方法600進ー步包含在606處當相機的移動將第一圖像平移為第二圖像時，跟蹤FAST關鍵點的第一集合以在第二圖像中定位第一拐角。舉例來說，在圖5中，可跟蹤FAST關鍵點的第一集合以使得小塊512可作為小塊522定位於第二圖像中。方法600包含在608處接收指示第二圖像中的關注區的第二拐角的第二用戶輸入。第二拐角與第一拐角相對。舉例來說，在圖5中，相機可移動以使得第二圖像520的中心光標處於所要花生醬罐子的右下方拐角。方法600進ー步包含在610處基於FAST關鍵點的第一集合與用戶提供的第二邊界拐角(與FAST關鍵點的第一集合對角地相対)定位關注區且確定並顯示對應於關注區的邊界。舉例來說，參看圖5，可在所要花生醬罐子周圍顯示邊界524。方法600包含在612處接收指示所要對象顯示於邊界內的用戶輸入，以及在614處將SIFT類型特徵檢測器應用於圖像的由邊界囊封的區域。舉例來說，在圖5中，SIFT類型特徵檢測器可應用於第二圖像520的由邊界524囊封的區域。參看圖7，描繪基於不同類型特徵檢測器的應用的圖像特徵確定方法的另ー特定說明性實施例的流程圖且大體上將其指定為700。在說明性實施例中，方法700可由圖8的移動裝置800執行。方法700包含在702處將FAST類型特徵檢測器應用於由移動裝置的相機捕捉的整個圖像以檢測FAST關鍵點的第一集合。舉例來說，在圖I中，FAST類型特徵、檢測器可應用於圖I的第一圖像110以檢測FAST關鍵點的第一集合。
方法700還包含在704處基於FAST關鍵點的第一集合定位關注區。關注區為具有超過對象指示閾值的FAST關鍵點密度的最靠近圖像中心的區。舉例來說，在圖I中，可選擇包含左側的清潔劑盒的關注區。方法700進ー步包含在706處確定對應於關注區的邊界(例如，邊界框、邊界橢圓或邊界圓)，以及在708處在移動裝置的顯示器處顯示邊界。舉例來說，在圖I中，包含左側的清潔劑盒的關注區可定位於第一圖像110處，且可顯示邊界112。方法700包含在710處接收指示所要對象顯示於邊界內的用戶輸入，以及在712處將SIFT類型特徵檢測器應用於圖像的由邊界囊封的區域。舉例來說，在圖I中，用戶可接受邊界112，且可將SIFT類型特徵檢測器應用於第一圖像110的由邊界112囊封的區域。或者，方法700包含在714處檢測將圖像平移為第二圖像的相機移動。舉例來說，在圖I中，第一圖像110可平移為第二圖像120。方法700還包含在716處響應於所述移動而平移邊界和/或調整邊界大小以產生經修改邊界並顯示經修改邊界。舉例來說，在圖
I中，邊界112可經平移且調整大小為經修改邊界122。方法700進ー步包含在718處接收指示所要對象顯示於經修改邊界內的用戶輸入，以及在720處將SIFT類型特徵檢測器應用於圖像的由經修改邊界囊封的區域。舉例來說，在圖I中，用戶可接受經修改邊界122，且可將SIFT類型特徵檢測器應用於第二圖像120的由經修改邊界122囊封的區域。在特定說明性實施例中，基於以下算法和偽碼，可定位圖像特徵且可確定關注區。在算法的第一步驟中，可在圖像內定位關鍵點。舉例來說，FAST類型特徵檢測器(例如，拐角檢測器)可用以檢測圖像中的關鍵點。在特定實施例中，檢測關鍵點包含比較圖像的每ー像素與處於某ー距離r處的其相鄰者。此可針對每一定向按順序完成，使得中心像素c處的灰度級值(I (c))與其直徑上相対的像素相鄰者中的兩者I (c+r e)和I (c-r e)作比較。此處，ro = (r cos 0,r sin0)TiO< 0 < ji。如果對於某一 0和閾值t滿足方程式(I)，那麼消除關鍵點的候選中心像素c 11 (c)-I (c+r 0) I ^ T 且丨 I (c)-I (c_r0) I ^ x—(I)應注意，中心像素對於在拐角的鄰域或團塊狀部分中的所有可能9可滿足方程式(I)。然而，可以ー些迭代來消除像素相鄰邊緣或近均一空間(例如，牆壁)。在掃描圖像中的所有像素之後，可將滿足方程式(I)的像素位置保存為關鍵點位置。在算法的第二步驟中，可從關鍵點位置當中檢測局部最大值(例如，最靠近指定注意中心的最密集關鍵點區)，所述關鍵點位置表示拐角或團塊狀圖像區的中心。首先，可估計用於關鍵點分布的非參數密度函數。接下來，可使用均值偏移算法以定位密度的局部最大值。如果關鍵點位置集合表示為集合X = {Xl, X2,.. .，xn}，其中R2 (ニ維坐標空間)中的Xi = (X，y)T為關鍵點i的ニ維坐標。那麼用於此集合的非參數核密度估計量可由方程式(2)定義，其中kh(x，Xi)為具有帶寬h的核。
I ん(X)= —〉/へ(X，X,)-(2)
n M帶寬可指定密度的解析度和因此影響X周圍的局部密度估計的點的鄰域。舉例來說，對於高斯核，帶寬h可對應於標準偏差，即，kh(x, Xi) = chgh(x, Xi) =chexp {- Il X-Xi Il 2/2h2},其中ch為歸ー化常數且gh(. ,)為非歸一化高斯核。
如果核為凸的且單調遞減，那麼均值偏移算法將收斂於局部最大值。此可在均值偏移之後反覆地完成，均值偏移與密度函數的梯度上升方向成比例。對於高斯核，均值偏移由方程式(3)給出，其中t+1為在估計密度函數下從ハ的偏移位置
...... Z-iyi+i=-%^-( 、0)
レ Sr,(Yj此方法提供的一個優點為其可以 相對少的迭代收斂於局部最大值，因為偏移由當前位置處的概率相反地加權。因此，可迅速忽略具有低密度的區，因為方程式(3)的分母可為小的。當迭代靠近局部最大值時，倒轉可發生。在特定實施例中，FAST關鍵點檢測可能因為帶噪聲和/或不穩定的關鍵點而不產生穩健結果。為了緩和此情況，可在幀之間使用線性內插，且可經由取閾值程序消除不穩定關鍵點。舉例來說，可使用關注區檢測程序。所述程序接受來自先前幀的關注區框bpMviUS和局部最大值位置ypraviUS作為輸入且產生經更新關注區框和經更新局部最大值Ycmn6nt作為輸出。關注區框向量b可表示圖像中的拐角位置。處理可在當前幀處通過使用FAST關鍵點檢測來檢測關鍵點集合(例如,n個關鍵點)而開始。因為具有少數關鍵點的幀可產生不準確密度函數，所以可通過關鍵點閾值(例如，thresh^消除這些幀。對於具有足夠關鍵點的幀，均值偏移算法可用以相對於選定核與帶寬來定位關鍵點密度函數的局部最大值y t。基於中心為用戶注意的基點的假設，可從當前幀的中心初始化定位。在定位局部最大值之後，根據方程式(4)的線性內插可用以平滑連續幀之間的改變，其中0 < P p2) >thresh2來去除，使得如果具有大於P2的可能性的關鍵點的數目不大於thresh2，難麼拒絕候選局部最大值。如果候選局部最大值通過這些測試，那麼可接受其作為當前局部最大值。接著可計算當前關注區框，使得其包含具有大於P3的可能性(即，Icm (Xi) ^P3)的所有關鍵點。因為這個區可取決於不穩定關鍵點，所以其可包含抖動噪聲。為了將關注區框更新為對此噪聲不變，在當前關注區框與先前幀的關注區框之間使用線性內插。接著，計算候選框的每ー側的改變量。如果所述側中的任一者相對於先前幀改變至少10%，那麼可接受候選框。如果所述側中無任一者相對於先前幀改變至少10%，那麼無改變可發生。以上關注區(ROI)檢測程序可由以下偽碼表示輸入先前巾貞ROI框和局部最大值bpreviUS和ypreviQUS
使用FAST類型檢測器定位n個關鍵點的集合X如果n ^ threshl 那麼以圖像中心yQ開始，使用方程式(3)獲得局部最大值ymt
經由線性內插從先前幀計算候選中心Ycandidate = P Ycurrent+(1_ ^ ) Yprevious計算相對於Ycandidate和Ycurrent的點的可能性lcandidate (Xi) — Sh (Xi J Ycandidate)Icurrent(Xi) = gh(xi； ycurrent)其中 i = 1,2， ，n如果arg Inaxi (Icandidate (Xi))彡 P1 且 cardinality (Icurrent (Xi) > p2) > thresfh2 那麼接受候選位置 y current ^ candidate計算包含具有I— (Xi) > P3的所有點的當前ROI框beu ent經由線性內插計算候選ROI框bcandidate = ^ bcurrent+ (I- ^ ) bprevious,如果beandidate的側>bpreviUS的對應側至少10 %，那麼bcurrent = bcandidate
否則不改變當前框(即，bcurrent = bcurrent) 結束語句返回 beurrent 和 yeurrent否則無檢測結束語句否則無檢測結束語句應注意，因為以上算法和偽碼可涉及浮點運算，所以其可能不與經配置以僅執行整數運算的裝置一起工作。對於這些實施例，可用葉帕涅奇尼科夫核替換高斯核計算。即，可用 th(X7Xi) = I- Il X-Xi Il 2/2(h2) + 替換 gh(X7Xi)，其中如果 X > 0,那麼 x|+ = X 否貝丨J
|x|+ = O。在特定實施例中，閾值IAresh1 = thresh2 = 5。在另ー特定實施例中，連續中貞之間的內插量P =0.55。在另ー特定實施例中，將可能性閾值設置為P1 = P3 = 0.5且P2 = 0. 75。應注意,通過使用葉帕涅奇尼科夫核且P3 = 0. 5,可將當前框大小計算為包含具有 Icmrart(Xi) > 0. 5 的所有點。因為 Icurrait(Xi) = th(ycurrent, Xi) > 0. 5，所以可使用Il Ycurrent-xI H 2 <ピ計算最大框大小。因此,_h < (Ycurrent-Xi) < h且最大框大小為2h X 2h像素。在特定實施例中，將默認帶寬設置為h = 75。在另ー特定實施例中，帶寬(和因此最大關注區大小)是用戶指定的。參看圖8，描繪移動裝置的特定說明性實施例的框圖且大體上將其指定為800。裝置800包含處理裝置，例如耦合到存儲器832的數位訊號處理器(DSP) 810。在說明性實例中，DSP 810包含經配置以基於第一特徵檢測裝置(例如，FAST類型特徵檢測)和第二特徵檢測裝置(例如，SIFT類型特徵檢測)的組合應用來識別圖像特徵的圖像處理邏輯864。在另ー說明性實例中，存儲器832可將由用於捕捉圖像的裝置(例如，相機870)捕捉的圖像存儲於裝置810處(例如，說明性第一圖像881和說明性第二圖像882)。舉例來說，相機870可捕捉且存儲器832可存儲圖I的圖像110到140、圖2的圖像210、圖3的圖像310到330、圖4的圖像410到420和圖5的圖像510到520中的一者或一者以上。圖8還展示耦合到數位訊號處理器810和用於顯示的裝置(例如，顯示器828)的顯示控制器826。編碼器/解碼器(CODEC) 834也可耦合到數位訊號處理器810。揚聲器836和麥克風838可耦合到CODEC 834。圖8還指示無線控制器840可耦合到數位訊號處理器810和無線天線842。在特定實施例中，DSP 810、顯示控制器826、存儲器832、C0DEC 834和無線控制器840包含於系統級封裝或晶片上系統裝置822中。在特定實施例中，用於接收用戶輸入的裝置(例如，輸入裝置830)和電源844耦合到晶片上系統裝置822。在裝置822包含觸控螢幕幕的說明性實例中，顯示器828和輸入裝置830可至少部分集成。在特定實施例中，如圖8中說明，顯 示器828、輸入裝置830、揚聲器836、麥克風838、無線天線842和電源844在晶片上系統裝置822外部。然而，顯示器828、輸入裝置830、揚聲器836、麥克風838、無線天線842和電源844中的每ー者可耦合到晶片上系統裝置822的ー組件，例如接ロ或控制器。參看圖9，其描繪對象辨識管線的特定說明性實施例且大體上將其指定為900。對象辨識管線900大體上可經配置以基於多個特徵檢測器的應用從查詢圖像902產生分類決策 918。查詢圖像902可由相機904捕捉以產生捕捉的圖像905。在說明性實施例中，相機904為圖8的相機870。在特定實施例中，捕捉的圖像905為灰度級圖像，而不管相機904是灰度級相機還是RGB相機。舉例來說，在圖9中說明的特定實施例中，查詢圖像902可包含玩具小車且相機904可為行動電話的部分。可將捕捉的圖像905輸入到FAST拐角檢測模塊906中。FAST拐角檢測模塊906可識別捕捉的圖像905中的FAST關鍵點。舉例來說，可使用如參看圖I到7描述和說明的技術識別FAST關鍵點。所識別的FAST關鍵點可由動態圖像裁剪模塊908使用以識別和裁剪包含所識別的FAST關鍵點的關注區。舉例來說，可使用如參看圖I到7描述和說明的技術來識別和裁
剪關注區。SIFT關鍵點檢測模塊910可檢測所裁剪關注區中的SIFT關鍵點，藉此產生M個所檢測SIFT關鍵點911。舉例來說，M可為具有局部尺度信息{(Xi，yi)，0i}的在兩百與四百之間的整數，其中i = 1，2，...M。舉例來說，可如參看圖I到7所描述和說明來檢測M個所檢測SIFT關鍵點911。特徵向量提取模塊912可提取用於M個所檢測SIFT關鍵點911中的每ー者的特徵向量，藉此產生M個特徵向量913。在特定實施例中，特徵向量提取模塊912基於包圍特定SIFT關鍵點的圖像小塊而提取用於特定SIFT關鍵點的特定特徵向量。舉例來說，M個特徵向量913中的每ー者可為高達128維的SIFT向量(例如，包含高達128位元組的數據)。可將M個特徵向量913輸入到特徵向量比較模塊914中。特徵向量比較模塊914可經配置以比較M個特徵向量913與存儲的特徵向量和對象關聯920。特徵向量比較模塊914可基於M個特徵向量913與存儲的特徵向量和對象關聯920的比較而產生對象辨識假設915。舉例來說，對象辨識假設915可為查詢圖像包含玩具小車的「正確」假設，或可為查詢圖像表示一不同對象的「不正確」假設。任選的假設精煉模塊916可在對象辨識假設915不正確時修改對象辨識假設915。在特定實施例中，精煉對象辨識假設915包含產生ー個或ー個以上精煉的假設、識別額外FAST關鍵點、檢測額外SIFT關鍵點、提取額外SIFT特徵向量、在SIFT特徵向量與存儲的特徵向量和對象關聯920之間執行額外比較，或其任何組合。當假設正確時(例如，如經由用戶輸入驗證)，所得分類決策918可用以查詢關於查詢圖像902的進ー步信息。舉例來說，可基於分類決策918來檢索查詢圖像902中的玩具小車的在線購物價格。應了解，圖9的對象辨識管線900可基於多個特徵檢測器的應用而提供對象辨識能力。圖9的對象辨識管線900可組合與SIFT特徵檢測相關聯的準確性益 處與FAST關鍵點識別的速度益處。應注意，SIFT關鍵點檢測模塊910可在用戶將相機904瞄準查詢圖像902時被執行或基於由動態圖像裁剪模塊908產生的裁剪圖像的分析而「離線」執行。還應了解，可完全在裝備有相機的裝置(例如，行動電話)處或以分布式方式執行圖9的對象辨識管線900。舉例來說，在第一實施例中，相機904、模塊906、908、910、912、914和916，以及存儲的特徵向量和對象關聯920可均位於行動電話處。存儲的特徵向量和對象關聯920可具有減小的大小以節省行動電話處的存儲器。在第二實施例中，僅相機904可位於行動電話處或另ー電子裝置處。模塊906、908、910、912、914和916，以及存儲的特徵向量和對象關聯920可位於伺服器處。存儲的特徵向量和對象關聯920在第二實施例中可比在第一實施例中大，因為伺服器處的可用存儲空間增加。在第三實施例中，相機904和FAST/SIFT模塊906、908、910和912可位於行動電話處，且比較丨精煉模塊914和916以及存儲的特徵向量和對象關聯920可位於伺服器處。所屬領域的技術人員將進一歩了解，可將結合本文中所掲示的實施例而描述的各種說明性邏輯塊、配置、模塊、電路和算法步驟實施為電子硬體、計算機軟體或兩者的組合。上文已大體在功能性方面描述各種說明性組件、塊、配置、模塊、電路和步驟。所述功能性是實施為硬體還是軟體取決於特定應用和施加於整個系統的設計約束。所屬領域的技術人員可針對每一特定應用以不同方式實施所描述功能性，但所述實施決策不應被解釋為導致偏離本發明的範圍。結合本文中所掲示的實施例而描述的方法或算法的步驟可直接體現於硬體中、由處理器執行的軟體模塊中或兩者的組合中。軟體模塊可駐存於隨機存取存儲器(RAM)、快閃記憶體、只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)、寄存器、硬碟、可裝卸式盤、壓縮光碟只讀存儲器(CD-ROM)，或此項技術中已知的任何其它形式的存儲媒體中。示範性存儲媒體耦合到處理器，使得處理器可從存儲媒體讀取信息和將信息寫入到存儲媒體。在替代方案中，存儲媒體可與處理器成一體式。處理器和存儲媒體可駐留在專用集成電路(ASIC)中。ASIC可駐留在計算裝置或用戶終端中。或者，處理器和存儲媒體可作為離散組件駐留在計算裝置或用戶終端中。提供所掲示實施例的先前描述以使得所屬領域的技術人員能夠製造或使用所揭示實施例。對於所屬領域的技術人員來說，對這些實施例的各種修改將為顯而易見的，且可在不偏離本發明的範圍的情況下將本文中所定義的原理應用於其它實施例。因此，本發明無意限於本文中所展示的實施例，而是將賦予本發明與如由所附權利要求書界定的原理和 新穎特徵一致的可能的最廣範圍。
權利要求
1.ー種方法，其包括 將第一特徵檢測器應用於由相機捕捉的圖像的一部分以檢測第一特徵集合； 基於所述第一特徵集合定位關注區； 確定對應於所述關注區的邊界； 在顯示器處顯示所述邊界；以及 響應於接收到接受所述顯示的邊界的用戶輸入，將第二特徵檢測器應用於所述圖像的由所述邊界囊封的區域。
2.根據權利要求I所述的方法，其中所述圖像的所述部分包括所述整個圖像。
3.根據權利要求I所述的方法，其中所述圖像為由所述相機捕捉的視頻串流的幀。
4.根據權利要求I所述的方法，其中所述相機和所述顯示器集成到移動裝置中。
5.根據權利要求4所述的方法，其中所述第一特徵檢測器為加速分段測試特徵FAST類型特徵檢測器且其中所述第一特徵集合包括FAST關鍵點集合。
6.根據權利要求I所述的方法，其中所述第二特徵檢測器為尺度不變特徵變換SIFT類型特徵檢測器。
7.根據權利要求I所述的方法，其中所述用戶輸入進一歩包括所要對象顯示於所述邊界內的指示。
8.根據權利要求I所述的方法，其中所述邊界為邊界框、邊界橢圓和邊界圓中的一者。
9.根據權利要求8所述的方法，其中所述關注區為具有超過對象指示閾值的特徵密度的最靠近所述圖像的中心的區。
10.根據權利要求I所述的方法，其進ー步包括 檢測將所述圖像平移為第二圖像的所述相機的移動； 確定是否響應於所述移動而產生經修改邊界；以及 當產生所述經修改邊界時，在所述顯示器處顯示所述經修改邊界以代替所述邊界。
11.根據權利要求10所述的方法，其中產生所述經修改邊界包括對所述邊界執行平移操作和調整大小操作中的一者或一者以上。
12.根據權利要求10所述的方法，其中產生所述經修改邊界包括 將所述第一特徵檢測器應用於所述第二圖像以檢測第二特徵集合； 對所述第二特徵集合執行均值偏移計算以確定所述第二圖像的局部最大值； 基於所述第二圖像相對於所述圖像的線性內插而確定所述經修改邊界的候選中心位置； 針對所述第二特徵集合中的每ー特定特徵，確定所述特定特徵由所述經修改邊界囊封的可能性，其中所述可能性是基於核函數而確定；以及 確定所述經修改邊界以使得所述經修改邊界囊封所述第二特徵集合中具有大於概率閾值的可能性的每ー特徵。
13.根據權利要求12所述的方法，其中所述核函數為高斯核函數和葉帕涅奇尼科夫核函數中的一者且其中所述核函數的帶寬指示所述關注區的最大大小。
14.根據權利要求13所述的方法，其中所述帶寬為用戶指定的。
15.根據權利要求12所述的方法，其中當所述經修改邊界無任一側比所述邊界的對應側大至少10%時，不顯示所述經修改邊界。
16.根據權利要求10所述的方法，其中所述邊界和所述經修改邊界兩者囊封同一關注對象。
17.根據權利要求10所述的方法，其中所述邊界和所述經修改邊界囊封不同關注對象。
18.根據權利要求I所述的方法，其進ー步包括 接收指示所述關注區的第一拐角的第一用戶輸入，其中所述第一特徵集合與所述第一拐角相關聯且其中所述圖像的所述部分包括所述第一拐角； 當所述相機的移動將所述圖像平移為第二圖像時，跟蹤所述第一特徵集合以在所述第ニ圖像中定位所述第一拐角； 接收指示所述第二圖像中的所述關注區的第二拐角的第二用戶輸入；以及將所述第一特徵檢測器應用於所述第二圖像的包括所述第二拐角的一部分以檢測第ニ特徵集合，其中基於所述第二特徵集合進ー步確定所述關注區。
19.根據權利要求18所述的方法，其中所述第二拐角與所述第一拐角相対。
20.—種包括指令的計算機可讀媒體，所述指令在由處理器執行時致使所述處理器執行以下操作 將第一特徵檢測器應用於從相機接收的圖像的一部分以檢測第一特徵集合； 基於所述第一特徵集合定位關注區； 確定對應於所述關注區的邊界； 在顯示器處顯示所述邊界；以及 響應於接收到接受所述顯示的邊界的用戶輸入，將第二特徵檢測器應用於所述圖像的由所述邊界囊封的區域。
21.根據權利要求20所述的計算機可讀媒體，其中所述第一特徵檢測器和所述第二特徵檢測器各自檢測與顔色數據無關的特徵。
22.根據權利要求20所述的計算機可讀媒體，其進ー步包括在由所述處理器執行時致使所述處理器基於所述第二特徵檢測器的結果而執行產品識別和信息檢索中的一者或一者以上的指令。
23.一種電路，其經配置以 將第一特徵檢測器應用於從圖像捕捉裝置接收的圖像的一部分； 基於第一特徵集合定位關注區； 確定對應於所述關注區的邊界； 在顯示裝置處顯示所述邊界；以及 響應於接收到接受所述顯示的邊界的用戶輸入，將第二特徵檢測器應用於所述圖像的由所述邊界囊封的區域。
24.根據權利要求23所述的電路，其中所述第一特徵檢測器為加速分段測試特徵FAST類型特徵檢測器且其中所述第二特徵檢測器為尺度不變特徵變換SIFT類型特徵檢測器。
25.—種移動裝置,其包含 用於捕捉圖像的裝置； 用於顯示捕捉的圖像和邊界的裝置； 用於接收用戶輸入的裝置；以及處理裝置，其經配置以 將第一特徵檢測裝置應用於所述圖像的一部分以檢測第一特徵集合； 基於所述第一特徵集合定位關注區； 確定所述邊界，其中所述邊界對應於所述關注區； 檢測所述用戶輸入指示對所述邊界的接受；以及 將第二特徵檢測裝置應用於所述圖像的由所述邊界囊封的區域。
26.根據權利要求25所述的移動裝置，其中所述用於接收的裝置包括觸控螢幕幕、小鍵盤和按鈕中的一者，且其中所述處理裝置進ー步經配置以 基於所述第二特徵檢測裝置的所述應用而檢測ー個或ー個以上特徵檢測關鍵點；基於所述識別的ー個或ー個以上特徵檢測關鍵點而產生ー個或ー個以上特徵向量；將所述產生的ー個或ー個以上特徵向量比較於與多個對象相關聯的多個存儲的特徵向量；以及 基於所述比較而產生對象辨識假設。
27.—種系統,其包括 相機，其經配置以捕捉圖像； 第一特徵檢測模塊，其經配置以檢測所述捕捉的圖像中的第一關鍵點； 裁剪模塊，其經配置以基於所述檢測的第一關鍵點而識別所述圖像中的關注區； 第二特徵檢測模塊，其經配置以檢測所述關注區中的第二關鍵點； 向量提取模塊，其經配置以基於所述檢測的第二關鍵點而提取特徵向量；以及向量比較模塊，其經配置以比較所述提取的特徵向量與存儲的特徵向量集合以產生對象辨識假設。
28.根據權利要求27所述的系統，其中所述存儲的特徵向量集合位於遠離所述相機、所述第一特徵檢測模塊以及所述第二特徵檢測模塊中的至少ー者處。
29.根據權利要求27所述的系統，其進ー步包括 用戶輸入裝置，其經配置以接收指示所述對象辨識假設相對於所述捕捉的圖像是否正確的用戶輸入；以及 假設精煉模塊，其經配置以當所述用戶輸入指示所述對象辨識假設不正確時修改所述對象辨識假設。
30.根據權利要求29所述的系統，其中所述對象辨識假設識別特定対象，所述系統進一歩包括經配置以在所述用戶輸入指示所述對象辨識假設正確時接收與所述特定對象相關聯的信息的通信接ロ。
31.根據權利要求27所述的系統，其中所述第一特徵檢測模塊為加速分段測試特徵FAST類型特徵檢測模塊且其中所述第二特徵檢測模塊為尺度不變特徵變換SIFT類型特徵檢測模塊。
全文摘要
在特定實施例中，一種方法包含將第一特徵檢測器應用於圖像的一部分以檢測第一特徵集合。使用所述第一特徵集合以定位關注區，且確定對應於所述關注區的邊界。所述方法還包含在顯示器處顯示所述邊界。響應於接收到接受所述顯示的邊界的用戶輸入，將第二特徵檢測器應用於所述圖像的由所述邊界囊封的區域。
文檔編號G06K9/46GK102792317SQ201180013376
公開日2012年11月21日 申請日期2011年3月11日 優先權日2010年3月11日
發明者奧努爾·C·哈姆西奇, 尤裡婭·列茲尼克, 德文德爾·A·真川, 約瑟夫·黃, 約翰·H·洪, 若澤·R·多斯桑託斯, 重·U·李, 馬克·K·墨菲 申請人:高通股份有限公司