用於圖像掃描的系統和方法與流程
2023-04-26 06:36:52
本申請涉及2014年8月26日遞交的標題為「用於圖像掃描的系統和方法」的第62/042,161號美國臨時專利申請並且主張所述專利申請的優先權，所述專利申請的全部內容以引用的方式併入本文中。
技術領域
本發明大體上涉及電子裝置。更確切地說，本發明涉及用於圖像掃描的系統和方法。
背景技術：
在最近幾十年中，電子裝置的使用已變得很普遍。具體地說，電子技術中的進步已降低了越來越複雜且有用的電子裝置的成本。成本降低和消費者需求已使電子裝置的使用劇增，使得其在現代社會中幾乎隨處可見。由於電子裝置的使用已推廣開來，因此存在對電子裝置的新的且改進的特徵的需求。更具體而言，人們常常尋求執行新功能和/或更快、更有效或以更高質量執行功能的電子裝置。
一些電子裝置(例如，相機、視頻攝像機、數位相機、蜂窩式電話、智慧型電話、計算機、電視機等)捕獲和/或利用圖像。舉例來說，智慧型電話可以捕獲和/或處理靜態圖像和/或視頻圖像。處理圖像可能需要相對較大量的時間、存儲器和能量資源。所需要的資源可能根據處理的複雜性而發生改變。
取決於平臺實施一些複雜的處理任務可能是困難的。舉例來說，移動平臺(例如，智慧型電話、平板電腦、膝上型計算機等移動裝置)可具有有限的處理、存儲器和/或能量資源(例如，有限的電池壽命)。如從此論述可觀察到，改進圖像處理的系統和方法可為有益的。
技術實現要素：
描述了一種用於通過電子裝置的圖像掃描的方法。所述方法包括獲得圖像金字塔，所述圖像金字塔包括用於幀的多個尺度層級和至少第一金字塔層級。所述方法還包括提供掃描窗口。所述方法進一步包括掃描在多個掃描窗口位置處的幀的多個尺度層級中的至少兩個。掃描窗口位置的數目針對第一金字塔層級的至少兩個尺度層級的每個尺度層級是相等的。所述方法可以包括基於掃描來檢測對象。針對幀的至少兩個尺度層級中的每一個通過電子裝置的計算的特徵可在於掃描窗口位置的數目乘以金字塔層級的數目。
所述方法可以包括確定用於至少兩個尺度層級中的每一個的掃描階躍。所述方法還可以包括掃描隨後幀的至少兩個尺度層級，其中掃描全部的掃描窗口位置的隨後幀的量與較高尺度層級相比在較低尺度層級處較大。
所述方法可以包括在多個尺度層級中選擇用於掃描幀的尺度層級的範圍。可以僅掃描尺度層級範圍內的尺度層級。所述方法還可以包括在隨後幀的多個尺度層級之中選擇尺度層級的第二範圍以用於掃描隨後的幀，其中掃描鄰近的或非鄰近的尺度層級。
所述方法可以包括確定用於至少兩個尺度層級中的每一個的掃描階躍。第一尺寸掃描階躍可以與在用於掃描的尺度層級中的每一個的第一金字塔層級處的圖像的第一尺寸成正比並且第二尺寸掃描階躍可以與用於掃描的尺度層級中的每一個的第一金字塔層級處的圖像的第二尺寸成正比。
在尺度層級處的一或多個額外的金字塔層級的第一尺寸掃描階躍可以等於對應於在尺度層級的第一金字塔層級處的圖像的第一尺寸掃描階躍。用於在尺度層級處的一或多個額外的金字塔層級的第二尺寸掃描階躍可以等於對應於在尺度層級的第一金字塔層級處的圖像的第二尺寸掃描階躍。
對應於尺度層級的一或多個額外的金字塔層級中的每一個的掃描窗口位置的數目可以小於或等於對應於尺度層級的第一金字塔層級的掃描窗口位置的數目。多個尺度層級可以是倍頻程層級。
還描述一種用於圖像掃描的電子裝置。所述電子裝置包括處理器和與所述處理器電子通信的存儲器。所述電子裝置還包括存儲在存儲器中的指令。所述指令是可執行的以獲得圖像金字塔，其包括用於幀的多個尺度層級和至少第一金字塔層級。所述指令也是可執行的以提供掃描窗口。所述指令是進一步可執行的以掃描在多個掃描窗口位置處的幀的多個尺度層級中的至少兩個。多個掃描窗口位置在第一金字塔層級的至少兩個尺度層級的每個尺度層級處是相等的。
還描述了一種用於圖像掃描的設備。所述設備包括用於獲得圖像金字塔的裝置，所述裝置包括用於幀的多個尺度層級和至少第一金字塔層級。所述設備還包括用於提供掃描窗口的裝置。所述設備進一步包括用於掃描在多個掃描窗口位置處的幀的多個尺度層級中的至少兩個的裝置。掃描窗口位置的數目針對第一金字塔層級的至少兩個尺度層級的每個尺度層級是相等的。
還描述了一種用於圖像掃描的電腦程式產品。所述電腦程式產品包括具有指令的非暫時性計算機可讀媒體。所述指令包括用於使得電子裝置獲得圖像金字塔的代碼，其包括用於幀的多個尺度層級和至少第一金字塔層級。所述指令還包括用於使得所述電子裝置提供掃描窗口的代碼。所述指令進一步包括用於使得電子裝置在多個掃描窗口位置處掃描幀的多個尺度層級中的至少兩個的代碼。掃描窗口位置的數目針對第一金字塔層級的至少兩個尺度層級的每個尺度層級是相等的。
附圖說明
圖1為說明用於跟蹤和檢測目標對象的電子裝置的框圖；
圖2為說明對象跟蹤和檢測模塊的框圖；
圖3為說明用於執行基於運動跟蹤和對象檢測的方法的流程圖；
圖4為說明用於執行基於運動的跟蹤的方法的流程圖；
圖5為說明基於正向反向誤差估計基於運動的跟蹤中的跟蹤誤差的方法的流程圖；
圖6為說明用於執行對象檢測和跟蹤的方法的流程圖；
圖7A為說明可與本發明系統和方法一起使用的具有不同窗口大小的圖像窗口的框圖；
圖7B為說明可與本發明的系統和方法一起使用的若干實例圖像和窗口的圖式；
圖8為說明對象跟蹤和檢測模塊的另一可能配置的框圖；
圖9為說明平滑模塊的框圖；
圖10為說明用於平滑運動跟蹤結果中的抖動的方法的流程圖；
圖11為說明高斯金字塔的一部分的一個實例的圖式；
圖12為說明滑動窗口和掃描階躍窗口的實例的圖式；
圖13為說明根據本文中所公開的系統和方法的一些配置的跨越尺度層級的掃描階躍的實例的圖式；
圖14為說明其中可以實施用於圖像掃描的系統和方法的電子裝置的一個實例的框圖；
圖15為說明用於圖像掃描的方法的一個配置的流程圖；
圖16為說明根據本文中所公開的系統和方法的一些配置的圖像掃描的一個實例的圖式；
圖17A為說明根據本文中所公開的系統和方法的一些配置的掃描窗口的數目相較於圖像大小的圖；
圖17B為說明其中掃描全部可能的窗口位置的方法的實例與其中掃描的窗口位置的數目是基於尺度層級均衡的本文中所公開的系統和方法的方法的實例相比的圖；
圖17C為說明其中掃描全部可能的窗口位置的方法的實例與其中掃描的窗口位置的數目是基於尺度層級均衡的本文中所公開的系統和方法的方法的另一實例相比的圖；並且
圖18說明可以包括於電子裝置和/或無線裝置內的經配置以實施本文中所公開的系統和方法的各種配置的某些組件。
具體實施方式
使用來自移動平臺(例如，平板電腦、手機)的相機跟蹤圖像內或所述圖像內用戶定義關注區域內的對象可能是困難的。可能需要實時性能管理(約30幀每秒(fps))。一些配置可組合基於光流跟蹤器與基於圖像內容檢測器的輸出以獲得穩定性跟蹤。然而，移動平臺可能難以勝任現存算法的計算以達成實時性能管理。
本發明的系統和方法可實施以下技術中的一或多個以改進跟蹤和檢測算法的速度：(1)在每一幀處使用可能的檢測(例如，掃描)窗口的一部分，(例如，隨機選擇窗口位置或利用掃描模式)；(2)僅選擇有限範圍的空間尺度(例如，僅可供使用的空間標尺的子集)用於尺度接近於對應於先前檢測到的目標大小的尺度的對象檢測；(3)基於先前跟蹤的置信度值，確定是在部分圖像中或是在整個圖像中搜尋對象；(4)基於先前跟蹤結果動態調節檢測窗口的數目；(5)依序執行跟蹤和檢測(例如，首先應用跟蹤器，因為它在計算上不太昂貴)；(6)僅當跟蹤器的置信度低於閾值時運行對象檢測器；並且(7)設置掃描躍階的數目與圖像位置的總數成正比。本發明方法和系統的優勢中的一個在於減少用於跟蹤和/或檢測目標對象的計算。
如本文中所使用，術語「跟蹤」及其變體是指基於運動的過程而不識別特定對象。舉例來說，對象跟蹤和檢測模塊可逐幀跟蹤運動，並基於電子裝置的移動(例如，如果相機水平移動)或對象的逐幀移動確定目標對象的位置、大小或幀。術語「檢測」及其變體是指(例如)通過比較幀的一部分與參考圖像來嘗試識別目標對象的過程。舉例來說，對象跟蹤和檢測模塊可比較所捕獲幀的部分與(目標對象的)參考圖像以嘗試識別目標對象。在一個實例中，當可不再跟蹤目標時(例如，如果對象落於視野外部)可使用檢測。下文更詳細地解釋執行基於運動跟蹤和對象檢測的系統和方法。
圖1為說明用於跟蹤和檢測目標對象的電子裝置102的框圖。電子裝置102也可被稱作無線通信裝置、移動裝置、移動臺、訂戶站、客戶端、客戶端站、用戶設備(UE)、遠程站、存取終端、移動終端、終端、用戶終端、訂戶單元等。電子裝置的實例包括膝上型計算機或桌面型計算機、蜂窩式電話、智慧型電話、無線數據機、電子閱讀器、平板計算機裝置、遊戲系統、機器人、飛機、無人駕駛的飛行器(UAV)、汽車等。這些裝置中的一些可以根據一或多種行業標準操作。
舉例來說，例如智慧型電話或平板計算機等電子裝置102可以包括相機。相機可以包括圖像傳感器114和將位於光學系統118的視野內的對象的圖像聚焦於圖像傳感器114上的光學系統118(例如，透鏡)。電子裝置102還可以包括相機軟體應用程式和顯示屏。當執行相機應用程式時，可由圖像傳感器114記錄位於光學系統118的視野內的對象的圖像。由圖像傳感器114所記錄的圖像可顯示於顯示屏上。可以相對較高的幀速率快速連續顯示這些圖像，使得在任何給定時刻處，位於光學系統118的視野內的對象顯示於顯示屏上。儘管在所捕獲視頻幀方面描述本發明系統和方法，但本文中所論述的技術可用於任何數字圖像上。因此，術語視頻幀和數字圖像在本文中可互換使用。
相機應用程式的用戶接口120可準許跟蹤顯示於顯示屏上的一或多個對象。電子裝置的用戶可被準許選擇待跟蹤的對象。另外，所選擇對象可用作稍後檢測對象的參考。額外地或替代地，待跟蹤對象(例如，面部、眼睛、人員、形狀、箱子等)可以預先確定和/或可以符合於模型。
在一個配置中，顯示器為從物理觸摸(例如，通過手指、觸控筆或其它工具)接收輸入的觸控螢幕116。觸控螢幕116可接收定義待跟蹤目標對象的觸摸輸入。舉例來說，如果電子裝置102正捕獲包含感興趣動物的自然場景，那麼(必要時)用戶可圍繞動物繪製指示希望跟蹤或檢測動物的限界框。可以任何合適方式選擇目標對象。舉例來說，面部辨識、行人辨識等可用於選擇待跟蹤、檢測或兩者的目標對象。在一個配置中，可跟蹤多個對象。用戶接口120可允許用戶與對象跟蹤和檢測模塊104互動(例如)以選擇(即，定義)一或多個目標對象。
電子裝置102可包括用於跟蹤所選擇對象和/或在視頻幀中檢測對象的對象跟蹤和檢測模塊104。對象跟蹤和檢測模塊104可包括用於跟蹤一或多個對象的運動跟蹤器106。運動跟蹤器106可基於運動以用於逐幀跟蹤圖像(例如，視頻幀)上的點的運動以估計目標對象在先前視頻幀與當前視頻幀之間的位置和/或位置的改變。
對象跟蹤和檢測模塊104還可以包括用於檢測視頻幀上的對象的對象檢測器108。對象檢測器108可使用對象模型而非基於運動模型以通過比較當前視頻幀的全部或一部分與所選擇對象或(例如，視頻幀序列中)所捕獲先前視頻幀112的部分來檢測對象。對象檢測器108可用於檢測視頻幀內的多個對象。在一些配置中，對象檢測器108可掃描一或多個幀和/或圖像以便檢測特定對象。舉例來說，對象檢測器108可根據結合圖11到17中的一或多個所描述的方法掃描一或多個幀。
對象跟蹤和檢測模塊104還可以包括存儲緩衝器110。存儲緩衝器110可存儲一或多個所捕獲幀和與所捕獲視頻幀相關聯的數據。在一個實例中，存儲緩衝器110可存儲先前所捕獲視頻幀112。對象跟蹤和檢測模塊104可使用從存儲緩衝器110所提供的關於所捕獲先前視頻幀112的數據來執行基於運動的跟蹤和/或對象檢測。可經由來自存儲緩衝器110的反饋將數據提供到運動跟蹤器106或對象檢測器108以便修整基於運動的跟蹤和對象檢測以更準確地跟蹤和/或檢測目標對象。舉例來說，存儲緩衝器110可將位置和窗口大小數據提供到運動跟蹤器106和對象檢測器108以為運動跟蹤器106和對象檢測器108提供當跟蹤或檢測對象時可用於更準確地精確指出對象的位置和大小的一或多個參數。
如上文陳述，電子裝置102可執行基於運動跟蹤。可使用多種方法執行基於運動的跟蹤。在一個實例中，通過中值流方法執行跟蹤，其中運動跟蹤器接受一對圖像It、It+1(例如，視頻幀)和限界框βt並輸出限界框βt+1。可在限界框βt內的矩形網格上初始化點集合併追蹤所述點以在It與It+1之間產生稀疏運動流。可估計點預測品質並為每個點指派誤差。可濾除最差預測的一部分(例如，50％)同時將剩餘預測用於估計整個限界框的移位。運動跟蹤器106可在由電子裝置102所捕獲的每一視頻幀上執行基於運動的跟蹤。以類似方法，可通過計算一或多個梯度(例如，x和y梯度)並使用一對幀之間的差異來計算時間梯度且使用多個梯度值以準確跟蹤當前視頻幀內的目標對象來執行基於運動的跟蹤。下文提供關於基於運動的跟蹤的進一步的細節。
當執行基於運動的跟蹤時，運動跟蹤器106可基於運動跟蹤方法的所計算或所估計準確性，確定跟蹤置信度值。在一些配置中，跟蹤置信度值可為對應於目標對象落於當前視頻幀內或視頻幀的所定義窗口內的可能性或機率的0與1之間的實數。可將跟蹤置信度值與跟蹤閾值進行比較。如果跟蹤置信度值大於跟蹤閾值，那麼發現目標對象位於當前視頻幀內的可能性可較高。替代性地，如果跟蹤置信度值小於或等於跟蹤閾值，那麼可能性可較低或不確定是否在當前視頻幀內發現目標對象。可使用用於確定跟蹤置信度值的各種方法。在一個配置中，通過計算當前視頻幀中的所跟蹤窗口(例如，跟蹤貼片窗口)與來自先前所捕獲視頻幀的先前存儲圖像貼片之間的歸一化互相關(NCC)來確定跟蹤置信度值。下文提供關於確定跟蹤置信度值的進一步細節。
電子裝置102也可執行對象檢測。可使用多種方法執行對象檢測。在一個配置中，使用滑動窗口方法執行對象檢測，其中檢視視頻幀內的窗口的多個子集的內容以確定是否發現目標對象在當前視頻幀中或當前視頻幀的特定窗口或窗口子集內。額外地或替代地，可以使用掃描躍階方法，其中可以跳過幀或圖像中的一或可能多個掃描窗口。因此，可在視頻幀中搜尋所有可能窗口位置和大小的全部或子集。舉例來說，每一窗口可對應於數據像素且對象檢測器108可使用數據像素執行一或多個計算以確定目標對象在特定窗口或子窗口內的置信級(例如，二進位指標)。基於與一或多個窗口相關聯的置信級，可獲得當前視頻幀的檢測器置信度值。另外，額外技術可用於增加對象檢測的準確性或效率。下文解釋這些技術中的一些。
在一些配置中，運動跟蹤器106和對象檢測器108可依序而非並行操作。舉例來說，電子裝置102可對所選擇對象(例如，目標對象)執行基於運動的跟蹤並基於所跟蹤參數依序執行所選擇對象的對象檢測。在一個配置中，電子裝置102可對當前視頻幀執行基於運動的跟蹤。電子裝置102可接著基於所跟蹤參數對當前幀執行對象檢測。在一個配置中，所跟蹤參數可以基於置信度值與閾值之間的比較。舉例來說，如果跟蹤置信度值低於跟蹤閾值，那麼電子裝置102可執行對象檢測。替代地，如果跟蹤置信度值高於跟蹤閾值，那麼電子裝置102可跳過當前視頻幀的對象檢測並基於當前視頻幀的運動跟蹤結果繼續對下一視頻幀執行基於運動的跟蹤。換句話說，可僅在基於運動的跟蹤並非極好(例如，跟蹤置信度值低於跟蹤閾值)時執行對象檢測。當考慮是否執行和/或如何執行對象檢測時可使用其它所跟蹤參數。所跟蹤參數的實例可包含目標對象區域、窗口位置、窗口大小、尺度層級、目標大小、跟蹤和/或檢測置信度值或可用於促進有效跟蹤和/或檢測目標對象的其它參數。
依序執行基於運動的跟蹤和基於所跟蹤參數的對象檢測可使得電子裝置102能夠在無需執行大量計算的情況下跟蹤和/或檢測視頻幀內的目標對象。具體來說，因為相比對象檢測，基於運動的跟蹤可為不太計算密集型，所以電子裝置102可跳過執行對象檢測，其中基於運動的跟蹤可用於準確跟蹤當前視頻幀內的目標對象。舉例來說，如果電子裝置102確定跟蹤置信度值超出特定目標閾值，那麼電子裝置102可確定無需對當前視頻幀進行對象檢測以準確確定當前視頻幀內的目標對象的位置或存在。另外，因為對象檢測在許多狀況下可以是有益的，所以電子裝置102可確定對象檢測可用於更準確檢測目標對象的情況或在基於運動的跟蹤不充分的情況下基於與跟蹤閾值的比較執行對象檢測。
在一些配置中，基於運動的跟蹤的結果和/或由存儲緩衝器110所提供的額外信息可用於窄化或修整執行對象檢測的過程。舉例來說，在無法使用基於運動的跟蹤方法準確跟蹤目標對象的情況下，電子裝置102仍可估計或獲得關於位置、窗口尺度或與目標對象相關聯的其它所跟蹤參數的信息，所述信息可在對象檢測期間用以使用比並未經由基於運動的跟蹤所提供參數的情況少的計算能力來更準確地檢測對象。因此，即使在基於運動的跟蹤並不提供超出跟蹤閾值的跟蹤置信度值的情況下，當隨後執行對象檢測時可使用基於運動的跟蹤的結果。
圖2為說明對象跟蹤和檢測模塊204的框圖。對象跟蹤和檢測模塊204可實施於電子或無線裝置內。對象跟蹤和檢測模塊204可以包括具有光流模塊226和跟蹤置信度值228的運動跟蹤器206。對象跟蹤和檢測模塊204還可以包括具有掃描儀定位器230、掃描儀定標器236、分類器238和檢測置信度值240的對象檢測器208。存儲緩衝器210可存儲可提供到運動跟蹤器206和對象檢測器208的與所捕獲先前視頻幀212相關聯的數據。對象跟蹤和檢測模塊204、運動跟蹤器206、對象檢測器208和存儲緩衝器210可為上文結合圖1所描述的對象跟蹤和檢測模塊104、運動跟蹤器106、對象檢測器108和存儲緩衝器110的配置。
運動跟蹤器206可用於對當前視頻幀(N)224執行基於運動的跟蹤。舉例來說，可以接收先前視頻幀(N-1)222和當前視頻幀(N)224(例如，通過電子裝置)。先前視頻幀(N-l)222可在視頻幀序列中緊接著先於當前視頻幀(N)224。可由對象跟蹤和檢測模塊204獲得並處理額外視頻幀。可將先前視頻幀(N-l)222提供到運動跟蹤器206。另外，存儲緩衝器210可存儲與先前視頻幀(N-l)222(在本文中被稱作所捕獲先前視頻幀212)相關聯的數據。在一些配置中，存儲緩衝器210可直接地從電子裝置中(例如，從相機中)獲得關於先前視頻幀(N-1)222的信息。存儲緩衝器210也可從融合模塊260獲得可規定先前視頻幀(N-l)222中的對象跟蹤和/或檢測位置的關於先前視頻幀(N-l)222的跟蹤結果。關於先前視頻幀(N-l)222或其它先前所捕獲視頻幀的此信息可存儲於存儲緩衝器210中。
運動跟蹤器206可隨後接收視頻幀序列中的當前視頻幀(N)224。運動跟蹤器206可比較當前視頻幀(N)224與先前視頻幀(N-l)222(例如，使用從存儲緩衝器210中提供的信息)。運動跟蹤器206可使用光流模塊226跟蹤對象在當前視頻幀(N)224上的運動。光流模塊226可以包括用於對當前視頻幀(N)224上的對象執行基於運動的跟蹤的硬體和/或軟體。通過比較先前視頻幀(N-l)222與當前視頻幀(N)224，運動跟蹤器206可確定與目標對象處於當前視頻幀(N)224中的可能性相關聯的跟蹤置信度值228。在一個實例中，跟蹤置信度值為基於目標對象在當前視頻幀(N)224內或當前視頻幀(N)224內的窗口內的確定性百分比的實數(例如，0與1之間)。
對象檢測器208可用於檢測當前視頻幀(N)224上的對象。舉例來說，對象檢測器208可接收視頻幀的序列中的當前視頻幀(N)224。對象檢測器208可基於所跟蹤參數對當前視頻幀(N)224執行對象檢測。所跟蹤參數可包括對應於準確跟蹤目標對象的可能性的跟蹤置信度值228。更確切地說，所跟蹤參數可以包括跟蹤置信度值228與跟蹤閾值250的比較。所跟蹤參數還可以包括從存儲緩衝器210中提供的信息。當檢測對象時可使用的所跟蹤參數的一些實例包括區域、窗口位置、窗口大小或當執行對象檢測時可由對象檢測器208用作參數的其它信息。
對象檢測器208可以包括掃描儀定位器230。掃描儀定位器230可以包括窗口位置選擇器232和/或隨機化器234。窗口位置選擇器232可在視頻幀內選擇多個窗口。舉例來說，視頻幀可以包括多個窗口(例如，掃描窗口)，每個具有相關聯的位置和大小。在一個配置中，每個視頻幀劃分成多個(例如，大約10,000個)重疊窗口，每個窗口包括視頻幀中的總像素的一部分。替代地，可存在任何合適數目個窗口且其可並不重疊。在一些配置中，窗口位置選擇器232可選擇掃描窗口的位置，其中掃描窗口的數目在一或多個金字塔層級處針對每個圖像尺度(例如，尺度層級)是相等的。額外地或替代地，所選擇掃描窗口可遵循特定掃描模式(例如，滑動窗口、掃描躍階等)。舉例來說，掃描窗口可遵循如結合圖12、14和16中的一或多個所描述的掃描躍階模式。掃描儀定位器230內的窗口位置選擇器232可選擇在其中嘗試識別目標對象的窗口位置。
隨機化器234可隨機選擇具有變化大小和位置的窗口以用於檢測對象。在一些配置中，隨機化器234在視頻幀內隨機選擇窗口。替代地，隨機化器234可基於一或多個因數更精確地選擇窗口。舉例來說，隨機化器234可基於區域、大小或對象最可能定位的一般位置來限制窗口選擇。可經由存儲緩衝器210獲得此信息或可經由雖然並不足夠準確以完全依賴但可提供當執行對象檢測時有用的信息的基於運動的跟蹤獲得此信息。因此，雖然隨機化器234可隨機選擇多個窗口以進行搜尋，但可基於提供到對象檢測器208的信息窄化窗口選擇，且因此不完全隨機。應注意隨機化器234可以是任選的和/或在一些配置中可能不包括於對象檢測器208中。
對象檢測器208還可包括可用於繪製或選擇具有一定大小的窗口的掃描儀定標器236。當檢測對象或比較窗口選擇與原始圖像以檢測圖像是否在特定窗口內時，可由掃描儀定位器230使用窗口大小以窄化窗口大小。掃描儀定標器236可最初在定義對象時選擇某些大小的一或多個窗口，或替代地，基於從存儲緩衝器210中提供的信息抽取某些大小的一或多個窗口。額外地或替代地，掃描儀定標器236可將圖像按比例縮放到一或多個不同大小。舉例來說，在一些配置中，掃描儀定標器236可產生圖像金字塔，其中圖像金字塔中的每個圖像可以是基礎圖像(例如，幀)的特定尺度。在一些配置中，舉例來說，可以僅利用單個掃描窗口大小，而所述圖像(例如，幀)可以縮放到不同大小。結合圖11到16給出更多細節。
分類器238可用於確定是否發現目標對象中的一些或全部在特定窗口中。在一些配置中，分類器238可產生用於每一窗口的二進位值以指示是否檢測到目標對象在特定窗口或子窗口內。可針對由對象檢測器208所搜尋的每一窗口執行此分類(例如，二進位分類)。具體來說，對於檢測到對象的每一窗口，分類器238可產生二進位1且對於未檢測到對象的每一窗口，其可產生二進位0。基於所述數目或1和0的組合，對象檢測器208可確定指示目標對象存在於當前視頻幀(N)224內的可能性的檢測置信度值240。在一些配置中，檢測置信度值240為指示已準確檢測對象的百分比或概率的0與1之間的實數。
對象檢測器208可根據多種所跟蹤參數(包括區域、目標大小、窗口大小、尺度層級、窗口位置和/或一或多個置信度值)執行對象檢測。一旦搜尋到視頻幀的窗口或窗口子集且對象檢測器208獲得每一所搜尋窗口的二進位值，那麼對象檢測器208可確定窗口大小以及當前視頻幀上具有最高置信度的位置或區域。此位置和窗口大小可用於後續跟蹤和檢測以更準確地跟蹤和/或檢測目標對象。
如上文陳述，可由對象檢測器208使用各種方法來檢測目標對象。在一個配置中，檢測目標對象可包括在每一可能窗口位置和每一可能窗口大小處對窗口執行二進位分類。然而，搜尋每一可能窗口為資源密集型操作。因此，在另一配置中，對象檢測器可搜尋窗口位置和大小的子集而非視頻幀中的所有可能窗口。舉例來說，對象檢測器208可搜尋所有可能窗口的1％。隨後，如果檢測不成功(例如，檢測置信度值240低於檢測閾值252)，那麼可在後續所捕獲幀中搜尋較高百分比的窗口位置(例如，2％)。所搜尋窗口位置的百分比階躍可以是均勻的、不均勻的、慢的或快的，即，連續幀可具有1％、2％、3％、4％或1％、2％、4％、8％。在一個配置中，響應於高檢測置信度值所搜尋幀的百分比可以設置的非常高(例如，80％、90％、100％)，即，以確保目標對象處於下一個視頻幀中。舉例來說，響應於檢測和跟蹤置信度值超出檢測和跟蹤閾值，所搜尋幀的百分比可跳轉到至少80％。替代地，百分比可跳轉到60％、70％、90％等。另外，可使用用於檢測和跟蹤閾值的任何合適值(例如，0.6、0.65、0.7、0.75、0.8、0.85等)。此外，基於隨機化器(隨機數產生器)可隨機確定所搜尋窗口的百分比，例如，可在所捕獲幀中搜尋在1％與15％之間的隨機窗口百分比。通過搜尋所有窗口位置的子集，對象檢測可使用電子裝置中的較少資源。
此外，本發明系統和方法可針對每個位置搜尋窗口大小的子集。每個窗口大小可具有特定尺寸和/或包括一定數目的像素。舉例來說，可能存在20個可能的窗口大小。在一些配置中，並非搜尋全部20個窗口大小，可以在每個窗口位置處搜尋窗口大小的子集。替代地，單個窗口大小可用於掃描一或多個圖像。舉例來說，一個窗口大小可以用於掃描縮放到不同大小(例如，尺度、尺度層級、金字塔層級等)的圖像(例如，幀)。本文中所公開的系統和方法可以應用於任一方法中。
本發明系統和方法也可使用來自存儲緩衝器210的反饋以修整所搜尋窗口位置和/或大小。換句話說，成功檢測和/或跟蹤到目標對象的最後所捕獲視頻幀的位置和大小可用作用於搜尋當前視頻幀(N)224的開始點。舉例來說，如果在最近視頻幀中檢測並跟蹤到目標對象(即，最近所捕獲視頻幀的檢測和跟蹤置信度值256高於檢測和跟蹤閾值)，那麼掃描儀定位器可在與最近幀相關聯的位置和大小處開始搜尋當前所捕獲幀。舉例來說，在目標對象移動出光學系統的視野或消失於遠處的情況下，目標對象可很可能以與當目標對象離開光學系統的視野或消失於遠處時相同的大小重新出現。因此，當執行對象檢測時可預測大小或大小範圍以用於檢測後續視頻幀中的目標對象。
此外，所捕獲視頻幀(N)224中的所搜尋窗口位置和窗口大小的搜尋範圍可限於類似於與最近視頻幀(例如，先前視頻幀(N-l)222)中的目標對象相關聯的窗口位置和窗口大小的那些範圍。如本文所使用，術語「搜尋範圍」是指當在視頻幀中檢測和/或跟蹤目標對象時可以利用的候選窗口位置、候選窗口大小和/或候選圖像尺度(例如，尺度層級)的集合。舉例來說，可基於發現目標對象在最近視頻幀中的位置從當前視頻幀(N)224的一部分內選擇所搜尋窗口位置的子集(例如，象限中的一者或當前視頻幀(N)224的半邊)。換句話說，搜尋空間可限於最後跟蹤或檢測到目標對象處附近。類似地，針對每個窗口位置搜尋的圖像的尺度(和/或幀的大小)可以是基於所述圖像的尺度(和/或窗口的大小)有限的，其中在最近視頻幀中發現目標對象。舉例來說，如果使用尺度層級8在最近幀中檢測到對象，那麼對於當前視頻幀(N)224，掃描儀定標器236可僅選擇加上或減去1的圖像尺度層級8，即，尺度層級7到9。此情況可進一步消除低概率搜尋並增加對象檢測效率。替代地，如果最近(非當前)視頻幀並未檢測到目標對象(即，最近視頻幀的檢測和跟蹤置信度值256低於檢測和跟蹤閾值)，那麼對象檢測器208可擴展所搜尋的搜尋空間(例如，圖像尺度和/或窗口位置)，例如，更寬範圍的圖像或整個圖像可經受搜尋。
對象跟蹤和檢測模塊204可包括用於合併多個窗口以形成單個窗口的融合模塊260。最初存在兩個置信度值：來自對象檢測器208的檢測置信度值240和來自運動跟蹤器206的跟蹤置信度值228。融合模塊260可比較兩個置信度值和/或組合兩個置信度值(例如，選取較大的一個)到檢測和跟蹤置信度值256中。檢測和跟蹤置信度值256可指示是否在視頻幀上識別出目標對象。在一個配置中，檢測和跟蹤置信度值256可為介於0與1之間的實數，其中0指示在特定視頻幀中識別出目標對象的最低可能置信度且1指示在特定視頻幀中識別出目標對象的最高可能置信度。換句話說，檢測和跟蹤置信度值256可充當發現目標對象的整個可能性指示。另外，檢測和跟蹤置信度值256可以是用於確定圖像尺度、窗口位置、窗口大小或窗口的百分比的參數以在下一個視頻幀中進行搜尋。融合模塊260可用於將關於當前視頻幀(N)224的信息提供到存儲緩衝器210。在一個實例中，融合模塊260可將關於所跟蹤窗口242(例如，窗口位置244、窗口大小246等)和檢測和跟蹤置信度值256的信息提供到存儲緩衝器210。融合模塊260可使用來自運動跟蹤器206和對象檢測器208的跟蹤結果(例如，限界框)以形成經組合跟蹤結果(例如，限界框)並計算檢測和跟蹤置信度值256。
存儲緩衝器210可存儲與先前視頻幀(N-l)222、當前視頻幀(N)224或其它所捕獲視頻幀相關聯的一或多個值。在一個配置中，存儲緩衝器210存儲可以包括對應於先前視頻幀(N-l)222的信息的所捕獲先前視頻幀212。所捕獲先前視頻幀212可以包括關於一或多個窗口242的信息，包括位置244、窗口大小246和每一窗口242的二進位決策248(例如，來自分類器238)。額外地或替代地，所捕獲的先前視頻幀212可以包括關於其中對象是最後檢測和/或跟蹤的圖像尺度(例如，尺度層級)的信息。所捕獲先前視頻幀212還可以包括跟蹤閾值250、檢測閾值252和檢測和跟蹤閾值254。可將跟蹤閾值250提供到對象跟蹤和檢測模塊上的運動跟蹤器206或電路系統(例如，置信級比較器258)以確定跟蹤置信級是否大於跟蹤閾值250。可將檢測閾值252提供到對象跟蹤和檢測模塊204上的對象檢測器208或其它電路系統以確定檢測置信度值240是否大於檢測閾值252。檢測和跟蹤閾值254可為基於跟蹤閾值250和檢測閾值252的經組合值。可將檢測和跟蹤閾值254與檢測和跟蹤置信度值256進行比較以確定基於運動的跟蹤和對象檢測的經組合置信度值。閾值中的每一者可以是基於目標對象位於視頻幀內的可能性。對象跟蹤和檢測模塊204可對當前視頻幀(N)224執行基於運動的跟蹤和/或檢測直到獲得特定檢測和跟蹤置信度值256為止。另外，可對多個視頻幀序列中的每一視頻幀執行基於運動的跟蹤和對象檢測。
執行基於運動的跟蹤和對象檢測可包括依序執行基於運動的跟蹤接著基於所跟蹤參數執行對象檢測。具體地說，本發明系統和方法可實施兩步跟蹤和檢測方法。由於基於運動的跟蹤是基於場景的相對運動而非如對象檢測所使用的實際對象識別，因此相比執行對象檢測，基於運動的跟蹤在電子裝置中可以是不太資源密集型的。因此，使用運動跟蹤器206而非對象檢測器208可以是更有效的，其中可無需也執行對象檢測來準確地跟蹤目標對象。
因此，在缺乏運動跟蹤器206的情況下(即，依序而非並行執行運動跟蹤和對象檢測(如果執行))，對象跟蹤和檢測模塊204僅使用對象檢測器208而非並行使用運動跟蹤器206與對象檢測器208。對於其上執行跟蹤的每一視頻幀，運動跟蹤器206可產生可為指示目標對象位於當前視頻幀(N)224中的可能性的介於0與1之間的實數的跟蹤置信度值228。
在兩步跟蹤和檢測方法的一個配置中，運動跟蹤器206可首先對當前視頻幀(N)224執行基於運動的跟蹤。運動跟蹤器206可基於基於運動的跟蹤過程確定跟蹤置信度值228。使用跟蹤置信度值228和由存儲緩衝器210所提供的跟蹤閾值250，對象跟蹤和檢測模塊204內的電路系統(例如，置信級比較器258)可確定跟蹤置信度值228是否超出跟蹤閾值250。如果跟蹤置信度值228大於跟蹤閾值250，那麼對象跟蹤和檢測模塊204可跳過執行對象檢測並將跟蹤結果提供到融合模塊260以產生輸出262。輸出262可以包括目標對象在當前視頻幀(N)224內的指示。另外，輸出262可以包括關於目標對象的額外信息。
如果跟蹤置信度值228並不超出跟蹤閾值250，那麼對象檢測器208可隨後對當前視頻幀(N)224執行對象檢測。可對當前視頻幀(N)224內的窗口的全部或子集執行對象檢測。對象檢測器208也可基於基於運動的跟蹤結果和/或從存儲緩衝器210所提供的信息來選擇窗口、窗口大小或其它檢測標準的子集。可基於提供到對象檢測器208的一或多個所跟蹤參數來使用或多或少穩定性過程執行對象檢測。對象檢測器208可確定檢測置信度值240並比較檢測置信度值240與檢測閾值252。如果檢測置信度值240高於檢測閾值252，那麼對象檢測器208可將檢測結果提供到融合模塊260以產生輸出262。輸出可以包括目標對象在當前視頻幀(N)224內的指示和/或包括關於所檢測對象的額外信息。
替代地，如果檢測置信度值240小於或等於檢測閾值252，那麼對象檢測器208可使用較穩定性方法再次執行對象檢測(例如，搜尋當前視頻幀(N)224內的較大數目的窗口)。對象檢測器208可重複對象檢測過程直到獲得令人滿意的檢測置信度值240為止。一旦獲得令人滿意的檢測置信度值240使得識別出當前視頻幀內的目標對象，則對象跟蹤和檢測模塊204可用於對下一視頻幀執行跟蹤和檢測。
如圖2中所說明，所說明的組件中的一或多個可以任選地通過處理器264實施。舉例來說，對象跟蹤和檢測模塊204可通過處理器264實施。在一些配置中，不同處理器可用於實施不同組件(例如，一個處理器可實施運動跟蹤器206，另一處理器可用於實施對象檢測器208而又一處理器可用於實施存儲緩衝器210)。
圖3為說明用於執行基於運動的跟蹤和對象檢測的方法300的流程圖。可通過電子裝置102(例如，對象跟蹤和檢測模塊104)實施方法300。電子裝置102可302通過比較先前視頻幀(N-l)222與當前視頻幀(N)224對當前視頻幀(N)224執行基於運動的跟蹤。可使用通過跟蹤圖像對之間的點的中值流方法來執行跟蹤對象。也可使用基於運動的跟蹤的其它方法。另外，可使用經由存儲緩衝器110所提供的關於所捕獲先前視頻幀112的信息來對當前視頻幀(N)224執行基於運動的跟蹤。
電子裝置102可確定304跟蹤置信度值228。跟蹤置信度值228可指示已準確跟蹤目標對象的可能性或確定性。電子裝置102可確定306跟蹤置信度值228是否大於跟蹤閾值250。如果跟蹤置信度值228大於跟蹤閾值250，那麼電子裝置102可308對下一視頻幀執行基於運動的跟蹤。另外，電子裝置102可基於基於運動的跟蹤的結果來跳過對當前視頻幀執行對象檢測。換句話說，可僅當運動跟蹤並非極好(即，如果跟蹤置信度值不超過跟蹤閾值)時對當前視頻幀執行對象檢測。然而，如果跟蹤置信度值228不超過跟蹤閾值250，那麼電子裝置102可310對當前視頻幀(N)224執行對象檢測。額外地或替代地，可以在下一個視頻幀上執行對象檢測。舉例來說，如果跟蹤置信度值228並不大於跟蹤閾值，那麼可以在下一個視頻幀上執行對象檢測(而不是例如在當前視頻幀224上執行對象檢測)。電子裝置102可在基於運動的跟蹤後依序執行對象檢測。在一些配置中，可通過變化的穩定性多次執行對象檢測以獲得較高檢測置信度值240。
圖4為說明用於執行基於運動的跟蹤的方法400的流程圖。可通過電子裝置102(例如，對象跟蹤和檢測模塊104)實施方法400。電子裝置102可402使用限界框識別目標對象。可使用觸控螢幕116或選擇感興趣對象的其它輸入方法手動地執行402對象識別。可以類似方式識別多個對象。另外，其它輸入方法可用於識別待跟蹤對象。在一個實例中，通過圍繞目標對象繪製限界框來手動地識別對象。
電子裝置102可初始化404限界框內的網格上的點。網格上的點可遍及限界框均勻地間隔開。另外，可跟蹤406兩個圖像(例如，先前視頻幀(N-l)222與當前視頻幀(N)224)之間的網格上的點。在一個實例中，由在圖像之間產生稀疏運動流的Lucas-Kanade跟蹤器來跟蹤點。電子裝置102可估計408兩個圖像(例如，先前視頻幀(N-l)222與當前視頻幀(N)224)之間的跟蹤誤差。估計408跟蹤誤差可包括為跟蹤點的每一點指派誤差值。另外，可使用多種方法執行估計408跟蹤誤差，包括(例如)正向反向誤差、歸一化互相關(NCC)和平方差總和。所估計跟蹤誤差可用於獲得跟蹤置信度值228和最終確定目標對象處於當前視頻幀(N)224中的可能性。在一個配置中，可通過計算當前視頻幀(N)224與先前視頻幀(N-l)222中的所跟蹤窗口之間的歸一化互相關(NCC)來獲得跟蹤置信度值228。也可使用額外技術估計跟蹤誤差，包括下文結合圖5更詳細描述的正向反向誤差估計。另外，電子裝置102可濾除410外圍點預測。舉例來說，電子裝置可濾除最壞預測的50％。剩餘預測可用於估計限界框的移位。
電子裝置102可更新412限界框。可執行更新412限界框使得經更新限界框變成用於下一視頻幀的新限界框。可接著針對下一視頻幀重複基於運動的跟蹤過程，或者如果跟蹤置信度值小於或等於跟蹤閾值250，那麼對於下一視頻幀可中斷基於運動的跟蹤過程直到可準確跟蹤目標對象為止。在當前視頻幀(N)224的基於運動的跟蹤並不提供令人滿意結果的一些配置中，電子裝置可對當前視頻幀(N)224執行對象檢測以在定位目標對象時獲得較高置信級。在基於運動的跟蹤無法產生令人滿意的結果的一些配置中(例如，當目標對象移動出視頻幀範圍時)，可對任何後續視頻幀執行對象檢測直到檢測到目標對象為止。
圖5為說明基於正向反向誤差估計的基於運動的跟蹤中的跟蹤誤差的方法500的流程圖。可通過電子裝置102(例如，對象跟蹤和檢測模塊104)實施方法500。在一些配置中，電子裝置102可計算所跟蹤窗口之間的歸一化互相關(NCC)。歸一化互相關(NCC)可用於確定跟蹤置信度值228。電子裝置102也可使用與歸一化互相關(NCC)互補的各種跟蹤誤差估計技術(例如，正向反向誤差、平方差總和)。在使用正向反向誤差估計的實例中，電子裝置102可在先前視頻幀(N-l)222與當前視頻幀(N)224之間執行502正向跟蹤以確定正向軌跡。正向跟蹤可包括跟蹤向前k步的圖像。所得正向軌跡可等於(xt,xt+1,...,xt+k)，其中xt為時間點位置且k指示圖像序列長度。電子裝置102可在當前視頻幀(N)224與先前視頻幀(N-l)222之間執行504反向跟蹤以確定反向軌跡。所得反向軌跡可等於其中
電子裝置102可確定506正向軌跡與反向軌跡之間的正向反向誤差。正向反向誤差可定義為正向軌跡與反向軌跡之間的距離。另外，可定義各種距離以用於軌跡比較。在一個配置中，當確定正向反向誤差時，可使用驗證軌跡的初始點與結束點之間的歐幾裡得距離。在一個配置中，正向反向誤差可用作可用於確定跟蹤置信度值228的跟蹤誤差。
圖6為說明用於執行對象檢測和跟蹤的方法600的流程圖。可通過電子裝置102(例如，對象跟蹤和檢測模塊104)實施方法600。電子裝置102可通過在當前視頻幀(N)224中搜尋窗口位置和大小的子集來對當前視頻幀(N)224執行602對象檢測和基於運動的跟蹤。
電子裝置102可確定604檢測和跟蹤置信度值256。檢測和跟蹤置信度值256可提供是否發現目標對象在當前視頻幀(N)224中或特定窗口內的置信級。電子裝置102也可確定606檢測和置信度值256是否大於檢測和跟蹤閾值254。如果檢測和置信度值大於檢測和跟蹤閾值254，那麼電子裝置102可在下一視頻幀中使用窗口和大小的子集(例如，同一子集)來對下一視頻幀執行608對象檢測。替代地，如果檢測和置信度值256小於檢測和跟蹤閾值254，那麼電子裝置102可在下一視頻幀中使用窗口位置和大小的較大子集來對下一視頻幀執行610對象檢測。在置信度值256小於檢測和跟蹤閾值254的一些配置中，電子裝置102可使用整個搜尋空間和/或下一視頻幀的所有窗口來對下一視頻幀執行610對象檢測。
圖7為說明可與本發明系統和方法一起使用的具有不同窗口大小766的圖像窗口700的框圖。具體來說，圖7說明十個可能窗口大小766a到766j的集合。儘管本文中示出為矩形，但所搜尋窗口可為任何形狀，例如，正方形、矩形、圓形、橢圓形、自定義等。此外，任何數目的窗口大小可以是可供使用的，例如，5、15、20、30等。
在一些配置中，搜尋範圍可由用於特定位置的窗口大小的子集表示，例如，當前視頻幀(N)224中所搜尋的窗口大小可限於類似於與最近幀中的目標對象相關聯的窗口位置和窗口大小的那些窗口大小。舉例來說，在並無反饋的情況下，對象檢測器208可針對每一所選擇窗口位置搜尋所有十個窗口大小。然而，如果在最近(非當前)視頻幀中使用具有第五窗口大小766e的窗口檢測對象，那麼對於當前所捕獲幀，掃描儀定標器236可僅選擇加上或減去3的窗口大小5(即，窗口大小2到8)。換句話說，基於來自最近或先前視頻幀(N-l)222的反饋，可並不搜尋具有第一窗口大小766a、第九窗口大小766i和第十窗口大小766j的窗口。此情況可進一步消除低概率搜尋並增加對象檢測效率。換句話說，使用來自最近視頻幀的反饋可有助於減少所執行計算。替代地，如果最近視頻幀並不檢測目標對象(即，最近所捕獲幀的檢測和跟蹤置信度值256小於檢測和跟蹤閾值254)，那麼對象檢測器208可通過使用大小層級的子集並不限制搜尋範圍。
圖7B為說明可與本發明的系統和方法一起使用的若干實例圖像770a到770j和窗口768a到768j的圖式。具體地說，圖7B說明用於掃描圖像的方法。在此方法中，可以搜尋不同圖像大小或尺度，而窗口大小可以保持相同。如圖7B中所說明，圖像A到J 770a到770j具有不同圖像大小或尺度，而窗口A到J 768a到768j中的全部具有相同大小。因而，在圖7B中說明的方法可以根據本文中所公開的系統和方法的一或多個配置實施。舉例來說，結合圖7B所描述的方法可以另外地或替代地通過結合圖7A所描述的方法實施。在一些配置中，可以從基礎圖像中確定不同圖像尺度(例如，尺度層級)。舉例來說，假設圖像A 770a是基礎圖像。圖像B到J 770b到770j可以是基礎圖像A 770a的按比例縮放版本。舉例來說，電子裝置(例如，電子裝置102、1402)可以將基礎圖像770a按比例縮放到一或多個其它尺度。
在一些配置中，按比例縮放基礎圖像可以包括減少取樣所述圖像。舉例來說，電子裝置(例如，電子裝置102、1402)可以使用雙線性內插按比例縮放圖像。減少取樣可以包括獲取相鄰像素的加權平均以產生按比例縮放的像素。舉例來說，假設基礎圖像是通過2的因數減少取樣或按比例縮放的。在此實例中，第一維度(例如，寬度)中的2像素和第二維度(例如，高度)中的2像素可以得到平均(例如，其中給予每個像素0.25的權重)以在所述圖像的減少取樣版本中產生單個像素。在一些情況下，減少取樣可以通過並不均勻地劃分像素的數目的因數執行。在這種情況下，不同像素可以給予不同權重以產生減少取樣圖像。
圖8為說明對象跟蹤和檢測模塊804的另一可能配置的框圖。圖8中所說明的對象跟蹤和檢測模塊804可以包括類似於圖2中所說明的對象跟蹤和檢測模塊204的模塊並執行類似於其的功能性。具體地說，圖8中所說明的對象檢測器808、運動跟蹤器806、掃描儀定位器830、窗口位置選擇器832、隨機化器834、掃描儀定標器836、分類器838、位置和大小確定模塊899、存儲緩衝器810、所捕獲先前視頻幀812、窗口842、位置844、大小846、二進位決策848、跟蹤閾值850、檢測閾值852、檢測和跟蹤閾值854、檢測置信度值840、跟蹤置信度值828和檢測和跟蹤置信度值856可對應於且具有類似於圖2中所說明的對象檢測器208、運動跟蹤器206、掃描儀定位器230、窗口位置選擇器232、隨機化器234、掃描儀定標器236、分類器238、融合模塊260、存儲緩衝器210、所捕獲先前視頻幀212、窗口242、位置244、大小246、二進位決策248、跟蹤閾值250、檢測閾值252、檢測和跟蹤閾值254、檢測置信度值240、跟蹤置信度值228和檢測和跟蹤置信度值256的功能性。
另外，對象跟蹤和檢測模塊804可包括用於減少歸因於目標運動和跟蹤誤差的抖動影響的平滑模塊861。換句話說，平滑模塊861平滑跟蹤結果，從而使得搜尋窗口在位置(x,y)844和大小(寬度、高度)846兩者中具有更平滑軌跡。平滑模塊861可為簡單移動平均(MA)濾波器或自動回歸(AR)濾波器。對於位置844和大小846的平滑程度可以不同。例如卡爾曼濾波器的預測性濾波器也可以適於位置844平滑。
在一個配置中，位置和大小確定模塊899可輸出運動跟蹤和對象檢測的組合結果，其可以由限界框表示。此限界框可以包括由平滑模塊861平滑化的位置和大小信息兩者。因此，平滑模塊861可接收未平滑化位置863和未平滑化大小865作為輸入並輸出平滑化位置867和平滑化大小869。在一些配置中，位置和大小確定模塊899可以被實施為結合圖2所描述的融合模塊260的一部分。在其它配置中，位置和大小確定模塊899可結合融合模塊260執行上文所述的功能中的一或多個，所述融合模塊是結合圖2描述的。
圖9為說明平滑模塊961的框圖。平滑模塊961可用於減少歸因於目標運動和跟蹤誤差的抖動影響(即，因此跟蹤結果(限界框)在位置(x,y)和大小(寬度、高度)兩者中具有更平滑軌跡)。在一個配置中，使用自動回歸(AR)模型實施位置平滑濾波器971和大小平滑濾波器973以接收未平滑化位置963和未平滑化大小965作為輸入並輸出平滑化位置967和平滑化大小969。
在自動回歸(AR)模型中，假設X為待平滑變量(位置或大小)。此外，使X'為由對象跟蹤器輸出的X的輸出。在此配置中，可根據等式(1)描述X在時間t處的平滑化濾波Xt：
Xt＝W*X't+(1-W)*Xt-1 (1)
其中X't為X在時間t處的跟蹤器輸出，Xt-1為X在時間t-1處的平滑化結果，且W(0<＝W<＝1)為控制平滑效果的平滑權重。舉例來說，X't可為針對當前視頻幀所選擇的窗口位置或窗口大小且Xt-1可為用於先前視頻幀的窗口位置或窗口大小。
不同平滑權重W可用於位置平滑濾波器971和大小平滑濾波器973。舉例來說，在一個實施方案中，W位置＝0.8且W大小＝0.4，使得存在對窗口位置的較小平滑作用但存在對窗口大小的較強平滑作用。此平滑權重選擇將產生較少跟蹤延遲和較少抖動兩者。
此外，當檢測和跟蹤置信度值856下降為低於一定閾值(例如，檢測和跟蹤閾值854)時，也可減少平滑權重選擇。當潛在跟蹤或檢測誤差較高時，此情況可帶來較強濾波。舉例來說，響應於低跟蹤置信度(例如，檢測和跟蹤置信度值856低於檢測和跟蹤閾值854)，可將用於位置和大小的平滑權重分別設定成W位置＝0.65且W大小＝0.2。換句話說，可降低權重中的一或兩者，此情況可使得窗口位置和大小選擇較大程度上依賴於先前視頻幀的窗口位置和大小而非當前視頻幀的窗口位置和大小。
此外，權重可以基於跟蹤置信度值828或檢測置信度值840而非檢測和跟蹤置信度值856。舉例來說，響應於跟蹤置信度值828下降為低於跟蹤閾值850，可降低平滑權重W位置和W大小，即，響應於不佳運動跟蹤可使用較強濾波。替代地，響應於檢測置信度值840下降為低於檢測閾值852，可降低平滑權重，即，響應於不佳對象檢測可使用較強濾波。
在另一配置中，卡爾曼濾波可用於平滑窗口位置。在此配置中，可根據等式(2)到(7)定義濾波：
xk＝Fkxk-1+wk (2)
zk＝Hxk-1+vk (3)
其中zk是xk的觀測結果或測量結果，並且xk是由限定的真實狀態，其中(x,y)是限界框中心位置，是在每一方向上的速度。另外，xk-1為時間k-1處的先前狀態。此外，狀態轉變模型Fk和觀察模型H可分別由等式(4)到(5)定義：
其中Δt是可調諧參數。另外，wk是假設根據等式(6)從具有協方差Q的零均值多變量正態分布中得出的過程噪聲(即，wk～N(0,Q))：
其中σ1是可調參數。類似地，wk為假設為具有根據等式(7)的協方差R的零均值高斯白噪聲的觀察噪聲(即，vk～N(0,R))：
其中σ2為可調參數。
圖10為說明用於平滑運動跟蹤結果中的抖動的方法1000的流程圖。可由電子裝置102(例如，電子裝置102中的對象跟蹤和檢測模塊804)執行方法1000。電子裝置102可確定1002與當前視頻幀相關聯的一或多個窗口位置和一或多個窗口大小，例如，未平滑化位置863和未平滑化大小865。電子裝置102也可濾波1004一或多個窗口位置和一或多個窗口大小以產生一或多個平滑化窗口位置867和一或多個平滑化窗口大小869。舉例來說，此操作可以包括使用移動平均濾波器、自動回歸濾波器或卡爾曼濾波器。在一個配置中，響應於低跟蹤置信度(例如，檢測和跟蹤置信度值856低於檢測和跟蹤閾值854)，可減少用於位置和大小的平滑權重。替代地，可基於檢測置信度值840或跟蹤置信度值828減少平滑權重。電子裝置也可使用由一或多個平滑化窗口位置867和一或多個平滑化大小869所定義的一或多個窗口來檢測當前視頻幀224內的目標對象。
本文中所公開的系統和方法的一些配置可實現均衡滑動窗口和/或掃描躍階窗口以用於圖像金字塔上的多尺度實時對象檢測。對於使用金字塔上的圖像上的滑動窗口和/或掃描窗口的對象檢測，當對象較小時，檢測可能需要在較大金字塔圖像上執行，其中待掃描的圖像位置的數目的增加與圖像的大小成正比。一般而言通過移動裝置上的有限的計算資源實時處理全部窗口可能是困難的。
本文中所公開的系統和方法可均衡每個圖像上的掃描窗口的數目，使得計算需求並不隨著待檢測對象變得較小而增加。折衷存在於遍歷圖像上的全部可能的位置的時間花費以及每個檢測的準確性中。
本文中所公開的系統和方法可提供以下方法中的一或多個。滑動窗口和/或掃描窗口躍階可以隨著檢測移動到金字塔的較低倍頻程而增大(具有較大圖像大小)。當掃描躍階與圖像的面積增大成正比時，在每個倍頻程中待掃描的窗口的數目可保持大致相同。這可能提供總計算與檢測時間之間的折衷(例如，幀的數目)。掃描躍階越大，則可能需要從視頻序列中檢測對象的時間越長(例如，更多幀)。然而，當計算資源有限時，所述方法允許掃描較大圖像而不會掉落幀率，實現「看得更遠且較小」。
圖11為說明高斯金字塔1195的一部分的一個實例的圖式。在圖11中，矩形中的每一個表示圖像。從原始尺度中(例如，具有尺度因數1的基礎圖像1197)，每個增大金字塔層級(例如，m＝1、2、3等)是通過因數s減少取樣的。在一些配置中，因數其中M是金字塔1195中的金字塔層級1174的總數。此外，每個增大尺度層級1172是通過數值因數減少取樣的。可以使用在尺度層級1172上單調增大的任何數值因數。額外地或替代地，數值因素可以是每個尺度層級均勻的或不均勻的。在一個實例中，在金字塔層級0上，數值因數可以在每個尺度層級1172處均勻地增大2。因而，1.0可以是尺度層級0的數值因數，2.0可以是尺度層級1的數值因數並且4.0可以是尺度層級2的數值因數等等。在另一個實例中，1.0可以是尺度層級0的數值因數，1.5可以是尺度層級1的數值因數並且4.0可以是尺度層級2的數值因數，說明尺度層級上的不均勻的數值因數增大。
在圖11中說明的實例中，數值因數是2。在所有尺度層級1172中數值因數是2的情況下，如圖11中所說明，尺度層級1172可被稱為「倍頻程層級」。通過倍頻程層級，每個倍頻程層級近似為是相鄰較低倍頻程水平的每個維度中的大小的一半(例如，寬度的一半和高度的一半)。另外，每個倍頻程水平可具有相鄰較低倍頻程水平的像素的近似四分之一。在一些情況下，這些可以近似由於不均勻的相除和四捨五入。
因而，圖11說明用於高斯金字塔1195產生的不同尺度(例如，沿著縱軸)。隨著金字塔層級1174和尺度層級1172進一步增大，圖像變得較小。本文中所公開的系統和方法可以在涉及高斯金字塔的掃描計算中提供更大的效率。
本文中所公開的系統和方法可實現跨越金字塔均衡滑動窗口的數目。舉例來說，本文中所公開的系統和方法可提供允許跨越每個尺度層級的受控制的(例如，有限的、近似恆定的等)計算的掃描窗口策略。在一些配置中，這可以應用於跟蹤視頻中的對象。
圖12為說明滑動窗口和掃描躍階窗口的實例的圖式。具體地說，圖像A 1276a和圖像B 1276b是兩個不同圖像大小或尺度。掃描窗口A 1278a以z字形圖案應用到圖像A 1276a。類似地，掃描窗口B 1278b以z字形圖案應用到圖像B 1276b。在一些配置中，滑動窗口A 1278a和滑動窗口B 1278b可以是相同的或大體上相同的大小(即，固定窗口大小)。除z字形圖案之外或替代地，掃描窗口可以掃描線圖案應用。對於金字塔上的每個圖像(例如，圖11的高斯金字塔1195)，電子裝置可在圖像的一或多個可能的位置上運行基於滑動窗口的檢測器(例如，具有固定窗口大小)。
本文中所公開的系統和方法的一些配置可以利用掃描躍階。舉例來說，當掃描圖像的全部可能的位置在計算上過於昂貴時，一個方法是跳過一個幀中的圖像位置(例如，沿著掃描路徑)，並且隨後掃描在其它幀(例如，隨後幀)中的跳過窗口。可以應用不同掃描模式。在圖12中的幀A到D 1280a到1280d的實例中，說明了寬度尺寸的2的掃描階躍(例如，x維度，X階躍＝2)以及高度尺寸的2的掃描階躍(例如，y維度，Y階躍＝2)。每一幀1280a到1280d可以包括像素群組。為了便於在圖12中說明，幀1280a到1280d可以表示較小圖像(例如，6x 6像素圖像)或較大圖像的部分(例如，較大圖像的6x 6像素區段)。
具體地說，掃描窗口像素1282是在每一幀A到D 1280a到1280d中說明的。每個掃描窗口像素1282是每個掃描窗口的左上像素(例如，開始位置)。舉例來說，幀A 1280a包括9個掃描窗口像素1282，其中掃描窗口像素1282中的每一個是對應的掃描窗口的左上像素。因而，幀A 1280a包括9個掃描窗口。每個掃描窗口可以覆蓋多個像素(例如，16×16個像素、24x 24個像素等)。因而，掃描窗口可以重疊。具體地說，舉例來說，掃描窗口重疊除非掃描階躍大於或等於窗口寬度。
在幀A到D 1280a到1280d的實例中，圖像的全掃描(例如，全部掃描窗口位置)需要4個幀。舉例來說，對應於掃描窗口像素1282的掃描窗口可以在每一幀處掃描。具體地說，可以掃描在幀A 1280a(例如，在第一時間或在第一幀處)在掃描窗口內的像素。隨後，可以轉移掃描窗口，其中掃描窗口的像素是針對隨後的幀掃描的。舉例來說，在幀B 1280b處包括於掃描窗口中的像素可以得到掃描等等。在一些配置中，窗口的每個群組(例如，圖12中的四個窗口)可以在以z字形圖案、以順時針圖案、以逆時針圖案或以另一順序(例如，左上、右下、右上、左下等)前進的幀上得到掃描。
在一些配置中，掃描階躍可以被視為跳過大小(例如，跳過的窗口和/或像素的數目)。舉例來說，第一尺寸的2的掃描階躍(例如，寬度維度、x維度等)以及第二尺寸的2的掃描階躍(例如，高度尺寸、y維度等)可引起如圖12中所說明的幀A到D 1280a到1280d的掃描圖案。舉例來說，在每一幀中僅四分之一的可能的掃描窗口可以得到掃描。
在一些配置中，可能的掃描窗口位置(例如，開始位置)可以對應於少於全部的像素。舉例來說，可能的掃描窗口位置(例如，開始位置)可對應於每隔一個像素(例如，在像素索引0、2、4等處的每兩個像素)或更少，例如，每三個像素(例如，在像素索引0、3、6等)處。如上文所述，應注意掃描階躍可以被視為跳過的窗口的數目。舉例來說，在可能的掃描窗口位置對應於每隔一個像素(例如，0、2、4、6、8、10等的像素索引)的配置中，對於第一幀，2的掃描階躍可引起在像素索引0、4、8等處的掃描窗口的開始像素，以及對於第二幀，2的掃描階躍可引起在像素索引2、6、10等處的掃描窗口的開始像素。
圖13為說明根據本文中所公開的系統和方法的一些配置的跨越尺度層級1372的掃描躍階的實例的圖式。舉例來說，本文中所公開的系統和方法可提供跨越尺度層級1372中的每一個的近似均衡數目的掃描窗口。在圖13中，矩形中的每一個表示圖像金字塔中的圖像。舉例來說，左上矩形可表示從其它圖像導出的基礎圖像1397。如上文所述，舉例來說，電子裝置可以將基礎圖像1397按比例縮放(例如，減少取樣)到一或多個尺度層級1372處的一或多個尺度中。如上文所述，每個增大的金字塔層級(例如，m＝1、2、3等)是減少取樣的。此外，每個增大尺度層級1372是通過數值因數減少取樣的。應注意圖像金字塔中的全部的圖像可對應於幀(例如，基於幀、從幀中衍生、從幀中減少取樣等)。舉例來說，電子裝置可獲得用於每一幀的圖像金字塔(例如，圖像的集合)。舉例來說，電子裝置可按比例縮放基礎圖像以獲得尺度層級1372。基礎圖像1397可以是任何大小的(例如，尺寸的任何集合、任何數目的像素等)。圖像大小的一些實例(例如，以像素計的尺寸(px))包括4K(4096x 2304)、2880x 1800、2560x 1440、1334x 750、1080p(1920x 1080)、720p(1280x 720)、1024x 576、312x 390、272x 340、QVGA(320x 240)等。
在圖13中，說明了四個金字塔層級1374a到1374d和四個尺度層級1372a到1372d。然而，應注意，可以利用金字塔層級1374和/或尺度層級1372的不同標號。
針對一個幀電子裝置可掃描尺度層級1372中的兩個或大於兩個，其中掃描窗口的數目針對在第一金字塔層級1374a處的每個尺度層級1372是相等的。因而，用於每個尺度層級1372的計算的特徵在於(例如，受到限制)掃描窗口的數目乘以金字塔層級1374的數目。針對在第一金字塔層級1374a處的每個尺度層級1372均衡掃描窗口的數目可近似均衡尺度層級1372之間的計算的量(例如，經掃描的掃描窗口的數目)。
舉例來說，假設掃描第一到第三尺度層級1372a到1372c並且使用12個掃描窗口位置掃描第三尺度層級1372c的第一金字塔層級1374a(例如，圖13中的最左列)。在此實例中，第二尺度層級1372b的第一金字塔層級1374a是在12個掃描窗口位置處經掃描的並且第一尺度層級1372a的第一金字塔層級1374a是在12個掃描窗口位置處經掃描的。因而，在每個尺度層級1372處的計算是大體上恆定的(例如，有限的)，這是由於用於每個增大金字塔層級1374a到1374d的掃描窗口位置的數目將是小於或等於用於第一(例如，最低)金字塔層級1374a處的對應的圖像的掃描窗口位置的數目。
使用用於較大圖像的相同數目的相同大小的掃描窗口(例如，在較低尺度層級處)與在較高尺度層級處的圖像相比可引起覆蓋較小比例的較大圖像，舉例來說，這是由於以增大的圖像大小(減小尺度層級)應用增大的掃描階躍。舉例來說，假設在第一尺度層級和第一金字塔層級處的圖像具有在第二尺度層級和第一金字塔層級處的圖像的像素數目的四倍。使用用於這些圖像的兩者的相同數目的掃描窗口與較小圖像相比引起覆蓋相對較小比例的較大圖像。因而，與較高尺度(例如，較高尺度層級1372)相比在較低尺度(例如，較低尺度層級1372)處可能需要更多的幀來覆蓋全部掃描窗口位置。
如上文所述，掃描階躍可用於掃描一些配置中的圖像中的一或多個。根據本文中所公開的系統和方法，掃描階躍可設置成與用於圖像中的一或多個的圖像(例如，第一金字塔層級1374a中的圖像)的尺寸成正比。舉例來說，假設尺度層級1372是倍頻程。在圖13中說明的實例中，掃描階躍1384(針對每個尺寸)針對第一尺度層級1372a可以是4，針對第二尺度層級1372b可以是2，並且針對第三尺度層級1372c可以是1。舉例來說，假設在第三尺度層級1372c處的掃描階躍1384是1(例如，針對x或寬度尺寸是1且針對y或高度尺寸是1)。在第一金字塔層級1374a處，在第二尺度層級1372b處的圖像的尺寸是在第三尺度層級1372c處的圖像的尺寸的兩倍。因而，在第二尺度層級1372b處的掃描階躍1384是2(例如，針對x或寬度尺寸是2且針對y或高度尺寸是2)。類似地，在第一尺度層級1372a處的圖像的尺寸是在第三尺度層級1372c處的圖像的尺寸的四倍，引起4的掃描階躍1384(例如，針對x或寬度尺寸是4且針對y或高度尺寸是4)。
在一些配置中，在尺度層級1372處用於一或多個額外的金字塔層級1374b到1374d的第一尺寸(例如，x尺寸)掃描階躍等於對應於在尺度層級1372的第一金字塔層級1374a處的圖像的第一尺寸掃描階躍1384。此外，用於尺度層級1372處的一或多個額外的金字塔層級1374b到1374d的第二尺寸(例如，y尺寸)掃描階躍等於對應於尺度層級的第一金字塔層級1374a處的圖像的第二維度掃描階躍。額外地或替代地，對應於尺度層級1372的一或多個額外的金字塔層級1374b到1374d中的每一個的掃描窗口的每個數目小於或等於對應於尺度層級1372的第一金字塔層級1374a的掃描窗口的數目。因而，用於每個尺度層級1372a到1372d的計算的特徵在於掃描窗口的數目乘以金字塔層級1374的數目。舉例來說，這些方法中的一或多個可限制在每個尺度層級1372a到1372d處的計算和/或可能近似均衡在每個尺度層級1372a到1372d處(例如，在尺度層級1372a到1372d之間)的計算(例如，掃描窗口的數目)。
如上文所述，尺度層級1372在一些配置中可以是倍頻程。因而，掃描階躍可以較低倍頻程增大。在一些配置中，在每個尺度層級1372a到1372d(例如，倍頻程層級)上待掃描的窗口的數目可以是相同的。在這些配置中針對每個倍頻程層級的計算的數目可以是相同的。因而，可以均衡跨越金字塔的滑動窗口的數目，即使對於更遠的和較小的對象也是如此(例如，以較大圖像大小)。在一些配置中，這可以應用於圖像中的對象檢測和/或對象的跟蹤(例如，較大對象、較小對象等)(例如，視頻)。應注意雖然在本文中描述了「倍頻程」，但是替代於倍頻程可以利用不同尺度(例如，均勻的/不均勻的尺度等)。
應注意所述圖像中的對象的大小可基於對象與圖像傳感器之間的距離和/或基於變焦等級。因而，對象的大小可以在幀之間發生改變。然而，對象大小的較大瞬時改變是不大可能的。因而，將掃描限制到可能檢測對象的尺度層級1372和/或金字塔層級1374的範圍對於減少計算的量而言可能是有益的。舉例來說，假設圖像傳感器的變焦等級在幀之間保持相同。進一步假設圖像傳感器與對象之間的距離在幀之間降低。因而，圖像內的對象的大小可以在幀之間增大(即，在x和/或y方向上的像素的數目增大)。這可以引起對象不再為在特定掃描尺度(和/或金字塔層級)處檢測到的，但是是在另一掃描尺度(和/或另一金字塔層級)處檢測到的。舉例來說，隨著對象在圖像中的大小的增大對象可以在較高尺度層級處被檢測到。因為圖像中的對象的大小不大可能相對於幀率快速改變，所以相對於最近檢測到對象的尺度(和/或金字塔層級)可以掃描到僅尺度層級(和/或金字塔層級)的範圍。
因而，掃描範圍(例如，尺度層級和/或金字塔層級)可以在幀之間發生改變。舉例來說，電子裝置可以基於對象大小改變的一或多個指示改變掃描範圍(以尺度層級和/或金字塔層級)。舉例來說，範圍可以基於在兩個或大於兩個幀上的所檢測到的對象的大小改變(例如，尺度層級和/或金字塔層級)的閾值量。舉例來說，如果在第一幀中的第四金字塔層級和第四尺度層級處檢測到對象，並且隨後在第三尺度層級處的第一金字塔層級中檢測到對象(其指示大於大小改變的閾值量)，那麼電子裝置可以在全部的金字塔層級中從最後檢測到的尺度層級將掃描範圍擴展到±2尺度層級(而不是例如±1尺度層級)。此原理可以類似地適用於變焦和/或檢測運動的情形。具體地說，類似方法可以應用於變焦和/或加速計指示。舉例來說，如果接收到(或例如檢測到)快速(例如，大於閾值量的)變焦輸入，那麼電子裝置可以根據變焦擴展掃描範圍和/或可以轉移掃描尺度層級和/或金字塔層級。額外地或替代地，如果(通過例如電子裝置上的加速計)檢測到快速(例如，大於閾值量的)運動，那麼電子裝置可以根據運動擴展掃描範圍和/或可以轉移掃描尺度層級和/或金字塔層級。在一些配置中，如果所檢測到的對象大小、變焦和/或檢測到的運動對於幀的數目是較小的或靜態的，那麼掃描範圍可以收縮(例如，如果針對幀的數目已經出現小於改變的閾值量(在對象、大小、變焦和/或檢測到的運動中))。
在一些配置中，對於在跟蹤期間的對象檢測，在每一幀處僅可以掃描接近對象的尺度的尺度層級和/或金字塔層級。舉例來說，僅掃描被跟蹤對象尺度的範圍內的圖像或倍頻程(例如，在0.5x到2x)之間。因此，對於結合圖13所描述的金字塔，僅可以利用3個尺度層級1372(例如，倍頻程)以用於在每一幀處進行掃描。額外地或替代地，僅掃描具有在被跟蹤對象尺度解析度的範圍內(例如，在0.5x到2x)之間的解析度的圖像或倍頻程。應注意在一些配置中可以掃描鄰近尺度(例如，倍頻程)。替代地，可以掃描非鄰近尺度(例如，倍頻程)。
因而，在一些配置中可以僅掃描在1386的尺度範圍內的圖像尺度。舉例來說，假設對象是在第二尺度層級1372處通過大小最後檢測到的和/或跟蹤到的。電子裝置可以僅掃描針對特定範圍1386內(例如，±1尺度層級、±2尺度層級等)的對象。在一些配置中，可以就尺度層級1372而言定義範圍1386。額外地或替代地，可以就金字塔層級1374(例如，±1金字塔層級、±2金字塔層級等)而言定義範圍1386。舉例來說，電子裝置可以從其中針對全部金字塔層級最後檢測到和/或跟蹤到對象的尺度層級中將掃描範圍限制到±1尺度層級。
應注意範圍1386可以在幀之間轉移和/或改變(例如，減小或擴展)。舉例來說，假設在第二尺度層級1372處在第一幀處檢測到對象。在第二幀中，對象檢測可以在第一、第二和第三尺度層級1372a到1372c處執行，其中對象檢測在第三尺度層級1372c處。因而，範圍1386可以轉移到包括第二、第三和第四尺度層級1372b到1372d。
應注意對象的術語「距離」、「變焦」和「大小」可以指相對於圖像大小的對象的大小。舉例來說，在較遠距離處的目標對象與在較近距離處的相同目標對象相比可佔據圖像的較小部分，其中在較近距離處的目標對象佔據圖像的較大部分。類似地，在較高變焦處的目標對象與在較低變焦處的目標對象相比可佔據圖像的較大部分。
在一些配置中，本文中所公開的系統和方可以限制(例如，均衡)掃描階躍的數目而無論目標對象距離和/或變焦如何。舉例來說，當目標對象佔據圖像的較小部分時，更多窗口位置可用於掃描以便檢測較小對象。在這種情況下，可以利用較大掃描階躍，這可能需要更多幀來遍歷全部掃描位置。因而，以時間為代價計算可以是有限的。在目標對象佔據圖像的較大部分的另一情況下，可以利用較小掃描階躍，這可能需要較少幀以遍歷全部掃描位置。根據本文中所公開的系統和方法的一些配置，可以利用每個幀的近似固定數目(例如，相同固定數目)的掃描窗口。雖然可能需要更多幀來掃描較小目標對象(例如，在較遠距離處)，但是此方法均衡了處理需要而無論目標對象大小如何，這允許較小目標對象得到檢測，尤其是在處理功率受到限制的情況中(例如，在移動裝置中)。
當對象變得較小時，較低數目的尺度層級1372(例如，倍頻程)得到掃描。當對象變得較大時，較高數目的尺度層級1372(例如，倍頻程)得到掃描。由於通過將掃描階躍設置成與(例如，第一金字塔層級的)圖像尺寸成正比使得在每個倍頻程處的掃描窗口是有限的(例如，均衡的)，所以在每個倍頻程處掃描的窗口的數目可以是大致相同的。然而，與較高數目的倍頻程相比，較低的尺度層級(例如，倍頻程)需要更多的幀來執行全掃描。此方法允許隨時間推移的若干幀之中的擴展計算而無需請求高的多的資源(計算和電力)，尤其是在此類資源不可供使用時。因而，掃描階躍的數目可以均衡檢測準確性和計算(例如，處理循環、電力消耗等)。
圖14為說明其中可以實施用於圖像掃描的系統和方法的電子裝置1402的一個實例的框圖。電子裝置1402的實例包括智慧型電話、蜂窩式電話、計算機(例如，桌面型計算機、膝上型計算機等)、平板計算機裝置、媒體播放器、電視、遊戲控制臺、個人數字助理(PDA)、機器人、飛機、UAV、汽車等。電子裝置1402可以包括圖像掃描模塊1488。如本文所使用，「模塊」可以在硬體(例如，電路系統)或兩者的組合(例如，具有指令的處理器)中實施。
電子裝置1402可以執行結合圖1到13中的一或多個描述的功能、程序、方法、步驟等中的一或多個。額外地或替代地，電子裝置1402可以包括結合圖1到13中的一或多個描述的結構中的一或多個。在一些配置中，結合圖14描述的圖像掃描可以結合結合圖1到13中的一或多個描述的圖像掃描、對象檢測和/或對象跟蹤方法中的一或多個實施。應注意結合圖13描述的圖像掃描可以另外或替代地於結合圖1到13中的一或多個描述的圖像掃描的方法中的一或多個實施。舉例來說，另外或替代於結合對象跟蹤和檢測模塊104、204中的一或多個描述的掃描，結合圖14描述的圖像掃描模塊1488可以在上文所述的一或多個電子裝置中實施。
電子裝置1402可獲得一或多個圖像幀1490(例如，數字圖像、視頻等)。舉例來說，電子裝置1402可捕獲一或多個圖像幀1490(例如，使用集成和/或單獨的圖像傳感器)和/或可以從另一裝置(例如，相機、存儲裝置、另一電子裝置等)接收一或多個圖像幀。圖像幀1490中的一或多個可以包括對象(例如，用於檢測和/或跟蹤的目標對象)。
可以將圖像幀1490中的一或多個提供到圖像掃描模塊1488。圖像掃描模塊1488可以掃描一或多個圖像幀1490。舉例來說，圖像掃描模塊1488可以利用滑動窗口和/或階躍掃描方法以為對象掃描圖像幀1490。這可以如上文結合圖11到13中的一或多個所描述的來實現。
圖像掃描模塊1488可以獲得具有用於幀1490的多個尺度層級和至少第一金字塔層級的圖像金字塔。舉例來說，圖像掃描模塊1488可減少取樣和/或按比例縮放圖像(例如，基礎圖像)以產生如上文所述的圖像金字塔。在一些配置中，圖像金字塔可以是基於倍頻程的高斯金字塔。
在一些實施方案中,圖像掃描模塊1488可以在金字塔中僅產生有限數目的尺度。舉例來說，僅可以產生被跟蹤或掃描的對象的尺度的0.5x到2x內的圖像尺度(例如，尺度層級)。在一些配置中，電子裝置1402可確定對象尺度(例如，從前一幀中基於跟蹤和/或檢測和/或基於指示對象大小的輸入)。電子裝置1402可因而確定圖像金字塔的哪些圖像尺度(例如，尺度層級和/或金字塔層級)是處於範圍內的。電子裝置1402可因而僅產生和/或掃描對象的尺度或大小的範圍內的圖像尺度。掃描模塊1488可掃描鄰近或非鄰近尺度層級。
圖像掃描模塊1488可在多個掃描窗口位置處掃描幀1490的多個尺度層級中的至少兩個。掃描窗口位置的數目針對第一金字塔層級的至少兩個尺度層級的每個尺度層級可以是相等的。在一些配置中，掃描窗口大小可以是相同的，而無論圖像大小(例如，尺度層級和/或金字塔層級)如何。舉例來說，這種情況可以如結合7B中所描述。因而，不同圖像大小可適配圖像內的不同總數的掃描窗口(例如，重疊和/或不重疊掃描窗口)。然而，掃描全部可能的掃描位置可能需要相對較大量的處理功率(例如，速度)，尤其是對於高幀率下的較大(例如，高解析度)圖像。
本文中所公開的系統和方法的一些配置可以基於在每個尺度層級處的計算特徵化。舉例來說，本文中所公開的系統和方法可以限制、均衡和/或近似均衡等與在每個尺度層級處處理圖像相關聯的計算。這可以通過在(例如，至少第一金字塔層級的)兩個或大於兩個尺度層級處將掃描窗口位置的數目設置成相等而實現。因而，用於每個尺度層級的每個幀計算的特徵可在於(例如，通過以下項限制)在第一金字塔層級處用於圖像的掃描窗口集合的數目乘以金字塔層級的數目。與較高尺度相比，可能需要更多幀以覆蓋(例如，掃描)在較低尺度處的全部掃描窗口位置。
根據本文中所公開的系統和方法，掃描階躍可以與用於圖像中的一或多個(例如，第一金字塔層級中的圖像)的圖像的尺寸成正比。額外地或替代地，用於尺度層級處的一或多個額外的金字塔層級的第一尺寸(例如，x尺寸)掃描階躍可以等於對應於在尺度層級的第一金字塔層級處的圖像的第一尺寸掃描階躍。此外，用於尺度層級處的一或多個額外的金字塔層級的第二尺寸(例如，y尺寸)掃描階躍可以等於對應於在尺度層級的第一金字塔層級處的圖像的第二尺寸掃描階躍。額外地或替代地，對應於尺度層級的一或多個額外的金字塔層級中的每一個的掃描窗口的每個數目小於或等於對應於尺度層級的第一金字塔層級的掃描窗口的數目。因而，用於每個尺度層級的計算的特徵在於掃描窗口的數目乘以金字塔層級的數目。舉例來說，這些方法中的一或多個可限制在每個尺度層級處的計算和/或可近似均衡在每個尺度層級處的計算(例如，掃描窗口的數目)。
在一些配置中，圖像掃描模塊1488可確定和/或設置掃描階躍(例如，第一尺寸掃描階躍和第二尺寸掃描階躍)為與對應的圖像尺寸成正比。舉例來說，圖像掃描模塊1488可設置第一尺寸(例如，寬度x)掃描階躍針對尺度層級中的每一個與在第一金字塔層級處的圖像的第一尺寸成正比，並且設置第二尺寸(例如，高度y)掃描階躍針對尺度層級中的每一個與在第一金字塔層級處的圖像的第二尺寸成正比。較大圖像將因而具有較大掃描階躍。
在一個方法中，圖像掃描模塊1488可基於圖像的一或多個尺寸確定和/或設置掃描階躍。舉例來說，在特定尺度層級處(以及例如在第一金字塔層級處)的圖像可具有用於一或多個尺寸的預先確定的掃描階躍。替代地，圖像掃描模塊1488可以確定用於圖像的掃描階躍的數目(基於處理器負載、圖像解析度等)。舉例來說，假設在第一尺度層級和第一金字塔層級處的圖像具有用於寬度尺寸的4的掃描階躍和用於高度尺寸的4的掃描階躍。進一步假設在第一尺度層級處的圖像具有160px的寬度和120px的高度，且在第二尺度層級處的圖像具有80px的寬度和60px的高度。為了獲得用於在第二尺度層級處(以及例如在第一金字塔層級處)的圖像的掃描階躍，圖像掃描模塊可以將用於寬度尺寸的掃描階躍4除以一個比率以產生用於在第二尺度層級處的圖像的2的掃描階躍，所述比率為在第一尺度層級處的圖像的寬度與在第二尺度層級(例如，4/(120px/60px))處的圖像的寬度的比率。
在另一方法中，圖像掃描模塊1488可以將掃描階躍設置成在第一金字塔層級處與第一尺度層級處的圖像的面積(例如，大小、像素)與在第二尺度層級處的圖像的面積(例如，大小、像素)的比率的平方根正比。舉例來說，假設在第一尺度層級和第一金字塔層級處的圖像具有伴以160x 120的尺寸的4的掃描階躍，且假設在第二尺度層級處的圖像具有80x 60的尺寸。為了獲得用於在第二尺度層級處(以及例如在第一金字塔層級處)的圖像的掃描階躍，圖像掃描模塊1488可以將在一種尺寸(例如，4)中的第一圖像的掃描階躍除以第一圖像的面積與第二圖像的面積的比率的平方根(例如，)，以產生用於在第二尺度層級處的圖像的2的掃描階躍。
在又一方法中，圖像掃描模塊1488可以基於在一個圖像大小內可以適配的(例如，特定大小的)掃描窗口的總數確定掃描階躍。在一些配置中，圖像掃描模塊1488可通過比較圖像的大小和掃描窗口的大小確定在一個圖像內可以適配的掃描窗口的數目。舉例來說，如果圖像具有寬度乘以高度的大小(例如，W*H)且掃描窗口具有窗口寬度乘以窗口高度的大小(例如，P*Q；W≥P和H≥Q)，那麼在圖像內可以適配的掃描窗口的總數為(W-P+1)*(H-Q+1)。掃描階躍可以確定為與圖像中的掃描窗口的總數成正比。舉例來說，在圖7B中，在圖像掃描模塊1488的一個配置中，用於圖像I的掃描階躍被設置成1，且圖像H的掃描階躍被設置成小於或等於(#H的掃描窗口)/(#I的掃描窗口)的最大整數。類似地，圖像A的掃描階躍被設置成小於或等於(#A的掃描窗口)/(#I的掃描窗口)的最大整數。
設置掃描階躍的數目可近似均衡在圖像金字塔的每個尺度層級(例如，倍頻程)處的掃描窗口。舉例來說，設置掃描階躍的數目可能引起在每個倍頻程層級處大致相同數目的計算。設置掃描階躍的數目可因而均衡檢測準確性與計算和/或電力消耗。應注意，如上文所述在一些配置中可以掃描對象的處於(例如，0.5x到2x)的尺度範圍內的僅有的圖像尺度。
應注意圖像掃描模塊1488可根據掃描階躍掃描一或多個隨後幀。舉例來說，圖像掃描模塊1488可掃描在掃描窗口的初始位置處的用於第一圖像幀的圖像。對於第二隨後幀，圖像掃描模塊1488可轉移掃描窗口開始位置(通過整個掃描窗口、通過像素等)等等。
圖像掃描模塊1488可提供掃描結果1492。在一些配置中，掃描結果可指示對象是否被檢測到和/或指示用於一或多個掃描窗口和/或幀的對象檢測的置信級。
在一些配置中，圖像掃描模塊1488可以在結合圖1描述的對象跟蹤與檢測模塊104中實施。舉例來說，結合圖1描述的對象檢測器108可實施結合圖11到14描述的掃描方案中的一或多個以便在圖像中檢測對象。
圖15為說明用於圖像掃描的方法1500的一個配置的流程圖。舉例來說，結合圖14描述的電子裝置1402可執行方法1500。
電子裝置1402可獲得1502幀1490。舉例來說，如上文所述，這可以結合圖14實現。
電子裝置1402可獲得1504具有用於幀1490的多個尺度層級和至少第一金字塔層級的圖像金字塔。舉例來說，這可以如結合圖7B與圖11到14中的一或多個所描述的實現。
電子裝置1402可提供掃描窗口。舉例來說，電子裝置1402可具有存儲在存儲器中的預先確定的掃描窗口大小。額外地或替代地，電子裝置1402可確定(例如，計算)掃描窗口的大小。舉例來說，電子裝置可確定掃描窗口大小為圖像大小的一部分。在另一個實例中，電子裝置1402可基於掃描窗口位置限制(例如，每個幀可以處理的最大數目的掃描窗口)來確定掃描窗口大小。舉例來說，電子裝置1402可以將掃描有限數目的處理循環用於掃描。掃描窗口位置限制可以是電子裝置1402可以每個幀處理的預先確定的或計算的數目的掃描窗口位置(具有多個像素或像素的範圍)。在一些配置中，電子裝置1402可以從查找表中查找掃描窗口大小。
電子裝置1402可以掃描1506在多個掃描窗口位置處的幀1490的尺度層級中的至少兩個。掃描窗口位置的數目針對第一金字塔層級的至少兩個尺度層級的每個尺度層級可以是相等的。掃描1506幀1490的至少兩個尺度層級的尺度層級中的每一個可以如上文結合圖7B與圖11圖14中的一或多個所述實現。
圖16為說明根據本文中所公開的系統和方法的一些配置的圖像掃描的一個實例的圖式。具體地說，圖16說明兩個幀1696a到1696b上的圖像掃描的一個實例。在此實例中，矩形網格表示對應於(例如，衍生自)幀1696a到1696b的圖像金字塔的圖像。每個網格框表示一個像素。在圖16中具有加深輪廓的方框示出了掃描窗口像素1694。每個掃描窗口像素1694是每個掃描窗口的左上像素(例如，開始位置)。舉例來說，在第一金字塔層級A 1607a與第一尺度層級A 1601a處的圖像包括12個掃描窗口像素1694，其中掃描窗口像素1694中的每一個是對應的掃描窗口的左上像素。因而，此圖像包括12個掃描窗口(為了清楚起見未描繪)。每個掃描窗口可覆蓋多個像素(例如，16x 16像素、24x 24像素等)。因而掃描窗口可以重疊。
為簡單起見，以像素的尺寸說明圖像。應注意每個掃描窗口可覆蓋多個像素。為了便於說明，在圖16的實例中給出的圖像具有相對較小的尺寸。應注意圖像尺寸可以大於(例如，大的多)和/或小於在圖16中給出的圖像。在結合圖16描述的實例中，可以根據結合圖11描述的金字塔導出圖像大小。舉例來說，在第一金字塔層級A 1607a處的圖像包括具有在第一尺度層級A 1601a處的尺寸16x 12的圖像、具有在第二尺度層級A 1603a處的尺寸8x 6的圖像，以及在第三尺度層級A 1605a處的尺寸4x 3的圖像。此外，在第二金字塔層級A 1609a處的圖像包括具有在第一尺度層級A 1601a處的尺寸13x 10的圖像、具有在第二尺度層級A 1603a處的尺寸6x 5的圖像，以及在第三尺度層級A 1605a處的尺寸3x 2的圖像。另外，在第二金字塔層級A 1611a處的圖像包括具有在第一尺度層級A 1601a處的尺寸10x 8的圖像、具有在第二尺度層級A 1603a處的尺寸5x 4的圖像，以及在第三尺度層級A 1605a處的尺寸3x 2的圖像。對應於在第一金字塔層級B 1607b、第二金字塔層級B 1609b、第三金字塔層級B 1611b、第一尺度層級B 1601b、第二尺度層級B 1601b和第三尺度層級B 1605b處的幀B 1696b的圖像具有與對應於幀A 1696a的那些相同的大小。
如可以在圖16中觀察到的，尺度層級1601、1603、1605布置成倍頻程大小。具體地說，在第一金字塔層級A 1607a處，第二尺度層級A 1603a的尺寸是第一尺度層級A 1601a的對應的尺寸的一半並且第三尺度層級A 1605a的尺寸是第二尺度層級A 1603a的對應的尺寸的一半。
圖16中的掃描窗口像素1694說明了掃描窗口的數目在第一金字塔層級A 1607a處對於每個尺度層級1601、1603、1605是相等的。具體地說，在第一金字塔層級A 1607a處的圖像中的每一個具有12個掃描窗口，而無論尺度層級或圖像大小如何。如所說明，在第一金字塔層級A 1607a處的掃描窗口位於第三尺度層級A 1605a處的圖像的全部位置(例如，像素)處、位於第二尺度層級A 1603a處的圖像的僅四分之一的位置處，並且位於第一尺度層級A 1601a處的僅十六分之一的位置處。因而，每個尺寸的掃描階躍與在第一金字塔層級1607處的圖像的尺寸成正比。
對於幀B 1696b，掃描窗口可以轉移(例如，如通過對應的掃描窗口像素1694所示)。如在第一金字塔層級1607a到1607b處所說明，在每一幀1696處利用在第三尺度層級1605a到1605b處的圖像的全部掃描窗口開始位置，而將需要四個幀以從用於第二尺度層級1603的全部的開始位置掃描並且將需要十六個幀以從用於第一尺度層級1601的全部的開始位置掃描。此情境說明本文中所公開的系統和方法的一些配置的一個優點。具體地說，較大圖像(例如，較高解析度圖像、圖像中的較小對象)可以通過有限量的計算掃描以換得較慢檢測速度和/或較低準確性。這一點可以是重要的，尤其是在高幀率下掃描高解析度圖像可能壓垮裝置(例如，智慧型電話、平板計算機等)的處理能力的實施方案中。
如在圖16中進一步說明的，用於每個逐漸地較高的金字塔層級1609的掃描窗口的數目可以限制在小於或等於用於在第一金字塔層級1607處的圖像的掃描窗口的數目。舉例來說，對於第一尺度層級A 1601a，在第一金字塔層級A 1607a處的圖像具有12個掃描窗口，在第二金字塔層級A 1609a處的圖像具有12個掃描窗口並且在第三金字塔層級A 1611a處的圖像具有六個掃描窗口。因而，用於每個尺度層級1601、1603、1605的計算的特徵在於(例如，通過以下項限制)第一金字塔層級1607的掃描窗口的數目乘以金字塔層級1607、1609、1611的數目。舉例來說，用於第一尺度層級A 1601a的計算將限於小於或等於掃描12個掃描窗口乘以三個金字塔層級1607、1609、1611所需要的處理(例如，第一尺度層級A處理＝用於30個掃描窗口的處理≤用於12個掃描窗口*3的處理)。在一些配置中(例如，在較高解析度處)，處理每個尺度層級所需要的計算變為近似相等的，這是因為在每個尺度層級處掃描窗口的數目是相同的或近似相同的。
雖然圖16說明在每個層級處的掃描窗口可以在位置上對應(例如，在每個尺度層級A 1601a、1603a、1605a處第一掃描窗口像素1694在(0，0)的寬度與高度指數處)，但是可以利用其它方法。舉例來說，掃描窗口可以在不同尺度層級處在非對應的位置處初始化。舉例來說，對於第一金字塔層級A 1607a，在第一尺度層級A 1601a處的第一掃描窗口像素1694(以及對應的掃描窗口)可以是在(0，0)處初始化的並且在第二尺度層級A 1603a處的第一掃描窗口像素1694(以及對應的掃描窗口)可以是在(1，0)的寬度和高度指數處初始化的。以此方式，可以更多樣化地覆蓋不同掃描位置。
在一些配置中，可以在最後檢測到的對象位置處或附近初始化(例如，可以最初安置)掃描窗口。舉例來說，如果對象是在前一幀中的指數(2，1)處最後檢測到的，那麼第一掃描窗口可以安置在(2，1)(或例如(1，1))處。
圖17A為說明根據本文中所公開的系統和方法的一些配置的掃描窗口1713的數目相較於圖像大小1715的圖。在圖17A中，實線曲線說明了一種方法，其中增大圖像大小也增大了掃描窗口的數目。虛線說明了本文中所公開的系統和方法的一些配置。如所說明，隨著圖像大小的增大，掃描窗口的數目可以是有限的或近似恆定的。具體地說，無論圖像大小如何，掃描窗口的數目可以是大致相同的。舉例來說，在已知的方法中，增大圖像大小將需要每個幀更多的掃描窗口。然而，在根據本文中所公開的系統和方法的一個方法中，隨著圖像大小的增大掃描窗口的數目可以維持近似恆定，其代價為需要更多的幀來完成全部掃描位置的全掃描。這可允許在高幀率下的較高解析度圖像的掃描，即使在處理能力特別地有限的實施方案中也是如此。
圖17B為說明其中掃描全部可能的窗口位置的方法的實例與其中掃描的窗口位置的數目是基於尺度層級均衡的本文中所公開的系統和方法的方法的實例相比的圖。所述圖是以掃描窗口1739b的數目對圖像大小1741b(以像素計)說明的。在這些實例中，假設掃描窗口具有16x16像素的尺寸。表(1)提供當掃描全部窗口1743b時掃描窗口的數目與當掃描均衡窗口1745b時掃描窗口的數目之間的比較。在其中掃描全部窗口1743b(例如，掃描階躍＝1)並且其中一個掃描窗口是針對每兩個像素放置的實例中，掃描窗口1739b的總數隨著圖像大小1741b的增大而顯著增大。然而，在均衡窗口1745b方法中，其中掃描階躍基於尺度層級(例如，倍頻程層級)變化，隨著圖像大小1741b的增大掃描窗口1739b的數目受到限制(或近似恆定)，如在表(1)與圖17B中所說明。
表(1)
圖17C為說明其中掃描全部可能的窗口位置的方法的實例與其中掃描的窗口位置的數目是基於尺度層級均衡的本文中所公開的系統和方法的方法的另一實例相比的圖。所述圖是以掃描窗口1739c的數目對圖像大小1741c(以像素計)說明的。在這些實例中，假設掃描窗口具有16x16像素的尺寸。表(2)提供當掃描全部窗口1743c時掃描窗口的數目與當掃描均衡窗口1745c時掃描窗口的數目之間的比較。在其中掃描全部窗口1743c(例如，掃描階躍＝1)並且其中一個掃描窗口是針對每兩個像素放置的實例中，掃描窗口1739c的總數隨著圖像大小1741c的增大而顯著增大。然而，在均衡窗口1745c方法中，其中掃描階躍基於尺度層級(例如，倍頻程層級)變化，隨著圖像大小1741c的增大掃描窗口1739c的數目受到限制(或近似恆定)，如表(2)與圖17C中所說明。
表(2)
圖18說明可包括於電子裝置和/或無線裝置1802內的某些組件。電子裝置/無線裝置1802可以是存取終端、移動臺、用戶設備(UE)、智慧型電話、數位相機、攝像機、平板計算機裝置、膝上型計算機等，(例如，在圖1和/或圖14中說明的電子裝置102、1402)。電子裝置/無線裝置1802包括處理器1835。處理器1835可以是通用單晶片或多晶片微處理器(例如，ARM)、專用微處理器(例如，數位訊號處理器(DSP))、微控制器、可編程門陣列等。處理器1835可被稱為中央處理單元(CPU)。雖然在電子裝置/無線裝置1802中僅示出單個處理器1835，但在替代配置中，可使用處理器的組合(例如，ARM和DSP)。
電子裝置/無線裝置1802還包括存儲器1817。存儲器1817可以是能夠存儲電子信息的任何電子組件。存儲器1817可體現為隨機存取存儲器(RAM)、只讀存儲器(ROM)、磁碟存儲媒體、光學存儲媒體、RAM中的快閃記憶體裝置、隨處理器包含的機載存儲器、EPROM存儲器、EEPROM存儲器、寄存器等，包含其組合。
數據1821a和指令1819a可以存儲於存儲器1817中。指令1819a可以是可由處理器1835執行的以實施本文所描述的方法中的一或多個。執行指令1819a可涉及使用存儲於存儲器1817中的數據。當處理器1835執行指令1819時，可將指令1819b的各種部分加載到處理器1835上且可將數據1821b的各種片段加載到處理器1835上。
電子裝置/無線裝置1802還可以包括發射器1825及接收器1827以允許將信號發射到電子裝置/無線裝置1802且從所述電子裝置/無線裝置接收信號。發射器1825及接收器1827可統稱為收發器1829。多個天線1837a到1837b可電耦合到收發器1829。電子裝置/無線裝置1802還可以包括(未示出)多個發射器、多個接收器、多個收發器和/或額外天線。
電子裝置/無線裝置1802可以包括數位訊號處理器(DSP)1831。電子裝置/無線裝置1802還可以包括通信接口1833。通信接口1833可允許啟用一或多個種類的輸入和/或輸出。舉例來說，通信接口1833可以包括一或多個埠和/或通信裝置以用於將其它裝置連接到電子裝置/無線裝置1802。額外地或替代地，通信接口1933可以包括一或多個其它接口(例如，觸控螢幕、小鍵盤、鍵盤、麥克風、相機等)。舉例來說，通信接口1833可允許用戶與電子裝置/無線裝置1802交互。
電子裝置/無線裝置1802的各種組件可通過一或多個總線耦合在一起，所述總線可包含電力總線、控制信號總線、狀態信號總線、數據總線等。為清楚起見，各種總線在圖18中說明為總線系統1823。
根據本發明，在電子裝置中電路可以適用於獲得幀(例如，圖像幀)。相同電路、不同電路或相同電路或不同電路的第二區段可以適用於獲得圖像金字塔，其包括具有尺度層級以及用於幀的第一金字塔層級的多個。第二區段可有利地耦合到第一區段，或所述第二區段可以作為第一部分實施於相同的電路中。另外，相同電路、不同電路或相同電路或不同電路的第三區段可適於掃描尺度層級中的每一個，其中在第一金字塔層級處掃描窗口的數目針對每個尺度層級是相等的。另外，相同電路、不同電路或相同或不同電路的第四區段可適於控制提供上文所描述功能性的電路或電路區段的配置。
術語「確定」涵蓋多種多樣的動作，且因此「確定」可包括計算、運算、處理、導出、調查、查找(例如，在表、資料庫或另一數據結構中查找)、查實及類似者。並且，「確定」可包含接收(例如，接收信息)、存取(例如，在存儲器中存取數據)及類似者。並且，「確定」可包括解析、選擇、挑選、建立等等。
除非以其它方式明確地指定，否則短語「基於」並不意味著「僅基於」。換句話說，短語「基於」描述「僅基於」與「至少基於」兩者。
術語「處理器」應廣義上解釋為涵蓋通用處理器、中央處理單元(CPU)、微處理器、數位訊號處理器(DSP)、控制器、微控制器、狀態機等。在一些情況下，「處理器」可以指專用集成電路(ASIC)、可編程邏輯裝置(PLD)、現場可編程門陣列(FPGA)等。術語「處理器」可指代處理裝置的組合，例如，DSP和微處理器的組合、多個微處理器的組合、一或多個微處理器結合DSP核心，或任何其它此類配置。
術語「存儲器」應廣義上解釋為涵蓋能夠存儲電子信息的任何電子組件。術語存儲器可指各種類型的處理器可讀媒體，例如，隨機存取存儲器(RAM)、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPROM)、電可擦除PROM(EEPROM)、快閃記憶體、磁性或光學數據存儲器、寄存器等。如果處理器可從存儲器讀取信息和/或將信息寫入到存儲器，那麼存儲器被稱為與處理器電子通信。與處理器集成的存儲器與處理器進行電子通信。
術語「指令」和「代碼」應該廣義地解釋為包含任何類型的計算機可讀語句。舉例來說，術語「指令」和「代碼」可指代一或多個程序(program)、例程、子例程、函數、過程(procedure)等。「指令」和「代碼」可以包括單個計算機可讀語句或許多計算機可讀語句。
本文中所描述的功能可在通過硬體執行的軟體或固件中實施。所述功能可以存儲為計算機可讀媒體上的一或多個指令。術語「計算機可讀媒體」或「電腦程式產品」是指可通過計算機或處理器存取的任何實體存儲媒體。作為實例而非限制，計算機可讀媒體可包括RAM、ROM、EEPROM、CD-ROM或其它光碟存儲裝置、磁碟存儲裝置或其它磁性存儲裝置，或可用於運載或存儲呈指令或數據結構的形式的所要程序代碼且可由計算機存取的任何其它媒體。本文中使用的磁碟和光碟包含壓縮光碟(CD)、雷射盤、光碟、數字通用光碟(DVD)、軟盤及藍光碟，其中磁碟通常是以磁性方式再現數據，而光碟是用雷射以光學方式再現數據。應注意，計算機可讀媒體可為有形且非暫時性的。術語「電腦程式產品」是指與可由計算裝置或處理器執行、處理或計算的代碼或指令(例如，「程序」)組合的計算裝置或處理器。如本文中所使用，術語「代碼」可指可由計算裝置或處理器執行的軟體、指令、代碼或數據。
還可通過傳輸媒體傳輸軟體或指令。舉例來說，如果使用同軸電纜、光纖電纜、雙絞線、數字訂戶線路(DSL)或無線技術(例如，紅外線、無線電及微波)從網站、伺服器或其它遠程源傳輸軟體，那麼同軸電纜、光纖電纜、雙絞線、DSL或無線技術(例如，紅外線、無線電及微波)包含在傳輸媒體的定義中。
本文中所公開的方法包括用於實現所描述的方法的一或多個步驟或動作。在不脫離權利要求書的範圍的情況下，方法步驟和/或動作可彼此互換。換句話說，除非正描述的方法的適當操作需要步驟或動作的特定次序，否則在不脫離權利要求書的範圍的情況下，可修改特定步驟及/或動作的次序及/或使用。
另外，應了解用於執行本文中描述的方法和技術的模塊和/或其它適當裝置可以下載和/或通過裝置獲得。舉例來說，裝置可耦合到伺服器以促進用於執行本文中所描述的方法的裝置的傳遞。替代地，本文中所描述的各種方法可經由存儲裝置(例如，隨機存取存儲器(RAM)、只讀存儲器(ROM)、例如壓縮光碟(CD)或軟盤等物理存儲媒體等等)提供，使得裝置可在將存儲裝置耦合或提供到所述裝置後獲得各種方法。
應理解，所附權利要求書不限於上文所說明的精確配置和組件。在不脫離權利要求書的範圍的情況下，可在本文中所描述的系統、方法和設備的布置、操作和細節方面進行各種修改、改變和變更。