使用位置數據和圖像數據的縮放空間表示進行物件檢測的製作方法

2023-05-19 22:28:56 2

相關申請案的交叉參考

本申請案要求來自2015年1月16日申請的共同擁有的美國非臨時專利申請案第14/598,892號的優先權，所述申請案的內容明確地被以引用的方式全部併入本文中。

本發明大體來說涉及物件檢測。更特定來說，本發明涉及響應於圖像數據和位置數據的物件檢測。

背景技術：

裝置可使用基於圖像的技術執行物件檢測操作。舉例來說，可將攝影機安裝在運載工具上或併入於電子裝置中，且攝影機可將圖像數據供應到處理器。處理器可執行計算機視覺應用程式來分析(或「掃描」)圖像數據以檢測物件，例如在運載工具或移動裝置的行進視野內或附近的障礙(例如，行人、樹木、家畜、獵物和/或另一物件)。

在一些情況中，基於圖像的物件檢測可緩慢且無效的。舉例來說，用於辨識圖像中的物件的圖像「搜索」可涉及多個耗時操作，例如圖像分段和視窗化操作。此外，基於圖像的物件檢測可與大範圍的不確定性(或大誤差容限)相關聯，這可導致所檢測物件位置不可靠。這些問題可使物件檢測的既定用途落空。作為實例，在運載工具應用中，基於圖像的物件檢測可過於緩慢而無法使得運載工具能夠和時減速、停止或以其它方式改變路線以避免障礙。

一些裝置可使用基於位置的信息(例如，雷達信息)來檢測物件。然而，基於位置的信息可經受大範圍的不確定性(例如，這些裝置可具有大誤差容限)。

技術實現要素：

可使用位置數據和圖像數據的縮放空間表示來執行物件檢測。縮放空間表示中的每一個可為圖像數據的不同解析度版本。為了說明，裝置(例如，運載工具或電子裝置)可包含經配置以產生圖像數據的圖像傳感器(例如，攝影機)。所述裝置可還包含或接收與待檢測的物件相關聯和/或指示物件可存在於其中的場景中的一或多個區域的位置數據。舉例來說，可從經配置以產生位置數據的位置傳感器(例如，雷達裝置、全球定位系統(gps)裝置等等)接收位置數據。位置傳感器可耦合到圖像傳感裝置或與圖像傳感裝置分離。在另一實例中，位置數據可對應於指示所關注物件(例如，待檢測的物件)可存在於何處的三維(3d)地圖的一或多個區域，例如場景或圖像的高出路面或地面的區域。在一些情況下，場景的一個以上區域可由3d地圖識別且經接收作為位置數據。舉例來說，可期望檢測行車道的左側和右側兩者上的物件。在這些裝置中，替代搜索所有圖像數據以檢測物件(例如，行人、樹木、家畜、獵物和/或另一物件)，裝置(例如，處理器)可搜索位置數據與圖像數據的縮放空間表示的重疊、相交或會聚處以檢測物件。裝置可經配置以搜索一或多個縮放空間表示來檢測物件，且可搜索不同縮放空間表示以檢測不同物件。較之其它技術(例如，對所有圖像數據的「蠻力」或澈底搜索)，搜索位置數據與圖像數據的一或多個縮放空間表示的重疊或相交處可在計算上較不複雜，且因此比不考量位置數據的其它物件檢測技術更高效。

作為說明性非限制性實例，運載工具可執行行人檢測。為檢測行人，運載工具可利用基於模型的物件檢測，其中模型假設所關注物件在由攝影機提供的圖像數據中的高度將小於或等於特定數目個像素(例如，高度小於或等於100個像素)。當行人接近運載工具時，行人的高度可超過100個像素，且因此，所述模型可不能夠成功檢測到行人。為檢測行人，可對圖像數據的經減少採樣的縮放空間表示重新執行基於模型的物件檢測。舉例來說，如果行人的高度在原始(例如，全解析度)圖像中為180個像素，那麼行人的高度在以因數2進行減少採樣的縮放空間表示中將為90個像素，且基於模型的物件檢測可在經減少採樣的圖像中成功檢測到行人。因此，為了在不同距離處成功檢測物件(例如，行人)，運載工具可對由攝影機檢索的圖像數據的多個縮放空間表示執行物件檢測(例如，「高」或「全」解析度表示、「中」解析度表示、「低」解析度表示，等等)。應注意，本發明並不限於運載工具的物件檢測。在各種實施例中，作為說明性非限制性實例，可以在電子裝置、移動裝置、個人佩戴式攝影機、頭戴式顯示器或太空飛行器處和/或基於由電子裝置、移動裝置、個人佩戴式攝影機、頭戴式顯示器或太空飛行器的圖像傳感器檢索的圖像執行物件檢測。

反覆地全面搜索多個縮放空間表示中的每一個可為耗時的。根據所描述技術，物件檢測器可不搜索與物件(例如，行人)的可能位置不相交或重疊的縮放空間表示。此外，當縮放空間表示與物件的可能位置重疊時，搜索可限制於對應於重疊的所關注區域。物件的可能位置可由位置傳感器提供，所述位置傳感器是運載工具的一部分或與運載工具分離。另外，物件的可能位置可至少部分地基於物件可存在於其中的3d地圖的一或多個區域。應理解，如本文中所使用，檢測物件可包含：檢測物件在圖像數據中(或在圖像數據的縮放空間表示中)的表示，檢測實際物理物件(例如，基於超聲波、雷達，等等)，或兩者。

在特定方面中，一種設備包含經配置以接收位置數據和來自圖像傳感器的場景的圖像數據的物件檢測器。所述場景是從運載工具觀看到且包含物件。所述圖像數據與所述場景的多個縮放空間表示相關聯(例如，可用於產生所述多個縮放空間表示)。所述物件檢測器經配置以響應於所述位置數據和所述多個縮放空間表示中的第一縮放空間表示而檢測所述物件。

在另一特定方面中，一種方法包含：在處理器處，從圖像傳感器接收場景的圖像數據，所述場景是從設備觀看到且包含物件。所述圖像數據與所述場景的多個縮放空間表示相關聯。所述方法也包含：在所述處理器處，接收與所述物件相關聯或指示所述物件可存在於其中的區域的位置數據。所述方法進一步包含：在所述處理器處，基於所述多個縮放空間表示中的第一縮放空間表示與所述位置數據之間的重疊而識別所述第一縮放空間表示的搜索區域。所述方法包含：在所述處理器處，在所述第一縮放空間表示的搜索區域中執行物件檢測。

在另一特定方面中，一種設備包含用於接收場景的圖像數據的裝置，所述場景是從所述設備觀看到且包含物件，其中所述圖像數據與所述場景的多個縮放空間表示相關聯。所述設備進一步包含用於處理的裝置。用於處理的所述裝置經配置以基於所述多個縮放空間表示中的第一縮放空間表示和與所述物件相關聯或指示所述物件可存在於其中的區域的位置數據之間的重疊而識別所述第一縮放空間表示的搜索區域。用於處理的所述裝置也經配置以在所述第一縮放空間表示的所述搜索區域中執行物件檢測。

在另一特定方面中，一種計算機可讀存儲裝置存儲指令，所述指令可由處理器執行以致使處理器從圖像傳感器接收場景的圖像數據，所述場景是從設備觀看到且包含物件。所述圖像數據與所述場景的多個縮放空間表示相關聯。所述指令也可執行以接收與所述物件相關聯或指示所述物件可存在於其中的區域的位置數據，和基於所述多個縮放空間表示中的第一縮放空間表示與所述位置數據之間的重疊而識別所述第一縮放空間表示的搜索區域。所述指令可進一步執行以在所述第一縮放空間表示的所述搜索區域中執行物件檢測。

由所揭示實施例中的至少一者提供的一個特定優點是可通過使用與所述物件相關聯或指示所述物件可存在於其中的區域的位置數據使對圖像數據執行的物件檢測的時間減少。舉例來說，可不對不與位置數據相交或重疊的縮放空間表示執行物件檢測，且對與位置數據相交或重疊的縮放空間表示的物件檢測可限制於所關注的重疊或相交區域。在檢閱包含以下部分：「附圖說明」、「具體實施方式」和「權利要求書」的整個申請案之後，本發明的其它方面、優點和特徵將變得明了。

附圖說明

圖1是描繪可操作以使用位置數據和圖像數據的縮放空間表示執行物件檢測的說明性系統的圖；

圖2a、2b、2c和2d是描繪圖1的系統的操作的說明性實例的圖；

圖3是描繪可操作以使用位置數據和圖像數據的縮放空間表示執行物件檢測的系統的另一說明性實例的圖；

圖4是描繪可操作以使用位置數據和圖像數據的縮放空間表示執行物件檢測的系統的另一說明性實施例的圖；

圖5a描繪使用三維(3d)地圖數據來執行物件檢測的說明性實例；

圖5b描繪可在物件檢測期間使用的掩模的說明性實例；

圖6是說明基於3d地圖數據而識別所關注區域的方法的說明性實例的流程圖；

圖7是描繪使用位置數據和圖像數據的縮放空間表示進行物件檢測的方法的說明性實例的流程圖；並且

圖8是電子裝置的說明性實例的框圖。

具體實施方式

圖1描繪經配置以執行物件檢測的系統的特定說明性實施例。在圖1的實例中，物件檢測是在運載工具102處執行。然而，應注意，本發明並不限於如此。本文中所揭示的物件檢測裝置、方法、系統等等可在替代環境中實施以檢測在車流、視野等等中的物件。舉例來說，本文中所描述的一或多個功能可以以下各項實施：電子裝置、移動裝置、遊戲主機、汽車系統控制臺(例如，adas)、可穿戴式裝置(例如，個人佩戴式攝影機)、頭戴式顯示器，等等。額外實例包含但不限於機器人或機器人裝置、無人太空飛行器(uav)和遙控飛機。在圖1的實例中，運載工具102可為機動車輛(例如，汽車、卡車、機車、巴士或火車)、船舶(例如，船或艇)、航空器(例如，飛機或直升飛機)、太空船(例如，太空梭)、自行車或另一運載工具。作為說明性實例，運載工具102可為輪式運載工具、履帶式運載工具、軌式運載工具、空中運載工具或滑撬式運載工具。在一些情形中，運載工具102可由一或多個駕駛者操作。舉例來說，運載工具102可包含經配置以為運載工具102的駕駛者提供輔助的先進駕駛輔助系統(adas)。在其它情形中，運載工具102可為計算機控制運載工具。此外，儘管圖1的實例系統中的物件檢測是在運載工具102處執行，但應理解，在其它實例中，本文中所揭示的物件檢測可在「雲端」或在運載工具102外部執行。舉例來說，運載工具或其它電子裝置可將位置數據和/或圖像數據提供到另一裝置以執行物件檢測。

運載工具102(例如，運載工具102的adas)可包含一或多個圖像傳感器，例如，說明性圖像傳感器104。圖像傳感器104可包含攝影機，例如基於電荷耦合裝置(ccd)的攝影機和/或基於互補式金屬氧化物半導體(cmos)的攝影機。在替代實施例中，圖像傳感器104可包含不同類型的傳感器(例如，紅外線)。

在圖1的實例中，運載工具102進一步包含一或多個位置傳感器，例如，說明性位置傳感器106。作為說明性實例，位置傳感器106可包含雷達裝置、光檢測與測距(光達)裝置、全球定位系統(gps)裝置、超聲波裝置和/或通信裝置(例如，運載工具通信網絡中所使用的專用短程通信(dsrc)裝置)。

在圖1的實例中，展示圖像傳感器104的三角形視野。應注意，圖像傳感器104的視野可以各種方式確定。作為說明性非限制性實例，圖像傳感器104(或包含圖像傳感器104的設備)可包含gps收發器，且可基於圖像傳感器104(或設備)的兩個gps位置之間的時間差異而確定視野。兩個gps位置之間的差異可對應於三角形視野的中心線或圖像傳感器104的行進方向。作為另一說明性非限制性實例，圖像傳感器104的方向可基於耦合到圖像傳感器104或包含於包含圖像傳感器104的設備(例如，運載工具、計算裝置或其它設備)中的運動傳感器(例如，加速度計)而確定。因此，即使並非事先知道，仍可確定圖像傳感器104的視野和方向。

運載工具102可進一步包含處理器108和存儲器110。存儲器110可存儲可由處理器108存取的指令和數據。處理器108可包含中央處理器單元(cpu)、數位訊號處理器(dsp)、專用集成電路(asic)、電子控制單元(ecu)、另一處理裝置或其組合。處理器108可包含物件檢測器128，例如，基於位置數據和基於縮放空間的物件檢測器。物件檢測器128可對應於運載工具102的硬體組件、可由處理器108執行的軟體(例如，指令)或其組合。

在操作期間，位置傳感器106可將位置數據116提供到處理器108。在一些實施方案中，位置數據116可包含與一或多個物件(例如，說明性物件112)相關聯的雷達數據、光達數據、gps數據等等。物件112可為靜止的或可處於運動中。舉例來說，作為說明性非限制性實例，物件112可對應於行人、另一運載工具、交通信號燈、道路障礙(例如，倒塌的交通信號燈、樹枝或瓦礫)、家畜(例如，牛、野牛、馬、綿羊或山羊)、獵物(例如，麋鹿、駝鹿、熊或鹿)，或路邊物件(例如，標誌、廣告牌或路側單元(rsu))。物件112可接近於運載工具102或安置在距運載工具顯著距離處(例如，不接近於運載工具)。舉例來說，物件112可在運載工具102的特定範圍內、在運載工具102的行進視野或方向內，在圖像傳感器104的視野內，等等。在一些實施方案中，位置傳感器106包含一或多個傳感器，所述一或多個傳感器經配置以對運載工具102的行進視野進行掃描以發現物件(例如，物件112)。舉例來說，位置傳感器106可包含經配置以使用從物件112反射的信號產生位置數據116的雷達裝置、超聲波裝置和/或光達裝置。在一些實施方案中，位置傳感器106經配置以接收與一或多個物件相關聯的位置數據。舉例來說，位置傳感器106可包含專用短程通信裝置、rfid裝置、個人網絡裝置或另一通信裝置。

圖像傳感器104可產生包含物件112的場景的圖像數據114(例如，通過檢索一或多個圖像)。圖像傳感器104可將圖像數據114提供到處理器108。在一些實施方案中，圖像傳感器104可響應於來自位置傳感器106的命令而產生圖像數據114。在特定說明性實例中，如果位置傳感器106檢測到物件112(例如，使用雷達、超聲波或光達技術，或通過從另一裝置接收gps和/或dsrc信息)，那麼位置傳感器106可在連接圖像傳感器104與位置傳感器106的總線處確證控制信號。替代地或另外，圖像傳感器104的操作可由處理器108控制。舉例來說，處理器108可響應於從位置傳感器106接收到位置數據116而致使圖像傳感器104產生圖像數據114。在其它情形中，圖像傳感器104可獨立於位置傳感器106操作。舉例來說，圖像傳感器104可持續地、周期性地或偶爾地檢索圖像且可將圖像的圖像數據(例如，圖像數據114)載入到緩衝器、高速緩存存儲器或其它存儲器(例如，存儲器110)。在此實例中，響應於從位置傳感器106接收到位置數據116，處理器108可從緩衝器、高速緩存存儲器或其它存儲器檢索圖像數據114。為了說明，存儲器110或其部分可充當經配置以存儲從圖像傳感器104接收的圖像數據的循環式緩衝器。

舉例來說，圖像數據114可與場景的多個縮放空間表示(例如，第一縮放空間表示120、第二縮放空間表示122和第三縮放空間表示124)相關聯。縮放空間表示120、122和124中的每一個可與相應圖像解析度相關聯。舉例來說，第一縮放空間表示120可與第一圖像解析度相關聯，第二縮放空間表示122可與低於第一圖像解析度的第二圖像解析度相關聯，且第三縮放空間表示124可與低於第二圖像解析度的第三圖像解析度相關聯。在圖1的實例中，第一縮放空間表示120可對應於投影到圖像傳感器104的視野中由線段111表示的「高」、「全」和/或「完全」解析度圖像平面上的場景。第二縮放空間表示122可對應於投影到由線段113表示的「中」解析度圖像平面上的場景，且第三縮放空間表示124可對應於投影到由線段115表示的「低」解析度圖像平面上的場景。因此，如圖1中所展示，線段111、113和115(和對應相應「高」、「中」和「低」解析度圖像平面)距圖像傳感器104不同距離。

儘管圖1說明三個縮放空間表示，但應了解，本發明也適用於不同數目個縮放空間表示(例如，兩個縮放空間表示、四個縮放空間表示，或另一數目個縮放空間表示)。在說明性實例中，第一縮放空間表示120對應於處於圖像傳感器104的全或完全解析度的圖像數據114，第二縮放空間表示122對應於以第一因數(例如，2)進行減少採樣的圖像數據114，且第三縮放空間表示124對應於以大於第一因數的第二因數(例如，5)進行減少採樣的圖像數據114。處理器108可經配置以使用篩選、抽取、次採樣、內插和/或其它圖像處理技術來對較高解析度縮放空間表示進行減少採樣以產生一或多個較低解析度縮放空間表示。舉例來說，處理器108可對第一縮放空間表示120進行減少採樣以產生第二縮放空間表示122，且可對第二縮放空間表示122進行減少採樣以產生第三縮放空間表示124。在另一說明性實施方案中，運載工具102包含多個圖像傳感器，其中每一圖像傳感器產生場景的不同解析度圖像或縮放空間表示。

物件檢測器128可對位置數據116和縮放空間表示120到124中的一或多者作出響應。舉例來說，物件檢測器128可基於位置數據116選擇縮放空間表示且可對所選擇縮放空間表示執行物件檢測以檢測物件112。為了說明，物件檢測器128可使用位置數據116來確定物件112定位於其中的估計區118。鑑於與位置數據116相關聯的誤差容限(例如，由於噪聲、傳感器延遲、物件112和/或運載工具102的運動的速度/方向等等所致)，估計區118可對應於物件112的可能位置。物件檢測器128可確定對應於縮放空間表示120到124的圖像平面中的任一者是否與估計區118重疊或相交。在圖1的實例中，第一縮放空間表示120(對應於線段111)和第三縮放空間表示124(對應於線段115)不與估計區118重疊。響應於檢測到不存在重疊，物件檢測器128可不對第一縮放空間表示120和第三縮放空間表示124執行物件檢測(例如，以更快速地執行物件檢測和/或節省計算資源)。

在圖1的實例中，物件檢測器128可確定，第二縮放空間表示122(對應於線段113)與估計區118重疊。舉例來說，物件檢測器128可基於第二縮放空間122的解析度圖像平面與所接收位置數據116的距離而確定第二縮放空間表示122與估計區118重疊。作為響應，物件檢測器128可進一步處理第二縮放空間表示122。舉例來說，物件檢測器128可識別第二縮放空間表示122內的搜索區域，其中搜索區域對應於與縮放空間表示122相關聯的一組位置或區域和與位置數據116相關聯的一組位置或區域之間的重疊、相交或會聚處。為了說明，圖1展示從上而下視圖，其中圖像傳感器104具有由視野線117和119定界的水平視野。因此，第二縮放空間表示122的水平邊界在圖1中由點l0和l1標示，且估計區118與第二縮放空間表示122之間的重疊由點c0與點c1之間的線段(其可替代地標示為「線段c0c1」)表示。物件檢測器128可在c0與c1之間的搜索區域中執行計算機視覺操作(例如，圖像分段操作)，而非在l0與l1之間的較大區域中執行，以「精確定位」物件112的位置。舉例來說，物件檢測器128可確定行人位置或辨識物件112(例如，辨識標誌上的文字)。搜索c0與c1之間的區域可包含：搜索圖像的延伸超出c0和c1的部分。舉例來說，c0和c1可界定由不同物件檢測搜索窗使用的中心點。如果由物件檢測器128用於識別物件112的搜索窗具有寬度w，那麼介於c0與c1「之間」的搜索區域的範圍可為c0-0.5w(當搜索窗以c0為中心時)到c1+0.5w(當搜索窗以c1為中心)。搜索區域可在其它維度中以類似方式延伸(例如，在垂直維度中超過搜索窗的高度)。搜索窗可對應於物件模型、定界框，等等。因此，儘管本文中可用線段或點集合來描述搜索區域，但應理解所搜索的圖像的實際區域可延伸超過線段或點集合。

儘管圖1說明二維(2d)視圖，但本文中所描述的物件檢測操作可應用於三維(3d)情景中。為了說明，點c0、c1、l0和l1可全部在3d空間中且可具有(x,y,z)坐標。在圖1中，在x-y平面中沿著x軸水平地執行物件檢測和縮減(reduction)。替代地，或另外(例如，與水平操作並行)，通過選擇適當垂直縮放空間表示，可在x-z平面中沿著z軸垂直地執行物件檢測和縮減。將了解，與僅使用一個方向相比，通過在水平縮放空間和垂直縮放空間兩者中執行操作，可更準確地確定物件112的位置。

在其它實例中，物件檢測器128可確定和與位置數據116相關聯的估計區118重疊的多個縮放空間表示。為了說明，在圖1中，如果第三縮放空間表示124對應於線段115'而非線段115，那麼物件檢測器128將確定第二縮放空間表示122和第三縮放空間表示124兩者皆與估計區118重疊。在此情景中，物件檢測器128可選擇對哪一重疊縮放空間表示執行物件檢測。為了說明，在一些情況中，例如當行人極其接近且由於縮放比例而顯得非常高時，較小(例如，較低解析度)縮放空間表示對於物件檢測來說可為優選的。在此情況中，可搜索較低解析度縮放空間表示，而非較高解析度縮放空間表示。替代地，如果搜索較高解析度縮放空間表示且未找到物件(例如，由於行人由於縮放比例而「過高」)，那麼也可搜索較低解析度縮放空間表示。作為另一實例，當所檢測的物件相對小或具有複雜形狀時，較大(例如，較高解析度)縮放空間表示可為優選的。

出於說明目的而參考圖2a、圖2b、圖2c和圖2d描述由物件檢測器128執行的實例過程。過程可包含：向圖像傳感器104指派特定位置，例如，坐標空間中的點(x0,y0)。物件112的所測量或報告位置可經指派位置(x1,y1)，所述經指派位置可位於估計區118的中心處。應理解，圖像傳感器104和估計區118的中心可在3d空間中分別具有坐標(x0,y0,z0)和(x1,y1,z1)，但為便於闡釋，僅描述x和y坐標。

線段l0l1可與距圖像傳感器104的特定距離(d)相關聯(例如，基於攝影機幾何形狀、解析度和搜索區域大小)。基於圖像傳感器104的d值和位置(x0,y0)，可將線段l0l1映射、擬合或轉置到與點(x0,y0)和(x1,y1)共享相同坐標系統的位置。可確定視野線117、119與估計區118之間的相交點(即，點c0和c1)。為了允許實現圖像數據中的位置之間的距離的計算，圖像數據可與位置數據的坐標系統「融合」。在一些實施例中，可基於裝置(例如，運載工具、移動裝置，等等)的已知位置、視野和圖像傳感器104的姿勢而離線地執行圖像數據的3d世界空間的投影。然後，投影可與位置數據融合以識別在物件檢測期間待掃描的點。

應了解，在距圖像傳感器104的距離d處，物件112(例如，行人)的位置將介於c0與c1之間。線段i0i1可表示物件112的搜索區域的中心點，且可經定義為線段l0l1與線段c0c1的相交點。應注意，在圖2a的實例中，i0＝c0且i1＝c1，且因此線段i0i1與線段c0c1完全相同。然而，當物件的估計區並非完全位於圖像傳感器的視野內時，i0可不等於c0和/或i1可不等於c1。舉例來說，在圖2c中，i0＝l0且i1＝c1。

物件檢測器128可執行線性映射以將i0和i1映射到圖像坐標。在圖2a的實例中，l0對應於圖像的左邊界(具有x坐標0，即，x＝＝0)，且l1對應於圖像的右側(具有等於圖像的寬度的x坐標，即，x＝＝image_width)。因此，映射函數m可定義為：

物件的搜索區域可限制於圖像中具有介於x＝＝m(i0)和x＝＝m(i1)之間的x坐標的位置(例如，搜索窗的中心)。為了說明，假設圖像傳感器104的水平視野是54°，如圖2a中所展示，且假設圖像傳感器104的垂直視野是34°，如圖2b中所展示。應理解，水平和垂直視野在替代實施例中可更大或更小。也假設，線段l0l1對應於1080p解析度(1920×1080個像素)，且將一般行人的高度假設成六英尺(約2米)，此對應於高度為80個像素的搜索區域。進一步假定，正被搜索的距圖像傳感器104的距離為p英尺，且在彼距離處圖像的上半部對應於q英尺，如圖2b中所展示。鑑於前述假設，可確立以下方程式：

對方程式3和4進行求解以獲得p：

如果將圖像傳感器104假設成(0,0)，那麼行人的所報告位置(即，對應於物件112的圓圈的中心)為(x1,y1)＝＝(-5,120)，且所報告位置的可能誤差在30英尺內(即，估計區118的半徑為30)：

((x-(-5))×(x-(-5)))+((y-120)×(y-120))＝30×30(方程式5)

l0位於點處

l1位於點處

由於l0、l1、c0和c1共線，因此所有四個點具有相同y坐標，即，在當前實例中為132。將y＝＝132代入到方程式5中得出解(x+5)＝27.5和(x+5)＝-27.5。因此，c0位於點(-32.5,132)處且c1位於點(22.5,132)處。使用先前所定義的映射m：

因此，針對物件112，搜索區域可在左側由x＝＝496定界且在右側由x＝＝1281定界，此與從x＝＝0到x＝＝1920的搜索相比提供大約60％的節省。此外，應理解，儘管前述實例說明水平方向上的計算和節省，但也可通過以類似方式基於位置數據116限制垂直方向上的搜索區域來達成計算節省。

圖2c和2d說明操作的額外實例。在圖2c的實例中，物件的估計區與圖像傳感器的視野部分地相交。在圖2d的實例中，執行兩個物件檢測操作：對第一縮放空間表示(對應於線段202)執行第一物件檢測操作以檢測右側的物件，且對第二縮放空間表示(對應於線段204)執行第二物件檢測操作以檢測左側的物件。

因此，圖1到2說明系統的實施例，所述系統經配置以改進將基於與待檢測的物件相關聯的位置數據而對圖像數據或由其產生的縮放空間表示執行的物件檢測操作。舉例來說，位置數據可用於將物件的搜索區域縮小成小於整個場景，此可使得能夠更快速地檢測物件。為了說明，可足夠快速地檢測到行人以使運載工具(或運載工具的駕駛者)(例如)通過以下操作來對行人作出反應：使運載工具減速、使運載工具重新定向，和/或如果(例如)在結冰天氣應用剎車將導致運載工具滑向行人，那麼在使運載工具重新定向遠離行人時使運載工具加速。作為另一說明性實例，可足夠快速地執行物件檢測以使運載工具的adas改變運載工具的速度和/或使運載工具重新定向以避免與移動或靜止物件碰撞。

圖3說明運載工具102的替代實施例。圖3與圖1不同之處在於：產生位置數據116的位置傳感器在運載工具102的外部。舉例來說，在圖3中，物件112包含位置傳感器306或與其相關聯。在一些實施方案中，位置傳感器306可由行人穿戴，附接或耦合到另一運載工具，或集成於另一運載工具內。如上文所論述，在一些實施方案中，位置傳感器306可與物件112和運載工具102分離。舉例來說，位置傳感器306可固定到路側單元(rsu)、固定到街道標誌，或固定到與運載工具102分離的另一運載工具或與另一運載工具相關聯。在一些實例中，靜止路側傳感器可與rsu和/或運載工具進行通信。因此，儘管圖3說明位置傳感器306與運載工具102之間的直接通信，但替代地，來自位置傳感器306的數據可在到達運載工具102之前經由一或多個中間裝置發射。為了說明，來自由行人攜載的位置傳感器的數據可從位置傳感器行進到rsu到第一運載工具(例如，最接近於所述行人的運載工具)到第二運載工具(例如，跟隨在第一運載工具之後的運載工具)。

運載工具102可包含經配置以經由連接350(例如，無線網絡連接)接收位置數據116的接收器340。在說明性實例中，位置傳感器306和接收器340經由以下各項進行通信：蜂窩式連接、廣域網、電機電子工程師協會(ieee)802.11連接、特用網絡連接、專用短程通信(dsrc)網絡連接，或另一類型的連接。

在說明性實例中，從位置傳感器306接收的位置數據116包含位置坐標，例如，gps坐標。當物件112是另一運載工具(例如，位置傳感器306是其它運載工具內或耦合到其它運載工具的裝置的一部分)時，可使用運載工具到運載工具(v2v)通信從其它運載工具(例如，經由drsc網絡)接收位置數據116。作為另一實例，路側單元(rsu)可將交通信息發射到運載工具。為了說明，物件112可包含在運載工具102的行進視野內的捲入事故中的運載工具，且位置數據116可包含捲入事故中的運載工具的位置坐標。在此情形中，接收器340可使用運載工具到基礎設施(v2i)通信從rsu接收位置數據116。應理解，在其它實例中，可從多個來源接收位置數據。舉例來說，可從一個以上運載工具、rsu或位置傳感器接收與共同物件相關聯的位置數據。當使用多個位置數據來源時，所述來源(和/或來自其的數據)可經匯總、優先化或用於改進彼此。舉例來說，圖1到2的估計區118可囊括由多個來源提供的所有位置數據，可對應於來自最可靠來源的位置數據，可基於來自多個來源中的每一個(或子集)的位置數據的交集，或可基於來自多個來源中的一些或全部來源的位置數據而以其它方式加以確定。

應注意，儘管前述實施例描述基於位置數據改進圖像數據中的物件檢測，但本發明並不限於此。根據本發明，來自第一傳感器的數據可用於改進第二傳感器的操作。作為說明性非限制性實例，可基於位置數據而調整圖像傳感器的性質(例如，解析度、檢索頻率、所關注區域、視野(在可移動攝影機的情形中)，等等)。作為另一實例，圖像數據可用於加速由位置傳感器進行的位置確定，例如，通過基於圖像數據而確定物件的「粗略」位置。因此，本發明使得不同類型的傳感器能夠彼此進行通信以改進其相應操作。

在特定實施例中，處理器108可使用來自三維(3d)地圖應用程式130的位置數據執行物件檢測操作。為了說明，3d地圖應用程式130可指示或提供可由物件檢測器128存取的3d地圖的部分或區域以基於所搜索的「已知」物件類別(例如，行人、運載工具、交通標誌，等等)而縮小搜索區域。儘管圖1將位置數據116說明為由位置傳感器106確定，但在替代實施例中，替代位置傳感器106(或外部位置傳感器，例如，圖3的位置傳感器306)或除位置傳感器106外，也可基於3d地圖應用程式130而確定位置數據116。因此，本文中所描述的物件檢測技術可結合在物件檢測期間使用3d地圖數據、在物件檢測期間使用位置傳感器或在物件檢測期間使用3d地圖數據和位置傳感器兩者的實施例一起使用。

圖4說明其中物件檢測器128從3d地圖應用程式130接收位置數據116且不從位置傳感器接收任何額外位置數據的系統的實例。由3d地圖應用程式130提供的位置數據116可指示物件類別可存在於圖像數據114內何處。舉例來說，圖4中所展示的系統可使得運載工具能夠基於從3d地圖應用程式130接收且指示行人、樹枝、其它運載工具等等可存在於圖像數據114內何處的位置數據116而執行對這些物件的檢測。

舉例來說，如果物件檢測器128經配置以在場景的縮放空間表示內檢測行人，那麼3d地圖應用程式130可指示行人可能存在於其中的場景的一或多個區域(例如，高出路面或地面0公尺到3公尺)，且物件檢測器128可起始對所指示區域的搜索而無需從單獨位置傳感器接收數據。在另一實例中，3d地圖應用程式130可指示場景的對應於路面的一或多個區域，使得物件檢測器128可高效地檢測在路上的物件。在一些實施方案中，物件類別可由處理器108基於圖像數據114和/或位置數據116來加以確定。替代地，物件類別可由物件112指示(例如，如參考圖3所描述，由物件112發射到接收器)。

在操作期間，3d地圖可在運載工具102處動態地產生，經下載或經預先下載到運載工具102，等等。在確定路面的位置和接收位置數據116之後，物件檢測器128可基於3d地圖而將搜索區域集中到路面(例如，可將非路面區域從圖像搜索區域排除)。作為說明性實例，如果圖1的線段l0l1的部分(或圖1的線段c0c1)對應於非路面區域，那麼物件檢測器128可將所述部分從搜索區域排除。非路面區域的實例包含高於或低於路面的區和在路面左側或右側的區。然而，應理解，當圖像傳感器104作為運載工具或其它裝置的一部分處於運動中時，所關注區域可基於運載工具或裝置相對於3d地圖的位置而在幀間不同。舉例來說，當發生地形改變(例如，運載工具接近道路中的上坡或下坡)時，所關注的搜索區域可改變。由3d地圖應用程式130提供的位置數據116可為動態的且可取決於運載工具或裝置的已知位置而改變。

在一些實施方案中，物件檢測器128經配置以基於由3d地圖應用程式130指示的3d地圖而產生搜索區域掩模。掩模圖像可使用3d地圖離線或線上產生(例如，基於存儲與計算負擔之間的折衷)。參考圖6進一步描述實例過程。

圖5a描繪其中行人位於運載工具的視野內的兩種情景，其中行人位於由運載工具可獲得的3d地圖數據表示的地形上。在第一情景中，在510處，行人較接近於運載工具，且因此，運載工具使用較小縮放空間表示來執行物件檢測。在第二情景中，在520處，行人距運載工具較遠，且因此，運載工具使用較大縮放空間表示來執行物件檢測。當多個縮放空間表示與物件的可能位置重疊時，可處理一些縮放空間表示而將其它縮放空間表示從進一步處理排除。作為說明性非限制性實例，較小(例如，較低解析度)縮放空間表示可較宜於檢測接近運載工具的行人，這是因為較大縮放空間表示中的行人的高度和/或寬度可過大而無法使用行人物件類別或模型進行檢測。在執行物件檢測之前，可基於由3d地圖應用程式提供的位置數據而遮蔽所搜索的縮放空間表示。掩模的說明性實例展示於圖5b中530處。可通過用零或非零(例如，「1」或非零分數值)標記縮放空間表示的不同區來產生掩模。在物件檢測期間，可搜索用非零標記的區域，且可忽略用零標記的區域。當使用非零分數值時，非零分數值越高，可表示物件定位於對應區域中的概率越大。舉例來說，如圖5b中所展示，可在搜索標記為「0.3」的區域之前，搜索用「0.5」標記的區域。

在特定實施例中，可基於一組訓練樣本而產生掩模的區域的概率(例如，圖5b的掩模中的0.5和0.3)。所述組訓練樣本可含有行人可出現於其中的地點的3d位置。所述組訓練樣本也可包含已由專家標記為「危險」的位置。舉例來說，這些「危險」位置可為其中行人有較高可能性被遮擋、難以被駕駛者注意到、被捲入事故中等等的位置。在一些實施例中，所述組訓練樣本的3d位置可與概率相關聯。在產生掩模圖像時，可將3d位置投影到圖像平面上，且可基於對應於圖像平面的基礎像素的3d位置而向掩模的不同部分指派不同概率。

在特定實施例中，替代3d地圖數據或除3d地圖數據外，也可對於傳感器數據使用概率模型和掩模。舉例來說，圖1到2的估計區118可對應於掩模，其中不同子區具有介於零與一之間的不同概率值。作為說明性非限制性實例，概率值可基於來自位置傳感器(例如，位置傳感器106)的位置數據、來自3d地圖應用程式(例如，3d地圖應用程式130)的位置數據、3d地圖數據、傳感器或應用程式誤差容限、傳感器校準，和/或傳感器敏感性。

因此，處理器108可基於3d地圖數據和物件的物件類別而確定一或多個搜索區域。物件檢測器可在搜索區域中執行物件檢測，如參考圖1所描述。應注意，當使用3d地圖數據來執行物件檢測時，可鑑於定位結果的可能不準確度而執行投影。即，可由於定位不準確度而列舉攝影機位置的範圍。也應注意，在特定實施例中，掩模/搜索區域可為離線構建的且用於從攝影機(例如，圖像傳感器104)接收的實時(或幾乎實時)流式傳輸中(例如，跳過對被遮蔽區域的搜索)。此外，替代動態構建3d地圖，可用平面/表面估計器大致估計3d條件，所述平面/表面估計器可提供大致實時(或幾乎實時)平面。舉例來說，在其中大部分道路是在平坦表面上的區域中，可通過使用具有某一斜率變化的平面來估計3d地圖以估計所投影掩模。在特定實施例中，前述方法也可用於尋找特定區域中的所關注物件。舉例來說，物件檢測器128可尋找包含或接近於運載工具102的「當前」行車道的區域中的行人(或其它物件)，但可忽略人行道區域中的行人。作為另一實例，物件檢測器128可為物件追蹤框架的一部分，在所述物件追蹤框架中基於掩模限制追蹤區域。

儘管圖1到3描述使用來自位置傳感器的位置數據來執行物件檢測，且圖4說明使用由3d地圖應用程式而非位置傳感器提供的位置數據執行物件檢測，但應注意，上述實施例並非相互排斥。在一些實例中，3d地圖數據可連同來自位置傳感器的數據一起使用，且可允許實現較快速物件檢測和掃描區域的進一步減少。

參考圖6，展示基於3d地圖數據而識別所關注區域的方法的特定實施例且通常將所述方法指定為600。方法600包含：在塊602處，接收3d地圖數據。舉例來說，3d地圖應用程式130可接收3d地圖數據，(例如)從外部數據源、本地存儲裝置，等等。方法600還包含：在塊604處，確定3d地圖的位置是否可能包含所關注物件。如果包含所關注物件，那麼方法600包含：在塊606處，將所述位置識別為待提供到物件檢測器的位置數據。如果位置不可能包含所關注物件，或在識別位置數據之後，方法600包含：在塊608處，確定是否應檢查額外位置。如果應檢查額外位置，那麼方法600返回到塊604。為了說明，參考圖4到圖5，位置數據116可指示地形的可能包含行人(例如，在510處，接近於運載工具的行人，或在520處，遠離運載工具的行人)的一或多個區域。

繼續塊610，方法600包含：將所關注物件投影於具有基於所關注物件的物件類別的大小的位置數據中。在圖5a的實例中，可將行人投影於對應於運載工具正行進於的道路的所識別位置數據中。方法600進一步包含：在塊612處，確定與經投影的所關注物件重疊的縮放空間表示，和在塊614處，用非零值標記縮放空間表示的重疊區域。為了說明，針對較接近於運載工具的行人(圖5a中510處)，可用非零值遮蔽小縮放空間表示中的區域。針對遠離運載工具的行人(圖5a中520處)，可用非零值遮蔽大縮放空間表示中的區域。在說明性實例中，縮放空間表示可經遮蔽，如圖5b中530處所展示。

在實例中，3d地圖數據可用於更改圖像傳感器的定向或視野，和/或3d地圖數據可用於選擇由多個圖像傳感器產生的圖像數據的部分。作為另一實例，當運載工具向左或向右轉時，運載工具的圖像傳感器可自動向左或向右致動，以使得圖像傳感器繼續檢索在運載工具「前方」的圖像數據。作為另一實例，運載工具的圖像傳感器可被自動致動以左右「張望」以識別行人、其它接近的運載工具、道路危險，等等。為了說明，可產生運載工具周圍的360°拼接視圖，且可在行人正橫穿駕駛者可稍後轉向的街道的情況下提前通知運載工具的駕駛者。在特定實施例中，當駕駛者正使用逐嚮導航提示(例如，由運載工具或運載工具內的移動裝置的導航應用程式提供)時，導航提示可用於預見運載工具將進行的轉彎、將進行的車道改變等等，以便優先化搜索區域，確定搜索掩模的概率值等等。

方法600包含：在塊616處，以遞減次序搜索用非零值標記的縮放空間表示的區域以識別所關注物件。舉例來說，參考圖5b中所展示的掩模，可在搜索標記為「0.3」的區域之前，搜索標記為「0.5」的區域。方法600在塊618處結束。

因此，圖6的方法600說明基於3d地圖數據而對一或多個縮放空間表示執行物件檢測的實例。3d地圖數據可替代由位置傳感器提供的位置數據，或除由位置傳感器提供的位置數據外，也使用3d地圖數據。

參考圖7，展示物件檢測的說明性方法且通常將所述方法指定為700。方法700包含：在塊702處，從圖像傳感器接收包含物件的場景的圖像數據。圖像數據與場景的多個縮放空間表示相關聯。舉例來說，處理器108可從圖像傳感器104接收圖像數據114，其中圖像數據114與縮放空間表示120到124相關聯(例如，可用於產生所述縮放空間表示)。

方法700也包含：在塊704處，接收與所述物件相關聯或指示所述物件可存在於其中的區域的位置數據。舉例來說，處理器108可從運載工具102中的機載位置傳感器106接收位置數據116，如參考圖1所描述。作為另一實例，處理器108可經由接收器340從位置傳感器306接收位置數據116，所述位置傳感器在運載工具102外部，如參考圖3所描述。在另一實例中，物件檢測器128可從3d地圖應用程式130接收位置數據116，其中位置數據指示物件可存在於其中的區域(例如，在路上、在車道中，等等)，如參考圖4所描述。在又另一實例中，可從多個來源(例如從多個位置傳感器、位置傳感器與3d地圖應用程式，等等)接收位置數據。

方法700進一步包含：在塊706處，確定第一縮放空間表示是否與位置數據重疊。當第一縮放空間表示與位置數據重疊時，在塊710處，識別第一縮放空間表示中的搜索區域。前進到塊712，在搜索區域中執行物件檢測。為了說明，在圖1的實例中，物件檢測器128可確定縮放空間表示122與對應於位置數據116的估計區118重疊。作為響應，物件檢測器128可確定縮放空間表示122的搜索區域(如參考方程式1到5所描述)，且可在搜索區域中執行物件檢測。

替代地，當第一縮放空間表示不與位置數據重疊時，方法700包含：在塊708處，避免對縮放空間表示執行物件檢測。為了說明，在圖1的實例中，物件檢測器可由於估計區118與縮放空間表示120和124之間不存在重疊而避免對縮放空間表示120和124執行物件檢測。繼續到塊714，方法700包含：確定是否應檢查額外縮放空間表示(例如，當多個縮放空間表示與位置數據重疊時)。如果應檢查額外縮放空間表示，那麼方法700返回到塊706。如果不應檢查額外縮放空間表示，或在執行物件檢測(在塊712處)之後，方法700包含：在塊716處，確定是否應檢測額外物件。如果應檢測額外物件，那麼方法700返回到塊704以處理額外物件的位置數據。如果不應檢測額外物件，那麼方法700在塊718處結束。

當發現多個縮放空間表示與位置數據重疊時，可對一個、一些或全部重疊縮放空間表示執行物件檢測(例如，直到檢測到所關注物件為止)。舉例來說，如參考圖5a所描述，可首先檢查最低解析度縮放空間表示以檢測接近於運載工具的行人。

方法600和/或700的一或多個操作可通過硬體裝置(例如，處理單元)來起始、控制或執行。舉例來說，取決於特定實施方案，處理單元可包含現場可編程門陣列(fpga)裝置、專用集成電路(asic)、處理單元(例如，中央處理單元(cpu))、數位訊號處理器(dsp)、控制器、另一硬體裝置、固件裝置或其組合。

參考圖8，描繪電子裝置的特定說明性實施例的框圖且通常將其指定為800。在特定實施例中，電子裝置800或其組件可由行人穿戴或攜帶(例如，作為行動電話、平板計算機、智能型手錶等等的一部分)。在另一特定實施例中，電子裝置800或其組件可包含在運載工具中或可附接/耦合到運載工具。在另一特定實施例中，電子裝置800或其組件可包含於以下各項中或可附接/耦合到以下各項：路側單元(rsu)、街道標誌、交通燈或另一路側物件或裝置。在進一步實施例中，電子裝置800可對應於計算機(例如，膝上型計算機、平板計算機或臺式計算機)、機頂盒、娛樂單元、導航裝置、個人數字助理(pda)、電視、調諧器、收音機(例如，衛星收音機)、音樂播放器(例如，數位音樂播放器和/或可攜式音樂播放器)、視頻播放器(例如，數字視頻播放器，例如，數字視頻光碟(dvd)播放器和/或可攜式數字視頻播放器)、另一電子裝置或其組合。

作為說明性實例，電子裝置800包含存儲器832和處理器810，例如，數位訊號處理器(dsp)、中央處理單元(cpu)，和/或圖形處理單元(gpu)。處理器810可執行指令868。在說明性實例中，指令868可由處理器810執行以執行本文中所描述的一或多個功能或方法，包含但不限於圖6的方法600和/或圖7的方法700。處理器810也可包含對應於以下各項的硬體和/或執行對應於以下各項的軟體指令：物件檢測器869(例如，圖1、3和4的物件檢測器128)和3d地圖應用程式870(例如，圖1和4的3d地圖應用程式130)。

圖8還展示耦合到處理器810和顯示器828的顯示控制器826。解碼器/解碼器(codec)834(例如，模擬音頻處理前端)也可耦合到處理器810。揚聲器836和麥克風838可耦合到codec834。圖8也指示，無線接口840(例如，無線控制器和/或收發器)可耦合到處理器810和天線842。在特定實施例中，電子裝置800可包含多個無線接口和天線。每一無線接口和/或天線可對應於不同通信技術或網絡(例如，蜂窩式、ieee802.11、dsrc，等等)。

在特定實施例中，處理器810進一步耦合到圖像傳感器880(例如，圖1、3和4的圖像傳感器104)。處理器810也可耦合到位置傳感器890(例如，圖1的位置傳感器106)。替代地，處理器810可經由接收器(例如，無線接口840和/或天線842)從外部位置傳感器接收位置數據，和/或處理器810可從3d地圖應用程式870接收位置數據。

在特定實施例中，處理器810、顯示控制器826、codec834、無線接口840、圖像傳感器880和位置傳感器890(當存在時)被包含在系統級封裝或系統單晶片裝置822中。此外，輸入裝置830和電力供應器844可耦合到系統單晶片裝置822。此外，在特定實施例中，如在圖8中所說明，顯示器828、輸入裝置830、揚聲器836、麥克風838、天線842和電力供應器844位於系統單晶片裝置822外部。然而，顯示器828、輸入裝置830、揚聲器836、麥克風838、天線842和電力供應器844中的每一個可耦合到系統單晶片裝置822的組件，例如，耦合到接口或耦合到控制器。

結合所描述實施例，設備包含用於接收從所述設備觀看到且包含物件的場景的圖像數據的裝置，所述圖像數據與所述場景的多個縮放空間表示相關聯。舉例來說，用於接收的裝置可包含圖像傳感器104、圖像傳感器880、耦合到圖像傳感器的處理器或控制器(例如，處理器108或處理器810)、經配置以接收圖像數據的另一裝置，或其任一組合。所述設備也包含用於處理的裝置。用於處理的所述裝置經配置以基於所述多個縮放空間表示中的第一縮放空間表示和與所述物件相關聯或指示所述物件可存在於其中的區域的位置數據之間的重疊而識別所述第一縮放空間表示的搜索區域。用於處理的所述裝置也經配置以在所述第一縮放空間表示的所述搜索區域中執行物件檢測。舉例來說，用於處理的裝置可包含處理器108、物件檢測器128、處理器810、物件檢測器869、3d地圖應用程式130、3d地圖應用程式870、經配置以處理數據的另一裝置，或其任一組合。在特定實施例中，設備包含用於產生位置數據的裝置。舉例來說，用於產生位置數據的裝置可包含位置傳感器106、位置傳感器306、位置傳感器890、3d地圖應用程式130、經配置以產生位置數據的另一裝置，或其任一組合。在特定實施例中，設備包含用於從外部位置傳感器接收位置數據的裝置。舉例來說，用於接收的裝置可包含接收器340、無線接口840、天線842、經配置以從外部傳感器接收數據的另一裝置，或其任一組合。

可使用計算機文件(例如，rtl、gdsii、gerber，等等)設計和表示前述所揭示裝置和功能性。計算機文件可存儲在計算機可讀媒體上。一些或所有這些文件可經提供到基於這些文件製作裝置的製作處置器。所得產品包含晶片，然後將晶片切割成裸片且封裝成集成電路(或「晶片」)。然後，將晶片用於電子裝置中，例如，運載工具102的組件、電子裝置800，等等。

儘管圖1到8中的一或多者可說明根據本發明的教示的系統、設備和/或方法，但本發明並不限於這些所說明系統、設備和/或方法。如本文中所說明或所描述的圖1到8中的任一者的一或多個功能或組件可與圖1到8中的另一者的一或多個其它部分組合。因此，任何單個實例不應解釋為具有限制性，且本發明的實施例可以適合方式組合，而不背離本發明的教示。

所屬領域的技術人員將進一步了解，結合本文中所揭示的實施例所描述的各種說明性邏輯塊、配置、模塊、電路和算法步驟可實施為電子硬體、由處理器執行的計算機軟體，或兩者的組合。上文已對各種說明性組件、塊、配置、模塊、電路和步驟大體就其功能性方面進行描述。將此功能性實施為硬體還是處理器可執行指令取決於特定應用和強加於整體系統的設計約束。所屬領域的技術人員可針對每一特定應用以各種方式實施所描述功能性，但不應將這些實施決策解釋為導致對本發明的範圍的背離。

結合本文中所揭示的實施例所描述的方法或算法的步驟可直接以硬體、以由處理器執行的軟體模塊或以兩者的組合體現。軟體模塊可駐存於以下各項中：隨機存取存儲器(ram)、快閃記憶體、只讀存儲器(rom)、可編程只讀存儲器(prom)、可抹除可編程只讀存儲器(eprom)、電可抹除可編程只讀存儲器(eeprom)、寄存器、硬碟、可抽換式磁碟、光碟只讀存儲器(cd-rom)，或此項技術中已知的任一其它形式的非暫時性計算機可讀或處理器可讀存儲媒體或存儲裝置。示範性存儲媒體或裝置耦合到處理器，使得處理器可從存儲媒體讀取信息，和將信息寫入到存儲媒體。在替代方案中，存儲媒體或裝置可與處理器成整體。處理器和存儲媒體或裝置可駐留於專用集成電路(asic)中。asic可駐留於計算裝置或用戶終端機中。在替代方案中，處理器和存儲媒體或裝置可作為離散組件駐留在計算裝置或用戶終端機中。計算機可讀或處理器可讀存儲媒體或存儲裝置並非信號。

提供所揭示實施例的先前描述使得所屬領域的技術人員能夠製成或使用所揭示實施例。所屬領域的技術人員將容易明了這些實施例的各種修改，且本文中所定義的原理可應用於其它實施例而不背離本發明的範圍。因此，本發明並不希望限制於本文中所展示的實施例，而欲賦予其與如由所附權利要求書所定義的原理和新穎特徵相一致的最廣可能範圍。