圖像中目標的提取與縮放顯示的製作方法
2023-07-23 01:57:36
專利名稱：圖像中目標的提取與縮放顯示的製作方法
技術領域：
本申請一般涉及數據處理，並且，更具體地，涉及對圖像中的目標的處理。
背景技術：
多個不同的設備捕獲靜止和運動的圖像。這種設備的例子包括照相機(例如數位照相機)，具有照相機的個人數字助理(PDA)和蜂窩電話、視頻記錄設備等。通常，在捕獲圖像之後，檢查圖像以確定是否適當地捕獲了其中目標。例如，如果數位照相機用於捕獲一群人的圖像，可以檢查該圖像，以確定所有人是否都在笑、眼睛都張開著、看著照相機等。因此，手動地和單獨地放大人的臉部用於檢查。這種搖攝(panning)、放大和檢查的處理可能是有問題的和耗時的。
發明內容
根據一些實施方式，一種方法、系統和設備執行檢測和縮放顯示圖像中的目標。在一些實施方式中，一種方法包括接收包含人臉部的圖像。該方法還包括提取該圖像的包括該臉部的一部分。該方法包括根據顯示器的尺寸來縮放該圖像的包括該臉部的部分該圖像的包括該臉部的該部分。該方法還包括在顯示器上顯示該圖像的包括該臉部的部分該圖像的包括該臉部的該部分。
在一些實施方式中，一種方法包括接收包含多個人臉部的圖像。該方法還包括檢測圖像中的多個臉部的一個臉部。該方法包括提取該圖像的包括該臉部的一部分。另外，該方法包括根據顯示器的尺寸和根據圖像的多個其它部分來縮放圖像的該部分，所述圖像的多個其它部分包括從圖像提取的用於顯示的其它臉部。該方法包括在顯示器上顯示該圖像部分和該圖像的其它部分。
在一些實施方式中，一種方法包括接收包含多個相同種類的目標的圖像。該方法包括檢測圖像中的多個目標的一個目標。該方法還包括重新調整當前顯示多個目標的其它目標的顯示器布局。重新調整布局包括根據顯示器的尺寸和根據其它目標的數目來縮放該目標和其它目標。
在一些實施方式中，一種方法包括當每次在圖像中檢測到目標時，執行以下操作。第一操作包括確定顯示器的尺寸。另一操作包括確定顯示器上當前顯示的其它目標的數目。一種不同的操作包括縮放該目標和其它目標。另一操作包括重新調整用於顯示的其它目標和該目標的布局。另一操作包括在顯示器上顯示已重新調整的布局。
在一些實施方式中，一種方法包括接收包含多個人臉部的圖像。該方法還包括檢測圖像中的多個臉部的當前臉部。該方法包括如果當前臉部的響應值小於一個低閾值，或者如果用於在顯示器上顯示的潛在臉部集內的不同臉部的邊界與當前臉部的邊界重疊，並且該不同臉部的響應值大於該當前臉部的響應值，則丟棄該當前臉部。另外，該方法包括如果臉部的邊界與當前臉部的邊界相重疊，並且該臉部的響應值小於當前臉部的響應值，則對在潛在臉部集內的該臉部執行以下操作。一個操作包括刪除用於顯示的潛在臉部集內的該臉部。另一個操作包括如果該臉部的響應值大於高閾值，則從顯示器中去除該臉部。
在一些實施方式中，一種方法包括接收包含人臉部的圖像。該方法還包括提取圖像的包含臉部的部分。該方法包括根據顯示器的尺寸縮放該圖像的包括該臉部的該部分。該方法還包括在顯示器上顯示該圖像的包括該臉部的該部分。
在一些實施方式中，一種方法包括接收包含多個人臉部的圖像。該方法還包括檢測這些人臉部。該方法包括針對所檢測到的每一個臉部，提取該圖像的包括該臉部的一部分。另外，該方法包括根據顯示器的尺寸來縮放該圖像的包括該臉部的該部分。該方法包括按照圖像中的臉部的光柵掃描順序，每次僅顯示該圖像的該部分之一。
在一些實施方式中，一種設備包括顯示器。該設備還包括用於捕獲包含多個相同種類目標的圖像的裝置。該設備包括圖像處理器邏輯，以接收圖像。該圖像處理器邏輯包括目標檢測邏輯，以檢測圖像中的多個目標的一個目標。該圖像處理器邏輯包括布局邏輯，以便根據顯示器的尺寸縮放目標，並在顯示器上顯示該縮放的目標。
在一些實施方式中，一種設備包括用於接收包含多個人臉部的圖像的裝置。該設備還包括用於檢測圖像中的多個臉部的一個臉部的裝置。該設備包括用於提取該圖像的包含臉部的一部分的裝置。該設備還包括用於根據顯示器的尺寸和根據圖像的多個其它部分來縮放該圖像的該部分的裝置，所述圖像的多個其它部分包括從圖像中提取的用於顯示的其它臉部。該設備包括用於在顯示器上顯示該圖像的該部分和該圖像的其它部分的裝置。
通過參考以下描述和示出那些實施方式的附圖，可以最好地理解本發明的實施方式。這裡所包括的附圖的編號方案使得圖中給定參考數字的第一個數字與圖號相關聯。例如，系統100可以位於圖1中。但是，對於跨越不同圖出現的那些相同元件，參考數字是相同的。
圖1示出了根據本發明的一些實施方式的用於檢測和縮放顯示圖像中的目標的系統。
圖2示出了根據本發明的一些實施方式的圖像處理器邏輯的更詳細的方框圖，該圖像處理器邏輯用於檢測和縮放顯示圖像中的目標。
圖3示出了根據本發明的一些實施方式的用於檢測和縮放顯示圖像中的目標的操作的流程圖。
圖4示出了根據本發明的一些實施方式的用於對圖像中所檢測的目標進行去除操作的流程圖。
圖5示出了根據本發明的一些實施方式的用於圖像中所檢測的目標進行加操作的流程圖。
圖6示出了根據本發明的一些實施方式的用於重新繪製圖像中的目標的顯示器布局的操作的流程圖。
根據本發明的一些實施方式，圖7A至圖7D按時間示出了從圖像中提取的目標的布局。
根據本發明的一些實施方式，圖8A至圖8D按時間示出了從圖像中提取的目標的顯示器上的布局。
根據本發明的一些實施方式，圖9A至圖9B按時間示出了從圖像中提取的目標的顯示器上的布局。
根據本發明的一些實施方式，圖10示出了從圖像所提取的目標的相對於圖像中目標的位置的顯示器上的布局。
根據本發明的一些實施方式，圖11示出了圖像和從圖像中所提取的目標的顯示器上的布局。
圖12示出了根據本發明的一些實施方式的執行軟體的計算機設備，所述軟體用於執行關於檢測和縮放顯示圖像中的目標的操作。
具體實施例方式
描述了用於檢測和縮放顯示圖像中目標的方法、設備和系統。在以下描述中，給出了大量具體細節。但是，可以理解，沒有這些具體細節也可以實施本發明的實施方式。在其它實例中，沒有詳細示出公知的電路、結構和技術，以便於不使該描述難以理解。另外，在該描述中，短語「示例性實施方式」意味著涉及的實施方式作為例子或說明。
儘管參考檢測、縮放和顯示圖像中人的臉部而進行了描述，實施方式並不局限於此，那操作可以用於圖像的任何目標或部分。例子可以包括動物(例如狗、貓等)、花、樹、不同類型的無生命目標(例如汽車、衣物、辦公設備等)。此外，儘管參考圖像處理進行了描述，一些實施方式可以用於視頻流內的幀。
圖1示出了根據本發明的一些實施方式的用於檢測和縮放顯示圖像中的目標的系統。具體地，圖1示出了包括圖像102、圖像處理器邏輯104和顯示器106的系統100。圖像處理器邏輯104連接為來接收圖像102。圖像102可以是由照相機、具有照相機的蜂窩電話和PDA等所捕獲的靜止圖像。在一些實施方式中，圖像102可以是來自視頻流的一幀。因此，可以通過不同類型的不同視頻記錄設備捕獲圖像102。在一些實施方式中，圖像102包括相同種類的多個目標。如上所述，目標可以是人臉部或動物臉部。目標可以是自然中的目標，例如花、樹等。這些目標還可以是不同類型的無生命目標。在一些實施方式中，圖像102可以僅包括單個目標。
如所示，圖像102包括人120A、人122A、人124A和人126A。圖像處理器邏輯104連接為來接收圖像102。例如，圖像處理器邏輯104可以從存儲器(未示出)取回圖像102。圖像處理器邏輯104處理圖像，以檢測和提取來自那裡的目標。圖像處理器邏輯104還連接到顯示器106。圖像處理器邏輯104在顯示器106上顯示已提取的目標。顯示器106包括顯示臉部126B的布局，臉部126B是人126A的臉部。布局還包括臉部120B，它是人120A的臉部。布局還包括臉部122B，它是人122A的臉部。布局包括臉部124B，它是人124A的臉部。
如所示，圖像102中的人臉部可以是不同的尺寸。在一些實施方式中，圖像處理器邏輯104這樣布局目標，使得目標儘可能大，並且目標都標準化。因此，某些目標可以按比例增大，並且某些目標可以按比例縮小。目標的布局不局限於圖1所示。圖7至圖11示出了不同布局的其它例子，以下對其進行了更詳細的描述。以下給出了系統100的操作的更詳細的描述。
圖2示出了根據本發明的一些實施方式的圖像處理器邏輯的更詳細的方框圖，該圖像處理器邏輯用於檢測和縮放顯示圖像中的目標。具體地，圖2示出了根據本發明的一些實施方式的圖像處理器邏輯104的更詳細的方框圖。
圖像處理器邏輯104包括目標檢測邏輯202和布局邏輯208。目標檢測邏輯202包括特徵提取邏輯204和檢測邏輯206。特徵提取邏輯204連接為來接收圖像102。特徵提取邏輯204可以執行圖像102的降維。特徵提取邏輯204還可以從圖像102提取特徵。特徵可以包括圖像102的為了檢測其中臉部而進行區別的不同屬性。特徵可包括小波係數、邊緣等。特徵提取邏輯204將特徵222輸出給檢測邏輯206。
檢測邏輯206可以根據特徵222檢測圖像102中的目標。在一些實施方式中，檢測邏輯206可以針對圖像102的部分提取特徵，以檢測其中的目標。圖像的部分可以是任何尺寸或形狀窗口(例如框形、矩形等)。檢測邏輯206可以根據任何多個不同類型的操作來執行該檢測。這些操作可以包括膚色分析、邊緣檢測等。在一些實施方式中，可以通過處理包括不同類型臉部的圖像、缺少臉部的圖像等來訓練檢測邏輯206。在一些實施方式中，可以根據不同的學習算法訓練檢測邏輯206，包括但不局限於包括提升(boosting)方法、基於神經網絡的方法、支持向量機等。在一些實施方式中，檢測邏輯206可以根據臉部的硬編碼數據進行檢測。例如，檢測邏輯206可以利用放置眼睛的兩個較小的圓形暗區，在圖像中定位橢圓形等。根據一些實施方式的臉部檢測的例子在2005年1月24日提交的名為「Detecting Objects in Images using a Soft Cascade」的美國專利申請中進行了描述，其在此通過參考併入。
檢測邏輯206可以輸出包括所檢測的目標的圖像222的部分。布局邏輯208可以確定顯示器106的布局。布局邏輯208可以根據該布局向顯示器106輸出所顯示的圖像226。
現在描述根據一些實施方式的用於檢測和縮放顯示圖像中的目標的操作。在一些實施方式中，可以由在機器可讀的介質上駐留的指令(例如，軟體)，由硬體、固件或者其組合來執行操作。該描述還包括根據本發明的一些實施方式的在顯示器上的圖像中目標的不同布局的屏幕快照(screenshot)。屏幕快照幫助示出操作，並且分散在流程圖的描述中。具體地，圖3至圖6示出了根據本發明的一些實施方式的用於檢測和縮放顯示圖像中的目標的操作的流程圖。圖7至圖11示出了根據本發明的一些實施方式的在顯示器上的圖像中的目標的不同布局。
圖3示出了根據本發明的一些實施方式的用於檢測和縮放顯示圖像中的目標的操作的流程圖。參考圖1和圖2的部件來描述流程圖300。流程圖300開始於方框302。
在方框301處，圖像處理器邏輯104接收包括多個人臉部的圖像。參考圖1和圖2，目標檢測邏輯202可以接收圖像102。如上所述，圖像102包括多個不同人的臉部。特徵提取邏輯204(在目標檢測邏輯202內)可以執行降維。如上所述，特徵提取邏輯204可以從圖像102提取特徵。特徵提取邏輯204向檢測邏輯206輸出特徵222。在方框302繼續該流程。
在方框302處，檢測邏輯206確定是否在圖像中找到更多臉部。具體地，通過處理在圖像102的給定部分(例如框形或矩形)中的特徵222，檢測邏輯206可以執行檢測。檢測邏輯206可以通過從圖像102的頂部、左拐角開始，並且以光柵掃描的順序穿越圖像102，來處理圖像102的部分。因此，檢測邏輯206可以根據是否已處理圖像102的底部、右拐角的圖像部分，來確定處理是否完畢。當確定在圖像中不存在需要找到的臉部時，流程在方框314繼續，以下對其進行了更詳細的描述。
在方框304處，當確定在圖像中存在需要找到的臉部時，檢測邏輯206檢測圖像中的當前臉部。如上所述，在一些實施方式中，檢測邏輯206可以對圖像102的框形或者矩形提取特徵，從而來檢測其中的臉部。檢測邏輯206可以根據任何多個不同類型的操作來執行該檢測。流程在方框305處繼續。
在方框305處，檢測邏輯206提取包括當前臉部的圖像部分。例如，檢測邏輯206可以提取包圍當前臉部的框形或矩形。流程在方框306處繼續。
在方框306處，檢測邏輯206確定當前臉部的響應值是否小於一個低閾值。在一些實施方式中，響應值可以是檢測邏輯206輸出的作為置信度的連續值，該置信度是當前所評估的包含目標(例如，臉部)的圖像部分是否表明目標的實例的置信度。響應值可以是神經網絡的輸出、提升分類器的弱特徵的加權和、基於貝葉斯的分類器的對數似然比之和等。
如以下另外的描述，在一些實施方式中，使用多個閾值來確定是否要顯示臉部。在一些實施方式中，使用低閾值和高閾值。如果當前臉部的響應值大於高閾值，則顯示當前臉部。如果當前臉部的響應值大於低閾值，則根據另外的處理(如下所述)，可能顯示當前臉部。在一些實施方式中，可以由用戶配置這些閾值。例如，如果這裡的邏輯是照相機電話的部分，用戶可以調整這些閾值更高或更低，以分別包括較少或較多的臉部。檢測邏輯206可以對當前臉部執行進一步處理，以進行確定(如下所述)。當確定當前臉部的響應值小於低閾值時，不顯示當前臉部，並且流程在方框302處繼續。
在方框308處，當確定當前臉部的響應值大於低閾值時，檢測邏輯206確定在潛在臉部集(用於顯示)中是否存在一個臉部，它的邊界與當前臉部重疊，並且它的響應值大於當前臉部的響應值。具體地，潛在臉部集(用於顯示)包括已檢測到的和具有大於低閾值的響應值的那些臉部。檢測邏輯206可以將該潛在臉部集存儲在存儲器(圖2中未示出)中，以用於該操作的取回。臉部的邊界是所提取的包括臉部的圖像部分的邊界。具體地，檢測邏輯206可以從圖像中提取具有臉部的矩形或框形。因此，檢測邏輯206將在潛在臉部集中的每一個臉部的邊界與當前臉部的邊界相比較，以確定二者之間的重疊。可以有各種級別的重疊。在一些實施方式中，需要顯著的重疊。例如，如果第一部分的中心在第二部分之內，並且如果第二部分的中心在第一部分之內，則在圖像的第一部分和第二部分之間存在重疊。在一些實施方式中，如果在每一個維上，第一部分的中心和第二部分的中心比兩部分中較大部分的尺寸的某一規定的分數更接近，則存在重疊。如果潛在臉部的任何一個和當前臉部之間存在重疊，檢測邏輯206比較各自的響應值。
當確定重疊潛在臉部的任何響應值都大於當前臉部的響應值時，流程在方框302處繼續。換句話說，已檢測到了更好的匹配，並且該匹配在潛在的臉部集之內。因此，由於存在更好的匹配，可以丟棄當前臉部。當確定沒有任何重疊潛在臉部的響應值大於當前臉部的響應值時，流程在方框310處繼續。換句話說，還沒有檢測到更好的匹配。
在方框310處，檢測邏輯206對於在潛在臉部集中的其邊界與當前臉部重疊，並且其響應值小於當前臉部的響應值的每一個臉部執行去除操作。換句話說，比較在潛在臉部集中的這些特定臉部，已經找到更好的匹配。因此，可以去除這些特定的臉部。以下結合圖4給出了去除操作的更詳細的描述。流程在方框312處繼續。
在方框312處，檢測邏輯206對當前臉部執行加操作。具體地，將當前臉部加到適合顯示的潛在臉部集。以下結合圖5給出了這種加操作的更詳細的描述。流程在方框302處繼續。
在方框314處，布局邏輯208重新計算(使用更準確的分析)潛在臉部集中所有臉部的響應值。在一些實施方式中，更準確的分析可以包括任何附加的試探法，該附加的試探法可以進一步證實或阻止候選窗口(被處理的圖像部分)被分類為臉部。在一些實施方式中，使用臉部定位器。臉部定位器操作可以包括在臉部峰值(hit)附近跨越位置、尺度和/或方向執行局部搜索。這種局部搜索可以定位另一個響應值較大的鄰近點。在一些實施方式中，真正的臉部具有這種峰值，而非臉部不具有這種峰值。因此，臉部定位器操作可以增加臉部和非臉部響應之間的分離。為了更準確分析，可以使用其它試探法。例如，可以使用膚色分析器操作。流程在方框316處繼續。
在方框316處，檢測邏輯206去除其重新計算的響應值小於低閾值的潛在臉部集中的任何臉部。可以根據更準確的分析，增大或減小重新計算的響應值。如果現在該臉部的更新的響應值小於低閾值，則該臉部不具有顯示的可能性，並且將其丟棄。流程在方框318處繼續。
在方框318處，布局邏輯208清除顯示器。參考圖2，布局邏輯208可以控制顯示器106，以使顯示器106清除其上的內容。流程在方框320處繼續。
在方框320處，布局邏輯208僅顯示質量較高的潛在臉部集中的那些臉部。在一些實施方式中，布局邏輯208可以不顯示所有檢測到的臉部。在一些實施方式中，布局邏輯208顯示具有大於高閾值的響應值的潛在臉部集中的那些臉部。操作完成。
在一些實施方式中，對於圖像的多個尺度和/或多個方向，可以執行流程圖300的操作。因此，在一個尺度或方向完成臉部圖像的掃描之後，檢測邏輯206可以以不同的尺度或方向重新掃描。
圖4示出了根據本發明的一些實施方式的用於對圖像中所檢測的目標進行去除操作的流程圖。具體地，流程圖420示出了在圖3的方框310處的去除操作的更詳細的操作。參考圖1和圖2的部件來描述流程圖420。流程圖420開始於方框422。
在方框422處，檢測邏輯206從潛在臉部集中去除要被去除的臉部。具體地，可以將潛在臉部集存儲在存儲器中(圖2中未示出)。因此，檢測邏輯206可以更新該集，以從集中去除要被去除的臉部。流程在方框424處繼續。
在方框424處，檢測邏輯206確定要被去除的臉部的響應值是否大於高閾值。如上所述，可以使用多個閾值。在一些實施方式中，如果其響應值大於高閾值才顯示該臉部。當確定要被去除的臉部的響應值不大於高閾值時，流程圖420的操作完成。
在方框428處，當確定要被去除的臉部的響應值大於高閾值時，布局邏輯208從顯示器中去除要被去除的臉部。流程圖420的操作然後完成。
圖5示出了根據本發明的一些實施方式的用於對圖像中所檢測的目標進行加操作的流程圖。具體地，流程圖530示出了在圖3的方框312處的加操作的更詳細的操作。參考圖1和圖2的部件來描述流程圖530。流程圖530開始於方框532。
在方框532處，檢測邏輯206將要加入的臉部加入到潛在臉部集。具體地，潛在臉部集可以存儲在存儲器中(在圖2中未示出)。因此，檢測可以更新該集，以將要被加入的臉部包括到集中(其可以存儲在存儲器中(在圖2中未示出))。流程在方框534處繼續。
在方框534處，檢測邏輯206確定要被加入的臉部的響應值是否大於高閾值。當確定要被加入的臉部的響應值不大於高閾值時，流程圖530的操作完成。
在方框538處，當確定要被加入的臉部的響應值大於高閾值時，布局邏輯208將要被加入的臉部加入顯示器。在一些實施方式中，布局邏輯208替換臉部(去除之後加入)，因為檢測到了更好的匹配。在一些實施方式中，如果要顯示的臉部的總數改變，則布局邏輯208可以重新計算臉部的尺寸和位置，並且相應地重新繪製這些臉部。以下給出了這種重新計算和重新繪製的更詳細的描述。然後流程圖530的操作完成。
圖6示出了根據本發明的一些實施方式的用於重新繪製圖像中的目標的顯示器布局的操作的流程圖。例如，流程圖600示出了在加入新目標或從顯示器中去除目標之後，重新繪製顯示器布局的更詳細的操作。參考圖1和圖2的部件來描述流程圖600。流程圖600開始於方框602。
在方框602處，布局邏輯208確定顯示器的尺寸。布局邏輯208可以根據象素塊、象素數目等確定顯示器106的尺寸。流程在方框604處繼續。
在方框604處，布局邏輯208確定具有要被顯示的臉部的圖像部分的數目。具體地，布局邏輯208可以接收圖像224的部分(未示出)。如上所述，在一些實施方式中，僅顯示某些已檢測到的臉部。具體地，僅顯示已檢測到的其響應值大於高閾值的臉部。流程在方框606處繼續。
在方框606處，布局邏輯208根據顯示器的尺寸和要顯示的圖像部分的數目，重新繪製顯示器的布局。布局邏輯208可以以任何多個不同的方式重新繪製布局。圖7至圖11(以下將描述)示出了可能的布局的不同例子。然後流程圖500的操作完成。
現在描述從圖像102中所提取的目標在顯示器106上的多個不同布局。圖7至圖11示出了根據本發明的一些實施方式的這些布局。參考圖1所示的臉部來描述圖7至圖11。
根據本發明的一些實施方式，圖7A至圖7D按時間示出了從圖像中所提取的目標的布局。具體地，圖7A至圖7D示出了當目標檢測邏輯202檢測到另外的目標時，顯示器106的布局怎樣隨時間而改變。
圖7A示出了在時間段t0702的顯示器106的布局。如所示在時間段t0702，僅從圖像102中已檢測並提取臉部120B用於顯示。因此，按比例放大臉部120B，以跨越顯示器106。在一些實施方式中，根據顯示器的尺寸和顯示的目標數目，將目標儘可能地按比例放大。
圖7B示出了在時間段t0+1704的顯示器106的布局。如所示在時間段t0+1704，從圖像102中已檢測並提取臉部120B和臉部124B用於顯示。因此(如所示)，縮放臉部120B和臉部124B，以跨越顯示器106。在一些實施方式中，標準化臉部。因此，臉部的窗口和其中的臉部近似地縮放到相同尺寸。
圖7C示出了在時間段t0+2706的顯示器106的布局。如所示在時間段t0+2706，從圖像102中已檢測並提取臉部120B、臉部124B和臉部122B用於顯示。因此(如所示)，縮放臉部120B、臉部124B和臉部122B，以跨越顯示器106。
圖7D示出了在時間段t0+3708的顯示器106的布局。如所示在時間段t0+3708，從圖像102中已檢測並提取臉部120B、臉部124B、臉部122B和臉部126B用於顯示。因此(如所示)，縮放臉部120B、臉部124B、臉部122B和臉部126B，以跨越顯示器106。因此，當更新了要顯示的臉部數目時，進行這種對顯示器106上的布局重新計算和重新繪製的操作。
根據本發明的一些其它實施方式，圖8A至圖8D按時間示出了從圖像中提取的目標的顯示器上的布局。具體地，圖8A至圖8D示出了顯示器106上的布局，其中每次僅顯示一個臉部。因此，可以將所顯示的臉部比圖7A至圖7D的布局按比例放得更大。如果圖像包括較多個體，則這種配置是有用的。具體地，如果圖像包括過多的人，則布局可能無法對臉部放大或擴大。
在一些實施方式中，在預定時間段之後，顯示器106改變。在一些實施方式中，顯示器106根據用戶輸入改變。例如，包含這種邏輯的設備可以包括滾輪，以允許用戶改變當前顯示的臉部。
目標檢測邏輯202可以存儲要顯示的臉部的緩存。布局邏輯208則可以循環切換其中的臉部用於顯示。如上所述，所檢測到的和提取的臉部數目可以隨時間而改變。因此，緩存的大小也可以改變。在一些實施方式中，緩存中的臉部順序與圖像102中的順序相對應。例如，緩存中的臉部順序可以是圖像102中的臉部的光柵掃描順序(從頂到底和從左到右)。在一些實施方式中，檢測和提取臉部的順序不與用於顯示的順序相對應。因此，目標檢測邏輯202可能需要重新安排存儲在緩存中的臉部。
圖8A示出了在時間段t0802的包括臉部126B的顯示器106的布局。圖8B示出了在時間段t0+1804的包括臉部120B的顯示器106的布局。圖8C示出了在時間段t0+2806的包括臉部122B的顯示器106的布局。圖8D示出了在時間段t0+3808的包括臉部124B的顯示器106的布局。
根據本發明的一些實施方式，圖9A至圖9B按時間示出了從圖像中提取的目標的顯示器上的布局。具體地，圖9A至圖9B示出了顯示器106上的布局，其中每次顯示兩個臉部。因此，圖9A至圖9B可以表示這樣一種布局，其中顯示超過一個但少於所有要顯示的臉部。所顯示的臉部可以比圖7A至圖7D的布局按比例放得更大。
圖9A示出了在時間段t0902的包括臉部126B和臉部120B的顯示器106的布局。圖9B示出了在時間段t0+1904的包括臉部122B和臉部124B的顯示器106的布局。圖8和圖9分別示出了被顯示的一個臉部和兩個臉部。一些實施方式可以允許在給定時間顯示更多的臉部。
圖10示出了根據本發明的一些實施方式的從圖像所提取的目標的相對於圖像中目標的位置的顯示器上的布局。如圖1所示，人120A的位置是圖像102的左上方位置。因此，臉部120B位於顯示器106的左上方位置。人122A的位置是圖像102的右上方位置。因此，臉部122B位於顯示器106的右上方位置。人126A的位置是圖像102的左下方位置。因此，臉部126B位於顯示器106的左下方位置。人124A的位置是圖像102的右下方位置。因此，臉部124B位於顯示器106的右下方位置。
圖11示出了根據本發明的一些實施方式的圖像和從圖像中所提取的目標的顯示器上的布局。圖11示出了包括圖像102以及從其檢測和提取的臉部(臉部120B、臉部122B、臉部123B和臉部126B)用於顯示的布局。在一些實施方式中，布局邏輯208突出(例如，在周圍設一個框形)一些人，其中已將這些人的臉部檢測並提取用於顯示。這可以允許用戶手動地放大沒有檢測到和沒有提取的人臉部。在一些實施方式中，用戶可以調整閾值(如上所述)，以包括更多或更少的臉部用於顯示。
現在描述這樣一些實施方式，其中軟體執行關於這裡所描述的檢測和縮放顯示圖像中的目標的操作。具體地，圖12示出了根據本發明的一些實施方式的執行軟體的計算機設備，所述軟體用於執行關於檢測和縮放顯示圖像中的目標的操作。圖12示出了計算機設備1200，其可以代表接收圖像用於處理的任何類型的設備。例如，計算機設備1200可以是照相機、照相機電話、PDA、視頻記錄設備、桌面計算機、筆記本電腦等。此外，計算機設備1200可以具有比以下所述更多或更少的部件。
如圖12所示，計算機設備1200包括處理器1202。計算機設備1200還包括存儲器1230、處理器總線1222以及輸入/輸出控制器中心(ICH)1224。處理器1202、存儲器1230和ICH 1224都連接到處理器總線1222。處理器1202可以包括任何合適的處理器體系結構。根據本發明的一些實施方式，計算機設備1200可以包括一個、兩個、三個或更多處理器，其中任何一個都可以執行指令集。
存儲器1230存儲數據和/或指令，並且可以包括任何合適的存儲器，例如隨機訪問存儲器(RAM)。例如，存儲器1230可以是靜態RAM(SRAM)、同步動態RAM(SDRAM)、DRAM、雙倍數據速率(DDR)同步動態RAM(SDRAM)等。根據本發明的實施方式，圖形控制器1204控制顯示器設備1206上的信息顯示。
ICH 1224提供計算機設備1200的外圍部件或者輸入/輸出(I/O)設備的接口。ICH 1224可以包括任何合適的接口控制器，以向處理器1202、存儲器1230和/或與ICH 1224通信的任何合適的設備或部件提供任何合適的通信連接。對於本發明的實施方式，ICH 1224針對每一個接口提供合適的仲裁和緩衝。
在一些實施方式中，ICH 1224向一個或多個合適的電子集成驅動器(IDE)/高級技術附加(ATA)驅動器1208，例如硬碟驅動器(HDD)，提供接口。在實施方式中，ICH 1224還提供鍵盤1212、滑鼠1214、一個或多個合適設備通過埠1216至1218(例如並行埠、串行埠、通用串行總線(USB)、防火牆埠等)的接口。在一些實施方式中，ICH 1224還提供網絡接口1220，計算機設備1200可以通過網絡接口1220與其它計算機和/或設備通信。在一些實施方式中，埠1216至1218可以連接到不同類型的設備，以捕獲圖像和/或視頻流。這種設備的例子可以包括傳感器，例如電荷耦合裝置(CCD)傳感器、互補型金屬氧化物半導體(CMOS)傳感器等。
參考圖1和圖2，存儲器1230和/或IDE/ATA驅動器1208之一可以存儲圖像處理器邏輯104、目標檢測邏輯202、特徵提取邏輯204、檢測邏輯206和布局邏輯208。在一些實施方式中，圖像處理器邏輯104、目標檢測邏輯202、特徵提取邏輯204、檢測邏輯206和布局邏輯208可以是在處理器1202內執行的指令。因此，可以將圖像處理器邏輯104、目標檢測邏輯202、特徵提取邏輯204、檢測邏輯206和布局邏輯208存儲在機器可讀的介質中，其是體現這裡所描述的任何一個方法或全部方法的一個指令集(例如，軟體)。例如，圖像處理器邏輯104、目標檢測邏輯202、特徵提取邏輯204、檢測邏輯206和布局邏輯208可以完全駐留或至少部分駐留在存儲器1230、處理器1202、IDE/ATA驅動器1208之一等之中。
在多個不同應用中可以使用實施方式。例如，當為家人或朋友拍照時，可以使用一些實施方式。可以使用一些實施方式，作為包括臉部檢測和識別的安全應用的部分。例如，可以使用一些實施方式作為用於機場安全的應用的部分，以檢測和識別感興趣的人。可以結合捕獲運動會中的運動員的圖像使用一些實施方式。此外，一些實施方式可以用於視頻會議應用。具體地，根據本發明的一些實施方式，可以從視頻流中捕獲靜態幀，然後將其處理。在一些實施方式中，對於該應用，在顯示器上，講話的個體的臉部比其它的臉部更大、突出等。
在一些實施方式中，可以在更早的時間(例如，就年而言)已經捕獲輸入圖像。在一些實施方式中，可以通過不同設備而不是包括圖像處理器邏輯104的設備已經捕獲輸入圖像。因此，圖像處理器邏輯104可以接收來自多個不同源的輸入圖像，所述源包括相同或不同設備上的和/或跨越網絡的機器可讀介質(例如硬碟驅動器)。在一些實施方式中，窗口可以以多種不同方式在顯示器106上顯示。例如，當向顯示器106加入新目標時，可以進行動態轉換，其中顯示器106上每一個存在的目標隨時間平滑地改變尺寸和位置。此外，新對象可以隨時間從零尺寸增長到其所分配的位置。
在描述中，給出了許多具體細節，例如邏輯實現、操作碼、規定操作數的手段、資源分區/共享/複製實現、系統部件的相互關係和類型、以及邏輯分區/集成選擇，以便於提供本發明的更徹底理解。但是，本領域的技術人員可以理解，不需要這種具體細節也可以實施本發明的實施方式。在其它情況下，控制結構、門級(gate level)電路和全部軟體指令序列沒有詳細示出，以便於不使本發明的實施方式難於理解。本領域的普通技術人員，根據所包括的描述，將能夠無需過度的實驗而實現適當的功能。
說明書中涉及的「一種實施方式」、「實施方式」「示例實施方式」等指示所描述的實施方式可以包括特定特徵、結構或特性，但是每一種實施方式可以不需要包括該特定特徵、結構或特性。而且，這種短語並不必須涉及相同的實施方式。此外，當結合一種實施方式描述特定特徵、結構或特性時，認為不論是否明確地進行了描述，結合其它實施方式來影響這種特徵、結構或特性，都在本領域的技術人員的知識範圍之內。
本發明的實施方式包括特徵、方法或處理，這些特徵、方法或處理可以在由機器可讀介質提供的機器可執行指令之內體現。機器可讀介質包括以可由機器(例如，計算機、網絡設備、個人數字助理、製造工具、任何具有一個或多個處理器集的設備等)訪問的形式提供(即，存儲和/或傳輸)信息的任何機制。在示例性實施方式中，機器可讀介質包括易失性和/或非易失性媒體(例如，只讀存儲器(ROM)、隨機訪問存儲器(RAM)、盤存儲媒體、光存儲媒體、閃爍存儲器設備等)，以及電、光、聲或其它傳播形式的信號(例如，載波、紅外信號、數位訊號等)。
使用這種指令使得利用該指令編程的通用或特殊目的處理器執行本發明的實施方式的方法或處理。可選地，通過特定硬體部件執行本發明的實施方式的特徵或操作，所述特定硬體部件包含用於執行操作的硬連線邏輯，或者通過編程的數據處理部件和特定硬體部件的任何組合執行本發明的實施方式的特徵或操作。本發明的實施方式包括軟體、數據處理硬體、數據處理系統實現的方法以及各種處理操作，如這裡進一步描述的。
許多附圖示出了根據本發明的一些實施方式的用於檢測和縮放顯示圖像中的目標的系統和設備的方框圖。許多流程圖示出了根據本發明的一些實施方式的用於檢測和縮放顯示圖像中的目標的操作。參考方框圖中所示的系統/設備描述了流程圖的操作。但是，應該理解，除了參考方框圖所討論的實施方式，可以通過系統和設備的其它實施方式來執行流程圖的操作，以及參考該系統/設備所討論的實施方式可以執行不同於參考流程圖所討論的操作的操作。
由於這裡所描述的實施方式的多個變更，這詳細的描述僅用於說明，並且不應將其認為是對本發明範圍的限制。因此，本發明所要求的是在以下權利要求書及其等同的範圍和精神之內的所有這種修改。因此，應認為說明書和附圖是說明意義的而非限制意義的。
權利要求
1.一種方法，包括接收包括人的臉部的圖像；提取該圖像的包括該臉部的一部分；縮放該圖像的包括該臉部的該部分；以及在顯示器上顯示該圖像的包括該臉部的該部分。
2.根據權利要求1的方法，其中縮放該圖像的包含該臉部的該部分包括根據該顯示器的尺寸縮放該圖像的該部分。
3.根據權利要求2的方法，其中根據該圖像的多個其它部分，縮放該圖像的包括該臉部的該部分，該圖像的這些其它部分包括已提取的其它臉部。
4.根據權利要求3的方法，其中顯示該圖像的該部分包括在該顯示器上同時顯示該圖像的包括該臉部的該部分和該圖像的包括其它臉部的該其它部分。
5.根據權利要求4的方法，其中顯示該圖像的該部分和該圖像的該其它部分包括在與在該圖像中的該圖像的該部分和該圖像的該其它部分的位置相對應的位置，顯示該圖像的該部分和該圖像的該其它部分。
6.根據權利要求3的方法，還包括縮放該圖像的包括該其它臉部的該其它部分，其中該圖像的該部分和該圖像的該其它部分的尺寸近似相等。
7.根據權利要求6的方法，其中縮放該圖像的該部分和該圖像的該其它部分包括縮放該圖像的該部分和該圖像的該其它部分，其中該臉部和該其它臉部的尺寸近似相等。
8.一種方法，包括接收包括多個人臉部的圖像；檢測該圖像中該多個臉部中的一個臉部；提取該圖像的包括該臉部的一部分；根據顯示器的尺寸和根據該圖像的多個其它部分，縮放該圖像的該部分，所述圖像的該多個其它部分包括從該圖像所提取的用於顯示的其它臉部；以及在該顯示器上顯示該圖像的該部分和該圖像的該其它部分。
9.根據權利要求8的方法，其中顯示該圖像的該部分和該圖像的該其它部分包括在與在該圖像中的該圖像的該部分和該圖像的該其它部分的位置相對應的位置，顯示該圖像的該部分和該圖像的該其它部分。
10.根據權利要求8的方法，其中在該顯示器上顯示該圖像的該部分包括顯示該圖像的該部分和該圖像的該其它部分，其中該圖像的該部分和該圖像的該其它部分的尺寸近似相等。
11.根據權利要求8的方法，其中檢測該圖像中的該多個臉部的該臉部包括根據在多於一個尺度的圖像的掃描，檢測在該圖像中的該多個臉部的該臉部。
12.一種方法，包括接收包括相同種類的多個目標的圖像；檢測在該圖像中的該多個目標的一個目標；重新調整當前顯示該多個目標的其它目標的顯示器布局，其中重新調整該布局包括根據顯示器的尺寸和根據其它目標的數目，縮放該目標和該其它目標。
13.根據權利要求12的方法，還包括在該顯示器上顯示已縮放的該其它目標和該目標。
14.根據權利要求12的方法，其中檢測在該圖像中的該多個目標的該目標包括根據在多個尺度的圖像的掃描，檢測在該圖像中的該多個目標的該目標。
15.一種機器可讀介質，其提供指令，當由機器執行時，這些指令使得所述機器執行操作，包括每次在圖像中檢測到目標時，執行以下操作確定顯示器的尺寸；確定該顯示器上當前顯示的其它目標的數目；縮放該目標和該其它目標；重新調整該目標和該其它目標的布局用於顯示；以及在該顯示器上顯示該重新調整過的布局。
16.根據權利要求15的機器可讀介質，其中重新調整該目標和該其它目標的該布局包括重新調整該布局，其中同時顯示該目標和該其它目標。
17.根據權利要求15的機器可讀介質，其中顯示該重新調整過的該顯示器的布局包括在該顯示器上每次僅顯示一個目標。
18.根據權利要求15的機器可讀介質，其中顯示該重新調整過的該顯示器的布局包括在該顯示器上每次顯示多於一個但少於所有目標的目標。
19.一種機器可讀介質，其提供指令，當由機器執行時，這些指令使得所述機器執行操作，包括接收包括多個人臉部的圖像；檢測該圖像中的該多個臉部的一個當前臉部；如果該當前臉部的響應值小於一個低閾值，或者如果用於在顯示器上顯示的潛在臉部集內的不同臉部的邊界與該當前臉部的邊界相重疊，並且該不同臉部的響應值大於該當前臉部的該響應值，則丟棄該當前臉部；如果該潛在臉部集中的一個臉部的邊界與該當前臉部的邊界相重疊，並且該臉部的響應值小於該當前臉部的該響應值，則對該潛在臉部集中的該臉部執行以下操作刪除用於顯示的該潛在臉部集中的該臉部；以及如果該臉部的該響應值大於一個高閾值，從該顯示器去除該臉部。
20.根據權利要求19的機器可讀介質，還包括在該顯示器上顯示具有大於該高閾值的響應值的臉部。
21.根據權利要求20的機器可讀介質，還包括根據該顯示器的尺寸和具有大於該高閾值的響應值的臉部的數目，縮放具有大於該高閾值的響應值的該臉部。
22.根據權利要求20的機器可讀介質，其中在該顯示器上顯示該臉部包括同時在該顯示器上顯示該臉部。
23.根據權利要求22的機器可讀介質，其中在該顯示器上顯示該臉部包括在與在該圖像中的該臉部的位置相對應的位置顯示該臉部。
24.一種機器可讀介質，其提供指令，當由機器執行時，這些指令使得所述機器執行操作，包括接收包括人的臉部的圖像；檢測人的該臉部；對於所檢測的每一個臉部，提取該圖像的包括該臉部的一部分；根據顯示器的尺寸，縮放該圖像的包括該臉部的該部分；按照該圖像中該臉部的光柵掃描順序，每次僅顯示該圖像的該部分之一。
25.根據權利要求24的機器可讀介質，其中每次僅顯示該圖像的該部分之一包括按照基於用戶輸入的順序，顯示該圖像的該部分的下一個部分。
26.根據權利要求24的機器可讀介質，其中該用戶輸入包括一個滾軸輸入。
27.根據權利要求24的機器可讀介質，其中每次僅顯示該圖像的該部分之一包括對於預定時間段，僅顯示該圖像的該部分之一。
28.一種設備，包括顯示器；用於捕獲包括多個相同種類目標的圖像的裝置；圖像處理器邏輯，以接收該圖像，其中該圖像處理器邏輯包括目標檢測邏輯，以檢測該圖像中的多個目標的一個目標；以及布局邏輯，以根據該顯示器的尺寸來縮放該目標，並在該顯示器上顯示所縮放的目標。
29.根據權利要求28的設備，其中該布局邏輯用於根據所檢測的用於顯示的目標的數目來縮放該目標。
30.根據權利要求28的設備，其中該布局邏輯用於同時顯示所檢測的用於顯示的目標。
31.根據權利要求28的設備，其中該布局邏輯用於縮放所檢測的用於顯示的目標，其中所縮放的目標的尺寸近似相等。
全文摘要
一種執行檢測和縮放顯示圖像中的目標的方法、系統和設備。在一些實施方式中，一種方法包括接收包含人臉部的圖像。該方法還包括提取該圖像的包括該臉部的一部分。該方法包括根據顯示器的尺寸，縮放包括臉部的該圖像部分。該方法還包括在顯示器上顯示該圖像的包括該臉部的部分該圖像的包括該臉部的該部分。
文檔編號H04N101/00GK1842125SQ20061005782
公開日2006年10月4日 申請日期2006年3月1日 優先權日2005年4月2日
發明者馬丁·E·紐厄爾, 盧博米爾·D·布爾德夫 申請人:奧多比公司