利用臉部籤名來標識和共享數字圖像的方法、系統和電腦程式的製作方法

2023-07-18 18:19:16 4

專利名稱：利用臉部籤名來標識和共享數字圖像的方法、系統和電腦程式的製作方法
技術領域：
本發明涉及將向目標個體分發圖像。更具體地，本發明涉及數字圖像中的臉部 檢測和臉部識別，並且利用社交網絡服務和對等網絡將圖像分發至出現在該圖像中的個 體。
背景技術：
目前存在的社交網絡是利用網站連接多個個體的工具。以下是PCMAG.COM 百科對「社交網絡」的定義由家庭、工作或愛好聯繫在一起的人的社團。該術語由J.A.BameS教授於20世 紀50年代首次創造，並將社交網絡的大小定義為大約100到150人的團體。以下是PCMAG.COM 百科對「社交網站」的定義向對特定對象感興趣或只是一起「閒逛」的人們提供虛擬社區的Web站點。成 員通過語音、聊天、即時消息、視頻會議和博客進行通信，並且該服務通常向成員提供 了聯繫其他成員的好友的方法。這種站點還可以用作親自會面的媒介。「社交網站」是 針對「虛擬社區」(一群人使用網際網路彼此之間就任何事乃至所有事進行通信)的21世 紀術語。Friendster (www.friendster.com)是首個社交網站，其在 2002 年引入，而 MySpace(www.myspace.com)在一年後出現。從兩個好友開始，MySpace變得非常流行， 並且其母公司(Intermix)在MySpace投放市場兩年後被News Corporation以58億美元收購。Facebook(www.facebook.com)出現在2004年，最初定位於在校學生，但隨後 歡迎所有人。 在 Facebook 之後是 TagWorld(www.tagworld.com)禾口 Tagged(www.tagged. com)。TagWorld引入了用於創建更加個性化Web頁面的工具，而Tagged引入了為具有 相同興趣的青少年建立職業摔角(tagteam)的概念。社交網站對關注度的競爭與90年代中期網際網路出現時的第一 Web門戶網站之爭 的場面非常相似。期望出現許多變化。許多社交網站允許用戶上傳和共享照片。某些社交網站還包含用於給照片加標 籤以標識照片中人(臉部)的姓名的特徵(例如，FACEBOOK 提供了這一特徵)。基 於用戶調查，大多數回答者都表示加標籤的工作是手動的並且非常耗時。此外，由於隱 私的原因，許多用戶不會將他們所有的數字照片都上傳到共享網站。而且，上傳上千張 的照片是非常耗時和帶寬敏感的。所以，儘管社交網站的用戶在其本地計算機上可能有 10,000張數字照片時，但他們只會上傳一兩百張照片來與他們的好友共享。這基於2007 年9月AppliedRecognitionInc.執行的用戶調查。還有某些網站允許註冊的用戶上傳數字照片和數字視頻，並且將它們存儲到以 共享為目的的網站上。這些網站是專用於此目的的。這些網站的示例包括FLICKR 和raOTOBUCKET 。這些網站的缺點在於為了標識好友而給所有照片加標籤的過程是 手動的並且非常耗時；raOTOBUCKET 不允許人們給照片加標籤。對於FLICKR ， 如果平均每張照片包含兩個人，那麼針對每張照片可能要花費10-15秒來給照片中的人 加標籤。當該時間乘以100或1000時，這會變得非常耗時，一般人也就不再執行加標籤了。如今，照相設備飛速發展，並且絕大部分現代蜂窩電話包含數位照相機。事實 上，如今經由蜂窩電話銷售的照相機比所有專用數位照相機的總和還要多。這正在使上 傳到和存儲到家庭計算機的數字圖像的數量激增。因為基於我們的調查數字圖像的平均 數量超過了 1000張，因此對於大多數人而言，手動給照片加標籤並對其正確地進行組織 的工作量是非常巨大的。一家公司(RIYA (www.riya.com))創建了一種基於web的、用於標識數字照片
中臉部的產品。此產品涉及在將這些照片上傳到遠程RIYA 基於web的伺服器(在 那裡將臉部與其他臉部進行比較以找到匹配)之前，下載用於標識用戶本地計算機上照 片中臉部的軟體模塊。此產品是原型，因此不具有基於識別的自動照片共享特徵。該產 品也不具有用於使用戶能夠修正發生在任何自動臉部檢測和識別方法中不可避免的錯誤 的特徵。

發明內容
在本發明的一個方面中，提供了一種用於在數字圖像中識別一個或多個臉部的 方法，該方法的特徵在於(a)生成與一個或多個臉部的一個或多個候選區域相對應的一 個或多個臉部坐標；(b)基於臉部坐標來生成眼部坐標；(c)利用由臉部坐標和眼部坐標 定義的一個或多個投影圖像來檢測每個臉部；以及(d)將每個投影圖像與一個或多個已 知的投影圖像進行比較，其中提供用於定義投影圖像與已知投影圖像之間的最佳匹配的 相似度閾值。在本發明的另一方面中，提供了一種用於共享描繪一個或多個臉部的數字圖像 的方法，該方法的特徵在於(a)將多個計算機終端連結到計算機網絡，每個計算機終端 與個體相關聯；(b)將數字圖像連結到至少一個計算機終端；(c)允許至少一個計算機終 端在數字圖像上啟動臉部識別例程，該臉部識別例程產生其臉部被描繪在數字圖像中的 一個或多個人的列表，至少一個人是個體之一；以及(d)允許至少一個計算機終端啟動 用於將數字圖像傳播到與一個或多個人相關聯的計算機終端的共享例程。在本發明的另一方面中，提供了一種用於提供安全目標廣告的方法，該方法的 特徵在於(a)追蹤與註冊到電腦程式的個體相關聯的一個或多個人口統計屬性；(b) 基於該一個或多個人口統計屬性，從第一源獲取與一個或多個目標廣告相關聯的廣告指 針列表；(c)從第二源獲取一個或多個廣告；(d)從第一源刪除該一個或多個人口統計屬 性；以及(e)將廣告呈現給個體。在本發明的另一方面中，提供了一種用於在數字圖像中識別一個或多個臉部的 系統，該系統的特徵在於(a)與一個或多個臉部的一個或多個候選區域相對應的一個 或多個臉部坐標；(b)基於臉部坐標而生成的眼部坐標；(c)由臉部坐標和眼部坐標定義 的一個或多個投影圖像；以及(d)用於定義每個投影圖像與一個或多個已知投影圖像之間的最佳匹配的相似度閾值，該最佳匹配確定了對應於一個或多個臉部中每個臉部的身 份。在本發明的另一方面中，提供了一種用於共享描繪一個或多個臉部的數字圖像 的系統，該系統的特徵在於(a)連結到計算機網絡的多個計算機終端，每個計算機終端 與個體相關聯；(b)可操作以連結到至少一個計算機終端的數字圖像；(c)可操作以由至 少一個計算機終端啟動的臉部識別例程，該臉部識別例程產生其臉部被描繪在數字圖像 中的一個或多個人的列表，至少一個人是個體之一；以及(d)可操作以由至少一個計算 機終端啟動的共享例程，該共享例程將數字圖像傳播到與一個或多個人相關聯的計算機 終端。在本發明的另一方面中，提供了一種用於提供安全目標廣告的系統，該系統的 特徵在於(a)與註冊到電腦程式的個體相關聯的一個或多個人口統計屬性；(b)可操 作以基於該一個或多個人口統計屬性來提供與一個或多個目標廣告相關聯的廣告指針列 表的第一源；(c)可操作以提供一個或多個廣告的第二源；(d)用於從第一源刪除該一個 或多個人口統計屬性的裝置；以及(e)用於將廣告呈現給個體的裝置。在本發明的另一方面中，提供了一種用於在數字圖像中識別一個或多個臉部的 電腦程式產品，該電腦程式產品的特徵在於(a)包括軟體指令的計算機可讀介質； 以及(b)允許使計算機執行預定操作的軟體指令，該預定操作包括步驟⑴生成與一個 或多個臉部的一個或多個候選區域相對應的一個或多個臉部坐標；(ii)基於臉部坐標來 生成眼部坐標；(iii)利用由臉部坐標和眼部坐標定義的一個或多個投影圖像來檢測每個 臉部；以及(iv)將每個投影圖像與一個或多個已知投影圖像進行比較，其中提供用於定 義投影圖像與已知投影圖像之間的最佳匹配的相似度閾值。在本發明的另一方面中，提供了一種用於共享描繪一個或多個臉部的數字圖像 的電腦程式產品，該電腦程式產品的特徵在於(a)包括軟體指令的計算機可讀介 質；以及(b)用於允許計算機執行預定操作的軟體指令，該預定操作包括步驟⑴將 多個計算機終端連結到計算機網絡，每個計算機終端與個體相關聯；(ii)將數字圖像鏈 接到至少一個計算機終端；(iii)允許至少一個計算機終端在數字圖像上啟動臉部識別例 程，該臉部識別例程產生其臉部被描繪在數字圖像中的一個或多個人的列表，至少一個 人是個體中的一個；以及(iv)允許至少一個計算機終端啟動用於將數字圖像傳播到與一 個或多個人相關聯的計算機終端的共享例程。在本發明的另一方面中，提供了一種用於提供安全目標廣告的電腦程式產 品，該電腦程式產品的特徵在於(a)包括軟體指令的計算機可讀介質；以及(b)用 於使計算機能夠執行預定操作的軟體指令，該預定操作包括如下步驟⑴追蹤與註冊到 電腦程式的個體相關聯的一個或多個人口統計屬性；(ii)基於一個或多個人口統計屬 性，從第一源獲取與一個或多個目標廣告相關聯的廣告指針列表；(iii)從第二源獲取一 個或多個廣告；(iv)從第一源刪除一個或多個人口統計屬性；以及(v)將廣告呈現給個 體。就這一點，在詳細闡述本發明的至少一個實施方式之前，應當理解，本發明不 將其應用限制於如下描述中闡明或附圖中示出的構建細節以及組件安排。本發明能夠通 過其他實施方式以各種方式來實踐並完成。此外，應當理解，這裡所採用的措辭和術語是為了描述的目的，因此不應理解為限制本發明。


圖1示出了併入用於執行照片目標分發的社交網絡服務的本發明系統的特定實 施方式。圖2進一步示出了圖1中所示的系統，其中用戶添加隨時間來自各種設備的新數
字圖像。圖3示出了本發明的臉部識別方法，在其中一方面，其用於生成可與已知人的 籤名相比較的臉部「籤名」。圖4示出了在本地計算機系統存儲設備上的臉部資料庫中連結臉部檢測、眼部 檢測和臉部識別技術的結果。圖5示出了對等(peer)分組如何隨著已知人的列表的增長而隨時間增長和演進。圖6示出了用於修正可能由自動臉部檢測、眼部檢測和臉部識別步驟產生的錯 誤的潛在方法。圖7示出了用於在相同端分組中本發明用戶之間提供照片的自動選擇性傳播的 系統和方法。圖8示出了可以支持照片瀏覽以及由電腦程式管理的臉部資料庫的圖形化用 戶接口的示例實施方式。圖9給出了已知人的臉部圖像加上用於縮小照片的範圍的布爾運算符。圖10示出了由GUI提供的可選廣告顯示能力。圖11示出了根據本發明其中一方面的基於紋理的臉部檢測方法。圖12示出了根據本發明一方面的用於眼部檢測的方法。圖13示出了根據本發明一方面的臉部識別方法。圖14示出了用於在照片中隔離眼部的方法。圖15示出了本發明系統的示例配置。圖16示出了用於允許用戶確認出現在圖像中的臉部身份的接口。圖17示出了用戶可以用來刪除圖像中假陽(falsepositive)臉部檢測的方式。圖18示出了用戶可以為了提高檢測算法的精確度的目的、重新調整對應於圖像 中臉部的檢測到的眼部坐標的裝置。圖19示出了在圖像中手動給臉部加標籤的過程。圖20示出了視頻掃描方法，由此視頻中的幀被抽取出來並且在這些幀上執行臉 部檢測。圖21示出了本發明的一個方面，其中遠程web瀏覽器或行動裝置能夠支持訪問 代理伺服器，從而提供了到本發明功能的連接。圖22示出了假陽臉部檢測錯誤的刪除。
具體實施例方式概述本發明其中一個方面提供了支持圖像自動分發的網絡化計算機架構，該圖像與在網絡上操作計算機系統的多個個體有關。本發明其中另一方面提供了可操作以支持每個個體與在此提供的用於共享包括 圖像的信息的網絡化計算機架構對接的電腦程式。該電腦程式使得個體能夠上傳圖 像，包括具有一個或多個人的臉部描繪的圖像。該電腦程式可以執行臉部檢測技術， 用於檢測圖像中的一個或多個臉部，其可能會導致生成一個或多個臉部籤名，每個臉部 籤名對應於多個臉部中的一個。該電腦程式繼而可以訪問資料庫，其中資料庫將已知 人的列表與臉部籤名連結，從而使每個已知人與一個或多個臉部籤名相關聯。可以將每 個檢測到的臉部籤名提供給與對應的已知人相關聯的個體，或者在臉部籤名不與任何已 知人相關聯的情況下，信息可以由個體來提供。還可以向個體提供用於確認臉部籤名與 已知人之間關聯的裝置。本發明其中又一方面提供了用於基於圖像中描繪的臉部來生成臉部籤名的新方 法。還提供了用於減少在將識別的臉部籤名與連結到資料庫的一個或多個臉部籤名相關 聯過程中的錯誤率的裝置。本發明其中另一方面支持描繪臉部的圖像的自動選擇性分發。如果圖像中檢測 到的臉部和與這裡提供的網絡化計算機架構對接的人相關聯，則這裡提供的電腦程式 可以自動地將圖像傳輸至那個人的計算機來向其呈現。應當注意，術語「照片」和「圖 像」這裡可以互換使用。本發明其中又一方面提供了可以利用這裡提供的網絡化計算機架構操作的新的
廣告方法。網絡化計算機架構本發明其中一個方面提供了支持圖像自動分發的網絡化計算機架構，該圖像與 在網絡上操作計算機系統的多個個體有關。圖1示出了本發明的網絡化計算機架構的示 例實現。多個個體中的每一個可以通過可操作訪問網際網路(11)的計算機終端連接到因特 網(11)。網際網路(11)連接支持從連接到網際網路的設備傳輸和接收數字數據，每個所述設 備可以如下面所提供的進行操作。本發明其中另一個方面提供了可操作以允許每個個體與這裡提供的網絡化計算 機架構對接的電腦程式。圖15示出了本發明系統的示例配置。本發明的用戶(13)可 以註冊、下載和安裝該電腦程式到其計算機系統(15)。電腦程式可以在其一個方面允許用戶(13)邀請本發明的其他用戶並且與其建 立關係。該電腦程式可以在其另一方面從將廣告遞送給電腦程式的廣告web伺服器 (23)集合請求廣告，以用於在圖形用戶接口( 「GUI」 )的各個部分顯示給用戶(13)。 電腦程式可以在其另一方面將照片和關於那些照片的元數據傳輸至其他用戶或者第三 方網站(25)，諸如FLICKR 和FACEBOOK 。這些第三方網站(25)可以通過公開應 用編程接口(API)來支持從客戶端軟體或者其他基於web的應用連接到它們的服務，從 而鼓勵使用它們的網站。支持本發明實現的電腦程式的組件可以包括處理引擎，其可以在作業系統上作為後臺進程來運行。該處理引擎可以掃描用 戶向本地和/或遠程計算機上的特定文件夾上傳或拷貝的新數字照片，該特定文件夾針 對照片而被監測；或者當可移動介質(諸如，存儲卡)插入計算機時，該處理引擎可以自
8動地檢測新照片。當檢測到新的照片時，可以執行下文詳述的臉部檢測、眼部檢測和臉 部識別步驟。其結果可以被存儲到資料庫中，諸如下文詳述的資料庫。應當注意，該處 理引擎可以在遠程計算機上執行，諸如可以使用軟體即服務模型將本發明的電腦程式 作為服務提供的計算機。GUI,其可以向用戶提供以下能力導航照片、通過標識已知人來訓練應用、 編輯和修正引擎的自動結果、基於搜索標準創建和修改相冊、添加對等分組成員以及將 相冊發送到第三方網站，每個此類動作將在下文詳述。資料庫(例如，SQL資料庫)，其可以位於用戶的計算機上，並且可以包含下面 描述的臉部檢測、眼部檢測和臉部識別步驟的結果。資料庫還可以包含針對已知人與相 關聯的臉部圖像之間的關係以及照片和人的元數據。GUI、處理引擎和資料庫可以在一個或多個設備上提供。圖21示出了本發明的 一個方面，其中遠程web瀏覽器或行動裝置(83)能夠訪問代理伺服器(81)，從而提供到 本發明功能的連接。GUI可以被提供在諸如PDA或蜂窩電話的行動裝置(83)上，並且 與運行在網站、伺服器或者用戶的桌上或膝上計算機上的遠程引擎來回傳輸信息。在這 種實現中，PDA或蜂窩電話可以配有用於瀏覽圖像的裝置，和用於上傳利用併入該設備 的照相機捕獲的圖像的裝置。上傳可以根據下面更加完整描述的一般性上傳過程執行。由利用電腦程式的用戶執行的步驟可以包括
指定文件夾以監測新的數字照片。通過標識與數字照片中找到的臉部相關聯的名稱和元數據來訓練應用。修正由應用產生的錯誤；假陽和假陰(false negative)。通過指定包括數據範圍、已知人(經由臉部選擇)的布爾組合、EXIF標籤和通 用標籤的搜索標準來創建相冊(照片的集合)。可選地，用戶可以將單個照片或照片分組 拖放到該相冊。一旦創建了相冊，用戶繼而可以指定各種輸出選項包括第三方網站，諸如Flickr 和Facebook 。幻燈片格式，諸如Microsoft Powerpoint 文件。文檔格式，諸如Adobe PDF 文件。邀請其他應用用戶加入到對等分組；指定關於對等分組中那些關係的選項；以 及接收加入另一用戶的對等分組的邀請。網絡化計算機架構還可以包括一個或多個伺服器用於支持這裡所述的技術。例 如，這裡提供的廣告方法可以由伺服器支持。可以在一個或多個伺服器系統上提供的服 務器可以包括支持伺服器功能的伺服器程序，包括註冊伺服器，其具有資料庫，該資料庫支持電子郵件地址列表、相關聯日期和 其他管理數據的關聯。註冊伺服器可以向用戶呈現諸如網頁的接口，用於收集註冊數據 繼而將此數據寫入到資料庫。繼而可以向用戶給出用於安裝上述電腦程式的裝置，諸 如提供用於下載客戶端軟體的URL。廣告匹配伺服器可以接受包含用戶人口統計信息的加密請求。這種伺服器也可 以通過多種格式(諸如JPG、.GIF、.SWF等)從廣告者接收廣告。對於提交到應用的 每個廣告，還可以記錄廣告的目標人群。廣告請求可以基於目標人群數據來與廣告的庫存進行匹配。可以返回指針(唯一 ID號的指針)，用於將廣告匹配於請求客戶端軟體。廣告遞送伺服器可以接受包含廣告指針的加密請求。應用可以找到該指針所引 用的廣告，並且將該廣告返回給請求客戶端軟體。對等分組再次參考圖1，本發明的第一用戶(13)可以從網站下載電腦程式，或者配有 用於安裝該電腦程式的任何其他安裝手段。第一用戶(13)可以安裝電腦程式，該計 算機程序可以在他們運行作業系統(諸如，MICROSOFT WINDOWS 、APPLE 、或 LINUX 作業系統)的膝上或桌上計算機系統(15)上支持本發明的系統。第一用戶(13)可以定義對等分組中的好友(17)，這通過向本發明指定他們的電 子郵件地址來實現。電腦程式隨後可以發送電子郵件邀請，請求好友(17)也下載或以 其他方式支持該電腦程式安裝。在安裝之後，好友(17)的對應電腦程式可以向該好 友(17)呈現用於加入由第一用戶(13)發起的對等分組的未決請求。可以要求現在可能 是第二用戶(17)的好友(17)批准到對等分組的連接。一旦批准，第一用戶(13)和第二 用戶(17)運行的電腦程式現在可以根據這裡所述的圖像共享方法來交換照片以及關於 那些照片和關於已知人的元數據。對等分組可以通過第一用戶(13)或第二用戶(17)邀請更多的人(19、21)加入 到對等分組得到擴充。第二用戶(17)也可以創建沒有第一用戶(13)參與的新對等分組， 並且單獨地對對等分組進行擴充。人與對等分組之間可能存在「多對多」的關係。因 此，第一用戶(13)可以是多個對等分組的成員，第二用戶(17)可以是多個對等分組的成 員。這使得與基於對等分組成員關係的其他用戶共享照片變得容易。如下面更加完整地描述，本發明其中一個方面支持已知人的列表。如上所述， 可以將已知人有選擇地添加到一個或多個對等分組。對等分組可以支持共享照片、關於照片的元數據和已知人。GUI可以支持用戶 創建、修改和刪除對等分組。GUI還可以支持將臉部圖像或已知人的縮略圖關聯至現有 對等分組，例如，通過使用戶能夠將臉部圖像或縮略圖拖拽到接口的表示對等分組的區 域上，諸如區域或圖標。電腦程式每次可以生成一個邀請，用於將好友添加至對等分組。備選地，如 果被邀請者沒在已知人的列表中，那麼用戶可以手動地將被邀請者的元數據添加至對等 分組。可以將對個體的邀請經由電子郵件發送至被邀請者。對於在他們的計算機系統上 已經安裝了本發明的電腦程式的個體，一旦該電子郵件被接收，便提示被邀請者接受 邀請。可選地，要求個體將代碼鍵入電腦程式來接受邀請。如果好友還沒有在他們的計算機上安裝本發明的電腦程式，那麼一旦該電子 郵件被接收，便可以包括下載連結或以其他方式允許該電腦程式的安裝，並且可以提 供用於將其安裝到計算機系統上的嚮導。在成功安裝了電腦程式之後，可以向新用戶 呈現邀請，並且新用戶可以根據上所述步驟接受加入對等分組的邀請。一旦被邀請者接受了邀請，便可以將被邀請者添加到對等分組。更新可以通過 網絡化計算機架構進行傳播，以使對應的對等分組信息能夠在與該對等分組相關聯的每 個人的電腦程式中得到更新。根據如下所述的臉部檢測技術，對等分組可以支持信息在網絡化計算機架構之間的自動選擇性傳播。該傳播技術在下面還進行了更加完整描述。臉部檢測本發明其中一個方面提供了用於基於圖像中描繪的臉部來生成臉部籤名的新方 法。圖3示出了根據本發明其中的一個方面的臉部識別方法。用戶(13)可以將圖像提 供給可操作來支持電腦程式執行的計算機系統(15)。電腦程式可以經由作業系統通 知來監測與計算機系統(15)相關聯的文件夾，該作業系統通知可以在添加新文件或修改 現有文件時生成。當發現(28)新圖像時，可以將這些圖像排隊(29)用於處理。照片中的臉部可以通過使用多個技術中的任意一種技術進行定位(31)，這些技 術可以包括生成臉部坐標，其可以定義臉部周圍的包圍盒；基於臉部坐標確定眼部坐 標；以及基於臉部和眼部坐標並且通過使用臉部籤名技術來創建臉部的臉部籤名(33)。 臉部籤名技術可以是主元分析(PCA)，這對於本領域技術人員是已知的。可以將臉部籤 名與已知的臉部籤名進行比較(34)，並且可以將照片自動地且選擇性地傳播至其他用戶 (36)。下面提供了本發明這些方面的進一步細節。圖4示出了在本地計算機系統存儲設備上的臉部資料庫中連結臉部檢測、眼部 檢測和臉部識別技術的結果。該結果可以是相關聯對象的坐標。在臉部檢測的情況下， 坐標可以利用左上、右上、左下和右下像素位置來在原始照片上定義臉部(37)的輪廓。 在眼部檢測的情況下，坐標可以表示左眼和右眼的瞳孔位置(35)。在臉部識別的情況 下，其結果可以是臉部籤名(42)。本發明的圖形用戶接口(GUI)可以顯示每張圖像(35)上的臉部(37)和眼部(39) 的位置。如下面更加完整的描述，本發明在其中一個方面提供了已知人的列表。如果與 檢測的臉部相對應的臉部籤名(42)與已知人的列表中列出的人相關聯，那麼GUI可以使 用在圖像上或周圍的圖形符號來向用戶指出這種關聯。否則，GUI可以使用在圖像上或 周圍的另一圖形符號來向用戶指出不存在這種關聯。在圖4描繪的示例中，已知的臉部 可以利用複選標記(41)標識，而未知臉部利用記號「X」 (43)標識。最初，所有的臉部對於系統可能都是未知的，直到用戶「訓練」本發明來識別 臉部。訓練方法可以涉及用戶。經由本發明的GUI，用戶可以使用滑鼠或其他輸入設 備、通過點擊臉部周圍可視包圍盒上的任何位置並且將臉部拖拽到人名(或代表該人的 圖標)上，來標識屬於指定人的臉部。備選地，用戶可以將代表該人的圖標拖拽到目標 臉部上。在另一備選中，用戶可以點擊可視包圍盒上的任何位置並且選擇用於標識先前 未知的臉部的功能，該功能可以使用戶能夠鍵入與該人有關的數據，諸如姓名、電子郵 件地址和其他細節，這可以統稱為對應於該人的元數據。這種訓練步驟可以為每個已知 人執行一次。為臉部創建的籤名繼而可以支持臉部資料庫中所有未知的臉部籤名與經標 識的人進行比較。下面更加完整地描述了用於比較的方法和用於臉部檢測、眼部檢測和 臉部識別的方法。本發明其中又一方面通過對未知的臉部進行整理，使得用戶可以標識最有可能 與單個個體相關聯的經檢測臉部的分組，而促進了最佳訓練階段。例如，可以使用算法 來基於臉部籤名將相似的臉部聚集在一起。即便在臉部不與臉部資料庫中的個體相關聯 時，相似度仍可以基於他們臉部籤名的某些方面。因此，用戶可以標識屬於特定已知人 的臉部簇，從而最佳地執行上文所述的訓練方法。
臉部與已知人的關聯圖16示出了用於允許用戶確認出現在圖像中的臉部身份的接口。圖像中的臉部 籤名針對與已知人相關聯的臉部籤名可以在相似度閾值中。在這種情況下，可以在檢測 的臉部與已知人之間進行關聯。下面更加完整地描述了一種用於比較臉部籤名的方法。如果臉部與已知人之間存在關聯，那麼可以在資料庫中創建該臉部籤名與已知 人之間進一步的關聯。可以將針對每個已知人的每個先前標識的臉部與由系統處理的每 個新的臉部進行比較。當查看與特定的已知人有關的臉部時，可以顯示由本發明生成的 任何猜測到的匹配，並且可以要求用戶確認哪些匹配是正確的。隨著標識的臉部的數量隨時間而增多，將新的臉部與正確的人相匹配的整體精 確度可以提高，因為通常將會存在具有每個新臉部的人的許多不同視圖。根據這裡提供 的用於比較臉部籤名的方法，假陽的數量通常會隨時間減少。圖5示出了對等分組如何隨著已知人的列表增長而隨時間增長和演進。由於用 戶可以不斷地將未知的臉部與已知人相關聯，所以已知人的列表(101)隨著用戶使用本 發明而增長。傳播本發明其中另一方面提供了一種可操作以允許每個個體與這裡提供的、用於共 享圖像的網絡化計算機架構對接的電腦程式。圖2進一步示出了本發明的系統。用戶 (13)可以捕獲數字圖像並且周期地將它們從一個或多個圖像設備存儲系統(27)拷貝至計 算機系統(15)。用戶(13)可以通過使用如上所述GUI將文件夾的名稱輸入到計算機程 序，來配置該電腦程式以針對新圖像而監測計算機系統(15)上的特定文件夾。根據本發明提供的用於臉部識別的新方法，本發明其中一個方面支持在對等分 組之間到其臉部在圖像中描繪的用戶的自動選擇性傳播。這在下面更加完整地進行描 述。檢測優化本發明其中一個方面提供了用於根據本發明的其他方面優化臉部檢測的新技 術。圖6示出了用於修正可能從自動臉部檢測、眼部檢測和臉部識別步驟產生的錯誤的 潛在方法。本發明使用使用戶通過GUI來修正這些不可避免的錯誤的新方法。圖17示出了用戶可以用來刪除圖像中假陽臉部檢測的方式。在臉部檢測和眼部 檢測階段期間，可能存在假陽錯誤。在原始照片圖像實際上沒有臉部，而檢測技術卻確 定存在臉部時，可能出現這些錯誤。為了修正這些錯誤，GUI可以使用戶能夠通過使用 滑鼠或其他輸入設備將臉部(103)(該臉部由圖像上的包圍盒標識)移動到刪除區域(其 可以由回收站或其他代表性圖標表示)上、通過當該臉部高亮時按下鍵盤上的刪除鍵、 或者通過選擇與該臉部刪除相對應的菜單選項(105)來刪除假陽錯誤。圖18示出了用戶可以為了提高檢測算法的精確度的目的、重新調整對應於圖像 中臉部的檢測到的眼部坐標的裝置。在臉部檢測和眼部檢測階段期間，可能就眼部位置 坐標(107)存在錯誤。本發明的方法可以確定眼睛瞳孔位置，並且將眼部坐標(107)可視 地顯示在圖像上，但是生成的坐標可能不是最理想的，這是因為在某些情況下(例如， 有太陽眼鏡的臉部)其可能是近似值。GUI可以允許用戶手動地重新調整眼部坐標(107) 的位置，例如通過利用滑鼠或其他輸入設備來移動代表眼部位置的圖標(109)。以這種方
12式，可以提高本發明的精確度和性能，因為眼部坐標(107)通常用於生成針對臉部的臉 部籤名。因此，眼部坐標(107)的改變可以帶來臉部籤名的改變，其可能對將籤名與其 他已知的臉部相關聯造成顯著影響。圖22示出了假陽臉部檢測錯誤的刪除。在臉部識別階段期間，可能存在關於臉 部與已知人的不正確關聯的假陽錯誤。如果本發明將臉部籤名匹配到已知人並且這不是 正確的關係，那麼可能產生假陽錯誤。GUI可以允許用戶將臉部圖像(111)(縮略圖)拖 拽到正確已知人(113)的臉部圖像(縮略圖)上。本發明繼而可以修改資料庫中的連結， 以給出臉部與已知人之間新的關係。還可以將舊的關係刪除。另一類錯誤是假陰。可能存在兩種分類為假陰錯誤的情形，其在圖6中示出1)在確實存在臉部(47)但系統沒有在圖像中檢測到臉部的情況下，GUI可以 允許用戶使用滑鼠或其他輸入裝置在該臉部周圍畫出包圍盒，繼而通過利用代表眼部位 置的圖標給出兩隻眼的位置。系統繼而可以使用手動鍵入的信息來生成臉部籤名，並且 執行這裡所提供的臉部識別方法。備選地，系統可以允許用戶手動地將標籤與臉部相關 聯，而不涉及臉部檢測或識別過程。2)在如下情況下也可能存在假陰錯誤，即，系統檢測到臉部，但該臉部籤名與 任何已知的臉部籤名都不匹配，即便該臉部是已知人的臉部。如果臉部的籤名與該特定 人的任何其他臉部籤名之間的區別非常不同，那麼可能會發生這種情況。在這種情況 下，系統可能不會自動地檢測到該關係，並且臉部可能依然未知。在這種情況下，GUI 可以允許用戶將臉部圖像拖拽(49)到已知人的臉部圖像上。通過這樣做，系統可以將臉 部圖像連結到資料庫中已知人。通過來自用戶的這種協助，系統現在具有了另一臉部籤 名，其用於將來與新的或未知的臉部籤名進行比較。這可以改進本發明的準確度。圖19 進一步示出了在圖像中手動給臉部加標籤的過程。圖像的自動選擇性傳播圖7示出了用於在本發明的用戶之間提供照片的自動選擇性傳播的系統和方 法。當作為對等分組成員的已知人的臉部在照片(53)中被識別出來時，可以對照片(53) 進行排隊，以用安全的方式通過網際網路(11)傳輸到該對等分組成員。例如，第一用戶 (13)可以將包含了作為第二用戶(17)(其也是對等分組成員)的已知人的臉部的照片上傳 到其計算機系統(15)。在這種情況下，當系統確定臉部匹配時，可以將照片(53)排隊以 便傳輸。在傳輸之前，可以將照片(53)縮小至較小版本，並且可以將元數據包括到數字 照片文件中。在大小上的相應減小可以優化帶寬的使用。第二用戶(17)下次訪問其計算機系統(51)上的電腦程式時，他可以接收示出 了原始照片的縮小圖像和相關聯的元數據的確認請求。可以向第二用戶(17)提示其是否 願意將照片(55)拷貝到其計算機系統(51)上。如果第二用戶(17)的回答是肯定的，那 麼系統可以將完全圖像連同照片(55)的元數據以及來自該照片的已知的臉部和籤名、通 過網際網路從第一用戶的計算機系統(15)拷貝到第二用戶的計算機系統(55)。本發明的另一新方面使用現有的社交網絡服務和基於web的照片存儲站點來與 對等分組成員共享照片。本發明可以將單個照片或照片分組傳輸到基於目標web的服 務。所傳輸的照片可能已經包含了來自本發明的、關於出現在照片中的人的元數據。例 如，社交網絡站點FACEBOOK 提供了用於上傳照片、共享照片以及手動給照片加標籤來指示哪些好友出現在照片中的工具。加標籤過程是手動的並且十分耗時。本發明可以 使這種上傳過程自動化，並且消除手動給照片加標籤的需求，從而向社交網絡用戶提供 了顯著的益處。可以將本發明等同地適用於其他社交網絡服務和基於web的照片存儲站 點。如上所述，用戶還可以通過網際網路、直接從併入了照相機的行動裝置上傳照片。本發明的另一新方面在於已知人的初始列表可以從該用戶的社交網絡帳戶加 載，從而進一步節省了配置本發明提供的系統所需的時間。圖8示出了可以支持照片瀏覽以及由電腦程式管理的臉部資料庫的GUI的示 例實施方式。在此示例中，示出了具有可以出售給廣告者的可選橫幅廣告(57)的用戶接 口。用戶可以從相冊(125)中選擇照片(123)，並且GUI可以顯示與照片(123)中找到 的已知人(117)相對應的縮略圖(121)。還可以使用複選框(119)來指示已知人(117)在 照片(123)中的存在。圖9中描繪的示例示出了已知人的臉部圖像，以及用於應用如下布爾搜索的復 選框，諸如與已知人的名稱或關於圖像的元數據相關聯的「與」、「或」和「非」選 擇。本發明的新特徵在於通過允許用戶點擊已知人(59)的臉部的縮略圖，以及將布爾 運算(61)應用於由複選框支持的每個臉部，以可視的方式選擇照片的能力。GUI的這個 方面通過組合針對全體照片和臉部資料庫應用的各種搜索標準和過濾器來支持相冊的創 建。電腦程式提供的搜索標準可以包括文件夾選擇(65)，指示照片圖像在計算機存儲設備上的文件夾位置或文件名 稱；已知人(67)，提供了與已知人的臉部相關聯的布爾運算(「與」、「或」或 「非」)的選擇；日期範圍(69)，提供了與要被包括到特定相冊中的照片圖像相對應的日期範圍 的選擇；EXIF數據，提供了基於標準照片相關信息的選擇裝置，該相關信息通常在照片 拍攝過程期間由照相機附加到該照片。為相冊選擇照片的備選方法可以向用戶提供使用GUI將單個照片或照片分組拖 放到相冊(63)的名稱上，或者以其他方式使照片與相冊(63)相關聯的能力。相冊(63)可以是保存為該相冊名稱下的邏輯實體的照片集合。用戶可以 經由GUI指定其想將相冊發送到的各種目標文件類型或位置(71)，包括幻燈片， MICROSOFT POWERPOINT 或者其他呈現電腦程式；ADOBE PDF 或其他文檔 文件；基於web的共享站點，諸如FLICKR 或FACEBOOK 或者第三方印刷服務。廣 告方法本發明其中又一方面提供了可以與這裡提供的網絡化計算機架構一起操作的新
廣告方法。圖10示出了由GUI提供的可選廣告顯示能力。這是本發明的新特徵，其提供了 用於基於用戶人口統計定位廣告同時維護用戶隱私的安全方法。GUI可以向新用戶(13) 提示人口統計信息最少可以包括性別、年齡和位置數據。可以將此信息本地存儲在運 行電腦程式的計算機系統(15)上。可以將請求周期地發送到基於web的伺服器(73)，以返回廣告指針列表。請求可以包含針對用戶的人口統計數據的加密傳輸。請求也可以 使用由註冊伺服器(77)發布的證書進行籤名。後一步驟可以驗證請求的可靠性。基於 web的伺服器(73)可以引導用於基於請求用戶(13)特定的人口統計信息、將與目標人口 統計信息相關聯的廣告匹配給請求用戶(13)的過程。可以將指針列表(即，針對存在於 不同廣告伺服器上的廣告的引用)返回給請求用戶的計算機系統(15)，並且傳遞至計算 機程序。電腦程式繼而可以將另一請求發布到不同的基於web的伺服器(75)，以下載 由指針引用的廣告。基於web的伺服器(73)繼而可以丟棄人口統計數據，以保護個體用 戶的隱私。通過將用於執行廣告匹配過程的基於web的伺服器(73、77)與實際遞送廣告 的伺服器(75)分離，以及通過不把用戶的個人人口統計數據存儲在基於web的伺服器 (73，77)上，能使個人信息與其他方式相比變得更加安全。廣告遞送伺服器(75)可以存 儲關於廣告的信息以用於計費目的，但是該數據中不包括個人信息。這是使用人口統計 數據、以安全方式將廣告提供給任何web瀏覽器或軟體程序的新實現。其他實現本發明的另一能力可以允許電腦程式從中央註冊伺服器接收數字臉部圖像或 籤名。例如，試圖尋找個體(諸如丟失的兒童或通緝的罪犯)的組織可以張貼個體的臉 部數據。已經選擇共享其臉部資料庫的那些用戶可以下載支持將該臉部數據與他們的臉 部資料庫進行自動比較的數據。如果在目標個體與特定用戶已知人之間找到匹配，那麼 可以向該組織發出警報。這可以使該組織能夠確定該個體的最近或當前位置。還可以使 該組織能夠確定個體的姓名，這是因為個體的名稱可能列在用戶已知的一個或多個人的 列表中。本發明提供的又一實施方式允許個體找到與他們自身有相似面部特徵的其他 人。這種應用例如對於尋找其雙胞胎之一的人很有用。在這個實施方式中，用戶可以提 交包括其臉部的圖像的照片，本發明可以從中生成臉部籤名。繼而可以將該臉部籤名與 先前已經上傳的其他個體的臉部籤名進行比較。基於預定的相似度閾值，可以將一個或 多個相似臉部報告給其臉部匹配的一個或所有個體。根據此實施方式的系統可以提供供 用戶批准與其他人聯繫的裝置。如果匹配的個體批准了這種聯繫，那麼其可以選擇彼此 之間發送消息。可以部署相似的實施方式，作為約會服務的一部分，以基於相貌來匹配 人。臉部檢測、眼部檢測和臉部識別本發明其中另一方面提供了用於基於圖像中描繪的臉部來生成臉部籤名的新方 法。臉部籤名可以通過使用包括了臉部檢測、眼部檢測和臉部識別的步驟的技術來生 成。臉部檢測本發明其中一個方面提供了用於將基於紋理的臉部檢測算法用作臉部檢測基本 方法的方法。基於紋理的臉部檢測算法的一個示例是已知為OPENCV 的例程的開源庫。基於紋理的臉部檢測算法針對特定面部姿勢(例如扭轉(rolled)的正面臉部)可 能具有低真陽(truepositive)比率。這可能是由於訓練紋理模式的正面臉部圖像有別於普通數字照片中找到的變化的面部姿勢。事實上，在用於訓練臉部檢測算法的紋理模式與 在其上應用該算法的目標照片中的姿勢類型之間存在不匹配會導致較高的錯誤率。臉部 檢測正面臨兩個眾所周知挑戰，包括降低在扭轉的正面臉部的情況下的假陰錯誤，以 及在不提高假陰錯誤的同時降低假陽錯誤。本發明通過應用包括用以提高臉部檢測過程的準確度的三個步驟的新技術而增 強了基於紋理的臉部檢測。在第一步驟中，提供已知膚色比率測試在基於紋理的臉部檢 測器上的新穎應用，用於改進該檢測器的精度。在第二步驟中，通過將經檢測的臉部對 象區域的大小縮小至預定大小來提供用於減小假陽臉部對象的新方法。在第三步驟中， 提供了新的臉部定向補償方法。圖11示出了根據本發明其中一方面的基於紋理的臉部檢測方法。在基於紋理的臉部檢測方法的一個特定實現中，在第一步驟中，基於紋理的臉 部檢測器(131)最初可以設置有高目標真陽比率，該高目標真陽比率具有相應的高假陽 比率。基於紋理的臉部檢測器將整個照片圖像作為輸入來運行。這種運行的結果可以給 出照片中潛在臉部對象的列表。對於彩色照片，可以在潛在臉部對象上執行膚色檢測測 試(133)以降低假陽比率。這種膚色測試可以比較包含膚色的臉部對象區域與對象的全 部區域的比率。如果該比率沒有超過預定閾值，那麼可以跳過(135)該潛在臉部對象。在第二步驟中，可以將從第一步驟產生的經檢測的臉部對象區域縮小至預定大 小(諸如，44X44像素)。在這些經縮小的區域上，可以再次運行(137)基於紋理的臉 部檢測器。這個步驟的目的是減少假陽臉部對象。通過在小尺寸(諸如44X44像素) 輸入區域上運行，可以減少來自非臉部的不正確紋理模式的假陽錯誤同時可以保留真陽 紋理模式。這可以使得臉部檢測的假陽比率減少，同時保留了真陽比率。在第二步驟中 被認為是臉部的臉部對象可以作為真臉部被接受(143)。那些沒有通過第二步驟的臉部對 象可以被傳遞到第三步驟。在第三步驟，提供臉部定向補償方法。在上述第二步驟中，臉部檢測在該圖像 的較小區域上執行，可以降低在扭轉臉部情況下的真陽比率。扭轉的臉部中的紋理模式 可能由於第二步驟中應用的大小縮小而被臉部檢測器認為是非臉部。為了保留在扭轉的 臉部情況下的真陽比率，臉部定向補償(139)可以與臉部檢測一起執行。在這種方法 中，將本地圖像區域以遞增的角度進行旋轉，並且每個角度實例可以通過臉部檢測器來 運行。一個示例實現可以將從距縱軸-20度開始將圖像旋轉2度，並且重複旋轉直到距 縱軸+20度。如果經旋轉的臉部區域被識別並且存在於具有連續遞增角度的實例中，那 麼可以將該本地圖像區域確定(141)為真臉部。對基於紋理的臉部檢測算法的這些修改可以顯著地降低假陽錯誤比率。眼部檢測圖12示出了根據本發明的一個方面用於眼部檢測的方法。該眼部檢測方法應用 了新技術來提高在經檢測臉部區域中檢測瞳孔位置的準確度。第一步驟可以是將整個臉 部區域縮小至可能包含真實瞳孔/眼部位置的較小區域(「眼部圖」)(145)。可以使用 公式來從眼部區域中裁剪出眼部圖區域。例如，用於裁剪眼部圖區域的公式可以是左邊 移除.23w、右邊移除.23w、底部移除.55h和頂部移除.30h;其中w是臉部區域的寬度， h是臉部區域的高度。圖14A示出了用於從臉部區域裁剪眼部圖區域的方法的特定實施方式。此外，如果在特定角度實例上於臉部檢測方法的第三步驟中檢測到臉部，那麼 可以將角度旋轉應用(147)到眼部圖區域來支持眼部位置的更加精確的選擇。圖14B示出了可以改變用於裁剪眼部圖區域的公式，以確保眼部圖區域足夠 大，從而確保良好的瞳孔檢測結果。一旦眼部圖區域進行了裁剪，眼部圖區域的大小繼而可以重新調整至固定大小 (諸如80X80像素)，使得可以應用固定的模板色差方法來確定候選眼部位置。這種方 法可以是基於瞳孔較之於眼部圖區域周圍的區域的較深濃度。可以將色彩濃度圖像的中間設置成濃度圖中的零/黑(151)，以移除通常由於眼 鏡的鏡片和鏡框反光所產生的潛在瞳孔候選。圖14C示出了這種過程。色差圖像可以從色彩濃度圖像中獲得，繼而可以通過閾值過濾器，使得只有小 部分眼部區域是白色的(例如，可以應用2%的閾值)(153)。接下來，可以應用「最適 合」方法來選擇具有最高色差(左側和右側)濃度的眼部位置。可以將該最佳候選瞳孔 位置坐標傳遞(155)到本發明的臉部識別方法。臉部識別圖13示出了本發明一個方面的臉部識別方法。臉部識別通常可以通過預處理 (157)、投影(159)、距離計算(163)和聚集(167)來執行。臉部識別方法可以採用主元 分析(PCA)。PCA是已知的方法，因為其是從混亂的數據集中抽取相關信息的簡單、非 參數化方法，因此大量地用於各種形式的分析。鑑於個人照片會因大多數主體可能傾向於直接看照相機而可能具有姿勢上的略 微改變，本發明可以通過新的方式來採用PCA，該方式克服了其與對主體照明和姿勢高 度敏感有關的傳統問題。本發明可以利用描繪特定人的照片集可能以各種姿勢和照明條 件進行拍攝這樣的事實。本發明提供了用於聚集目標未知臉部和與每個已知的人相關聯 的此多個臉部之間的比較的方法。可以首先將預處理(157)應用於圖像。可以將作為輸入提供給臉部識別階段的 臉部區域和眼部坐標用於正則化臉部區域。正則化過程可以包括轉譯、旋轉和縮放臉部 區域至預定模板大小。正則化過程可以使用眼部坐標作為參考點，使得可調節臉部區域 圖像以將眼部坐標置於特定的圖像像素上。繼而可以將標準固定的蒙板(mask)處理應用 到圖像以過濾掉非臉部部分，該標準固定的蒙板處理潛在地將臉部區域限制到橢圓內的 區域。可以使用單調化(flattening)處理來確保像素濃度在圖像上是空間均勻的，該單調 化處理涉及在臉部區域中的像素濃度上運行二維線性回歸。最後，可以在灰度級域中執 行直方像均衡化(圖像處理方法對於本領域技術人員是已知的，由此圖像的對比度 可以利用圖像的直方圖進行調節)。繼而可以將投影(159)應用於圖像。正則化臉部區域的結果像素可以通過基於 PCA的公式，以創建由本發明用作臉部籤名的PCA向量。PCA向量可以包括由從大量 一般圖像中抽取的主元產生的投影圖像。根據這種方法創建的臉部籤名可以是給定維數的實數的數組(來自PCA向量)。 雖然向量空間的精確維數可以適應性確定，其最大值設置為捕獲例如輸入圖像能量的 95%的值，但是使用的默認值可以為50-100範圍內的維數。
17
最後，可以應用循環(161)來將已知人與未知臉部進行匹配。可以將每個臉部 籤名(表示為數組)利用線性或非線性分類邏輯與任何其他臉部籤名進行算術地比較，以 確定距離值(163)。例如，可以通過計算正則化內積距離來比較兩個籤名。為了將臉部同與已知人相關聯的所有臉部進行比較，可能會進行所有個體的一 對一比較，繼而可以將所有結果用於接下來的步驟，或者可以使用通過與某些閾值比較 確定為最佳匹配的集合。選擇的閾值可以被這樣選擇，以使得平均可以保留在將臉部與 不匹配的人進行比較時所獲得距離的一半。可以將某些形式的聚集用於結合在先前步驟中獲得的距離值的集合來確定臉部 與已知人之間的距離。這種聚集可以是距離值(169)的幾何平均的計算。幾何平均可以 是類似於算術平均的求平均技術，但是幾何平均可以通過將要平均的N個數相乘繼而將 乘積的Nth方根作為期望的平均而計算。在臉部與每個已知人之間的最接近匹配可以通 過計算在該臉部與資料庫中每個已知人之間的這種聚集距離(167)並且選擇最小距離來 找到。最後，可以將最接近的匹配距離與靜態或動態確定的閾值相比較(171)，以降低 假陽匹配的比率。如果使用動態選擇的閾值，那麼此閾值可以這樣確定首先，假設在 將臉部與具有N個相關聯的臉部的不匹配的人相比較時獲得的聚集距離值是正態分布的 (對於N的每個可能值)，繼而使用逆累積正態分布函數來計算確保在平均上、未知臉部 的固定最大數目或固定比率錯誤地匹配到已知人的閾值。隨著與每個人相關聯的臉部數 目N的改變，此閾值因人而異。這種動態閾值計算的優勢包括可以將固定的最大數量 (或比率)保持儘可能小，以在為用戶保留可接受的真陽匹配級時限制假陽匹配。隨著連結到本地臉部資料庫中已知人的臉部籤名數量的增長，可以提高本發明 在要處理的未來照片中自動檢測已知人的準確性。這是本發明新的特徵。本發明可以通過確定針對來自已知人的分組中的先前標識的臉部的最接近匹配 來認識臉部。本發明的優勢是隨著連結到本地臉部資料庫中已知人的臉部籤名數量的 增長，可以提高本發明在要處理的未來照片中自動檢測認識的人的準確性。視頻掃描圖20示出了視頻掃描方法，由此對視頻中的幀進行抽取，並且在這些幀上執行 臉部檢測。可以設置數量N(其中N是可調的)，使得可以針對視頻中作為個體照片圖像 (183)的每N個幀(181)來掃描視頻，其中可以應用先前提到的技術(185)來檢測和識別 臉部和已知人。視頻繼而可以根據這裡提供的技術進行傳播。
權利要求
1.一種用於在數字圖像中識別一個或多個臉部的方法，所述方法包括a.生成與一個或多個臉部的一個或多個候選區域相對應的一個或多個臉部坐標；b.基於所述臉部坐標來生成眼部坐標；c.利用由所述臉部坐標和所述眼部坐標定義的一個或多個投影圖像來檢測每個臉 部；以及d.將每個投影圖像與一個或多個已知投影圖像進行比較，其中提供用於定義所述投 影圖像與所述已知投影圖像之間的最佳匹配的相似度閾值。
2.根據權利要求1所述的方法，其特徵進一步在於，生成所述臉部坐標是通過a.啟動第一基於紋理的檢測例程，以檢測一個或多個候選臉部，每個候選臉部具有 臉部坐標；b.向所述一個或多個候選臉部應用膚色檢測測試，以定義所述一個或多個候選臉部 的子集；c.將所述子集的臉部坐標所定義的大小縮小至預定大小，以定義臉部對象；d.對所述臉部對象啟動第二基於紋理的檢測例程，以定義真陽的臉部對象的集合和 不確定的臉部對象的集合；以及e.旋轉所述不確定的臉部對象，以定義其他真陽的臉部對象。
3.根據權利要求2所述的方法，其特徵進一步在於，如果所述數字圖像是彩色圖像，則a.在所述數字圖像中檢測膚色與非膚色的比率；以及b.如果所述比率超出了閾值，則確定所述數字圖像不包括臉部。
4.根據權利要求2所述的方法，其特徵進一步在於，旋轉由所述眼部坐標劃界的每個 圖像，以對應於所述不確定的臉部對象的旋轉。
5.根據權利要求1所述的方法，其特徵進一步在於a.裁剪與由每個眼部坐標劃界的數字圖像的部分相對應的眼部圖像；b.可選地將所述眼部圖像調整大小至預定大小；c.減小所述眼部圖像中的反射光；以及d.隔離所述眼部圖像中對應於所述眼部圖像的深色位置的多個瞳孔。
6.根據權利要求1所述的方法，其特徵進一步在於，生成所述投影圖像是通過a.將所述候選區域轉譯、旋轉和縮放至具有預定大小的正則化圖像，其中將所述眼 部坐標連結至預定位置；b.對所述經正則化的圖像進行蒙板，以定義經蒙板的圖像，其中所述臉部被隔離；c.將直方圖均衡應用於所述經蒙板的圖像的灰度級描繪；以及d.利用主元分析來生成所述投影圖像。
7.一種用於共享描繪一個或多個臉部的數字圖像的方法，所述方法的特徵在於a.將多個計算機終端連結到計算機網絡，每個計算機終端與個體相關聯；b.將所述數字圖像連結到至少一個所述計算機終端；c.允許至少一個所述計算機終端在所述數字圖像上啟動臉部識別例程，所述臉部識 別例程產生其臉部被描繪在所述數字圖像中的一個或多個人的列表，至少一個人是所述 個體中的一個個體；以及d.允許至少一個所述計算機終端啟動共享例程，以將所述數字圖像傳播到與所述一 個或多個人相關聯的計算機終端。
8.根據權利要求7所述的方法，其特徵在於，每個計算機終端連結到處理引擎，其中 所述處理引擎a.掃描一個或多個文件夾，使得所述處理引擎確定所述個體何時將所述數字圖像鏈 接到所述文件夾中的一個文件夾；b.在所述數字圖像上啟動所述臉部識別例程；以及c.將所述臉部識別例程的結果連結到資料庫。
9.根據權利要求8所述的方法，其特徵在於，所述計算機終端還連結到用戶接口，所 述用戶接口允許所述個體將所述數字圖像連結到所述文件夾中的一個文件夾。
10.根據權利要求9所述的方法，其特徵在於，所述用戶接口從行動裝置可訪問。
11.根據權利要求8所述的方法，其特徵在於所述用戶接口使用戶能夠創建連結到 多個數字圖像的一個或多個相冊。
12.根據權利要求7所述的方法，其特徵進一步在於a.將所述個體連結到一個或多個對等分組；以及b.僅將所述數字圖像傳播到這樣的人，其連結到所述對等分組中的一個對等分組， 還連結到與連結到所述數字圖像的計算機終端相關聯的個體。
13.—種用於提供安全目標廣告的方法，其特徵在於a.追蹤與註冊到電腦程式的個體相關聯的一個或多個人口統計屬性；b.基於所述一個或多個人口統計屬性，從第一源獲取與一個或多個目標廣告相關聯 的廣告指針列表；c.從第二源獲取所述一個或多個廣告；d.從所述第一源刪除所述一個或多個人口統計屬性；以及e.將所述廣告呈現給所述個體。
14.一種用於共享描繪一個或多個臉部的數字圖像的系統，所述系統的特徵在於a.連結到計算機網絡的多個計算機終端，每個計算機終端與個體相關聯；b.可操作以連結到至少一個所述計算機終端的數字圖像；c.可操作以由至少一個所述計算機終端啟動的臉部識別例程，所述臉部識別例程產 生其臉部被描繪在所述數字圖像中的一個或多個人的列表，至少一個人是所述個體中的 一個個體；以及d.可操作以由至少一個所述計算機終端啟動的共享例程，所述共享例程將所述數字 圖像傳播到與所述一個或多個人相關聯計算機終端。
全文摘要
本發明解決了在本地計算機存儲設備(家庭計算機)上自動識別照片或視頻中多個已知臉部的問題。其進一步允許基於已知臉部的圖形化選擇(通過選擇人們的縮略圖像)，對照片或視頻進行複雜組織和呈現。其還解決了用於以自動方式在「好友」之間共享或分發照片或視頻的問題，該好友也使用支持本發明的相同軟體。其進一步解決了允許本發明的用戶查看自動臉部檢測、眼部檢測和臉部識別方法的結果，並且修正自動過程產生的任何錯誤。
文檔編號H04W4/00GK102016882SQ200880126543
公開日2011年4月13日 申請日期2008年12月30日 優先權日2007年12月31日
發明者C·斯圖德霍爾梅, D·C·沃, K·普拉塔尼奧蒂斯, R·加農, 魯勇滿 申請人:應用識別公司