對象識別方法和設備的製作方法
2023-05-23 02:43:11
對象識別方法和設備的製作方法
【專利摘要】本發明公開了對象識別方法和設備。該設備包含提取單元，被配置用於對於預先定義的對象屬性的集合中的每一對象屬性對，基於該對象屬性對的相異性提取對象區域的對應於該對象屬性對的特徵；以及識別單元，被配置用於基於所提取的對象區域的特徵識別對象區域的對象屬性。
【專利說明】對象識別方法和設備
【技術領域】
[0001] 本發明涉及用於圖像中的對象識別的方法和設備。更具體而言，本發明涉及用於 識別圖像中的對象區域的對象屬性的方法和設備。
【背景技術】
[0002] 近年來，圖像中的對象檢測/識別普及地應用於圖像處理、計算機視覺和模式識 別的領域，並且在其中起到重要的作用，對象可以是人臉、手、身體等中的任一種。
[0003] -種常見的對象檢測/識別是檢測和識別圖像中的臉部。在臉部識別中，通常實 現包含至少一個臉部圖像的圖像中的每一臉部的屬性(諸如，表情）的識別，並且存在多種 用於實現這樣的臉部識別的技術。
[0004] 下文將以圖像中包含的臉部的臉部表情識別為例來解釋現有技術中的用於圖像 中的臉部屬性識別的當前技術。用於臉部表情識別的方法的基本原理遵循圖1所示的框 架。
[0005] 更具體而言，對於輸入的臉部圖像，臉部表情識別方法首先獲得圖像中包含的臉 部區域(臉部檢測)，然後根據在臉部區域中提取的臉部特徵點將可能處於不同姿態的對應 於該臉部區域的臉部對齊(臉部配準)。然後，該方法提取經對齊的臉部圖像的特徵(特徵提 取)，並且最終根據所提取的特徵確定臉部的對應於該臉部區域的表情。
[0006] 對於特徵提取，一些方法關注於臉部圖像中的顯著區域（salient region),這裡 如圖2所示，顯著區域指的是臉部圖像中的通常被視為代表臉部的特性部分的區域(諸如 眼睛區域、鼻子區域、嘴部區域等)。
[0007] 在這樣的情況中，分別提取四個顯著區域的特徵（S卩，左眼區域特if _，右眼區 域特徵fgg，鼻子區域特徵和嘴部區域特徵f ?)，並且通過將這四個顯著區域特徵連 結到一起來表示臉部的特徵（f,&)，從而，
[0008]f總=f左眼+f右眼+f鼻子+f嘴
[0009] 特徵被用於預測對應於臉部圖像的臉部的表情。
[0010] 通常，這樣的基於臉部區域中的顯著區域的方法提取顯著區域的特徵而不是臉部 圖像的整個區域的特徵，然後根據所提取的特徵來預測臉部的表情，如示出現有技術中的 基於臉部圖像中的顯著區域的臉部表情識別的流程圖的圖3的左部所示。圖3的右部示意 性地示出這樣的基於顯著區域的臉部表情識別方法的示例，其中，在檢測到臉部圖像中的 若干臉部特徵點之後，四個顯著區域（即，左眼區域、右眼區域、鼻子區域和嘴部區域）被相 應地定位。
[0011] Industrial Technology Research Institute(TW)名下的美國專利申請 US2012/0169895A1公開了一種用於基於臉部圖像中的顯著區域捕獲臉部表情的方法。該方 法分別從四個顯著區域捕獲圖像中的人臉的顯著區域特徵以生成目標特徵向量，然後將該 目標特徵向量與多個先前存儲的特徵向量進行比較以生成參數值。當參數值高於閾值時， 該方法選擇圖像之一作為目標圖像。基於該目標圖像，可進一步執行臉部表情識別和分類 過程。例如，識別目標圖像以獲得臉部表情狀態，並且根據臉部表情狀態對圖像進行分類。
[0012] 作為顯著區域的替代，其它類型的臉部圖像的代表性區域可被用於進行臉部屬性 識別。
[0013] Mitsubishi electric research laboratories, INC 名下的美國專利申請 US2010/0111375A1公開了一種基於臉部圖像中包含的子塊（patch)的集合來識別圖像中 的臉部屬性的方法。更具體而言，該方法將臉部圖像分割成一組子塊，並且將每個子塊與原 型子塊逐一比較以確定匹配的原型子塊，並且根據與匹配的原型子塊相關聯的屬性集合來 確定臉部的一組屬性。這裡，在該方法中提取的該子塊集合可等同於顯著區域中的各部分。
[0014] Renesas Electronics Corporation 名下的美國專利申請 US 2012/0076418A1 公 開了一種臉部屬性估計方法和設備。該方法從臉部區域中提取特定區域，並且設定該特定 區域中的小區域。然後，該方法利用相似性計算方法來逐一計算該小區域與所存儲的臉部 組成部分中的每一個之間的相似性，以確定臉部屬性。這裡，除了特定區域的數量之外，在 該方法中使用的特定區域可等同於顯著區域。
[0015] 現有技術中的上述方法通常從顯著區域或者其等同區域(諸如，臉部圖像中的多 個子塊或者一個小的特定區域）提取特徵，並且將所提取的特徵與對應於多個已知的臉部 屬性的一組預先定義的特徵中的每一個進行比較（即，一對一比較)，以便進行臉部屬性識 別。
[0016] 此外，要被識別的臉部圖像中的被定位的顯著區域或等同區域在識別期間沒有改 變，因此在識別期間對於所有的比較，僅存在一個且恆定的得自臉部圖像的特徵向量。艮P， 僅有一個來自臉部圖像的特徵向量被用於與對應於多個已知臉部屬性的多個先前存儲的 特徵向量中的每一個進行比較。
[0017] 但是，在識別期間對於所有的一對一比較使用要被識別的臉部區域的一個恆定特 徵可能不夠高效以至於不能準確地識別臉部區域。
[0018] 應指出，一些顯著區域可能對於一些類型的表情不具有區別性 (discriminative)。例如，對於悲傷表情和中性表情，鼻子區域就不存在很大的區別，因此， 鼻子區域對於悲傷表情和中性表情的識別不具有區別性。另一個問題是顯著區域中的一些 部分不具有區別性。例如，對於悲傷表情和中性表情，眼睛區域的眉毛部分不具有區別性。 也就是說，如果所定位的顯著區域以及由此從該區域提取的特徵對於與預先定義的臉部屬 性的集合的比較是恆定的，則一些區域以及區域的一些部分可能對於在一些表情對中的一 些類型的表情的識別是冗餘的。
[0019] 如上所述，仍需要一種能夠基於來自圖像中的臉部區域中的更具區別性的特徵準 確識別臉部區域的屬性的方法。
【發明內容】
[0020] 本發明是針對於圖像中的對象的識別被開發的，並且旨在解決如上所述的問題。
[0021] 根據本發明的一個方面，提供了一種用於識別圖像中的對象區域的方法，該方法 包含提取步驟，用於對於預先定義的對象屬性的集合中的每一對象屬性對，基於該對象屬 性對的相異性提取對象區域的對應於該對象屬性對的特徵；以及識別步驟，用於基於所提 取的對象區域的特徵識別對象區域的對象屬性。
[0022] 根據本發明的另一方面，提供了一種用於識別圖像中的對象區域的設備，包含：提 取單元，被配置用於對於預先定義的對象屬性的集合中的每一對象屬性對，基於該對象屬 性對的相異性提取對象區域的對應於該對象屬性對的特徵；以及識別單元，被配置用於基 於所提取的對象區域的特徵識別對象區域的對象屬性。
[0023] 根據本發明的方法和設備對於預先定義的對象屬性的集合中的每一對象屬性對， 基於該對象屬性對的相異性提取對象區域的對應於該對象屬性對的特徵，並且將該特徵用 於對象識別。因此，識別效率和準確率可提高。
[0024] 參照附圖閱讀示例性實施例的以下說明，本發明的其它特徵將變得十分明顯。
【專利附圖】
【附圖說明】
[0025] 併入說明書中並且構成說明書的一部分的附圖示出了本發明的實施例，並且與描 述一起用於解釋本發明的原理。在附圖中，相似的附圖標記指示相似的項目。
[0026] 圖1示出現有技術中的臉部表情識別的典型過程。
[0027] 圖2示出臉部中的典型顯著區域。
[0028] 圖3是示出現有技術中的臉部表情識別方法的流程圖。
[0029] 圖4是示出可實現本發明的實施例的計算機系統的示例性硬體配置的框圖。
[0030] 圖5是示出根據本發明的對象屬性識別方法的流程圖。
[0031] 圖6是示出根據本發明的對象屬性識別設備的框圖。
[0032] 圖7是解釋臉部圖像中的臉部區域的示圖。
[0033] 圖8示意性地示出臉部區域中的特徵點。
[0034] 圖9是示出提取步驟中的過程的流程圖。
[0035]
[0036] 圖10示意性地示出臉部區域中的器官區域的定位。
[0037] 圖11示意性地示出臉部表情對的示例。
[0038] 圖12是示意性地示出臉部表情對的模板的確定的流程圖。
[0039] 圖13示出若干示例性平均圖像。
[0040] 圖14不出對於臉部表情對中的每一表情的被相應分割的圖像。
[0041] 圖15示出從對於臉部表情對中的每一表情的分割圖像獲得的臉部表情對的模 板。
[0042] 圖16示出依賴於臉部表情對的模板的針對臉部表情對的臉部區域中的相異像素 塊的定位。
[0043] 圖17是示出特徵提取步驟中的過程的流程圖。
[0044] 圖18是示出識別步驟的一種實現中的過程的流程圖。
[0045] 圖19是示出識別步驟的另一種實現中的過程的流程圖。
【具體實施方式】
[0046] 下文將參照附圖詳細描述本發明的實施例。
[0047] 應注意，在附圖中相似的附圖標記和字母指示相似的項目，並且因此一旦一個項 目在一個附圖中被定義，則對於隨後的附圖無需再對其進行論述。
[0048] 首先將解釋本公開的上下文中所使用的某些術語的含義。
[0049] 在本公開的上下文中，圖像將指的是多種類型的圖像，諸如彩色圖像、灰度圖像 等。由於本發明的處理主要針對灰度圖像執行，因此除非另外聲明，否則本公開中的圖像將 指的是包含多個像素的灰度圖像。
[0050] 應指出，本發明的解決方案也可應用於其它類型的圖像(諸如彩色圖像)，只要這 樣的圖像可被轉換成灰度圖像並且本發明的處理可針對經轉換的灰度圖像執行即可。
[0051] 圖像通常可包含至少一個對象圖像，並且對象圖像通常包含對象區域，因此在本 公開的上下文中，對象圖像和對象區域彼此等同並且可替代地使用。常見的圖像中的對象 是圖像中的臉部。
[0052] 圖像中的對象區域的特徵通常是代表這樣的對象區域的特性的特徵，並且通常可 以是顏色特徵、紋理特徵、形狀特徵等。常用的特徵是顏色特徵，其是代表圖像的全局性特 徵並且通常可通過基於各顏色區段（color bin)的顏色直方圖被獲得。圖像的特徵通常被 以向量的形式獲得，向量的每一成分對應於一顏色區段。
[0053] 對象屬性指的是可對應於不同條件的對象的表觀狀態，並且對象屬性可屬於不同 的類別。以臉部為例，臉部屬性的類別可以是選自包含臉部表情、當臉部為人臉時對應於該 臉部的人的性別以及人的年齡的組中的一種，臉部屬性類別不因此受限，並且還可以是其 它類別。當臉部屬性對應於臉部表情時，臉部屬性可以是一種表情(例如，悲傷、微笑、大笑 等)。
[0054] 當然，對象屬性並不因此受限，例如，對象可以是人身體，並且對象屬性可對應於 當人在奔跑、站立、下跪或者平躺等時的不同身體狀態。
[0055] 對象屬性對是由包含於預先定義的對象屬性的集合中的任何預先定義的數量的 對象屬性構成的對，在該集合中所有對象屬性可在某一類別集合中進行區分，並且該集合 可被預先製備，該預先定義的對象屬性的集合可形成至少一個對象屬性對，各對象屬性對 具有相同數量的對象屬性。
[0056] 對象屬性對中包含的對象屬性可被從該預先定義的對象屬性的集合中任意選擇， 並且在這樣的情況中，該預先定義的對象屬性的集合可包含個對象屬性對，其中n是該 集合中的對象屬性的數量，並且t是對象屬性對中包含的對象屬性的數量。
[0057] 優選地，對象屬性對中包含的對象屬性的數量可以是2。
[0058] 優選地，對象屬性對中的對象屬性可以是如下這樣的對象屬性，即該對象屬性之 間的差別大並且甚至是相反的。例如，以臉部為例，對象屬性對可特別地由大笑表情和哭表 情構成，從而對於這樣的對象屬性對所提取的部分更加具有區別性。
[0059] 在本公開中，術語"第一"、"第二"等僅僅用於區分元素或者步驟，而不是要指示時 間順序、優先選擇或者重要性。
[0060] 圖4是示出可實施本發明的實施例的計算機系統1000的硬體配置的框圖。
[0061] 如圖4所示，計算機系統包括計算機1110。計算機1110包括處理單元1120、系統 存儲器1130、不可移除非易失性存儲器接口 1140、可移除非易失性存儲器接口 1150、用戶 輸入接口 1160、網絡接口 1170、視頻接口 1190、和輸出外圍接口 1195,它們通過系統總線 1121連接。
[0062] 系統存儲器1130包括ROM (只讀存儲器）1131和RAM (隨機存取存儲器）1132。 BIOS (基本輸入輸出系統）1133駐留在R0M1131中。作業系統1134、應用程式1135、其它 程序模塊1136和一些程序數據1137駐留在RAM1132中。
[0063] 不可移除非易失性存儲器1141 (諸如硬碟）連接到不可移除非易失性存儲器接口 1140。不可移除非易失性存儲器1141例如可存儲作業系統1144、應用程式1145、其它程序 模塊1146以及一些程序數據1147。
[0064] 可移除非易失性存儲器(例如軟盤驅動器1151和⑶-ROM驅動器1155)連接到可移 除非易失性存儲器接口 1150。例如，軟盤1152可插入軟盤驅動器1151，並且⑶（緊緻盤） 1156可插入⑶-ROM驅動器1155。
[0065] 諸如滑鼠1161和鍵盤1162的輸入設備連接到用戶輸入接口 1160。
[0066] 計算機1110可通過網絡接口 1170連接到遠程計算機1180。例如，網絡接口 1170 可經區域網1171連接到遠程計算機1180。可替換地，網絡接口 1170可連接到數據機 (調製器一解調器）1172,並且數據機1172經廣域網1173連接到遠程計算機1180。
[0067] 遠程計算機1180可包括諸如硬碟的存儲器1181，其存儲遠程應用程式1185。
[0068] 視頻接口 1190連接到監視器1191。
[0069] 輸出外圍接口 1195連接到印表機1196和揚聲器1197。
[0070] 圖4所示的計算機系統僅是說明性的，並且決不打算限制本發明、其應用或者使 用。
[0071]圖4所示的計算機系統可對於任一實施例被實現為孤立計算機，或者設備中的處 理系統，其中可去除一個或多個不必要的組件或者可添加一個或多個附加的組件。
[0072] 下文將參照圖5描述根據本發明的基本實施例的對象識別方法，圖5示出根據本 發明的基本實施例的方法中的過程。
[0073] 在步驟S100 (下文被稱為提取步驟）中，對於預先定義的對象屬性的集合中的每 一對象屬性對，基於該對象屬性對的相異性（dissimilarity)提取對象區域的對應於該對 象屬性對的特徵。
[0074] 如上所述，該預先定義的對象屬性的集合的所有對象屬性屬於同一類別，並且對 象屬性對可由該預先定義的對象屬性的集合中包含的任何預定數量的(諸如，兩個）對象屬 性構成。
[0075] 作為替代，對象屬性對可以是在它們之間滿足預定關係的預定數量的(諸如，兩 個）對象屬性。
[0076] 在一種實現中，對象區域可以是已經被對齊（al ign )的對象區域，並且對象區域的 對齊可被以多種方式(諸如基於在對象區域中檢測到的特徵點）實現。應指出，對象區域是 否對齊對於提取操作的實現而言不是必需的。
[0077] 在步驟S200 (下文被稱為識別步驟）中，基於所提取的對象區域的特徵識別對象 區域的對象屬性。
[0078] 在一種實現中，提取步驟中的過程可包含用於定位該對象區域中的對應於該對象 屬性對的模板的至少一個塊的過程(定位步驟)，該模板表徵該對象屬性對之間的相異性； 以及用於基於所定位的至少一個塊提取該對象區域的對應於該對象屬性對的特徵的過程 (特徵提取步驟)。
[0079] 這裡，模板可被視為對象屬性對的表徵對象屬性之間的相異性的相異性模板，並 且通常由對象屬性對中包含的對象屬性的圖像之間的至少一個相異像素塊形成。實際上， 每一相異像素塊可對應於對象屬性對中包含的預定數量的對象屬性的圖像之間的對應像 素塊，該對應像素塊位於各圖像的對應位置並且具有對應的大小，其中各個圖像中的相異 像素塊的位置和大小可依賴於預定的規則(諸如，在各個圖像具有不同的大小時依賴於各 個對象屬性的圖像的大小之間的比率）彼此映射。
[0080] 優選地，對象區域的圖像以及對象屬性對中包含的對象屬性可被預處理(諸如，被 對齊)，以便具有相同大小，並且在此情況下，模板中的相異像素塊中的每一個可對應於對 象屬性對中包含的預定數量的對象屬性的圖像之間的對應像素塊，該對應像素塊位於各個 圖像中的相同位置並且具有相同大小。
[0081] 因此，從該對象區域中針對該對象屬性對定位的至少一個塊可以是根據相異像素 塊的這樣的位置和大小而被定位的像素塊，只要像素塊可根據預定的規則相互映射即可， 並且優選地該像素塊具有相同的位置和大小。
[0082] 每一像素塊的大小可被任意設定，而不會影響本發明的解決方案的實現。
[0083] 在一種實現中，對象屬性對的模板可通過如下方式實現：將分別對應於該對象屬 性對中包含的兩個對象屬性的兩個平均對象區域圖像劃分成彼此對應的多個塊；提取與每 一對象屬性對應的每一被劃分的平均對象區域圖像的多個塊中的每一個的特徵；確定這兩 個被劃分的平均對象區域圖像中的對應塊的特徵之間的相似性；並且選擇這兩個被劃分的 平均對象區域圖像中的這樣的塊以形成模板，該塊之間的相似性低於預先定義的閾值。 [0084] 這裡，對應劃分指的是對象屬性對中的對象屬性的各個圖像可被按對應的模式 劃分，從而一個對象屬性圖像中的經劃分的塊中的每一個可根據預定規則被映射到另一對 象屬性圖像中的經劃分的塊中的每一個。優選地，對象屬性對中的對象屬性的各個圖像具 有相同大小，因而用於各圖像的劃分模式相同並且具有相同的標度，從而一個對象屬性圖 像中的經劃分的塊與另一對象屬性圖像中的對應的經劃分的塊具有相同的位置和大小。劃 分模式可以是任何模式，諸如網格等。
[0085] 對象屬性對的模板可被預先製備和存儲，或者可在提取操作期間被製備。獲得對 象屬性對的模板的操作可被包含在提取步驟中，或者可不被包含在提取步驟中。
[0086] 對應於對象屬性的平均對象區域圖像可被以多種方式預先製備，並且在一般性實 現中，可通過將對應於同一對象屬性的具有相同大小的多個相似對象區域圖像進行平均來 被製備。
[0087] 優選地，定位過程可基於對象區域中包含的輔助區域（auxiliary region)來執 行，以便進一步提高操作效率。輔助區域可被以多種方式(諸如，依賴於對象區域中的被標 識的特徵點的位置)定位。在這樣的情況中，定位過程可定位輔助區域中的對應於表徵對象 屬性對的相異性的模板的至少一個塊，並且表徵對象屬性對的相異性的模板也可基於對象 屬性對中的對象屬性的圖像中的這樣的輔助區域被確定，而不是基於對象屬性對中的對象 屬性的圖像的整體被確定。
[0088] 在一種實現中，特徵提取過程可包含從在對象區域中定位的至少一個塊中的每一 個中提取特徵，並且將所提取的各個塊的特徵連結作為對象區域的特徵。因此，最終提取的 特徵通常表現為向量的形式，向量中的每一個分量對應於每一塊。
[0089] 在識別步驟的過程中，對象屬性的識別可被以多種方式實現。
[0090] 在一種實現中，識別可被以所謂的"一對一（one against one)"方式實現，在此方 式中，對於預先定義的對象屬性的集合，對象屬性可在輪中進行投票，其中n是該集合中 包含的對象屬性的數量，並且t是對象屬性對中包含的對象屬性的數量並且優選地為2。具 有最高得分的對象屬性將被確定為對象屬性。
[0091] 更具體而言，該識別過程可包含標識步驟，用於對於預先定義的對象屬性的集合 中的每一對象屬性對，基於對象區域的對應於該對象屬性對的特徵標識與該對象區域對應 的該對象屬性對中包含的兩個對象屬性中的一個對象屬性，並且將該對象區域所對應的對 象屬性的得分增加預定值，其中，該預先定義的對象屬性的集合中所包含的全部對象屬性 具有相同的初始得分；以及屬性確定步驟，用於確定該預先定義的對象屬性的集合中的具 有最高得分的對象屬性為該對象區域的對象屬性。
[0092] 在另一種實現中，識別可被以所謂的"一勝一（one beating one)"方式實現，其 中，在預先定義的對象屬性的集合中包含的預先定義的對象屬性的數量為n的情況下，對 象屬性可在n-1輪中被確定，其中在一輪中僅有對於一個對象屬性對勝出的屬性將前進至 下一輪，並且最終勝出的屬性將被確定為對象屬性。
[0093] 更具體而言，該識別過程可包含標識步驟，用於對於預先定義的對象屬性的集合 中的一個對象屬性對，基於對象區域的對應於該一個對象屬性對的特徵標識與該對象區域 對應的該一個對象屬性對中包含的兩個對象屬性中的一個對象屬性，以及屬性確定步驟， 用於基於該對象區域所對應的對象屬性以及該預先定義的對象屬性的集合中的除該一個 對象屬性對之外的剩餘對象屬性確定該對象區域的對象屬性，其中，如果剩餘對象屬性的 數量等於〇,則該對象區域所對應的對象屬性被確定為該對象區域的對象屬性，否則將該對 象區域所對應的對象屬性以及該預先定義的對象屬性的集合中的除該一個對象屬性對之 外的剩餘對象屬性重新歸組為新的對象屬性集合，並且對於該新的對象屬性集合依次執行 該標識步驟和屬性確定步驟。
[0094] 應指出，上述方法可每次對於可包含至少一個對象區域的圖像中的一個對象區域 執行，並且可重複與對象區域的數量相同的次數，其中一個對象區域僅包含一個要被識別 的對象。
[0095] 圖6是示出根據本發明的對象識別設備的框圖。
[0096] 用於圖像中的對象區域的識別的設備600可包含提取單元601，被配置為對於預 先定義的對象屬性的集合中的每一對象屬性對，基於該對象屬性對的相異性提取對象區域 的對應於該對象屬性對的特徵；以及識別單元602,被配置為基於所提取的對象區域的特 徵識別對象區域的對象屬性。
[0097] 優選地，提取單元601可包含定位單元601-1，被配置用於定位該對象區域中的對 應於該對象屬性對的模板的至少一個塊，該模板表徵該對象屬性對之間的相異性；以及特 徵提取單元601-2,被配置用於基於所定位的至少一個塊提取該對象區域的對應於該對象 屬性對的特徵。
[0098] 優選地，該定位單元601-1可包含被配置用於依賴於對象區域中的被標識的特徵 點的位置定位對象區域中的輔助區域的單元；以及被配置用於定位輔助區域中的對應於對 象屬性對的表徵對象屬性對之間的相異性的模板的至少一個塊的單元。
[0099] 優選地，特徵提取單元601-2可包含被配置用於從對象區域中的該至少一個塊中 的每一個中提取特徵的單元，以及被配置用於將所提取的各個塊的特徵連結作為對象區域 的特徵的單元。
[0100] 優選地，該識別單元602可包含標識單元602-1，被配置用於對於預先定義的對象 屬性的集合中的每一對象屬性對，基於對象區域的對應於該對象屬性對的特徵標識與該對 象區域對應的該對象屬性對中包含的兩個對象屬性中的一個對象屬性，並且將該對象區域 所對應的對象屬性的得分增加預定值，其中，該預先定義的對象屬性的集合中所包含的全 部對象屬性具有相同的初始得分；以及屬性確定單元602-2,被配置用於確定該預先定義 的對象屬性的集合中的具有最高得分的對象屬性為該對象區域的對象屬性。
[0101] 附加地或者作為替代，該識別單元602可包含標識單元602-3,被配置用於對於預 先定義的對象屬性的集合中的一個對象屬性對，基於對象區域的對應於該一個對象屬性對 的特徵標識與該對象區域對應的該一個對象屬性對中包含的兩個對象屬性中的一個對象 屬性，以及屬性確定單元602-4,被配置用於基於該對象區域所對應的對象屬性以及該預 先定義的對象屬性的集合中的除該一個對象屬性對之外的剩餘對象屬性確定該對象區域 的對象屬性，其中，如果剩餘對象屬性的數量等於〇,則該對象區域所對應的對象屬性被確 定為該對象區域的對象屬性，否則將該對象區域所對應的對象屬性以及該預先定義的對象 屬性的集合中的除該一個對象屬性對之外的剩餘對象屬性重新歸組為新的對象屬性集合， 並且對於該新的對象屬性集合依次執行該標識操作和屬性確定操作。
[0102] 表徵對象屬性對之間的相異性的模板可與設備600分離地被如上所述地預先形 成並且存儲。附加地或者作為替代，設備600可包含被配置用於以上述方式形成對象屬性 對的表徵該對象屬性對之間的相異性的模板的單元。
[0103][有利的技術效果]
[0104] 總而言之，本發明提供了一種新的用於圖像中的對象區域的對象屬性的識別的思 路，其中引入了對象屬性對的概念以改進對象區域的特徵提取和識別。
[0105] 更具體而言，對象屬性對中包含的對象屬性之間的相異性被用於針對對象屬性對 提取對象區域中的相異像素塊，並且所提取的對象區域的特徵被用於確定對象區域與對象 屬性對中的哪一對象屬性相對應。因此，對象區域的特徵的提取和識別被逐對地執行，由 此，識別效率和準確性可被提高。
[0106] 應指出，對象區域的這樣的相異像素塊對於在每一輪中用作比較基礎的預先定義 的對象屬性的集合中的每一對象屬性對被確定和提取，並且可反映對象屬性對中包含的對 象屬性之間的相異性。此外，這樣的被提取的部分可在識別期間被適應性地改變，即，對象 區域的相異像素塊可依賴於每一輪比較中的對比物而改變，而不是保持恆定。
[0107] 因此，對象區域的可能對於對象屬性對是公共的而不是區別性的一些部分可不被 提取，並且所提取的部分可更準確地反映對象屬性對中包含的對象屬性之間的相異性，並 且有助於準確地確定對象區域對應於對象屬性對中包含的對象屬性中的哪一個，從而對象 區域的對象屬性可被更準確地確定。
[0108] 下文，為了有助於透徹理解本發明的實現，使用臉部作為要被識別的對象的例子 以便解釋本發明的解決方案的示例性實現。應指出，本發明的解決方案還可應用於其他類 型的對象。
[0109] 對於要被識別的圖像中的臉部區域，其屬性可屬於多種類別。例如，臉部屬性的類 別可以是選自包含臉部表情、當臉部為人臉時的與該臉部對應的人的性別以及年齡的組中 的一種。當然，臉部屬性的類別並不因此受限，並且可以是除上述類別之外的其它類別。 [0110][示例 1]
[0111] 下文，將描述根據本發明的用於識別圖像中的臉部區域的臉部屬性(諸如，臉部表 情）的過程。
[0112] 一般來說，對於其表情要被識別的輸入圖像中的臉部區域，針對預先定義的臉部 表情的集合中的每一臉部表情對，基於該臉部表情對中包含的臉部表情之間的相異性提取 該臉部區域的對應於該臉部表情對的特徵，然後基於所提取的臉部區域的特徵來識別該臉 部區域的臉部表情。當輸入的圖像中存在多個臉部時，此過程被重複與臉部的數量相同的 次數。
[0113] 下文將描述此過程的細節。
[0114] 最初，對於可包含至少一個臉部的輸入圖像，檢測該輸入圖像中的臉部區域，通常 一個臉部區域對應於圖像中的一個臉部。圖7示出從輸入圖像中檢測到的矩形的臉部區 域。
[0115] 優選地，在將檢測到的臉部區域用於特徵提取之前，臉部區域通常被分別對齊，並 且該對齊可被以多種方式執行。
[0116] 在一種實現中，臉部區域基於從臉部圖像提取的預定數量的特徵點被對齊，其中 特徵點的數量可基於操作者的經驗被設定，並且不限於某些特定數量。特徵點提取方法 可以是諸如 Xudong Cao, Yichen Wei, Fang Wen, Jian Sun. Face alignment by explicit shape regression CVPR, 2012,以及D. Cristinacce and T. F. Cootes. Boosted regression active shape models. BMVC, 2007中公開的ASM。應指出，特徵點提取方法並不因此受限， 並且可以是本領域中已知的任何其它方法。
[0117] 圖8示意性地示出從臉部區域提取7個特徵點，並且如圖8所示，這7個特徵點為： 兩個眼睛中的每一個的兩個眼角、鼻尖、以及嘴部的兩個嘴角。
[0118] 對齊可被如下地執行。應指出，以下的在本領域中已知的用於對齊的過程僅僅是 示例性的，並且對齊還可通過其他過程來執行。
[0119] 在對齊時，被提取的7個特徵點的平均位置根據預定數量的人工標記的樣本被計 算。假定存在n個標記的樣本，七個點Pi (Xi, yj (i=l?7)的平均位置被計算如下：
【權利要求】
1. 一種設備，包含： 提取單元，被配置用於對於預先定義的對象屬性的集合中的每一對象屬性對，基於該 對象屬性對的相異性提取對象區域的對應於該對象屬性對的特徵；W及 識別單元，被配置用於基於所提取的對象區域的特徵識別對象區域的對象屬性。
2. 根據權利要求1所述的設備，其中，預先定義的對象屬性的所述集合中的所有對象 屬性屬於同一類別，並且其中，對象屬性對由預先定義的對象屬性的所述集合中包含的任 兩個對象屬性構成。
3. 根據權利要求1所述的設備，其中，所述對象區域是臉部區域，並且所述對象屬性是 臉部屬性，W及 其中，所述臉部屬性的類別是選自包含臉部表情、當臉部為人臉時對應於該臉部的人 的性別W及年齡的組中的一種。
4. 根據權利要求1所述的設備，其中，所述對象區域是已經基於對象區域中被標識的 特徵點對齊的對象區域。
5. 根據權利要求1所述的設備，其中，所述提取單元包含： 定位單元，被配置用於定位該對象區域中的對應於該對象屬性對的模板的至少一個 塊，該模板表徵該對象屬性對之間的相異性；W及 特徵提取單元，被配置用於基於所定位的至少一個塊提取該對象區域的對應於該對象 屬性對的特徵。
6. 根據權利要求5所述的設備，其中，所述定位單元包含： 被配置用於依賴於對象區域中的被標識的特徵點的位置定位對象區域中的輔助區域 的單元；W及 被配置用於定位所述輔助區域中的對應於對象屬性對的表徵對象屬性對之間的相異 性的模板的至少一個塊的單元。
7. 根據權利要求5或6所述的設備，其中，對象屬性對的表徵所述對象屬性對之間的相 異性的所述模板通過如下方式形成： 將分別對應於該對象屬性對中包含的兩個對象屬性的兩個平均對象區域圖像劃分成 彼此對應的多個塊； 提取與每一對象屬性對應的每一被劃分的平均對象區域圖像的多個塊中的每一個的 特徵； 確定該兩個被劃分的平均對象區域圖像中的對應塊的特徵之間的相似性；並且 選擇該兩個被劃分的平均對象區域圖像中的如下該樣的塊W形成模板，塊之間的相似 性低於預先定義的闊值。
8. 根據權利要求5所述的設備，其中，所述特徵提取單元包含： 被配置用於從對象區域中的該至少一個塊中的每一個中提取特徵的單元，W及 被配置用於將所提取的各個塊的特徵連結作為對象區域的特徵的單元。
9. 根據權利要求1所述的設備，其中，所述識別單元包含： 標識單元，被配置用於對於預先定義的對象屬性的集合中的每一對象屬性對，基於對 象區域的對應於該對象屬性對的特徵標識該對象區域與該對象屬性對中包含的兩個對象 屬性中的哪一個對象屬性相對應，並且將該對象區域所對應的對象屬性的得分增加預定 值，其中，該預先定義的對象屬性的集合中所包含的全部對象屬性具有相同的初始得分；w 及 屬性確定單元，被配置用於確定該預先定義的對象屬性的集合中的具有最高得分的對 象屬性為該對象區域的對象屬性。
10. 根據權利要求1所述的設備，其中，所述識別單元包含： 標識單元，被配置用於對於預先定義的對象屬性的集合中的一個對象屬性對，基於對 象區域的對應於該一個對象屬性對的特徵標識該對象區域與該一個對象屬性對中包含的 兩個對象屬性中的哪一個對象屬性相對應，W及 屬性確定單元，被配置用於基於該對象區域所對應的對象屬性W及該預先定義的對象 屬性的集合中的除該一個對象屬性對之外的剩餘對象屬性確定該對象區域的對象屬性， 其中，如果剩餘對象屬性的數量等於0,則該對象區域所對應的對象屬性被確定為該對 象區域的對象屬性， 否則，將該對象區域所對應的對象屬性W及該預先定義的對象屬性的集合中的除該一 個對象屬性對之外的剩餘對象屬性重新歸組為新的對象屬性集合，並且對於該新的對象屬 性集合相繼地執行該標識操作和屬性確定操作。
11. 一種方法，包含： 對於預先定義的對象屬性的集合中的每一對象屬性對，基於該對象屬性對的相異性提 取對象區域的對應於該對象屬性對的特徵；W及 基於所提取的對象區域的特徵識別對象區域的對象屬性。
【文檔編號】G06K9/00GK104346601SQ201310320936
【公開日】2015年2月11日 申請日期:2013年7月26日 優先權日:2013年7月26日
【發明者】王喜順, 陳曾, 李獻, 溫東超, 朱福國 申請人:佳能株式會社