控制數字圖像處理設備進行人臉檢測的方法及其設備的製作方法
2023-08-05 20:32:31
專利名稱：控制數字圖像處理設備進行人臉檢測的方法及其設備的製作方法
技術領域：
本發明涉及一種控制數字圖像處理設備的方法以及採用所述方法的數字 圖像處理設備，更具體地，涉及一種控制數字圖像處理設備從連續輸入圖像 檢測人臉的方法以及採用所述方法的數字圖像處理設備。
背景技術：
傳統數字圖像處理設備具有從連續輸入圖像檢測人臉的功能。 該人臉檢測功能廣泛用於數位相機、安全監控裝置、響應於面部動作而移動的機器人和自動裝置。數字圖像處理設備的 一個例子是在實時取景模式下檢測人臉並將檢測的人臉的區域設置為自動調焦區的數位相機。所述人臉檢測功能在大多數情況下僅通過公知的人臉識別方法所實現。 各種人臉識別技術被作為人臉識別方法所公開。例如，使用人臉幾何特徵的人臉識別技術使用幾何要素(例如，面部特徵點(例如眼的中心、鼻尖和嘴角)的位置和大小以及面部特徵點之間的距離)來識別個人的人臉。人臉幾何特徵包括在當輸入圖像的解析度減少時最後剩餘的元素中。然而，如果僅使用人臉識別方法來檢測人臉，則當將被識別的人臉沒有朝向捕獲單元時不能夠檢測到人臉。發明內容本發明的目的在於提供一種控制數字圖像處理設備以即使當人臉沒有朝 向捕獲單元時也快速4企測人臉的方法，以及採用該方法的數字圖像處理設備。根據本發明的實施例，提供一種控制數字圖像處理設備以從連續輸入圖 像檢測人臉的方法，該方法包括操作(a)到操作(c)。在(a)中，如果檢測到人臉，則存儲身體區域的圖像信息。
在(b)中，如果未檢測到人臉，則檢測具有在(a)中存儲的圖像信息的身體。
在(c)中，如果在先前身體在(b)中被檢測到之後檢測到當前身體，則比較
先前檢測的身體的圖像特徵與當前檢測的身體的圖像特徵，並根據比較結果
來確定人臉的運動狀態。
根據本發明的另一實施例，提供一種數字圖像處理設備，其包括主控制
器並從連續輸入圖像檢測人臉，其中，所述主控制器通過採用所述方法來進
行操作。
根據控制數字圖像處理設備的方法以及採用該方法的數字圖像處理設 備，如果未檢測到人臉，則可使用身體的圖像特徵來確定人臉的當前方向。 因此，即使當將被識別的人臉沒有朝向採集單元時也可快速檢測到人臉。
通過下面結合附圖對示例性實施例進行的詳細描述，本發明的上述和其 他特點和優點將會變得更加清楚，其中
圖1是根據本發明的實施例的將數位相機作為採用控制方法的數字圖像 處理設備的例子的配置；
圖2是示出根據本發明的實施例的圖1所示的數位相機處理器(DCP)在 人臉檢測模式下的人臉識別方法的例子的流程圖3是用於描述根據本發明的實施例的圖2所示的操作S23(根據人臉的 大小和參考坐標來設置身體的大小和參考坐標)的例子的示圖4是示出根據本發明的實施例的圖1所示的DCP根據圖2所示的操作 S26(檢測具有存儲的平均紅層次、平均綠層次和平均藍層次的身體)當先前身 體被檢測到之後檢測到當前身體時(即，由於存儲了當前身體的身體區域的平 均層次數據而檢測到當前身體)確定人臉的運動狀態的方法的例子的流程圖5是示出根據本發明的實施例的相應於人臉的身體輪廓的例子的示
圖6是根據本發明的實施例的圖5所示的輪廓身體的例子的放大示圖7是當圖5所示的關注對象面向左面時的身體的例子的示圖8是當圖5所示的關注對象面向後面時的身體的例子的示圖9是示出根據本發明的另 一 實施例的圖1所示的DCP根據圖2所示的操作S26(檢測具有存儲的平均紅層次、平均綠層次和平均藍層次的身體)當先 前身體被檢測到之後檢測到當前身體時(即，由於存儲了當前身體的身體區域 的平均層次數據而^r測到當前身體)確定人臉的運動狀態的方法的例子的流 程圖IO是在圖9中所示的操作S95中的直方圖的轉變的曲線圖的例子(針 對先前檢測的身體圖像的直方圖來獲得當前檢測的身體圖像的直方圖的轉變)。
具體實施例方式
以下將參照附圖來詳細描述本發明的示例性實施例。
圖1是才艮據本發明的實施例的將數位相機1作為採用控制方法的數字圖 像處理設備的例子的配置。
參照圖1，包括透鏡模塊和過濾模塊的光位置傳感器(OPS)以光學方式處 理來自將被拍攝的對象的光。OPS的透鏡模塊包括變焦透鏡、聚焦透鏡和補 償透鏡。如果在實時取景模式或運動圖像捕獲模式下經由用戶輸入單元INP 將變焦信號輸入到微控制器512，則微控制器512控制驅動器510通過驅動 變焦馬達Mz來移動變焦透鏡。
在自動聚焦模式中，包括在數位相機處理器(DCP)507中的主控制器控制 微控制器512以控制驅動器510來驅動聚焦馬達Mp。因此，聚焦透鏡移動， 在該處理期間，設置聚焦透鏡的位置(在該位置，產生圖像信號的最高頻率分 量)，例如，聚焦馬達Mp的驅動的步數。光圈馬達MA是用於驅動補償透鏡 來控制光圈的馬達。
包括電荷耦合器件(CCD)或互補金屬-氧化物半導體(CMOS)的光電轉換 器(OEC)將從OPS輸入的光轉化為電模擬信號。DCP 507控制定時電路502 來控制OEC以及相關雙取樣器和模數轉換器(CDS-ADC)501。 CDS-ADC 501 處理從OEC輸入的電模擬信號，從電模擬信號中刪除高頻噪聲，調整電模擬 信號的幅度，並產生數字圖像數據。
實時時鐘(RTC)503向DCP 507提供時間信息。DCP 507通過處理從 CDS-ADC 501輸入的數字圖像數據來產生分為亮度信號和色度信號的數字 圖像數據。
由微控制器512根據從配備有DCP 507的主控制器輸出的控制信號來驅動的發光單元LAMP包括自拍燈和相機狀態燈。
用戶輸入單元INP包括快門釋放按鈕、功能按鈕、電源按鈕、變焦按 鈕和模式按鈕。
例如，DCP 507產生的數字圖像數據被臨時存儲在動態隨機存取存儲器 (DRAM)504中。例如，操作DCP507所需的算法被存儲在電可擦可編程只讀 存儲器(EEPROM)505中。例如，用戶存儲卡被插入存儲卡接口(MCI)506和 從存儲卡接口(MCI)506拔出。例如，操作DCP507所需的設置數據被存儲在 快閃記憶體(FM)62中。例如，作為用戶記錄介質的多個存儲卡可被順序插入MCI 506 和從MCI506拔出。
例如，DCP 507產生的數字圖像數據被輸入到液晶顯示器(LCD)驅動器 514,從而在彩色LCD板35上顯示圖像。
例如，在接口單元21中，DCP507產生的數字圖像數據可經由通用串行 總線連接器21a或者RS232C接口 508和RS232C連接器21b以串行通信的 方式被發送，或可經由視頻過濾器509和視頻輸出埠 21c被作為視頻信號
而發送o
音頻處理單元513將從麥克風MIC輸入的音頻信號輸出到DCP 507或揚 聲器SP，或將從DCP 507輸入的音頻信號輸出到揚聲器SP。
微控制器512根據從閃光燈和光強度傳感器19輸入的信號來控制快閃記憶體控 制器511以驅動閃光燈12。
圖2是示出根據本發明的實施例的圖1所示的DCP 507在人臉檢測模式 下的人臉識別方法的例子的流程圖。
參照圖2，在操作S21, DCP507進入人臉識別模式。如上所述，各種人 臉識別技術被作為人臉識別方法所公開。在當前實施例的例子中，使用了一 種使用人臉幾何特徵的人臉識別技術。也就是說，使用幾何要素(例如，面部 特徵點(例如眼的中心、鼻尖和嘴角)的位置和大小以及面部特徵點之間的距離) 來識別不同的人臉。幾何特徵包括在當輸入圖像的解析度減少時最後剩餘的 元素中。
在操作S22, DCP 507確定在操作S21中是否4企測到人臉。 如果在操作S22確定檢測到人臉，則在操作S23， DCP 507根據人臉的 大小和參考坐標來設置身體的大小和參考坐標。此外，在操作S24， DCP507 計算所設置的身體區域的平均紅層次R、平均綠層次G和平均藍層次B並存儲計算結果。否則，如果在操作S22確定沒有檢測到人臉，則在操作S25, DCP 507 確定是否存儲了身體區域的平均層次數據。如果在操作S25確定沒有存儲身體區域的平均層次數據，則DCP507在 操作S21再次進入人臉識別模式。否則，如果在操作S25確定存儲了身體區域的平均層次數據，則在操作 S26, DCP 507檢測具有存儲的平均紅層次R、平均綠層次G的和平均藍層次 B的身體。上述操作經由操作S27被重複執行，直到產生外部停止信號。總之，如果沒有檢測到人臉，則通過使用當人臉先前被檢測到時存儲的身體的平均層次來^r測身體。圖3是用於描述根據本發明的實施例的圖2所示的操作S23(根據人臉的大小和參考坐標來設置身體的大小和參考坐標)的例子的示圖。也就是說，當一旦從人臉搜索中找到人臉區域31就設置人臉區域31時，如下所述來設置身體區域32。設置人臉區域31的中心與身體區域32的中心之間的距離B。根據使用 數位相機1的國家來不同地設置距離B。由於已知人臉區域31的水平寬度w和垂直寬度h,故通過將人臉區域 31的水平寬度w乘以放大率A來設置身體區域32的水平寬度wA，通過將 人臉區域31的垂直寬度h乘以放大率A來設置身體區域32的垂直寬度hA。 根據使用數位相機1的國家來不同地設置放大率A。因此，可相對於人臉區域31的參考坐標(x,， y,)來設置身體區域32的參 考坐標(X2，y。。圖4是示出根據本發明的實施例的圖1所示的DCP根據圖2所示的操作 S26(檢測具有存儲的平均紅層次、平均綠層次和平均藍層次的身體)當先前身 體被檢測到之後檢測到當前身體時(即，由於存儲了當前身體的身體區域的平 均層次數據而檢測到當前身體)確定人臉的運動狀態的方法的例子的流程圖。 圖5是示出根據本發明的實施例的相應於人臉的身體輪廓51的例子的示圖。 圖6是根據本發明的實施例的圖5所示的輪廓身體51的例子的放大示圖。圖 7是當圖5所示的人臉和身體轉到面向左面時的身體的例子的示圖。圖8是 當圖5所示的人臉和身體轉回面向後面時的身體的例子的示圖。在圖5中，如果根據圖2所示的操作S26在先前身體被檢測到之後檢測 到當前身體(即，由於存儲了當前身體的身體區域的平均層次數據而檢測到當 前身體)，則將檢測的先前身體的輪廓的亮度特徵與檢測的當前身體的輪廓的 亮度特徵進行比較，從而，根據比較結果來確定人臉的運動狀態。現將參考圖4到圖8對當在先前身體被檢測到之後檢測到當前身體時 DCP 507確定人臉的運動狀態的方法進行描述。在操作S41， DCP 507通過針對先前檢測的身體的所有輪廓將在相鄰像 素之間的亮度差值相加來獲得輪廓特徵值。在本說明書中，亮度是指，例如， 包括在亮度(Y)和色度(Cb和Cr)的圖像數據中的亮度(Y)。例如，如果身體輪廓51的像素是第二像素P2和第三像素P3，則針對身 體輪廓51將第一像素Pi和第二像素P2之間的亮度差值、第二像素P2和第三 像素P3之間的亮度差值與第三像素P3和第四像素P4之間的亮度差值相力口(參考圖6)。對所有輪廓中的每一輪廓執行上述計算，且通過將所有相加的值進 行相加而獲得的結果變為輪廓特徵值。在操作S43, DCP 507通過針對當前檢測的身體的所有輪廓將相鄰像素 之間的亮度差值相加來獲得輪廓特徵值。關於其詳細描述已在之前的討論中描述。在操作S45， DCP 507計算輪廓特徵變化率，該輪廓特徵變化率是當前 檢測的身體的輪廓特徵值相對於先前檢測的身體的輪廓特徵值的變化率。在操作S47， DCP507根據輪廓特徵變化率來確定面部運動狀態。例如， 關注對象面向後面的情況(圖8中的情況)具有比在關注對象面向左面的情況 (圖7中的情況)更高的輪廓特徵值。根據以上描述的操作，可通過比較先前檢測的身體的圖像特徵與當前檢 測的身體的圖像特徵來確定人臉的當前方向。因此，即使當關注的人臉沒有 朝向捕獲單元時也可快速4企測到人臉。圖9是示出根據本發明的另一實施例的圖1所示的DCP根據圖2所示的 操作S260企測具有存儲的平均紅層次、平均綠層次和平均藍層次的身體)當先 前身體被檢測到之後檢測到當前身體時確定人臉的運動狀態的方法的例子的 流程圖。圖IO是在圖9中的操作S95中的直方圖的轉變的曲線圖的例子(相 對於先前檢測的身體圖像的直方圖來獲得當前檢測的身體圖像的直方圖的轉 變)。在圖9中，通過比較先前檢測的身體圖像的亮度直方圖與當前檢測的身 體圖像的亮度直方圖來確定面部運動狀態。
現將參考圖5、圖7和圖IO對圖9所示的當先前身體被檢測到之後檢測 到當前身體時DCP 507確定人臉的運動狀態的方法進行描述。
在操作S91， DCP 507根據相應的亮度值相應於像素的個數來獲得先前 檢測的身體圖像的直方圖101。
在操作S93, DCP 507根據相應的亮度值相應於像素的個數來獲得當前 檢測的身體圖像的直方圖102。
在操作S95, DCP 507相對於先前檢測的身體圖像的直方圖101來獲得 當前檢測的身體圖像的直方圖102的直方圖轉變。
在操作S97, DCP 507根據直方圖轉變來確定面部的運動狀態。例如， 如果轉變直方圖是如圖10所示的向上轉變，則確定人臉^v向左轉為向後(參 考圖7和圖8)。
根據先前在前面的討論中描述的操作，可通過比較先前檢測的身體的圖 像特徵與當前檢測的身體的圖像特徵來確定人臉的當前方向。因此，即使當 關注的人臉沒有朝向捕獲單元時也可快速檢測到人臉。
如先前在前面的討論中所述，根據本發明的例子，如果沒有檢測到人臉， 則可使用身體的圖像特徵來確定人臉的當前方向。因此，即使當將被識別的 人臉沒有朝向捕獲單元時，也可快速檢測到人臉。
雖然已經參照本發明的示例性實施例具體顯示和描述了本發明，但是本 領域的普通技術人員應該理解在不脫離由權利要求限定的本發明的精神和 範圍的情況下，可以對其進行形式和細節上的各種改變。
權利要求
1、一種控制數字圖像處理設備從連續輸入圖像檢測人臉的方法，該方法包括(a)如果檢測到人臉，則存儲身體區域的圖像信息；(b)如果未檢測到人臉，則檢測具有在(a)中存儲的圖像信息的身體；以及(c)如果在先前身體在(b)中被檢測到之後檢測到當前身體，則通過比較先前檢測的身體的圖像特徵與當前檢測的身體的圖像特徵來確定人臉的運動狀態。
2、 如權利要求l所述的方法，其中，(a)包括步驟(al)根據檢測的人臉的大小和參考坐標來設置身體的大小和參考坐標；以及(a2)存儲在(al)中設置的身體區域的圖像信息。
3、 如權利要求l所述的方法，其中，在(a)和(b)中，所述身體區域的圖 像信息包括身體區域的平均層次。
4、 如權利要求3所述的方法，其中，所述身體區域的平均層次包括身 體區域的平均紅層次、平均綠層次和平均藍層次。
5、 如權利要求l所述的方法，其中，在(c)中，通過比較之前檢測的身 體的輪廓的亮度特徵與當前檢測的身體的輪廓的亮度特徵來確定所述人臉的 運動狀態。
6、 如權利要求5所述的方法，還包括步驟(cll)通過針對先前檢測的身體的所有輪廓，將相鄰像素之間的亮度差 值相加來獲得輪廓特徵值；(cl2)通過針對當前檢測的身體的所有輪廓，將相鄰像素之間的亮度差 值相加來獲得輪廓特徵值；(cl3)計算輪廓特徵變化率，該輪廓特徵變化率是當前檢測的身體的輪 廓特徵值相應於先前4企測的身體的輪廓特徵值的變化率；以及(cl4)根據輪廓特徵變化率來確定人臉的運動狀態。
7、 如權利要求6所述的方法，其中，在(cll)和(cl2)中，當輪廓的像素 是第二像素和第三像素時，針對所述輪廓，將第一像素與第二像素之間的亮度差值、第二像素與第三像素之間的亮度差值、第三像素與第四像素之間的 亮度差值相加。
8. 如權利要求l所述的方法，其中，在(C)中，通過比較先前檢測的身 體圖像的亮度直方圖與當前檢測的身體圖像的亮度直方圖來確定所述人臉的 運動狀態。
9. 如權利要求8所述的方法，還包括步驟(c21)根據先前檢測的身體圖像的相應的亮度值來獲得相應於像素的個 數的直方圖；(c22)根據當前檢測的身體圖像的相應的亮度值來獲得相應於像素的個 數的直方圖；(c23)相對於先前檢測的身體圖像的直方圖來獲得當前檢測的身體圖像 的直方圖的轉變；(c24)根據直方圖轉變來確定人臉的運動狀態。
10. 一種控制數字圖像處理設備從連續輸入圖像;險測人臉的方法，該方 法包括(a) 如果檢測到人臉，則根據人臉的大小和參考坐標來設置身體的大小 和參考坐標；(b) 計算在(a)中設置的身體區域的平均層次並存儲計算結果；(c) 如果未檢測到人臉，則檢測具有在(b)中存儲的平均層次的身體；以及(d) 如果在(c)中檢測到身體之後檢測到當前身體(即，由於存儲當前身體 的身體區域的平均層次數據而檢測到當前身體)，則通過比較先前檢測的身體 的圖像特徵與當前檢測的身體的圖像特徵來確定人臉的運動狀態。
11. 如權利要求IO所述的方法，其中，在(b)和(c)中，所述身體區域的 平均層次包括身體區域的平均紅層次、平均綠層次和平均藍層次。
12. 一種數字圖像處理設備，其包括主控制器並從連續輸入圖像檢測人 臉，其中，所述主控制器採用權利要求1所述的方法。
13. 一種數字圖像處理設備，其包括主控制器並從連續輸入圖像檢測人 臉，其中，所述主控制器採用權利要求IO所述的方法。
全文摘要
提供一種控制數字圖像處理設備進行人臉檢測的方法及其設備，該方法包括操作(a)到操作(c)。在(a)中，如果檢測到人臉，則存儲身體區域的圖像信息；在(b)中，如果未檢測到人臉，則檢測具有在(a)中存儲的圖像信息的身體；在(c)中，如果在先前身體在(b)中被檢測到之後檢測到當前身體，則比較先前檢測的身體的圖像特徵與當前檢測的身體的圖像特徵，並根據比較結果來確定人臉的運動狀態。
文檔編號G06K9/00GK101408936SQ20081021313
公開日2009年4月15日 申請日期2008年9月18日 優先權日2007年10月12日
發明者卜榮洙, 東 李 申請人:三星Techwin株式會社