複雜環境下多特徵融合的節能型智能識別數字標牌的製作方法
2023-05-23 08:45:51 1
專利名稱：複雜環境下多特徵融合的節能型智能識別數字標牌的製作方法
技術領域：
本發明涉及人臉或指紋特徵識別技術、圖像或信息融合技術、視頻處理技術等，特別涉及Haar-I ike特徵以及EOH特徵選擇法、模糊聚類方法及人臉檢測領域，尤其是一種複雜環境下多特徵融合的節能型智能識別數字標牌。
背景技術：
數字標牌(Digital Signage)是一種全新的媒體概念，是指在商場、機場及其他人流匯聚的公共場所，通過大屏幕終端顯示設備，發布商業、財經或娛樂信息的多媒體專業視聽系統。作為傳統戶外廣告的替代者，數字標牌所包含的信息量非常大，可以隨時方便地更新，並且能夠聯網，這都是傳統戶外廣告所無法比擬的。數字標牌不僅可以向公眾發布多媒體廣告信息、帶來全新的商業創新價值，而且被認為是顯示產業新成長的動力。智能數字標牌通過技術(尤其是臉部識別)，能讓廣告商根據顯示屏前不同的觀眾來發布廣告。智能數字標牌的國內外研究現狀如下2008年2月加拿大Congno Vision公司在美國拉斯維加斯舉行的 "DigitalSignage Expo」上展示了這一新型技術在顯示屏上配備攝像頭，讀取觀眾的臉部，再利用該公司開發的專用軟體進行分析。通過該技術，可識別出觀眾的性別和年齡段。 例如，若識別出觀眾是20多歲的女性，就會顯示適合她的廣告。2010年1月，英特爾在美國零售業聯盟展會上展出了一個7英尺6英寸的多用戶、 多觸點的英特爾智能數字標牌概念驗證(POC)系統；同年5月，英特爾與微軟聯手推出了基於英特爾酷睿處理器和微軟最新版Windows嵌入式作業系統的數字標牌平臺技術，將支持解決方案提供商更快速地構建更加可靠的數字標牌網絡。在2010年5月舉行的第13屆嵌入系統技術開發展上，英特爾日本公司展示了附帶數字標牌的自動售貨機，其內置攝像頭模塊可根據影像來識別有無使用者、使用者的性別和年齡層等等。機器前部配備了帶有觸摸功能的大屏液晶顯示器，可根據使用者的性別和年齡層顯示推薦商品。與此同時，NEC電子公司也發布了一種針對數字標牌的觀眾特徵識別判定程序，數字用戶可藉助它對頭髮顏色和聽力特徵的識別來判定觀眾所屬的年齡階段，其誤差基本不超過10歲。商家可藉此針對不同的觀眾來調整顯示的數字內容。2010年7月，日本11家地鐵公司聯合推出了「數位化號牌推廣計劃」，在東京周邊的地鐵站中安裝了 27臺具備人臉識別能力的廣告顯示器，其中安裝有攝像頭和人臉識別軟體，可自動識別經過廣告牌的旅客的性別和年齡，並播放相應內容。項目發言人介紹，只要旅客從廣告牌前路過、並往屏幕的方向看一秒鐘，這些顯示器便可識別出旅客的性別和大致年齡。2010年6月在第二屆上海國際數字標牌及觸摸查詢技術展示會上，三星電子大中華區經理隋大鵬指出該公司的數字標牌系統正在融入更多的新技術，通過臉部跟蹤及識別技術完成對受眾群人數、性別、年齡區間等信息的採集和統計，並可據此調整播放策略。 三星應用到餐飲行業的觀眾識別系統解決方案可為不同的受眾群體播放不同的內容，以做到智能發布。在國外數字標牌業不斷創新的同時，國內專家認為，國內數字標牌產業主要的差距是技術國內一些新入行的企業在整體技術水平上顯著落後於國外市場。隨著全球數字標牌市場的不斷增長，國內企業已經意識到，儘管數字標牌市場商機無限，技術創新才是這個行業發展的硬道理。因此，在目前國內研究技術相對較弱的情況下，市場的長足發展必須有自主創新能力和尋求差異化的技術實力。另一方面，目前國外的智能數字標牌識別技術大多依賴於臉部識別，而該技術在報告觀眾性別及年齡等信息方面精確度僅約80%，離智能數字標牌的實際目標還存在一定的差距。雖然目前國際上報導了一些智能標牌識別技術，但是它們大多處於實驗室研發階段，大多數依賴於臉部識別，而且考慮的人物對象和環境也比較單一。然而，事實上數字標牌的應用領域是完全開放式的複雜環境，服務對象及環境都極不確定進入攝像機視野的人群數量、性別年齡分布、站立或行走姿勢等都是無法約束的，攝像機前的環境，如車輛穿行、明暗變化、天氣影響等也是無法控制的。這一切都給人體檢測、追蹤、識別帶來困難。此外，現有的一些識別技術多基於人物的臉部特徵，少數基於頭髮顏色和聽力特徵，但是數字標牌應用環境的上述特性使得單一特徵的精確檢測幾乎無法實現，因此不可僅僅依賴少數幾種特徵做出決策。此外，綠色環保也是數字標牌要考慮的問題，但目前產品很少能夠做到。我們希望數字標牌能夠在無人時休眠，以節能環保。
發明內容
本發明要解決的技術問題是為了克服上述中存在的問題，提供一種複雜環境下多特徵融合的節能型智能識別數字標牌，能夠通過對複雜環境下的目標人群的多種特徵的提取與融合，最終實現數字標牌廣告的智能分類、投放決策、和綠色環保。本發明解決其技術問題所採用的技術方案是一種複雜環境下多特徵融合的節能型智能識別數字標牌，本文是基於視頻的運動人體檢測與跟蹤，攝像頭的場景背景一般變換不大，這給運動人體檢測和跟蹤帶來了很大的便利，同時大大降低了了檢測與跟蹤的複雜度，在處理視頻檢測運動人體之前，利用視頻圖像中的運動目標對其進行運動區域標記， 去除不滿足要求的區域，訓練集通過人體檢測器對篩選出來的運動區域標記進行運動人體檢測得到運動人體實例，前景檢測主要是將視頻圖像分成運動的人體前景區域，與攝像頭中不動部分的背景區域。自適應背景模型為靜止背景建立背景模型，通過將當前圖像幀和背景模型進行比較，確定出變化較大的區域即認為是前景區域。這種方法的計算速度很快， 可以獲得關於運動目標區域的完整精確的描述，但對場景中光照條件、大面積運動和噪聲比較敏感，所以在實際應用中需採用一定的算法進行背景模型的動態更新以適應環境的變化，其具體步驟是a.人群特徵提取通過對人臉圖像的特徵提取、髮型特徵提取和步態特徵提取；b.用分類器進行性別識別和年齡識別所述的分類器包括Fisher線性判別法、動態聚類算法和支持向量回歸機，採用分類器來對檢測的人體進行性別、年齡分類是人體識別領域中關於年齡變化研究的主要方法，可以說這樣的年齡估計方法是行之有效的，但是由於單個分類器都有其各自的優缺點，因而在同樣情況下不同分類器的識別結果可能相差非常大，多分類器決策融合是模式發展的一種趨勢，其目的旨在提高分類的精度，並度量模式的密集程度。Fisher線性判別法作為單分類器來說，其識別性能在不同的資料庫上均不錯，但是，利用Fisher線性法在進行降維處理時，還是會丟失一些有用的信息，而這些信息對於後面的步驟可能很重要，這也是該方法的不足之處；動態聚類算法，C-均值算法是一種常用的基於近鄰法則的無監督學習方法，首先確定需要的群數c，選好c個代表點，用這些代表點作為初始類型，再對樣本集H中每個樣本X找出相距最近的代表點，將X歸到這個最近的代表點所在的群中去，這樣，第一次迭代就用近鄰法則將H初步分為c群，下一次迭代就在這個基礎上以上次迭代所得的各群的均值向量作為新的代表點，再次按近鄰法則將H分為c群，直到分群穩定為止，C-均值算法的收斂速度比較快，但是其收斂結果取決於初始聚類中心的選取。支持向量回歸機(Support Vector Regression，簡稱SVR)，支持向量回歸機算法是支持向量機方法在回歸問題上的推廣，通過引入不敏感損失函數和核函數，可以很好地應用於非線性回歸分析，並且對小樣本集問題具有良好的預測性能。c.智能廣告投放包括協同過濾推薦技術、基於內容的推薦技術、基於人口統計學的推薦技術、基於效用的推薦、基於知識的推薦和基於關聯規則的推薦，在這些方法中， 能用在本專利背景下的技術是基於人口統計學的推薦技術，該技術最常用的人口學特徵變量是年齡、性別和地理位置，有時收入變量也會被使用(如高檔賓館中的顧客)。年齡和性別是由系統識別得到，地理位置由系統終端所在地決定，廣告初始階段通過人工方式進行分類，並標註適宜人群屬性(年齡、性別、地理位置和收入等)。若有可能，系統增加觀察量 用戶對某一廣告的觀看時間。利用該時間，得到某類人群對各個廣告的喜愛程度，以便調整各個廣告的播放策略；d.綠色環保通過判斷攝像頭有無人體檢測或者麥克風有無大於一定閾值的聲音輸入結果，判斷是否進入休眠省電狀態。所述的人臉圖像的特徵提取包括利用二維Gabor小波進行圖像進行多尺度分析的整體特徵提取和採用基於合成的圖像分析技術來對人臉圖像進行特徵提取和建模的局部特徵提取，特徵提取就是應用不同的特徵提取方法提取出區別不同模式問題的顯著特徵。在模式識別問題中，由被識別的對象產生一組原始特徵向量，這些特徵向量可以是測量得到，也可以是通過數學公式計算得到；原始特徵一般存在於高維空間，可以通過映射變換將其轉換到低維特徵空間，但其變換過程要符合兩個主要準則一是特徵空間必須保留原高維空間的主要信息，二是特徵空間的維數必須遠遠低於原高維空間。整體特徵提取是Gabor變換源於窗口傅立葉變換，但因其窗口可仲縮，核函數頻率及帶寬可調的特性與小波變換相似，故稱為Gabor小波變換，和傳統的一些變換方法相比Gabor小波變換有著明顯的優勢，傳統方法的缺陷是窗口尺寸一經確定就無法更改，因此其尺度不能變化，無法實現對信號進行多尺度分析，Gabor小波變換即具有小波變換的多解析度特性，同時又具有Gabor函數的局域性和方向性。近年來的研究表明Gabor小波能夠更好的兼顧信號在時域和頻域的解析度，而且在頻率和方向上對圖像的表示特性與人類視覺系統的相關特性非常相似，能夠捕捉對應於空間和頻率的局部結構信息。與其它濾波方法相比，Gabor小波更適用於圖像的特徵提取上，特別是在人臉圖像的應用中，二維Gabor 小波是圖像多尺度分析的有力工具，具有很好的方向選擇性和空間局部性，能精確地提取圖像局部區域內多個方向的結構特徵，並且對光照和尺度變化不敏感，能容忍圖像一定程度的旋轉和變形，具有較高的魯棒性。局部特徵提取是臉部特徵精確配準是魯棒實用的人臉識別系統的基本前提，也是提取人臉幾何特徵的基本前提，柔性模型(Flexible Models)，是目前解決該問題的主流方法。Kass等人在1987年首先提出了稱為Snake的主動輪廓線模型(Active Contour Model, ACM), Snake是能量極小化的一種模型，內力約束它的形狀，外力引導它的行為，圖像力將其拖向顯著的圖像特徵。Snake模型的引人之處在於它對範圍廣泛的一系列視覺問題給出了統一的解決方法。隨後，T. F. Cootes等人在1995年又提出了一種基於統計模型的方法—— 主動形狀模型(Active Shaper Model，ASM)，該方法對訓練集中大量所描述的形狀實例進行統計，建立起反映目標形狀變化規律的形狀統計模型和反映灰度分布規律的局部灰度模型，通過循環迭代，得到理想的匹配結果，在主動形狀模型基礎之上，T. F. Cootes等人又在 1998年中提出了主動表觀模型(AAM)。AAM方法是對ASM的直接擴展，與ASM相比，AAM同樣採用統計分析的方法建立先驗模型，然後，利用先驗模型對圖像中的人臉進行匹配運算。 其優點在於該模型不僅僅包含人臉的形狀信息，而且還包含有人臉的內部紋理信息。ASM/ AAM將人臉描述為2D形狀和紋理兩個分離的部分，分別用統計的方法進行建模(PCA)，然後再進一步通過PCA將二者融合起來對人臉進行統計建模。柔性模型具有良好的人臉合成能力，可以採用基於合成的圖像分析技術來對人臉圖像進行特徵提取與建模。柔性模型目前已被廣泛用於人臉特徵對準(FaceAlignment)和識別中，並出現了很多的改進模型，AAM將預先定義的特徵點及樣本影響經過統計後，留下較低維度但對於我們很有用的特徵信息。 應用在人臉圖像上，這類特徵包括了人臉的形狀信息以及五官的輪廓變化，或者顏色紋理諮詢，膚色變化等，其基本概念可以如下式子表達:X = X + M*c，其中M是已經訓練好的統計模型矩陣，可以表示臉部的輪廓變化或紋理變化，c是一個向量。則一個新臉部圖像X等於用平均臉X加上c通過模型M產生的變化量。由控制參數矢量c控制形狀和紋理的變化， 調節c可以得到不同的形狀和臉部紋理，從而合成不同的人臉。目前，性別識別絕大部分是採用人臉識別的，而服裝、髮型、裝飾、聲音、步態等特徵研究的較少，特別是服裝和裝飾更少，就裝飾而言，在網上還未找到相關的論文。主要原因是這些特徵難以檢測和自動提取，比如頭髮，要檢測並提取出來是非常具有挑戰性的，主要是其非剛性形狀，還有就是顏色變化非常大，這比人臉提取難度大得多了。最早進行髮型檢測的是^coob and Davis，他們使用的是簡單的顏色聚類模型方法來檢測頭髮像素， 這種方法限定在控制背景和頭髮顏色變化不是很大的條件下使用，提出的Graph-Cut算法是一種自動提取人臉和髮型的顏色和位置聚類優先方法，所述的髮型特徵提取的具體步驟(1)從視頻中獲取一幀圖像進行檢測，可以定時獲取圖像或是已經檢測到場景中有人物時定時獲取單帖圖像進行處理；( 對獲取一幀後的圖像進行預處理，此步驟中因為髮型提取與人臉提取不一樣，人臉模型的剛性比較強，人臉的反光度比頭髮低，即人臉對光照的敏感度比頭髮要低；C3)對預處理後的圖像進行人臉和髮型的分割，此步驟主要是頭髮的柔性比較大，其沒有一個相對固定的形狀，並且對光線的影響很大，無論是光照強度還是光照方向，其方法有簡單的顏色和位置聚類算法、LBP算法、Graph-Cut算法、Loopy Belief Propagation算法和顏色和位置聚類優先的Graph-Cut算法等，顏色和位置聚類優先的 Graph-Cut算法效果較好；(4)對分割後的圖中提取髮型模型。
作為人臉特徵的補充，步態識別對於非正面人臉特徵識別具有重要的意義，如果人臉檢測的是側面人臉，那麼人臉特徵將很難獲取，這樣會導致識別的拒絕率提高，所述的步態特徵提取的具體步驟(1)從視頻文件中獲取步態序列；( 以每個周期為單位計算一個周期內的平均能量圖；C3)對每個能量圖取六個點後用線連起來，對其圖像進行分割成七個部分；(4)分別提取每個部分的Gabor特徵進行相似度測量，從左至右分別提取的是頭部，手臂(胸)，軀幹，大腿，前腿，後腿及腳的特徵。所述的性別識別的具體步驟如下(1)提取人體的人臉、膚色、髮型、裝飾等的特徵，人臉特徵包括整體特徵和局部特徵；( 通過線性判別方法提取訓練檢測到的人體的特徵和利用Fisher方法提取訓練樣本和目標圖像的特徵；(3)通過動態聚類方法對目標圖像進行分類並計算單分類器的平均識別率；(4)通過男女訓練樣本對支持向量回歸機 (SVR)進行訓練得到一組參數值，利用訓練好的SVR對測試樣本進行分類；(5)將各種融合規則和不同融合規則的分類精度進行比較。所述的年齡段識別的具體步驟如下(1)提取人體的人臉、膚色、髮型、裝飾等的特徵，對人臉，選取鑑別能力較強的左右眼睛、鼻子和嘴巴作為局部區域，在一定程度上降低計算複雜度，標定特徵點分割出人臉的左右眼睛、鼻子和嘴巴區域；(2)通過線性判別方法提取訓練檢測到的人體的特徵，利用Fisher方法利用Fisher方法提取訓練樣本和目標圖像的特徵；C3)通過動態聚類方法對目標圖像進行分類並計算單分類器的平均識別率； (4)通過不同年齡段(老、中、青、少等)訓練樣本對支持向量回歸機進行訓練得到一組參數值；(5)將各種融合規則和不同融合規則的分類精度進行比較，根據對目標圖像的分類迭代增加分類類別，縮小年齡段分類區間，以提高年齡估計精度。本發明的複雜環境下多特徵融合的節能型智能識別數字標牌的有益效果是基於複雜環境下的目標人群的多種特徵的提取與融合方法，能更加準確地識別人群所屬年齡段及喜好，並且在無人時候自動進入休眠狀態，做到綠色節能環保，還更加滿足智能數字標牌市場對於高效、高性能和高可靠性解決方案的需求，為數字內容、交互活動、智能信息和生命周期管理提供更好的支持。
下面結合附圖和實施例對本發明進一步說明。圖1是本發明的結構框圖；圖2是基於視頻的人體檢測框圖；圖3是圖1的步態特徵中一個周期內的平均能量圖；圖4是圖1的步態特徵中步態圖像分割圖；圖5是圖1的步態特徵中步態相似度測量圖；圖6是圖1的步態特徵中步態特徵提取圖；圖7是圖1中性別齡段的結構識別框圖。
具體實施例方式現在結合附圖對本發明作進一步詳細的說明。這些附圖均為簡化的示意圖，僅以示意方式說明本發明的基本結構，因此其僅顯示與本發明有關的構成。
如圖1和圖2所示的複雜環境下多特徵融合的節能型智能識別數字標牌，利用視頻圖像中的運動目標對其運動區域標記，去除不滿足要求的區域，訓練集通過人體檢測器對篩選出來的運動區域標記進行運動人體檢測得到運動人體實例，其具體步驟是步驟一、人群特徵提取(1)人臉圖像的特徵提取a.整體特徵提取Gabor變換源於窗口傅立葉變換，但因其窗口可仲縮，核函數頻率及帶寬可調的特性與小波變換相似，故稱為Gabor小波變換，和傳統的一些變換方法相比Gabor小波變換有著明顯的優勢，傳統方法的缺陷是窗口尺寸一經確定就無法更改，因此其尺度不能變化，無法實現對信號進行多尺度分析，Gabor小波變換即具有小波變換的多解析度特性，同時又具有Gabor函數的局域性和方向性，近年來的研究表明Gabor小波能夠更好的兼顧信號在時域和頻域的解析度，而且在頻率和方向上對圖像的表示特性與人類視覺系統的相關特性非常相似，能夠捕捉對應於空間和頻率的局部結構信息，與其它濾波方法相比，Gabor小波更適用於圖像的特徵提取上，特別是在人臉圖像的應用中，二維Gabor 小波是圖像多尺度分析的有力工具，具有很好的方向選擇性和空間局部性，能精確地提取圖像局部區域內多個方向的結構特徵。並且對光照和尺度變化不敏感，能容忍圖像一定程度的旋轉和變形，具有較高的魯棒性；b.局部特徵提取臉部特徵精確配準是魯棒實用的人臉識別系統的基本前提，也是提取人臉幾何特徵的基本前提。柔性模型(Flexible Models)，是目前解決該問題的主流方法，Kass等人在1987年首先提出了稱為Snake的主動輪廓線模型(Active Contour Model, ACM), Snake是能量極小化的一種模型，內力約束它的形狀，外力引導它的行為，圖像力將其拖向顯著的圖像特徵，Snake模型的引人之處在於它對範圍廣泛的一系列視覺問題給出了統一的解決方法。隨後，T. F. Cootes等人在1995年又提出了一種基於統計模型的方法——主動形狀模型(Active Shaper Model，ASM)，該方法對訓練集中大量所描述的形狀實例進行統計，建立起反映目標形狀變化規律的形狀統計模型和反映灰度分布規律的局部灰度模型，通過循環迭代，得到理想的匹配結果，在主動形狀模型基礎之上，T. F. Cootes等人又在1998年中提出了主動表觀模型(AAM)，AAM方法是對ASM的直接擴展，與ASM相比， AAM同樣採用統計分析的方法建立先驗模型，然後，利用先驗模型對圖像中的人臉進行匹配運算。其優點在於該模型不僅僅包含人臉的形狀信息，而且還包含有人臉的內部紋理信息， ASM/AAM將人臉描述為2D形狀和紋理兩個分離的部分，分別用統計的方法進行建模(PCA)， 然後再進一步通過PCA將二者融合起來對人臉進行統計建模。柔性模型具有良好的人臉合成能力，可以採用基於合成的圖像分析技術來對人臉圖像進行特徵提取與建模，柔性模型目前已被廣泛用於人臉特徵對準(Face Al ignment)和識別中，並出現了很多的改進模型。AAM將預先定義的特徵點及樣本影響經過統計後，留下較低維度但對於我們很有用的特徵信息，應用在人臉圖像上，這類特徵包括了人臉的形狀信息以及五官的輪廓變化， 或者顏色紋理諮詢，膚色變化等等，其基本概念可以用以下表達式表達X = X + M*c其中M是已經訓練好的統計模型矩陣，可以表示臉部的輪廓變化或紋理變化，c是一個向量。則一個新臉部圖像X等於用平均臉X加上C通過模型M產生的變化量。由控制參數矢量c控制形狀和紋理的變化，調節c可以得到不同的形狀和臉部紋理，從而合成不同的人臉。(2)髮型特徵提取a.從視頻中獲取一幀圖像進行檢測，可以定時獲取圖像或是已經檢測到場景中有人物時定時獲取單帖圖像進行處理；b對獲取一幀後的圖像進行預處理，這一步很重要，這一步處理的效果影響後面髮型模型提取的效果，因為髮型提取與人臉提取不一樣，人臉模型的剛性比較強，人臉的反光度比頭髮低，即人臉對光照的敏感度比頭髮要低。所有這一步的處理直接影響後續髮型提取和識別的效果；c對預處理後的圖像進行人臉和髮型的分割，這一步是整個過程的難點，主要是頭髮的柔性比較大，其沒有一個相對固定的形狀，並且對光線的影響很大，無論是光照強度還是光照方向。其方法有簡單的顏色和位置聚類算法、LBP算法、Graph-Cut算法、Loopy Belief Propagation算法和顏色和位置聚類優先的Graph-Cut算法等，顏色和位置聚類優先的Graph-Cut算法效果較好；d對分割後的圖中提取髮型模型。(3)步態特徵提取a.從視頻文件中獲取步態序列；b.以每個周期為單位計算一個周期內的平均能量圖，如圖3所示；c.對每個能量圖取六個點後用線連起來，對其圖像進行分割成七個部分，如圖4 所示；d.分別提取每個部分的Gabor特徵進行相似度測量，如圖5所示。如圖6所示，從左至右分別提取的是頭部，手臂(胸)，軀幹，大腿，前腿，後腿及腳的特徵。步驟二、用分類器進行性別識別和年齡識別，如圖7所示(I)Fisher線性判別法作為單分類器來說，其識別性能在不同的資料庫上均不錯， 但是，利用Fisher線性法在進行降維處理時，還是會丟失一些有用的信息，而這些信息對於後面的步驟可能很重要，這也是該方法的不足之處；(2)動態聚類算法C_均值算法是一種常用的基於近鄰法則的無監督學習方法。 首先確定需要的群數c，選好c個代表點，用這些代表點作為初始類型，再對樣本集H中每個樣本X找出相距最近的代表點，將X歸到這個最近的代表點所在的群中去，這樣，第一次迭代就用近鄰法則將H初步分為c群，下一次迭代就在這個基礎上以上次迭代所得的各群的均值向量作為新的代表點，再次按近鄰法則將H分為c群，直到分群穩定為止，C-均值算法的收斂速度比較快，但是其收斂結果取決於初始聚類中心的選取；(3)支持向量回歸機是支持向量機方法在回歸問題上的推廣，通過引入不敏感損失函數和核函數，可以很好地應用於非線性回歸分析，並且對小樣本集問題具有良好的預測性能。(4)性別識別a.提取到人體的人臉、膚色、髮型、裝飾等各種特徵。人臉特徵包括整體和局部特徵；b.利用線性判別方法提取訓練檢測到的人體的特徵，同時利用Fisher方法提取訓練樣本和目標圖像的特徵；c.利用動態聚類方法對目標圖像進行分類，並計算單分類器的平均識別率；d.利用男女訓練樣本對SVR進行訓練，得到一組參數值。利用訓練好的SVR對測試樣本進行分類；e.利用各種融合規則進行組合分類，比較不同融合規則的分類精度。(5)年齡段識別a.提取到人體的人臉、膚色、髮型、裝飾等各種特徵，對人臉，選取鑑別能力較強的左右眼睛、鼻子和嘴巴作為局部區域，在一定程度上降低計算複雜度。標定特徵點分割出人臉的左右眼睛、鼻子和嘴巴區域；b.利用線性判別方法提取訓練檢測到的人體的特徵，同時利用Fisher方法提取訓練樣本和目標圖像的特徵；c.利用動態聚類方法對目標圖像進行分類，並計算單分類器的平均識別率；d.利用不同年齡段(老、中、青、少等)訓練樣本對SVR進行訓練，得到一組參數值。利用訓練好的SVR對測試樣本進行分類；e.利用各種融合規則進行組合分類，比較不同融合規則的分類精度。根據對目標圖像的分類迭代增加分類類別，縮小年齡段分類區間，以提高年齡估計精度。步驟三、智能廣告投放廣告初始階段通過人工方式進行分類，並標註適宜人群屬性(年齡、性別、地理位置和收入等)，若有可能，系統增加觀察量用戶對某一廣告的觀看時間。利用該時間，得到某類人群對各個廣告的喜愛程度，以便調整各個廣告的播放策略。步驟四、綠色環保通過判斷攝像頭有無人體檢測或者麥克風有無大於一定閾值的聲音輸入結果，從而決定是否進入休眠省電狀態。以上述依據本發明的理想實施例為啟示，通過上述的說明內容，相關工作人員完全可以在不偏離本項發明技術思想的範圍內，進行多樣的變更以及修改。本項發明的技術性範圍並不局限於說明書上的內容，必須要根據權利要求範圍來確定其技術性範圍。
權利要求
1.一種複雜環境下多特徵融合的節能型智能識別數字標牌，利用視頻圖像中的運動目標對其進行運動區域標記，訓練集通過人體檢測器對篩選出來的運動區域標記進行運動人體檢測得到運動人體實例，其特徵是其具體步驟是a.人群特徵提取通過對人臉圖像的特徵提取、髮型特徵提取和步態特徵提取；b.用分類器進行性別識別和年齡識別所述的分類器包括Fisher線性判別法、動態聚類算法和支持向量回歸機；c.智能廣告投放包括協同過濾推薦技術、基於內容的推薦技術、基於人口統計學的推薦技術、基於效用的推薦、基於知識的推薦和基於關聯規則的推薦；d.綠色環保通過判斷攝像頭有無人體檢測或者麥克風有無大於一定閾值的聲音輸入結果，判斷是否進入休眠省電狀態。
2.根據權利要求1所述的複雜環境下多特徵融合的節能型智能識別數字標牌，其特徵是所述的人臉圖像的特徵提取包括利用二維Gabor小波進行圖像進行多尺度分析的整體特徵提取和採用基於合成的圖像分析技術來對人臉圖像進行特徵提取和建模的局部特徵提取。
3.根據權利要求1所述的複雜環境下多特徵融合的節能型智能識別數字標牌，其特徵是所述的髮型特徵提取的具體步驟(1)從視頻中獲取一幀圖像進行檢測；( 對獲取一幀後的圖像進行預處理；C3)對預處理後的圖像進行人臉和髮型的分割；(4)對分割後的圖中提取髮型模型。
4.根據權利要求1所述的複雜環境下多特徵融合的節能型智能識別數字標牌，其特徵是所述的步態特徵提取的具體步驟(1)從視頻文件中獲取步態序列；( 以每個周期為單位計算一個周期內的平均能量圖；C3)對每個能量圖取六個點後用線連起來，對其圖像進行分割成七個部分；(4)分別提取每個部分的Gabor特徵進行相似度測量。
5.根據權利要求1所述的複雜環境下多特徵融合的節能型智能識別數字標牌，其特徵是所述的性別識別的具體步驟如下(1)提取人體的人臉、膚色、髮型、裝飾的特徵；(2)通過線性判別方法提取訓練檢測到的人體的特徵和提取訓練樣本和目標圖像的特徵；(3)通過動態聚類方法對目標圖像進行分類並計算單分類器的平均識別率；(4)通過男女訓練樣本對支持向量回歸機進行訓練得到一組參數值；(5)將各種融合規則和不同融合規則的分類精度進行比較。
6.根據權利要求1所述的複雜環境下多特徵融合的節能型智能識別數字標牌，其特徵是所述的年齡段識別的具體步驟如下(1)提取人體的人臉、膚色、髮型、裝飾的特徵；(2) 通過線性判別方法提取訓練檢測到的人體的特徵，利用Fisher方法提取訓練樣本和目標圖像的特徵；C3)通過動態聚類方法對目標圖像進行分類並計算單分類器的平均識別率； (4)通過不同年齡段訓練樣本對支持向量回歸機進行訓練得到一組參數值；( 將各種融合規則和不同融合規則的分類精度進行比較。
全文摘要
本發明涉及複雜環境下多特徵融合的節能型智能識別數字標牌，利用視頻圖像中的運動目標對其進行運動區域標記，訓練集通過人體檢測器對篩選出來的運動區域標記進行運動人體檢測得到運動人體實例，具體步驟是a.人群特徵提取；b.用分類器進行性別識別和年齡識別；c.智能廣告投放；d.綠色環保。本發明的複雜環境下多特徵融合的節能型智能識別數字標牌，能更加準確地識別人群所屬年齡段及喜好，並且在無人時候自動進入休眠狀態，做到綠色節能環保，還更加滿足智能數字標牌市場對於高效、高性能和高可靠性解決方案的需求，為數字內容、交互活動、智能信息和生命周期管理提供更好的支持。
文檔編號G06K9/66GK102298709SQ20111026478
公開日2011年12月28日 申請日期2011年9月7日 優先權日2011年9月7日
發明者伍世虔, 劉軍, 吳軍, 張怡, 張紅, 方志軍, 楊勇, 楊壽淵, 楊巨成 申請人:常州藍城信息科技有限公司, 江西財經大學