多類目標的檢測裝置及檢測方法

2023-10-24 17:59:27 1

專利名稱：多類目標的檢測裝置及檢測方法
技術領域：
本發明涉及目標檢測技術。尤其涉及用於對多個類別的目標數據進行檢測的檢測 裝置及其檢測方法。
背景技術：
運用機器學習方法對圖像或其它待檢測數據進行目標數據的檢測顯得越來越重 要。尤其是對圖像中的物體檢測已成為其中一個重要分支。同一類物體受光照、視角、姿態等多重因素的影響在圖像中可能產生出差異巨大 的狀態，這給圖像中的物體檢測技術帶來很大困難。同一類物體因而可能會被劃分為多個 子類進行處理，但如何既有效利用多個子類之間的共性而又能準確區分其差別仍然是一個 需要進一步研究的課題。對多類圖像物體檢測技術來說，文獻1提出了一種特徵共享技術，通過將多類物 體的分類器進行聯合訓練，在多類之間儘可能共享特徵，以達到減少運算成本的目的。單純 的特徵共享多類聯合訓練對減少運算成本十分有效，取得了良好的效果，但其效率較低，且 由於共享特徵的同時也共享弱分類器導致在強分類器的後段，特徵的共享越來越困難。文 獻2在此基礎上進一步提出了一種向量Boosting樹算法來檢測圖像中呈現不同視角和 不同姿態的人臉。但同樣文獻2所提算法強制在各類之間進行特徵共享，這使得當多類 中的某一類不能較好的與其他各類共享特徵時，強制的特徵共享方式給分類器的進一步訓 練帶來了困難。參考文獻[1]A.Torralba, K. P. Murphy, and ff.T.Freeman. Sharing Features :Efficient Boosting Procedures for Multiclass Object Detection. CVPR2004.[2]C. Huang, H. Ai, Y.Li, and S. Lao. Vector Boosting for Rotationlnvariant Multi-View Face Detection. ICCV 2005.

發明內容
本發明的目的是提供一種區別於以上現有技術的、用於對多個類別的目標數據進 行檢測的檢測裝置及其檢測方法。根據本發明的一個方面，提供了一種用於對多個類別的目標數據進行檢測的檢測 裝置的訓練方法，包括確定所述多個類別中進行特徵共享的最優特徵共享樣本類別集合，並通過特徵遍 歷為其挑選最優特徵；使用所述選中的最優特徵對所述最優特徵共享樣本類別集合中的各個類別分別 構建弱分類器；以及通過迭代地進行最優特徵挑選得到當前級強分類器的特徵列表，同時也為所述多 個類別分別構建一組弱分類器，獲得包括能處理所述多個類別的相應多個強分類器的檢測裝置根據本發明的用於對多類目標數據進行檢測的檢測裝置的訓練方法使用多類目 標的樣本進行訓練，通過確定所述多個類別中在哪些類別之間進行特徵共享誤差最小來獲 得特徵共享樣本類別集合，使用所述選中的最優特徵對所述最優特徵共享樣本類別集合中 的各個類別分別構建弱分類器，由此構建包含弱分類器的檢測裝置。根據以上訓練方法獲得了用於對多個類別目標數據進行檢測的檢測裝置和檢測 方法，其中檢測裝置包括輸入單元，被配置成輸入待檢測數據；聯合分類器，包括數量與 所述類別數量相對應並用於分別檢測對應類別的目標數據的強分類器，其中，每個所述強 分類器都由一組弱分類器相加得到，每個弱分類器使用一個特徵對所述待檢測數據進行弱 分類；判別單元，被配置成根據所述多個強分類器的分類結果，對所述待檢測數據屬於哪個 類別的目標數據進行判別，其中所述聯合分類器內包含共享特徵列表，所述共享特徵列表 中的每個特徵被分別屬於不同強分類器的一個或多個弱分類器共享使用；使用同一特徵的 分屬不同強分類器的弱分類器具有彼此不同的參數值。這樣，在針對各類目標的強分類器 之間共享特徵以減少計算成本，但各類之間不共享分類器以體現類間差異。根據本發明的另一個方面，提供了一種用於對r個類別的目標數據進行檢測的檢 測裝置的訓練方法，其中，所述r個類別可按預定相似性標準由細到粗被逐級合併為預定 多層結構，並且所述r個類別作為劃分最細的類別設置在最底層，r為大於1的自然數，所 述訓練方法包括按照由粗到細的策略從最頂層類別開始訓練相應的級分類器，每個級分類器包括 具有與所針對類別數量相對應的數量的強分類器，所述各級分類器串聯形成所述檢測裝 置，其中，針對其中一級準備檢測m個類別的級分類器的訓練包括為該級分類器準備處理的m個類別分別準備正樣本集和負樣本集，其中1 < m ^ r ；確定所述m個類別中進行特徵共享的最優類別集合，並通過特徵遍歷為其挑選最 優特徵；使用所述選中的最優特徵對所述最優特徵共享樣本類別集合中的各個類別分別 構建弱分類器；以及通過迭代地進行最優特徵挑選得到當前級強分類器的特徵列表，同時也為所述m 個類別分別構建一組弱分類器，獲得包括可處理所述m個類別的m個強分類器的級分類器。據本發明第二個方面的用於對多個(r個)類別目標數據進行檢測的檢測裝置及 其檢測方法，其中，所述多個類別按相似性標準被逐級合併為預定多層結構，並且所述多個 類別作為劃分最細的類別設置在最底層，所述檢測裝置包括輸入單元，被配置成輸入待檢測數據；以及級聯分類器，所述級聯分類器包括由多個串聯的級分類器，所述多個級分類器被 配置成按照由粗到細的策略對所述預定多層結構中的各層類別進行分類處理，並且每個級 分類器都包括數量與所處理類別數量相對應的強分類器，其中，每個所述強分類器包括一 組弱分類器，每個弱分類器使用一個特徵對所述待檢測數據進行弱分類，其中每個所述級分類器包含一個共享特徵列表，所述共享特徵列表中的每個特徵被分別屬於不同強分類器的一個或多個弱分類器共享使用；使用同一特徵的分屬不同強分 類器的弱分類器具有彼此不同的參數值。類似地，根據本發明第二個方面，作為級聯式分類器的檢測裝置在各類目標的強 分類器之間共享特徵以減少計算成本，但各類之間不共享分類器以體現類間差異。同時為 有效處理多類目標，在訓練各級分類器的過程中按照由粗到細的原則先將多個類別合併處 理，而後逐漸拆分類別做細化處理。


結合附圖，通過參考下列詳細的示例性實施例的描述，將會更好地理解本發明本 身、優選的實施方式以及本發明的目標和優點。圖1示出了根據本發明第一實施例的用於對多類目標數據進行檢測的檢測裝置 的訓練方法。圖2示出了根據本發明第一實施例的訓練方法所使用的Haar-like特徵原型。圖3a和圖3b分別示出了弱分類器和強分類器的結構。圖4示出了根據本發明第一實施例的訓練方法所獲得的檢測裝置的分類器。圖5a和5b分別列舉了使用類別樹結構CT表示訓練過程中的樣本類別變化。圖6示出了根據本發明第三實施例的訓練方法。圖7示出了根據本發明第二或第三實施例的訓練方法所獲得的檢測裝置的分類
o圖8示出了根據本發明的檢測裝置檢測圖像或視頻中預定多類目標的流程。圖9是示出其中實現本發明的計算機的示例性結構的框圖。
具體實施例方式下面將結合附圖對本發明加以詳細說明，應指出的是，所描述的實施例僅旨在便 於對本發明的理解，而對其不起任何限定作用。第一實施例的訓練方法第一實施例以多類汽車(轎車、巴士和卡車)為待檢測的目標。應了解，本發明的 實施例並不限於對圖像和/或視頻中的汽車進行檢測，還可以對圖像和/或視頻中的其它 物體(如多角度的人臉)、甚至可對對實時網絡數據或主機數據進行入侵分類等等進行檢 測。圖1示出了根據本發明第一實施例的用於對多類目標數據進行檢測的檢測裝置 的訓練方法100。該方法在步驟S101開始，首先為所述多個類別分別準備正樣本集和負樣本集。本 實施例中分別為三類汽車(轎車、巴士和卡車)準備一定數量的正樣本集和負樣本集，其正 樣本集分別為三類汽車(轎車、巴士和卡車)正面視角的相同尺寸的汽車圖像集，尺寸統一 為32X32(像素)；其負樣本集從背景圖像集(一組不包含目標物體的圖像，尺寸不做任何 要求)中抽樣得到，尺寸統一縮放到32 X 32 (像素)。同時準備訓練特徵池。將Haar-like特徵原形應用於例如32X32(像素)的圖像， 得到數十萬具體的訓練特徵。但應了解本發明的實施例並不限定所使用特徵的具體種類，
7例如可以是Haar-like特徵，HOG(梯度方位直方圖)特徵，LBP (局部二值模式)特徵或其 他特徵。在此，圖2示出了所使用的Haar-like特徵原型。Haar-like特徵為定義在圖像 中的一個矩形，包括分別在圖2中以白色和黑色表示的兩部分，矩形的方位分為直立和45 度傾斜兩種。Haar-like特徵原型具有四個參數矩形在圖像中的位置(x，y)和矩形的 尺寸(寬度w和高度h)，隨著矩形的位置、尺寸和寬高比的變化，可生成數以萬計的具體 Haar-like特徵作用於圖像。Haar-like特徵的取值為一標量，定義白色區域內所有像素 的灰度值總和為Sum(ff)，黑色區域內為Sum(B)，則Haar-like特徵值由公式feature!= Sum(ff) -Sum(B)計算。從圖1的步驟S102開始訓練。確定所述多個類別中進行特徵共享的最優特徵共 享樣本類別集合，並通過特徵遍歷為其挑選最優特徵。例如，以多個待選訓練特徵為基礎， 通過使用前向順序選擇法等方法確定所述多個類別(在此為3個類別)中在哪些類別之間 進行特徵共享是誤差最小的，選擇由所確定的類別組成的特徵共享樣本類別集合S，並通過 特徵遍歷選中相應的訓練特徵。在確定特徵共享樣本類別集合S及相應的所選最優特徵後，使用所述選中的最 優特徵對所述最優特徵共享樣本類別集合中的各個類別分別構建弱分類器(圖1中步驟 S103)。弱分類器的結構如圖3a所示，在本實施例中使用決策樹作為弱分類器，每個弱分類 器使用一個Haar-like特徵構建，根據輸入的特徵值與閾值的關係分類器有兩個不同的輸
出o圖1的步驟S104，通過迭代地進行最優特徵挑選得到當前級強分類器的特徵列 表，同時也為所述多個類別(在此3個類別)分別構建一組弱分類器，獲得包括能處理所述 多個類別的相應多個強分類器的檢測裝置。針對每一類別的強分類器(H(Ci)分類器)的 結構如圖3b所示，其輸出為+1或-1並且其閾值 可以根據需要進行調節。弱分類器h(Ci)使用的這些特徵來自於分類器的特徵列表(特徵組)。分類器的 訓練過程就是尋找各H(Ci)分類器的過程，也就是對每個類別搜索多個弱分類器h(Ci)的過 程，最終通過迭代搜索各個弱分類器所使用的特徵的過程，即特徵挑選過程。此過程最後得 到一組共享特徵f」迭代的步驟可以如本領域技術人員所了解指定迭代次數T，通過調整樣本權重開 始下一次迭代分別為所述多個類別(在此3個類別)再構建弱分類器，在滿足迭代次數T 之後，獲得包括所有弱分類器的檢測裝置，結束流程(步驟S105)。根據本發明，優選地可以採用訓練終止判斷條件來進行迭代，對各個類別的分類 器H(Ci)分別設定訓練所要達到的期望性能，如果某個類別在訓練過程中達到了其期望性 能，則這個類別將退出該分類器的H(Ci)聯合訓練過程。例如，對於所有屬於當前特徵共享 樣本類別集合S的類別(Q G S)測試誤檢率f(C》=NFANT。tal(NFA為該分類器將負樣本集中 樣本誤檢為正樣本的數量，NTotal為負樣本的總數量)，如果f (Q) < f,則類別Q已經滿足 訓練終止條件，退出該分類器的訓練；如果所有樣本類別都滿足訓練終止條件，則結束該分 類器的訓練。而如果有部分樣本不滿足訓練條件，則對於屬於SWCjCi G S)，則更新樣本
權重
對則保持樣本權重不變；同時使所有樣本權重歸一化使得=1，進行下一次迭代。根據本發明的第一實施例，在對分類器的訓練過程中，使用前向順序選擇法來確 定在參與訓練的所有類別中哪些類別之間進行特徵共享是整體誤差最小的，即由哪些類別 組成一個特徵共享樣本類別集合S進行特徵共享是最優的，同時在特徵庫中挑選出對集合 S內的類別來說分類性能最優的特徵，然後對s中的每個類別使用最優特徵分別構建弱分 類器。然而，本發明並不限於前向順序選擇法，而是可以採用其它的順序選擇法(例如後向 順序選擇法)來選擇由所確定的類別組成的特徵共享樣本類別集合。根據第一實施例的檢測裝置和檢測方法在第一實施例中對每個類別都訓練一個強分類器，其中所有強分類器的訓練是聯 合進行的，各強分類器中的弱分類器所使用的特徵在多類之間進行共享，但各個弱分類器 的訓練在各類內部分別獨立進行；並不限定特徵被所有類別共享，某個特徵有可能被所有 類別共享，也可能只被某些類別共享。根據本發明第一實施例的訓練方法所獲得的檢測裝置包括被配置成輸入待檢測 數據的輸入單元、包括多個強分類器的聯合分類器以及判別單元，判別單元被配置成根據 多個強分類器的分類結果，對所述待檢測數據屬於哪個類別的目標數據進行判別。其中多個強分類器所組成的聯合分類器如圖4所示，包括m個數量與所述類別數 量m相對應並用於分別檢測對應類別的目標數據(在此實施例中m = 3)的強分類器(在 第一實施例中是Boosting分類器H(Ci =E hj(Ci)))，其中每個強分類器包括一個或更多 個弱分類器擬))，其中，每個所述強分類器都由一組弱分類器相加得到，每個弱分類器 使用一個特徵對所述待檢測數據進行弱分類；其中聯合分類器包含共享特徵列表(即共享 特徵組)，共享特徵列表中的每個特徵(f\ fn)被分別屬於不同強分類器的一個或多個弱 分類器共享使用(例如4並不為強分類器H(Q)和強分類器H(C3)所使用)；使用同一特徵 的分屬不同強分類器的弱分類器具有彼此不同的參數值。這樣，在針對各類目標的強分類 器之間共享特徵以減少計算成本，但各類之間不共享分類器以體現類間差異。在該檢測裝置內部，待檢測數據(例如樣本圖像)分別被所有類別的強分類器進 行處理並被判別單元進行判別，因而允許多於一個強分類器的輸出被判斷為正，而不是規 定只有一個判斷為正；不同類別的強分類器之間沒有互斥關係，某個待檢測數據可能被判 別為多個類別的目標數據。只要有一個強分類器的輸出被判別單元判其為正，則該檢測裝 置的輸出為+1，否則輸出為-1。第二實施例根據本發明的第二實施例，將用於檢測多類目標數據的檢測裝置設計成由多個級 分類器串行聯結的級聯結構(Cascade)的分類器。為此，首先將訓練級聯分類器的各級分 類器(SCk)所使用的樣本類別人為設計為預定多層結構(本發明中的第一多層結構)。將 劃分最細的類別(例如r個類別，r為大於1的自然數)設置在最底層，然後根據預定相似 性標準將這些類別合併為較高一層的較少的幾個較大的類，而後再逐級次合併至最高層的 例如一個大類為止。圖5a和5b示出了使用類別樹結構CT表示訓練過程中的樣本類別變化。圖5a 中，共有7類物體的樣本參與訓練，將這7類設置在樹的最底層Level3並稱這7類為「葉 子類」C,";然後根據某種相似性標準將7類樣本中的某些類合併得到樹的較高層Level2的
93類C」 ；最後將Level2的3類合併為最高層Levell的1類C ；在訓練中使用樣本時從CT 的Levell開始先使用較高層的樣本類，即分類器訓練的早期目標是整體上區分目標物體 和非目標物體；隨著訓練的進行當整體區分變得困難時再進行樣本的類別拆分使用CT的 Level2的3類樣本，最後使用CT的7個葉子類的樣本。圖5b仍針對轎車、卡車和巴士 3 類，此3類為CT的「葉子類」，三類合併後為CT的根節點類C。"。相應的訓練將從開始然後 適時拆分為3個葉子類Cf。當然在將汽車分為卡車、轎車、巴士等等多個類別後，還可每個 類別再繼續劃分為更細緻的多個子類。根據本發明的第二實施例，用於對r個類別的目標數據進行檢測的檢測裝置的訓 練方法，包括按照由粗到細的策略從最頂層類別開始訓練相應的級分類器，每個級分類器 包括具有與所針對類別數量相對應的數量的強分類器，所述各級分類器串聯形成所述檢測
直o其中，針對其中一級準備檢測m個類別的級分類器的訓練包括為該級分類器準備處理的m個類別分別準備正樣本集和負樣本集，其中1 < m ^ r ；確定所述m個類別中進行特徵共享的最優類別集合，並通過特徵遍歷為其挑選最 優特徵；使用所述選中的最優特徵對所述最優特徵共享樣本類別集合中的各個類別分別 構建弱分類器；以及通過迭代地進行最優特徵挑選得到當前級強分類器的特徵列表，同時也為所述m 個類別分別構建一組弱分類器，獲得包括可處理所述m個類別的m個強分類器的級分類器。可以理解，級聯分類器的某一級分類器SCk是針對此級分類器所要處理的m類樣 本訓練得到的，包含m個H(Ci)分類器，分別對應m類樣本。同樣，其中每一個強分類器H(Ci) 是由多個弱分類器h(C》相加得到的。H(Ci)分類器的結構如圖3b所示，以決策樹為例的 弱分類器h(Ci)如圖3a所示。弱分類器h (Q)使用的這些特徵來自於級分類器SCk的一組共享特徵。。級分類 器sck的訓練過程就是尋找各H(Ci)分類器的過程，也就是對每個類別搜索多個弱分類器 h(Ci)的過程，最終就是搜索各個弱分類器所使用的特徵的過程，即特徵挑選過程，由此得 到所述共享特徵組fi。與第一實施例類似，共享特徵組中的任意一個特徵都可能被多個類別用於構建弱 分類器，即特徵被多類共享；但弱分類器的參數根據各類的數據分別計算得到，即弱分類器 並不在多類間共享。如上所述，在訓練中，先使用較高層的樣本類別進行訓練，並設定樣本類別的拆分 標準；隨著訓練的進行，當這個標準得到滿足時，將現有類別拆分為較低層的更細緻的樣本 類別繼續訓練，直至最後拆分至最底層。第二實施例所採用的「設定的樣本類別拆分標準」可以是有監督地為各級指定子 類劃分，進行強制的人為樣本類別拆分。例如為最頂層指定第一級分類器，為較高層指定第 二、第三級分類器等等。也可以採用無監督的自動產生子類並延續訓練的方法。可替代地，第二實施例優選以訓練集內的誤差作為樣本類別拆分的判斷標準。即 在訓練正常進行時，訓練集內誤差持續減小，當集內誤差難以繼續降低時，說明當前使用的某些樣本類別的類內差異較大阻礙了訓練的繼續，應當進行樣本類別拆分。在這種情況下， 由於在訓練除針對最底層之外的其他各層類別的各級分類器的過程可能會拆分樣本，因此 儘管訓練時是按照由粗到細的策略針對預定多層結構中的每一層類別分別訓練一個或多 個相應的級分類器，但是例如當類內差異很大時針對某一層類別、特別是針對最高層類別 有可能並沒有訓練出對應的級分類器。訓練完成後各級分類器實際處理的多層結構類別層 次(本發明中的第二多層結構)可能與事先人為定義的預定多層結構(本發明中的第一多 層結構)有所區別。具體地，針對準備處理除最底層類別之外的其他各層類別的任意一級分類器(即 l^m<r),則在每次迭代過程中在為所述類別構建弱分類器後進行有效性度量，以判斷是 否進行樣本類別拆分。所述進行有效性度量包括將由目前所構建弱分類器組成的強分類器的閾值設為零，並測試所述強分類器對 相應類別的正負樣本的分類誤差；判斷所述分類誤差是否隨著逐個迭代過程逐漸降低；和如果判斷所述分類誤差不再隨著逐個迭代過程逐漸降低、或者降低緩慢，或者發 生震蕩，則退出該級分類器的訓練，並且將樣本類別按從粗到細拆分成下一層樣品類別後 重新開始該級分類器的訓練。如上所述，所述預定多層結構類別的最高層可以是任意數量的類別，但通常具有1 個類別。根據第二實施例，針對用於檢測所述1個類別的目標數據的級分類器的訓練包括 準備正樣本集和負樣本集；對於所述多個待選訓練特徵訓練弱分類器，選擇具有最小分類 誤差的弱分類器；以及通過迭代構建弱分類器，獲得由所獲得的弱分類器構成的第一級分 類器，通常用於區分目標圖像和非目標圖像。同樣，迭代的次數可以預定，也可以通過採用 訓練終止判斷條件來自動判定。類似地，針對其他任意一級分類器迭代訓練分類器時，其迭代的次數都可以預定， 也可以通過採用訓練終止判斷條件來自動判定。針對訓練終止判斷條件的描述如第一實施 例中所述，在此不再贅述。不僅針對任意一級分類器可以設定訓練終止判斷條件，還可以整體上對目標各類 分別設定其期望訓練性能(例如針對最底層類別分別設置總誤檢率F》，如果某個類別的訓 練已經達到了期望性能，則這個類別不再參與後續的各級分類器的訓練。第三實施例第三實施例以轎車、巴士和卡車作為待檢測的目標，描述了更詳細的對級聯分類 器的分類(訓練)方法。首先，準備三類正樣本集(汽車圖像)P(Ci) (i = 1,2,3)分別對應轎車、巴士和卡 車，將三類正樣本合併為一類正樣本集P (Q)，樣本類別樹的結構如圖5b所示；訓練從P (C》 (i = 0)開始，當需要進行正樣本類別拆分時將P(Ci) (i = 0)拆分為P(Ci) (i = 1，2，3)；並 設定所有各類的期望訓練目標檢測率Di和總誤檢率& ；其次準備特徵池，將例如Haar-like特徵原形應用於32 X 32 (像素)的圖像，得到 數十萬具體特徵。然後逐級訓練各級分類器SQ至SCn。如圖6所示，尤其示出了訓練第k級分類器
11SCk(k = 1，2，3，...，n)的步驟在步驟S601，針對不同的類分別準備正樣本集if i對應本級所使用的正樣本類 別(一類或三類)，使用前k-1級分類器對正樣本集P(Ci)進行篩選，通過去除判別為-1的 樣本得到當前正樣本集if。為每個正樣本賦予標記=+1。同樣在步驟S601，對應各正樣本集if分別準備負樣本集。可以通過在背景圖 象中按照某種順序截取與正樣本圖像尺寸相同的子圖片，為各類準備負樣本集A^。優選地，針對從第二級分類器開始的各級分類器，為相關類別(；準備負樣本集包 括使用前面所有的已有級分類器中的與Q相關的強分類器組成的級聯分類器，在背景圖 像中做窗口遍歷搜索，將誤判為正樣本的窗口圖像添加到(；的負樣本集Wf中。負樣本的數 量可以根據實際需要確定，例如可以規定某個類別的負樣本的數量與其正樣本的樣本數目 成固定比例。為每個負樣本賦予標記在此可以整體上對各個樣本類別分別設定其期望訓練性能。例如定義最底層類別 Q的當前誤檢率為(NMg為搜索得到的負樣本數量，Nwin為搜索過的所有窗口圖 像的數目)，如果類別Q的誤檢率仏已經小於期望總誤檢率&，則類別Q不再參與後續訓 練。如果所有類別的誤檢率都小於其總誤檢率，則退出全部訓練過程。同樣在步驟S601，為每個樣本設定權重wf =1/M (初始權重為1/M)，M為樣本總 數。在步驟S601還可以設定級分類器的退出條件，例如指定T次迭代次數，在此是對 各類目標設置期望最小檢測率屯和期望最大誤檢率f」從步驟S602開始挑選特徵，對每個類別搜索多個弱分類器h(Ci)的過程，最終通 過迭代搜索各個弱分類器所使用的特徵。設定t = 0，1，...，進行第t個特徵的挑選a)在步驟S602，搜索最優的特徵共享樣本類別集合S(在此例如使用前向順序選 擇法確定是哪些類別而不一定是所有類別共享該t個特徵)i.對於所有/f和Af，計算當第Q類不參與特徵共享時所引入的誤差
J/ J對所有各類獨立進行弱分類器訓練，即在特徵池中挑選一個特徵能對當前類的正 負樣本集做誤差最小劃分；記錄各類所挑選出的最優特徵廣及其分類誤差一；對所有類別
計算=彳+ YA ( 2>&當不參與時的誤差)，取c =argmin(冷)(使&達到最
C 產 C,C產 qC,. 51
小值時的Ci的取值)為優先進入特徵共享樣本類別集合候選S的第一類，得到特徵共享樣 本類別集合候選Si ；將C;分別與其他各類組合，進行兩類聯合弱分類器訓練，記錄各種組合下 挑選出的最優特徵pv,以及分類誤差.對所有組合計算 0 = e'QV'+ 1>2'，取
Jtet 9Cj^Q&C^Si
C2 3^；11111…》)作為特徵共享樣本類別集合候選S的第二類，得到特徵共享樣本類別集合 候選S2。
以此類推，直到處理完所有類；在以上所得的所有Sx中，取特徵共享誤差最小的集合作為特徵共享樣本類別集合 s，即S = argmin(ej ；記錄相應的廣為最優特徵廣。b)在步驟S603，使用為S中的所有各類構建決策樹弱分類器AC/,C,.)，其結構如 圖3a所示；c)在步驟S604，為特徵共享樣本類別集合S中的所有樣本類別更新印(Q)分類 器..Ht{Ci)=H,_l(Ci) + Kf;,Ci)，並根據期望最小檢測率di確定Hi(Ci)分類器的閾值 t(Q (即在當前閾值下，分類器在當前正樣本集的檢測率為di)；d)在步驟S605，為特徵共享樣本類別集合S中各類樣本的訓練有效性度量例如 通過設置各類樣本的印(Q)分類器的閾值為零，測試此時的印(Q)分類器對各類內部的正 負樣本的分類誤差，並在步驟S606判斷該誤差是否隨著訓練逐漸降低。如果這個誤差不再 降低、或者降低緩慢、或者發生震蕩，則退出第k級分類器SCk的訓練並將樣本類別按從粗 到細拆分成下一層樣品類別(例如按圖5b所示進行拆分)後重新開始第k級分類器SCk的 訓練(見步驟S607)；e)在步驟S608，若步驟S606的判斷結果為否，則進行訓練終止判斷。在此採用期 望最大誤檢率fi進行判斷。具體地，對所有屬於特徵共享樣本類別集合S的類別(Ci G S) 測試誤檢率f (Ci) = NFA/NTotal (Nfa為分類器將負樣本集中樣本誤檢為正樣本的數量，NT。tal為 負樣本的總數量)，如果f (Q) < &則類別Q已經滿足訓練終止條件，退出第k級分類器的 訓練；如果所有樣本類別都滿足訓練終止條件，則結束第k級分類器的訓練，通過更新樣本 集合Q 們，隊)進行下一級訓練(見步驟S609和S610)。f)在步驟S611，對屬於S的(；擬G S)，則更新樣本權重 < .eXp(-/K//,c,.,&) 々)，對q史s則保持樣本權重不變；同時使所有樣本權重歸
一化使得=1，重新開始下一次迭代。應了解，前幾級分類器SCk(k= 1,2,3,...,n)、尤其是第1級分類器SQ如果僅對 1個類別進行判別，則對於該級分類器的特徵挑選則無需使用例如前向順序選擇法等來搜 索特徵共享樣本類別集合S。而對於後幾級分類器sck如果已針對最底層的樣品類別進行 訓練，則無需有效性度量來判斷是否需要樣本類別拆分。另外，應了解對檢測裝置的訓練並不限定具體的Boosting算法，而可以是 Gentle-Boosting, Real-Boosting 等等其它算法。根據第二和第三實施例的檢測裝置和檢測方法根據本發明第二或第三實施例的訓練方法所獲得的檢測裝置包括輸入單元，被 配置成輸入待檢測數據；以及級聯分類器。其中級聯分類器如圖7所示，包括由多個(n個) 串聯的級分類器。在此所述多個(r個)類別可按相似性標準被逐級合併為預定多層結構，並且所述 多個類別作為劃分最細的類別設置在最底層，相應地，所述多個級分類器被配置成按照由 粗到細的策略對所述預定多層結構中的各層類別進行分類處理，並且每個級分類器都包括 數量與所處理類別數量相對應的強分類器。每個所述強分類器包括一組弱分類器，每個弱分類器使用一個特徵對所述待檢測
13數據進行弱分類，其中每個所述級分類器包含一個共享特徵列表，所述共享特徵列表中的 每個特徵被分別屬於不同強分類器的一個或多個弱分類器共享使用；使用同一特徵的分屬 不同強分類器的弱分類器具有彼此不同的參數值。根據第二或第三實施例的檢測裝置其整體上看是由多個「級分類器」 SC串行聯結 的一個級聯結構分類器，但它是為多個類別物體的同時檢測設計的，在每個級分類器內部 多個類別的強分類器被共享特徵列表(即共享特徵組)結合在一起。以第三實施例的檢測裝置為例，待檢測數據逐次輸入級聯分類器的各級分類器。其中，當待檢測數據進入某級分類器時，依次被此級所包含的m個強分類器判別， 如果某個強分類器輸出+1，則此強分類器判別其為屬於相應類別的目標，稱為被此強分類 器通過，否則輸出-1，判別為非對應類別的目標，稱為被此強分類器拒絕。其中，所述判別過程如下計算當前級分類器的特徵列表中的所有有效特徵的值； 對此級的m個強分類器，依次按照對特徵列表中各特徵的共享情況，根據計算已得的特徵 值確定各個弱分類器的輸出，並相加得到最終的強分類器的輸出。所述判別過程中，如果待檢測數據被某個用於檢測類別Q的強分類器拒絕的情況 下，則後續級分類器中的用於檢測類別Q和其子類的相應強分類器不再對所述輸入的待檢 測數據繼續判別，此時稱所述待檢測數據被類別q所對應的葉子層類別拒絕。所述判別過程中，各級分類器的特徵列表中只與所述不再參與判別過程的各強分 類器相關的特徵視為無效特徵，不再參與計算，以節省計算成本。所述判別過程中，如果待檢測數據被所有葉子層類別拒絕，則中止判別過程，稱此 待檢測數據為非目標數據。所述判別過程的最後，如果待檢測數據被最後一級分類器的某 個強分類器通過，則判別此待檢測數據為具有所述強分類器所對應的目標類別屬性，如果 待檢測數據被最後一級的多個強分類器通過，則判別此待檢測數據具有相應的多重目標類 別屬性。根據本發明的檢測裝置可對各種多類目標數據進行檢測，而在輸入的圖像或視頻 中對多個類別的預定目標進行檢測的情況下，根據本發明的檢測裝置還可包括被配置成 對待檢測圖像或視頻進行窗口遍歷的窗口遍歷部件、和後處理部件，後處理部件被配置成 將所述窗口遍歷部件產生的窗口進行合併，並使用預定閾值對合併窗口進行過濾，以獲得 最終的檢測結果。圖8示出了根據本發明的檢測裝置檢測圖像或視頻中預定多類目標的流程。窗口遍歷過程810 對任意給定的待檢測圖像(步驟S811)或從待檢測視頻中截 取的圖像，使用矩形窗口進行圖像遍歷(步驟S812)，在步驟S813依次得到窗口圖像(其中 遍歷的順序和方式任意，可以是從左到右、從上到下的，也可以是從右到左，從下到上的；遍 歷時窗口平移的步長任意，可以是逐像素的，也可以是隔多個像素的，或者與當前窗口的尺 寸成比例關係)。在遍歷時，依次對掃描過程中得到的每個窗口應用所述級聯分類器，使用訓練所 得的分類器中的特徵通過對窗口圖像進行特徵計算(步驟S814)並應用所述分類器進行分 類(步驟S815)。如果級聯分類器判別此窗口圖像為目標類別(具有一種以上的目標類別 屬性)，則記錄此窗口在原始圖像中的位置和尺寸，以及其所具有的所有目標類別屬性(步 驟S816)。窗口遍歷結束後，按照一定的比例因子將圖像縮小，重新進行上述窗口遍歷和窗
14口圖像判定過程。重複以上過程，直到當圖像縮小到窗口遍歷無法進行(圖像的高度小於 窗口高度，或圖像的寬度小於窗口寬度)為止(見步驟S817和S818)。將所有正響應窗口 按照其對應的圖像與原圖像的尺寸比例因子映射到原圖像，得到所有正響應在原圖像中的 位置和尺寸。遍歷圖像時除了採用以上的模式WinScanModel (即選擇固定尺寸的窗口遍歷圖 像，遍歷結束後，按一定比例縮小或放大圖像的尺寸，使用固定尺寸的窗口重新遍歷圖像)， 還可採用模式WinScanModd，其中保持圖像的尺寸不變，選擇第一次遍歷時窗口的尺寸，當 遍歷結束後，按一定比例縮小或放大窗口的尺寸，重新遍歷原圖像。對每個窗口圖像使用訓練所得級聯式分類器進行判別後，如果分類結果為+1，則 如果選擇WinScanModel，記錄當前窗口的尺寸和位置，並按照縮放圖像的比例將當前窗口 的尺寸和位置映射回原圖像坐標空間，得到當前響應在原圖像中的位置和尺寸；如果選擇 WinScanMode2,則直接記錄當前窗口的尺寸和位置。後處理流程820由後處理部件執行，包括步驟S821窗口合併以便合併相鄰的正 響應結果和步驟S822閾值過濾以便捨棄弱響應，並將經過窗口合併和閾值過濾後剩餘的 合併結果作為最終的檢測結果(步驟S830)。具體地，在圖像中的同一目標(汽車)附近會產生多重響應，將鄰近的多重響應合 並為一個輸出響應。首先，所述合併過程定義「臨近」為具有相鄰的窗口中心位置、相近的尺寸比例和 相同的目標類別屬性，然後計算臨近的一簇目標窗口的平均中心位置、平均窗口尺寸，並將 合併的窗口的數量作為合併結果的置信度，其次，所述合併過程對合併後的位置中心相鄰和尺寸相近的合併結果進行目標屬 性合併，即如果圖像中某個位置附近有多個具有不同目標屬性的合併結果，統計各個目標 屬性的數量，取數量最大的目標屬性為最終目標屬性，取各個目標屬性的置信度的和為最 終合併結果的置信度，所述合併過程結束後，當合併窗口的置信度大於或等於預設置信度閾值時，接受 此合併結果，否則捨棄此合併結果。技術效果1、根據本發明的各個實施例，多類目標的分類器之間進行特徵共享，但與共享特 徵相關的弱分類器在各類內部單獨構建的方式，使得各類目標間的差異得以有效區分，提 高了訓練的收斂速度，同時也提高了聯合分類器對各類目標間的區分性能。不硬性規定特 徵在所有類別中進行共享的方式減少了不必要的運算。2、根據本發明的各個實施例，多類分類器間的特徵共享減少了多類分類器的特徵 計算成本。例如在本發明的第三實施例中，給定三類汽車(轎車、卡車和巴士)的樣本共 17000個，分別訓練三個並行的級聯分類器和一個特徵共享的聯合分類器，訓練所得分類器 使用Haar-like特徵的數量如下表所示 由上表可見本發明實施例的方法可以大大減少所使用特徵的數量。 設定開放汽車測試集(集內樣本未參與訓練，包含三類汽車樣本共2264個)和背 景圖像測試集(尺寸不統一，提供窗口圖像約5300000個)。並行使用三類汽車的級聯分類 器處理以上測試集，然後使用特徵共享的聯合分類器處理以上測試集，測試結果如下表所
不 由上表可見，兩種方案具有類似的分類性能，但聯合分類器具有更高的檢測效率。 分類器所用特徵的計算越複雜，聯合分類器的檢測效率優勢就越明顯。3、根據本發明的第二和第三實施例，聯合分類器既要區分(多類)目標圖像與非 目標圖像，又要盡力體現各目標類別間的差異。由粗到精的多層次樣本類別使用方式使得 聯合分類器優先體現目標與非目標之間的整體差異，而後考慮目標類別間的差異，進一步 提高了檢測的效率。4、根據本發明的第二和第三實施例，在多類聯合訓練時，各類獨立使用負樣本集 的方式便於特徵共享式的分類器採用Cascade結構形式以獲得更高的檢測效率。其他實施例另外，還應該指出的是，上述系列處理和裝置也可以通過軟體和固件實現。在通過 軟體或固件實現的情況下，從存儲介質或網絡向具有專用硬體結構的計算機，例如圖9所 示的通用計算機900安裝構成該軟體的程序，該計算機在安裝有各種程序時，能夠執行各 種功能等等。在圖9中，中央處理單元(CPU)901根據只讀存儲器(ROM)902中存儲的程序或從 存儲部分908加載到隨機存取存儲器(RAM) 903的程序執行各種處理。在RAM 903中，也根 據需要存儲當CPU 901執行各種處理等等時所需的數據。CPU 901、ROM 902和RAM 903經由總線904彼此連接。輸入/輸出接口 905也連 接到總線904。下述部件連接到輸入/輸出接口 905 輸入部分906，包括鍵盤、滑鼠等等；輸出部 分907，包括顯示器，比如陰極射線管(CRT)、液晶顯示器(IXD)等等，和揚聲器等等；存儲部 分908，包括硬碟等等；和通信部分909，包括網絡接口卡比如LAN卡、數據機等等。通 信部分909經由網絡比如網際網路執行通信處理。根據需要，驅動器910也連接到輸入/輸出接口 905。可拆卸介質911比如磁碟、
16光碟、磁光碟、半導體存儲器等等根據需要被安裝在驅動器910上，使得從中讀出的計算機 程序根據需要被安裝到存儲部分908中。在通過軟體實現上述系列處理的情況下，從網絡比如網際網路或存儲介質比如可拆 卸介質911安裝構成軟體的程序。本領域的技術人員應當理解，這種存儲介質不局限於圖9所示的其中存儲有程 序、與設備相分離地分發以向用戶提供程序的可拆卸介質911。可拆卸介質911的例子 包含磁碟(包含軟盤(註冊商標))、光碟(包含光碟只讀存儲器(⑶-ROM)和數字通用盤 (DVD))、磁光碟(包含迷你盤(MD)(註冊商標))和半導體存儲器。或者，存儲介質可以是 ROM 902、存儲部分908中包含的硬碟等等，其中存有程序，並且與包含它們的設備一起被 分發給用戶。以上描述了本發明的優選實施方式。本領域的普通技術人員知道，本發明的保護 範圍不限於這裡所公開的具體細節，而可以具有在本發明的精神實質範圍內的各種變化和
等效方案。
1權利要求
一種用於對多個類別目標數據進行檢測的檢測裝置，包括輸入單元，被配置成輸入待檢測數據；聯合分類器，其內部包含數量與所述類別數量相對應並用於分別檢測對應類別的目標數據的強分類器，其中，每個所述強分類器都由一組弱分類器相加得到，每個弱分類器使用一個特徵對所述待檢測數據進行弱分類；以及判別單元，被配置成根據所述多個強分類器的分類結果，對所述待檢測數據屬於哪個類別的目標數據進行判別，其中所述聯合分類器內包含共享特徵列表，所述共享特徵列表中的每個特徵被分別屬於不同強分類器的一個或多個弱分類器共享使用；使用同一特徵的分屬不同強分類器的弱分類器具有彼此不同的參數值。
2.一種用於對多個類別目標數據進行檢測的檢測裝置，其中，所述多個類別按相似性 標準被逐級合併為預定多層結構，並且所述多個類別作為劃分最細的類別設置在最底層， 所述檢測裝置包括輸入單元，被配置成輸入待檢測數據；及級聯分類器，所述級聯分類器包括多個串聯的級分類器，所述多個級分類器被配置成 按照由粗到細的策略對所述預定多層結構中的各層類別分別進行分類處理，並且每個級分 類器都包括數量與所處理類別數量相對應的強分類器，其中，每個所述強分類器包括一組 弱分類器，每個弱分類器使用一個特徵對所述待檢測數據進行弱分類，其中每個所述級分類器包含共享特徵列表，所述共享特徵列表中的每個特徵被分別屬 於不同強分類器的一個或多個弱分類器共享使用；使用同一特徵的分屬不同強分類器的弱 分類器具有彼此不同的參數值。
3.根據權利要求2所述的檢測裝置，其中，每個所述級分類器還被配置成針對輸入的 待檢測數據，計算其共享特徵列表中的各有效特徵的特徵值；以及，針對所述級分類器中的 各個強分類器，根據針對強分類器所使用的特徵查詢已計算所得的特徵值列表從而確定所 述強分類器的各個弱分類器的輸出，並相加得到最終的強分類器的輸出。
4.根據權利要求2所述的檢測裝置，其中，所述級聯分類器被配置成使輸入的待檢測 數據依次被各個級分類器中的各個強分類器判別，並且在輸入的待檢測數據被其中一個用 於檢測類別Ci的強分類器判別為非目標數據的情況下，則後續的各級分類器中的用於檢測 類別Ci和/或其子類的相應強分類器不再對所述輸入的待檢測數據繼續判別。
5.根據權利要求4所述的檢測裝置，其中，所述級聯分類器被配置成針對每個所述級 分類器，判斷其共享特徵列表中是否存在只與所述不再參與判別過程的各強分類器相關的 特徵，如果有則標記該特徵為無效特徵，不再計算其特徵值。
6.根據權利要求2所述的檢測裝置，其中，所述級聯分類器被配置成如果待檢測數據 被任意一級級分類器中的所有強分類器拒絕，則中止分類處理；並且將所述待檢測數據判 別為非目標數據。
7.根據權利要求2所述的檢測裝置，其中，所述多個級分類器中的最後一級級分類器 還包括判別單元，該判別單元被配置成如果待檢測數據被某個強分類器通過，則判別所述 待檢測數據為具有所述強分類器所對應的目標類別屬性；如果待檢測數據被所述最後一級 級分類器的多個強分類器通過，則判別此待檢測數據具有相應的多重目標類別屬性。
8.根據權利要求2所述的檢測裝置，用於在輸入的圖像或視頻中對多個類別的預定目 標進行檢測，其中還包括被配置成對待檢測圖像或從待檢測視頻中截取的圖像進行窗口 遍歷的窗口遍歷部件，所述級聯分類器被配置成對所述窗口遍歷部件獲取的窗口圖像進行分類處理，並且在 判別窗口圖像為目標類別的情況下，記錄所述窗口在原始圖像中的位置和尺寸及其具有的 所有目標類別屬性。
9.根據權利要求8所述的檢測裝置，其中還包括後處理部件，被配置成將所述窗口遍 歷部件產生的具有目標類別屬性的窗口進行局部臨近合併。
10.根據權利要求9所述的檢測裝置，其中所述後處理部件被進一步配置成針對具有相鄰的窗口中心位置、相近的尺寸比例和相同的目標類別屬性的窗口，計算 臨近的一簇目標窗口的平均中心位置、平均窗口尺寸，並將合併的窗口的數量作為合併結 果的置信度；對合併後的位置中心相鄰和尺寸相近的合併結果進行目標屬性合併，即如果所述圖 像中某個位置附近有多個具有不同目標屬性的合併結果，則統計各個目標屬性的置信度總 和，取置信度總和最大的目標屬性為最終目標屬性，並取各個目標屬性的置信度總和的和 為最終合併結果的置信度，當所述最終合併結果的置信度大於或等於預設置信度閾值時，接受所述最終合併結 果，否則捨棄所述最終合併結果。
11.一種用於對多個類別目標數據進行檢測的檢測方法，包括輸入待檢測數據；使用包括多個強分類器的聯合分類器對所述待檢測數據進行分類，其中所述強分類器 具有與所述類別數量相對應的數量並分別用於檢測對應類別的目標數據，所述聯合分類器 內包含共享特徵列表，所述共享特徵列表中的每個特徵被分別屬於不同強分類器的一個或 多個弱分類器共享使用；使用同一特徵的分屬不同強分類器的弱分類器具有彼此不同的參 數值；以及根據所述多個強分類器各自的分類結果，對所述待檢測數據屬於哪個類別的目標數據 進行判別。
12.一種用於對多個類別目標數據進行檢測的檢測方法，其中，所述多個類別按相似性 標準被逐級合併為預定多層結構，並且所述多個類別作為劃分最細的類別設置在最底層， 所述檢測方法包括輸入待檢測數據；以及使用包括多個串聯的級分類器的級聯分類器對所述待檢測數據進行分類，其中所述多 個級分類器按照由粗到細的策略對所述預定多層結構中的各層類別分別進行分類處理，並 且每個級分類器都包括數量與所處理類別數量相對應的強分類器，所述使用級聯分類器進行分類的步驟包括使輸入的待檢測數據依次被各個級分類器 中的各個強分類器判別，其中每個所述級分類器包含共享特徵列表，所述共享特徵列表中 的每個特徵被分別屬於不同強分類器的一個或多個弱分類器共享使用，使用同一特徵的分 屬不同強分類器的弱分類器具有彼此不同的參數值。
13.根據權利要求12所述的檢測方法，其中，所述使輸入的待檢測數據依次被各個級分類器中的各個強分類器判別的步驟包括針對輸入的待檢測數據，計算所述級分類器的共享特徵列表中的各有效特徵的特徵 值；以及，針對所述級分類器中的各個強分類器，根據針對強分類器所使用的特徵查詢已計 算所得的特徵值列表從而確定此強分類器的各個弱分類器的輸出，並相加得到最終的強分 類器的輸出。
14.根據權利要求12所述的檢測方法，其中，所述使輸入的待檢測數據依次被各個級 分類器中的各個強分類器判別的步驟包括在輸入的待檢測數據被其中一個用於檢測類別 Ci的強分類器判別為非目標數據的情況下，則後續的各級分類器中的用於檢測類別Ci和/ 或其子類的相應強分類器不再對所述輸入的待檢測數據繼續判別。
15.根據權利要求14所述的檢測方法，其中，使輸入的待檢測數據依次被各個級分類 器中的各個強分類器判別的步驟包括判斷所述級分類器的共享特徵列表中是否存在只與 所述不再參與判別過程的各強分類器相關的特徵，如果有則標記該特徵為無效特徵，不再 計算其特徵值。
16.根據權利要求12所述的檢測方法，其中，所述使用級聯分類器進行分類的步驟還 包括如果待檢測數據被任意一級級分類器中的所有強分類器拒絕，則中止分類處理；並 且將所述待檢測數據判別為非目標數據。
17.根據權利要求12所述的檢測方法，其中，在使用最後一級級分類器進行分類處理 後，還包括如果待檢測數據被某個強分類器通過，則判別所述待檢測數據為具有所述強分類器所 對應的目標類別屬性；如果待檢測數據被所述最後一級級分類器的多個強分類器通過，則 判別此待檢測數據具有相應的多重目標類別屬性。
18.根據權利要求12所述的檢測方法，用於在輸入的圖像或視頻中對多個類別的預定 目標進行檢測，其中還包括對待檢測圖像或從待檢測視頻中截取的圖像進行窗口遍歷，使用所述級聯分類器對所述待檢測數據進行分類的步驟包括使用所述級聯分類器 對所述窗口遍歷所獲取的窗口圖像進行分類處理，並且在判別窗口圖像為目標類別的情況 下，記錄所述窗口在原始圖像中的位置和尺寸及其具有的所有目標類別屬性。
19.根據權利要求18所述的檢測方法，其中還包括將所述窗口遍歷部件產生的具有 目標類別屬性的窗口進行局部臨近合併。
20.根據權利要求19所述的檢測方法，其中所述局部臨近合併步驟包括針對具有相鄰的窗口中心位置、相近的尺寸比例和相同的目標類別屬性的窗口，計算 臨近的一簇目標窗口的平均中心位置、平均窗口尺寸，並將合併的窗口的數量作為合併結 果的置信度；對合併後的位置中心相鄰和尺寸相近的合併結果進行目標屬性合併，即如果所述圖 像中某個位置附近有多個具有不同目標屬性的合併結果，則統計各個目標屬性的置信度總 和，取置信度總和最大的目標屬性為最終目標屬性，並取各個目標屬性的置信度總和的和 為最終合併結果的置信度，當所述最終合併結果的置信度大於或等於預設置信度閾值時，接受所述最終合併結 果，否則捨棄所述最終合併結果。
全文摘要
本發明涉及多類目標的檢測裝置及其檢測方法，其中檢測裝置包括輸入單元，被配置成輸入待檢測數據；聯合分類器，其內部包含多個可處理多個類別目標數據的強分類器，其中，每個強分類器由一組弱分類器相加得到，每個弱分類器使用一個特徵對待檢測數據進行弱分類；判別單元，被配置成根據多個強分類器的分類結果，對待檢測數據屬於哪個類別的目標數據進行判別，所述聯合分類器內部包含共享特徵列表，其中的每個特徵被分別屬於不同強分類器的一個或多個弱分類器共享使用；使用同一特徵的分屬不同強分類器的弱分類器具有彼此不同的參數值。
文檔編號G06K9/62GK101853389SQ200910132668
公開日2010年10月6日 申請日期2009年4月1日 優先權日2009年4月1日
發明者吳偉國, 梅樹起 申請人:索尼株式會社