基於視頻傳感器的自動關注區檢測的製作方法

2023-09-16 06:09:25 1

專利名稱：基於視頻傳感器的自動關注區檢測的製作方法
技術領域：
本發明涉及視頻幀內的關注區(ROI)檢測，且吏明確地說，涉及用於自動檢測多媒 體應用的視頻幀內的ROI的技術。
背景技術：
視頻序列的視頻幀內的自動關注區(ROI)檢測可在各種各樣的多媒體應用(例如， 視頻監視、視頻廣播和視頻電話(VT)應用)的ROI視頻處理系統中使用。在一些情況 下，ROI視頻處理系統可以是ROI視頻編碼系統。在其它情況下，ROI視頻處理系統可 包括ROI視頻增強系統或另一類型的視頻處理系統。ROI可被稱為視頻幀內的"前景" 區，且非ROI區可被稱為視頻幀內的"背景"區。ROI的典型實例是人臉。ROI視頻處 理系統可相對於視頻序列的視頻幀內的非ROI區而擇優利用從所述視頻幀檢測到的 ROI。
在ROI視頻編碼系統的情況下，己經提出了視頻序列的視頻幀內的選定部分的擇優 編碼。舉例來說，可用較高質量對視頻幀內的自動檢測到的ROI進行編碼，以傳輸到視 頻電話(VT)應用中的接收者。在非常低位速率應用(例如移動VT)中，ROI擇優編 碼可改進經編碼的視頻序列的主觀質量。利用ROI的擇優編碼，與非ROI區域相比，接 受者能夠更清楚地觀看ROI。可通過與視頻幀的非ROI (或背景)區域相比，將更大比 例的編碼位分配給ROI，來對視頻幀的ROI進行擇優編碼。跳過視頻幀的非ROI區允許 保存編碼位以分配給ROI。前一幀的經編碼的非ROI區可代替當前幀中跳過的非ROI區。
從視頻俘獲裝置接收到的視頻幀通常在被應用到啟用ROI的視頻編碼器、啟用ROI 的視頻增強器或類似的多媒體裝置之前被處理。舉例來說，視頻處理方案可自動檢測視 頻幀內的ROI。按照慣例，阻止啟用ROI的視頻通信系統的快速進步和廣泛部署的主要 障礙是自動ROI檢測的穩健性。 一些自動ROI檢測方案提出一種簡單的基於膚色的面部 檢測方法，其基於從輸入視頻圖像的色度分量導出的膚色圖(skin-tone map)而檢測具有 膚色外觀的像素。其它方案提出一種照明補償模型來校正面部檢測的色彩偏差。另外， 自動ROI檢測方案可構造眼睛、嘴和邊界圖來檢驗面部候選物，或在人臉的重要面部特 徵處使用具有較大量值的特徵掩模(eigenmask)來改進ROI檢測準確性。

發明內容
一般來說，本發明針對基於視頻序列的視頻幀內的低複雜性自動關注區(ROI)檢測 而進行ROI視頻處理的技術。所述低複雜性自動ROI檢測可基於視頻通信裝置內的視頻 傳感器的特性。舉例來說，視頻傳感器可駐留在所謂的相機電話或視頻電話內。在其它 情況下，所述低複雜性自動ROI檢測可基於視頻序列的一視頻幀和所述視頻序列的一不 同視頻幀的運動信息。所述技術可能在視il電話(VT)應用(例如視頻串流和視頻會議) 中有用，且尤其在低位速率無線通信應用(例如移動VT)中有用。
ROI視頻處理涉及ROI的擇優處理。舉例來說，ROI視頻編碼算法可將額外的編碼 位分配給視頻幀內的ROI，且將減小數目的編碼位分配給視頻幀內的非ROI區。ROI的 典型實例是人臉。非ROI區可被稱為"背景"區，但非ROI區更一般地包含視頻幀的不 形成ROI的一部分的任何區。因此，在整個本發明中，術語"非ROI"和"背景"可以 互換使用，來指代不在ROI內的區。
所揭示的技術包含視頻處理技術，其能夠基於特定視頻傳感器的特性來調諧並增強 視頻通信裝置內的視頻傳感器校準、相機處理、ROI檢測和ROI視頻處理。視頻處理技 術可普遍地應用於不同類型的視頻傳感器。另外，所述技術允許視頻通信裝置內的組件 之間的靈活通信和協作。以此方式，所揭示的技術可基於與視頻傳感器相關聯的物理特 性和統計資料而增強ROI視頻處理性能。
所揭示的技術還包含基於傳感器的ROI檢測技術，其使用視頻傳感器統計資料和相 機處理側信息來改進ROI檢測準確性，其直接增強了 ROI視頻處理性能。舉例來說，皮 膚區域檢測器使用視頻傳感器統計資料來準確地檢測視頻幀內的皮膚圖，且面部檢測器 使用所述皮膚圖來檢測所述視頻幀內的一個或一個以上面部。所揭示的技術還包含基於 運動的ROI檢測技術，其使用視頻處理中的運動估計期間獲得的運動信息。舉例來說， 面部檢測器使用皮膚圖和運動信息(例如，運動向量)來執行低複雜性面部檢測，所述 低複雜性面部檢測基於運動信息而有效地提取所述皮膚圖內的一個或一個以上面部(即， ROI)。
自動ROI檢測技術接著可針對視頻幀內檢測到的面部中的每一者產生ROI。所揭示 的技術將包含所產生的ROI的視頻幀應用於ROI視頻處理。舉例來說，所述技術可將視 頻幀應用於ROI視頻編碼算法，所述ROI視頻編碼算法使用經加權的位分配和自適應背 景跳過來提供優越的編碼效率。
在一個實施例中，本發明提供一種方法，其包括從視頻傳感器接收視頻序列的視 頻幀；以及針對所述視頻傳感器產生傳感器統計資料。所述方法還包括基於所述傳感器統計資料而自動檢測所述視頻幀內的ROI。
在另一實施例中，本發明提供一種計算機可讀媒體，其包括致使可編程處理器從視 頻傳感器接收視頻序列的視頻幀並針對所述視頻傳感器產生傳感器統計資料的指令。所 述指令還致使可編程處理器基於所述傳感器統計資料而自動檢測所述視頻幀內的ROI。
在另一實施例中，本發明證明一種ROI視頻處理系統，所述ROI視頻處理系統包括 相機處理模塊，其從視頻傳感器接收視頻序列的視頻幀；以及傳感器校準模塊，其針對 所述視頻傳感器產生傳感器統計資料。所述系統還包括ROI檢測器，其基於所述傳感器 統計資料而自動檢測視頻幀內的ROI。
士"tV F^戰二去i^;f:士lTTryr7;ffiiA 姊乂+ 田乂小甘乂土 一 4^口厶rh +施 力l"f裡龍輸l生t=b先施 Z"P人/71 ^CL1 口'j f乂/1、 hj 1工H又|丁 、 寸A |丁 、 問l丁鞏六l丄 口 T :^C鵬o 父U禾tt狄l卞亇頭/ItE ，
那麼所述技術可部分地由包括程序代碼的計算機可讀媒體來實現，所述程序代碼含有指 令，所述指令在由可編程處理器執行時，執行本文描述的方法中的一者或一者以上。
在下文的附圖和描述內容中陳述一個或一個以上實施例的細節。從描述內容和附圖 且從權利要求書中將了解其它特徵、目的和優勢。


圖l是說明併入有關注區(ROI)視頻處理系統的示範性視頻通信裝置的框圖。 圖2A和圖2B是說明視頻序列的視頻幀內的ROI和非ROI區的定義的圖。 圖3說明視頻序列的ROI內所呈現的對象的對象移動/旋轉和形狀變形的變化。 圖4說明視頻序列的ROI內人的面部表情的變化。
圖5是說明視頻通信裝置內基於視頻傳感器的特性對視頻幀的ROI擇優編碼的ROI 視頻處理系統的框圖。
圖6A說明視頻傳感器的示範性膚色反射譜。
圖6B說明麥克貝斯色彩測試標板(Macbeth ColorChecker)測試目標的示範性反射譜。
圖6C說明檢驗原始與重構的膚色反射譜的一致性的示範性反射譜。 圖7是說明視頻通信裝置中所包含的ROI視頻處理系統的基於視頻傳感器的特性的 操作的流程圖。
圖8是說明來自ROI視頻處理系統的ROI檢測器的框圖。
圖9A到圖9G是說明在自動檢測基於傳感器特定統計資料而產生的視頻幀的皮膚圖 內的ROI時由來自圖8的ROI檢測器實施的技術的示範性結果的屏幕截圖。
圖10A和圖10B是說明ROI視頻處理系統的ROI檢測模塊內的ROI檢測器的操作 的流程圖。
具體實施方式
圖1是說明併入有關注區(ROI)視頻處理系統14的示範性視頻通信裝置10的框圖。 ROI視頻處理系統14實施基於視頻傳感器12的特性的低複雜性ROI視頻處理的技術。 在其它情況下，ROI視頻處理系統14還可實施基於視頻幀的運動信息的低複雜性ROI 視頻處理的技術。如圖1中所示，視頻通信裝置IO包含視頻俘獲裝置，其包含視頻傳感 器12、 RQI視頻處理系統14和視頻存儲器16。視頻傳感器12俘獲視頻幀，且可具備相 機。低複雜性ROI視頻處理技術可能在視頻通信裝置10與另一視頻通信裝置之間的視頻 電話(VT)應用(例如視頻串流和視頻會議)中有用。所述技術可能在低位速率無線通 信應用(例如移動VT)中尤其有用。ROI視頻處理系統14可包含許多組件，例如視頻傳感器校準模塊、相機處理模塊、 ROI檢測模塊和ROI視頻處理模塊，可基於視頻傳感器12的傳感器特定特性來調諧上述 模塊中的每一者，以增強ROI視頻處理性能。因此，ROI視頻處理系統14可基於各種視 頻傳感器的物理特性和處理能力，來準確地處理由不同視頻俘獲裝置產生的視頻幀。在 一些情況下，ROI視頻處理系統14可以是ROI視頻編碼系統。在其它情況下，ROI視頻 處理系統14可包括ROI視頻增強系統或另一類型的視頻處理系統。ROI視頻處理系統14使用視頻傳感器12的特性來自動檢測從視頻傳感器12接收的 視頻幀內的ROI，且相對於視頻幀內的非ROI區而擇優處理檢測到的ROI。檢測到的ROI 可能是視頻通信裝置10的用戶所關注的。舉例來說，視頻幀的ROI可包括人臉。ROI 可被稱為視頻幀內的"前景"區，且非ROI區可被稱為視頻幀內的"背景"區。ROI視頻處理系統14執行視頻傳感器12的校準，其基於視頻傳感器12和測試目標 的膚色反射譜的相關性而產生傳感器特定統計資料，所述測試目標例如是可從紐約，新 溫莎的格靈達-麥克貝斯(GretagMacbeth) LLC購得的麥克貝斯色彩測試標板表。視頻傳 感器12通常指代相機中所使用的感測元件陣列。在一些情況下，視頻傳感器12可包含 互補金屬氧化物半導體(CMOS)圖像感測元件陣列。ROI視頻處理系統14還基於傳感器特定統計資料和從與視頻俘獲裝置11相關聯的 傳感器12接收到的視頻序列的視頻幀而執行相機處理，以估計所述視頻幀的施照體條 件。ROI視頻處理系統14接著可基於傳感器特定統計資料和相機處理信息自動檢測視頻 幀內的ROI。在一些情況下，ROI視頻處理系統14可基於傳感器特定統計資料、相機處 理信息和通過跟蹤視頻序列的當前視頻幀與前一視頻幀之間的ROI而從視頻處理獲得的 運動信息(例如，運動向量)，來自動檢測視頻序列的當前視頻幀內的ROI。ROI視頻處理系統14接著擇優處理包含檢測到的ROI的視頻幀，並將所述視頻幀存儲在視頻存儲器16中。舉例來說，ROI視頻處理系統14可相對於視頻幀內的非ROI區 而擇優對視頻幀內的檢測到的ROI進行編碼。在對視頻序列的每個幀進行編碼之後，視 頻通信裝置IO可將包含擇優處理過的ROI的輸出圖像位流發送到另一視頻通信裝置。作為一實例，VT應用允許用戶共享視頻和音頻信息，以支持例如視頻會議的應用。 在VT系統中，用戶可發送和接收視頻信息，只接收視頻信息，或只發送視頻信息。視 頻通信裝置IO可進一步包含適當的發射、接收、數據機和處理電子器件，以支持有 線或無線通信。舉例來說，視頻通信裝置IO可包括為與其它終端通信而配備的無線移動 終端或有線終端。無線移動終端的實例包含移動無線電話、移動個人數字助理(PDA)、移動計算機或 其它配備有無線通信能力和視頻編碼和/或解碼能力的移動裝置。舉例來說，視頻通信裝 置IO可包括VT應用中所使用的所謂的相機電話或視頻電話。有線終端的實例包含臺式 計算機、視頻電話、網絡應用、機頂盒、交互式電視或類似物。在視頻編碼的實施例中，ROI視頻處理系統14可基於視頻傳感器12的特性而擇優 對自動從自視頻傳感器12接收的視頻幀檢測到的ROI進行編碼。舉例來說，ROI視頻處 理系統14可將額外的編碼位分配給視頻幀的檢測到的ROI，且將減小數目的編碼位分配 給視頻幀的非ROI區。在移動應用中，具體地說，可用於對視頻幀進行編碼的編碼位的數目可能較低，且 根據無線信道條件而變化。因此，編碼位到ROI的擇優分配可能有助於改進ROI的視覺 質量，同時有效地符合可應用的位速率要求。因此，有了檢測到的ROI的擇優編碼，與 視頻幀的非ROI區相比，接受者能夠更清楚地觀看到視頻幀的ROI。視頻通信裝置10 接著可通過有線或無線通信信道將經編碼的視頻幀傳輸到另一通信裝置。如上文所述，ROI視頻處理系統14可實施用於基於視頻序列的視頻幀內的低複雜性 自動ROI檢測而執行ROI視頻處理的技術。低複雜性自動ROI檢測可基於視頻通信裝置 10內的視頻傳感器12的特性。所揭示的技術包含視頻處理技術，其能夠調諧並增強視 頻通信裝置10中所包含的ROI視頻處理系統14內的組件。舉例來說，視頻處理技術可 基於視頻傳感器12的特性而調諧並增強視頻傳感器校準模塊、相機處理模塊、ROI檢測 模塊和ROI視頻處理模塊。視頻處理技術可普遍地應用於不同類型的視頻傳感器。因此，可使用視頻處理技術 來基於各種視頻傳感器的物理特性和處理能力處理由不同視頻俘獲裝置產生的視頻幀。 另外，視頻處理技術允許ROI視頻處理系統14中所包含的組件之間的靈活通信和協作。 以此方式，所揭示的技術可基於視頻傳感器12的物理特性和統計資料而增強ROI視頻處理系統14的性能。所揭示的技術還包含自動ROI檢測技術，其使用視頻傳感器12的物理特性和來自視 頻傳感器12的相機處理側信息。舉例來說，相機處理側信息可包含白平衡處理信息； 色彩校正處理信息，其改進色彩準確性；非線性伽馬處理信息，其補償顯示非線性；以 及色彩轉換處理信息。可在從RGB色彩空間轉換到YCbCr色彩空間時產生色彩會話處 理信息(color conversation processing information),其中Y是亮度信道，且CbCr是色度 信道。自動ROI檢測技術改進了 ROI檢測準確性，其直接增強了 ROI視頻處理系統14 的性能。舉例來說，皮膚區域檢測器可使用視頻傳感器統計資料來準確地檢測視頻幀內 的皮膚圖，且面部檢測器使用所述皮膚圖來檢測所述視頻幀內的一個或一個以上面部。所揭示的技術還包含基於運動的ROI檢測技術，其使用在視頻處理中的運動估計期 間獲得的運動信息。舉例來說，面部檢測器使用皮膚圖和運動信息(例如，運動向量) 來執行低複雜性面部檢測，所述低複雜性面部檢測基於運動信息而有效地提取所述皮膚 圖內的一個或一個以上面部(即，ROI)。自動ROI檢測技術接著可針對視頻幀內檢測到的面部中的每一者而產生ROI。所揭 示的技術接著將視頻幀內所產生的ROI應用到ROI視頻處理系統14中所包含的視頻處 理模塊。舉例來說，在視頻編碼的情況下，ROI處理模塊可使用經加權的位分配和自適 應背景跳過來提供優越的編碼效率。在對視頻序列的每個幀進行處理之後，視頻通信裝 置IO可將包含ROI的經擇優編碼的視頻幀的輸出圖像位流發送到另一視頻通信裝置。可在硬體、軟體、固件或其任一組合中實施ROI視頻處理系統14。舉例來說，可在 一個或一個以上數位訊號處理器(DSP)、微處理器、專用集成電路(ASIC)、現場可編 程邏輯陣列(FPGA)或任何其它等效集成或離散邏輯電路以及此類組件的任何組合內實 施ROI視頻處理系統14的各個方面。術語"處理器"通常可指代前述邏輯電路的任一者 (單獨或與其它邏輯電路組合)。當在軟體中實施時，歸因於ROI視頻處理系統14的功能 性可實施為計算機可讀媒體上的指令，所述計算機可讀媒體例如是隨機存取存儲器 (RAM)、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除可編程 只讀存儲器(EEPROM)、快閃記憶體、磁性媒體、光學媒體或類似物。執行所述指令以 支持本發明中所描述的功能性的一個或一個以上方面。圖2A和圖2B是說明視頻序列的視頻幀20內的ROI 24和非ROI區26的定義的圖。 在圖2B的實例中，將ROI描繪為人臉ROI 24。在其它實施例中，ROI可包括矩形ROI 或可能具有圓形或不規則形狀的另一非矩形ROI。R01 24含有出現在視頻幀20中的人的 臉部22。在圖2B中通過陰影法來突出顯示非ROI區26 (即，背景)。可通過來自圖1的ROI視頻處理系統14中所包含的ROI檢測模塊來從視頻幀20自 動檢測R0124。對於VT應用，視頻通信裝置(例如來自圖1的視頻通信裝置10)可並 入有ROI視頻處理系統14,以自動檢測視頻幀20內的ROI 24，且相對於視頻幀20內的 非ROI區而擇優對ROI24進行編碼。在所述情況下，ROI24可包含視頻幀20的含有視 頻會議中的參與者的臉部22的一部分。其它實例包含在串流視頻(例如信息視頻，或新 聞或娛樂廣播)中呈現信息的人的臉部的擇優編碼。ROI24的大小、形狀和位置可以是 固定的或可調節的，且可以多種方式來定義、描述或調節。ROI 24允許視頻發送者強調所傳輸的視頻幀20內的個別對象，例如人的臉部22。 相反，ROI24允許視頻接收者更清楚地觀看接收到的視頻幀20內的所需對象。在任一情 況下，相對於非ROI區26 (例如視頻幀20的背景區域)，以較高的圖像質量來對ROI 對象24內的臉部22進行編碼。以此方式，用戶能夠更清楚地觀看面部表情、嘴唇運動、 眼睛運動等等。在一些實施例中，還可不僅以額外的編碼位，而且以增強的誤差檢測和 彈性來對ROI 24進行編碼。圖3說明視頻序列的ROI內所呈現的對象的對象移動/旋轉和形狀變形的變化。具體 地說，圖3的幀0和幀1中所展示的人的頭部顯著地改變其位置。在圖3的實例中，人 的頭部在幀1中相對於幀0而傾斜。圖4說明視頻序列的ROI內人的面部表情的變化。 具體地說，幀0和幀1中所展示的人的嘴從大體上閉合的位置轉變到大開的位置。因此， 圖3和圖4表示視頻序列的ROI中的較大量的移動的情況。圖5是說明基於低複雜性自動ROI檢測而對視頻幀內的ROI進行擇優處理的視頻通 信裝置10內的ROI視頻處理系統14的框圖。低複雜性自動ROI檢測可以基於視頻傳感 器12的特性。ROI視頻處理系統14可通過視頻傳感器12從視頻俘獲裝置11接收視頻 幀。ROI視頻處理系統14可獨立於視頻序列的其它幀，且在無運動信息的情況下，處理 視頻序列的模式內視頻幀。ROI視頻處理系統14可基於當前視頻幀與視頻存儲器16中 所存儲的視頻序列的前一視頻幀之間的ROI的運動信息來處理模式間幀。在所說明的實施例中，ROI視頻處理系統14包含傳感器校準模塊30、傳感器統計資 料32、相機處理模塊34、自動ROI檢測模塊36和ROI視頻處理模塊42。在傳感器校準 過程期間，從傳感器校準模塊30獲得傳感器統計資料32。相機處理模塊34和ROI檢測 模塊36使用傳感器統計資料32來準確地檢測通過視頻傳感器12從視頻俘獲裝置11接 收到的模式內視頻幀內的ROI。 ROI檢測模塊36還依靠在相機處理期間通過相機處理模 塊34檢測到的信息，例如施照體條件。另外，ROI檢測模塊36可接收當前視頻幀與前 一視頻幀之間的由ROI視頻處理模塊42產生的運動信息(例如，運動向量)，以允許模式間幀內的ROI檢測。在ROI視頻處理系統14中，傳感器校準模塊30計算特定視頻傳感器12的固有膚色 統計資料。傳感器校準模塊30可針對多種視頻傳感器產生傳感器統計資料32，使得ROI 視頻處理系統14可基於視頻通信裝置IO內所包含的任一視頻傳感器而增強ROI視頻處 理性能。傳感器校準模塊30基於視頻傳感器32的膚色反射譜與測試目標(例如，麥克 貝斯色彩測試標板表)的譜的相關性來獲得傳感器統計資料32。圖6A說明視頻傳感器 32的示範性膚色反射譜。圖6B說明麥克貝斯色彩測試標板測試目標的示範性反射譜。可假定膚色反射譜可由有限數目的麥克貝斯色彩測試標板彩色小片的反射譜的線性 組合近似表示，例如formula see original document page 16 (1)其中K是麥克貝斯色彩測試標板的反射譜的數目，入是波長，i ^(義)和《M"^(/l)是 膚色和第i個麥克貝斯色彩測試標板彩色小片的相應反射率，且^!7〖!'=7, 2，...，幻是待計 算的一組加權因數。在此情況下，膚色的相應RGB (紅、綠、籃)信號可由相應麥克貝 斯彩色小片的RGB信號的相同線性組合來表示formula see original document page 16 (2 )其中i GS^和尺Gfi,"w是膚色和第i個麥克貝斯色彩測試標板彩色小片的相應RGB 信號強度值。上文的假定是允許的，因為對於給定的傳感器和某一反射譜，相應的相機原始RGB 信號理論上可由以下等式來計算formula see original document page 16 (3)其中SS(義)、L(A)、 / (義)是傳感器光譜靈敏度函數、施照體光譜功率分布和對象反射 譜。因此，等式(2)可從等式(1)和等式(3)導出。對於特走傳感器(例如視頻傳感 器12)，在獲得所有的潛在加權因數(bil之後，且在測量/ G5,w'M直之後，傳感器校準模塊30可通過使用等式(2)來計算WGfi^的所有組合。以此方式，傳感器校準模塊30可獲得視頻傳感器12的RGB色彩空間中的膚色圖， 以供ROI檢測模塊36內的皮膚區域檢測器38將來使用。傳感器校準模塊30可使用膚色 反射譜資料庫來獲得對等式(1)求解的潛在加權因數(bO。通過所述資料庫，等式(1) 中所使用的/ 曲(;i)和i^。^'M;i)的值是可用的，且因此傳感器校準模塊30可獲得所有種 類的膚色的相應[bi)向量。實驗結果己經指示上述假定是合理的，這意味著可將膚色反射譜分解成二十四個麥 克貝斯色彩測試標板彩色小片的線性組合。另外，所導出的加權因數(bi)通過具有原始膚 色譜的成分來使所構造的膚色反射譜一致。圖6C說明示範性反射譜，其檢驗原始與重構 的膚色反射譜的一致性並證實所述假定。上文所描述的傳感器校準途徑顯著減小了原始問題的複雜性。 一般來說，傳感器校 準可能較為耗時，且可能需要昂貴的設備來測量特定傳感器的傳感器光譜靈敏度。因此， 從等式(3)直接導出膚色的RGB值可能不可行，但施照體和反射數據兩者是可實現的。 傳感器校準模塊30所觀察到的譜相關性可減少ROI視頻處理系統14內的資源消耗，同 時檢測傳感器光譜靈敏度。在一些情況下，施照體條件可能影響加權因數",7的範圍，且因此影響所得膚色圖。 為了去除非均勻照明和傳感器非線性響應，傳感器校準模塊30藉助通過均勻灰色平面俘 獲和減去恆定黑色電平(別fldL"eZ)進行平場處理(flat fielding)來使每種施照體下針 對麥克貝斯色彩測試標板的每一彩色小片所內插的原始RGB信號標準化，例如腳=腳-黑fe電平 (4) 灰色平面-黑色電平其中Gra;yWwe是對應於麥克貝斯色彩測試標板的灰色平面上的原始信號。另外， 傳感器校準模塊30將施照體分類成三類(例如，日光一CIED65，鎢絲燈一CIEA,和熒 光燈一TL84)，且針對其中的每一者而計算相應的傳感器統計資料。因為大多數視頻處理系統使用YCbCr(亮度、色度藍、色度紅)色彩空間而不是RGB， 所以傳感器校準模塊30通過白色平衡、色彩校正和伽馬校正處理來將RGB色彩圖變換 成YCbCr空間。經變換的色彩圖包括橢圓體，其在CbCr平面中聚集但在Y軸中散布。 為了避免存儲大量用於3D色彩空間的數據，傳感器校準模塊30將Y分成多個範圍。對 於每個Y,傳感器校準模塊30接著通過高斯模型來模擬輸入色度X屬於膚色圖的可能性formula see original document page 18其中x是如下定義的馬氏距離(Mahalanobis distance):
formula see original document page 18
且可從CbCr色彩圖中的點的坐標計算出密度的均值向量A和協方差矩陣a。
換句話說，在給定閾值鬥的情況下，如果？Sg，那麼可將X分類為皮膚色度，且
否則分類為非皮膚色度。不等式？《^定義具有由/z給定的中心的橢圓區和由a的本徵
向量給定的主軸。選擇閾值訂的平方根，使得其在亮度級在中間處時較大，且在遠邊緣 處變小。因此，傳感器校準模塊30針對每個亮度範圍保存/z和a對，作為視頻傳感器12
的傳感器統計資料32。
相機處理模塊34經由視頻傳感器12從視頻俘獲裝置11接收視頻序列的視頻幀。相 機處理模塊34還接收由傳感器校準模塊30所產生的傳感器統計資料32，如上文所述。 相機處理模塊34處理相機原始RGB數據產生、白色平衡、色彩校正、相機伽馬校正和 RGB色彩空間到YCbCr空間轉換。相機處理模塊34的輸出呈YCbCr 4:2:0原始數據格 式。
如上文所述，為了考慮施照體對膚色圖的影響，傳感器校準模塊30在三種施照體(例 如，日光一CIED65,鎢絲燈一CIEA，和螢光燈一TL84)下使用麥克貝斯色彩測試標板， 且以標準化標度以
的亮度級範圍針對每種施照體獲得一個膚色區域。相機處理 模塊34接著估計接收到的視頻幀的施照體，且將估計的施照體分類成三種施照體類型中 的一種。以此方式，相機處理模塊34為視頻幀選擇施照體。ROI檢測模塊36內的皮膚 區域檢測器38接著可在檢測視頻幀內的膚色區域時使用對應於選定施照體的傳感器統 計資料。
ROI檢測模塊36包含皮膚區域檢測器38、 ROI檢測控制器39和ROI檢測器40。在 一些情況下，ROI檢測器40可被視為面部檢測器，例如在其中人呈現如現場直播或預先 錄製的新聞或娛樂廣播等信息視頻的VT應用或視頻廣播應用的情況下。ROI檢測模塊 36實施自動ROI檢測技術，其使用視頻傳感器12的物理特性和來自視頻俘獲裝置11的 相機處理側信息。自動ROI檢測技術改進了 ROI檢測準確性，其直接增強了ROI視頻處理系統14的性能。舉例來說，皮膚區域檢測器38可使用傳感器統計資料32來準確地檢 測視頻幀內的皮膚圖，且ROI檢測器40可使用所述皮膚圖來檢測視頻幀內的一個或一個 以上面部。
皮膚區域檢測器38在接收由傳感器校準模塊30產生的傳感器統計資料32之後，可 執行相對簡單的檢測過程。在此情況下，皮膚區域檢測器32檢查色度(CbCr)值是否在 由傳感器相關統計資料32表徵的橢圓內。如上文所述，從傳感器校準模塊30獲得視頻 幀的橢圓的參數。另外，橢圓的參數是以照明度和亮度定向的，且與傳感器相關。因此， 與在毫不知情的情況下由大量圖像訓練的常規膚色訓練途徑相比，本文所描述的皮膚區 域檢測過程可能更準確。皮膚區域檢測器38接著從視頻幀的所檢測的膚色區域產生皮膚 圖。
ROI檢測控制器39接著從皮膚區域檢測器38接收皮膚圖，且接收與視頻幀有關的 信息。在一些情況下，ROI檢測控制器39還可接收來自ROI視頻處理模塊42的視頻序 列的所述視頻幀和前一視頻幀的運動信息。ROI檢測控制器39接著可確定皮膚圖的質量。 如果皮膚圖的質量低於預定等級，那麼ROI檢測控制器39可將所述皮膚圖發送給ROI 檢測器40。如果皮膚圖的質量高於預定等級，那麼ROI檢測控制器39可決定斷開ROI 檢測器40。在此情況下，皮膚區域檢測器38所產生的皮膚圖表現為足以能夠產生視頻 幀內的ROI。 ROI檢測模塊36接著可直接從所述皮膚圖產生所述視頻幀內的ROI。
在其它情況下，ROI檢測控制器39可基於接收到的當前視頻幀信息和運動信息而確 定視頻幀的計算複雜性。如果視頻幀的計算複雜性低於預定等級，那麼ROI檢測控制器 30可決定斷開ROI檢測器40。 ROI檢測模塊36接著可直接從皮膚圖產生所述視頻幀內 的ROI。如果視頻幀的計算複雜性高於預定等級，那麼ROI檢測控制器39可將皮膚圖發 送給ROI檢測器40。在此情況下，視頻幀可包含新的ROI或大量先前未處理的ROI特 徵，或視頻幀可包含從視頻序列的前一視頻幀進行的大量移動。
根據一實施例，ROI檢測器40針對實時處理(相對於圖8更詳細地描述)實施低復 雜性ROI檢測算法。如上文所述，ROI視頻處理系統14允許ROI檢測器40在某些情況 下斷開，以節省功率。ROI視頻處理系統14利用高度準確的傳感器優化皮膚區域檢測器 38，其不會錯誤地選擇皮膚圖內的潛在ROI特徵，例如眼部特徵候選物和嘴部特徵候選 物。ROI檢測器40接著可自動檢測視頻幀的所產生的皮膚圖內的一個或一個以上面部或 ROI。以此方式，ROI檢測器40可實施低複雜性算法，其在移動VT應用中尤其有用。 然而， 一些其它皮膚區域檢測算法可將面部特徵分類成皮膚圖的一部分，以便加速皮膚 區域檢測器38的性能。ROI檢測模塊36接著可針對視頻幀內檢測到的面部中的每一者產生R01。 ROI視頻 處理模塊42接著相對於視頻幀內的非ROI區而擇優處理所產生的ROI。在視頻編碼的實 施例中，ROI視頻處理模塊42可通過使用經加權的位分配和自適應背景跳過來擇優編碼 視頻幀內的ROI，以提供優越的編碼效率。具體地說，與背景區相比，每個ROI被分配 有更多的位，且對於一些幀，可完全跳過背景區。在背景跳過的情況下，來自前一個幀 的背景可代替背景編碼被跳過的幀的背景。在處理視頻序列的每個幀之後，ROI視頻處 理模塊42可將經擇優編碼的ROI的輸出圖像位流發送給另一視頻通信裝置。
圖7是說明視頻通信裝置10中所包含的ROI視頻處理系統14的基於視頻傳感器12 的特性的操作的流程圖。傳感器校準模塊30基於視頻傳感器12的膚色反射譜和測試目 標(例如麥克貝斯色彩測試標板表)的反射譜而執行傳感器校準(46)。傳感器校準模塊 30接著基於校準過程而產生視頻傳感器12的傳感器統計資料32 (48)。如先前所述，在 一些實施例中，傳感器統計資料可包含均值向量A，和從為視頻傳感器12準備的CbCr 色彩圖中的點的坐標計算出的協方差矩陣A。針對每個亮度範圍，^和A的對由傳感器校
準模塊30存儲，作為視頻傳感器12的傳感器統計資料32。
相機處理模塊34基於通過視頻傳感器12從視頻俘獲裝置ll接收到的視頻幀以及傳 感器統計資料32而執行相機處理(50)。相機處理模塊34可估計接收到的視頻幀的施照 體條件，並將估計出的施照體分類成三種施照體類型(即日光一C正D65,鎢絲燈一C正A， 和螢光燈一TL84)中的一種。接著將從相機處理模塊34選定的施照體和對應於所述選定 施照體的傳感器統計資料32饋送到ROI檢測模塊36中。ROI檢測模塊36包含皮膚區域 檢測器38、 ROI檢測控制器39和ROI檢測器40。皮膚區域檢測器38基於施照體和傳感 器統計資料32而檢測視頻幀內的皮膚區域(52)，以產生皮膚圖。
ROI檢測控制器39接著確定是否在視頻幀內執行ROI檢測(53)。舉例來說，如果 檢測到的皮膚圖的質量足以產生視頻幀的ROI，那麼ROI檢測控制器39可決定斷開ROI 檢測器40，且不執行ROI檢測。另外，如果視頻幀包含較小數目的潛在ROI特徵或所述 視頻序列的所述視頻幀與前一視頻幀之間的最小量的移動或變化，那麼ROI檢測控制器 可決定斷開ROI檢測器40，且不執行ROI檢測。斷開ROI檢測器40可減小ROI視頻處 理系統14內的功率消耗。
當ROI檢測控制器39接收到較低質量的皮膚圖或較高複雜性的視頻幀時，ROI檢測 控制器39將皮膚圖發送給ROI檢測器40。 ROI檢測器40基於ROI特徵檢測和檢驗而檢 測來自皮膚區域檢測器38的皮膚圖內的一個或一個以上ROI (54)。不管是否執行ROI 檢測，ROI檢測模塊36都基於檢測到的皮膚圖或皮膚圖內的檢測到的ROI而產生一個或一個以上ROI (56)。 ROI產生模塊36接著將視頻幀的所產生的ROI發送給ROI視頻處 理模塊42。ROI視頻處理模塊42將視頻幀的ROI擇優處理成用於多媒體應用的位流(58)。 圖8是說明ROI視頻處理系統中所包含的ROI檢測器60的框圖。ROI檢測器60可 實施低複雜性面部檢測算法，其有效地從視頻幀的皮膚圖提取一個或一個以上面部，即 ROI。在一些情況下，ROI檢測器40可被視為面部檢測器。舉例來說，在VT應用或視 頻廣播應用的情況下，其中人呈現信息視頻，例如現場直播或預先錄製的新聞或娛樂廣 播。
在一個實施例中，ROI檢測器60可大體上類似於來自圖5的ROI視頻處理系統14 中所包含的ROI檢測器40。在此情況下，ROI檢測器60可接收由皮膚區域檢測器38基 於視頻傳感器12的傳感器統計資料32而產生的皮膚圖，且基於傳感器統計資料32而執 行低複雜性ROI檢測。在另一實施例中，ROI檢測器60可不接收基於傳感器統計資料的 來自皮膚區域檢測器的皮膚圖。在此情況下，ROI檢測器60可基於從類似於來自圖5的 ROI視頻處理模塊42的ROI視頻處理模塊接收到的運動信息，而執行低複雜性ROI檢 測。
在一些情況下，ROI檢測器60可獨立於視頻序列的其它幀且在無運動信息的情況下， 處理所述視頻序列的模式內視頻幀。在其它情況下，ROI檢測器60可基於視頻序列的當 前視頻幀與前一視頻幀之間的ROI的運動信息而處理模式間幀。ROI檢測器60用來處理 模式內幀的運動信息可包括在ROI視頻處理模塊(例如ROI視頻處理模塊42)中的運動 估計期間獲得的運動向量。
在所說明的實施例中，ROI檢測器60包含區域標記模塊62、區域選擇模塊64、特 徵檢測和檢驗模塊66、 ROI區域選擇模塊68、形態學運算模塊70和ROI宏區塊(MB) 選擇模塊72。圖9A到圖9G是說明在自動檢測基於傳感器特定統計資料而產生的視頻幀 的皮膚圖內的ROI時，由ROI檢測器60實施的技術的示範性結果的屏幕截圖。在其它 情況下，ROI檢測器60可自動檢測以另一方式且在不使用傳感器統計資料的情況下產生 的視頻幀的皮膚圖內的ROI。
如上文參看圖5所述，皮膚區域檢測器檢測視頻幀內的皮膚區域，並從檢測到的皮 膚區域產生皮膚圖。圖9A說明在ROI檢測模塊進行任何處理之前的示範性視頻幀。圖 9B說明由皮膚區域檢測器基於傳感器統計資料而產生的視頻幀的示範性皮膚圖。 一旦皮 膚區域檢測器產生視頻幀的皮膚圖，區域標記模塊62就將皮膚圖分成許多不連貫的區 域。在此情況下，皮膚區域檢測器可假定皮膚圖內的每個面部或ROI包含在連貫的區域 中。換句話說，皮膚圖內的ROI特徵(例如，面部特徵)應防止區域標記模塊62將面部或ROI分成一個以上連貫區域。
另外，區域選擇模塊64可假定視頻幀中至多存在兩個ROI或面部，這對於大多數情 況來說是合理的，且大大簡化了 ROI檢測過程。區域選擇模塊64從皮膚圖的包含視頻幀 內的最大區的不連貫區域選擇至多達三個候選區域。ROI區域選擇模塊68接著基於由特 徵檢測和檢驗模塊66在候選區域的每一者內檢測到的面部特徵而從所述候選區域中選 擇一個或一個以上ROI區域。
特徵檢測和檢驗模塊66使用一組預定規則來檢查所有候選區域的面部特徵。通常， 面部特徵位於皮膚圖的由候選區域內的高強度對比表徵的凹部區域中。因此，特徵檢測 和檢驗模塊66可通過執行灰度級關閉和擴張形態學運算來找出凹部區域。如果面部特徵 候選物與檢測到的凹部區域不具有重疊區，那麼從候選物列表中移除所述面部特徵候選 物。在此實施例中，特徵檢測和檢驗模塊66主要執行眼部檢測，其可基於兩個觀察結果。
第一，眼部周圍的色度分量通常含有高Cb和低Cr值。因此，特徵檢測和檢驗模塊 66可通過以下等式來構造色度眼部圖
c_ a 2 + (255_O)2 + (C6/O) (7) — ^
一旦獲得了色度眼部圖，特徵檢測和檢驗模塊66就可將閾值應用於色度(C)眼部 圖，以使最亮的區域位於眼部候選物的眼部圖內。特徵檢測和檢驗模塊66接著應用形態 學運算來將大體上接近的最亮區域合併成單一眼部候選物。
第二，眼部通常在亮度分量中含有暗像素和亮像素兩者。因此，特徵檢測和檢驗模 塊66可使用灰度級形態學算子來強調眼部周圍的亮度分量中的較亮和較暗像素。特徵檢 測和檢驗模塊66可通過以下等式來構造亮度眼部圖
侵蝕(y) + l
一旦獲得亮度眼部圖，特徵檢測和檢驗模塊66就可將閾值應用於亮度(L)眼部圖， 以使最亮的區域位於眼部候選物的眼部圖內。特徵檢測和檢驗模塊66接著應用形態學運 算以將大體上接近的最亮區域合併成單一眼部候選物。
特徵檢測和檢驗模塊66接著接合所述兩個眼部圖，以找出最終眼部特徵候選物。圖 9C說明由特徵檢測和檢驗模塊66檢測到的示範性面部特徵候選物，例如眼部特徵候選物。顯然，其它面部特徵(例如嘴、眉毛、鼻孔和下巴)也可被檢測為是找出候選區域 內的面部的提示。在檢測視頻幀內的ROI或面部時，尤其在眼部在視頻幀中不可見或模 糊時，這些額外面部特徵可能非常有用。
一旦特徵檢測和檢驗模塊66在所述候選區域的一者或一者以上內檢測到面部特徵 候選物，就基於一組規則來檢驗所述面部特徵以消除任何錯誤檢測。首先，特徵檢測和 檢驗模塊66使檢測到的眼部圖與視頻幀的未由皮膚區域檢測器檢測到的非皮膚區域重 疊。上文所述的皮膚區域檢測器(即，來自圖5的皮膚區域檢測器38)在產生皮膚圖時 不會錯誤地檢測面部特徵。因此，正確的眼部特徵不是皮膚圖的一部分。
其次，皮膚圖的候選區域內的面部特徵包括皮膚圖中的內部孔，其意味著正確的面 部特徵應由皮膚區域包圍。第三，含有眼部特徵候選物的候選區域中的每一者的面積應 在[15，500]的範圍內。第四，含有眼部特徵候選物的候選區域中的每一者的邊界框被包含 在ROI區域候選物的邊界框的一者中。圖9D說明由特徵檢測和檢驗模塊66檢驗到的示 範性面部特徵(例如眼部特徵)。
ROI區域選擇模塊68接著選擇包含最多面部特徵的候選區域作為ROI區域。在一些 情況下，ROI區域選擇模塊68可選擇至多達兩個ROI區域。ROI區域選擇模塊68基於 ROI或面部區域與皮膚圖內的其它區域相比通常含有最多面部特徵候選物且覆蓋較大面 積的觀察結果而選擇ROI區域。因此，ROI區域選擇模塊68可選擇對應於針對所述區域 內的面部特徵的數目與所述區域的面積的乘積具有最大值的最前面兩個候選區域的ROI 區域。如果所述候選區域中任一者均不含有面部特徵，那麼ROI區域選擇模塊68選擇最 大的候選區域作為ROI區域。
圖9E說明ROI區域選擇模塊68基於檢測到的面部特徵而選擇的示範性ROI區域。 形態學運算模塊70接著對選定的ROI區域執行形態學運算，以填充ROI區域內對應於 檢測到的面部特徵的孔。圖9F說明在形態學運算模塊70執行的形態學運算之後的示範 性ROI區域。
最後，ROIMB選擇模塊72選擇視頻幀的對應於ROI的宏區塊作為ROI宏區塊。舉 例來說，如果宏區塊的多於預定百分比的面積與選定ROI區域重疊，那麼ROIMB選擇 模塊72可選擇宏區塊作為視頻幀的ROI的一部分。在一些情況下，所述預定百分比可包 括10%。宏區塊是形成視頻幀的一部分的視頻區塊。MB的大小可以是16X16個像素。 然而，其它MB大小是可能的。本文將出於說明的目的而描述宏區塊，應了解，宏區塊 可具有多種不同大小。圖9G說明ROIMB選擇模塊72基於視頻幀的選定ROI區域而選 擇的示範性ROI宏區塊。ROI檢測模塊36接著基於ROI MB選擇模塊72所選擇的ROI宏區塊而產生視頻幀的ROI。
上文所述的ROI檢測過程包括模式內ROI檢測過程，其中ROI檢測器60獨立於視 頻序列的其它幀且在無運動信息的情況下，處理所述視頻序列的視頻幀。在其它情況下， ROI檢測盔60可基於視頻序列的當前視頻幀與前一視頻幀之間的ROI的運動信息而執行 低複雜性模式間ROI檢測過程。ROI檢測器60用來處理模式內幀的運動信息可包括在 ROI視頻處理模塊中的運動估計期間獲得的運動向量。模式內ROI檢測過程可被視為較 高複雜性過程。由於運動信息的緣故，模式間ROI檢測過程可被視為低複雜性過程。在 基於傳感器特定統計資料而產生由ROI檢測器60接收的皮膚圖的情況下，皮膚圖的經改 進的質量可進一步減小模式內和模式間ROI檢測過程兩者的複雜性。
在模式間ROI檢測過程中，ROI檢測器60基於對前一個幀中的ROI的跟蹤而檢測 當前視頻幀內的ROI，且利用從ROI視頻處理模塊(例如來自圖5的ROI視頻處理模塊 42)接收到的運動向量。在此情況下，ROI檢測器60將當前視頻幀的每個宏區塊與前一 視頻幀的相應宏區塊進行比較。ROI檢測器60確定前一視頻幀的相應宏區塊是否與前一 視頻幀內的ROI具有足夠量的重疊。R01檢測器60還確定當前宏區塊是否與當前幀的皮 膚圖具有足夠量的重疊。舉例來說，足夠量的重疊可包括宏區塊的多於預定百分比的面 積與前一視頻幀的ROI或當前視頻幀的皮膚圖重疊。在一些情況下，所述預定百分比可 包括10%。
如果兩個條件都滿足，那麼ROI檢測器60選擇當前宏區塊作為ROI區域的一部分。 這種解決方案可與ROI視頻處理模塊所實施的視頻處理算法良好結合，且含有相對較簡 單的運算。因此，本文所描述的低複雜性模式間ROI檢測過程比其它模式間途徑有效得 多。
低複雜性模式間ROI檢測過程可能在跟蹤快速移動的ROI方面具有困難。因此，連 接到ROI檢測器60的ROI檢測控制器(大體上類似於來自圖5的ROI檢測控制器39 ) 可實施自適應算法，所述自適應算法在某些情況下調用較高複雜性的模式內ROI檢測過 程。舉例來說，ROI檢測控制器可致使ROI檢測器60在使用模式間ROI檢測過程在其 中自動檢測到ROI的相繼視頻幀的數目高於預定等級(例如，每10個幀)時，周期性地 執行模式內ROI檢測。在另一實例中，ROI檢測控制器可致使ROI檢測器60在ROI檢 測控制器在視頻序列的視頻幀之間檢測到高於預定等級的運動活動的量時執行模式內 ROI檢測。以此方式，自適應算法顯著減小了包含ROI檢測器60的ROI視頻處理系統 內的複雜性，但自適應算法可能不能夠快速檢測出現在視頻幀中的新面部。
圖10A和圖10B是說明ROI視頻處理系統的ROI檢測模塊內的ROI檢測器60的操作的流程圖。ROI檢測器40接收皮膚圖(80)。在一個實施例中，ROI檢測器60可大體 上類似於來自圖5的ROI視頻處理系統14中所包含的ROI檢測器40。在此情況下，ROI 檢測器60可接收由皮膚區域檢測器38基於視頻傳感器12的傳感器統計資料32而產生 的皮膚圖，且基於傳感器統計資料32而執行低複雜性ROI檢測。在另一實施例中，ROI 檢測器60可不基於傳感器統計資料而從皮膚區域檢測器接收皮膚圖。在此情況下，ROI 檢測器60可基於從類似於來自圖5的ROI視頻處理模塊42的ROI視頻處理模塊接收到 的運動信息而執行低複雜性ROI檢測。
包含在ROI檢測模塊中的ROI檢測控制器接著確定ROI檢測器60執行模式內ROI 檢測過程還是模式間ROI檢測過程(81)。 ROI檢測器60可獨立於視頻序列的其它幀且 在無運動信息的情況下，對所述視頻序列的視頻幀執行模式內ROI檢測過程。ROI檢測 器60可基於視頻序列的當前視頻幀與前一視頻幀之間的ROI的運動信息而執行模式間 ROI檢測過程。
在一些情況下，ROI檢測控制器可致使ROI檢測器60每N個幀(例如，10個幀) 或當在當前視頻幀與前一視頻幀之間檢測到較大的移動或變化時，執行高複雜性模式內 ROI檢測過程。在其它情況下，如果使用模式內過程來處理最後一個視頻幀或當在當前 視頻幀與前一視頻幀之間檢測到最小量的移動或變化時，ROI檢測控制器可致使ROI檢 測器60執行低複雜性模式間ROI檢測過程。
如圖10A中所示，如果ROI檢測控制器致使ROI檢測器60執行模式內ROI檢測過 程(81的"是"分支)，那麼區域標記模塊62將從皮膚區域檢測器38接收到的皮膚圖 分成多個不連貫的區域(82)。區域選擇模塊64接著選擇在視頻幀內包含最大面積的區 域作為候選區域(84)。為了維持低複雜性，區域選擇模塊64隻能選擇三個候選區域。
特徵檢測和檢驗模塊66在所述候選區域的每一者內執行特徵檢測，且接著檢驗面部 特徵候選物，以消除錯誤檢測(86)。 ROI區域選擇模塊68接著檢測具有最多ROI特徵 和最大面積的候選區域作為ROI區域(88)。舉例來說，ROI區域檢測模塊68可選擇具 有最大量的ROI特徵的兩個候選區域。在候選區域都不包含ROI特徵的情況下，ROI區 域選擇模塊68可選擇具有視頻幀的最大面積的候選區域作為ROI區域。
形態學運算模塊70接著對一個或一個以上選定ROI區域執行形態學運算，以填充 ROI區域內對應於檢測到的面部特徵的孔(90)。最後，ROIMB選擇模塊72選擇視頻幀 的與選定ROI區域重疊的宏區塊作為ROI宏區塊(92)。舉例來說，如果宏區塊的多於 預定百分比(例如，10%)的面積與選定ROI區域重疊，那麼ROIMB選擇模塊72可選 擇所述宏區塊作為視頻幀的ROI的一部分。R01檢測模塊36接著基於ROI MB選擇模塊72所選擇的ROI宏區塊而產生視頻幀的ROI。如圖10B中所示，如果ROI檢測控制器致使ROI檢測器60執行模式間ROI檢測過 程(81的"否"分支)，那麼ROI檢測模塊60從ROI視頻處理模塊接收前一個視頻幀的 運動向量和宏區塊(96)。 ROI檢測器60接著將當前視頻幀的每個宏區塊與前一視頻幀 的相應宏區塊進行比較(98)。ROI檢測器60確定前一視頻幀的相應宏區塊是否與前一視頻幀的ROI充分地重疊 (99)，以及當前視頻幀的宏區塊是否與從當前視頻幀產生的皮膚圖充分地重疊(100)。 如果所述條件中的任一者都不滿足，那麼ROI檢測器60不會將所述宏區塊視為ROI的 一部分(102)。如果兩個條件都滿足，那麼ROI檢測器60選擇所述宏區塊作為當前視頻 幀內的ROI的一部分(104)。包含ROI檢測器60的ROI檢測模塊接著基於ROI檢測器 60所選擇的ROI宏區塊而產生視頻幀的ROI。返回圖5， ROI視頻處理系統14包含ROI視頻處理模塊42，其擇優處理所產生的 ROI。作為一實例，下文將把ROI視頻處理模塊42描述為通過使用經加權的位分配和自 適應背景跳過來對視頻幀內的ROI進行擇優編碼的ROI視頻編碼模塊。在對視頻序列的 每個幀進行處理之後，ROI視頻處理模塊42可將經擇優編碼的ROI的輸出圖像位流發送 給另一視頻通信裝置。ROI視頻處理模塊42針對ROI視頻編碼實施經優化的々域位分配。在此情況下，P 表示視頻編碼中宏區塊中的非零量化的AC係數的數目或百分比。P域與QP域速率控制 模型之間的主要差異是P域模型更準確，且因此有效地減少了速率波動。另外，ROI視頻處理模塊42針對ROI視頻編碼使用感知質量測量。舉例來說，視頻 幀的ROI和非ROI的標準化每像素失真可由Z)r和Z);w表示，且ROI感知重要性因數可 由a表示。可假定上文所提及的各方面之間的關係可簡化成視頻質量估算中的線性函數， 因而視頻幀的總體失真可表示為&匿=必《(/，/)+(1-")^ (/,/) ， (9)其中/和/是原始幀和重構的幀。根據等式(9),顯然，a應被指配有介於0與1 之間的實值，且a的選擇由視頻通信裝置10的最終用戶基於其要求和期望來決定。而且， 此測量值並非理想的度量，但其可能有助於位分配過程支持主觀感知。給定幀/的總位預算可由仏—e,表示，且對幀進行編碼的位速率可由R表示，因而 問題可由下式表示求Z fe的最小值，使得/ 5&崎w。 (10)在ROI視頻編碼中，N可表示幀中的宏區塊的數目，且{^}、 {凡}和{￡>,}分 別表示第i個宏區塊的P、標準偏差、速率和失真(即，均方誤差的和)的集合。因此， 每個宏區塊的一組權數{^}可定義為^ 如果其屬於WO/ 如果其屬於非/ 0/其中K是ROI內的宏區塊的數目。因此，幀的經加權失真為D = |>,D, = [ DflF (/,/)+(l-")ZV (/，/)]* 2552* 384 ( 12)因此，等式(4)可改寫為求D的最小值，使得尺Si fc"^,。 (13)ROI視頻處理模塊42可通過使用基於建模的位分配途徑來對等式(13)求解。自然 圖像的AC係數的分布可由拉普拉斯分布(Laplacian distribution)最佳地近似，P(;c) = 2e—^。因此，第i個宏區塊的速率和失真在等式(14)和等式(15)中可建模為 2P的函數，《=A/ ,.+5 (14)其中A和B是恆定建模參數，且A可被視為對非零係數進行編碼所需的位的平均數 目，且B可被視為由於非紋理信息而導致的位。￡), =384ofe,， (15) 其中e是未知常數。ROI視頻處理模塊42代替量化器來優化/7,.，因為ROI視頻處理模塊42假定存在可用於從任何選定A產生相當好的量化器的足夠準確的^-QP表。 一般來說，可通過使用 拉氏鬆弛(Lagrangian relaxation)來對等式(13)求解，在拉氏鬆弛中，將限定問題轉 換成非限定問題求最小值^ =狀+ 1> = X(^+w,.A) = 2S)+384w,.ofe-取叫，(16)其中乂*是允許|;《.=^ ^,的解。通過在等式(16)中將偏導數設置為零，通過以下等式來獲得經優化的A的以下表達設定^￡ = _^-^-:其為M —Ov,(T —電/384 = 0 ，0，因此，匿啦/384 _另一方面，由於、"=￡尺,,2)-剩+細], =1 w(17)(18)(19)(20)(21)(22)根據等式(20)和等式(22)，獲得位分配模型Iformula see original document page 29(23)類似地，如果ROI視頻處理模塊42假定具有步長q的均勻量化器具，那麼產生位分 配模型II:(24)結果指示兩個模型都如最佳解那樣接近地執行。給定幀的位預算，且使用等式(23) 或等式(24)， ROI視頻處理模塊42可在所述幀內的宏區塊上最佳地分配位，以使等式 (9)中所定義的感知失真減到最小。ROI視頻處理模塊42由於其簡單性而可在ROI視頻 處理系統14中使用位分配模型n。在非常低的位速率的情況下，通常對視頻幀的非ROI區進行粗略編碼，這導致低視 覺質量。另一方面，在背景被視為非ROI區的VT應用的大多數情況下，背景中存在有 限量的移動。因此，背景跳過是用於重新分配位以改進前景和經編碼的背景區域的質量 的潛在解決方案，只要所述跳過不會嚴重損害視頻保真度即可。在此情況下，ROI視頻 處理模塊42將每對幀分組成一個單元。在每個單元中，基於所預測的具有零運動向量的 宏區塊，對第一背景進行編碼，同時跳過第二背景。在幀等級位分配中，ROI視頻處理 模塊42假定視頻序列中的視頻幀的內容複雜性均勻分布，且因此位在單元之間均勻分 配。在單元內，等式(24)可用於宏區塊之間的位分配。在ROI視頻處理系統14中，ROI視頻處理模塊42基於由跳過而導致的失真 (Av。^w_^P)而自適應地控制單元中的背景跳過。對於具有含有大量運動的背景的視頻 序列，重要背景信息的跳過可能會破壞ROI視頻編碼系統性能。ROI視頻處理模塊42 使用失真閾值來確定背景跳過模式。所述閾值可與a和最近處理的單元的跳過失真的統 計資料有關。通過將萬n表示為最近n個單元的平均失真，所述閾值可定義為2(卜a)。ROI視頻處理模塊42可如下實施自適應背景跳過算法。首先，ROI視頻處理模塊42 通過設置5 =0且將跳過模式設置為接通來初始化背景跳過算法。接著，ROI視頻編碼 模塊通過以下等式來為當前(第i個)單元分配p預算其中M是速率控制片段中的幀的數目，是分配給所述片段的p的數目，且是所述片段內直到當前單元為止所使用的p的數目。接下來，在當前單元內，ROI視頻 處理模塊42通過等式(24)為每個宏區塊分配位。如果跳過模式接通，那麼不針對第二 幀的非ROI區指配位。在獲得當前單元的失真之後，ROI視頻處理模塊42通過5 -(l-;;)^^來更新 5。，其中/7是學習因數(learning factor),且其在[O, l]的範圍內。接著，ROI視頻處理模塊42更新p統計資料，且獲得用於下一個單元的數目。如果這是最後一個單元，那麼 ROI視頻處理模塊42可終止所述算法。如果其並非最後一個單元，那麼ROI視頻處理模塊42計算新單元的Dw。mo/」^。如果Dw。w。/鄉〉:^S ，那麼ROI視頻處理模塊42斷開跳過模式。否則，ROI視頻處理模塊42對所述新單元重複上文所述的算法。本文所述的技術可在硬體、軟體、固件或其任一組合中實施。如果在軟體中實施， 那麼所述技術可部分地通過包括程序代碼的計算機可讀媒體來實現，所述程序代碼含有 指令，所述指令在被執行時，執行上文所述的方法中的一者或一者以上。在此情況下， 計算機可讀媒體可包括隨機存取存儲器(RAM)(例如同步動態隨機存取存儲器(SDRAM))、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除可 編程只讀存儲器(EEPROM)、快閃記憶體、磁性或光學數據存儲媒體等等。所述程序代碼可由一個或一個以上處理器來執行，所述處理器例如一個或一個以上 數位訊號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現場可編程邏輯陣列(FPGA)或其它等效集成或離散邏輯電路。在一些實施例中，本文所描述的功能性可提 供在經配置以用於自動對象分段的專用軟體模塊或硬體單元內，或併入在自動對象分段系統中。在本發明中，已經描述了用於視頻序列的視頻幀內的低複雜性自動ROI檢測的各種 技術。在一些情況下，低複雜性自動ROI檢測可基於傳感器特定特性。在其它情況下， 低複雜性自動ROI檢測可基於所述視頻序列的所述視頻幀和不同的視頻幀的運動信息。 ROI視頻處理系統可個別地或組合地實施所揭示的技術中的一者或一者以上，以提供自 動檢測到且經準確處理的ROI，以用於例如視頻監視應用、VT應用或視頻廣播應用等多 媒體應用。所揭示的技術包含能夠基於特定視頻傳感器的特性而調諧並增強視頻通信裝置內的 視頻傳感器校準、相機處理、ROI檢測和ROI視頻處理的視頻處理技術。所述視頻處理 技術可普遍應用於不同類型的視頻傳感器。以此方式，所揭示的技術可基於視頻傳感器 物理特性和統計資料而增強ROI視頻處理性能。所揭示的技術還包含基於傳感器的ROI檢測技術，其使用視頻傳感器物理特性和相 機處理側信息來改進ROI檢測準確性，其直接增強ROI視頻處理性能。舉例來說，皮膚 區域檢測器使用視頻傳感器統計資料來準確地檢測視頻幀內的皮膚圖，且面部檢測器使 用所述皮膚圖來檢測所述視頻幀內的一個或一個以上面部。所揭示的技術還包含基於運 動的ROI檢測技術，其使用在視頻處理中的運動估計期間獲得的運動信息。舉例來說， 面部檢測器使用皮膚圖和運動信息(例如，運動向量)來執行低複雜性面部檢測，所述 低複雜性面部檢測基於所述運動信息而有效地提取皮膚圖內的一個或一個以上面部，即 ROI。這些和其它實施例在所附權利要求書的範圍內。
權利要求
1.一種方法，其包括從視頻傳感器接收視頻序列的視頻幀；針對所述視頻傳感器產生傳感器統計資料；以及基於所述傳感器統計資料自動檢測所述視頻幀內的關注區(ROI)。
2. 根據權利要求l所述的方法，其中產生所述傳感器統計資料包括通過使所述視頻傳 感器的膚色反射譜與測試目標的發射譜相關來對所述視頻傳感器執行傳感器校準。
3. 根據權利要求1所述的方法，其進一步包括基於所述視頻幀和所述傳感器統計資料 產生相機處理信息，其中產生所述相機處理信息包括估計所述視頻幀的施照體條 件，以及基於所述估計出的施照體條件選擇施照體類型。
4. 根據權利要求3所述的方法，其中產生所述傳感器統計資料包括針對每個施照體類 型產生傳感器統計資料，且其中選擇所述施照體類型包括選擇對應於所述施照體類 型的所述傳感器統計資料，以用於自動檢測所述視頻幀內的所述ROI。
5. 根據權利要求3所述的方法，其中選擇施照體類型包括選擇日光施照體類型、鎢絲 燈施照體類型或螢光燈施照體類型中的一者。
6. 根據權利要求1所述的方法，其進一步包括基於所述傳感器統計資料檢測所述視頻 幀內的皮膚區域和基於所述檢測到的皮膚區域產生所述視頻幀的皮膚圖，其中自動 檢測所述ROI包括自動檢測所述視頻幀的所述皮膚圖內的所述ROI。
7. 根據權利要求6所述的方法，其進一步包括確定所述皮膚圖的質量；當所述皮膚圖的所述質量低於預定等級時，將所述皮膚圖發送到ROI檢測器以自 動檢測所述皮膚圖內的所述ROI;以及當所述皮膚圖的所述質量高於預定等級時，斷開所述ROI檢測器以直接從所述皮 膚圖產生所述視頻幀內的所述ROI。
8. 根據權利要求6所述的方法，其中自動檢測所述視頻幀內的所述ROI包括-確定所述視頻幀的計算複雜性；當所述視頻幀的所述計算複雜性高於預定等級時，將所述皮膚圖發送到ROI檢測 器以自動檢測所述皮膚圖內的所述ROI;以及當所述視頻幀的所述計算複雜性低於預定等級時，斷開所述ROI檢測器以直接從所述皮膚圖產生所述視頻幀內的所述ROI。
9. 根據權利要求l所述的方法，其中自動檢測所述視頻幀內的所述ROI包括接收基於所述傳感器統計資料產生的所述視頻幀的皮膚圖； 將所述皮膚圖分成不連貫的區域；從所述不連貫的區域選擇包含所述視頻幀的最大面積的候選區域； 檢測並檢驗所述候選區域內的ROI特徵；從所述候選區域選擇包含最大數目的ROI特徵或所述視頻幀的所述最大面積的一 個或一個以上ROI區域；對所述一個或一個以上ROI區域執行形態學運算，以關閉所述視頻幀的所述皮膚圖中的來自所述檢測到的ROI特徵的內部孔；從所述視頻幀的宏區塊中選擇至少部分地與所述視頻幀內的所述一個或一個以上ROI區域重疊的ROI宏區塊；以及基於所述選定的ROI宏區塊產生所述視頻幀內的所述ROI。
10. 根據權利要求l所述的方法，其中自動檢測所述視頻幀內的所述ROI包括接收基於所述傳感器統計資料產生的所述視頻幀的皮膚圖； 接收所述視頻序列的不同視頻幀的運動信息和宏區塊；將所述視頻幀的第一宏區塊與所述不同視頻幀的對應於所述第一宏區塊的第二 宏區塊進行比較；以及當所述第二宏區塊與所述不同視頻幀內的ROI充分重疊且所述第一宏區塊與所述 視頻幀的所述皮膚圖充分重疊時，選擇所述第一宏區塊作為所述視頻幀內的所述 ROI的一部分。
11. 根據權利要求10所述的方法，其進一步包括當所述第二宏區塊不與所述不同視頻 幀內的ROI充分重疊或所述第一宏區塊不與所述視頻幀的所述皮膚圖充分重疊這兩 種情況中的至少一者發生時，放棄將所述第一宏區塊考慮作為所述視頻幀內的所述 ROI的一部分。
12. 根據權利要求10所述的方法，其中接收運動信息包括接收通過跟蹤所述視頻序列 的所述視頻幀與所述不同視頻幀之間的所述ROI的運動而獲得的運動向量。
13. 根據權利要求l所述的方法，其進一步包括處理包含所述自動檢測到的ROI的所述 視頻幀，其中處理所述視頻幀包括相對於所述視頻幀的非ROI區而擇優處理所述視 頻幀內的所述自動檢測到的ROI。
14. 根據權利要求l所述的方法，其進一步包括對包含所述自動檢測到的ROI的所述視 頻幀進行編碼，其中對所述視頻幀進行編碼包括相對於所述視頻幀的非ROI區而對 所述視頻幀內的所述自動檢測到的ROI進行擇優編碼。
15. —種計算機可讀媒體，其包括致使可編程處理器進行以下動作的指令從視頻傳感器接收視頻序列的視頻幀； 針對所述視頻傳感器產生傳感器統計資料；以及 基於所述傳感器統計資料自動檢測所述視頻幀內的關注區(ROI)。
16. 根據權利要求15所述的計算機可讀媒體，其中致使所述可編程處理器產生所述傳 感器統計資料的所述指令致使所述可編程處理器通過使所述視頻傳感器的膚色反 射譜與測試目標的反射譜相關來對所述視頻傳感器執行傳感器校準。
17. 根據權利要求15所述的計算機可讀媒體，其進一步包括致使所述可編程處理器基 於所述視頻幀和所述傳感器統計資料產生相機處理信息的指令，其中所述指令致使 所述可編程處理器估計所述視頻幀的施照體條件，並基於所述估計出的施照體條件 選擇施照體類型。
18. 根據權利要求17所述的計算機可讀媒體，其中所述指令致使所述可編程處理器針 對每種施照體類型產生傳感器統計資料，且選擇對應於所述施照體類型的所述傳感 器統計資料以用於自動檢測所述視頻幀內的所述ROI。
19. 根據權利要求15所述的計算機可讀媒體，其進一步包括致使所述可編程處理器基 於所述傳感器統計資料檢測所述視頻幀內的皮膚區域並基於所述檢測到的皮膚區 域產生所述視頻幀的皮膚圖的指令，其中所述指令致使所述可編程處理器檢測所述 視頻幀的所述皮膚圖內的所述ROI。
20. 根據權利要求19所述的計算機可讀媒體，其中致使所述可編程處理器自動檢測所 述視頻幀內的所述ROI的所述指令致使所述可編程處理器確定所述皮膚圖的質量；當所述皮膚圖的所述質量低於預定等級時，將所述皮膚圖發送到ROI檢測器以自 動檢測所述皮膚圖內的所述ROI;以及當所述皮膚圖的所述質量高於預定等級時，斷開所述ROI檢測器以直接從所述皮 膚圖產生所述視頻幀內的所述ROI。
21. 根據權利要求19所述的計算機可讀媒體，其中致使所述可編程處理器自動檢測所 述視頻幀內的所述ROI的所述指令致使所述可編程處理器確定所述視頻幀的計算複雜性；當所述視頻幀的所述計算複雜性高於預定等級時，將所述皮膚圖發送到ROI檢測 器以自動檢測所述皮膚圖內的所述ROI;以及當所述視頻幀的所述計算複雜性低於預定等級時，斷開所述ROI檢測器以直接從 所述皮膚圖產生所述視頻幀內的所述ROI。
22. 根據權利要求15所述的計算機可讀媒體，其中致使所述可編程處理器自動檢測所 述視頻幀內的所述ROI的所述指令致使所述可編程處理器接收基於所述傳感器統計資料產生的所述視頻幀的皮膚圖； 將所述皮膚圖分成不連貫的區域；從所述不連貫的區域中選擇包含所述視頻幀的最大面積的候選區域； 檢測並檢驗所述候選區域內的ROI特徵；從所述候選區域中選擇包含最大數目的ROI特徵或所述視頻幀的所述最大面積的 一個或一個以上ROI區域；對所述一個或一個以上ROI區域執行形態學運算，以填充所述視頻幀的所述皮膚 圖中的來自所述檢測到的ROI特徵的內部孔；從所述視頻幀的宏區塊中選擇至少部分地與所述視頻幀內的所述一個或一個以 上ROI區域重疊的ROI宏區塊；以及基於所述選定的ROI宏區塊產生所述視頻幀內的所述ROI。
23. 根據權利要求15所述的計算機可讀媒體，其中致使所述可編程處理器自動檢測所 述視頻幀內的所述ROI的所述指令致使所述可編程處理器接收基於所述傳感器統計資料產生的所述視頻幀的皮膚圖； 接收所述視頻序列的不同視頻幀的運動信息和宏區塊；將所述視頻幀的第一宏區塊與所述不同視頻幀的對應於所述第一宏區塊的第二 宏區塊進行比較；當所述第二宏區塊與所述不同視頻幀內的ROI充分重疊且所述第一宏區塊與所述 視頻幀的所述皮膚圖充分重疊時，選擇所述第一宏區塊作為所述視頻幀內的所述 ROI的一部分。
24. 根據權利要求23所述的計算機可讀媒體，其中所述指令致使所述可編程處理器在 所述第二宏區塊不與所述不同視頻幀內的ROI充分重疊或所述第一宏區塊不與所述 視頻幀的所述皮膚圖充分重疊這兩種情況中的至少一者發生時，放棄將所述第一宏區塊考慮作為所述視頻幀內的所述ROI的一部分。
25. 根據權利要求23所述的計算機可讀媒體，其中所述指令致使所述可編程處理器接 收通過跟蹤所述視頻序列的所述視頻幀與所述不同視頻幀之間的所述ROI的運動而 獲得的運動向量。
26. 根據權利要求15所述的計算機可讀媒體，其進一步包括致使所述可編程處理器處 理包含所述自動檢測到的ROI的所述視頻幀的指令，其中所述指令致使所述可編程 處理器相對於所述視頻幀的非ROI區而擇優處理所述視頻幀內的所述自動檢測到的 ROI。
27. 根據權利要求16所述的計算機可讀媒體，其進一步包括致使所述可編程處理器對 包含所述自動檢測到的ROI的所述視頻幀進行編碼的指令，其中所述指令致使所述 可編程處理器相對於所述視頻幀的非ROI區而對所述視頻幀內的所述自動檢測到的 ROI進行擇優編碼。
28. —種視頻處理系統，其包括相機處理模塊，其從視頻傳感器接收視頻序列的視頻幀； 傳感器校準模塊，其針對所述視頻傳感器產生傳感器統計資料；以及 關注區(ROI)檢測器，其基於所述傳感器統計資料自動檢測所述視頻幀內的ROI。
29. 根據權利要求28所述的系統，其中所述傳感器校準模塊通過使所述視頻傳感器的 膚色反射譜與測試目標的反射譜相關來對所述視頻傳感器執行傳感器校準，以產生 所述傳感器統計資料。
30. 根據權利要求28所述的系統，其中所述相機處理模塊基於所述視頻幀和所述傳感 器統計資料產生相機處理信息，且其中所述相機處理模塊估計所述視頻幀的施照體 條件，並基於所述估計出的施照體條件而選擇施照體類型以產生所述相機處理信 息。
31. 根據權利要求30所述的系統，其中所述傳感器校準模塊針對每種施照體類型產生 傳感器統計資料，且所述相機處理模塊選擇對應於所述施照體類型的所述傳感器統 計資料，以供所述ROI檢測器自動檢測所述視頻幀內的所述ROI。
32. 根據權利要求30所述的系統，其中所述相機處理模塊選擇日光施照體類型、鎢絲 燈施照體類型或螢光燈施照體類型中的一者。
33. 根據權利要求28所述的系統，其進一步包括皮膚區域檢測器，所述皮膚區域檢測 器基於所述傳感器統計資料檢測所述視頻幀內的皮膚區域，並基於所述檢測到的皮膚區域產生所述視頻幀的皮膚圖，其中所述ROI檢測器檢測所述視頻幀的所述皮膚 圖內的所述ROI。
34. 根據權利要求33所述的系統，其進一步包括ROI檢測控制器，所述ROI檢測控制 器確定所述皮膚圖的質量；當所述皮膚圖的所述質量低於預定等級時，將所述皮膚圖發送到所述ROI檢測器 以自動檢測所述皮膚圖內的所述ROI;以及當所述皮膚圖的所述質量高於預定等級時，斷開所述ROI檢測器以直接從所述皮 膚圖產生所述視頻幀內的所述ROI。
35. 根據權利要求33所述的系統，其進一步包括ROI檢測控制器，所述ROI檢測控制器確定所述視頻幀的計算複雜性；當所述視頻幀的所述計算複雜性高於預定等級時，將所述皮膚圖發送到所述ROI 檢測器以自動檢測所述皮膚圖內的所述ROI;以及當所述視頻幀的所述計算複雜性低於預定等級時，斷開所述ROI檢測器以直接從 所述皮膚圖產生所述視頻幀內的所述ROI。
36. 根據權利要求28所述的系統，其中所述ROI檢測器包含區域標記模塊，其接收基於所述傳感器統計資料產生的所述視頻幀的皮膚圖，且 將所述皮膚圖分成不連貫的區域；區域選擇模塊，其從所述不連貫的區域中選擇包含所述視頻幀的最大面積的候選 區域；特徵檢測和檢驗模塊，其檢測並檢驗所述候選區域內的ROI特徵； ROI區域選擇模塊，其從所述候選區域中選擇包含最大數目的ROI特徵或所述視 頻幀的所述最大面積的一個或一個以上ROI區域；形態學運算模塊，其對所述一個或一個以上ROI區域執行形態學運算，以關閉所 述視頻幀的所述皮膚圖中的來自所述檢測到的ROI特徵的內部孔；以及ROI宏區塊選擇模塊，其從所述視頻幀的宏區塊中選擇至少部分地與所述視頻幀 內的所述一個或一個以上ROI區域重疊的ROI宏區塊，其中所述ROI檢測器基於所述選定的ROI宏區塊產生所述視頻幀內的所述ROI。
37. 根據權利要求28所述的系統，其中所述ROI檢測器接收基於所述傳感器統計資料產生的所述視頻幀的皮膚圖； 接收所述視頻序列的不同視頻幀的運動信息和宏區塊；將所述視頻幀的第一宏區塊與所述不同視頻幀的對應於所述第一宏區塊的第二 宏區塊進行比較；當所述第二宏區塊與所述不同視頻幀內的ROI充分重疊且所述第一宏區塊與所述 視頻幀的所述皮膚圖充分重疊時，選擇所述第一宏區塊作為所述視頻幀內的所述 ROI的一部分。
38. 根據權利要求37所述的系統，其中所述ROI檢測器在所述第二宏區塊不與所述不 同視頻幀內的ROI充分重疊或所述第一宏區塊不與所述視頻幀的所述皮膚圖充分重 疊這兩種情況中的至少一者發生時，放棄將所述第一宏區塊考慮作為所述視頻幀內 的所述ROI的一部分。
39. 根據權利要求37所述的系統，其進一步包括ROI視頻處理模塊，所述ROI視頻處 理模塊跟蹤所述視頻序列的所述視頻幀與所述不同視頻幀之間的所述ROI的運動以 產生運動向量。
40. 根據權利要求28所述的系統，其進一步包括ROI視頻處理模塊，所述ROI視頻處 理模塊處理包含所述自動檢測到的ROI的所述視頻幀，其中所述ROI視頻處理模塊 相對於所述視頻幀的非ROI區而擇優處理所述視頻幀內的所述自動檢測到的ROI。
41. 根據權利要求28所述的系統，其進一步包括ROI視頻編碼模塊，所述ROI視頻編 碼模塊對包含所述自動檢測到的ROI的所述視頻幀進行編碼，其中所述ROI視頻編 碼模塊相對於所述視頻幀的非ROI區而對所述視頻幀內的所述自動檢測到的ROI 進行擇優編碼。
全文摘要
本發明針對基於視頻序列的視頻幀內的低複雜性自動關注區(ROI)檢測的ROI視頻處理的技術。所述低複雜性自動ROI檢測可基於視頻通信裝置內的視頻傳感器的特性。在其它情況下，所述低複雜性自動ROI檢測可基於所述視頻序列的一視頻幀和一不同視頻幀的運動信息。所述揭示的技術包含視頻處理技術，其能夠基於特定視頻傳感器的特性而調諧並增強視頻通信裝置內的視頻傳感器校準、相機處理、ROI檢測和ROI視頻處理。所述揭示的技術還包含基於傳感器的ROI檢測技術，其使用視頻傳感器統計資料和相機處理側信息來改進ROI檢測準確性。所述揭示的技術還包含基於運動的ROI檢測技術，其使用視頻處理中運動估計期間獲得的運動信息。
文檔編號H04N1/62GK101317185SQ200680044574
公開日2008年12月3日 申請日期2006年10月5日 優先權日2005年10月5日
發明者全舒學, 哈立德·希勒米·厄勒-馬列, 江曉雲, 王浩宏, 錢川·安德魯·秋 申請人:高通股份有限公司