行動網路攝像機的光學模塊的系統，方法及網絡攝像機的製作方法
2023-06-04 08:09:41
專利名稱：行動網路攝像機的光學模塊的系統，方法及網絡攝像機的製作方法
技術領域：
本發明一般涉及網絡攝像機的平搖、俯仰和推拉，且更特定而言，涉及通過軟體或固件控制的視頻網絡攝像機的機械平搖、俯仰和推拉。
背景技術：
在過去的幾年中，人們之間的電子接觸已急劇增加。各種模式的通信均被用於彼此之間的電子通信，如視頻會議、電子信函、文本消息等。尤其是允許人們彼此通過網際網路而實時通信(「IM聊天」)的即時消息(IM)已變得日益普及。最近，視頻數據也與實時IM聊天一起傳輸。
存在可用於所述電子視頻通信的多種攝像機。除視頻數據和音頻數據外，一些所述攝像機具有俘獲靜止圖像數據的能力。為了視頻實時聊天的目的，通常將這些攝像機連接到一用戶的計算機，並將所述攝像機所俘獲的視頻和/或音頻數據傳輸到所述計算機。如上所提及，可存在多種其他應用，其中傳輸靜止圖像、視頻和/或音頻數據，如用於製作電影、視頻監視、網際網路監視、網際網路網絡攝像機等目的的現場視頻流(video streaming)、視頻俘獲。
在這些應用中，看見另一用戶的臉部通常極為重要。例如，在兩個用戶使用視頻IM通信的情況下，通常希望建立與另一用戶實際聊天的印象。因此，看見彼此的臉部大大增強了這個體驗。然而，人們會自然地將臉部左右或上下等移動且因此完全或部分從攝像機的視野中消失。因此，在這些應用中追蹤所述用戶臉部通常是很重要的。
然而，用於即時消息接發的大多數常規攝像機(通常為網絡攝像機)不能自動移動來追蹤用戶的臉部。用戶須用手特定移動攝像機以再進入視野，或須有意識地將他或她的臉部移回到攝像機的視野中。在一些情況下，已實施了光學臉部追蹤。一種此類實施光學臉部追蹤的攝像機為Logitech公司(加利福尼亞弗裡蒙特)的QuickCam Pro 4000。作為光學追蹤如何工作的一個實例，假設用戶的臉部移到攝像機視野的右上角。與所述攝像機相關聯的軟體可識別用戶臉部的此移動，變焦推進(zoom in)至所述臉部，採集臉部周圍的圖像數據，並接著調整將要傳輸的圖像的大小。
光學臉部追蹤具有數個局限性。首先，此種光學處理圖像數據的質量顯著下降。其次，通過此種光學處理，所述攝像機的視野並未改變。因此，假如用戶移動得足以離開攝像機的當前視野，那麼光學臉部追蹤就不能為此做出補救。專利6,297,846使用一廣角鏡頭，且從所述廣角圖像中跟隨人們並在所述廣角圖像內選擇一窗口。
標題為「Method for automatically adjusting a video conferencing systemcamera」的美國專利第5,598,209號中提出了另一解決方案。該專利的論述內容提供調節攝像機的平搖、俯仰、變焦推拉和聚焦的其他方法。然而，所揭示的方法需要來自用戶的關於攝像機的視野應集中在某個目標或某個特定位置周圍的特定輸入。基於追蹤所述用戶的臉部，所述平搖、俯仰等並非是自動的。
一些專利描述了數種靜止畫面分框系統且其他專利使用測距系統(ranging system)以通過變焦推拉來調節距離。美國專利第6,606,458號和第5,864,363號描述了用於攝像機肖像(portrait)的人臉部的自動對準，但並未提供視頻的連續追蹤。專利第5,389,967號展示藉助一種攝錄像機但使用一紅外信號來追蹤目標。專利第4,348,097號展示了一個安裝在一軌道上的攝像機，其中一個測距儀用於控制攝像機的移動以保持與一個目標的所需距離。
專利第6,680,745號教示用於視頻會議的多個攝像機，其中一個廣角攝像機檢測人的移動並隨後引導其他攝像機變焦推拉、平搖和俯仰。美國公開申請案第20020113862號中展示了一種一個攝像機控制其他攝像機的類似系統，其展示了一個連接到USB的控制其他攝像機跟隨臉部的廣角攝像機。某些系統使用聲音(人的談話)來定位一個已移出攝像機範圍的人。通常，使用一個特定的視頻會議接線板，以第一電纜提供視頻輸入，而其他電纜給攝像機提供輸出控制。
發明內容
本發明是一種用於自動機械平搖、俯仰和/或推拉一網絡攝像機以追蹤一個用戶臉部的系統和方法。在一個實施例中，所述移動由在一所述網絡攝像機向其發送視頻數據的主機中的核心軟體所控制。以此方式，在所述主機核心中的驅動器操縱臉部追蹤，對取所述視頻的應用程式透明。在一個替代實施例中，所述移動由在網絡攝像機自身中的固件所控制。所述視頻和控制信號通過相同的標準電纜(如USB總線)而發送。
在一個實施例中，將視頻提供給一即時消息應用。通過所述即時消息應用，使用標準總線(例如，USB)和將臉部追蹤卸載到所述網絡攝像機和驅動器允許較容易的使用。
在一個實施例中，一機器視覺算法將用戶的臉部定位在網絡攝像機當前視野中。基於臉部的正定位(positive localization)及其臉部特徵移動所述網絡攝像機。在本發明的一個實施例中，使用一算法來比較所述用戶臉部的位置與所述網絡攝像機的當前視野。如果確定用戶的臉部距視野邊緣(基於一個指定的臨界)太近，則適當移動所述網絡攝像機的鏡頭。根據本發明的一個實施例的視頻網絡攝像機配備有將網絡攝像機的鏡頭上或下(俯仰)或左右(平搖)移動的機械制動器。在另一個實施例中也存在機械制動器以將所述網絡攝像機鏡頭往裡或往外移動(推拉)。在一個實施例中，在所述網絡攝像機自身中進行追蹤臉部的處理，從而無需一主機系統來進行此處理。
所述概述和以下詳細描述中所描述的特徵和優點並未盡述(all-inclusive)，且特定地說，根據本文中的圖式、說明書和權利要求書很多其他特徵和優點對於所述領域的技術人員來說將是顯而易見的。而且，應注意說明書中所使用的語言主要是出於可讀性和指導的目的而選擇的，而並非為描繪或限定所述發明性主題、採用確定所述發明性主題所必需的權利要求書而選擇的。
本發明具有其他優點和特徵，且其結合附圖從本發明的以下詳細描述和上述權利要求書來看將變得更加顯而易見，其中圖1是一個用於視頻通信的系統100的實施例的方塊圖。
圖2A、2B和2C說明一用戶頭部的移動和為所述運動的網絡攝像機的移動。
圖3是一個根據本發明的一個實施例的系統的方塊圖。
圖4是一個說明根據本發明的一個實施例的系統運行的流程圖。
圖5是一個根據本發明的一個實施例的機器視覺模塊的方塊圖。
圖6是一個說明根據本發明的一個實施例的移動控制模塊運行的流程圖。
圖7是一個說明網絡攝像機、主機核心層(驅動器)和應用程式之間的關係的方塊圖。
具體實施例方式
所述圖(或圖式)僅為說明的目的而描繪了本發明的一個優選實施例。應注意圖中類似或相同的參考數字可以指示類似或相同的功能。所屬領域的技術人員從以下論述將不難認識到在不背離本文中的本發明原則的情況下，可以採用本文中所揭示的結構和方法的替代實施例。
圖1是一個用於視頻通信的系統100的實施例的方塊圖。系統100包含計算機系統110a和110b、網絡攝像機120a和120b和網絡130。一使用計算機110a和網絡攝像機120a的用戶可以通過網絡130與一使用計算機110b和網絡攝像機120b的用屍通信。
計算機110a或110b可為任何能夠與網絡攝像機120a或120b和/或網絡130通信的主機。因此，計算機110或110b可為一個人計算機(桌上型或膝上型)、一手持式計算機或管理器(如，個人數字助理(PDA))、一蜂窩電話、一能夠與網絡攝像機和/或網絡接合的嵌入式自動方案(embedded automotivesolution)等。在一個實施例中，計算機110a和110b為常規計算機系統的一部分，其每個均可包括一存儲裝置、一網絡服務連接和諸如以下的常規輸入/輸出裝置可耦接到一個計算機系統的顯示器、滑鼠、印表機和/或鍵盤。所述計算機110a或110b也包括一常規的作業系統(MS Windows、Mac OSX作業系統等)、輸入/輸出裝置和網絡服務軟體。另外，在一個實施例中，所述計算機110a或110b包括IM軟體，如ICQ公司的ICQ、美國在線公司(AmericaOnline，Inc.)(維吉尼亞杜勒斯)的America OnLine Instant Messenger(AIM)、Microsoft公司(華盛頓雷蒙德)的MSNMessenger和Yahoo！公司(加利福亞桑尼維爾)的Yahoo！Instant Messenger。
網絡服務連接包括那些允許連接常規網絡服務的硬體和軟體組件。例如所述網絡服務連接可包括與一電信線路(例如，撥號、數字用戶線(「DSL」)、T1或T3通信線路)的連接。所述主機、存儲裝置和網絡服務連接可從(例如)IBM公司(紐約州阿爾蒙克)、Sun Microsystems公司(加利福尼亞帕洛阿爾託)或Hewlett-Packard公司(加利福尼亞帕洛阿爾託)購得。
將網絡攝像機120a和120b分別連接到計算機110a和110b。網絡攝像機120a和120b可為任何可連接到計算機110a和110b的攝像機。在一個實施例中，網絡攝像機120a和/或120b為Logitech公司(加利福尼亞弗裡蒙特)的QuickCam攝像機。
網絡130可為如廣域網(WAN)或區域網(LAN)的任何網絡或任何其他網絡。WAN可包括網際網路、網際網路2等。LAN可包括企業內部網際網路，其可為一基於(例如)屬於一個僅可為所述機構成員、僱員或經許可的其他人所存取的機構的TCP/IP的網絡。LAN也可為一個諸如(例如)Novell公司(猶他普羅沃)的NetwareTM或Microsoft公司(華盛頓雷蒙德)的WindowsNT的網絡。網絡120也可以包括市售的訂閱式服務，諸如(例如)AmericaOnline公司(維吉尼亞杜勒斯)的OL或Microsoft公司(華盛頓雷蒙德)的MSN。
圖2A、2B和2C提供本發明的一個實施例運行的一個實例。圖2A、2B和2C說明所述網絡攝像機120a的視野(圖2A和2B中的200、圖2C中的202)、用戶/說話者210的頭部和由兩條垂直線所表示的固定的背景特徵220。
在圖2A中，說話者的頭部210在網絡攝像機120a的視野200的中央。從圖2A可見，這時所述固定的背景特徵220位於說話者頭部的後面，且因此也在網絡攝像機120a的視野200的中央。
假設說話者接著向左移動。圖2B說明說話者的頭部210移到網絡攝像機120a的視野200的左方。所述固定的背景特徵220仍在網絡攝像機120a的視野200的中央。
圖2C說明一個根據本發明的一個實施例的系統將怎樣適應所述說話者的移動。在一個實施例中，所述系統檢測到說話者的頭部210距攝像機的當前視野200的邊緣很近。接著，所述攝像機的鏡頭移動並改變其視野，使得說話者的頭部200位於其新的視野202的中央。可見固定的背景特徵220不再位於新的視野202的中央。
應注意，由於所述網絡攝像機120a可改變其視野以適應說話者的移動，因此網絡攝像機120a的有效視野明顯大於常規攝像機的有效視野。在以上的實例中也應該注意所述說話者從右向左移動。在一個實施例中，即使說話者以其它方向(如從左到右、從上到下、從下到上或其組合)移動，所述鏡頭也可通過移動以進行相同的適應。在一個實施例中，所述視野自動調節(即，當說話者移近攝像機或更加遠離攝像機時其分別拉遠和拉近)，以保持說話者頭部相對於攝像機視野的相同尺寸。在一個實施例中，可通過在網絡攝像機上推拉鏡頭來達到視野的自動調節。在另一個實施例中，可使用電子推拉(在網絡攝像機自身上或在主機上)來達到視野的自動調節。
圖3是一個根據本發明的一個實施例的系統的方塊圖。系統300包含網絡攝像機120a和計算機110a。
網絡攝像機120a包含一光學模塊310和一機械模塊320。在一個實施例中，光學模塊310包含鏡頭、傳感器和允許視頻處理和壓縮的固件。所述機械模塊320包括用於移動鏡頭的機構(mechanics)。在一個實施例中，將制動器用於移動鏡頭。在一個實施例中，所述制動器通過將制動器的旋轉轉化為網絡攝像機的運動的齒輪箱致使機械透鏡以任何方向移位。在一個實施例中，使用兩個制動器和兩個齒輪箱，且每個制動器控制一個齒輪箱。一旦作出要機械移動所述鏡頭的決定，就命令所述網絡攝像機的固件(嵌入所述網絡攝像機自身中的軟體)來執行這一決定。所述固件將信號發送到制動器，制動器又反過來移動齒輪箱，而齒輪箱又反過來行動網路攝像機和/或其鏡頭。
計算機110a上的軟體包括一驅動模塊330和一應用模塊340。所述驅動模塊330包括一機器視覺模塊332和一移動控制模塊334。所述機械視覺模塊332在網絡攝像機120a的視野內追蹤說話者臉部的位置，且以下參看圖5將進一步描述所述機器視覺模塊。移動控制模塊334根據從機器視覺模塊332的輸出判定是否移動攝像機和移動多少。以下參看圖6進一步描述所述移動控制模塊334。當使用網絡攝像機120a時，應用模塊340為與用戶相互作用的應用程式。
圖4是一個說明系統300的運行的流程圖。計算機110a接收從網絡攝像機120a發出的視頻數據(步驟410)。接著，處理視頻數據以估計圖框中用戶的臉部的位置(步驟420)。以下將參看圖5而描述的機器視覺模塊332執行這個處理。
圖5是一個根據本發明的一個實施例的機器視覺模塊332的方塊圖。
所述機器視覺模塊332包括一臉部檢測器510、一肌膚取樣器(fleshsampler)515、一肌膚追蹤器(flesh tracker)520和一運動檢測器530。臉部檢測器510、肌膚追蹤器520和運動檢測器530每個均使用不同的參數來確定用戶的臉部可能定位在攝像機所俘獲的圖框內的何處。這些模塊的輸出彼此影響，且其一起判斷用戶的臉部位於攝像機視野內的何處。
臉部檢測器510根據預期為所有人類臉部所共有的某些參數來檢測臉部的存在。這些參數可包括(例如)存在兩個眼睛、一個鼻子和一個嘴巴，它們之間具有一定的間距比。
接著，將所述臉部檢測器510的輸出提供給所述肌膚取樣器515。肌膚取樣器從臉部檢測器所確定的「臉部」來選擇一特定的光滑區域。例如，這個區域可為一個選自用戶前額的區域。接著，將此區域用作所述用戶肌膚的一個樣品。使用用戶臉部的樣品排除了不同用戶的膚色的不同，和由於用戶所處環境中的燈光而導致的膚色的不同。將肌膚取樣器515的輸出提供給肌膚追蹤器520。接著，肌膚追蹤器520使用肌膚取樣器515的樣品，並通過追蹤用戶肌膚(當其移動時)來追蹤用戶的臉部。
運動檢測器530檢測運動。當用戶移動他的/她的頭部時，運動檢測器530能夠辨別該運動。運動檢測器530也從臉部檢測器510和肌膚追蹤器520接收信息。因此，這三個模塊結合工作以辨別具有人類臉部參數、具有膚色和正在移動的事物。因此，機器視覺模塊332可相對於攝像機的視野在圖框中看到用戶的臉部。在一個實施例中，機器視覺模塊的輸出是一個其中含有用戶的臉部的矩形。
再參看圖4，接著做出關於是否應和在哪個方向上行動網路攝像機鏡頭的決定(步驟430)。在一個實施例中，通過行動網路攝像機自身而上下、左右等行動網路攝像機。在另一個實施例中，在不行動網路攝像機機架的情況下行動網路攝像機鏡頭。在一個實施例中，行動網路攝像機鏡頭(步驟430)的決定包括計算所述鏡頭應移動的量。在另一個實施例中，以指定方向將所述鏡頭移動一預定的量。在一個實施例中，通過確定用戶的臉部是否位於圖框中一臨界外來做出決定(步驟430)。圖6詳細地說明了這一點。
圖6是一個方塊圖，其說明根據本發明的一個實施例如何做出關於是否行動網路攝像機的鏡頭、移動多少和以哪個方向移動的決定。
矩形610表示網絡攝像機120a的當前視野。矩形630a、b和c表示用戶的臉部的位置。在一個實施例中，通過機器視覺模塊332提供矩形630a、b和c。矩形620表示一個相對於所述網絡攝像機120a當前視野610的預定臨界。與用戶的臉部(即，630a、b或c)到臨界620的位置相關的算法確定是否移動鏡頭、移動多少和以哪個方向移動。例如，在一個實施例中，所述算法為當表示用戶的臉部630a、b或c的矩形的中心位於臨界矩形620內時，無需移動鏡頭。當表示用戶的臉部630a、b或c的矩形的中心位於臨界矩形620外時，移動鏡頭直到用戶的臉部630a、b或c再次位於臨界矩形的內部。
從圖6可見，使用這種算法，當用戶的頭部位於位置630a和630b時無需鏡頭運動。然而，當用戶的臉部位於位置630c時，需將鏡頭向下和向右移動。
再參看圖4可見，如果判定不應移動攝像機(步驟430)，那麼系統繼續接收視頻數據(步驟410)並進行處理(步驟420)。如果判定需要行動網路攝像機來追蹤臉部，那麼以指定的方向以經計算或預定的量來行動網路攝像機的鏡頭。所述系統繼續接收視頻數據(步驟410)並進行處理(步驟420)。
應注意，在一個替代實施例中，機器視覺模塊332和其它相關模塊被嵌入網絡攝像機120a自身，而不是位於計算機110a上。在一個實施例中，攝像機的機械平搖、俯仰和/或推拉由網絡攝像機固件所控制。在一個實施例中，所述機器視覺模塊332和/或移動控制模塊334可全部或部分包括於攝像機自身中。
圖7說明網絡攝像機、主機核心層(驅動器)和應用程式之間的關係。網絡攝像機700包括一個視頻傳感器702和用於將所述視頻傳感器的平搖、俯仰和推拉控制機械化的制動器704。USB接口將視頻信號712提供給主機，並從主機接收制動器控制命令714以控制所述制動器。這允許將一標準總線用於控制網絡攝像機。
在所述主機中，核心層710包括一個具有一臉部追蹤系統716的驅動器。這監視視頻712，並提供對應用程式720透明的制動器控制信號。也將視頻信號712提供到所述應用程式720。實線表示具有臉部追蹤的視頻路徑，虛線表示無臉部追蹤的視頻路徑。在所展示的實例中，所述應用程式是一個即時消息程序。所述即時消息程序具有一個消息窗口722和一個用於顯示視頻712的視頻俘獲窗口724。按鈕圖標可顯示於消息窗口中以激活臉部追蹤特徵。
儘管已說明和描述了本發明的特定實施例和應用，但應了解本發明不限於本文中所描述的精確構造和組件。例如，如上所提及，本發明可用於從一個網絡攝像機搜集(pull from)視頻的其它應用，而不僅僅是即時消息。在不背離上述權利要求書所界定的本發明的精神和範圍的情況下，可對本文中所揭示的本發明的方法和設備的配置、操作和細節進行各種其它修改、改變和變化，其對所屬領域的技術人員來說是顯而易見的。
權利要求
1.一種用於通過追蹤一用戶的臉部而機械移動一網絡攝像機中的一光學模塊的系統，所述系統包含一用於俘獲圖像數據的光學模塊；一耦接到所述光學模塊的機器視覺模塊，其用於根據所述俘獲的圖像數據辨別所述用戶臉部的位置；一耦接到所述機器視覺模塊的移動控制模塊，其用於判定是否移動所述光學模塊；和一耦接到所述移動控制模塊的機械模塊，其用於根據所述移動控制模塊的決定來移動所述光學模塊。
2.根據權利要求1所述的系統，其中所述機械模塊位於所述網絡攝像機內。
3.根據權利要求1所述的系統，其中所述機器視覺模塊和所述移動控制模塊位於所述網絡攝像機內。
4.根據權利要求1所述的系統，其中所述機器視覺模塊和所述移動控制模塊位於以通信方式耦接到所述網絡攝像機的一計算機中的驅動器內。
5.根據權利要求1所述的系統，其中來自所述網絡攝像機的所述圖像數據被提供給一即時消息接發應用。
6.根據權利要求1所述的系統，其中所述機器視覺模塊包含一臉部檢測器，其用於根據預先規定的參數來檢測一用戶臉部；一肌膚追蹤器，其用於根據膚色來追蹤一用戶肌膚的移動；和一運動檢測器，其耦接到所述臉部檢測器和所述肌膚追蹤器以用於檢測一用戶臉部的運動。
7.根據權利要求6所述的系統，其中所述機器視覺模塊進一步包含一耦接到所述臉部檢測器的肌膚取樣器，其用於提取所述用戶肌膚的樣品，並用於將此樣品提供給所述肌膚追蹤器。
8.根據權利要求1所述的系統，其中所述網絡攝像機通過一標準總線連接到一計算機，而發送到所述計算機的視頻數據及自所述計算機發送到所述網絡攝像機的控制信號均通過所述總線發送。
9.根據權利要求1所述的系統，其中所述網絡攝像機根據臉部特徵的正定位而移動。
10.一種用於根據一用戶臉部的移動而機械移動一俘獲圖像數據的網絡攝像機的方法，所述方法包含處理所述圖像數據以估計所述用戶臉部的位置；確定是否移動所述網絡攝像機；和響應移動所述網絡攝像機的決定，移動所述網絡攝像機。
11.根據權利要求10所述的系統，其中確定是否移動所述網絡攝像機的步驟包含比較所述用戶臉部的位置與所述網絡攝像機的當前視野；響應所述用戶臉部的位置與所述網絡攝像機的當前視野的任何邊緣之間的差異大於一個規定閾限，決定不移動所述網絡攝像機；和響應所述用戶臉部的位置與所述網絡攝像機的當前視野的任何邊緣之間的差異小於一個規定閾限，決定移動所述網絡攝像機。
12.一種通過追蹤一用戶臉部而機械移動的網絡攝像機，所述網絡攝像機包含一用於俘獲視頻數據的光學模塊；一耦接到所述光學模塊的機器視覺模塊，其用於根據所述俘獲的視頻數據辨別所述用戶臉部的位置；一耦接到所述機器視覺模塊的移動控制模塊，其用於判定是否移動所述光學模塊；和一耦接到所述移動控制模塊的機械模塊，其用於根據所述移動控制模塊的決定來移動所述光學模塊。
13.一種用於通過追蹤一用戶臉部而機械移動一網絡攝像機中的一光學模塊的系統，所述系統包含一網絡攝像機，其包含一用於俘獲視頻數據的光學模塊；和一耦接到所述光學模塊以用於移動所述光學模塊的機械模塊；一連接到所述網絡攝像機的標準總線；和一耦接到所述標準總線的計算機，所述具有一驅動模塊的計算機包含一耦接到所述光學模塊的機器視覺模塊，其用於根據所述俘獲的視頻數據辨別所述用戶臉部的位置；一耦接到所述機器視覺模塊的移動控制模塊，其用於判定是否移動所述光學模塊，並將所述決定提供給所述機械模塊。
全文摘要
本發明揭示一種用於機械平搖、俯仰和/或變焦推拉一網絡攝像機以追蹤一用戶臉部的系統和方法。在一個實施例中，所述移動由一所述網絡攝像機向其發送視頻數據的主機中的核心軟體控制。這樣，所述主機核心中的驅動器操縱所述臉部追蹤，對存取所述視頻的應用程式透明。在一個替代實施例中，所述移動由所述網絡攝像機自身中的固件所控制。所述視頻和控制信號通過相同標準電纜(如，USB總線)發送。在一個實施例中，將視頻提供給一即時消息接發應用。通過所述即時消息接發應用，使用標準總線(例如，USB)和將臉部追蹤卸載到所述網絡攝像機和驅動器允許較容易的使用。
文檔編號H04N5/225GK1756306SQ200510073419
公開日2006年4月5日 申請日期2005年5月24日 優先權日2004年10月1日
發明者保羅·麥卡爾平, 奧利維爾·萊赫內恩內, 文卡泰什·圖馬提·克裡希南, 派屈克·米奧託恩, 雷米·齊默爾曼, 張玉林 申請人:羅技歐洲公司