自動跟蹤對象的技術的製作方法

2023-05-23 11:17:11 1

專利名稱：自動跟蹤對象的技術的製作方法
技術領域：
本發明涉及一種跟蹤其圖像被攝像機等捕獲的對象的技術。
背景技術：
電視節目(諸如新聞節目)的實況製作經常要求一個或多個電視攝像機拍攝不同 的播報員(「on-air」talent)(諸如新聞主播、天氣報導員和/或體育報導員)的圖像。過 去，攝像機操作員手動地操作每臺電視攝像機。這樣的手動操作經常使得必須將攝像機移 動到電視演播廳內的不同位置，從而確保特定的播報員出現在攝像機視場的中央。在廣播 期間，播報員經常將作出輕微的橫向運動，迫使攝像機操作員將攝像機的位置移動對應量 以便保持播報員處於攝像機視場的中央。攝像機操作員將通常在攝像機取景器中觀察播報 員的圖像，從而操作員將立即得知播報員的運動並相應地移動攝像機。技術進步已經導致機器人電視攝像機的發展，諸如可從Jacksonville，Florida 的Thomson Grass Valley得到的「Cameraman」。這樣的機器人攝像機在一個或多個計算 機的控制下操作，所述一個或多個計算機管理諸如沿著χ、y和ζ軸的攝像機位移、搖攝、傾 斜、變焦距和聚焦之類的功能。通過適當地將(多個)計算機編程，攝像機將自動地操作， 由此排除對手動控制的需要。典型的機器人電視攝像機具有從已知原位置向一個或多個預 設位置移動的能力，每個預設位置使得能夠進行播報員的一個特定攝像機攝像(shot)。通 常，預設攝像機位置保持靜止。換句話說，如果播報員向右或向左即使輕微地移動而機器人 攝像機保持靜止，則播報員將出現偏離攝像機視場內的中央。為了克服該困難，機器人攝像機可以包括自動跟蹤技術，諸如在頒布給Jeffrey Parker等的美國專利5，668，629中描述的這種跟蹤系統。在5，668，629專利中描述的自動 跟蹤系統採用由運動物體(例如播報員)攜帶的紅外(IR)發送機來向由機器人攝像機攜 帶的IR接收機發送信號。通過檢測在發送機隨著對象移動時由發送機發送的信號的偏差， IR接收機可以建立運動對象的新位置並且將該信息提供給控制機器人攝像機的(多個)計 算機以便相應地移動攝像機的位置。在5，668，629中描述的IR跟蹤技術對於跟蹤單個運動對象工作良好。然而，多個 對象的跟蹤可能出現問題，諸如在單個機器人攝像機用來捕獲幾個不同的播報員的圖像的 情況下，如在攝像機移動以便在一個瞬間捕獲新聞主播的圖像而在不同瞬間捕獲天氣報導 員的圖像時出現的。每個不同的播報員將需要攜帶分離的IR發送機以便避免幹擾，因此使 得對在攝像機上具有多個IR接收機的需要成為必要。該IR系統還具有以下缺點主播人 員必須佩戴應當位於頭部中央以便具有頭部位置的精確估計的嵌入系統。因此，存在對於克服現有技術的前述缺點的跟蹤技術的需要。

發明內容
簡要地，根據優選實施例，提供了一種跟蹤受機器人控制的攝像機的視場內的對 象的方法。該方法通過首先確定位於攝像機視場內的對象是否匹配參考對象而開始。如果 匹配，則在所指定的對象已經偏離攝像機視場中的預設定位而移動了多於閾值距離的情況 下開始跟蹤對象以便保持對象與所述預設定位呈固定關係。以此方式，根據攝像機視場進 行跟蹤，並且跟蹤不取決於被跟蹤對象所佩戴的任何裝置。


圖1示出了用於實踐本原理的自動跟蹤技術的示例系統的示意框圖；圖2示出了圖形用戶界面(⑶I)，操作員可以通過該圖形用戶界面(⑶I)控制圖1 的系統；圖3示出了圖2的GUI的放大部分，其示出了操作員可以操縱攝像機偏移的方式； 以及圖4以流程圖形式示出了由圖1的裝置實踐的、用於執行本原理的自動跟蹤技術 的方法的步驟。
具體實施例方式圖1示出了依據本原理的、用於自動跟蹤諸如播報員之類的對象12的示例系統10 的示意框圖。播報員12可以是與電視新聞節目的製作相關的新聞廣播員、體育報導員或天 氣預報員，或者與其他類型的電視節目相關的播報員(例如遊戲節目主持人)。系統10包括機器人攝像機組件14，諸如可從Jacksonville，Florida的Thomson Grass Valley得到的「Cameraman」機器人攝像機組件。機器人攝像機組件14典型地包括 攜帶變焦距鏡頭18的電視攝像機16，該變焦距鏡頭的諸如光圈和變焦距之類的功能響應 於由諸如但不限於個人計算機等的處理裝置20供應的信號。因而，鏡頭18具有可變焦距 功能。處理裝置20還控制機器人攝像機基座22，其具有響應於來自處理裝置的信號將攝像 機16的位置沿著χ軸和y軸移動、以及搖攝和傾斜攝像機的能力。處理裝置20操作以依 據來自攝像機16的視頻信號控制機器人攝像機基座22的運動、以及鏡頭18的功能。儘管 機器人攝像機系統14示出了單個攝像機16，但是該系統可以包括由單個處理裝置或獨立 的各處理裝置控制的多個攝像機。圖2示出了圖像用戶界面(⑶I) 200的顯示，操作員經由該圖像用戶界面(⑶1)200 輸入數據至由處理裝置20執行的程序、以及從由處理裝置20執行的程序接收信息，以便以 下文中描述的方式實施對象(例如圖1的播報員12)的自動跟蹤。圖2的GUI 200包括顯 示所選擇的電視攝像機(諸如圖1的攝像機16)的圖像的視頻屏幕202。在視頻屏幕202 中顯示的圖像包括水平線204a和垂直線204b，其交叉點206表示與本原理的跟蹤技術相關 聯的偏移。該偏移由對象(例如圖1的播報員12)的中心與線204a和204b的交叉點206 之間的位置差構成。操作員可以通過觸摸和拖動線204a和204b來操縱所述線的定位，從 而操縱該偏移。視頻屏幕202還以邊界208的形式顯示「安全區框」，該邊界208限定自動 跟蹤在其中出現的區域。對於出現在邊界208外部的任何對象不出現跟蹤。因此，如果圖1的播報員12出現在邊界208的外部，則攝像機16將不響應播報員的運動。除了視頻屏幕202之外，⑶I 200還包括多個「雙態按鈕」 210-224，每個採取⑶I 內的特定區域的形式，當被激活時，其觸發如下文中描述的特定動作。在實踐中，通過使用 計算機滑鼠(未示出)可能出現雙態按鈕210-224中的特定雙態按鈕的激活。可替代地， GUI 200可以觸控螢幕上得到顯示，從而觸摸特定的雙態按鈕將觸發與該按鈕相關聯的對應 動作。雙態按鈕210觸發選擇幾個攝像機中的特定攝像機，而雙態按鈕212對於由雙態按 鈕210選擇的攝像機選擇預設攝像(shot)。雙態按鈕214觸發編輯能力以允許操作員調節 各個參數，包括但不限於攝像機移動速度。以此方式，操作員可以調節自動跟蹤的靈敏度。 雙態按鈕216觸發新的跟蹤會話。雙態按鈕218觸發保存與當前跟蹤會話相關聯的多種設 置和其它信息，包括但不限於用於特定的預設攝像機定位的有關安全區設置。雙態按鈕218使得能夠進行依據本原理的方法的對象(例如圖1的播報員12)的 自動跟蹤。雙態按鈕240使得能夠建立由邊界208限定的安全區以便定義在其外部將不出 現跟蹤的區域。當雙態按鈕222被激活時，其通過進入「自動發現」模式而啟動自動跟蹤， 在此時圖1的處理裝置20將搜索當前選擇的攝像機的視場以尋找合適對象開始跟蹤。在 沒有操作員幹預的情況下，雙態按鈕222自動地使能自動跟蹤和安全區兩者。最後，當雙態 按鈕224被激活時，觸發幫助屏幕以輔助操作員。⑶I 200有利地使得操作員能夠設置跟蹤窗口(S卩，邊界208)以及設置χ和y偏移 (如圖2中線204a和204b的交叉點206所定義的)。以此方式，取決於出現在與播報員相 同的視場中的圖形，操作員可以將對象(圖1的播報員12)保持在特定視野(perspective) 中。例如，圖形可能出現在圖1的播報員12的右或左肩膀上，如在圖2的視頻屏幕202中 示出的圖像中所指示的，產生「右0TS」或「左0TS」攝像。在操作員在激活自動跟蹤雙態按 鈕218之後選擇了自動跟蹤功能時，GUI 200內的視頻屏幕202將顯示具有偏移的當前位 置的圖1的攝像機16的圖像。如之前所描述的，操作員通過觸摸線204a和204b並且將它 們拖動到期望定位可以做出調節。在將線204a和204b的位置保存為預設之後，交叉點206 現在變為與該特定定位預設相關聯的χ和y偏移。圖1的攝像機16將在沒有操作員幹預 的情況下跟蹤對象(例如圖1的播報員12)，並且基於所存儲的偏移和定位預設之間的差來 重新調節攝像機的位置。圖3示出圖2的視頻屏幕202的放大視圖，並且更清楚地示出在 圖1的攝像機16的視場中的跟蹤窗口，該跟蹤窗口具有從對象中心的「偏移」。圖4以流程圖的形式示出了示例處理400的步驟，按照該處理，圖1的處理裝置20 可以控制圖1的機器人攝像機組件14以便實施根據本原理的圖1的播報員12的自動跟蹤。 自動跟蹤方法400以用於建立或重置用於跟蹤的對象的第一執行步驟402開始。步驟402 的初次執行用來建立「空」對象。為了跟蹤的目的，對象具備諸如形狀和定位之類的某些特 徵、以及諸如例如顏色和特徵點之類的某些基於內容的特徵。初始地，所有對象特徵具有零 值。步驟402的執行也用來重置圖1的攝像機16在x、y和ζ坐標中的位置，以便將攝 像機定位於預定義(例如預設)位置。類似地，將搖攝、傾斜、變焦距和光圈設置為預定義 的值。接著步驟402之後，步驟404的執行出現，此時處理裝置20通過將由圖1的攝像 機16捕獲的當前視頻幀中的圖像的特徵(例如顏色、特徵點等)與所存儲的對象圖像比較而檢測對象(例如圖1的播報員12)。在檢測到對象時(其在所捕獲的幀的特徵基本上匹 配所存儲的圖像的對應特徵時出現)，處理裝置20執行步驟406以便確定對象的穩定性。 在未能檢測到對象時，步驟404在捕獲到下一視頻幀時被重新執行。實踐上，步驟404將被 重新執行以便對於所捕獲的視頻幀序列而檢測對象，直至到達避免無限循環的執行的超時 時間間隔。儘管未在圖2中示出，操作員可以在此處進行幹預，以便繼續對象檢測或者結束 處理。對象跟蹤(即，移動攝像機的位置)通常要求對象保持穩定。換句話說，在嘗試自 動跟蹤時，對象不應經歷顯著運動。在對象經歷顯著運動時嘗試自動跟蹤可能導致攝像機 20移動到該對象已經離開的定位，這將導致圖1的攝像機16 「追趕」對象。為了避免這種 可能性，操作員將典型地選擇一時間間隔，在處理裝置20將開始圖1的攝像機16的移動之 前，該對象在該時間間隔期間必須大致保持在相同位置。如果對象通常在所指定的時間間 隔中大致基本上無運動，則對象對於步驟406期間確定穩定性的目的來說而保持了穩定。 由於在初始步驟，攝像機以開環移動(即，在此時間期間不處理圖像)，因此出現對象穩定 化步驟。該初始位置移動可能花費一秒或更多以到達期望的預設位置(變焦距命令沒有這 麼快)，並且當攝像機最終收斂到該位置時，仍在運動的對象可能遠離該位置，從而導致對 象跟蹤失敗或者不是期望行為的新的非常重要的攝像機位置移動。如果圖1的處理裝置20在步驟406期間發現對象穩定，則處理裝置將圖1的攝像 機16的位置移動到期望的預設位置，並且同樣在步驟408期間命令圖1的鏡頭18變焦距 至期望的預設位置。操作員可以使用在圖2的⑶I 200中可得到的預設修改能力來改變這 些參數。對於每個預設，操作員可以修改所捕獲的圖像的中心定位和圖像大小。操作員還 可以使用GUI 200的預設選擇器來改變預設。在步驟410期間，處理裝置20更新對象特徵 並重置用於穩定性確定目的的對象位置計數器至零。具體地，圖1的處理裝置20通過建立 當前圖像中對象的位置來更新對象特徵。對象的特徵包括其形狀，例如矩形或橢圓形。使 用形狀信息，處理裝置20提取基於內容的特徵用來跟蹤對象。在步驟406期間不能檢測到 對象穩定性的情況下，處理執行分支回到步驟404。接著步驟410之後，圖1的處理裝置20執行步驟412以便檢測對象跟蹤是否以足 夠的置信度出現。當依據對象的特徵而檢測的對象的實際位置以給定概率位於其預期位置 (表示跟蹤置信度)時，對象跟蹤以足夠的置信度出現。在2008年9月08日提交的待審 PCT申請PCT/EP08/061842中存在適合於跟蹤對象的跟蹤技術的示例，通過引用將該申請 併入於此。如果跟蹤置信度等於或超過給定閾值，則圖1的處理裝置20認為成功跟蹤並且 然後前進以執行步驟418以便測試收斂。否則，如果跟蹤置信度沒有等於或超過該閾值，則 處理裝置20認為對象丟失。在這種情況下，處理執行分支到步驟414以便使用對象在先前幀中的位置作為參 考位置來尋找對象。處理裝置20通過放大圖像採樣典型地以隨機的方式在整個圖像中尋 找對象。然後在步驟416期間出現檢查，以便確定是否已經發現了對象。為了確定是否已 經發現了對象，處理裝置20檢查對象特徵和對象候選特徵之間的距離是否保持低於跟蹤 置信度的一半。如果是，則處理執行分支返回步驟412以便檢查成功跟蹤。否則，步驟414 被重新執行，直至圖1的處理裝置20定位了對象。為了避免無限循環，在沒有發現對象的 情況下，處理400可以在給定時間間隔之後超時。注意到，操作員可以經由圖2的GUI 200實時地改變跟蹤置信度。在執行圖4的步驟418時，圖1的處理裝置20通過確定對象位置是否對應於期望 的預設位置來確定收斂。在每個時刻，取決於對象的實際位置與期望的預設位置之間的距 離是否不超過閾值，對象將具有TRUE或FALSE的收斂狀態。初始地，對象具有FALSE收斂 狀態。在檢測到FALSE收斂狀態時，處理裝置20發起收斂測試。如果在步驟418期間進行 檢查時收斂狀態保持FALSE，則步驟420被執行，在此時處理裝置20使得攝像機16移動到 所選擇的預設位置。處理裝置20可以分離地控制搖攝和傾斜速度，且通過對於搖攝和傾斜 速度使用不同值來確定方向。操作員可以經由圖2的GUI 200改變攝像機速度的幅度。為了避免在跟蹤期間由圖1的攝像機16在短距離上快速地來回運動引起搖晃的 可能性，處理裝置20在接著步驟418的TRUE收斂狀態的確定之後的步驟422期間執行容許 檢查。在步驟422期間，處理裝置20通過使用關於每個預設位置的容許半徑來檢查容許。 如果期望的預設位置和當前的對象位置之間的距離保持小於容許半徑，則不需要圖1的攝 像機16的進一步運動並且處理在步驟424結束。否則，如果對象(例如，圖1的播報員12) 位於容許半徑之外，則處理裝置20將收斂狀態重置為FALSE並且步驟420被重新執行以便 移動攝像機16使對象位置與期望的預設位置匹配。上面描述了用於自動地跟蹤對象的技術。
權利要求
1.一種跟蹤受機器人控制的攝像機的視場中的對象的方法，包括以下步驟確定位於感興趣區域內的對象是否匹配參考對象；並且如果匹配，如果對象已經偏離攝像機視場中的某定位而移動了多於閾值距離，則自動地跟蹤對象 以便保持對象相對所述定位呈固定關係。
2.如權利要求1所述的方法，其中確定所述對象和參考對象之間的匹配的步驟包括將 所述對象的至少一個特徵與參考對象的至少一個對應特徵進行比較的步驟。
3.如權利要求1所述的方法，其中自動跟蹤包括確定所捕獲的所述對象的圖像是否保 持穩定的步驟。
4.如權利要求3所述的方法，其中確定所述對象是否保持穩定的步驟進一步包括檢測 所述對象是否已經在規定時間間隔期間移動的步驟。
5.如權利要求1所述的方法，其中自動跟蹤進一步包括當攝像機的預設位置與所述對 象的定位彼此相隔不在閾值距離之內時移動攝像機的位置至預設位置的步驟。
6.如權利要求5所述的方法，進一步包括當攝像機的預設位置位於實際對象位置的容 許半徑之內時停止攝像機的移動的步驟。
7.一種跟蹤對象的裝置，包括用於確定位於感興趣區域內的對象是否匹配參考對象的部件；用於檢測所述對象是否已經偏離預設定位移動了多於閾值距離的部件；以及用於在所述對象被確定為在感興趣的區域中時如果所述對象已經偏離攝像機視場中 的某預設定位而移動了多於閾值距離、則自動地跟蹤所述對象以便保持所述對象相對所述 預設定位呈固定關係的部件。
8.一種跟蹤對象的裝置，包括攝像機，用於獲取所述對象的圖像；用於移動所述攝像機的位置以便跟蹤所述圖像的部件；以及處理裝置，用於通過(1)確定位於感興趣區域內的所述對象是否匹配參考對象，並且 如果匹配，則在所述對象已經偏離預設定位而移動了多於閾值距離的情況下，當所述對象 被確定為位於感興趣的區域中時，移動所述攝像機的位置以便跟蹤所述圖像。
全文摘要
通過攝像機(16)自動跟蹤諸如在電視節目中出現的播報員之類的對象(12)以首先確定位於攝像機視場內的所述對象是否匹配參考對象而開始。如果匹配，則在所指定的對象已經偏離攝像機視場中的預設定位移動了多於閾值距離的情況下出現對象跟蹤以便保持所述對象相對所述預設定位呈固定關係。
文檔編號G06T7/20GK102007516SQ200980113251
公開日2011年4月6日 申請日期2009年4月13日 優先權日2008年4月14日
發明者亞歷克斯·霍爾茨, 斯科特·R·馬蒂克斯, 萊昂內爾·奧伊塞爾 申請人:湯姆森特許公司