更新場景模型的方法和系統、使用該方法的照相機系統的製作方法

2023-05-16 03:36:31

專利名稱：更新場景模型的方法和系統、使用該方法的照相機系統的製作方法
技術領域：
本公開涉及視頻圖像中的對象檢測，具體涉及使用場景建模的前景/背景分離。
背景技術：
視頻是圖像的序列。圖像也被稱為幀。術語「幀」和「圖像」在整個本說明書中可交換地用於描述圖像序列中的單個圖像。圖像由視覺元素構成。視覺元素可以是例如如在JPEG圖像中所使用的像素或者8x8 DCT (離散餘弦變換)塊。 場景建模也已知為背景建模，涉及基於描繪場景的圖像序列對場景的視覺內容進行建模。所述內容通常包括前景內容和背景內容，通常期望區別或分離這兩個內容。前景/背景分割的常見方法是背景減除。背景減除使得視頻分析系統能夠通過差分運算來區分瞬態的前景對象和非瞬態的背景。例如，場景模型可維護輸入的視頻幀的每個塊位置的一些模式模型，其中，每個塊位置對應於視覺元素。模式模型的描述與幀中的對應位置處的當前視覺元素的描述進行比較。所述描述可包括，例如，與像素值或DCT係數相關的信息。如果當前視覺元素與模式模型中的至少一個類似，則認為該視覺元素屬於背景。否則，認為該視覺元素屬於前景對象。—種方法使用按上述方式的初步分類來確定視覺元素是屬於背景還是屬於前景對象，然後使用該確定作為對於最終分類步驟的輸入。在最終分類步驟中，該方法通過考慮視覺元素的初步分類來計算與將被分類的相鄰視覺元素相關的每個視覺元素的最終分類得分。難題是獲得視覺元素之間的相關性。場景建模的另一種方法使用視覺元素之間的全幀互相關性。在該方法中，場景模型包含表示幀中的動態紋理區域的視覺元素的相關性。相關性模型使用幀與從前幀獲得的該幀的預測之間的差異。該相關性模型從訓練序列中的幀轉變獲悉。同時轉變的場景的兩個區域將具有相同的相關性係數，無論與該場景的這兩個區域相關聯的其它參數如何。該方法需要訓練數據，由於合適的訓練數據不總是可獲得，所以訓練數據有困難。在又一種方法中，通過比較時間特性來計算相關性。所述時間特性記錄每個視覺元素處的信息。時間特性的示例是行為計數(背景模型被認為表示輸入的視覺元素的次數)、創建時間(與背景模型的創建對應的時間戳或幀號)或再現時間(背景模型被發現不表示輸入的視覺元素的最後時間)。具體地講，一種方法使用行為計數來輔助分類。如果相應的行為計數之間的差值小於預定閾值，則兩種背景模式模型相關。當前景對象在視頻序列中描繪的場景中仍然存在並且該對象的僅一部分正在移動時，將對移動部分創建新的模式模型，而相同的模式模型將匹配非移動部分。在這種情形下，表示移動部分的模式模型與表示非移動部分的模式模型之間的行為計數差值將是大的。因此，即使這些模式模型表示同一個真實世界對象，這些模式模型也將不如所期望的相關。因此，存在對於用於視頻圖像處理中的視頻對象檢測的改進方法的需求。當一組前景視覺元素已被識別出時，有價值的是知道該前景「後面」是什麼。該信息可用於輔助前景摳取，以輔助用於圖像對準的幀匹配，或者簡單地作為用戶的視覺輔助工具。識別背景的一種方法是從每個視覺元素模型取出最老的背景模式模型。在前景簡 單地擋住所建立的長期或初始化的背景的情況下，該方法將奏效。然而，在當前前景後面的區域改變的情況下，返回的背景將錯誤。例如，考慮(在t = O秒時)被初始化為空的場景，汽車駛入並在某個稍晚的時間(比方說t = 30秒時)停車。在更晚的某個時間，比方說t=60秒，汽車被認為是背景的一部分。在還更晚的時間，比方說t = 90秒，一個人走過，擋住汽車。最老的背景將來自t = Os，並且即使汽車在t = 90秒時是背景的一部分，返回的背景也將不包括汽車。另一種方法使用閾值時間。對於前面的示例，如果所使用的閾值為時間t = 60秒，則當那個人走過汽車時，將返回正確的背景。這樣的方法的問題是合適閾值的選擇，該選擇將取決於情形和任務。如果使用不正確的閾值時間，比如說t = 30秒，則將返回不正確的背景。該問題簡單地變為找出合適的閾值時間的問題，並且存在這樣的閾值時間不存在的情形，例如，如果那個人從t = O起處於不同的位置，並且僅在汽車到達之後開始移動到他們的新位置。又一種方法是選擇最近看到的背景。這對於前面的示例將奏效，但是如果在那個人仍在那裡的同時汽車開走，則由於返回的背景將顯示汽車，而所需的背景是原始背景，所以返回的背景仍將不正確。因此，存在對於識別視頻幀中的看不見的背景的改進方法的需求。當前景元素停止移動時，它們與背景之間的區別變得難以定義。具體的困難是對於不同應用關於該區別的不同要求以及實現合理的語義分割。如上所述，前景被移除的背景圖像的估計對於輔助摳取、幀匹配或者作為視覺輔助工具是有價值的，同樣的使用對於一些背景元素的移除也存在。此外，不同區域的語義分組使得能夠實現跟蹤場景的區域的歷史的應用。在另一個應用中，根據對象的到達時間對前景區域和背景區域進行分組使得能夠對每個對象進行統計，並根據應用在前景與背景之間轉變。分離前景與背景的一種方法連續地改動背景以適應當前幀內容。當背景的改動變得與改變的區域足夠類似時，該改變的區域將變為背景的一部分。該方法的具體困難是不同區域和區域的不同部分將根據它們的出現在不同時間融入背景。另一種方法建立每個視覺元素的年齡閾值，使得前景區域隨時間推移而融入背景。具體的困難是閾值的選擇。另一個具體的困難是區域被部分地吸收到背景中，導致部分的、片段的或移動的區域被報告給後面的處理階段。又一種方法對給定幀處的所有前景視覺元素進行分組，並基於整個區域的平均統計來決定將它們融入背景中。這樣的方法的具體的困難是所述區域實際上可由多個子區域組成，這將導致不精確的平均統計。
因此，存在對於用已知的、但是當前看不見的視覺元素對相關的可見的視覺元素進行分組的改進方法的需求。

發明內容
根據本公開的一方面，提供一種計算機實現方法，該方法將第一視覺元素模型中的第一模式模型與從第二視覺元素模型中的多個模式模型中選擇的第二模式模型相關聯。所述模式模型處於用於圖像序列中的對象檢測的場景模型中。所述方法識別第一模式模型與第二模式模型之間的關係的強度，並基於所述關係將第一模式模型與第二模式模型相關聯。可取地，所述關聯步驟在下述情況下將第一模式模型與第二模式模型相關聯(a)所述第一模式模型與所述第二模式模型之間的關係的強度滿足所述第一模式模型與所述 第二視覺元素模型中的所述多個模式模型之間的第一組關係強度的第一預定標準；和(b)所述第一模式模型與所述第二模式模型之間的關係的強度滿足所述第二模式模型與所述第一視覺元素模型中的一個或更多個模式模型之間的第二組關係強度的第二預定標準。可替換地，所述關聯步驟在下述情況下將第一模式模型與第二模式模型相關聯所述關係強度是所述第一模式模型與所述第二視覺元素模型中的多個模式模型之間的一組關係強度中的最大值，所述第一模式模型是用於所述第一視覺元素模型的場景模式模型，於是所述方法將相關聯的第二模式模型選擇為場景模式模型。優選地，所述方法還包括基於第一場景模式模型和所選第二模式模型來重構圖像系列的場景。根據本公開的另一方面，提供一種計算機實現方法，該方法包括通過修改與第一視覺元素相關聯的第一模式模型和與第二視覺元素相關聯的第二模式模型之間的關係來更新用於圖像序列中的對象檢測的場景模型。所述更新可以包括確定所述第一模式模型與所述第二模式模型之間的同現度(co-occurrence);根據所述第一模式模型與所述第二模式模型之間的同現度的確定來修改所述第一模式模型與所述第二模式模型之間的關係；和基於所述第一模式模型與所述第二模式模型之間的修改的關係來更新所述場景模型。根據本公開的另一方面，提供一種計算機實現方法，該方法通過定義與場景模型的不同視覺元素相關的模式模型對之間的關係來更新用於視頻序列中的對象檢測的場景模型。所述方法根據預定標準確定所述模式模型對中的每個模式模型之間的時間相關性，並且還確定所述模式模型對中的每個模式模型的類別。所述方法根據時間相關性的確定和類別的確定來修改所述模式模型對之間的關係。所述方法基於修改的關係來更新場景模型。根據本公開的進一步的方面，提供一種照相機系統，該照相機系統用於通過定義與場景模型的不同視覺元素相關的模式模型對之間的關係來更新用於視頻序列中的對象檢測的場景模型。所述照相機系統包括光學系統、傳感器和控制器，所述控制器與光學系統和傳感器中的每個耦接，以捕捉視頻序列。所述控制器包括處理器，該處理器能夠操作用於根據預定標準確定所述模式模型對之間的時間相關性；確定所述模式模型對中的每個模式模型的類別；根據時間相關性的確定和類別的確定來修改所述模式模型對之間的關係；和基於修改的關係來更新場景模型。根據本公開的更進一步的方面，提供一種用於通過定義與場景模型的不同視覺元素相關的模式模型對之間的關係來更新用於視頻序列中的對象檢測的場景模型的系統。所述系統包括用於根據預定標準確定所述模式模型對之間的時間相關性的裝置；用於確定所述模式模型對中的每個模式模型的類別的裝置；用於根據時間相關性的確定和類別的確定來修改所述模式模型對之間的關係的裝置；以及，用於基於修改的關係來更新場景模型的裝置。根據本公開的另一方面，提供一種用於實現前述方法中的任何一種的裝置。根據本公開的另一方面，提供一種包括計算機可讀介質的電腦程式產品，所述計算機可讀介質具有記錄在其上的用於實現上述方法中的任何一種的電腦程式。還公開了其它方面。


·現在將參照附圖對各個實施例進行描述，在附圖中圖I是對其執行前景/背景分割的照相機的功能框圖；圖2是輸入幀和包括視覺元素模型的場景模型的框圖，每個視覺元素模型具有模式模型；圖3A和圖3B形成在其上可實施所述布置的通用計算機系統的示意性框圖；圖4是示出前景/背景分離數據處理架構的功能的示意性流程圖；圖5是示出模式模型匹配的方法的示意性流程圖；圖6是示出計算圖5中所使用的空間支持的方法的示意性流程圖；圖7是示出更新場景模型的方法的示意性流程圖；圖8是連結模式模型的示意性表示；圖9a是顯示輸入幀與視覺元素模型中的模式模型的匹配的示意性表示；圖9b顯示與圖9a中匹配的模式模型對應的關係的隨後的加強；圖IOa至圖IOh示出表示由場景產生的視覺元素模型的一組模式模型和在移除前景元素之後由不同算法產生的不同的場景重構方法；圖Ila示意性地示出視覺元素模型中的兩個最近匹配的模式模型與相鄰視覺元素模型的模式模型之間的關係；圖Ilb是用於說明計算視覺元素模型中的一組模式模型中的每個與相鄰視覺元素模型的關聯概率的方法的示意性表示；圖12是示出從已知模式模型填補未知模式模型選擇的方法的示意性流程圖；圖13是示出計算作為圖12中的一個元素的與一組近鄰連結的模式模型的概率的示意性流程圖；圖14a和圖14b更詳細地顯示圖13的方法中的場景重構處理；圖15a、圖15b和圖15c不意性地表不連接的模式模型的三個不同層；圖16a、圖16b和圖16c是描繪兩個視覺元素模型中的多組模式模型之間的不同關係的示意性表示；圖17是示出基於關係信息接合兩個模式模型的方法的示意性流程圖；和圖18a和圖18b示出由按照圖16和圖14的分析產生的模式模型層和對應的重構圖像層。
具體實施例方式在附圖中的任何一個或更多個中引用具有相同標號的步驟和/或特徵的地方，這些步驟和/或特徵為了本說明書的目的具有相同功能或操作，除非相反的意思表示出現。本文公開了用於創建和更新與場景中的不同視覺元素相關的共同出現的模式模型之間的關係的計算機實現方法、系統和電腦程式產品。在一個實施例中，所述共同出現的模式模型與相鄰的視覺元素相關。在另一個實施例中，所述共同出現的模式模型與不相鄰的視覺元素相關。所述方法定義與不同視覺元素相關的模式模型對之間的關係，並使用該關係來更新場景模型。更新的場景模型然後可用於處理視頻序列。所述方法使用預定標準來識別所述模式模型對是否彼此具有時間相關性。所述方法然後確定所述模式模型對中的每個模式模型的類別。在一個實施例中，每個模式模型被分類為前景或背景之一。在可替換實施例中，每個模式模型的類別取決於各個模式模型的成熟度或者與該模式模型相關聯的行為計數。相關領域技術人員將意識到的是，可同樣地實施其它分類方式，並且實際分類方式將取決於特定應用。所述方法基於時間相關性的識 別和類別的確定來修改所述模式模型對之間的關係。所述方法然後基於修改的關係來更新場景模型。本公開的一方面提供一種用於當處理視頻序列時更新被改動以用於執行對象檢測的場景模型的計算機實現方法。所述方法通過定義與場景模型的不同視覺元素相關的模式模型對之間的關係來發揮作用。所述方法根據預定標準確定所述模式模型對中的模式模型是否彼此共享時間相關性。在一種實現中，所述方法一次處理一個圖像幀，所以可用於處理的模式模型共同出現，因此，彼此固有地共享時間相關性。所述方法然後確定所述模式模型對中的每個模式模型的類別。所使用的實際類別取決於特定應用。類別的示例可包括例如，但不限於，前景、背景、年齡或成熟水平、行為計數和最近行為度量。所述方法根據時間相關性的確定和類別的確定來修改所述模式模型對之間的關係。所述方法然後基於修改的關係來更新場景模型。根據本公開的前景/背景分割可在照相機系統上執行。照相機系統包括光學系統、傳感器或其它記錄設備、用於存儲電腦程式的存儲設備和控制器，所述控制器與光學系統和傳感器中的每個耦接以捕捉一個或更多個視頻幀的視頻序列。在一個實施例中，所述光學系統包括透鏡系統。在一個實施例中，所述傳感器是光敏傳感器陣列。在一個實施例中，所述存儲設備是存儲器，諸如隨機存取存儲器(RAM)或硬碟驅動器。圖I顯示在其上執行前景/背景分割的照相機100的功能框圖。照相機100是搖攝(pan)-傾斜-變焦照相機(PTZ)，其包括照相機模塊101、搖攝和傾斜模塊103以及透鏡系統114。照相機模塊101通常包括擔當照相機100的控制器的至少一個處理器單元105、以及存儲器單元106、光敏傳感器陣列115、與傳感器陣列115耦接的輸入/輸出(I/O)接口 107、與通信網絡116耦接的輸入/輸出(I/O)接口 108以及用於搖攝和傾斜模塊103和透鏡系統114的輸入/輸出(I/O)接口 113。照相機模塊101的組件107、105、108、113和106通常以導致相關領域技術人員已知的常規操作模式的方式通過互連總線104進行通 目。照相機100用於捕捉視頻幀，視頻幀也已知為輸入圖像，所述視頻幀表示照相機100的視場中出現的場景的視覺內容。照相機100捕捉的每個幀包括多於一個視覺元素。視覺元素被定義為圖像採樣。在一個實施例中，視覺元素為像素，諸如紅-綠-藍(RGB)像素。在另一個實施例中，每個視覺元素包括一組像素。在又一個實施例中，視覺元素為8X8變換係數塊，所述係數諸如如通過解碼運動JPEG巾貞而獲取的離散餘弦變換(DCT)係數或者如JPEG-2000標準中所使用的離散小波變換(DWT)係數。顏色模型為YUV，其中，Y分量表示亮度，U和V表示色度。如以上所指示的，根據本公開的各個實施例可同樣地在具有嵌入式處理器的設備(諸如圖I的照相機)或者通用計算機上實施。圖3A和圖3B描繪在其上可實施所述的各種布置的通用計算機系統300。如圖3A所見，計算機系統300包括計算機模塊301 ;輸入設備，諸如鍵盤302、滑鼠指針設備303、掃描儀326、照相機327和麥克風380 ;和輸出設備，包括印表機315、顯示設備314和揚聲器317。計算機模塊301可使用外部調製器-解調器(數據機)收發器 設備316來經由連接件321與通信網絡320來回通信。通信網絡320可以是廣域網(WAN)，諸如網際網路、蜂窩電信網絡或私有WAN。在連接件321為電話線的情況下，數據機316可以是傳統的「撥號」數據機。可替換地，在連接件321為高容量(比如，線纜)連接件的情況下，數據機316可以是寬帶數據機。無線數據機也可用於與通信網絡320的無線連接。計算機模塊301通常包括至少一個處理器單元305和存儲器單元306。例如，存儲器單元306可具有半導體隨機存取存儲器(RAM)和半導體只讀存儲器(ROM)。計算機模塊301還包括一些輸入/輸出(I/O)接口，這些I/O接口包括與視頻顯示器314、揚聲器317和麥克風380耦接的音頻-視頻接口 307 ;與鍵盤302、滑鼠303、掃描儀326、照相機327耦接(可選地還與操縱杆或其它人機接口設備(未示出)耦接)的I/O接口 313 ;和用於外部數據機316和印表機315的接口 308。在一些實現中，數據機316可合併在計算機模塊301內，例如在接口 308內。計算機模塊301還具有區域網接口 311，其使得可通過連接件323將計算機系統300與已知為區域網(LAN)的局域通信網絡322耦接。如圖3A所示，局域通信網絡322還可通過連接件324與廣域網320耦接，連接件324通常將包括所謂的「防火牆」設備或類似功能的設備。區域網接口 311可包括Ethernet 電路卡、Bluetooth 無線裝置或IEEE 802. 11無線裝置；然而，對於接口 311，可實施許多其它類型的接口。I/O接口 308和313可提供串行連接和並行連接中的任何一個或這二者，前者通常根據通用串行總線(USB)標準實現並具有對應的USB連接器(未示出)。提供存儲設備309，其通常包括硬碟驅動器(HDD) 310。還可使用其它存儲設備，諸如軟盤驅動器和磁帶驅動器(未示出)。通常提供充當非易失性數據源的光碟驅動器312。例如，可攜式存儲器設備，諸如光碟(比如，CD-ROM、DVD、Blu-ray Disc )、USB-RAM、可攜式外部硬碟驅動器和軟盤可用作系統300的合適數據源。計算機模塊301的組件305至313通常以導致相關領域技術人員已知的計算機系統300的常規操作模式的方式通過互連總線304進行通信。例如，處理器305使用連接件318與系統總線304連接。同樣，存儲器306和光碟驅動器312通過連接件319與系統總線304耦接。在其上可實施所述布置的計算機的示例包括IBM-PC和兼容機、SunSparcstation、Apple Mac 或相似的計算機系統。
所述通過定義與不同視覺元素相關的模式模型對之間的關係來更新用於對象檢測的場景模型的方法可使用計算機系統300來實現，其中，將描述的圖2和圖4至圖18的處理可被實現為可在計算機系統300內執行的一個或更多個軟體應用程式333。具體地講，所述更新場景模型的方法的步驟通過在計算機系統300內運行的軟體333中的指令331 (參見圖3B)來實現。軟體指令331可被形成為一個或更多個代碼模塊，每個代碼模塊用於執行一個或更多個特定任務。所述軟體還可分為兩個分離的部分，其中，第一部分和對應的代碼模塊執行更新、相關、分類和關係修改方法，第二部分和對應的代碼模塊管理第一部分與用戶之間的用戶接口。軟體333通常存儲在HDD 310或存儲器306中。該軟體從計算機可讀介質加載到計算機系統300中，並被計算機系統300執行。因此，例如，軟體333可存儲在被光碟驅動器312讀取的光學可讀盤存儲介質(比如，⑶-ROM) 325上。其上記錄這樣的軟體或電腦程式的計算機可讀介質是電腦程式產品。電腦程式產品在計算機系統300中的使用優 選地實現用於更新在檢測視頻序列中的對象時所使用的場景模塊的裝置。這樣的裝置可用在例如監督應用中。在某些情況下，在一個或更多個⑶-ROM 325上編碼的並且通過對應驅動器312讀取的應用程式333可被供給用戶，或者可替換地，可由用戶從網絡320或322讀取。更進一步，所述軟體還可從其它計算機可讀介質加載到計算機系統300中。計算機可讀存儲介質是指將記錄的指令和/或數據提供給計算機系統300以用於執行和/或處理的任何非暫時有形存儲介質。這樣的存儲介質的示例包括軟盤、磁帶、⑶-ROM、DVD、Blue-ray盤、硬碟驅動器、ROM或集成電路、USB存儲器、磁光碟或者諸如PCMCIA卡等的計算機可讀卡，無論這樣的設備是在計算機模塊301的內部還是外部。也可參與將軟體、應用程式、指令和/或數據提供給計算機模塊301的暫時或非有形計算機可讀傳輸介質的示例包括無線電或紅外傳輸信道以及與另一個計算機或聯網設備的網絡連接以及網際網路或內聯網，該網際網路或內聯網包括電子郵件傳輸和記錄在網站等上的信息。可執行上述的應用程式333的第二部分和對應的代碼模塊來實現將呈現或以其它方式表示在顯示器314上的一個或更多個圖形用戶接口(⑶I)。通過典型地操縱鍵盤302和滑鼠303，計算機系統300和應用的用戶可以以功能適應性的方式操縱接口，以將控制命令和/或輸入提供給與GUI相關聯的應用。還可實現其它形式的功能適應性用戶接口，諸如利用通過揚聲器317輸出的講話提示和通過麥克風380輸入的用戶語音命令的音頻接口。圖3B是處理器305和「存儲器」334的詳細示意性框圖。存儲器334表示可被圖3A中的計算機模塊301存取的所有存儲器模塊(包括HDD 309和半導體存儲器306)的邏輯聚集體。當計算機模塊301 —開始上電時，執行通電自測試(POST)程序350。POST程序350通常存儲在圖3A的半導體存儲器306的ROM 349中。存儲軟體的硬體設備(諸如ROM349)有時稱之為固件。POST程序350審查計算機模塊301內的硬體以確保適當地工作，通常檢查處理器305、存儲器334(309,306)和通常也存儲在ROM 349中的基本輸入-輸出系統軟體(BIOS)模塊351，以正確地操作。一旦POST程序350成功運行，BIOS 351啟動圖3A的硬碟驅動器310。硬碟驅動器310的啟動使駐存在硬碟驅動器310上的引導裝入程序352通過處理器305執行。這將作業系統353加載到RAM存儲器306中，由此，作業系統353開始操作。作業系統353是可被處理器305執行以實現各種高級功能的系統級應用程式，所述高級功能包括處理器管理、存儲器管理、設備管理、存儲管理、軟體應用接口和一般的用戶接口。作業系統353管理存儲器334(309,306)，以確保在計算機模塊301上運行的每個處理或應用程式具有在不與分配給另一個處理的存儲器衝突的情況下執行的充足的存儲器。此外，必須適當地使用圖3A的系統300中可用的不同類型的存儲器，以使得每個處理可有效地運行。因此，聚集式存儲器334 並非意圖示出存儲器的特定區段如何被分配(除非另有說明)，而是意圖提供可被計算機系統300存取的存儲器的全視圖和如何使用這樣的存儲器。如圖3B所示，處理器305包括一些功能模塊，這些功能模塊包括控制單元339、算術邏輯單元(ALU) 340和本地或內部存儲器348，本地或內部存儲器348有時稱之為高速緩衝存儲器。高速緩衝存儲器348在寄存器部分中通常包括一些存儲寄存器344到346。一個或更多個內部總線341將這些功能模塊在功能上互連。處理器305通常還具有使用連接件318經由系統總線304與外部設備通信的一個或更多個接口 342。存儲器334使用連接件319與總線304耦接。應用程式333包括指令331的序列，指令331可包括條件分支和循環指令。程序333還可包括執行程序333時所使用的數據332。指令331和數據332分別存儲在存儲器位置328、329、330和335、336、337中。可根據指令331和存儲器位置328-330的相對大小將特定指令存儲在如存儲器位置330中所顯示的指令所描繪的單個存儲器位置中。可替換地，可將指令分割成一些部分，每個部分存儲在如存儲器位置328和329中所顯示的指令段所描繪的分離的存儲器位置中。通常，處理器305被給予在其中執行的一組指令。處理器1105等待後面的輸入，處理器305通過執行另一組指令來對所述後面的輸入作出反應。每個輸入可從一些源中的一個或更多個提供，包括由輸入設備302、303中的一個或更多個產生的數據、跨網絡320、302之一從外部源接收的數據、從存儲設備306、309之一檢索的數據或者從插入到對應讀取器312中的存儲介質325檢索的數據，在圖3A中描繪了所有這些源。一組指令的執行在一些情況下可導致數據輸出。執行還可涉及將數據或變量存儲到存儲器334。所公開的更新、相關、修改和確定布置使用存儲在存儲器334中對應的存儲器位置355、356、357中的輸入變量354。更新、相關、修改和確定布置生成輸出變量361，輸出變量361存儲在存儲器334中對應的存儲器位置362、363、364中。中間變量358可存儲在存儲器位置359、360、366和367中。參照圖3B的處理器305，寄存器344、345、346、算術邏輯單元(ALU) 340和控制單元339 —起工作，以對於構成程序333的指令集中的每一個指令執行執行「提取、解碼和執行」循環所需的微操作序列。每個提取、解碼和執行循環包括(a)提取操作，該操作從存儲器位置328、329、330提取或讀取指令331 ；(b)解碼操作，在該操作中，控制單元339確定哪個指令已被提取；和(c)執行操作，在該操作中，控制單元339和/或ALU 340執行所述指令。其後，可執行進一步的針對下一個指令的提取、解碼和執行循環。類似地，可執行存儲循環，控制單元339通過存儲循環將值存儲或寫入到存儲器位置332。
圖4至圖13的處理中的每個步驟或子處理與駐存在計算機模塊301上的HDD 310或存儲器306或者駐存在照相機模塊101的板上存儲器106上的程序333的一段或多段相關聯。計算機模塊301上的處理器305中的寄存器部分344、345、347、ALU 340和控制單元339或者照相機模塊105的板上處理器105執行程序333，以對於為程序333的指出的段而設置的指令集中的每一個指令執行提取、解碼和執行循環。所述更新場景模型的方法可以可替換地用專用硬體來實現，所述專用硬體諸如執行更新、相關、確定和關係修改的功能或子功能的一個或更多個集成電路。這樣的專用硬體可包括圖形處理器、數位訊號處理器或者一個或更多個微處理器和相關聯的存儲器。圖2顯示包括多個視覺元素的輸入幀210的示意性表示。視覺元素是進行處理的基本單元，並被諸如照相機100的圖像傳感器捕捉。視覺元素可以是例如像素或8x8 DCT塊。圖2還顯示包括多個視覺元素模型的場景模型230的示意性表示。在所顯示的示例中，
輸入幀210包括示例性視覺元素220，場景模型230包括對應的示例性視覺元素240。在一種布置中，場景模型230存儲在照相機100的存儲器106中。在一種布置中，處理在照相機100的處理器105上進行。在可替換布置中，輸入幀的處理通過在通用計算機的處理器上執行的指令來執行，所述處理器諸如計算機模塊301。場景模型包括多個視覺元素模型。對於建模的每個輸入視覺元素220，諸如視覺元素240，維護其內容被擴展的對應視覺元素模型250。每個視覺元素模型250包括一組一個或更多個模式模型260。可存在與捕捉的輸入幀210中的相同位置對應的幾種模式模型。模式模型260-1、260-2、260-3中的每個均基於對應的視覺元素(在這種情況下，視覺元素240)的值的一組歷史。視覺元素模型250包括一組模式模型，該組模式模型包括模式模型I (260-1)、模式模型2(260-2)直到模式模型N (260-3)。每個模式模型260對應於對應視覺元素的不同狀態或出現。例如，在閃爍的霓虹燈在建模的場景中並且模式模型I (260-1)表示「背景-燈亮」的情況下，模式模型2 (260-2)可表示「背景-燈關」，並且模式模型N(260-3)可表示臨時前景元素，諸如經過汽車的一部分。在一種布置中，模式模型是像素強度值的均值。在另一種布置中，模式模型是每個DCT係數的觀測DCT係數值的中間值或近似中間值，並且模式模型記錄時間特性。圖9a顯示輸入幀(如同210)的示例性六個視覺元素910 (如同220)與對應於這些元素的六個視覺元素模型940 (如同250)中的不同模式模型930 (如同260)的匹配920的示意性表示。在所述示例之一中，代替匹配920，創建新的模式模型950。幀與該幀被捕捉的時間相關聯，進而依次匹配的模式模型與特定時間相關聯。在一個實施例中，在每個視覺元素模型中正好存在一個匹配的模式模型。在另一個實施例中，多個模式模型可同時被同一個視覺兀素匹配。在一個實施例中，至少一個模式模型必須匹配一個視覺元素模型。在另一個實施例中，在一個視覺元素模型中可能根本沒有將匹配的模式模型。在一個實施例中，視覺元素可僅與對應視覺元素模型中的模式模型匹配。在另一個實施例中，視覺元素可與相鄰視覺元素模型中的模式模型匹配。在又一個實施例中，存在表示多個視覺元素的視覺元素模型，並且該視覺元素模式模型中的模式模型可與所述多個視覺元素中的任何一個或者多個這些視覺元素匹配。圖9b顯示處理中稍後時刻的與圖9a的模式模型930相同的匹配模式模型960的示意性表示。在圖9b中，在相鄰模式模型之間，形成關係的一部分的同現度計數970增加，以指示它們同時被匹配。在一個實施例中，所述關係僅由匹配計數組成。在另一個實施例中，所述關係包括其它信息，例如，最後一次共同出現的時間戳或幀號。在一個實施例中，記錄與每次共同出現對應的幀號或幀時間。在一個實施例中，僅對相鄰的模式模型記錄同現度關係。在另一個實施例中，在給定的相互距離內的模式模型之間記錄同現度關係。在又一個實施例中，基於輸入幀的內容和它們的視覺元素記錄同現度關係。圖4是示出背景/前景分割的總體方法的處理400的流程圖。如前所述，處理400通常以存儲在存儲器106/310中的並且由處理器105/305執行的軟體來實現。分割處理400從開始步驟410開始，在開始步驟410中，處理器接收輸入幀。控制轉到決定步驟420，在決定步驟420中，處理器確定輸入幀的任何視覺元素220 (諸如像素或塊)是否還要被處理(420)。如果存在將處理的多個視覺元素220 (是)，則控制從步驟420轉到步驟430，在步驟430中，處理器選擇用於進一步處理的視覺元素220，並識別對應的視覺元素模型。控制轉到選擇步驟440，在選擇步驟440中，處理器將來自輸入幀210的視覺元素220與對應於正被處理的視覺元素的視覺元素模型中的模式模型進行比較，以便選擇最緊密匹配的模式模型，該模式模型將被稱為匹配模式模型。控制轉到分類步驟450，在分類步驟450中，處理器基於模式模型的屬性並且還基於視覺元素與模式模型之間的匹配來確定正被處理的視覺元素是表示前景還是背景。接著，控制從分類步驟450轉出，並返回到決定步驟420，以使處理器確定是否存在將被處理的任何更多視覺元素。如果在決定步驟420中輸入幀中不存在將被處理的更多視覺元素(否)，則在視覺元素級完成分割處理，控制從步驟420轉到更新步驟460。在處理所有視覺元素之後，步驟460然後根據對每個視覺元素的確定的匹配模式模型來更新場景模型。所述更新可包括將更新的場景模型存儲在存儲器中。控制從步驟460轉到後處理步驟470，在後處理步驟470中，處理器執行後處理步驟，所述後處理步驟可包括例如使用標準技術(諸如填色)對分割結果應用連通域分析。其它後處理步驟可包括例如移除小的連通域或者對分割結果進行形態學過濾。在步驟470之後，控制轉到結束步驟480，處理400對於輸入幀結束。可選地，可對所述序列中的其它幀重複所述處理。如上所述，在步驟440中，處理器選擇最緊密匹配模式。存在選擇匹配模式模型的多種方式。一種布置將輸入視覺元素220與對應於該輸入視覺元素的視覺元素模型中的每個模式模型進行比較。所述布置然後選擇與匹配模式模型類似性最高的模式模型。另一種布置利用閾值來確定輸入視覺元素與模式模型之間的匹配是否是可接受的匹配，並且一旦匹配滿足閾值，則不必比較另外的模式模型。例如，如果輸入值在模式模型的均值的2. 5標準差內，則確定模式模型匹配。後一布置對於計算類似性是昂貴操作的實現是有用的。可替換的布置利用多於一個的匹配標準來獲得多於一種類型的匹配，然後利用匹配類型來確定後面的處理或者進行處理的模式模型。例如，對於強度圖形匹配和對於總體亮度匹配，進行分離匹配。本公開的一方面是計算輸入視覺元素與模式模型之間的類似性。對於簡單的背景 模型，諸如平均強度表示，類似性的計算是簡單的。對於更複雜的背景模型，確定類似性並不簡單。例如，當視覺元素是8x8 DCT係數塊時，需要通過多個變量定義類似性。一種布置利用機器學習技術來將多維輸入值映射到一個概率值，所述概率值指示模式模型與輸入視覺元素匹配的概率。這種機器學習技術可包括例如支持向量機和樸素貝葉斯(NaiVeBayes)分類器。僅基於視覺元素中的信息的匹配模式模型的選擇對於輸入信號中的噪聲敏感。這可通過考慮上下文，諸如通過考慮空間相鄰的視覺元素來減小。對象檢測的目標是找到充分可見的跨越多個視覺元素的對象。因此，當一個視覺元素被發現是前景時，合理地預計在該視覺元素的鄰域存在其它前景視覺元素。如果在該視覺元素的鄰域不存在前景視覺元素，則可能的是該視覺元素不應該被確定為前景。作為同一個對象的一部分的視覺元素不 必在視覺上類似。然而，作為同一個對象的一部分的視覺元素可能具有類似的時間特性。例如，如果對象正在移動，則與該對象相關聯的所有視覺元素將僅在短的時間段內可見。相反，如果對象靜止，則所有的視覺元素將對於類似的更長的時間段被建模。圖5是用於基於時間特性選擇匹配模式的處理500的流程圖。處理500通常以可被處理器執行的軟體實現，作用於每個視覺元素，並從開始步驟505開始。控制轉到步驟510，在步驟510中，處理器從與正被處理的視覺元素對應的視覺元素模型中選擇候選模式模型來與正被處理的輸入視覺元素匹配。接著，控制轉到步驟520，在步驟520中，處理器確定視覺元素和候選模式模型的視覺支持值。支持值指示視覺類似性對確定模式模型匹配有什麼貢獻。在一個實施例中，使用匹配的概率作為視覺支持值。在另一個實施例中，使用匹配概率的固定點逼近作為視覺支持值。控制從步驟520轉到步驟530，步驟530應用步驟520的相同匹配模式模型選擇處理來為輸入視覺元素的近鄰找到匹配候選者。在計算候選模式模型的視覺支持之後，控制轉到步驟540，以計算空間支持。空間支持是從近鄰的匹配候選者給予的支持。最後，控制轉到步驟550，在步驟550中，處理器從候選模式模型中選擇匹配模式模型。對於每個候選模式模型，組合空間支持和視覺支持來計算模式模型匹配得分。在一個實施例中，通過在應用以下加權函數之後將它們相加來組合模式模型匹配得分Mode—model—matching—score = wv. +Visual_Support+ws. Spatial_Support。Spatial_Support是給予候選模式的總空間支持。權重Wv指示視覺支持的重要性，比方說O. 5，權重Ws指示總空間支持的重要性，比方說O. 5。指出，權重可用於使支持值歸一化。在一個示例中，Ws被設置為一(I)。在一種布置中，對於每個候選模式模型計算模式模型匹配得分，並將具有最高模式模型匹配得分的候選模式模型選擇為與輸入視覺元素220對應的匹配模式模型。在另一種布置中，使用模式模型匹配閾值，比方說四(4)。對候選模式模型計算模式模型匹配得分，直到模式模型匹配得分超過閾值為止。也就是說，與足夠好的候選模式模型匹配，而不必是最佳模式模型。控制從步驟550轉到退出步驟560，並且視覺元素的處理終止。將意識到的是，可以以類似的方式處理任何數量的其它視覺元素。圖6是示出用於計算空間支持的圖5的處理540的實施例的流程圖。處理540從開始步驟600開始，並進入步驟610,在步驟610中，處理器將spatial_support值初始化為零(O)。處理540將候選模式模型與相鄰的模式模型進行比較。因此，有必要檢查是否存在任何更多的要對其計算空間支持的候選模式模型。控制從步驟610轉到決定步驟620，決定步驟620確定是否存在任何未處理的候選模式模型。如果不存在任何未處理的候選模式模型(否)，則控制轉到結束步驟690,並且所述處理通過返回spatial_support值來終止。否則，如果在步驟620，存在至少一個未處理的候選模式模型(是)，則控制轉到步驟625，以選擇用於與未處理的候選模式模型相鄰的模式模型進行比較的未處理的候選模式模型。不同的實現可利用不同的標準來確定相鄰的模式模型。一種布置考慮正被處理的視覺元素的4連通鄰域。另一種布置考慮正被處理的視覺元素的8連通鄰域。又一種布置考慮正被處理的視覺元素的21連通鄰域。控制從步驟625轉到決定步驟630，在決定步驟630中，處理器確定對於正被處理的視覺元素是否存在任何未處理的近鄰。如果不存在未處理的近鄰(否)，則控制返回到步驟620，以處理另一個候選模式模型。然而，如果在步驟630，對於正被處理的視覺元素存在至少一個剩餘的未處理的近鄰(是)，則控制從步驟630轉到步驟635，步驟635選擇用於 處理的近鄰。控制然後轉到步驟640，步驟640基於所選候選模式模型與所選相鄰模式模型之間的至少一種關係來計算這兩個模式模型之間的連結強度。期望地，所述關係是這兩個模式模型之間的同現度的強度。連結強度用於確定連結是否強。控制從步驟640轉到決定步驟650，決定步驟650確定所選候選模式模型與所選相鄰模式模型之間的連結強度是否強。確定連結是否強的一個實施例將連結強度與預定閾值(比如說O. 5)進行比較。如果連結強度大於或等於閾值，則將連結視為強，否則，將連結視為弱。連結強度為關聯模式模型做準備。如果步驟650確定連結強度不強(否)，則控制從步驟650返回到決定步驟630，以確定是否存在將被處理的任何其它剩餘的近鄰。然而，如果步驟650確定連結強度強(是)，則控制轉到步驟660,在步驟660中，處理器增加spatial_support值,在這種情況下,通過遞增來增加spatial_support值。如果連結強度強，並且如果兩個模式模型共享相同的類別，諸如這二者都是前景或者這二者都是背景，則近鄰具有與候選模式模型在時間上類似的所選模式模型，並增大該候選模式模型的空間支持，否則空間支持保持不變。對於所有候選模式模型和與候選模式模型相關的視覺元素的相鄰視覺元素相關聯的所有模式模型，重複步驟620至660的處理。例如，如果存在具有在時間上與候選模式模型類似的所選模式模型的3個近鄰，並且I個近鄰具有弱連結，則空間支持為3。圖7是更新場景模型的處理700的流程圖。處理700也優選地用被處理器105/305執行的軟體實現，並從開始步驟710開始，在開始步驟710中，處理器例如從存儲器106/306、310接收場景模型。控制轉到決定步驟720，決定步驟720確定是否還有任何匹配模式模型要被處理。如果不再剩有將被處理的匹配模式模型(否)，則控制從決定步驟720轉到結束步驟780，處理700終止。然而，如果在步驟720，剩有至少一個將被處理的匹配模式模型(是)，則控制從決定步驟720轉到決定步驟730，在決定步驟730中，處理器確定匹配模式模型是否具有還沒有被處理的任何相鄰模式模型。
如果不再剩有將被處理的匹配模式模型近鄰(否)，則涉及該近鄰的處理完成，並且控制從決定步驟730返回到步驟720。然而，如果在步驟730剩有至少一個將被處理的相鄰模式模型(是)，則控制從步驟730轉到步驟740。處理器對匹配模式模型及其匹配的相鄰模式模型執行剩餘處理。匹配模式模型及其匹配的相鄰模式模型在本文中稱之為模式模型對。在步驟740中，處理器確定模式模型對中的每個模式模型的類別。處理器將匹配模式模型及其匹配的相鄰模式模型與類別相關聯。在本示例中，類別要麼是前景，要麼是背景。在一個實施例中，類別的確定基於模式模型的年齡。在另一種實現中，模式模型的年齡被定義為當前幀號與創建模式模型的幀號之間的差值。在另一種實現中，基於時間戳定義模式模型的年齡。在可替換實施例中，可同樣地利用其它類別。在一種可替換實施例中，根 據相關聯的年齡來對每個模式模型進行分類，所述年齡與自從模式模型被創建時起過去的時間量相關。在另一種可替換實施例中，根據視頻序列處理期間每個模式模型被看見的多少次(基於例如與該模式模型相關聯的命中計數)來對該模式模型進行分類。在另外的可替換實施例中，根據最近行為的度量對每個模式模型進行分類，所述度量基於在最近的預定時間段內該模式模型被看見多少次。控制從步驟740轉到步驟745，在步驟745中，處理器確定在目前正被處理的模式模型對中的匹配模式模型與相鄰模式模型之間是否存在時間相關性(即，共同出現)。這通常基於預定標準或者其計數。在一個實施例中，所述處理逐幀地發生。在這樣的上下文下，由於二者都是匹配模式模型的模式模型對在同一幀中匹配，所以該模式模型對總是具有時間相關性。在另一個實施例中，使用基於模式模型歷史的相關性函數，並將輸出與定義模式模型對之間的相關性的預定閾值進行比較。如果模式模型對之間沒有時間相關性(否)，則將相鄰模式模型標記為已處理，並且控制從步驟745轉到步驟730，以對下一個相鄰模式模型進行處理。如果在步驟745在模式模型對之間存在時間相關性(共同出現)(是)，則控制從步驟745轉到步驟750。下一個步驟750確定匹配模式模型和相鄰模式模型是否具有相同類別。如果匹配模式模型和相鄰模式模型不具有相同類別，則將近鄰標記為已處理，並且控制返回到決定步驟730。如果模式模型對具有相同類別(是)，則將匹配模式模型和相鄰模式模型視為連通，並且控制從步驟750轉到步驟760，在步驟760中，處理器修改模式模型對中的匹配模式模型與相鄰模式模型之間的關係。在修改步驟760的一個實施例中，匹配模式模型與相鄰模式模型之間的關係是一個計數，並且步驟760將與該關係相關聯的計數增加一(I)。該計數被稱為同現度，並且期望地由處理器305存儲在存儲器306中。在另一個實施例中，所述關係是二元值，並被標記為「真」，簡單地指示共同出現，而不試圖將值賦予該共同出現。在另一個實施例中，修改取決於時間相關性的確定和類別的確定。控制從步驟760轉到更新步驟770，在更新步驟770中，處理器基於步驟760的修改關係來更新場景模型。在更新所述關係之後，所述處理從步驟770返回到決定步驟730。如果不再有將被處理的匹配模式模型，則更新所述關係的處理700完成。以上參照圖7描述的方法使得能夠基於數據對場景的共同行為建模，這使得可比僅使用各個模式模型的屬性的方法更好地表示場景行為。
圖8是示出計算連結強度的一個實施例的示意性表示。圖8顯示與多個視覺元素模型對應的多個模式模型800、810、820、830、840、860、870、880和890。具體地講，圖8顯示兩個匹配模式模型c 800和d 810，其中，c 800和d 810屬於不同的視覺元素模型。圖8還顯示一些相鄰模式模型820、830、840、860、880和890。相鄰模式模型820、830、840、860、880和890可以匹配，或者可以不匹配。為了舉例說明的目的，在該示例中僅一個視覺元素模型具有兩個模式模型。在該示例中，模式模型820和830屬於同一個視覺元素模型。根據實施例，其它視覺元素模型中的一個或更多個可包含另外的模式模型。模式模型850用虛線輪廓顯示，以指示在可替換實施例中，模式模型850和模式模型840與同一個視覺元素模型相關。如下計算連結強度linking_strength(c, d)= cooccurrence(c, d)/min (total_cooccurence(c),total_cooccurence (d))其中total_cooccurrence(c) = X X cooccurren ce(c, m ^)·
' jtotal_cooc currence(d ) = X X cooccurren ce(d, )
' jc 800和d 810表示來自不同視覺元素模型的兩個模式模型；是c 800的第i相鄰位置上的第j模式模型；η)是d 810的第i相鄰位置上的第j模式模型。一些示例性值顯示在以下表I中表I
匹配模式I相鄰位置中的模式11 n A ^ _同現I
wI1820__500_
4 830__I_
cfflI2 840__500_^___
__< = d 810__200_
nI 870__100_
,wI2 = c 800200
d -3--
nI 880__400_
wI4 890100以上表I中所示的示例的特徵是模式模型對c和d，它對於計算這些模式模型之間的連結強度是有用的。模式模型C具有四個相鄰位置，這四個相鄰位置總共具有五種模式模型，這五種模式模型在表I的第二列中列出，即，wI，w2，，巧和^^模式模型d具有四個相鄰位置，這四個相鄰位置具有四種模式模型，也在表I的第二列中列出，即， ，々，^和〃/。匹配模式模型c或匹配模式模型d與各自的相鄰模式模型中的每個之間
的同現度在表I的第三列中列出。如下計算m與η之間的連結強度total—cooccurrence(c) = 500+1+500+2000+200 = 3201total—cooccurrence(d) = 100+200+400+100 = 800linking—strength(c，d) = 200/min(3201，800) = 200/800 = 0. 25.在另一個實施例中linking_strength(c，d) = cooccurrence (c，d)/min(hit_count(c)，hit_count (d))其中，hit—count (c)和hit—count (d)是巾貞的編號的計數，在所述巾貞中，模式模型c和d分別被選擇為匹配模式模型(自從模式被創建時起)。以下表2顯示具有模式模型對c和d的另一個示例，該示例對計算模式模型c和d之間的連結強度是有用的。模式模型c具有四個相鄰位置，這四個相鄰位置總共具有五種
模式模型，這五種模式模型在表2的第二列中被列為Wi11、In12^ q2、Wi13和《if。模式模型
d具有四個相鄰位置，這四個相鄰位置具有四種模式模型，這四種模式模型也在表2的第二
列中被列為<、/^和'4。匹配模式模型與相鄰位置中的每一個模式模型之間的同現
度在表2的第三列中列出。每個相鄰模式模型的命中計數在表2的第四列中列出。如下計算模式模型c與模式模型d之間的連結強度linking—strength(c，d) = 200/min(2000，600) = 200/600 = 0.333表權利要求
1.一種用於更新場景模型的計算機實現方法，包括以下步驟 通過修改與第一視覺元素相關聯的第一模式模型和與第二視覺元素相關聯的第二模式模型之間的關係來更新用於圖像序列中的對象檢測的場景模型，所述更新包括 確定所述第一模式模型與所述第二模式模型之間的同現度； 根據所述第一模式模型與所述第二模式模型之間的同現度的確定來修改所述第一模式模型與所述第二模式模型之間的關係；和 基於所述第一模式模型與所述第二模式模型之間的修改的關係來更新所述場景模型。
2.根據權利要求I所述的方法，還包括以下步驟 在以下情況下將所述第二模式模型與所述第一模式模型相關聯 (a)所述同現度是所述第一模式模型與第二視覺元素模型中的多個模式模型之間的第一組同現度中的最大值；和 (b)所述同現度是所述第二模式模型與第一視覺元素模型中的多個模式模型之間的第二組同現度中的最大值。
3.根據權利要求I所述的方法，還包括在以下情況下將所述第二模式模型選擇為用於所述第二視覺元素的場景模式模型的步驟所確定的與所述第一模式模型的同現度是所述第一模式模型與第二視覺元素模型中的多個模式模型之間的一組同現度中的最大值，所述第一模式模型是用於所述第一視覺元素的場景模式模型。
4.根據權利要求3所述的方法，還包括基於用於所述第一視覺元素的所述場景模式模型和所選第二模式模型來構造所述圖像序列的場景的步驟。
5.根據權利要求2所述的方法，還包括以下步驟 確定所述第一模式模型和所述第二模式模型的類別；其中， 所述修改的步驟根據所述類別的確定來修改所述第一模式模型與所述第二模式模型之間的關係。
6.根據權利要求2所述的方法，其中，所述第一模式模型和所述第二模式模型與所述場景模型中的空間相鄰的視覺元素相關聯。
7.根據權利要求3所述的方法，還包括以下步驟 確定所述第一模式模型和所述第二模式模型的類別；其中， 所述修改的步驟根據所述類別的確定來修改所述第一模式模型與所述第二模式模型之間的關係。
8.根據權利要求3所述的方法，其中，所述第一模式模型和所述第二模式模型與所述場景模型中的空間相鄰的視覺元素相關聯。
9.根據權利要求7所述的方法，其中，所述修改步驟取決於共享共同類別的第一模式模型和第二模式模型。
10.根據權利要求7所述的方法，其中，第一模式模型和第二模式模型中的每個的所述類別是前景和背景之一。
11.根據權利要求7所述的方法，其中，第一模式模型和第二模式模型中的每個的所述類別與成熟水平和最近行為中的至少一個相關。
12.根據權利要求I所述的方法，其中，第一模式模型與第二模式模型之間的關係與預定標準的計數相關。
13.根據權利要求12所述的方法，其中，對於空間相鄰的模式模型，保持所述預定標準的所述計數。
14.根據權利要求I所述的方法，其中，所述修改所述第一模式模型與所述第二模式模型之間的關係的步驟包括 在以下情況下將所述第二模式模型與所述第一模式模型相關聯 (a)所述同現度滿足所述第一模式模型與所述第二視覺元素模型中的多個模式模型之間的第一組同現度的第一預定標準；和 (b)所述同現度滿足所述第二模式模型與所述第一視覺元素模型中的多個模式模型之間的第二組同現度的第二預定標準。
15.根據權利要求14所述的方法，其中，所述第一預定標準和所述第二預定標準是以下中的至少一個 (a)同現度至少是第一組同現度和第二組同現度的最大值的預定分數； (b)同現度在第一組同現度和第二組同現度的最大值的預定閾值量內；和 (c)同現度至少位於排序的第一組同現度和第二組同現度的列表中的預定位置處。
16.根據權利要求4所述的方法，其中，遞歸地執行所述構造圖像序列的場景的步驟，以基於具有已知模式模型的多個視覺元素填補具有未知模式模型的多個視覺元素。
17.—種照相機系統,包括 光學系統； 傳感器； 控制器，所述控制器與所述光學系統和所述傳感器中的每個耦接以捕捉圖像序列，所述控制器包括處理器，所述處理器能夠操作用於 通過修改與第一視覺元素相關聯的第一模式模型和與第二視覺元素相關聯的第二模式模型之間的關係來更新用於圖像序列中的對象檢測的場景模型，所述處理器能夠操作以通過如下方式更新場景模型 確定所述第一模式模型與所述第二模式模型之間的同現度； 根據所述第一模式模型與所述第二模式模型之間的同現度的確定來修改所述第一模式模型與所述第二模式模型之間的關係；和 基於所述第一模式模型與所述第二模式模型之間的修改的關係來更新所述場景模型。
18.根據權利要求17所述的照相機系統，其中，所述處理器還能夠操作以通過如下方式修改所述第一模式模型與所述第二模式模型之間的關係 在以下情況下將所述第二模式模型與所述第一模式模型相關聯 (a)所述同現度是所述第一模式模型與所述第二視覺元素模型中的多個模式模型之間的第一組同現度中的最大值；和 (b)所述同現度是所述第二模式模型與第一視覺元素模型中的多個模式模型之間的第二組同現度中的最大值。
19.根據權利要求17所述的照相機系統，其中，所述處理器進一步能夠操作以通過如下方式修改所述第一模式模型與所述第二模式模型之間的關係 在以下情況下將所述第二模式模型選擇為用於所述第二視覺元素的場景模式模型所確定的與所述第一模式模型的同現度是所述第一模式模型與所述第二視覺元素模型中的多個模式模型之間的一組同現度的最大值，所述第一模式模型是用於所述第一視覺元素的場景模式模型；以及 所述處理器進一步能夠操作用於 基於所述第一視覺元素的場景模式模型和所選第二模式模型來構造所述圖像序列的場景。
20.一種用於更新場景模型的系統，所述系統包括 用於通過修改與第一視覺元素相關聯的第一模式模型和與第二視覺元素相關聯的第二模式模型之間的關係來更新用於圖像序列中的對象檢測的場景模型的裝置，包括 用於確定所述第一模式模型與所述第二模式模型之間的同現度的裝置； 用於根據所述第一模式模型與所述第二模式模型之間的同現度的確定來修改所述第一模式模型與所述第二模式模型之間的關係的裝置；和 用於基於所述第一模式模型與所述第二模式模型之間的修改的關係來更新所述場景模型的裝置。
21.一種在用於圖像序列中的對象檢測的場景模型中將第一視覺元素模型中的第一模式模型與從第二視覺元素模型中的多個模式模型中選擇的第二模式模型相關聯的計算機實現方法，所述方法包括以下步驟 識別所述第一模式模型與所述第二模式模型之間的關係的強度；和 基於所述關係將所述第一模式模型與所述第二模式模型關聯。
22.根據權利要求21所述的方法，其中，所述關聯的步驟在以下情況下將所述第一模式模型與所述第二模式模型相關聯 (a)所述第一模式模型與所述第二模式模型之間的關係的強度滿足所述第一模式模型與第二視覺元素模型中的所述多個模式模型之間的第一組關係強度的第一預定標準；和 (b)所述第一模式模型與所述第二模式模型之間的關係的強度滿足所述第二模式模型與第一視覺元素模型中的一個或更多個模式模型之間的第二組關係強度的第二預定標準。
23.根據權利要求21所述的方法，其中，所述關聯的步驟在以下情況下將所述第一模式模型與所述第二模式模型相關聯 所述關係強度是所述第一模式模型與所述第二視覺元素模型中的多個模式模型之間的一組關係強度中的最大值，所述第一模式模型是用於所述第一視覺元素的場景模式模型；和 將相關聯的第二模式模型選擇為用於所述第二視覺元素的場景模式模型。
24.根據權利要求23所述的方法，還包括以下步驟 基於所述第一場景模式模型與所選第二模式模型來重構所述圖像序列的場景。
25.根據權利要求22所述的方法，其中，通過修改所述第一模式模型與所述第二模式模型之間的關係的強度來更新所述用於圖像序列中的對象檢測的場景模型，所述更新的步驟包括以下步驟 確定所述第一模式模型與所述第二模式模型之間的同現度； 根據所述第一模式模型與所述第二模式模型之間的同現度的確定，來修改所述第一模式模型與所述第二模式模型之間的關係的強度；和 基於所述第一模式模型與所述第二模式模型之間的修改的關係的強度來更新所述場景模型。
26.根據權利要求24所述的方法，其中，通過修改所述第一模式模型與所述第二模式模型之間的關係的強度來更新所述用於圖像序列中的對象檢測的場景模型，所述更新的步驟包括以下步驟 確定所述第一模式模型與所述第二模式模型之間的同現度； 根據所述第一模式模型與所述第二模式模型之間的同現度的確定來修改所述第一模式模型與所述第二模式模型之間的關係的強度；和 基於所述第一模式模型與所述第二模式模型之間的修改的關係的強度來更新所述場景模型。
27.根據權利要求25所述的方法，還包括 確定所述第一模式模型和所述第二模式模型的類別；其中， 所述修改步驟根據所述類別的確定來修改所述第一模式模型與所述第二模式模型之間的關係。
28.根據權利要求25所述的方法，其中，所述第一模式模型和所述第二模式模型與所述場景模型中的空間相鄰的視覺元素相關聯。
29.根據權利要求26所述的方法，還包括以下步驟 確定所述第一模式模型和所述第二模式模型的類別；其中， 所述修改步驟根據所述類別的確定來修改所述第一模式模型與所述第二模式模型之間的關係。
30.根據權利要求26所述的方法，其中，所述第一模式模型和所述第二模式模型與所述場景模型中的空間相鄰的視覺元素相關聯。
全文摘要
本申請涉及更新場景模型的方法和系統、使用該方法的照相機系統。本文公開一種通過定義與用於視頻序列中的對象檢測的場景模型(230)的不同視覺元素相關的模式模型對之間的關係來更新所述場景模型(230)的系統和方法。所述方法包括以下步驟根據預定標準確定所述模式模型對彼此是否具有時間相關性(745)；確定所述模式模型對中的每個模式模型的類別(740)；根據時間相關性的確定和類別的確定來修改所述模式模型對之間的關係(760)；並基於修改的關係來更新場景模型(770)。
文檔編號G06T7/20GK102708572SQ20111043675
公開日2012年10月3日 申請日期2011年12月23日 優先權日2010年12月23日
發明者P·J·帕庫洛斯基 申請人:佳能株式會社