用於產生和/或更新背景對象模型的紋理的方法、用於實施所述方法的視頻監視系統以及...的製作方法

2023-05-07 04:19:51

專利名稱：用於產生和/或更新背景對象模型的紋理的方法、用於實施所述方法的視頻監視系統以及 ...的製作方法
技術領域：
本發明涉及一種用於產生和/或更新具有背景對象的監視場景的三維場景模型 中的背景對象模型的紋理的方法以及用於實施該方法的控制裝置和視頻監視系統以及一 電腦程式。
現有技術視頻監視系統用於攝像機支持地控制重要相關區域並且通常包括多個監視攝像 機，這些監視攝像機安裝在重要相關區域處以攝取監視場景。這些監視場景例如可以是停 車場、交叉路口、街道、廣場，但也可以是建築物、工廠、醫院等等中的區域。由監視攝像機攝 取的圖像數據流匯集在一個監視中心中，在所述監視中心處這些圖像數據流或者被自動地 分析處理或者通過監視人員來分析處理。但是，所表示的監視場景的圖像質量由於光線變化、天氣影響或者監視攝像機的 汙染有時被分級為不合格，由此使通過監視人員手動分析處理的工作變得困難。為了簡化監視人員的工作並且同時改進監視質量，例如德國公開文獻DE 10001252A1提出了一種監視系統，該監視系統通過面向對象的表示實現了監視系統的更高 效的工作。為此，用於各被選取的視點的攝像機信號被分解成一些對象並且隨後被傳輸給 一個顯示裝置，其中添加人工對象並且刪除其它對象。

發明內容
在本發明的範疇內提出一種具有權利要求1的特徵的、用於產生和/或更新三維 場景模型中的背景對象模型的紋理的方法，一種具有權利要求10的特徵的、用於實施所述 方法的控制裝置，一種根據權利要求11的視頻監視系統以及一種具有權利要求12的特徵 的電腦程式。本發明的優選或有利的實施形式由從屬權利要求、隨後的說明書或者附圖得出。本發明提供了一種可能性，S卩，監視場景能夠以三維場景模型的形式至少部分地 表示為虛擬的現實或者部分虛擬的現實，其中，可以通過產生和/或更新所述三維場景模 型中的背景對象模型的紋理來實現監視場景的特別接近現實的表示。通過監視場景一方面 被虛擬地表示而另一方面被非常接近現實地表示，監視人員可以非常簡單地並且由此不易 出錯地在對監視場景的實際觀察與對虛擬的三維場景模型的觀察之間進行轉換。總的來說，所述方法允許具有背景對象的特別真實的監視場景映射到具有背景對 象模型的三維場景模型上，所述背景對象模型具有接近現實的紋理。如開始部分所述，監視 場景可以是街道、交叉路口、廣場或者建築物、車間、監獄、醫院等等中的區域。背景對象優選定義為靜態的和/或準靜態的對象，這些對象不變化或僅僅緩慢地 變化並且映射到背景對象模型上。典型的靜態對象是建築物、樹木、牌子等等。例如陰影、 停著的汽車等屬於準靜態的對象。在監視場景中，靜態的對象具有優選多於幾個月的停留時間，準靜態的對象相反具有優選多於一天或幾天的停留時間。三維場景模型包括一些被分別構造為三維模型的背景對象模型。例如三維場景模 型被構造為「可通行的」，從而使用者可以在三維場景模型中在背景對象模型之間運動和/ 或可以改變視點，其方式是，視向或視角是可調節的。尤其是，在三維場景模型中保存背景 對象模型的景深信息和/或重疊等級(Z等級)。背景對象模型具有紋理，可選擇地，剩餘的背景具有紋理，其中紋理被優選構造為 背景對象的顏色、陰影部分、圖案和/或表面特徵。在一個方法步驟中，由監視場景的一個或多個攝像機圖像形成該監視場景的背景 圖像，其中，優選規定漸隱或者抑制前景對象或者其它的幹擾對象。可以在其強度上、即在 像素的列和行方面與攝像機圖像相同地構造背景圖像。替換地，背景圖像是一個或多個攝 像機圖像的一部分。背景圖像也可能具有任意的邊緣輪廓變化，使得例如一個背景圖像恰 好表示一個背景對象。在一個另外的方法步驟中，將背景圖像投影到場景模型上。在此，如此映射背景圖 像，使得背景對象的一個像點與背景對象模型的與之相應的模型點相一致。在此，也可以逐 像素地以映射規則的方式進行投影，其中優選僅映射那些相應的模型點可供使用的像點。在背景圖像投影到場景模型上或背景對象模型上之後，基於所投影的背景圖像產 生和/或更新背景對象模型的紋理。為此，例如從背景圖像中提取那些在投影之後與相應 的背景對象模型位置正確地對應的圖像區域並且將其用作紋理。可選擇地，分別藉助方位信息保存背景對象模型的紋理，從而可以在監視器等上 顯示場景模型時將這些紋理再次位置及投影正確地分布到背景對象模型上。總而言之，所述方法允許構建一個具有接近現實的紋理的三維場景模型，其中能 夠以有規律的或者無規律的間隔更新這些紋理。在本發明的一個優選實施形式中，通過長時間觀察、即多天觀察，通過在時間上的 濾波、即例如通過取平均值、滑動取平均值，或者通過前景對象的消除來形成背景圖像。也 可以形成多個攝像機圖像的中值或者剪切已知的對象。原則上可以使用用於建立背景圖像 的所有已知方法。在所述方法的一個優選的實現中，在使用監視攝像機的攝像機模型參數的情況下 進行背景圖像至場景模型的投影，所述背景圖像是從所述監視攝像機的視角建立的。通過 使用攝像機模型參數可以將監視場景的坐標系中的一個點投影到攝像機圖像的坐標系中， 反之亦然。替換所述攝像機模型也可以使用查找表，所述查找表提供監視場景的坐標系中 與監視攝像機的攝像機圖像中的每個像點相應的點。通過使用監視場景與攝像機圖像之間的對應規則可將由攝像機圖像產生的背景 圖像位置正確地和/或透視校正地投影到場景模型上，從而使錯誤對應最小化。在所述方法的工業應用中，背景圖像可選擇地、補充地由畸變進行校正，這些畸變 一方面可能由於監視攝像機系統中的成像誤差、例如作為光學成像誤差無意地產生，另一 方面也是有意的畸變，這些畸變例如由於360°攝像機或魚眼攝像機的使用而引入。在本發明的一個另外的優選實施形式中，檢測背景圖像和/或背景圖像的圖像區 域和/或背景圖像的像點、尤其是背景圖像的每個像點被其它靜態的或者準靜態的對象的 遮蔽。如果所述檢測表明所檢測的區域被一幹擾對象遮蔽，則捨棄這個像點。否則，所檢測的區域被用於產生和/或更新紋理。在本發明的一個另外的可能補充中，藉助於景深緩存器檢測背景對象模型的相互 遮蔽，其中，捨棄應與在相應的模型點的區域中被遮蔽的背景對象模型對應的像點。所述景 深緩存器例如基於由渲染(Rendering)已知的Z等級。在本發明的一個擴展構型中，基於多個攝像機圖像形成紋理，這些攝像機圖像來 自對監視場景具有共同視角的一個共同的監視攝像機或者對監視場景具有不同視角的一 些不同的監視攝像機。在此，將不同視角的攝像機圖像以已述的方式位置正確地投影到場 景模型上。在投影之後，不同背景圖像的屬於背景對象模型的一個共同的紋理點或者一個 共同的紋理的像點被分別融合。例如可以通過取平均值來進行所述融合。在本發明的一個 特別優選的擴展構型中例如進行待融合的像點的顏色均衡。可選擇補充地，尤其是為了覆蓋在由監視場景形成的監視區域中的空隙，從其它 的來源、例如航空攝影(Luftaufnahme)提取紋理信息。在所述方法的一個特別優選的實施形式中，在視頻監視系統的顯示單元、例如監 視器等中呈現具有紋理的背景對象模型，尤其如以下所述。本發明的另一主題是一種視頻監視系統，所述視頻監視系統與一個或多個監視攝 像機連接和/或可連接，並且所述視頻監視系統具有一個控制裝置，其特徵在於，所述控制 裝置在電路技術和/或程序技術上被構造用於實施以上所述的方法和/或如在前述權利要 求中所定義的方法。特別優選的是，所述視頻監視系統被如此構造，使得所述方法優選在背景中以周 期的間隔運行並且以此方式基於當前狀況處理紋理。在所述視頻監視系統中可以看到一個 特別的優點，即為了建立或更新紋理僅僅考慮靜態的和/或準靜態的場景背景。由此，視頻 圖像中的動態對象不出現在3D模型的靜態幾何結構的紋理中，否則可能導致將動態對象 錯誤表示為背景對象模型上的紋理，例如街道上或牆壁上的平的紋理。與此相反，動態對象 可單獨地——或者作為真實的成像或者作為虛擬的表示——漸顯在場景模型中，這導致可 信的或者接近現實的可視化。本發明的最後一個主題涉及具有程序代碼單元的電腦程式，以便當在一個計算 機和/或一個視頻監視系統上執行所述程序時實施所述方法的所有步驟。


本發明的其它特徵、優點和效果由以下對本發明的優選實施例的說明及附圖中得 出。附圖示出圖1 用於說明根據本發明的方法的第一實施例的流程圖；圖2 用於實施根據圖1的方法的視頻監視系統的框圖。
具體實施例方式作為本發明的實施例，圖1以示意性流程圖示出用於產生和/或更新三維場景模 型中的背景對象模型的紋理的方法的過程。使用來自監視攝像機10(圖2)的一個或多個視頻圖像1作為當前的輸入信息。在 第一方法步驟2中，所述視頻圖像1被轉化為具有背景像素的背景圖像。所述轉化藉助由圖像處理已知的方法進行，例如對多個視頻圖像1取平均值或取中值、剪切已知的對象、長 時間觀察等等。通過所述方法步驟產生一個背景圖像，所述背景圖像作為有效像點僅具有 來自一個或多個視頻圖像1的背景像素，以及可選擇地具有一些無效像點，這些無效像點 位於視頻圖像1的表示幹擾對象或前景對象的位置上。在第二方法步驟3中，將如此產生的背景圖像投影到場景模型上。所述場景模型 被構造為三維場景模型並且具有多個背景對象模型、例如典型地具有建築物、家具、街道或 其它固定對象的背景對象模型。在方法步驟3的範疇中，藉助於監視攝像機的攝像機模型 參數將圖像坐標系中背景圖像的像點投影到所述三維場景模型的各相應的點上，監視攝像 機提供了作為背景圖像基礎的視頻圖像1。可選擇補充地，在投影範疇內校正畸變、例如歪
曲絕
ttti 寸。在第三方法步驟4中，藉助於景深緩衝器從攝像機視點對遮蔽進行逐像點的檢 測。在此測試，通過方法步驟3投影到背景對象模型上的背景圖像的一個像點是否被當前 攝像機視點中的一個另外的背景對象模型和/或一個真實的、例如動態的對象遮蔽。如果 所述測試將所檢測的像點評價為被遮蔽，則捨棄並且不再使用所述像點。否則，所述像點、 即所投影的視頻像點或背景像點被用於紋理的建立和/或更新。在第四方法步驟5中，基於所傳遞的背景像點建立以及輸出紋理6。作為補充的措 施可以規定，在投影之後至少部分重疊並且因此涉及相同背景對象模型的相同區域的不同 背景圖像的多個像點被融合為一個共同的背景像點。在此，例如也可以進行顏色均衡。作 為另外的補充措施，尤其可以通過例如來自於航空攝影的靜態紋理來填充場景模型中可能 存在的空隙。圖2示出一個視頻監視系統100，該視頻監視系統被構造用於實施圖1中所述的方 法。該視頻監視系統與多個監視攝像機10在信號技術上無線連接或者有線連接並且例如 被構造為計算機系統。這些監視攝像機10對準重要相關的區域，這些區域顯示廣場、交叉 路口等形式的監視場景。監視攝像機10的圖像數據流被傳遞到背景模型20，該背景模型被構造用於實施 圖1中的第一方法步驟2。所產生的一個或多個背景圖像被繼續傳輸到投影模型30，該投 影模型被構造用於實施第二方法步驟3。為了對遮蔽進行控制，所投影的背景圖像被傳輸到 遮蔽模塊40，該遮蔽模塊被實現用於實施第三方法步驟4。在紋理模型50中，基於所檢測 的背景圖像建立或更新紋理6並且將所述紋理6傳遞給紋理存儲器60。基於所存儲的數據和三維場景模型，在顯示單元70、例如監視器上通過背景對象 模型呈現監視場景的虛擬表示，所述背景對象模型具有真實紋理。在所述虛擬表示中，可以 在監視場景中位置正確地並且接近現實地漸顯真實的對象、例如動態對象。
權利要求
用於產生和/或更新一具有背景對象的監視場景的三維場景模型中的背景對象模型的紋理(6)的方法，其中，由所述監視場景的一個或多個攝像機圖像(1)形成所述監視場景的一背景圖像(2)，其中，將所述背景圖像投影到所述場景模型上(3)，其中，基於所投影的背景圖像產生和/或更新所述背景對象模型的紋理(5)。
2.根據權利要求1所述的方法，其特徵在於，通過長時間觀察、濾波和/或通過前景對 象的消除形成所述背景圖像。
3.根據權利要求1或2所述的方法，其特徵在於，在使用一攝像機模型的情況下進行所 述背景圖像的投影。
4.根據以上權利要求中任一項所述的方法，其特徵在於，將所述背景圖像位置正確地 和/或透視校正地投影到所述場景模型上。
5.根據權利要求3或4所述的方法，其特徵在於，對所述背景圖像進行畸變校正。
6.根據以上權利要求中任一項所述的方法，其特徵在於，檢測一背景對象模型的、與所 述背景圖像和/或所述背景圖像的一圖像區域和/或所述背景圖像的一像點相對應的區域 被另外的背景對象模型的遮蔽(4)。
7.根據以上權利要求中任一項所述的方法，其特徵在於，基於多個攝像機圖像(1)形 成所述紋理(6)，這些攝像機圖像來自對所述監視場景的不同視角。
8.根據權利要求7所述的方法，其特徵在於，融合屬於一背景對象模型的一個共同的 紋理點或一個共同的紋理的不同背景圖像的像點。
9.根據以上權利要求中任一項所述的方法，其特徵在於，在一視頻監視系統(100)的 一顯示單元中呈現具有所述紋理的背景對象模型。
10.控制裝置(100)，其特徵在於，所述控制裝置(100)在電路技術上和/或程序技術 上被構造用於實施根據以上權利要求中任一項所述的方法。
11.視頻監視系統，所述視頻監視系統與一個或多個監視攝像機(10)連接或可連接， 其特徵在於，所述視頻監視系統具有一根據權利要求10所述的控制裝置(100)。
12.電腦程式，所述電腦程式具有程序代碼單元，以便在一計算機上和/或一根據 權利要求10所述的控制裝置上和/或一根據權利要求1 1所述的視頻監視系統上執行所 述程序時實施根據權利要求1至9中任一項所述的方法的所有步驟。
全文摘要
視頻監視系統用於攝像機支持地控制重要相關區域並且通常包括多個監視攝像機，這些攝像機安裝在這些重要相關區域中以攝取監視場景。這些監視場景例如可以是停車場、交叉路口、街道、廣場，但也可以是建築物、工廠、醫院等等中的區域。為了簡化監視人員對監視場景的分析，本發明提出至少在監視器上以具有背景對象模型的三維場景模型的形式顯示監視場景的背景作為虛擬實境。在本發明的範疇中提出一種用於產生和/或更新所述三維場景模型中的背景對象模型的紋理的方法，其中由監視場景的一個或多個攝像機圖像1形成監視場景的背景圖像，其中將所述背景圖像投影到場景模型上，其中基於所投影的背景圖像產生和/或更新所述背景對象模型的紋理。
文檔編號G06T15/04GK101999139SQ200880110901
公開日2011年3月30日 申請日期2008年9月11日 優先權日2007年10月11日
發明者D·約克爾, H-J·布施, S·海格爾 申請人:羅伯特·博世有限公司