用於對象跟蹤和徘徊檢測的方法和設備的製作方法
2023-09-11 03:24:55 2
專利名稱：用於對象跟蹤和徘徊檢測的方法和設備的製作方法
技術領域：
與示例性實施例一致的設備和方法涉及視頻監控，更具體地講，涉及對象跟蹤和徘徊檢測。
背景技術：
網絡監控系統通常使用相機來獲得輸入圖像。相機的示例包括箱式相機和平移/ 傾斜/變焦(PTZ)型相機。箱式相機通常從固定型位置發送固定圖像場景。因此，在使用箱式相機發送的圖像場景中，用戶可通過線條繪製多邊形來指定在固定圖像場景中的用於對象跟蹤和徘徊檢測的感興趣區域。PTZ型相機通過執行平移/傾斜/變焦功能來發送運動圖像場景。因此，當使用 PTZ型相機時，用戶需要在每次執行平移/傾斜/變焦功能時指定感興趣區域。此外，為了在沒有預設感興趣區域的圖像場景中執行對象跟蹤和徘徊檢測，在每次執行平移/傾斜/ 變焦功能時需要用戶手動的線條繪製操作。如果省略手動操作，則在PTZ型相機中，通過針對在未定義預設區域中產生的所有對象的全範圍搜索來執行對象跟蹤和徘徊檢測，或者根本不執行對象跟蹤和徘徊檢測。此外，在根據現有技術的用於對象跟蹤和徘徊檢測的MPEG或H. 264格式中，圖像中的運動對象的運動被簡單地二維表示，因此，難以表現運動對象的旋轉、消失、重疊、大小轉換等。此外，當圖像中包括大量對象時，運動預測和補償計算的量急劇地增加。為了解決上述問題，現有技術的視頻圖像編解碼器的宏塊大小被進一步分割，或者運動搜索範圍被擴大或基於像素的搜索區域被分割以進行搜索。然而，最終沒有執行全搜索，從而在搜索期間仍然產生局部誤差。
發明內容
一個或多個實施例提供用於對象跟蹤和徘徊檢測的方法和設備，其中，通過使用對輸入圖像進行小波變換獲得的頻率信息和分形仿射變換的分形仿射係數信息來執行運動矢量功能。因此，可解決現有技術的基於MPEG和H.沈4的編解碼器的問題。此外，通過使用分形仿射係數信息，可執行自動對象跟蹤和徘徊檢測。根據示例性實施例，提供一種用於對象跟蹤和徘徊檢測的設備，包括小波變換器，根據頻帶和解析度將輸入圖像轉換為頻域的圖像，以產生頻域圖像，並劃分頻域圖像； 運動估計單元，從頻域圖像提取包括關於輸入圖像的基本信息的對象信息，並對對像信息執行分形仿射變換；運動補償單元，通過使用通過分形仿射變換獲得的係數，來補償關於先前圖像的對象信息和輸入圖像的對象信息之間的差。
所述設備還可包括路線路徑分析單元，通過使用關於輸入圖像的對象信息和所述係數來檢測對象的多條路線路徑，並基於所述多條路線路徑中的每條路線路徑的出現頻率來設置輸入圖像的感興趣區域(ROI)作為搜索區域。所述設備還可包括對象跟蹤和徘徊檢測單元，跟蹤在輸入圖像的ROI中出現的
另一對象。根據示例性實施例的另一方面，提供一種視頻分析系統，包括小波變換器，根據頻帶和解析度將輸入圖像轉換為頻域的圖像，以產生頻域圖像，並劃分頻域圖像；運動估計單元，對頻域圖像執行分形仿射變換；運動補償單元，通過使用通過分形仿射變換獲得的係數，來補償先前圖像和輸入圖像之間的差，路線路徑分析單元，通過使用輸入圖像和所述係數來設置對象的多條路線路徑，並基於所述多條路線路徑中的每條路線路徑的出現頻率來設置輸入圖像的感興趣區域(ROI)作為搜索區域；對象跟蹤和徘徊檢測單元，跟蹤在輸入圖像的ROI中出現的另一對象。根據示例性實施例的一方面，提供一種用於執行對象跟蹤和徘徊檢測的方法，所述方法包括通過根據頻帶和解析度將輸入圖像轉換為頻域的圖像以產生頻域圖像並劃分頻域圖像，來對輸入圖像進行小波變換；從頻域圖像提取包括關於輸入圖像的基本信息的對象信息；對對圖像信息執行分形仿射變換；通過使用通過分形仿射變換獲得的係數，來補償關於先前圖像的對象信息和關於輸入圖像的對象信息之間的差。根據示例性實施例的另一方面，提供一種用於執行對象跟蹤和徘徊檢測的方法， 所述方法包括通過根據頻帶和解析度將輸入圖像轉換為頻域的圖像以產生頻域圖像並劃分頻域圖像，來對輸入圖像進行小波變換；通過對頻域圖像執行分形仿射變換來估計運動； 通過使用通過分形仿射變換獲得的係數，補償先前圖像和輸入圖像之間的差，來補償運動； 通過使用輸入圖像和所述係數設置對象的多條路線路徑，並基於所述多條路線路徑中的每條路線路徑的出現頻率設置輸入圖像的感興趣區域(ROI)作為搜索區域，來分析路線路徑；跟蹤在輸入圖像的ROI中出現的另一對象。
通過參照附圖詳細描述示例性實施例，上述和其他方面將會變得更清楚，其中圖1是用於對象跟蹤和徘徊檢測的現有技術的視頻解析/分析系統的內部結構圖；圖2A和圖2B示出根據示例性實施例的在其中執行對象跟蹤的圖像的示例；圖3是根據示例性實施例的用於自動對象跟蹤和徘徊檢測的系統的內部結構圖；圖4A至圖4D示出根據示例性實施例的小波變換；圖5示出根據示例性實施例的通過小波變換轉換到各種頻率級的圖像；圖6示出根據示例性實施例的關於頻率塊的大小轉換、旋轉轉換和縮放轉換。
具體實施例方式現在將參照附圖更全面地描述本發明構思，本發明的示例性示例顯示在附圖中。 描述以及附圖用於理解根據示例性實施例的操作，並且可省略可由本領域普通技術人員容易地實現的部分。
提供詳細描述和附圖不是為了限制性目的，本發明構思的範圍由權利要求限定。 這裡使用的術語應該被解釋為不脫離本發明構思的精神和範圍的含義和概念，並且以最合適的方式描述本發明構思。對象跟蹤方法是指提取圖像中對象的運動並連續地跟蹤對象的位置。對象徘徊檢測方法是指檢測預定區域中的對象連續徘徊的運動路徑。通過使用對象徘徊檢測方法，可監控預定區域中的入侵者，以防止發生犯罪行為。圖1是用於對象跟蹤和徘徊檢測的現有技術的視頻解析系統的內部結構圖。視頻解析系統包括視頻圖像壓縮單元110和視頻分析單元120。如圖1所示，除了接收相同的輸入圖像SlOO之外，視頻圖像壓縮單元110和視頻分析單元120不進行交互。詳細地講，即使視頻圖像壓縮單元110的運動估計單元(ME) 111和運動補償(MC) 單元112提取運動矢量和運動信息，視頻分析單元120也具有標號130指示的執行相同功能或相似功能的單元，如ME單元131和MC單元132。因此，會發生實現網絡片上系統(SoC) 或專用集成電路(ASIC)時成本的增加、過度的數據流量和重複的邏輯實現。此外，與視頻分析單元120的ME單元131和MC單元132的執行結果分開進行徘徊檢測，從而實現系統的成本會增加。此外，視頻分析單元120的ME單元131和MC單元132基於跟蹤MPEG-4或H. 264 格式的二維OD)坐標來提取運動矢量，如同視頻圖像壓縮單元110的ME單元111和MC單元112的情況，並且不能有效地響應對象的位置移動、旋轉轉換、大小轉換、消失、重疊等， 因此在對象跟蹤和徘徊檢測期間會產生問題。圖2A和圖2B示出根據示例性實施例的在其中執行對象跟蹤的圖像的示例。在如圖1所示的現有技術的視頻解析系統中，諸如MPEG-4或H. 264的視頻圖像壓縮方法用於執行對象跟蹤和徘徊檢測，以獲得ME和MC。在上述視頻圖像壓縮方法中，為了對象跟蹤和徘徊檢測，在將被用戶監控的圖像中設置感興趣區域(R0I)210。然後，選擇並跟蹤ROI 210中的對象220。然而，在上述對象跟蹤方法中，如果如圖2B所示在ROI中隨機和頻繁地產生多個對象，則基於運動矢量來跟蹤產生的多個對象中的每個對象。此外，跟蹤需要進行到所有產生的對象都消失，或者進行預定時間段，因此，關於多個對象中的每個對象的跟蹤信息(例如，運動矢量歷史)需要被連續地保持。因此，在基於MPEG-4或H. 264格式的視頻圖像壓縮方法中，如果對象的數量增加， 則計算的數量急劇增加。計算的急劇增加導致實現系統的成本增加。此外，在基於MPEG-4或H. 264格式的視頻圖像壓縮方法中，基於2D運動執行ME/ MC，因此，關於三維(3D)運動的精確跟蹤(諸如位置移動、旋轉轉換、大小轉換、消失、重疊等)很困難。圖3是根據示例性實施例的用於自動對象跟蹤和徘徊檢測的系統的內部結構圖。在根據當前示例性實施例的用於自動對象跟蹤和徘徊檢測的系統中，關於小波變換的圖像的頻率信息和關於分形仿射變換的分形仿射係數的信息可用於執行運動矢量功能。因此，可執行關於3D運動精確跟蹤(諸如位置移動、旋轉轉換、大小轉換、消失、重疊等)，並且可解決使用現有技術的視頻圖像編解碼器執行基於2D運動的ME/MC時引起的問題。根據當前示例性實施例的用於自動對象跟蹤和徘徊檢測的系統包括圖像大小調整器310、小波變換器320、ME/MC單元330、對象資料庫(0bject_DB) 331、路線路徑分析單元340和對象跟蹤和徘徊檢測單元350。圖像大小調整器310根據輸入圖像信號產生具有不同解析度的各種圖像。具有不同解析度的圖像的示例是D1、通用中間格式(CIF)、四分之一通用中間格式OiCIF)等。接下來，圖像大小調整器310僅輸出一個產生的圖像。例如，僅有CIF解析度圖像，而不是D1、 CIF或QCIF解析度圖像被輸出。根據當前示例性實施例，不針對所有多個解析度的信號(例如，DU CIF和QCIF) 執行頻率轉換和運動信息提取。根據當前示例性實施例，到頻域的信號轉換和運動信息的提取僅通過小波變換執行一次，以獲得具有多個解析度的輸出圖像。例如，根據當前示例性實施例，當通過小波變換針對一個解析度(例如，CIF)執行頻率轉換時，小波變換的CIF解析度圖像的對象和運動頻率值加倍，從而獲得具有CIF解析度圖像的四倍解析度的Dl圖像。可選擇地，小波變換的CIF解析度圖像的對象和運動頻率值減半，從而獲得QCIF解析度圖像，其具有CIF解析度圖像的四分之一解析度。小波變換器320通過縮放和移動根據頻帶和解析度來劃分輸入圖像。例如，當接收到圖像大小調整器310輸出的CIF解析度圖像時，小波變換器320將CIF解析度圖像小波變換為具有CIF頻率的圖像。小波變換器320根據頻率範圍劃分輸入圖像，因此，可將坐標轉換、旋轉轉換、大小轉換等應用到具有不同頻率範圍的圖像。根據當前示例性實施例，分形線性仿射變換用於執行大小轉換、旋轉轉換和縮放轉換。因此，通過使用執行分形線性仿射變換計算的分形仿射係數信息，可檢測先前幀和當前幀之間的差。ME/MC單元330從由小波變換的頻率信號配置的圖像提取與輸入圖像相似的塊。 以下，將該塊稱為對象信息。對象信息是指輸入圖像的塊的數據，所述輸入圖像在小波變換期間在垂直方向和水平方向上通過低帶通濾波器，並包括關於輸入圖像的基本信息。參照圖4D，關於與原始圖像相似的塊450的信息對應於圖像信息。圖4A至圖4C示出提取對象信息的方法。接下來，計算提取的對象信息和存儲在0bject_DB 331中的關於先前幀的對象信息之間的差。0bject_DB 331可包括從輸入圖像的每個幀提取的對象信息、對象ID、關於先前幀的小波頻率信息或分形仿射係數信息。如果兩條對象信息之間的差等於或小於預先設置的閾值，則通過使用分形仿射係數將該差存儲在0bject_DB 331中。因此，可以以上述方式執行當前幀和先前幀之間的運動補償。當兩條對象信息之間的差大於預先設置的閾值時，丟棄從當前幀提取的對象信息。例如，當在圖像中跟蹤特定對象並且障礙物在該對象之前突然通過時，會發生這種情況。通過重複上述操作，0bject_DB 331中的對象信息和分形仿射係數信息被累積地更新，因此，也可累積對象的運動路徑。此外，通過使用分形仿射係數信息，當與先前幀比較時，可檢測當前幀中的對象的運動。因此，可通過每個對象的對象信息和分形仿射係數信息簡單地表現所有對象的運動。 路線路徑分析單元340通過使用存儲在Ob ject_DB 331中的對象信息和分形仿射係數信息，確定對象的路線路徑以及在每條路線路徑的出現頻率。接下來，基於每條路線路徑的出現頻率來定義感興趣區域(ROI)。如果新的對象出現在圖像中，則對象跟蹤和徘徊檢測單元350確定該對象是否在由路線路徑分析單元340定義的ROI中。如果該對象在ROI中，則自動跟蹤該對象。此外， 關於該對象的跟蹤信息被自動地存儲在0bject_DB331中。圖4A至圖4D示出根據示例性實施例的小波變換。根據當前示例性實施例，用於自動對象跟蹤和徘徊檢測的系統通過小波變換僅執行一次頻帶上的信號轉換和運動信息的提取，以獲得具有多個解析度的輸出圖像，因此，與針對多個解析度的每個解析度的信號執行頻帶上的信號轉換和運動信息的提取的系統相比，可顯著減少處理時間和工作量。將參照圖4A至圖4C詳細描述小波變換的方法。小波變換的第一圖像數據首先轉換為四個子圖像。即，關於第一圖像數據，產生LL 塊410、HL塊420、LH塊430、HH塊440，其中，通過將低帶通濾波器在水平方向和垂直方向上應用到第一圖像數據產生LL塊410;通過將高帶通濾波器在垂直方向上應用到第一圖像數據，將低帶通濾波器在水平方向上應用到第一圖像數據產生HL塊420 ；通過將高帶通濾波器在水平方向上應用到第一圖像數據，將低帶通濾波器在垂直方向上應用到第一圖像數據產生LH塊430 ；通過將高帶通濾波器在垂直方向上和水平方向應用到第一圖像數據產生 HH 塊 440。HL塊420包括垂直方向上的頻率誤差分量，從而具有清晰的水平邊界，LH塊430 包括水平方向上的頻率誤差分量，從而具有清晰的垂直邊界。此外，HH塊440具有清晰的對角邊界。此外，將低帶通濾波器在水平方向和垂直方向上應用到LL塊410，從而在LL塊 410中產生與第一圖像相似的圖像。此外，LL塊410包括第一圖像的基本信息。通過重複地濾波近似圖像，即LL塊410，可執行第一圖像數據到各種頻率級的塊的頻率轉換。用於小波變換的基函數Ψ^α)如下等式1所示。[等式1]Ψ^,α) = 2]/2Ψ (2Jt-k)可通過使用基函數，由以下等式2來表示輸入圖像信號f(t)。在等式1中，t表示時間，j表示縮放參數，k表示與時間軸相應的運動參數。[等式2]
權利要求
1.一種用於對象跟蹤和徘徊檢測的設備，包括圖像大小調整器，基於輸入圖像產生具有不同解析度的多個圖像；小波變換器，根據頻帶將具有不同解析度的多個圖像中的一個圖像轉換為頻域的圖像，以產生頻域圖像；運動估計單元，從頻域圖像提取包括關於輸入圖像的基本信息的對象信息，並對對像信息執行分形仿射變換；運動補償單元，通過使用通過分形仿射變換獲得的係數，補償關於先前圖像的對象信息和輸入圖像的對象信息之間的差。
2.如權利要求1所述的設備，還包括路線路徑分析單元，通過使用關於輸入圖像的對象信息和所述係數來設置對象的多條路線路徑，並基於所述多條路線路徑中的每條路線路徑的出現頻率來設置輸入圖像的感興趣區域ROI作為搜索區域。
3.如權利要求2所述的設備，還包括對象跟蹤和徘徊檢測單元，跟蹤在輸入圖像的 ROI中出現的另一對象。
4.如權利要求1所述的設備，其中，對象信息包括通過使用小波變換器將低帶通濾波器在垂直方向上和水平方向上應用到輸入圖像產生的數據。
5.如權利要求1所述的設備，其中，輸入圖像僅以一個解析度構成。
6.一種視頻分析系統，包括圖像大小調整器，基於輸入圖像產生具有不同解析度的多個圖像；小波變換器，根據頻帶將具有不同解析度的多個圖像中的一個圖像轉換為頻域的圖像，以產生頻域圖像；運動估計單元，對頻域圖像執行分形仿射變換；運動補償單元，通過使用通過分形仿射變換獲得的係數，補償先前圖像和輸入圖像之間的差，路線路徑分析單元，通過使用輸入圖像和所述係數來設置對象的多條路線路徑，並基於所述多條路線路徑中的每條路線路徑的出現頻率來設置輸入圖像的感興趣區域ROI作為搜索區域；對象跟蹤和徘徊檢測單元，跟蹤在輸入圖像的ROI中出現的另一對象。
7.如權利要求6所述的視頻分析系統，其中，運動估計單元僅對頻域圖像的信息中關於與輸入圖像的數據相應的頻域圖像的塊的信息執行分形仿射變換，其中，通過使用小波變換器在垂直方向上和水平方向上應用低帶通濾波器來轉換輸入圖像的頻率。
8.如權利要求6所述的視頻分析系統，還包括對象資料庫，存儲關於對象的信息和通過分形仿射變換獲得的係數。
9.如權利要求8所述的視頻分析系統，其中，如果先前圖像和輸入圖像之間的差超過預先設置的閾值，則對象資料庫丟棄關於輸入圖像的信息。
10.如權利要求6所述的視頻分析系統，其中，輸入圖像僅以一個解析度構成。
11.一種用於執行對象跟蹤和徘徊檢測的方法，所述方法包括基於輸入圖像產生具有不同解析度的多個圖像；根據頻帶將具有不同解析度的多個圖像中的一個圖像小波變換為頻域的圖像，以產生頻域圖像；從頻域圖像提取包括關於輸入圖像的基本信息的對象信息；對對圖像信息執行分形仿射變換；通過使用通過分形仿射變換獲得的係數，補償關於先前圖像的對象信息和關於輸入圖像的對象信息之間的差。
12.如權利要求11所述的方法，還包括通過使用關於輸入圖像的對象信息和所述係數來檢測對象的多條路線路徑；基於所述多條路線路徑中的每條路線路徑的出現頻率來設置輸入圖像的感興趣區域 ROI作為搜索區域。
13.如權利要求12所述的方法，還包括跟蹤在輸入圖像的ROI中出現的另一對象。
14.如權利要求11所述的方法，其中，對象信息包括通過將低帶通濾波器在垂直方向上和水平方向上應用到輸入圖像產生的數據。
15.如權利要求11所述的方法，其中，輸入圖像僅以一個解析度構成。
16.一種執行對象跟蹤和徘徊檢測的方法，所述方法包括基於輸入圖像產生具有不同解析度的多個圖像；根據頻帶將具有不同解析度的多個圖像中的一個圖像小波變換為頻域的圖像，以產生頻域圖像；通過對頻域圖像執行分形仿射變換來估計運動；通過使用通過分形仿射變換獲得的係數，補償先前圖像和輸入圖像之間的差，來補償運動；通過使用輸入圖像和所述係數設置對象的多條路線路徑，並基於所述多條路線路徑中的每條路線路徑的出現頻率設置輸入圖像的感興趣區域ROI作為搜索區域，來分析路線路徑；跟蹤在輸入圖像的ROI中出現的另一對象。
17.如權利要求16所述的方法，其中，在估計運動的步驟中，僅對頻域圖像的信息中關於與輸入圖像的數據相應的頻域圖像的塊的信息執行分形仿射變換，其中，通過使用小波變換器在垂直方向上和水平方向上應用低帶通濾波器來轉換輸入圖像的頻率。
18.如權利要求16所述的方法，還包括存儲關於對象的信息和通過分形仿射變換獲得的係數。
19.如權利要求18所述的方法，還包括如果先前圖像和輸入圖像之間的差超過預先設置的閾值，則丟棄關於輸入圖像的信息。
20.如權利要求16所述的方法，其中，輸入圖像僅以一個解析度構成。
全文摘要
提供一種用於對象跟蹤和徘徊檢測的方法和設備。所述方法包括通過將輸入圖像轉換為頻域的圖像以產生頻域圖像並根據頻帶和解析度劃分頻域圖像，來對輸入圖像進行小波變換；從頻域圖像提取包括關於輸入圖像的基本信息的對象信息；對對圖像信息執行分形仿射變換；通過使用通過分形仿射變換獲得的係數，補償關於先前圖像的對象信息和關於輸入圖像的對象信息之間的差。
文檔編號H04N7/26GK102215397SQ20101055213
公開日2011年10月12日 申請日期2010年11月17日 優先權日2010年4月2日
發明者李在薰 申請人:三星泰科威株式會社