基於車輛狀態分類的車輛跟蹤方法和裝置的製作方法
2023-12-10 02:33:21
專利名稱：基於車輛狀態分類的車輛跟蹤方法和裝置的製作方法
技術領域：
本發明涉及一種車輛跟蹤方法和裝置，尤其涉及一種基於車輛狀態分類的車輛跟蹤方法和裝置。
背景技術：
在基於視覺的車輛跟蹤領域，現有技術提出了很多跟蹤的方法，主要有模板匹配跟蹤方法(也稱為相關跟蹤)、基於特徵的跟蹤方法和光流法跟蹤方法。
模板匹配跟蹤方法是一種傳統的跟蹤方法，這種方法的思想是計算模板與匹配區域的相似程度，以最相似位置作為匹配點。模板匹配跟蹤方法的優點是穩定性好，原理簡單，可以解決車輛在正常狀態、被遮擋狀態下的跟蹤。它的缺點是算法的實時性差，而且當車輛圖像發生形變(如車輛拐彎時)或光照條件發生變化時，該方法的跟蹤效果不好。
基於特徵的跟蹤方法首先在一個圖像幀中選取一些車輛特徵，然後在以後各個圖像幀中利用一些約束條件尋找這些車輛特徵，並進行匹配。基於特徵的跟蹤方法的優點在於跟蹤速度快，但是當圖像幀中車輛特徵不明顯時，常常導致跟蹤失敗。
光流法跟蹤方法基於圖像幀上車輛的亮度模式不會隨著車輛的運動而改變的原理來跟蹤車輛，因此通過對前後圖像幀進行光流分析，能夠達到車輛檢測和跟蹤的目的。光流法跟蹤方法的優點在於車輛在圖像幀間的運動範圍的限制較少，可以處理車輛在圖像幀間位移較大的情況；其缺點是計算方法相當複雜且抗噪性能差，實時性差。
由上述可知，上面的各種跟蹤方法只能分別用於跟蹤處於某種特定情景中的車輛，但在實際情況中，車輛可能行駛在各種不同的情景中，上面的任何一種跟蹤方法都不能很好地很好地適用於各種情景。另外，當車輛處於進入隧道或者進入橋洞這種特殊的情景(車輛大部分特徵消失)時，上面的任何一種跟蹤方法不能很好地跟蹤車輛。
發明內容
本發明的一個目的是提出一種基於車輛狀態分類的車輛跟蹤方法和裝置，在該車輛跟蹤方法和裝置中，根據車輛的運行情景對車輛的運動狀態進行分類，並根據不同的狀態分類使用不同的跟蹤方法來跟蹤車輛。
本發明的另一個目的是提出一種基於車輛狀態分類的車輛跟蹤方法和裝置，該車輛跟蹤方法和裝置能夠很好地跟蹤行駛在陰影情景中的車輛。
為了實現本發明的目的，按照本發明的一種基於車輛狀態分類的車輛跟蹤方法，包括步驟(a)獲取一個圖像幀；(b)基於已跟蹤或檢測得到的車輛在以前圖像幀中的位置和大小信息，進行車輛運動估計以確定所述車輛在所述獲取的圖像幀中所處的可能區域；(c)確定所述車輛的狀態分類；(d)根據確定的所述車輛的狀態分類，使用相應的跟蹤方法來處理所述確定的可能區域，以確定所述車輛在所述獲取的圖像幀中的位置和大小；以及(e)輸出所述車輛在所述獲取的圖像幀中的位置和大小信息。
為了實現本發明的目的，按照本發明的一種基於車輛狀態分類的車輛跟蹤裝置，包括獲取單元，用於獲取一個圖像幀；區域確定單元，用於基於已跟蹤或檢測得到的車輛在以前圖像幀中的位置和大小信息，進行車輛運動估計以確定所述車輛在所述獲取的圖像幀中所處的可能區域；分類確定單元，用於確定所述車輛的狀態分類；
位置和大小確定單元，用於根據確定的所述車輛的狀態分類，使用相應的跟蹤方法來處理所述確定的可能區域，以確定所述車輛在所述獲取的圖像幀中的位置和大小；以及輸出單元，用於輸出所述車輛在所述獲取的圖像幀中的位置和大小信息。
與現有技術相比，由於本發明的車輛跟蹤方法和裝置根據車輛的不同行駛情景，例如被遮擋、到達邊界、進入陰影、處於機動或正常，選擇相應的跟蹤方法來跟蹤車輛，所以本發明的車輛跟蹤方法和裝置能夠很好地跟蹤在各種情景中行駛的車輛。
附圖簡述根據下面結合了附圖的詳細描述，本發明的這些和其它目的、優點和特徵將變得顯而易見。在附圖中
圖1是本發明的基於車輛狀態分類的車輛跟蹤方法流程圖；圖2是本發明的車輛狀態分類的處理流程圖；圖3是本發明的判斷車輛進入陰影的方法流程圖；圖4是本發明的車輛進入陰影的跟蹤方法流程圖；圖5是本發明的特徵還原跟蹤法的流程圖；圖6A-6D是本發明的用於說明特徵還原跟蹤法的圖像；圖7示出了利用本發明的基於車輛狀態分類的車輛跟蹤方法來跟蹤處於圖像邊界的車輛的結果；圖8示出了利用本發明的基於車輛狀態分類的車輛跟蹤方法來跟蹤被遮擋的車輛的結果；圖9示出了利用本發明的基於車輛狀態分類的車輛跟蹤方法來跟蹤進入橋洞陰影中的車輛的結果；圖10示出了利用本發明的基於車輛狀態分類的車輛跟蹤方法來跟蹤進入隧道陰影中的車輛的結果；圖11示出了本發明的基於車輛狀態分類的車輛跟蹤裝置。
發明詳述圖1是本發明的基於車輛狀態分類的車輛跟蹤方法流程圖。下面基於圖1的流程圖，以已經跟蹤得到車輛在第1-9幀圖像中的位置和大小等的信息，現在正準備跟蹤車輛在第10幀圖像中的位置和大小等的信息為例，詳細描述本發明的車輛跟蹤方法。
首先，從攝像機或圖像傳感器中讀入第10幀圖像(步驟S10)。然後，判斷在第1-9幀圖像中跟蹤或檢測得到的車輛中，哪些車輛是新出現車輛(即被跟蹤次數少於預定值的車輛)和哪些車輛是已存在車輛(被跟蹤次數大於或等於預定值的車輛)(步驟S20)。例如，可以將只在最近的兩幀圖像中才被跟蹤或檢測到的車輛定義為新出現車輛，而將在最近的三幀或三幀以上的圖像中被跟蹤或檢測到的車輛定義為已存在車輛。
對於新出現車輛，根據已經跟蹤或檢測得到的新出現車輛在圖像幀中的位置和大小信息，進行車輛運動估計以確定新出現車輛在第10幀圖像中所處的可能區域(步驟S30)。然後，使用基於特徵的跟蹤方法來處理該確定的可能區域，以確定新出現車輛在第10幀圖像中的位置和大小(步驟S40)。由於使用基於特徵的跟蹤方法來處理圖像幀是現有技術，所以本發明在此省略了其處理過程的詳細描述。最後，將確定的新出現車輛在第10幀圖像中的位置和大小信息作為跟蹤結果進行輸出(步驟S)。在本發明中，由於新出現車輛可用的歷史信息(位置和大小信息等)不多，因此只能使用相對簡單的基於特徵的跟蹤方法來跟蹤。
對於已存在車輛，根據已經跟蹤或檢測得到的已存在車輛在第1-9幀圖像中的位置和大小信息，進行車輛運動估計以確定已存在車輛在第10幀圖像中所處的可能區域(步驟S50)。
接著，根據已經跟蹤得到的已存在車輛在第1-9幀圖像中的位置和大小信息，確定已存在車輛的狀態分類(步驟S60)。
圖2是根據本發明的車輛狀態分類的處理流程圖。下面將基於圖2詳細描述如何確定已存在車輛的狀態分類。
如圖2所示，首先，根據已存在車輛在第9幀圖像中的位置和大小信息，確定每個已存在車輛在第9幀圖像中所佔據的圖像區域(步驟S600)。
然後，判斷每個已存在車輛所佔據的圖像區域是否被其他車輛所佔據的圖像區域遮擋(步驟S602)。若有已存在車輛其所佔據的圖像區域被其他車輛所佔據的圖像區域遮擋，則將該已存在車輛的狀態分類設定為遮擋狀態(步驟S604)，並輸出該已存在車輛的狀態分類結果((步驟S620)。
若已存在車輛所佔據的圖像區域沒有其他車輛所佔據的圖像區域遮擋，則然後判斷已存在車輛所佔據的圖像區域是否到達了第9幀圖像的邊界(步驟S606)。若有已存在車輛其所佔據的圖像區域已經到達了第9幀圖像的邊界，則將該已存在車輛的狀態分類設定為邊界狀態(步驟S608)，並輸出該已存在車輛的狀態分類結果。
若已存在車輛所佔據的圖像區域沒有到達第9幀圖像的邊界，則接著判斷已存在車輛是否已經被設置了已進入陰影的標(步驟S610)。若有已存在車輛被設置了已進入陰影的標誌，則將該已存在車輛的狀態分類設定為陰影狀態(步驟S612)，並輸出該已存在車輛的狀態分類結果(步驟S620)。
若已存在車輛沒有被設置已進入陰影的標誌，則判斷已存在車輛在第9幀圖像中的位置相對於其在以前圖像幀中的位置是否有顯著變化(步驟S614)，例如，已存在車輛在第9幀圖像中的位置是否遠離了其在以前圖像幀中的位置所形成的直線，或者，已存在車輛在第8幀和第9幀圖像中的位置變化量是否遠大於其在第7幀和第8幀圖像中的位置變化量。若有已存在車輛其在第9幀圖像中的位置相對於其在以前圖像幀中的位置有顯著變化，則將該已存在車輛的狀態分類設定為機動狀態(步驟S616)，並輸出該已存在車輛的狀態分類結果(步驟S620)。
若已存在車輛在第9幀圖像中的位置相對於其在以前圖像幀中的位置沒有顯著的變化，則將該已存在車輛的狀態分類設定為正常狀態(步驟S618)，並輸出該已存在車輛的狀態分類結果(步驟S620)。
上述就是本發明的車輛狀態分類的處理流程。
在確定出已存在車輛的狀態分類後，根據每個已存在車輛的狀態分類選擇相應的跟蹤方法來處理其在第10幀圖像中所確定的可能區域，以確定其在第10幀圖像中的位置和大小。
具體而言，當已存在車輛的狀態分類為遮擋狀態時，使用模板匹配跟蹤方法來跟蹤該已存在車輛在第10幀圖像中的位置和大小，跟蹤時只利用該車輛未被遮擋部分的模板(分塊的模板匹配跟蹤方法)(步驟S70)。由於分塊的模板匹配跟蹤方法是現有技術，所以在此省略了其處理過程的詳細描述。
當已存在車輛的狀態分類為邊界狀態時，由於該已存在車輛的其中一部分已經位於圖像幀之外，所以使用模板匹配跟蹤方法來跟蹤該車輛在第10幀圖像中的位置和大小(步驟S80)。由於模板匹配跟蹤方法是現有技術，所以在此省略了其處理過程的詳細描述當已存在車輛的狀態分類為陰影狀態時，使用下面詳細描述的車輛進入陰影的跟蹤方法(結合附圖4加以說明)，來跟蹤該已存在車輛在第10幀圖像中的位置和大小(步驟S90)。
當已存在車輛的狀態分類為機動或正常狀態時，使用基於特徵的跟蹤方法來跟蹤得到該已存在車輛在第10幀圖像中的位置和大小，並且利用該已存在車輛在以前圖像幀中的位置和大小信息來對其進行校正(步驟S100和S110)。然後，根據該已存在車輛在第9和10幀圖像中的位置和大小信息，利用下面詳細描述的判斷車輛進入陰影的方法(結合圖3加以說明)，判斷該已存在車輛在第10幀圖像中是否已進入了陰影(步驟S120)，若判斷該車輛在第10幀圖像中已進入了陰影中，則利用下面詳細描述的車輛進入陰影的跟蹤方法(結合附圖4加以說明)，對該已存在車輛在第10幀圖像中的位置和大小進行重新跟蹤(步驟S130)。
在確定出已存在車輛在第10幀圖像中的位置和大小後，將其作為跟蹤結果進行輸出(步驟S140)。
上述就是本發明的基於車輛狀態分類的車輛跟蹤方法。
圖3是本發明的判斷車輛進入陰影的方法流程圖。下面結合圖3，詳細描述上面提到的判斷車輛進入陰影的方法。
如圖3所示，當如上面步驟S90和S100所述的跟蹤得到了車輛在第10幀圖像中的位置和大小後，首先，根據該車輛在第9和10幀圖像中的位置和大小信息，判斷該車輛在第10幀圖像中的下底邊的位置與其在第9幀圖像中的下底邊的位置相比是否有較大變化(步驟S1100)。
如果判斷沒有較大變化，則確定該已存在車輛沒有進入陰影中(步驟S1110)。
如果判斷有較大變化，則計算該車輛在第10幀圖像中所處的可能區域的下部區域(優選該下部區域的高度為該可能區域的高度的0.2-0.6)中，總像素數量和亮度值低於閾值T(T取值範圍優選為30-80)的像素數量(步驟S1102)。然後，判斷該亮度值低於閾值T的像素數量與該總像素數量的比值是否大於預定值R(優選R大於0.7)(步驟S1104)。若判斷該比值大於該預定值R，則向該車輛設置已進入陰影的標誌(步驟S1106)，並且確定該車輛已進入陰影中(步驟S1108)。否則，確定該車輛沒有進入陰影中(步驟S1110)。
圖4是本發明的車輛進入陰影的跟蹤方法流程圖。下面結合圖4，以跟蹤車輛在第10幀圖像中的位置和大小信息為例，詳細描述上面提到的車輛進入陰影的跟蹤方法。
如圖4所示，首先，根據已跟蹤得到的該車輛在最近圖像幀中的位置和大小信息，判斷該車輛是否還處在陰影中(步驟S400)。其中，當該車輛進入陰影的跟蹤方法在圖2所示的步驟S90中使用時，該最近圖像幀為第9幀圖像，而當該車輛進入陰影的跟蹤方法在圖2所示的步驟S130中使用時，該最近圖像幀為第10幀圖像。
具體而言，當判斷該車輛是否還處在陰影中時，首先，計算該車輛在最近圖像幀中所處的可能區域的下部區域(優選該下部區域的高度為該可能區域的高度的0.2-0.6)中，總像素數量和亮度值低於閾值T(T取值範圍優選為30-80)的像素數量。然後，判斷該亮度值低於閾值T的像素數量與該總像素數量的比值是否大於預定值R(優選R大於0.7)。若該比值大於該預定值R，則判斷該車輛還處在陰影中。否則，判斷該車輛已不在陰影中。
若判斷該車輛已不在陰影中，則撤消該車輛已進入陰影的標誌(步驟S402)，然後將該車輛當作車輛狀態分類為正常狀態的車輛來跟蹤其在第10幀圖像中的位置和大小(步驟S404)，並且將跟蹤得到的該車輛在第10幀圖像中的位置和大小信息作為跟蹤結果進行輸出(步驟S412)。
若判斷該車輛還處在陰影中，則判斷該車輛在最近圖像幀中是否還保留有車輛上部特徵(步驟S406)。其中，該車輛上部特徵主要包括車輛的上頂邊和左右邊。
若該車輛在最近圖像幀中未保留有車輛上部特徵，則利用已跟蹤得到的該車輛在第10幀圖像之前的圖像幀(例如第6-9幀圖像)中的位置和大小信息，進行車輛運動估計以跟蹤該車輛在第10幀圖像中的位置和大小(步驟S408)，並將跟蹤得到的該車輛在第10幀圖像中的位置和大小消息作為跟蹤結果進行輸出(步驟S412)。
若該車輛在最近圖像幀中還保留有車輛上部特徵，則使用下面詳細描述的特徵還原跟蹤法來跟蹤該車輛在第10幀圖像中的位置和大小(結合圖5和6加以說明)(步驟S410)，並將跟蹤得到的該車輛在第10幀圖像中的位置和大小消息作為跟蹤結果進行輸出(步驟S412)。
圖5是本發明的特徵還原跟蹤法的流程圖。圖6是本發明的用於說明特徵還原跟蹤法的圖像。下面結合圖5和6，以確定車輛在第10幀圖像中的位置和大小為例，詳細描述本發明的特徵還原跟蹤法。
如圖5所示，首先，從第10幀圖像中車輛所處的可能區域(如圖6A所示)中，獲取包含該車輛上部特徵的那一部分圖像(如圖6B所示)(步驟S500)。然後，對獲取的該部分圖像進行邊緣提取以得到圖像邊緣特徵(如圖6C所示)(步驟S502)。接著，根據該車輛在第9幀圖像中的位置和大小信息以及得到的該圖像邊緣特徵，確定該車輛在第10幀圖像中的上頂邊和左右邊，通過該車輛在第10幀圖像中的上頂邊和左右邊就確定了該車輛在第10幀圖像中的大致位置(步驟S504)。接下來，根據該車輛在第10幀圖像中的位置信息和其在第9幀圖像中的大小信息(即，上頂邊、左右邊和下底邊)，還原出該車輛在第10幀圖像中的下底邊，得到的該車輛第10幀圖像中的上頂邊、左右邊和下底邊就決定了該車輛第10幀圖像中的位置和大小信息(如圖6D所示)(步驟S506)。最後，將得到的該車輛第10幀圖像中的位置和大小信息作為跟蹤結果進行輸出(步驟S508)。
圖7-10分別示出了利用本發明的基於車輛狀態分類的車輛跟蹤方法來跟蹤處於圖像邊界的車輛、被遮擋的車輛、進入橋洞陰影中的車輛和進入隧道陰影中的車輛的結果。從圖中可以看出，使用本發明的車輛跟蹤方法能夠很好地跟蹤行駛在不同情景中的車輛。
圖11示出了本發明的基於車輛狀態分類的車輛跟蹤裝置，其中，只示出了與本發明相關的單元，而現有技術中與本發明無關的單元沒有示出。本發明的基於車輛狀態分類的車輛跟蹤裝置能夠使用軟體、硬體或軟硬體結合的方式來實現。
如圖11所示，本發明的車輛跟蹤裝置包括一個獲取單元10，用於獲取一個圖像幀；一個區域確定單元20，用於基於已跟蹤或檢測得到的車輛在以前圖像幀中的位置和大小信息，進行車輛運動估計以確定所述車輛在所述獲取的圖像幀中所處的可能區域；一個分類確定單元30，用於確定所述車輛的狀態分類；一個位置和大小確定單元40，用於根據確定的所述車輛的狀態分類，使用相應的跟蹤方法來處理所述確定的可能區域，以確定所述車輛在所述獲取的圖像幀中的位置和大小；以及，一個輸出單元50，用於輸出所述車輛在所述獲取的圖像幀中的位置和大小信息。
其中，分類確定單元30進一步包括一個佔據區域確定單元、一個判斷單元和一個設定單元。該佔據區域確定單元，根據所述車輛在所述獲取的圖像幀的前一幀圖像中的位置和大小信息，確定所述車輛在所述前一幀圖像中所佔據的圖像區域。該判斷單元，首先判斷所述車輛在所述前一幀圖像中所佔據的圖像區域是否被其它車輛遮擋；當確定已被遮擋時，該設定單元設定所述車輛的狀態分類為遮擋狀態；當確定沒有被遮擋時，該判斷單元接著判斷所述車輛在所述前一幀圖像中所佔據的圖像區域是否到達所述前一幀圖像的邊界；當確定到達了邊界時，該設定單元設定所述車輛的狀態分類為邊界狀態；當確定沒有到達邊界時，該判斷單元接著判斷所述車輛是否被設置了已進入陰影的標誌；當確定被設置了已進入陰影的標誌時，該設定單元設定所述車輛的狀態分類為陰影狀態；當確定沒有被設置已進入陰影的標誌時，該判斷單元根據所述車輛在所述以前圖像幀中的位置和大小信息，通過所述車輛運動估計來判斷所述車輛是否處於機動行駛狀態；當確定處於機動行駛狀態時，該設定單元設定所述車輛的狀態分類為機動狀態；當確定沒有處於機動行駛狀態時，該設定單元設定所述車輛的狀態分類為正常狀態。
其中，當所述車輛的狀態分類分別為所述遮擋狀態和所述邊界狀態時，位置和大小確定單元40分別使用分塊的模板匹配跟蹤方法和模板匹配跟蹤方法來處理所述確定的可能區域。
其中，當所述車輛的狀態分類為所述機動或正常狀態時，位置和大小確定單元40進一步包括一個處理單元，用於當所述車輛的狀態分類為所述機動或正常狀態時，使用基於特徵的跟蹤方法來處理所述確定的可能區域，以得到所述車輛在所述獲取的圖像幀中的位置和大小信息；一個校正單元，用於基於所述車輛在所述以前圖像幀中的位置和大小信息，校正得到的所述車輛在所述獲取的圖像幀中的位置和大小信息；一個進入陰影判斷單元，用於根據得到的所述車輛在所述獲取的圖像幀和所述前一幀圖像中的位置和大小信息，判斷所述車輛在所述獲取的圖像幀中是否已進入陰影中；一個跟蹤單元，用於當確定已進入陰影中時，使用車輛進入陰影的跟蹤方法來重新跟蹤所述車輛在所述獲取的圖像幀中的位置和大小信息；一個標誌撤消單元，用於當確定所述車輛已經不在陰影中時，撤消設置給所述車輛的所述進入陰影的標誌；以及，一個正常跟蹤單元，用於當確定所述車輛已經不在陰影中時，把所述車輛當作所述正常狀態的車輛來跟蹤其在所述獲取的圖像幀中的位置和大小信息。
所述進入陰影判斷單元進一步包括一個下底邊位置判斷單元，用於判斷所述車輛在所述獲取的圖像幀中的下底邊的位置與其在所述前一幀圖像中的下底邊的位置相比是否有較大變化；一個像素計算單元，用於當確定有較大變化時，計算所述車輛在所述獲取的圖像幀中所處的所述可能區域的下部區域中，總像素數量和亮度值小於預定閾值的像素數量；一個比值判斷單元，用於判斷所述亮度值小於預定閾值的像素數量與所述總像素數量的比值是否大於預定值；一個標誌設置單元，用於當確定大於所述預定值時，向所述車輛設置所述已進入陰影的標誌；以及，一個進入陰影確定單元，用於確定所述車輛在所述獲取的圖像幀中已進入陰影。
所述跟蹤單元進一步包括一個陰影判斷單元，用於判斷所述車輛在所述獲取的圖像幀中是否還處於陰影中；一個特徵判斷單元，用於當確定還處於陰影中時，判斷在所述獲取的圖像幀中是否保留有所述車輛的上部特徵；一個還原跟蹤單元，用於當確定還保留有所述車輛的上部特徵時，使用特徵還原跟蹤方法來重新跟蹤所述車輛在所述獲取的圖像幀中的位置和大小信息；以及，一個運動估計跟蹤單元，用於當確定沒保留有所述車輛的上部特徵時，根據已跟蹤得到的所述車輛在所述以前圖像幀中的位置和大小信息，進行所述車輛運動估計以確定所述車輛在所述獲取的圖像幀中的位置和大小信息。
所述還原跟蹤單元進一步包括一個圖像獲取單元，用於從所述車輛在所述獲取的圖像幀中所處的可能區域中，獲取包含所述車輛上部特徵的那一部分圖像；一個邊緣提取單元，用於對所述獲取的那部分圖像進行邊緣提取以得到圖像邊緣特徵；一個邊緣確定單元，用於根據所述車輛在所述前一幀圖像中的位置和大小信息以及所述得到的圖像邊緣特徵，確定所述車輛在所述獲取的圖像幀中的上頂邊和左右邊；以及，一個下底邊還原單元，用於根據所述車輛在所述獲取的圖像幀中的上頂邊和左右邊以及其在所述前一幀圖像中的大小信息，還原出所述車輛在所述圖像幀中的下底邊，其中，得到的所述車輛在所述圖像幀中的上頂邊、左右邊和下底邊決定了所述車輛在所述圖像幀中的位置和大小信息。
另外，當所述車輛的狀態分類為所述陰影狀態時，位置和大小確定單元40僅包括上述跟蹤單元，即包括一個陰影判斷單元，用於當所述車輛的狀態分類為所述陰影狀態時，判斷所述車輛在所述前一幀圖像中是否還處於陰影中；一個特徵判斷單元，用於當確定還在陰影中時，判斷在所述前一幀圖像中是否保留有所述車輛的上部特徵；一個還原跟蹤單元，用於確定還保留有所述車輛的上部特徵時，使用特徵還原跟蹤方法來跟蹤所述車輛在所述獲取的圖像幀中的位置和大小信息；一個運動估計跟蹤單元，用於當確定沒保留有所述車輛的上部特徵時，根據已跟蹤得到的所述車輛在所述以前圖像幀中的位置和大小信息，進行所述車輛運動估計以確定所述車輛在所述獲取的圖像幀中的位置和大小信息；一個標誌撤消單元，用於當確定所述車輛已經不在陰影中時，撤消設置給所述車輛的所述進入陰影的標誌；以及，一個正常跟蹤單元，用於當確定所述車輛已經不在陰影中時，把所述車輛當作所述正常狀態的車輛來跟蹤其在所述獲取的圖像幀中的位置和大小信息。
所述還原跟蹤單元進一步包括一個圖像獲取單元，用於從所述車輛在所述獲取的圖像幀中所處的可能區域中，獲取包含所述車輛上部特徵的那一部分圖像；一個邊緣提取單元，用於對所述獲取的那部分圖像進行邊緣提取以得到圖像邊緣特徵；一個邊緣確定單元，用於根據所述車輛在所述前一幀圖像中的位置和大小信息以及所述得到的圖像邊緣特徵，確定所述車輛在所述獲取的圖像幀中的上頂邊和左右邊；以及，一個下底邊還原單元，用於根據所述車輛在所述獲取的圖像幀中的上頂邊和左右邊以及其在所述前一幀圖像中的大小信息，還原出所述車輛在所述圖像幀中的下底邊，其中，得到的所述車輛在所述圖像幀中的上頂邊、左右邊和下底邊決定了所述車輛在所述圖像幀中的位置和大小信息。
本發明的上述描述本質上僅是示範性的，由此，不脫離本發明的精神的各種變化被確定為在本發明的範圍內。這樣的變化不被認為是偏離本發明的精神和範圍。
權利要求
1.一種基於車輛狀態分類的車輛跟蹤方法，包括步驟(a)獲取一個圖像幀；(b)基於已跟蹤或檢測得到的車輛在以前圖像幀中的位置和大小信息，進行車輛運動估計以確定所述車輛在所述獲取的圖像幀中所處的可能區域；(c)確定所述車輛的狀態分類；(d)根據確定的所述車輛的狀態分類，使用相應的跟蹤方法來處理所述確定的可能區域，以確定所述車輛在所述獲取的圖像幀中的位置和大小；以及(e)輸出所述車輛在所述獲取的圖像幀中的位置和大小信息。
2.如權利要求1所述的車輛跟蹤方法，其中，所述步驟(c)進一步包括根據所述車輛在所述獲取的圖像幀的前一幀圖像中的位置和大小信息，確定所述車輛在所述前一幀圖像中所佔據的圖像區域；判斷所述車輛在所述前一幀圖像中所佔據的圖像區域是否被其它車輛遮擋；若確定已被遮擋，則設定所述車輛的狀態分類為遮擋狀態；若確定沒有被遮擋，則判斷所述車輛在所述前一幀圖像中所佔據的圖像區域是否到達所述前一幀圖像的邊界；若確定到達了邊界，則設定所述車輛的狀態分類為邊界狀態；若確定沒有到達邊界，則判斷所述車輛是否被設置了已進入陰影的標誌；若確定被設置了已進入陰影的標誌，則設定所述車輛的狀態分類為陰影狀態；若確定沒有被設置已進入陰影的標誌，則根據所述車輛在所述以前圖像幀中的位置和大小信息，通過所述車輛運動估計來判斷所述車輛是否處於機動行駛狀態；若確定處於機動行駛狀態，則設定所述車輛的狀態分類為機動狀態；以及若確定沒有處於機動行駛狀態，則設定所述車輛的狀態分類為正常狀態。
3.如權利要求2所述的車輛跟蹤方法，其中，所述步驟(d)進一步包括若所述車輛的狀態分類為所述遮擋狀態，則使用分塊的模板匹配跟蹤方法來處理所述確定的可能區域。
4.如權利要求2所述的車輛跟蹤方法，其中，所述步驟(d)進一步包括若所述車輛的狀態分類為所述邊界狀態，則使用模板匹配跟蹤方法來處理所述確定的可能區域。
5.如權利要求2所述的車輛跟蹤方法，其中，所述步驟(d)進一步包括(d1)若所述車輛的狀態分類為所述機動或正常狀態，則使用基於特徵的跟蹤方法來處理所述確定的可能區域，以得到所述車輛在所述獲取的圖像幀中的位置和大小信息；(d2)基於所述車輛在所述以前圖像幀中的位置和大小信息，校正得到的所述車輛在所述獲取的圖像幀中的位置和大小信息；(d3)根據得到的所述車輛在所述獲取的圖像幀和所述前一幀圖像中的位置和大小信息，判斷所述車輛在所述獲取的圖像幀中是否已進入陰影中；以及(d4)若確定已進入陰影中，則使用車輛進入陰影的跟蹤方法來重新跟蹤所述車輛在所述獲取的圖像幀中的位置和大小信息。
6.如權利要求5所述的車輛跟蹤方法，其中，所述步驟(d3)進一步包括判斷所述車輛在所述獲取的圖像幀中的下底邊的位置與其在所述前一幀圖像中的下底邊的位置相比是否有較大變化；若確定有較大變化，則計算所述車輛在所述獲取的圖像幀中所處的所述可能區域的下部區域中，總像素數量和亮度值大於預定閾值的像素數量；判斷所述亮度值小於預定閾值的像素數量與所述總像素數量的比值是否大於預定值；若確定大於所述預定值，則向所述車輛設置所述已進入陰影的標誌；以及確定所述車輛在所述獲取的圖像幀中已進入陰影。
7.如權利要求5所述的車輛跟蹤方法，其中，所述步驟(d4)進一步包括判斷所述車輛在所述獲取的圖像幀中是否還處於陰影中；若確定還處於陰影中，則判斷在所述獲取的圖像幀中是否保留有所述車輛的上部特徵；若確定還保留有所述車輛的上部特徵，則使用特徵還原跟蹤方法來重新跟蹤所述車輛以獲取其在所述獲取的圖像幀中的位置和大小信息；以及若確定沒保留有所述車輛的上部特徵，則根據已跟蹤得到的所述車輛在所述以前圖像幀中的位置和大小信息，進行所述車輛運動估計以確定所述車輛在所述獲取的圖像幀中的位置和大小信息。
8.如權利要求2所述的車輛跟蹤方法，其中，所述步驟(d)進一步包括若所述車輛的狀態分類為所述陰影狀態，則判斷所述車輛在所述前一幀圖像中是否還處於陰影中；若確定還在陰影中，則判斷在所述前一幀圖像中是否保留有所述車輛的上部特徵；若確定還保留有所述車輛的上部特徵，則使用特徵還原跟蹤方法來跟蹤所述車輛在所述獲取的圖像幀中的位置和大小信息；以及若確定沒保留有所述車輛的上部特徵，則根據已跟蹤得到的所述車輛在所述以前圖像幀中的位置和大小信息，進行所述車輛運動估計以確定所述車輛在所述獲取的圖像幀中的位置和大小信息。
9.如權利要求7或8所述的車輛跟蹤方法，其中，還包括步驟若確定所述車輛已經不在陰影中，則撤消設置給所述車輛的所述進入陰影的標誌；以及把所述車輛當作所述正常狀態的車輛來跟蹤其在所述獲取的圖像幀中的位置和大小信息。
10.如權利要求7或8所述的車輛跟蹤方法，其中，所述利用特徵還原跟蹤方法來跟蹤所述車輛的步驟進一步還包括從所述車輛在所述獲取的圖像幀中所處的可能區域中，獲取包含所述車輛上部特徵的那一部分圖像；對所述獲取的那部分圖像進行邊緣提取以得到圖像邊緣特徵；根據所述車輛在所述前一幀圖像中的位置和大小信息以及所述得到的圖像邊緣特徵，確定所述車輛在所述獲取的圖像幀中的上頂邊和左右邊；以及根據所述車輛在所述獲取的圖像幀中的上頂邊、左邊和右邊以及其在所述前一幀圖像中的大小信息，還原出所述車輛在所述圖像幀中的下底邊，其中，得到的所述車輛在所述圖像幀中的上頂邊、左邊、右邊和下底邊決定了所述車輛在所述圖像幀中的位置和大小信息。
11.一種基於車輛狀態分類的車輛跟蹤裝置，包括獲取單元，用於獲取一個圖像幀；區域確定單元，用於基於已跟蹤或檢測得到的車輛在以前圖像幀中的位置和大小信息，進行車輛運動估計以確定所述車輛在所述獲取的圖像幀中所處的可能區域；分類確定單元，用於確定所述車輛的狀態分類；位置和大小確定單元，用於根據確定的所述車輛的狀態分類，使用相應的跟蹤方法來處理所述確定的可能區域，以確定所述車輛在所述獲取的圖像幀中的位置和大小；以及輸出單元，用於輸出所述車輛在所述獲取的圖像幀中的位置和大小信息。
12.如權利要求11所述的車輛跟蹤裝置，其中，所述分類確定單元進一步包括佔據區域確定單元，用於根據所述車輛在所述獲取的圖像幀的前一幀圖像中的位置和大小信息，確定所述車輛在所述前一幀圖像中所佔據的圖像區域；判斷單元，用於判斷所述車輛在所述前一幀圖像中所佔據的圖像區域是否被其它車輛遮擋；設定單元，用於當確定已被遮擋時，設定所述車輛的狀態分類為遮擋狀態；所述判斷單元，當確定沒有被遮擋時，判斷所述車輛在所述前一幀圖像中所佔據的圖像區域是否到達所述前一幀圖像的邊界；所述設定單元，當確定到達了邊界時，設定所述車輛的狀態分類為邊界狀態；所述判斷單元，當確定沒有到達邊界時，判斷所述車輛是否被設置了已進入陰影的標誌；所述設定單元，當確定被設置了已進入陰影的標誌時，設定所述車輛的狀態分類為陰影狀態；所述判斷單元，當確定沒有被設置已進入陰影的標誌時，根據所述車輛在所述以前圖像幀中的位置和大小信息，通過所述車輛運動估計來判斷所述車輛是否處於機動行駛狀態；所述設定單元，當確定處於機動行駛狀態時，設定所述車輛的狀態分類為機動狀態；以及所述設定單元，當確定沒有處於機動行駛狀態時，設定所述車輛的狀態分類為正常狀態。
13.如權利要求12所述的車輛跟蹤裝置，其中，當所述車輛的狀態分類為所述遮擋狀態時，所述位置和大小確定單元使用分塊的模板匹配跟蹤方法來處理所述確定的可能區域。
14.如權利要求12所述的車輛跟蹤裝置，其中，當所述車輛的狀態分類為所述邊界狀態時，所述位置和大小確定單元使用模板匹配跟蹤方法來處理所述確定的可能區域。
15.如權利要求12所述的車輛跟蹤裝置，其中，所述位置和大小確定單元進一步包括處理單元，用於當所述車輛的狀態分類為所述機動或正常狀態時，使用基於特徵的跟蹤方法來處理所述確定的可能區域，以得到所述車輛在所述獲取的圖像幀中的位置和大小信息；校正單元，用於基於所述車輛在所述以前圖像幀中的位置和大小信息，校正得到的所述車輛在所述獲取的圖像幀中的位置和大小信息；進入陰影判斷單元，用於根據得到的所述車輛在所述獲取的圖像幀和所述前一幀圖像中的位置和大小信息，判斷所述車輛在所述獲取的圖像幀中是否已進入陰影中；以及跟蹤單元，用於當確定已進入陰影中時，使用車輛進入陰影的跟蹤方法來重新跟蹤所述車輛在所述獲取的圖像幀中的位置和大小信息。
16.如權利要求15所述的車輛跟蹤裝置，其中，所述進入陰影判斷單元進一步包括下底邊位置判斷單元，用於判斷所述車輛在所述獲取的圖像幀中的下底邊的位置與其在所述前一幀圖像中的下底邊的位置相比是否有較大變化；像素計算單元，用於當確定有較大變化時，計算所述車輛在所述獲取的圖像幀中所處的所述可能區域的下部區域中，總像素數量和亮度值小於預定閾值的像素數量；比值判斷單元，用於判斷所述亮度值小於預定閾值的像素數量與所述總像素數量的比值是否大於預定值；標誌設置單元，用於當確定大於所述預定值時，向所述車輛設置所述已進入陰影的標誌；以及進入陰影確定單元，用於確定所述車輛在所述獲取的圖像幀中已進入陰影。
17.如權利要求15所述的車輛跟蹤裝置，其中，所述跟蹤單元進一步包括陰影判斷單元，用於判斷所述車輛在所述獲取的圖像幀中是否還處於陰影中；特徵判斷單元，用於當確定還處於陰影中時，判斷在所述獲取的圖像幀中是否保留有所述車輛的上部特徵；還原跟蹤單元，用於當確定還保留有所述車輛的上部特徵時，使用特徵還原跟蹤方法來重新跟蹤所述車輛在所述獲取的圖像幀中的位置和大小信息；以及運動估計跟蹤單元，用於當確定沒保留有所述車輛的上部特徵時，根據已跟蹤得到的所述車輛在所述以前圖像幀中的位置和大小信息，進行所述車輛運動估計以確定所述車輛在所述獲取的圖像幀中的位置和大小信息。
18.如權利要求12所述的車輛跟蹤裝置，其中，所述位置和大小確定單元進一步包括陰影判斷單元，用於當所述車輛的狀態分類為所述陰影狀態時，判斷所述車輛在所述前一幀圖像中是否還處於陰影中；特徵判斷單元，用於當確定還在陰影中時，判斷在所述前一幀圖像中是否保留有所述車輛的上部特徵；還原跟蹤單元，用於確定還保留有所述車輛的上部特徵時，使用特徵還原跟蹤方法來跟蹤所述車輛在所述獲取的圖像幀中的位置和大小信息；以及運動估計跟蹤單元，用於當確定沒保留有所述車輛的上部特徵時，根據已跟蹤得到的所述車輛在所述以前圖像幀中的位置和大小信息，進行所述車輛運動估計以確定所述車輛在所述獲取的圖像幀中的位置和大小信息。
19.如權利要求17或18所述的車輛跟蹤裝置，其中，還包括標誌撤消單元，用於當確定所述車輛已經不在陰影中時，撤消設置給所述車輛的所述進入陰影的標誌；以及正常跟蹤單元，用於把所述車輛當作所述正常狀態的車輛來跟蹤其在所述獲取的圖像幀中的位置和大小信息。
20.如權利要求17或18所述的車輛跟蹤裝置，其中，所述還原跟蹤單元進一步包括圖像獲取單元，用於從所述車輛在所述獲取的圖像幀中所處的可能區域中，獲取包含所述車輛上部特徵的那一部分圖像；邊緣提取單元，用於對所述獲取的那部分圖像進行邊緣提取以得到圖像邊緣特徵；邊緣確定單元，用於根據所述車輛在所述前一幀圖像中的位置和大小信息以及所述得到的圖像邊緣特徵，確定所述車輛在所述獲取的圖像幀中的上頂邊和左右邊；以及下底邊還原單元，用於根據所述車輛在所述獲取的圖像幀中的上頂邊、左邊和右邊以及其在所述前一幀圖像中的大小信息，還原出所述車輛在所述圖像幀中的下底邊，其中，得到的所述車輛在所述圖像幀中的上頂邊、左右邊和下底邊決定了所述車輛在所述圖像幀中的位置和大小信息。
全文摘要
本發明涉及一種基於車輛狀態分類的車輛跟蹤方法和裝置，該方法包括步驟獲取一個圖像幀；基於已跟蹤或檢測得到的車輛在以前圖像幀中的位置和大小信息，進行車輛運動估計以確定所述車輛在所述獲取的圖像幀中所處的可能區域；確定所述車輛的狀態分類；根據確定的所述車輛的狀態分類，使用相應的跟蹤方法來處理所述確定的可能區域，以確定所述車輛在所述獲取的圖像幀中的位置和大小；以及，輸出所述車輛在所述獲取的圖像幀中的位置和大小信息。利用本發明的車輛跟蹤方法和裝置，能夠很好地跟蹤行駛在不同情景(包括陰影)中的車輛。
文檔編號G06T7/00GK101029823SQ20061000937
公開日2007年9月5日 申請日期2006年2月28日 優先權日2006年2月28日
發明者劉威, 朱琳琳 申請人:瀋陽東軟軟體股份有限公司, 阿爾派株式會社