圖像中的移動物體的跟蹤方法及裝置的製作方法
2023-10-11 03:49:19 1
專利名稱：圖像中的移動物體的跟蹤方法及裝置的製作方法
技術領域：
本發明涉及通過對時序圖像進行處理而跟蹤圖像中的移動物體(汽車、自行車、動物等可移動物體)的移動物體跟蹤方法及裝置。
背景技術：
交通事故的早期發現，不僅可以通過迅速的救助行動提高人命救助的成功率，還可通過警察迅速進行實地檢測等緩和事故範圍，因此期待著各種交通事故的識別自動化。為提高交通事故的識別率，需要對通過攝像機拍攝的圖像進行處理而準確地跟蹤移動物體。
圖28為示意性表示通過設置於高速公路的中央線上方的攝像機拍攝的時刻t＝1～4的圖像。
在圖像中車輛彼此之間頻繁重疊，因此難以通過圖像處理而跟蹤各車輛。為解決這種問題，需要沿著道路設置多部攝像機，從而綜合地對這些圖像進行處理。
但是，需要具備多部攝像機和圖像處理裝置，因此成本升高。並且，必須將各攝像機的拍攝圖像以相關順序綜合地進行處理，因此處理變得複雜。
為此，本申請的發明者們根據如下的隨時間跟蹤移動物體的方法解決了這種問題(特開2002-133421)。
將時刻t＝1～4的時序圖像暫時進行存儲，並從t＝4開始識別車輛M1和M2，求出車輛M1和M2的移動向量，並根據該移動向量，移動t＝4的圖像中的車輛M1和M2，假設車輛M1和M2已被識別的t＝3的圖像，從而根據此圖像與t＝3的實際的圖像的相關關係，識別出t＝3的圖像中的車輛M1和M2。
接著，通過對t＝3和t＝2的圖像的相同處理，識別t＝2的圖像中的車輛M1和M2。接著，通過對t＝2和t＝1的圖像的相同處理，識別t＝1的圖像中的車輛M1和M2。
通過這種處理，能夠以1臺攝像機跟蹤車輛M1和M2。
然而，實際上，例如，由下述現象由於處理12幀/秒的圖像，而使時序圖像的存儲量變大，同時處理時間變長。
此外，為提高移動物體的邊界識別精度，減小區塊大小，則難以通過區塊匹配而確定移動向量。
進而，在上述特開2002-133421中，各圖像被分割為8×8像素組成的區塊，並通過對各區塊與背景圖像對應的區塊進行比較，判斷是否存在移動物體。
該背景圖像並非為恆定的，因此必須更新。例如，對於過去10分鐘之內的全部圖像，作成對應的像素的像素值的直方圖，將其最頻值(模式)作為該像素的像素值的圖像作為背景圖像。
發明內容
本發明鑑於這種問題，其目的在於提供一種能以更少數量的暫時存儲的時序圖像跟蹤移動物體的圖像中的移動物體的跟蹤方法及裝置。
本發明的另一目的在於無需艱難地確定移動向量而可提高移動物體的邊界識別精度的圖像中的移動物體的跟蹤方法及裝置。
本發明的又一目的是無需利用特別的背景圖像的圖像中的移動物體的跟蹤方法及裝置。
在本發明的一個實施方式中，在處理時序圖像而跟蹤圖像中的移動物體的圖像上移動物體跟蹤方法中，各圖像被分割成由多個像素組成的區塊，移動物體的識別符號以區塊單位被付與，並且該移動物體的移動向量以區塊單位求出的情況下，(a)通過向相鄰的區塊的移動向量之差的絕對值在規定值以內的區塊上付與相同個識別符號，向在圖像上相互重疊的移動物體付與相互不同的識別符號。
根據該構成，在1簇分離成多個目標之前，可隨時間而對各個目標進行跟蹤，因此當隨時間而跟蹤各移動物體時，可降低圖像存儲器的存儲容量，且減少圖像處理量，從而減輕CPU的負擔。
在本發明的另一實施方式中，在處理時序圖像而跟蹤圖像中的移動物體的圖像上移動物體跟蹤方法中，各圖像被分割成由多個像素組成的區塊，移動物體的移動向量以區塊單位求出，且存在未確定移動向量的第1區塊的情況下，(a)抽出該第1區塊周圍的已確定的移動向量，(b)將該抽出的移動向量分組為相互的向量之差成為規定值以下，(c)將包括在向量數最大的組中的移動向量的大致平均向量推測為該第1區塊的移動向量。
根據這種算法，即使未確定的移動向量較多，也可合理地推測該未確定移動向量。由此，可根據移動向量對包括多個目標的1簇進行分割。
在本發明的另一實施方式中，在處理時序圖像而跟蹤圖像中的移動物體的圖像上移動物體跟蹤方法中，各圖像被分割成由多個像素組成的區塊，移動物體的識別符號以區塊單位被付與，並且該移動物體的移動向量以區塊單位求出的情況下，(a)將時刻t1的圖像的區塊大小的區域至時刻t2的圖像的關注區塊的移動向量推測為MV，將該關注區塊的識別符號推測為ID，(b)求出有關包括該時刻t2的圖像的該關注區塊周圍的區塊中識別符號為ID的至少1個區塊的移動向量和該關注區塊的移動向量MV之差的絕對值的相關度的量，(c)在規定範圍內移動該第1區域並對各區域求出包括有關該相關度的量的評價函數的值，並根據該值的大致的最佳值確定該移動向量MV和該識別符號ID。
根據該方法，即使因關注區塊的紋理信息量較少而無法以簡單的區塊匹配求出移動向量，也能夠合理地同時確定移動向量和識別符號ID。
另外，也可取代步驟(b)，採用步驟(b』)，即求出有關將該關注區塊-MV移動量的區域的中心所屬的包括時刻t1的圖像的區塊BLK周圍的區塊中識別符號為ID的至少1個區塊的移動向量和該關注區塊的移動向量MV之差的絕對值的相關度的量。在這種情況下，該步驟(c)的有關相關度的量為例如∑|MV-MVneigher|/L，其中，Mvneigher為該區塊BLK周圍的區塊中具有與該區塊BLK的識別符號ID相同ID的區塊的移動向量，∑為意味著具有該相同ID的區塊的總和，L為具有該相同ID的區塊的數量。
在本方的另一實施方式中，在處理時序圖像而跟蹤圖像中的移動物體的圖像上移動物體跟蹤方法中，各圖像被分割成由多個像素組成的區塊，移動物體的識別符號以區塊單位被付與，並且該移動物體的移動向量以區塊單位求出的情況下，將時刻t1的圖像的區塊大小的區域至時刻t2的圖像的關注區塊的移動向量推測為MV，求出有關大於該區塊大小的區域而與該區塊大小的區域成為同心的第1區域的圖像和與該第1區域相同形狀而與該關注區塊成為同心的第2區域的圖像的相似度的量；將包括有關該相似度的量的評價函數的值，在規定範圍內移動該第1區域並對各區域求出，根據該值的大致最佳值，確定該移動向量MV。
根據該構成，通過減小區塊大小，不必艱難地確定移動向量便能提高移動物體的邊界識別精度。
本發明的又一實施方式中，在處理時序圖像而跟蹤圖像中的移動物體的圖像上移動物體跟蹤方法中，(a)將各圖像分割為由多個像素組成的區塊，(b)將背景圖像也看作是移動物體的一種，以區塊單位付與移動物體的識別符號，並且以區塊單位求出該移動物體的移動向量。
根據該構成，無需利用特別的背景圖像，且即使攝像機晃動，也可識別背景圖像。
本發明的又一實施方式中，在處理時序圖像而跟蹤圖像中的移動物體的圖像上移動物體跟蹤方法中，各圖像被分割成由多個像素組成的區塊，將以區塊單位求出某一時刻的移動物體的移動向量的目標映象，在相互不同的時刻存儲多張，(a)對於該多張目標映象中的1個，求出關注區域的移動向量；(b)只將求出移動向量的該關注區域向正或向負移動後的的區域的移動向量，根據移動後的時刻的目標映象求出；將該移動後的區域作為該移動後的時刻的目標映象上的關注區域，通過反覆進行該步驟(b)，跟蹤該關注區域。
根據該構成，即使將圖像分成區塊，以區塊單位求出目標的移動向量，也能跟蹤與區塊邊界無關的移動物體的局部(關注區域)。由此，能夠例如對關注區域的移動圖形進行解析或分類，或判斷為特定的移動圖形。且可對多個關注區域之間的相對位置的移動圖形進行解析或分類，或判斷為特定的移動圖形。
本發明的其他目的和構成及效果由以下說明會更加明了。
圖1為表示交差點和配置於此的本發明的第1實施方式的移動物體跟蹤裝置的概略的圖。
圖2為圖1中的移動物體跟蹤裝置的功能框圖。
圖3為表示幀圖像內的付與到分別設定在指向交差點的4個入口和出自交差點的4個出口的邊緣和區塊的移動物體的ID的說明圖。
圖4(A)和(B)為分別與區塊邊界線一起表示時刻t1-1和t的圖像的示意圖。
圖5(A)和(B)為分別與區塊邊界線一起表示時刻t1-1和t的圖像的示意圖。
圖6(A)和(B)為分別與付與到區塊的移動向量一起表示時刻t1-1和t的圖像的示意7(A)和(B)為分別表示將付與到時刻t1-1和t的目標映象的移動向量和目標邊界的示意圖。
圖8為表示未確定移動向量的推測方法的流程圖。
圖9(A)和(B)為表示用於說明圖8的處理過程的、付與到目標映象的移動向量和目標邊界的示意圖。
圖10(A)～(C)為表示用於說明圖8的處理過程的、付與到目標映象的移動向量和目標邊界的示意性。
圖11為表示本發明的第2實施方式的目標映象形成方法的流程圖。
圖12(A)和(B)為時空性紋理相關度的說明圖。
圖13(A)和(B)為空間性ID相關度的說明圖。
圖14(A)和(B)為時空性移動向量相關度的說明圖。
圖15為表示本發明的第2實施方式的實驗結果的圖，(A)和(B)為分別表示交差點上的拍攝圖像及其ID的目標映象的圖。
圖16為表示本發明的第2實施方式的實驗結果的圖，(A)和(B)為分別表示高速公路上的低角度拍攝圖像及其ID的目標映象的圖。
圖17為表示本發明的第2實施方式的實驗結果的圖，(A)和(B)為分別表示橫行步道上的拍攝圖像及該圖像與ID的目標映象的ID付與部的網格重疊的圖像的圖。
圖18為表示本發明的第3實施方式的對於是否確定了分割成簇的目標邊界進行判斷的方法的流程圖。
圖19(A)～(C)為用於說明圖18的處理過程的圖。
圖20為本發明的第4實施方式的區塊匹配說明圖，(A)和(B)分別與區塊邊界線一起表示時刻t-1和t的圖像的示意圖。
圖21(A)和(B)為用於說明本發明的第5實施方式的圖，(A)為示意性表示圖像的圖，(B)為表示在第1階段求得的移動向量的目標映象的圖。
圖22(A)和(B)為用於說明該第5實施方式的圖，(A)表示在第2階段求得的移動向量的目標映象的圖，(B)為表示ID的目標映象的圖。
圖23為表示用於說明跟蹤關注區域的本發明的第6實施方式的時序目標映象的圖。
圖24(A)～(C)為隨時間跟蹤關注區域的方法的說明圖。
圖25(A)和(B)為本發明的第7實施方式的目標邊界識別方法說明圖。
圖26為表示對於1簇的移動向量的絕對值的直方圖的圖。
圖27為表示本發明的第8實施方式的目標邊界識別方法的流程圖。
圖28為表示由設置於道路中央線上方的攝像機拍攝的時序圖像的示意圖。
具體實施例方式
下面，參照附圖對本發明的實施方式進行說明。多個對應於圖中的相同或類似的構成要素標以相同或類似的符號。
(第1實施方式)圖1為表示交差點和配置於此的本發明的第1實施方式的移動物體跟蹤裝置的概略的圖。
該裝置具有拍攝交差點而輸出圖像信號的電子攝像機10、和處理該圖像而跟蹤移動物體的移動物體跟蹤裝置20。
圖2為該移動物體跟蹤裝置20的功能框圖。移動物體跟蹤裝置20的構成要素中，除了存儲部以外，可由計算機軟體、專用的硬體、或計算機軟體和專用的硬體的組合而構成。
由電子攝像機10拍攝的時序圖像例如為12幀/秒的速率儲存於圖像存儲器21，且最早的幀被新幀圖像所替換。
圖像轉換部22，對於圖像存儲器21內的各幀圖像，將其複製到幀緩衝存儲器23，並利用被複製的圖像的數據，將與圖像存儲器21內的對應的幀圖像轉換為空間性差分幀圖像。該轉換以兩階段進行。
將原來的幀圖像的第i行第j列的像素值(灰度值)設為G(i，j)，則第1階段中的轉換後的第i行第j列的像素值H(i，j)可由下式表示。
H(i，j)＝∑neighberpixcels|G(i+di，j+dj)-G(i，j)|(1)其中，∑neighberpixcels，將c設為自然數時，表示di＝-c～c和dj＝-c～c的總和，例如，當c＝1時，為與第i行第j列的像素相鄰的像素的總和。若改變照度，像素值G(i，j)及其附近的像素值G(i+di，j+dj)同樣發生變化，故H(i，j)的圖像不隨照度的變化而變。
其中，相鄰的像素的差分的絕對值在一般像素值越大時而越大。為提高移動物體跟蹤的成功率，在像素值較小而差分較小的情況下，優選與像素值和差分較大的情況大致等價地取得邊緣信息。因此，可將H(i，j)規定為如下形式。
H(i，j)＝∑neighberpixcels|G(i+di，j+dj)-G(i，j)|/(Gi，j，max/Gmax) (2)其中，Gi，j，max為用於H(i，j)計算的原來像素值的最大值，例如當c＝1時，為以第i行第j列的像素為中心的3×3像素的最大值，Gmax為像素值G(i，j)所取的最大值，例如當像素值以8位表示時，為255。下面，對於c＝1、Gmax＝255情況進行說明。
H(i，j)可取的最大值，每個移動物體都不同。例如，當G(i，j)＝Gmax而與第i行第j列的像素相鄰的8像素的值均為0時，H(i，j)＝8Gmax，從而H(i，j)可由8位表示。
另一方面，若製作移動物體的邊緣部的H(i，j)的值的直方圖，可知頻度的大部分包括在H＝50～110的範圍內。即，H的值越比大致110大，用於移動物體跟蹤的邊緣信息的數量越少，因此重要度降低。
因此，優選通過限制H值較大的部分而縮短轉換像素的位長，對圖像進行高速處理。因此，在第2階段，使該H(i，j)通過利用了S形(Sigmoid)函數的下式，轉換為I(i，j)。
I＝Gmax/{1+exp[-β(H-α)]} (3)S形函數的線性在H＝α附近良好。因此，將閾值α的值設為具有邊緣信息的H的頻度分布的最頻值，例如為80。
圖像轉換部22根據上式(2)和(3)，將圖像值G(i，j)的圖像轉換為圖像值I(i，j)的空間性差分幀圖像，將其儲存於圖像存儲器21。
背景圖像生成部24、ID生成/削減部25和移動物體跟蹤部27根據圖像存儲器21中的空間性差分幀圖像進行處理。下面，將空間性差分幀圖像簡單稱作幀圖像。
背景圖像生成部24具有存儲部和處理部，處理部對圖像存儲器21進行存取，對例如過去10分鐘的全部幀圖像所對應的像素製作像素值的直方圖，將其最頻值(模式)作為該像素的圖像生成為移動物體不存在的背景圖像，儲存於該存儲部。背景圖像通過定期進行該處理而更新。
在ID生成/消除部25中預先設定了圖3所示的幀圖像內的分別配值於指向交差點的4個入口和出自交差點的4個出口的槽EN1～EN4和EX1～EX4的位置及大小的數據。ID生成/消除部25從圖像存儲器21中讀入入口槽EN1～EN4內的圖像數據，並通過區塊單位判斷這些入口槽內是否存在移動物體。圖3中的網格的單位為區塊，1區塊例如為8×8像素，1幀為480×640像素時，1幀被分割為60×80區塊。某個區塊中是否存在移動物體，通過該區塊內的各像素和背景圖像所對應的像素之差的總和是否為規定值以上而進行判斷。該判斷也在移動物體跟蹤部中進行。
ID生成/消除部25，在判斷為區塊內存在移動物體時，向該區塊付與新的目標識別符號(ID)。ID生成/消除部25，在判斷為與已付與ID的區塊相鄰的區塊中存在移動物體時，向該相鄰區塊付與和已付與區塊相同的ID。該ID已付與區塊還包括與入口槽相鄰的區塊。例如，在圖3中的入口槽EN1內的區塊中付與ID＝1。
ID的付與對於目標映象(Object map)存儲部26內的所對應的區塊進行。目標映象存儲部26為用於存儲上述的情況60×80區塊的目標映象(Object map)，在各區塊中作為區塊信息而被付與了是否付與了ID的標誌、付與了ID時為付與了該編號和後述的區塊移動向量。另外，也可不利用該標誌，在ID＝0時判斷為ID未被付與。並且，也可將ID最上位的位作為特徵。
對於通過入口槽的簇，通過移動物體跟蹤部27，進行對於移動方向的區塊ID付與和與移動相反方向的區塊的ID削減，即簇的跟蹤處理。利用移動物體跟蹤部27的跟蹤處理在各簇中進行至出口槽內。
ID生成/消除部25還查出是否在根據目標映象存儲部26的內容的出口槽EX1～EX4內的區塊上付與了ID，若以被付與，當簇通過出口槽時消除該ID。例如，從圖3中的出口槽EX1內的區塊中付與了ID＝3的狀態變化至未付與ID的狀態時，消除ID＝3。消除ID可用作下一個生成ID。
移動物體跟蹤部27根據儲存於目標映象存儲部26的時刻(t-1)的目標映象和儲存於圖像存儲器21的時刻(t-1)和t的幀圖像，在存儲部26內製作時刻t的目標映象。下面，對此進行說明。
圖4～圖7均示意性表示時刻t-1和t的圖像。圖4、圖6和圖7中的虛線為區塊的邊界線，圖5中的虛線為像素的邊界線。
第i行第j列的區塊表示為B(i，j)，時刻t的第i行第j列的區塊表示為B(ti，j)。設區塊B(t-11，4)的移動向量為MV。查找與將區塊B(t-11，4)MV移動的區域最為對應的時刻t的區塊。當圖4(B)時，該區塊為B(t1，5)。如圖5所示，對於規定範圍AM內將區域AX每移動1像素時求出區塊B(t1，5)的圖像和時刻t-1的區塊大小的區域AX的圖像的相關度(區塊匹配)。
範圍AM大於區塊，其一邊例如為區塊的一邊的像素數的1.5倍。範圍AM的中心為將區塊B(t1，5)的中心大致MV移動後的位置的像素。
相關度為例如時空性紋理(texture)相關度，且區塊B(t1，5)和區域AX對應的像素值之差的絕對值的總和的評價值UD越小，則越大。
求出在範圍AM內相關度成為最大的區域AX，並將該區域的中心為始點且以區塊B(1，5)的中心為中點的向量確定為區塊B(t1，5)的移動向量。並且，將與相關度成為最大的區域AX最接近的時刻t-1的區塊的ID確定為區塊B(t1，5)的ID。
移動物體跟蹤部27向相鄰的區塊的移動向量之差的絕對值為規定值以下的區塊付與相同的ID。由此，即使通過1簇，也能分割為具有互不相同的ID的多個目標(移動物體)。在圖6中，以粗線表示目標間的邊界。
在目標映象中雖然不存在移動物體的圖像，但在圖6中為便於理解，在目標映象中示意性地示出了移動物體。圖7為在目標映象上以粗線表示了目標的邊界的圖，並於圖6對應。
例如，通過圖3的入口槽EN1檢測1簇，不分割為多個目標，然後，如上所述地在時刻t1分割為多個目標時，從時刻t1隨時間，通過與時間為正向的情況相同地求出目標映象，將靠前於時刻t1的目標映象分割成多個目標。由此，可對無法分割的目標進行分割而進行識別，可以跟蹤各個目標。
在專利文獻1中1簇分成多個簇後隨時間跟蹤各個目標，但根據本實施方式，在分成多個簇之前，例如從圖28的比t＝4靠前的t＝2，可隨時間跟蹤各個目標，因此可降低圖像存儲器21的存儲容量，且減少圖像處理量而減輕CPU的負擔。
在上述說明中，對於可求出簇內的區塊的移動向量的情況進行了說明，但如圖9(A)所述，存在無法求得移動向量的區塊時，根據其位置難以斷定該區塊屬於哪個目標。當屬於某移動物體的區塊內的各像素的顏色大致相同時，無法由上述的區塊匹配法確定移動向量。例如，將圖像(空間性差分幀圖像)轉換為二進位圖像，若在區塊內『1』的像素的數為規定值以下，便判斷為不適合用上述方法求出移動向量的區塊。
通過圖8所示的方法推測這種區塊的移動向量。
(S1)若存在未確定的移動向量便進入步驟S2，否則便結束未確定移動向量推測處理。
(S2)在未確定移動向量的區塊B(i，j)周圍的8個區塊中取出已被確定的移動向量MV1～MVn。
(S3)若存在由步驟S2已確定的移動向量，便進入步驟S4，否則進入步驟S6。
(S4)將移動向量MV1～MVn分成向量之間的差的絕對值為規定值以內的組。
(S5)將移動向量數最大的組的移動向量的平均值推測為區塊B(i，j)的移動向量。當存在多個移動向量數最大的組時，將任1個組的移動向量的平均值推測為區塊B(i，j)的移動向量。接著進入步驟S1。
另外，相同組的移動向量相互大致相等，因此也可將該相同組的移動向量的任1個推測為區塊B(i，j)的移動向量。
(S6)將由步驟S5推測的移動向量看作已被確定的移動向量，返回步驟S1。
根據這種處理，可唯一地推測未確定移動向量。
接著，說明具體例。在圖9(A)中，將第i行第j列的區塊B(i，j)的移動向量表示為MV(i，j)。在圖9(A)中，未確定區塊B(2，2)、B(2，4)和B(3，3)的移動向量。
區塊B(2，2)周圍的區塊的移動向量被分成MV(2，1)、MV(3，1)、MV(3，2)以及MV(2，3)組；和MV(1，2)以及MV(1，3)的組，因此選擇前組，可推測為，MV(2，2)＝(MV(2，1)+MV(3，1)+MV(3，2)+MV(2，3))/4。
區塊B(2，4)周圍的區塊的移動向量被分成MV(2，3)、MV(3，4)、以及MV(3，5)組；和MV(1，3)、MV(1，4)、MV(1，5)以及MV(2，5)的組，因此選擇後組，可推測為，MV(2，4)＝(MV(1，3)+MV(1，4)+MV(1，5)+MV(2，5))/4。
區塊B(3，3)周圍的區塊的移動向量為MV(2，3)、MV(3，2)、MV(4，2)、MV(4，4)以及MV(3，4)的1組，因此可推測為，MV(3，3)＝(MV(2，3)+MV(3，2)+MV(4，2)+MV(4，4)+MV(3，4))/5。
就這樣，生成如圖9(B)所示的目標映象。在圖9(B)中以粗線表示了目標的邊界。
如圖10(A)所示地未確定移動向量的數量較多時，到步驟S3進行否定判斷之前，反覆進行步驟S1～S5，則也可唯一地推測移動向量而成為圖10(B)所示的狀態。接著，將由步驟S6推測的移動向量看作是以被確定的移動向量，通過再次進行步驟S1～S5，唯一地推測區塊B(3，4)的移動向量，成為圖10(C)的狀態。接著，通過向相鄰的區塊的移動向量的差的絕對值為規定值以下的區塊付與相同的ID，使1簇分割為具有相互不同的ID的多個目標。
另外，移動物體跟蹤部27將儲存於目標映象26的目標映象的時序作為跟蹤結果儲存到未圖示的硬碟中。
(第2實施方式)在上述第1實施方式中，由於僅根據其周圍的區塊的移動向量確定了未確定移動向量，因此當未確定移動向量較多時，這些區塊的ID和移動向量的確定精度變低。
為提高該精度，在本發明的第2實施方式中，根據後述的評價函數的值，同時確定全部區塊的ID和移動向量。在該第2實施方式中也與上述第1實施方式一樣，圖2的移動物體跟蹤部27，根據儲存於目標映象存儲部26的時刻(t-1)的目標映象和儲存於圖像存儲器21的時刻(t-1)及t的幀圖像，將時刻t的目標映象形成於存儲部26內。
首先，對於包括移動物體的局部的任意的區塊B(ti，j)的評價函數U(i，j)進行說明。評價函數U(i，j)可表示為如下式的4個輔助評價函數的一階結合。
U(i，j)＝aUD+bUM+cUN+fUV(1)其中，a～c和f為常數，由試行錯誤決定。
下面，將1區塊設為m×m像素，並以G(tg，h)表示時刻t的圖像的第g行第h列的像素的值，以(MVX，MVY)表示區塊B(ti，j)的推測動態像量MV。且設i≥0、j≥0。
(1)表示時空性紋理相關度的輔助評價函數UD輔助評價函數UD表示時空性紋理相關度，並與上述第1實施方式中說明相同，可由下式表示。
UD(i，j，MV)＝∑|G(tmi+x，mj+y)-G(t-1mi+x-MVX，mj+y-MVY)| (2)
其中，∑為表示x＝0～m-1和y＝0～m-1的總和。
在圖12中，虛線為區塊邊界線，打斜線的部分表示移動物體。圖12(B)為表示關注區塊B(t1，2)的推測移動向量為MV的情況，圖12(A)為表示將區塊B(t-11，2)移動-MV的區域AX。在這種情況下，算出區塊B(t1，2)的圖像和區域AX的圖像的評價函數UD(1，2，MV)。MV發生變化時UD的值發生變化，且UD的值越小，區塊B(t1，2)的圖像和區域AX的圖像之間的紋理相關度越大。UD為最小值時的MV為最準確的移動向量。移動物體的速度沒有限制，因此從關注區塊B(t1，2)的中心至規定範圍內例如上下±25像素、左右±25像素的範圍內，移動區域AX而求出UD的最小值。該規定範圍也可以，如第1實施方式所述，利用時刻t-1的移動向量進行預測的範圍AM。
(2)表示時空性ID相關度的輔助評價函數UM圖13(A)和(B)分別對應於圖12(A)和(B)，且打斜線的部分表示判斷為存在移動物體的區塊。
當推測為關注區塊B(t1，2)的ID為ID1時，將包括於上述區域AX內的ID＝ID1的像素數設為M。在圖13(A)時，區域AX內的打斜線的部分的像素數為M。但是，關注區塊B(t1，2)的推測ID與區域AX內的ID全部不同時，成為M＝0。M的最大值為m2。
輔助評價函數UM表示時空性ID相關度，由下式表示。
UM(i，j，MV)＝(M-m2)2(3)UM的值越小，時間性ID相關度越高。
從關注區塊B(ti，j)的中心在上述規定範圍內移動區域AX求出aUD+bUM的最小值，由此，可同時確定關注區塊的ID和MV。
(3)表示空間性ID相關度的輔助評價函數UN在圖13(B)中，推測為關注區塊B(t1，2)的ID為ID1時，將關注區塊周圍的8個區塊B(t0，1)、B(t0，2)、B(t0，3)、B(t1，3)、B(t2，3)、B(t2，2)、B(t2，1)、和B(t1，1)中ID為ID1的區塊的個數設為N。當圖13(B)的打斜線的部分的ID全部相同時，關注區塊B(t1，2)的N的值為5。
輔助評價函數UN表示空間性ID相關度，由下式表示。
UN(i，j)＝(N-8)2(4)UN的值越小，空間性ID相關度越高。
(4)表示空間性MV相關度的輔助評價函數UV從關注區塊B(ti，j)的中心在上述規定範圍內移動區域AX而求出aUD+bUM+cUN的最小值，由此，可同時確定關注區塊的ID和MV。
然而，移動了區域AX時，存在多個與關注區塊相同紋理的區域的情況下，移動向量MV無法確定。該移動向量MV可推測為大致與關注區塊附近且相同ID的區塊的移動向量MV相同。因此，定義了表示空間性MV相關度的如下的輔助評價函數UV。
UV(i，j)＝∑|MV-MVneigher|/L (5)其中，MV為上述(1)式中所述的關注區塊B(ti，j)的推測移動向量，MVneigher為關注區塊B(ti，j)周圍的8個區塊中具有與關注區塊B(ti，j)的推測ID相同ID的區塊的移動向量，∑表示具有該相同ID的區塊的總和，L為具有該相同ID的區塊的個數。
在圖14(A)的情況下，若打斜線的區塊為相同ID，為UV(1，2)＝(|MV-MV1|+|MV-MV2|+|MV-MV3|+|MV-MV4|+|MV-MV5|)/5。
當時刻t-1的上述區域AX為圖14(B)的情況時，UV(1，2)的值變大，推測移動向量MV的準確程度較小。UV的值越小，空間性MV相關度越高。
從關注區塊B(ti，j)的中心在上述規定範圍內移動區域AX即改變MV，從而可同時確定關注區塊的ID和MV，使上式(1)的評價函數U成為最小值。
另外，MVneigher可以為關注區塊B(ti，j)周圍的區塊，例如也可以為上下左右4個區塊、關注區塊B(ti，j)周圍(1周)的8個區塊中任意的1個區塊或關注區塊B(ti，j)周圍(2周)的24個區塊中，具有與關注區塊B(ti，j)的推測ID相同ID的區塊的移動向量。並且，MVneigher還可由時刻t-1所對應的移動向量近似。即，若將關注區塊B(ti，j)-MV移動的區域的中心所屬的區塊設成B(t-1p，q)，則可以為區塊B(t-1p，q)附近的區塊中具有與關注區塊B(ti，j)的推測ID相同ID的區塊的移動向量。
輔助評價函數UN和UV均與時刻t的空間性相關度有關，因此通過求出全部區塊的評價函數U的總和的最小值，同時確定時刻t的全部區塊的ID和MV較為理想。實際上，為了縮短處理時間而能夠進行實時處理，根據圖11所示的近似法確定ID和MV。
(S11)對於在時刻t包括了移動物體的局部的各區塊，求出使上式(2)的評價函數UD的值成為最小的移動向量MV。但是，對於不適合求出上述移動向量的區塊，則不求移動向量MV。接著，對於適合求出移動向量的各區塊，求出使上式(5)的評價函數UV的值成為最小的移動向量MV。在這種情況下，也可通過添加圖18的步驟S1～S3和S6的處理，唯一地確定移動向量MV。
(S12)對於具有移動向量MV的各區塊，確定ID使上式(3)的評價函數UM成為最小。該移動向量MV由步驟S11求出，且為固定值。對於在時刻t-1未付與ID的最初的圖像，向相鄰的區塊的移動向量MV的差為規定值以內的區塊付與相同ID。
(S13)求出ID和MV所求得的各區塊的評價函數U的值的總和UT。
(S14)為求出使總和UT更小的ID和MV的分布，改變該分布。
(S15)若判斷為反覆進行規定次數的步驟S13和S14，或判斷為總和UT收斂，則結束處理，否則返回步驟S15。
就這樣，可實時地求出使總和UT大致成為最小的ID和MV的分布。
例如，在步驟S16中，若將1個區塊的MV在規定範圍內偏離1像素或改變1個區塊的ID，且回到步驟S15使總和UT大於前值，而在步驟S16中，使改變的MV或ID恢復成原來的值而變小，則對於下一個區塊也進行相同的改變。該規定範圍例如對於上下左右各個為+4像素。
此外，改變1個區塊的MV或ID，其影響也不涉及全部區塊的評價函數，因此也可不求總和UT，使全部區塊中受影響的區塊的評價函數U的值的總和UTportion大致成為最小。在這種情況下，暫時存儲各區塊的評價函數U的值，並通過將其前次的值和此次的值進行比較，可判斷有無影響。
進而，也可取代進行步驟S13～S15的反覆處理，預先推測使總和UT變小的處理，通過該處理計算總和UT或UTportion，若該值小於處理前，則採用其目標映象，否則採用處理前的目標映象。該推測處理例如為基於上式(5)的移動向量的空間性平均化。即，通過將式(5)中的MV成為MV＝∑MVneigher/L，可使式(5)的值成為最小，因此利用已求出的MVneigher，使MV成為MV＝∑MVneigher/L。
此外，在步驟S11中，也可不求出不適於求出移動向量的區塊的移動向量，而通過步驟S13～S15的處理或代替該處理的前述處理，確定不適於求出移動向量的區塊的移動向量。
接著，說明第2實施方式的實驗結果。
常數a～c和f因試行錯誤而被確定為，a＝32/1000000、b＝1/256、c＝1/2、f＝1/4。並且，取代進行步驟S13～S15的反覆處理，進行上述移動向量的空間性平均化處理。
圖15(A)和(B)分別表示交差點上的拍攝圖像及其ID的目標映象。圖中的粗線表示包括了相同ID的矩形(以下相同)。
圖16(A)和(B)分別表示高速公路上的低角度拍攝圖像及其ID的目標映象。
圖17(A)和(B)分別表示橫行步道上的拍攝圖像及將其與ID的目標映象的ID付與部的網格重疊的圖像。
圖16(A)和圖17(B)中的矩形所付與的編號為目標的ID。
可以跟蹤這種複雜重疊的移動物體。
(第3實施方式)如圖10(C)所示，在目標邊界兩側推測的移動向量的個數較多，且邊界兩側的移動向量的差的絕對值較小時，目標邊界的精度變差。在這種情況下，隨時間而跟蹤目標，則跟蹤精度也變差。
通過將對於相鄰的區塊的移動向量MV的差在規定值以內的區塊付與相同ID的規則中的該規定值增大，可解決這類問題，但在這種情況下，隨時間的跟蹤處理的開始時點延遲。
因此，在本發明的第3實施方式中，為解決這些問題，通過進行圖18所示的方法，確定了隨時間的跟蹤處理的開始時點。在該方法中，對於連續的N圖像、例如3圖像，在時間上相鄰的圖像中的相同目標間的相關度(目標的時空性相關度)為規定值以上時，判斷為目標邊界的可靠性高。
例如假設圖19(A)所示的時刻t-1的目標映象已被製作。
(S21)向計數器CNT中代入初始值0。
(S22)將時刻t的目標映象以上述第1實施方式所述的方法形成。圖19(B)表示時刻t的目標映象。
(S23)當在1簇中包括多個目標時，進入步驟S24，否則，進入步驟S27。
(S24)對於時刻t-1和t的目標映象，求出目標的時空性相關度。
例如，求出將圖19(A)的一個目標OBJ1(t-1)移動該目標的平均移動向量的量的圖形和將圖19(B)的該一個所對應的目標OBJ1(t)的圖形的圖形邏輯積(圖19(C)中打斜線的圖形)的面積A1，並求出目標OBJ1(t-1)的圖形的面積A0，從而將其比A1/A0作為相關度求出。面積A0也可為目標OBJ1(t)的圖形的面積A0。
(S25)若A1/A0為規定值r0以上，便進入步驟S26，否則進入步驟S27。
(S26)對計數器CNT加1，進入步驟S28。
(S27)將計數器CNT清零。
(S28)若CNT＜N-1，則進入步驟S29，否則進入步驟S30。
(S29)將下一時刻t+1設成t，返回步驟S21。
(S30)判斷為目標的時空性相關度高，從時間t跟蹤目標。
(第4實施方式)圖20為本發明的第4實施方式的目標映象說明圖。
若減小區塊大小，目標的邊界精度就提高。但是，越減小區塊大小，就越難由區塊匹配確定移動向量。
為解決這種問題，在本發明的第4實施方式中，使得用於確定付與ID和移動向量MV的各區塊B(i，j)的移動向量的區塊B』(i，j)的大小大於區塊B(i，j)的大小。區塊B』(i，j)與區塊區塊B(i，j)同心，且在區塊B』(i，j)內包括了區塊B(i，j)。
例如在圖20中，區塊B』(t3，10)用於求出B(t3，10)的移動向量。與圖5的情況相同，在規定範圍AM內，區域AX每移動1像素時，求出B』(t3，10)的圖像和時刻t-1的區塊大小的區域AX的圖像的紋理相關度。
其它方面與上述第1、第2或第3實施方式相同。
(第5實施方式)在上述實施方式中，通過以區塊單位與背景圖像進行比較，可查出是否存在目標，因此必須特別採集背景圖像。並且，例如根據過去10分鐘的拍攝圖像生成背景圖像，因此當攝像機晃動時，無法將該晃動情況反映到背景圖像上。
因此，在本發明的第5實施方式中，為了解決這種問題，將背景圖像也看作目標來形成目標映象。目標映象生成方法除了與背景圖像進行比較而判斷在區塊中是否存在移動物體的方面以外，與上述第1、第2或第3實施方式相同。且因背景圖像也看作目標，故通過對於全部的區塊進行區塊匹配，付與ID，且確定MV。
接著，參照圖21和圖22，對於通過圖11的處理形成時刻t的目標映象的過程的概略進行說明。
(S11)在時刻t對於各區塊，求出使上式(2)的評價函數UD的值成為最小的移動向量MV。但是，對於不適於求出上述的移動向量的區塊，則不求出移動向量MV。
對於圖21(A)所示的圖像，通過進行該處理，得出圖21(B)所示的移動向量的目標映象。在圖21(B)中，虛線為區塊的邊界線，點表示移動向量為0。
接著，對不適於求出移動向量的各區塊，求出使上式(5)的評價函數UV的值成為最小的移動向量MV。由此，得出圖22(A)所示的移動向量的目標映象。
步驟S12～S15的處理與第2實施方式相同。
通過步驟S12的處理，得出如圖22(B)所示的ID的目標映象。
由此，無需利用特別的背景圖像，且即使攝像機晃動，也可識別背景圖像。並且，無需在圖像上設置入口槽。進而，通過消除從圖像的邊框得出的目標的ID，也可不利用出口槽。
(第6實施方式)在以上的實施方式中，將圖像分割為區塊，以區塊單為確定目標的ID和MV，因此無法跟蹤與區塊的邊界無關的移動物體的局部例如區塊大小的區域。
在本發明的第6實施方式中，將圖像分割為區塊，以區塊單為確定目標的ID和MV，並且跟蹤與區塊的邊界無關的移動物體的局部。
在圖2的目標映象存儲部26，如圖23所示，儲存有對應於時刻t～t-5的時序圖像的目標映象OM(t)～OM(t-5)。
在下一時刻，成為t→t-1，即目標映象OM(t)～OM(t-5)分別成為OM(t-1)～OM(t-6)。並且，最早的目標映象OM(t-6)更新為新的目標映象OM(t)。
在圖2的移動物體跟蹤部27中，移動物體的局部的跟蹤由以下形式進行。
如圖24(A)所示，設目標映象OM(t)上的關注區域A(t)的移動向量為MV。圖24(A)中的虛線為區塊的邊界，在該例中，關注區域A(t)與1個區塊一致。
如圖24(B)所示，求出將關注區域A(t)-MV移動(t)的區域所對應的目標映象OM(t-1)的關注區域A(t-1)。
根據如下的疊加平均法求出關注區域A(t-1)的移動向量MV(t-1)。
MV(t-1)＝(MV1·S1+MV2·S2+MV3·S3+MV4·S4)/(S1+S2+S3+S4)其中，MV1～MV4為與關注區域A(t-1)重疊的第1～4區塊的移動向量，S1～S4為與關注區域A(t-1)重疊的第1～4區塊的重疊部分像素數。
如圖24(C)所示，求出將關注區域A(t-1)-MV(t-1)移動的區域所對應的目標映象OM(t-2)的關注區域A(t-2)。
與上述同樣的方法求出關注區域A(t-2)的移動向量MV(t-2)。
通過反覆進行這種關注區域的移動和移動後的關注區域的移動向量計算的處理，可與區塊邊界無關地跟蹤關注區域。即，對於時刻t關注區域A(t)，可以求出時刻t-1～t-5的關注區域A(t-1)～A(t-5)。
根據本發明的第6實施方式，可跟蹤作為移動物體的局部的關注區域，例如可以對關注區域的移動圖形進行解析或分類，或者判斷為特定的移動圖形。並且，可對多個關注區域的移動圖形進行解析或分類，或者判斷為特定的移動圖形。
在上述例中，對於時刻t的關注區域與1個區塊一致的情況進行了說明，但也可如圖24(B)所示，關注區域與1個區塊不一致。這種情況下的關注區域的移動向量如上所述地由疊加平均法求出。
此外，在上述的例中，也可對於隨時間跟蹤關注區域的情況進行了說明，但從目標映象OM(t-5)上的關注區域A(t-5)出發向移動向量的正向移動關注區域，由此，跟蹤關注區域。在這種情況下，通過在每求得新的目標映象OM(t)時求出關注區域A(t)，可跟蹤關注區域。
進而，關注區域也可大於或小於區塊大小。
(第7實施方式)接著，將在目標邊界識別上利用了上述第6實施方式的方法的例子作為第7實施方式而進行說明。
在圖25(A)中，設目標映象OM(t)上的相鄰的關注區域Ai(t)和Aj(t)的移動向量分別為MVi(t)和MVj(t)。即使區域Ai(t)和Aj(t)為互不相同的移動物體的局部，在|MVi(t)-MVj(t)|較小時，也無法將兩者識別為不同的移動物體。特別是感覺距攝像機較遠的多個移動物體相互重疊時，產生這種問題。
因此，通過上述第6實施方式的方法，確定目標映象OM(t-5)上的相鄰的關注區域Ai(t-5)和Aj(t-5)。作為較早發出的移動向量MVi(t-5，t)求出區域Ai(t-5)的中心至Ai(t)的中心的移動向量。同樣，作為較早發出的移動向量MVj(t-5，t)求出區域Aj(t-5)的中心至Aj(t)的中心的移動向量。並且，若|MVi(t-5，t)-MVj(t-5，t)|的值超過規定值ε，可識別為關注區域Ai(t)和Aj(t)的邊界為互不相同的移動物體的邊界。
通過將這種處理適用到目標映象OM(t)上的1簇內的全部相鄰的區塊，可分割識別包括在該簇內的多個移動物體。
在上述例子中，對於|MVi(t-k，t)-MVj(t-k，t)|的k為5的情況進行了說明，但優選看似重疊的移動物體間的圖像上的相對速度越小使k的值越大的方法。
因此，對於1個簇，製作圖26所示的移動向量的絕對值的直方圖。存在多個波峰時，可推測為在該簇中包括有多個移動物體。對于波峰間的距離ΔV，將k值確定為，k＝[αΔV]。
其中，α為由試行錯誤而定的常數，[]表示通過四捨五入的整數化。
(第8實施方式)圖27為表示本發明的第8實施方式的移動體邊界識別方法的流程圖。
在該方法中，未製作上述直方圖，而對圖25(A)的2個關注區域，如下地將k的值由0改變至最大值kmax。Kmax例如在10幀/秒時為5。
(S31)將初始值0代入k。
(S32)若|MVi(t-k，t)-MVj(t-k，t)|＞ε，則進入步驟S33，否則進入步驟S34。
(S33)識別為關注區域Ai(t)和Aj(t)的邊界為互不相同的移動物體的邊界。
(S34)對k值加1。
(S35)若k＞kmax，便進入步驟S36，否則返回步驟S32。
(S36)識別為關注區域Ai(t)和Aj(t)屬於相同移動物體。
其它方面與上述第7實施方式相同。
根據該第8實施方式，不製作上述直方圖而自動地確定k值。
另外，本發明除此以外也包括各種變形例。
例如，在上述實施方式中對於處理空間性差分圖像而跟蹤移動物體的情況進行了說明，但本發明還可以為處理各種邊緣圖像和原始圖像而跟蹤移動物體(包括移動物體的局部)的構成。
權利要求
1.一種圖像中移動物體跟蹤方法，處理時序圖像而跟蹤圖像中的移動物體，其特徵在於，各圖像被分割成由多個像素組成的區塊，移動物體的識別符號以區塊單位被付與，並且該移動物體的移動向量則以區塊單位求出的情況下，(a)通過向相鄰的區塊的移動向量之差的絕對值在規定值以內的區塊上付與相同識別符號，向在圖像上相互重疊的移動物體付與相互不同的識別符號。
2.如權利要求1所述的圖像中移動物體跟蹤方法，其中，對於該時序圖像中連續的N圖像(N≥2)進行該步驟(a)的處理，(b)在該N圖像的各圖像中，作為付與了第1識別符號的區塊群的第1目標和作為付與了第2識別符號的區塊群的第2目標相接，且對於該N圖像判斷時間上相鄰的圖像的第1目標間的相關度是否為規定值以上。
3.如權利要求2所述的圖像中移動物體跟蹤方法，其中，該相關度與將該時間性相鄰的第1目標的一個根據其移動向量移動的結果和另一個的圖形邏輯積的面積的、對於該一個或另一個面積的比例大致相等。
4.如權利要求2或3所述的圖像中移動物體跟蹤方法，其中，還具有步驟(c)，在該步驟(b)進行肯定判斷後，隨時間跟蹤該第1目標和該第2目標。
5.一種圖像中移動物體跟蹤裝置，具有儲存時序圖像和程序的存儲裝置、和與該存儲裝置連接的處理器，其特徵在於，該程序通過對該處理器讀出該時序圖像而進行處理，從而跟蹤圖像中的移動物體，且通過該處理，各圖像被分割成由多個像素組成的區塊，移動物體的識別符號以區塊單位付與，並且該移動物體的移動向量以區塊單位求出，該程序具有步驟(a)，通過對相鄰的區塊的移動向量的差的絕對值在規定值以內的區塊付與相同識別符號，向圖像上相互重疊的移動物體付與互不相同的識別符號。
6.如權利要求5所述的圖像中移動物體跟蹤裝置，其中，該程序具有對於該時序圖像中的連續的N圖像(N≥2)進行該步驟(a)處理的步驟；和步驟(b)，在該N圖像的各圖像中，作為付與了第1識別符號的區塊群的第1目標和作為付與了第2識別符號的區塊群的第2目標相接，且對於該N圖像判斷時間上相鄰的圖像的第1目標間的相關度是否為規定值以上。
7.如權利要求6所述的圖像中移動物體跟蹤裝置，其中，該步驟(b)的該相關度與將該時間性相鄰的第1目標的一個根據其移動向量移動的結果和另一個的圖形邏輯積的面積的、對於該一個或另一個面積的比例大致相等。
8.如權利要求6或7所述的圖像中移動物體跟蹤裝置，其中，該程序還具有步驟(c)，由該步驟(b)進行肯定判斷後，隨時間跟蹤該第1目標和該第2目標。
9.一種圖像中移動物體跟蹤方法，處理時序圖像而跟蹤圖像中的移動物體，其特徵在於，各圖像被分割成由多個像素組成的區塊，移動物體的移動向量以區塊單位求出，且存在未確定移動向量的第1區塊的情況下，(a)抽出該第1區塊周圍的已確定的移動向量；(b)將該抽出的移動向量分組為相互的向量之差成為規定值以下；(c)將包括在向量數最大的組中的移動向量的大致平均向量推測為該第1區塊的移動向量。
10.如權利要求9所述的圖像中移動物體跟蹤方法，其中，應在該步驟(a)中抽出的已確定的移動向量不存在時，將由該步驟(c)推測的移動向量看作已確定的移動向量，並執行該步驟(a)～(c)。
11.一種圖像中移動物體跟蹤裝置，具有儲存時序圖像和程序的存儲裝置、和與該存儲裝置連接的處理器，其特徵在於，該程序通過對該處理器讀出該時序圖像而進行處理，從而跟蹤圖像中的移動物體，且通過該處理，各圖像被分割成由多個像素組成的區塊，移動物體的識別符號以區塊單位付與，並且該移動物體的移動向量以區塊單位求出，而該程序在存在未確定移動向量的第1區塊時，具有(a)抽出該第1區塊周圍的已確定的移動向量的步驟；(b)將該抽出的移動向量分組為使相互的向量差的絕對值為規定值以下的步驟；和(c)將包括在向量數最大的組中的移動向量的大致平均向量推測為該第1區塊的移動向量的過程。
12.如權利要求11所述的圖像中移動物體跟蹤裝置，其中，該程序還具有步驟(d)，在不存在應在該步驟(a)抽出的已確定的移動向量時，將由該步驟(c)推測的移動向量看作已確定的移動向量，並執行該步驟(a)～(c)。
13.一種圖像中移動物體跟蹤方法，處理時序圖像而跟蹤圖像中的移動物體，其特徵在於，各圖像被分割成由多個像素組成的區塊，移動物體的識別符號以區塊單位被付與，並且該移動物體的移動向量以區塊單位求出的情況下，(a)將時刻t1的圖像的區塊大小的區域至時刻t2的圖像的關注區塊的移動向量推測為MV，將該關注區塊的識別符號推測為ID，(b)求出有關包括該時刻t2的圖像的該關注區塊周圍的區塊中識別符號為ID的至少1個區塊的移動向量和該關注區塊的移動向量MV之差的絕對值的相關度的量，(c)在規定範圍內移動該第1區域並對各區域求出包括有關該相關度的量的評價函數的值，並根據該值的大致的最佳值確定該移動向量MV和該識別符號ID。
14.如權利要求13所述的圖像中移動物體跟蹤方法，其中，有關該步驟(c)的相關度的量為∑|MV-MVneigher|/L，其中，MVneigher為該區塊周圍的區塊中具有與該區塊的識別符號ID相同ID的區塊的移動向量，∑為表示具有該相同ID的區塊的總和，L為具有該相同ID的區塊的數量。
15.一種圖像中移動物體跟蹤裝置，具有儲存時序圖像和程序的存儲裝置、和與該存儲裝置連接的處理器，其特徵在於，該程序通過對該處理器讀出該時序圖像而進行處理，從而跟蹤圖像中的移動物體，且通過該處理，各圖像被分割成由多個像素組成的區塊，該程序在移動物體的識別符號以區塊單位付與，並且該移動物體的移動向量以區塊單位求出時，具有步驟(a)，將時刻t1的圖像的區塊大小的區域至時刻t2的圖像的關注區塊的移動向量推測為MV，將該關注區塊的識別符號推測為ID，步驟(b)，求出有關包括該時刻t2的圖像的該關注區塊周圍的區塊中識別符號為ID的至少1個區塊的移動向量和該關注區塊的移動向量MV之差的絕對值的相關度的量，步驟(c)，在規定範圍內移動該第1區域並對各區域求出包括有關該相關度的量的評價函數的值，並根據該值的大致的最佳值確定該移動向量MV和該識別符號ID。
16.如權利要求15所述的圖像中移動物體跟蹤裝置，其中，有關該步驟(c)的相關度的量為∑|MV-MVneigher|/L，其中，MVneigher為該區塊周圍的區塊中具有與該區塊的識別符號ID相同ID的區塊的移動向量，∑為表示具有該相同ID的區塊的總和，L為具有該相同ID的區塊的數量。
17.一種圖像中移動物體跟蹤方法，處理時序圖像而跟蹤圖像中的移動物體，其特徵在於，各圖像被分割成由多個像素組成的區塊，移動物體的識別符號以區塊單位被付與，並且該移動物體的移動向量以區塊單位求出的情況下，將時刻t1的圖像的區塊大小的區域至時刻t2的圖像的關注區塊的移動向量推測為MV，求出有關大於該區塊大小的區域而與該區塊大小的區域成為同心的第1區域的圖像和與該第1區域相同形狀而與該關注區塊成為同心的第2區域的圖像的相似度的量，將包括有關該相似度的量的評價函數的值，在規定範圍內移動該第1區域並對各區域求出，根據該值的大致最佳值，確定該移動向量MV。
18.一種圖像中移動物體跟蹤裝置，具有儲存時序圖像和程序的存儲裝置、和與該存儲裝置連接的處理器，其特徵在於，該程序通過對該處理器讀出該時序圖像而進行處理，從而跟蹤圖像中的移動物體，且通過該處理，各圖像被分割成由多個像素組成的區塊，移動物體的識別符號以區塊單位付與，並且該移動物體的移動向量以區塊單位求出，該程序，具有將時刻t1的圖像的區塊大小的區域至時刻t2的圖像的關注區塊的移動向量推測為MV，求出有關大於該區塊大小的區域而與該區塊大小的區域成為同心的第1區域的圖像和與該第1區域相同形狀而與該關注區塊成為同心的第2區域的圖像的相似度的量的步驟；和將包括有關該相似度的量的評價函數的值，在規定範圍內移動該第1區域並對各區域求出，根據該值的大致最佳值，確定該移動向量MV的步驟。
19.一種圖像中移動物體跟蹤方法，處理時序圖像而跟蹤圖像中的移動物體，其特徵在於，(a)將各圖像分割為由多個像素組成的區塊，(b)將背景圖像也看作是移動物體的一種，以區塊單位付與移動物體的識別符號，並且以區塊單位求出該移動物體的移動向量。
20.如權利要求19所述的圖像中移動物體跟蹤方法，其中，在該步驟(b)中，(b1)不區分是否為背景圖像，而通過時刻t1和t2的圖像間的區塊匹配，確定該時刻t2的區塊的移動向量；(b2)通過由權利要求9、10、13或14中任一項所述的方法進行推測而求出在該步驟(b1)中未被確定的區塊的移動向量，(b3)向相鄰的區塊的移動向量的差的絕對值為規定值以下的區塊付與相同的識別符號。
21.一種圖像中移動物體跟蹤裝置，具有儲存時序圖像和程序的存儲裝置、和與該存儲裝置連接的處理器，其特徵在於，該程序通過對該處理器讀出該時序圖像而進行處理，從而跟蹤圖像中的移動物體，且通過該處理，各圖像被分割成由多個像素組成的區塊，該程序，具有步驟(b1)，不區分是否為背景圖像，而通過時刻t1和t2的圖像間的區塊匹配，確定該時刻t2的區塊的移動向量；步驟(b2)，通過由權利要求9、10、13或14中任一項所述的方法進行推測而求出在該步驟(b1)中未被確定的區塊的移動向量；和步驟(b3)，向相鄰的區塊的移動向量的差的絕對值為規定值以下的區塊付與相同的識別符號。
22.一種圖像中移動物體跟蹤方法，處理時序圖像而跟蹤圖像中的移動物體，其特徵在於，各圖像被分割成由多個像素組成的區塊；將以區塊單位求出某一時刻的移動物體的移動向量的目標映象，在相互不同的時刻存儲多張；(a)對於該多張目標映象中的1個，求出關注區域的移動向量；(b)只將求出移動向量的該關注區域向正或向負移動後的的區域的移動向量，根據移動後的時刻的目標映象求出，將該移動後的區域作為該移動後的時刻的目標映象上的關注區域，通過反覆進行該步驟(b)，跟蹤該關注區域。
23.如權利要求22所述的圖像中移動物體跟蹤方法，其中，在該步驟(a)或(b)中，以與該關注區域重疊的各區塊的重疊部分的像素數作為權重，求出與該關注區域重疊的各區塊的移動向量的加權平均向量，並將該加權平均向量當作該關注區域的移動向量。
24.如權利要求22或23所述的圖像中移動物體跟蹤方法，其中，該步驟(a)的關注區域為1個區塊。
25.如權利要求22或23所述的圖像中移動物體跟蹤方法，其中，該步驟(a)的目標映象為最新的目標映象，且在該步驟(b)中使該關注區域向負方向移動。
26.如權利要求22或23所述的圖像中移動物體跟蹤方法，其中，通過將最早的目標映象更新為最新的目標映象，保持該多張恆定。
27.如權利要求22或23所述的圖像中移動物體跟蹤方法，其中，根據時刻t1和時刻t2的目標映象上的相互對應的關注區域，求出該時刻t1至該時刻t2的移動向量作為超前移動向量，並且，當該時刻t2的目標映象上的相鄰的關注區域的超前移動向量的絕對值的差大於規定值時，識別為該相鄰的關注區域是互不相同的移動物體。
28.如權利要求27所述的圖像中移動物體跟蹤方法，其中，對於作為具有移動向量的相鄰的區塊的聚集體的1簇，在移動向量的絕對值的直方圖的波峰存在多個時，根據波峰間的速度差，確定該時刻t1和該時刻t2的間隔。
29.如權利要求27所述的圖像中移動物體跟蹤方法，其中，每擴展該時刻t1至該時刻t2的間隔時，判斷該時刻t2的目標映象上的相鄰的關注區域的超前移動向量的絕對值的差是否大於規定值，並且，該間隔為預定的最大值以下且該差大於規定值，則識別為該相鄰的關注區域是互不相同的移動物體。
30.一種圖像中移動物體跟蹤裝置，具有儲存時序圖像和程序的存儲裝置、和與該存儲裝置連接的處理器，其特徵在於，該程序通過對該處理器讀出該時序圖像而進行處理，從而跟蹤圖像中的移動物體，且通過該處理，各圖像被分割成由多個像素組成的區塊，而以區塊單位求出某一時刻的移動物體的移動向量的目標映象在互不相同的時刻在該存儲裝置中儲存了多張，該程序，具有步驟(a)，對於該多張目標映象中的1個，求出關注區域的移動向量；和步驟(b)，只將求出移動向量的該關注區域向正或向負移動後的的區域的移動向量，根據移動後的時刻的目標映象求出，將該移動後的區域作為該移動後的時刻的目標映象上的關注區域，通過反覆進行該步驟(b)，跟蹤該關注區域。
31.如權利要求30所述的圖像中移動物體跟蹤裝置，其中，在該步驟(a)或(b)中，以與該關注區域重疊的各區塊的重疊部分的像素數作為權重，求出與該關注區域重疊的各區塊的移動向量的加權平均向量，並將該加權平均向量當作該關注區域的移動向量。
32.如權利要求30或31所述的圖像中移動物體跟蹤裝置，其中，該步驟(a)的關注區域為1個區塊。
33.如權利要求30或31所述的圖像中移動物體跟蹤裝置，其中，該步驟(a)的目標映象為最新的目標映象，且在該步驟(b)中使該關注區域向負方向移動。
34.如權利要求30或31所述的圖像中移動物體跟蹤裝置，其中，該程序還具有通過將最早的目標映象更新為最新的目標映象，保持該多張恆定的步驟。
35.如權利要求30或31所述的圖像中移動物體跟蹤裝置，其中，該程序還具有根據時刻t1和時刻t2的目標映象上的相互對應的關注區域，求出該時刻t1至該時刻t2的移動向量作為超前移動向量的步驟；當該時刻t2的目標映象上的相鄰的關注區域的超前移動向量的絕對值的差大於規定值時，識別為該相鄰的關注區域是互不相同的移動物體的步驟。
36.如權利要求35所述的圖像中移動物體跟蹤裝置，其中，該程序還具有對於作為具有移動向量的相鄰的區塊的聚集體的1簇，在移動向量的絕對值的直方圖的波峰存在多個時，根據波峰間的速度差，確定該時刻t1和該時刻t2的間隔的步驟。
37.如權利要求35所述的圖像中移動物體跟蹤裝置，其中，該程序還具有每擴展該時刻t1至該時刻t2的間隔時，判斷該時刻t2的目標映象上的相鄰的關注區域的超前移動向量的絕對值的差是否大於規定值的步驟；該間隔為預定的最大值以下且該差大於規定值，則識別為該相鄰的關注區域是互不相同的移動物體的步驟。
全文摘要
一種圖像中移動物體跟蹤方法，為以很少的暫時存儲的時序圖像跟蹤移動物體，對於時序圖像中連續的N圖像(N≥2)進行(a)通過向相鄰的區塊的移動向量之差的絕對值在規定值以內的區塊上付與相同識別符號，向在圖像上相互重疊的移動物體付與相互不同的識別符號；(b)在該N圖像的各圖像中，作為付與了第1識別符號的區塊群的第1目標和作為付與了第2識別符號的區塊群的第2目標相接，且對於該N圖像判斷時間上相鄰的圖像的第1目標間的相關度是否為規定值以上；和(c)在該步驟(b)進行肯定判斷後，隨時間跟蹤該第1目標和該第2目標。
文檔編號H04N7/18GK1729485SQ20038010697
公開日2006年2月1日 申請日期2003年12月15日 優先權日2002年12月20日
發明者上條俊介, 坂內正夫 申請人:財團法人生產技術研究獎勵會