使用最小費用流網絡的寬基線雙目物體匹配方法
2023-09-16 16:00:15
使用最小費用流網絡的寬基線雙目物體匹配方法
【專利摘要】一種使用最小費用流網絡的寬基線雙目物體匹配方法，包括捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲並且第二圖像從第二攝像機裝置捕獲。多個圖像應用於第一圖像和第二圖像並且確定各與應用於第一圖像和第二圖像的圖像塊中相應圖像塊相關聯的多個檢測費用。確定各對應於第一圖像與第二圖像之間的圖像塊的選定的匹配對中的相應匹配對的多個匹配費用。基於檢測費用和匹配費用確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑並且基於至少一個費用流路徑跟蹤目標物體。
【專利說明】使用最小費用流網絡的寬基線雙目物體匹配方法
【技術領域】
[0001]本公開涉及使用雙目攝像機系統的物體檢測和匹配。
【背景技術】
[0002]這部分的陳述主要提供關於本公開的背景信息。因此這些陳述並非旨在承認構成現有技術。
[0003]主動安全和駕駛員輔助系統(ASDAS)利用單目視覺系統作為檢測目標物體諸如沿道路行進的前車輛的低費用解決方案。單目視覺系統基於平地的假設來估計深度。但是，當平地假設並不適用時，深度估計偏離其真實值。例如，當平地假設並不適用時，單目視覺系統可能將離目標物體的距離估計為比目標物體實際距離更遠。
[0004]眾所周知，例如，利用距離檢測裝置諸如雷達和雷射雷達來檢測目標物體的存在和離目標物體的距離。但是，這種距離檢測裝置費用較高，增加了配備ASDAS的車輛的價格。
[0005]還已知，例如，通過從兩個捕獲的圖像(每個圖像來自相應的攝像機裝置)的視差圖提取三維特徵，且匹配關鍵點的稀疏集以利用立體成像方案來確定目標物體的存在。但是，這種立體成像方案具有深度不準確的缺點，這歸因於兩個攝像機裝置之間的窄基線，因為深度準確度隨深度以二次方降級。此外，當兩個攝像機裝置之間的基線增加時，可出現導致不能用的視差圖的像素對應問題。
[0006]因此，需要改進使用立體成像而不提取三維特徵(其需要使用視差圖)的深度準確度。
【發明內容】
[0007]利用雙目系統跟蹤目標物體的方法包括:捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲，而第二圖像從第二攝像機裝置捕獲。多個圖像應用於第一圖像和第二圖像並且確定各與應用於第一圖像和第二圖像的圖像塊中相應圖像塊相關聯的多個檢測費用。確定各與第一圖像與第二圖像之間的圖像塊的選定的匹配對中的相應匹配對相對應的多個匹配費用。基於檢測費用和匹配費用確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑並且基於至少一個費用流路徑跟蹤目標物體。
[0008]本發明包括以下方案:
方案1.一種利用雙目攝像機系統跟蹤目標物體的方法，包括:
捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲，而第二圖像從第二攝像機裝置捕獲；
將多個圖像塊應用到第一圖像和第二圖像中的每一個；
確定各與應用於第一圖像和第二圖像的圖像塊中相應圖像塊相關聯的多個檢測費
用；
確定各與第一圖像與第二圖像之間的圖像塊的匹配對中的相應匹配對相對應的多個選定匹配費用；
基於檢測費用和匹配費用確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑；以及
基於至少一個費用流路徑跟蹤目標物體。
[0009]方案2.根據方案I所述的方法，其中跟蹤目標物體包括下列中的至少一個:
跟蹤離目標物體的距離；以及
跟蹤目標物體的速度。
[0010]方案3.根據方案I所述的方法，其中第一攝像機裝置安裝於源車輛擋風玻璃的第一端附近並且第二攝像機裝置安裝於源車輛擋風玻璃的第二端附近。
[0011]方案4.根據方案I所述的方法，其中將多個圖像塊應用到第一圖像和第二圖像中的每一個包括:
將預定數量的圖像塊應用到第一圖像和第二圖像，每個圖像塊包括矩形框並且具有離散尺寸和位置。
[0012]方案5.根據方案4所述的方法，其中應用於第一圖像的多個圖像塊中的每一個由第一圖像的第一層和第一圖像的第二層表示，並且應用於第二圖像的多個圖像塊中的每一個由第二圖像的第一層和第二圖像的第二層表示。
[0013]方案6.根據方案5所述的方法,其中由相應第一層表不的應用於的第一圖像的多個圖像塊中的每一個鏈結到源頂點並且由相應第二層表示的應用於第二圖像的多個圖像塊中的每一個鏈結到沉頂點。
[0014]方案7.根據方案I所述的方法，其中確定各與應用於第一圖像和第二圖像的圖像塊的相應圖像塊相關聯的多個檢測費用包括:
應用包括多個判定邊界的線性向量分類器到應用於第一圖像和第二圖像的圖像塊中的每一個，每個判定邊界對應於可能的目標物體的相應視角；以及下列情況的一種:
當線性向量分類器的量值小於零時，確定與相應圖像塊相關聯的負檢測費用，以及 當線性向量分類器的量值至少為零時，確定與相應圖像塊相關聯的正檢測費用。
[0015]方案8.根據方案7所述的方法，還包括:
當確定了相關聯的負檢測費用時，將相應圖像塊指定為被佔據；以及 當確定了相關聯的正檢測費用時，將相應圖像塊指定為未被佔據。
[0016]方案9.根據方案7所述的方法，其中包括判定邊界的向量分類器包括線性權向量和預定偏置檢測閾值。
[0017]方案10.根據方案I所述的方法，其中第一圖像與第二圖像之間的圖像塊的選定匹配對中的相應匹配對如下來選擇:
監視應用於第一圖像和第二圖像的圖像塊中的每一個的位置信息；
監視應用於第一圖像和第二圖像的圖像塊中的每一個的外觀信息；
選擇所述匹配對包括選擇具有相關外觀信息和相關位置信息的應用於第一圖像的圖像塊中的選定圖像塊和應用於第二圖像的圖像塊中的選定圖像塊。
[0018]方案11.根據方案10所述的方法，還包括
當應用於第一圖像和第二圖像的圖像塊中的選定圖像塊的每一個的監視的位置信息以小於預定位置閾值偏離時，認為圖像塊中的選定圖像塊的每一個之間的位置信息為相關的。
[0019]方案12.根據方案10所述的方法，還包括:
當應用於第一圖像和第二圖像的圖像塊中的選定圖像塊中每一個的監視的外觀信息以小於預定外觀閾值偏離時，認為圖像塊中的選定圖像塊中每一個之間的外觀信息為相關的。
[0020]方案13.根據方案I所述的方法，其中確定各與第一圖像與第二圖像之間的圖像塊的選定匹配對中的相應匹配對相對應的多個匹配費用包括:
監視與每個選定匹配對相關聯的圖像塊中的每一個的位置信息；
監視與每個選定匹配對相關聯的圖像塊中的每一個的外觀信息；
測量與每個選定匹配對相關聯的圖像塊中每一個之間的位置信息的相異點；
測量與每個選定匹配對相關聯的圖像塊中每一個之間的外觀信息的相異點；以及基於與每個選定匹配對相關聯的圖像塊中每一個之間的位置信息的相異點和外觀信息的相異點來確定多個匹配費用。
[0021]方案14.根據方案I所述的方法，其中確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑包括:
監視從第一圖像的源頂點到第二圖像的沉頂點的多個費用流路徑；
將每個費用流路徑分段成多個運載單元，
每個運載單元包括下列之一:檢測成本之一和匹配費用之一；
基於從每個相應費用流路徑分段的每個運載單元的之和來確定每個費用流路徑的總累積費用；以及
基於具有最低總累積費用的費用流路徑來選擇最少費用流路徑。
[0022]方案15.根據方案11所述的方法，其中最少費用流路徑包括負的總累積費用。
[0023]方案16.使用立體成像用於估計離前目標車輛的距離的方法，包括:
從安裝於駕駛員側A-柱附近的第一向前的攝像機裝置捕獲第一圖像；
從安裝於乘客側A-柱附近的第二向前的攝像機裝置捕獲第二圖像；
將預定數量的圖像塊應用於第一圖像和第二圖像的每一個，每個圖像塊包括矩形框並且具有離散尺寸和位置；
應用線性向量分類器到應用於第一圖像和第二圖像的圖像塊中的每一個來確定各與應用於第一圖像和第二圖像的圖像塊中相應圖像塊相關聯的多個檢測費用；
選擇圖像塊的匹配對，包括基於具有相關外觀信和相關位置信息的應用於第一圖像的圖像塊中選定圖像塊以及應用於第二圖像的圖像塊中選定圖像塊；
確定各對應於圖像塊的選定匹配對中的相應匹配對的多個匹配費用；
基於檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的最小費用流路徑；以及
基於最小費用流路徑估計前目標車輛的距離。
[0024]方案17.根據方案16所述的方法，其中應用線性向量分類器到圖像塊中的每一個包括下列之一:
當線性向量分類器的量值小於零時，確定與相應圖像塊相關聯的負檢測費用以及將相應圖像塊指定為被佔據；以及 當線性向量分類器的量值至少為零時，確定與相應圖像塊相關聯的正檢測費用以及將相應圖像塊指定為未被佔據。
[0025]方案18.根據方案16所述的方法，其中確定各對應於圖像塊的匹配對中的相應匹配對的多個匹配費用包括:
監視與每個選定匹配對相關聯的圖像塊中的每一個的位置信息；
監視與每個選定匹配對相關聯的圖像塊中的每一個的外觀信息；
測量與每個選定匹配對相關聯的圖像塊中每一個之間的位置信息的相異點；
測量與每個選定匹配對相關聯的圖像塊中每一個之間的外觀信息的相異點；以及基於與每個選定匹配對相關聯的圖像塊中每一個之間的位置信息的相異點和外觀信息的相異點來確定多個匹配費用。
[0026]方案19.根據方案16所述的方法，其中基於檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的最小費用流路徑包括:
監視從第一圖像的源頂點到第二圖像的沉頂點的多個費用流路徑；
將每個費用流路徑分段成多個運載單元，
每個運載單元包括下列之一:檢測費用之一和匹配費用之一；
基於從每個相應費用流路徑分段的每個裝配單元的之和來確定每個費用流路徑的總累積費用；以及
基於具有最低總累積費用的費用流路徑選擇最小費用流路徑。
[0027]方案20.—種利用雙目攝像機系統跟蹤目標物體的設備，包括:
包括第一攝像機裝置和第二攝像機裝置的雙目攝像機系統，第一攝像機裝置安裝於源車輛擋風玻璃的第一端附近並且第二攝像機裝置安裝於源車輛擋風玻璃的第二端附近；以及
物體檢測和匹配模塊；
捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲並且第二圖像從第二攝像機裝置捕獲；
將多個圖像塊應用於第一圖像和第二圖像的每一個；
確定各與應用於第一圖像和第二圖像的圖像塊中相應圖像塊相關聯的多個檢測費
用；
確定各對應於第一圖像與第二圖像之間的圖像塊的匹配對中的相應匹配對的多個匹配費用；
基於檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑；以及
基於至少一個費用流路徑來跟蹤目標物體。
【專利附圖】
【附圖說明】
[0028]現將參考附圖以舉例方式描述一個或多個實施例，其中:
圖1示出根據本公開的單目攝像機裝置和雷達裝置的實驗和導出數據，其描繪了在彎曲路面上離目標物體的距離測量；
圖2示出根據本公開利用雙目攝像機系統來跟蹤目標物體的示例性主動安全駕駛員輔助系統(ASDAS)；
圖3示出根據本公開的具有寬基線的示例性雙目攝像機系統，其包括安裝於源車輛擋風玻璃的第一端附近的第一攝像機裝置和安裝於源車輛擋風玻璃的第二端附近的第二攝像機裝置；
圖4示出根據本公開的從圖3的第一攝像機裝置捕獲的第一圖像和應用於第一圖像的多個圖像塊；
圖5示出根據本公開的從圖3的第二攝像機裝置捕獲的第二圖像和應用於第二圖像的多個圖像塊；
圖6示出根據本公開的圖4的第一圖像和圖5的第二圖像的示例性四層有向圖，用來基於與圖像塊相關聯的檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的費用流路徑；
圖7示出根據本公開的示例性四層有向圖，其示出從第一圖像的源頂點到第二圖像的沉頂點的兩個費用流路徑；
圖8示出根據本公開的來自第一攝像機裝置、第二攝像機裝置和雙目攝像機系統的實驗數據和導出數據，其描繪了根據每幀錯誤物體檢測的漏失的物體檢測；
圖9示出根據本公開的來自第一攝像機裝置、第二攝像機裝置和雙目攝像機系統的實驗數據和導出數據，其描繪了根據每幀錯誤物體檢測的多個物體檢測精確度；
圖10用曲線圖示出根據本公開，來自單目攝像機裝置、雷達裝置和雙目攝像機系統的實驗數據和導出數據，其描繪了離目標物體距離的估計；以及
圖11為根據本公開的利用雙目攝像機系統來跟蹤目標物體的示例性流程圖。
【具體實施方式】
[0029]現參考附圖，其中展示圖只是出於示出某些示例性實施例的目的而不用於限制它們的目的，圖1用曲線圖示出根據本公開的來自單目攝像機裝置和雷達裝置的實驗數據和導出數據的曲線100，其描繪了在彎曲路面上的離目標物體的距離測量。水平軸線表示以秒為單位的測試時間，而豎直軸線表示以米為單位的離目標物體的間距。曲線100描繪了使用單目攝像機裝置估計的離目標物體的距離測量分布曲線102以及使用具有分米準確度的雷達裝置的離目標物體的實際距離測量分布曲線104。使用雷達裝置進行的目標物體檢測可稱作地面實況，其提供離目標物體的實際距離或儘可能接近準確距離的距離。應意識到違背了平地假設，因為目標物體是在彎曲路面上，且因此，由於違背平地假設，所以在估計距離測量分布曲線102與實際測量曲線圖104之間存在顯著偏差。
[0030]圖2示出根據本公開的利用雙目攝像機系統201和物體檢測和匹配(ODM)模塊200來跟蹤目標物體的示例性主動安全駕駛員輔助系統(ASDAS) 250。ASDAS 250位於源車輛內。本公開不限於ASDAS 250所在的源車輛的部分或車廂。顯然的是，當違背平地假設時，利用具有與示例性ODM模塊200相關聯的寬基線的雙目攝像機系統201允許準確估計離目標物體的距離，而無需從視差圖提取三維特徵。跟蹤目標物體可包括估計離前目標車輛的距離和估計前目標車輛的速度中的至少一個。
[0031]參考圖3，示出了根據本公開的示例性雙目攝像機系統具有寬基線310，包括第一攝像機裝置302和第二攝像機裝置304。第一攝像機裝置302安裝於源車輛擋風玻璃305的第一端307附近(例如，左側)和駕駛員側A-柱附近。因此，第一攝像機裝置302可稱作駕駛員側攝像機裝置。第二攝像機裝置304安裝於源車輛擋風玻璃305的第二端309的附近(例如，右側)和乘客側A-柱的附近。因此，第二攝像機裝置304可稱作乘客側攝像機裝置。因此，具有寬基線310的雙目攝像機系統能提供立體成像以增加深度和距離估計的準確度。在示例性實施例中，寬基線310為大約兩米。應意識到距離估計準確度分別隨著第一攝像機裝置302與第二攝像機裝置304之間的基線310寬度增加而增加。第一攝像機裝置320和第二攝像機裝置304中的每一個分別被配置成捕獲車輛前方的道路場景的相應圖像，包括目標物體315，例如如在道路場景上行進的目標車輛。第一攝像機裝置302和第二攝像機裝置304分別可各被稱作朝前攝像機裝置。應意識到這裡討論的實施例可同樣實施為使用兩個朝後攝像機裝置的雙目攝像機系統。
[0032]示例性ODM模塊200分別從雙目攝像機系統201接收第一圖像203和第二圖像205。雙目攝像機系統201包括第一個攝像機裝置202和第二攝像機裝置204。第一攝像機裝置202可包括駕駛員側攝像機裝置和乘客側攝像機裝置之一，而第二攝像機裝置204包括右側攝像機裝置和左側攝像機裝置中的另一個。第一圖像203從第一攝像機裝置捕獲。為了簡單起見，第一圖像203對應於從包括駕駛員側攝像機裝置的第一攝像機裝置捕獲的駕駛員側圖像。第二圖像205從第二攝像機裝置捕獲。為了簡單起見，第二圖像205對應於從包括乘客側攝像機裝置的第二攝像機裝置捕獲的乘客側圖像。在示例性實施例中，第一攝像機裝置202對應於圖3的第一攝像機裝置302，而第二攝像機裝置204對應於圖3的第二攝像機裝置304。
[0033]ASDAS 250包括雙目攝像機系統201、ODM模塊200和車輛控制模塊230。ODM模塊200包括圖像塊檢測模塊206、流網絡模塊212、費用模塊216、費用流模塊222和跟蹤模塊226。費用模塊216還包括檢測費用模塊218和匹配費用模塊220。跟蹤模塊226被配置成跟蹤或估計離目標物體的距離227和/或目標物體的速度。車輛控制模塊230配置成基於目標物體的跟蹤來自動地或半自動地控制源車輛。例如，如果目標物體在預定距離內或低於預定速度行進，那麼車輛控制模塊230可發送制動請求來降低源車輛的速度。
[0034]控制模塊、模塊、控制項、控制器、控制單元、處理器和類似術語表示下列中的任一個或者一個或多個的各種組合:(多個)專用集成電路(ASIC)、(多個)電子電路、(多個)中央處理單元(優選地(多個)微處理器)，和執行一個或多個軟體或固件程序或例程的相關存儲器和儲存裝置(只讀、可編程只讀、隨機存取、硬驅動等)、(多個)組合邏輯電路、(多個)輸入/輸出電路和裝置，適當信號條件和緩衝器電路以及提供所描述的功能的其它組件。軟體、固件、程序、指令、例程、代碼、算法和類似術語表示任何控制器可執行的指令集合，包括校準和查找表。控制模塊具有通過執行來提供所需功能的控制例程。通過諸如中央處理單元來執行例程，並且例程可通過操作以監視自傳感裝置和其它聯網的控制模塊的輸入，並且執行控制和診斷例程來控制致動器的操作。在正在進行發動機和車輛操作期間可以固定間隔執行例程，例如每3.125,6.25、12.5、25和100毫秒。
[0035]參考圖4，示出第一圖像203包括在源車輛前方的駕駛場景上的目標物體403 (例如，圖3的目標物體315)。在示例性實施例中，第一圖像203為從駕駛員側攝像機裝置捕獲的駕駛員側圖像，駕駛員側攝像機裝置安裝於源車輛擋風玻璃的駕駛員側附近和駕駛員側A-柱附近。參考圖5，示出第二圖像205包括在源車輛前方的駕駛場景上的目標物體415(例如，圖3的目標物體315)。在示例性實施例中，第二圖像205為從乘客側攝像機裝置捕獲的乘客側圖像，乘客側攝像機裝置安裝於源車輛擋風玻璃的乘客側的附近和乘客側A-柱的附近。
[0036]圖像塊檢測模塊206分別從雙目攝像機系統201接收第一圖像203和第二圖像205。預定數量的圖像塊208應用於第一圖像203且通過流網絡模塊212接收。同樣，預定數量的圖像塊210應用於第二圖像205且通過流網絡模塊212接收。這些圖像塊中的每一個指示關注的包含物體的候選物(例如，在本實施例中包括前目標車輛的目標物體)。在示例性實施例中，參看圖4和圖5，圖像塊檢測模塊206將多個圖像塊1、2、3、4、5分別應用於第一圖像203和第二圖像205中的每一個。因此，預定數量的圖像塊208對應於應用於在圖4中示出的第一圖像203的圖像塊1、2、3、4、5且預定數量的圖像塊210對應於應用於在圖5中示出的第二圖像205的圖像塊1、2、3、4、5。應用於第一圖像203的每個圖像塊1、
2、3、4、5包括具有相對於第一圖像203的離散尺寸和位置的矩形框，且應用於第二圖像205的每個圖像塊1、2、3、4、5包括具有相對於第二圖像205的離散尺寸和位置的矩形框。應意識到相同預定數量的圖像塊將分別應用於第一圖像203和第二圖像205中的每一個。每個圖像塊1、2、3、4、5可稱作物體候選物。參考檢測費用模塊218在下文中更詳細討論，基於圖像塊1、2、3、4、5中的每一個的檢測費用，圖像塊中的每一個可被指定為被目標物體佔據或不被目標物體佔據之一。為了確定圖像塊是否被目標物體佔據或不被目標物體佔據中的一種情況，可比較每個圖像塊與考慮到例如客車的目標物體的視角的目標模板。例如，可比較每個圖像塊與表示客車不同視角的六個模板之一。
[0037]流網絡模塊212接收應用於第一圖像203的預定數量的圖像塊208和應用於第二圖像205的預定數量的圖像塊210。流網絡模塊212基於與圖像塊相關聯的檢測費用和匹配費用生成四層有向圖214來最終確定從第一圖像的源頂點到第二圖像的沉頂點的費用流路徑。
[0038]參考圖6，四層有向圖214包括第一圖像203，第一圖像203具有包括第一層601和第二層602的兩層。四層有向圖214還包括第二圖像205，第二圖像205具有包括第三層603和第四層604的兩層。對於第一層601的所有可能圖像塊，應用於第一圖像203的圖像塊208將被列舉為1_1、1_2、1-3、1-4、1-5。因此，所列舉的圖像塊1_1、1_2、1-3、1-4、1-5為第一層601的頂點並且分別對應於應用於圖4中示出的第一圖像203的圖像塊1、2、3、4、5中的相應圖像塊。對於第二層602的所有可能圖像塊而言，應用於第一圖像203的圖像塊208還被列舉為2-1、2-2、2-3、2-4、2-5。因此，所列舉的圖像塊2-1、2-2、2-3、2-4、2-5為第二層602的頂點。第二層602被認為是第一層601的陰影，且因此，第二層602包括與第一層601相同的結構。因此，應用於第一圖像203的多個圖像塊1、2、3、4、5中的每一個由第一圖像203的第一層601和第二層602表示。第一層601和第二層602中的每一個的相應所列舉的圖像塊之間的弧分別表示檢測費用ξα610。例如，檢測費用ζα610由在1-1與
2-1、1-2與2-2、1-3與2-3、1-4與2_4以及1_5與2_5之間的弧中的每一個確定。換言之，確定各與應用於第一圖像203的圖像塊中的相應圖像塊相關聯的多個檢測費用ζ α610。在下文參考費用模塊216更詳細討論確定檢測費用ζα610。
[0039]對於第三層603的所有可能圖像塊，應用於第二圖像205的圖像塊210被列舉為
3-1、3-2、3-3、3-4、3-5。因此，所列舉的圖像塊3-1、3-2、3-3、3-4、3_5為第三層603的頂點並且分別對應於應用於圖5中示出的第二圖像205的圖像塊1、2、3、4、5的相應圖像塊。對於第四層604的所有可能圖像塊，應用於第二圖像205的圖像塊210被進一步列舉為4_1、
4-2、4-3、4-4、4-5。因此，所列舉的圖像塊4-1、4-2、4-3、4-4、4_5為第四層604的頂點。第四層604被認為是第三層603的陰影，且因此，第四層604包括與第三層603相同的結構。因此，應用於第二圖像205的多個圖像塊1、2、3、4、5中的每一個由第二圖像205的第三層603和第四層604表示。第三層603和第四層604中的每一個的相應所列舉的圖像塊之間的弧分別表示檢測費用ζ e620。例如，檢測費用ζ ,620由在3-1與4-1、3-2與4_2、3_3與4-3、3-4與4-4以及3-5與4_5之間的弧中的每一個來確定。換言之，確定各與應用於第二圖像205的圖像塊中的相應圖像塊相關聯的多個檢測費用ζ062Ο。在下文參考費用模塊216更詳細討論確定或計算檢測費用ζ 0620。
[0040]由第二層602和第三層603表示的所列舉的圖像塊之間的附隨的弧分別表示應用於第一圖像203的圖像塊與應用於第二圖像205的圖像塊之間的可能匹配。μ α063Ο表示應用於第一圖像203的圖像塊與應用於第二圖像205的圖像塊之間的可能匹配的費用。例如，匹配費用μ α e630由2-2與3_2、2_3與3_2、2_3與3_3、2_3與3-4以及2-4與3-2之間的弧中的每一個來確定。換言之，確定各對應於第一圖像與第二圖像之間的圖像塊的匹配對中的相應匹配對的多個匹配費用。在下文中參考費用模塊216將更詳細討論確定或計算匹配費用μ α063Ο。
[0041]由第一層601表示的應用於第一圖像203的多個圖像塊1_1、1_2、1_3、1_4、1_5中的每一個鏈結到源頂點O。到源頂點O的每一個鏈路的成本為零，如由虛線所示。由第四層604表示的應用於第二圖像205的多個圖像塊4-1、4-2、4-3、4-4、4-5中的每一個鏈結到沉頂點50。到沉頂點50的每一個鏈路的成本為零,如由虛線所示。
[0042]參考圖2和圖6，四層有向圖214輸入至費用模塊216。費用模塊216包括檢測費用模塊218和匹配費用模塊22`0。檢測費用模塊218確定分別應用於第一圖像203和第二圖像205的圖像塊208和210中的每一個的檢測費用219。顯然，基於相應圖像塊的檢測費用，可以檢測在圖像塊內目標物體的存在(例如，圖像塊被佔據)。圖6所示的檢測費用ζ α610和ζ 0620由輸入到費用流模塊222的檢測費用219表示。
[0043]檢測費用模塊218可包括線性支持向量機(SVM)，其被訓練為基於每個圖像塊的檢測費用219來確定應用於第一圖像和第二圖像的每個圖像塊是否被佔據或未被佔據中的一種情況。SVM將線性向量分類器應用於用於第一圖像和第二圖像的圖像塊中的每一個。在示例性實施例中，線性向量分類器應用於圖像塊1、2、3、4、5中的每一個，圖像塊1、2、3、
4、5分別應用於在圖4和圖5中示出的第一圖像203和第二圖像205。線性分類器包括多個判定邊界。每個判定邊界對應於可能的目標物體的相應視角。例如，可能的目標物體的視角可包括車輛的邊緣。判定邊界可包括線性權向量和預定偏置檢測閾值。線性向量分類器應用到用於第一圖像的圖像塊中的每一個來確定與分別應用於第一圖像203和第二圖像205的圖像塊中的相應圖像塊相關聯的檢測費用219，可表達如下:
【權利要求】
1.一種利用雙目攝像機系統跟蹤目標物體的方法，包括: 捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲，而第二圖像從第二攝像機裝置捕獲； 將多個圖像塊應用到第一圖像和第二圖像中的每一個； 確定各與應用於第一圖像和第二圖像的圖像塊中相應圖像塊相關聯的多個檢測費用； 確定各與第一圖像與第二圖像之間的圖像塊的匹配對中的相應匹配對相對應的多個選定匹配費用； 基於檢測費用和匹配費用確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑；以及 基於至少一個費用流路徑跟蹤目標物體。
2.根據權利要求1所述的方法，其中跟蹤目標物體包括下列中的至少一個: 跟蹤離目標物體的距離；以及 跟蹤目標物體的速度。
3.根據權利要求1所述的方法，其中第一攝像機裝置安裝於源車輛擋風玻璃的第一端附近並且第二攝像機裝置安裝於源車輛擋風玻璃的第二端附近。`
4.根據權利要求1所述的方法，其中將多個圖像塊應用到第一圖像和第二圖像中的每一個包括: 將預定數量的圖像塊應用到第一圖像和第二圖像，每個圖像塊包括矩形框並且具有離散大小和位置。
5.根據權利要求4所述的方法，其中應用於第一圖像的多個圖像塊中的每一個由所述第一圖像的第一層和第一圖像的第二層表示，並且應用於第二圖像的多個圖像塊中的每一個由第二圖像的第一層和第二圖像的第二層表示。
6.根據權利要求5所述的方法，其中由所述相應第一層表示的應用於的第一圖像的多個圖像塊中的每一個鏈結到源頂點並且由相應第二層表示的應用於第二圖像的多個圖像塊中的每一個鏈結到沉頂點。
7.根據權利要求1所述的方法，其中確定各與應用於第一圖像和第二圖像的圖像塊的相應圖像塊相關聯的多個檢測費用包括: 應用包括多個判定邊界的線性向量分類器到應用於第一圖像和第二圖像的圖像塊中的每一個，每個判定邊界對應於可能的目標物體的相應視角；以及下列情況的一種: 當線性向量分類器的量值小於零時，確定與相應圖像塊相關聯的負檢測費用，以及 當線性向量分類器的量值至少為零時，確定與相應圖像塊相關聯的正檢測費用。
8.根據權利要求7所述的方法，還包括: 當確定了相關聯的負檢測費用時，將相應圖像塊指定為被佔據；以及 當確定了相關聯的正檢測費用時，將相應圖像塊指定為未被佔據。
9.使用立體成像用於估計離前目標車輛的距離的方法，包括: 從安裝於駕駛員側A-柱附近的第一向前的攝像機裝置捕獲第一圖像； 從安裝於乘客側A-柱附近的第二向前的攝像機裝置捕獲第二圖像； 將預定數量的圖像塊應用於第一圖像和第二圖像的每一個，每個圖像塊包括矩形框並且具有離散尺寸和位置； 應用線性向量分類器到應用於第一圖像和第二圖像的圖像塊中的每一個來確定各與應用於第一圖像和第二圖像的圖像塊中相應圖像塊相關聯的多個檢測費用； 選擇圖像塊的匹配對，包括基於具有相關外觀信和相關位置信息的應用於第一圖像的圖像塊中選定圖像塊以及應用於第二圖像的圖像塊中選定圖像塊； 確定各對應於圖像塊的選定匹配對中的相應匹配對的多個匹配費用； 基於檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的最小費用流路徑；以及 基於最小費用流路徑估計前目標車輛的距離。
10.一種利用雙目攝像機系統跟蹤目標物體的設備，包括: 包括第一攝像機裝置和第二攝像機裝置的雙目攝像機系統，第一攝像機裝置安裝於源車輛擋風玻璃的第一端附近並且第二攝像機裝置安裝於源車輛擋風玻璃的第二端附近；以及 物體檢測和匹配模塊； 捕獲第一圖像和第二圖像，第一圖像從第一攝像機裝置捕獲並且第二圖像從第二攝像機裝置捕獲； 將多個圖像塊應用於第一圖像和第二圖像的每一個； 確定各與應用於第一圖像和第二圖像的圖像塊中相應圖像塊相關聯的多個檢測費用； 確定各對應於第一圖像與第二圖像之間的圖像塊的匹配對中的相應匹配對的多個匹配費用； 基於檢測費用和匹配費用來確定從第一圖像的源頂點到第二圖像的沉頂點的至少一個費用流路徑；以及 基於至少一個費用流路徑來跟蹤目標物體。
【文檔編號】G06K9/62GK103530868SQ201310265291
【公開日】2014年1月22日 申請日期:2013年6月28日 優先權日:2012年6月28日
【發明者】S.曾 申請人:通用汽車環球科技運作有限責任公司