多相機融合的軌跡處理方法、裝置及電子設備、存儲介質與流程
2024-04-16 03:30:05 1
1.本技術涉及數據處理技術領域，尤其涉及一種多相機融合的軌跡處理方法、裝置及電子設備、存儲介質。
背景技術：
2.路側場景中，通常採用多個路側杆上的多個相機對進入目標路段或路口的車輛進行跟蹤，跟蹤過程中需要將多個相機的融合結果作為最終的跟蹤結果。
3.相關技術中，對於多相機融合跟蹤，缺少跟蹤效果評價或者調整方法，使得在多相機融合跟蹤的軌跡處理的效果受到影響。
技術實現要素：
4.本技術實施例提供了多相機融合的軌跡處理方法、裝置及電子設備、存儲介質，以通過能量機制優化路側多相機跟蹤融合時的處理效果。
5.本技術實施例採用下述技術方案：
6.第一方面，本技術實施例提供多相機融合的軌跡處理方法，其中，所述方法包括：
7.基於能量機制，建立匹配成功時刻的目標相機的子能量值，其中所述匹配成功時刻是指經過多相機融合的已有軌跡與目標相機的新檢測目標匹配成功的時刻；
8.根據多個所述多個匹配成功時刻的相同/不同的目標相機的子能量值，得到所述檢測目標的總能量值；
9.在跟蹤檢測目標的過程中，根據所述檢測目標的總能量值的變化情況調整多相機融合的軌跡和/或相機。
10.第二方面，本技術實施例還提供一種多相機融合的軌跡處理裝置，其中，所述裝置包括：
11.子能量建立模塊，用於基於能量機制，建立匹配成功時刻的目標相機的子能量值，其中所述匹配成功時刻是指經過多相機融合的已有軌跡與目標相機的新檢測目標匹配成功的時刻；
12.總能量建立模塊，用於根根據多個所述多個匹配成功時刻的相同/不同的目標相機的子能量值，得到所述檢測目標的總能量值；
13.處理模塊，用於在跟蹤檢測目標的過程中，根據所述檢測目標的總能量值的變化情況調整多相機融合的軌跡和/或相機。
14.第三方面，本技術實施例還提供一種電子設備，包括：處理器；以及被安排成存儲計算機可執行指令的存儲器，所述可執行指令在被執行時使所述處理器執行上述方法。
15.第四方面，本技術實施例還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲一個或多個程序，所述一個或多個程序當被包括多個應用程式的電子設備執行時，使得所述電子設備執行上述方法。
16.本技術實施例採用的上述至少一個技術方案能夠達到以下有益效果：通過建立目
標相機的能量值，可以在跟蹤檢測目標的過程中得到所述檢測目標的總能量，根據所述總能量值的變化情況調整多相機融合的軌跡和/或相機。通過能量值進行跟蹤軌跡的管理，對跟蹤處理過程實現了軌跡融合過程的優化。
附圖說明
17.此處所說明的附圖用來提供對本技術的進一步理解，構成本技術的一部分，本技術的示意性實施例及其說明用於解釋本技術，並不構成對本技術的不當限定。在附圖中：
18.圖1為本技術實施例中多相機融合的軌跡處理方法的流程示意圖；
19.圖2為本技術實施例中多相機融合的軌跡處理方法中跳轉閾值示意圖；
20.圖3為本技術實施例中多相機融合的軌跡處理方法中初始與跳變狀態示意圖；
21.圖4為本技術優選實施例中多相機融合的軌跡處理方法的流程示意圖；
22.圖5為本技術實施例中多相機融合的軌跡處理裝置的結構示意圖；
23.圖6為本技術實施例中一種電子設備的結構示意圖。
具體實施方式
24.為使本技術的目的、技術方案和優點更加清楚，下面將結合本技術具體實施例及相應的附圖對本技術技術方案進行清楚、完整地描述。顯然，所描述的實施例僅是本技術一部分實施例，而不是全部的實施例。基於本技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本技術保護的範圍。
25.以下結合附圖，詳細說明本技術各實施例提供的技術方案。
26.本技術實施例提供了一種多相機融合的軌跡處理方法，如圖1所示，提供了本技術實施例中多相機融合的軌跡處理方法流程示意圖，所述方法至少包括如下的步驟s110至步驟s130：
27.步驟s110，基於能量機制，建立匹配成功時刻的目標相機的子能量值，其中所述匹配成功時刻是指經過多相機融合的已有軌跡與目標相機的新檢測目標匹配成功的時刻。
28.對於與檢測目標的已有軌跡匹配成功的目標相機的每一幀，都需要計算此時目標相機的子能量值，並將該子能量值作為檢測目標的能量增值。
29.按照實際路側場景的業務需求，需要通過建立一種機制實現對多相機融合的軌跡優化，從而解決多相機融合時出現的共視區域中的某一個或多個相機感知效果較差而導致整體的融合結果分裂、速度跳變、通用唯一識別碼跳變等問題。
30.基於能量機制建立所述目標相機的能量值，且在確定目標相機時需要經過如下的判斷過程：
31.是否存在所述多相機融合的已有軌跡與新檢測目標匹配成功的對應的相機；如果是則會將匹配成功時對應的相機作為目標相機。在多相機融合的已有軌跡與新檢測目標的匹配成功後，此時會引入能量機制。優選地，此時能量機制對應的能量值默認為增加，且能量值默認為按照自然時間衰減。
32.可以理解，對於經過所述多相機融合的已有軌跡，即多相機融合的歷史軌跡，未出現新檢測目標的情況。
33.需要注意的是，融合結果分裂是指多相機檢測、定位時發生的融合結果分裂。比如
原本屬於同一車輛，分裂之後得到兩個不同車輛。速度跳變是指對於同一車輛在多杆跟蹤時，速度異常且超出了之前跟蹤的速度。通用唯一識別碼是同一車輛的唯一識別碼。而通用唯一識別碼跳變是指對於同一車輛的唯一識別碼在跨杆時發生的異常。
34.可以理解，上述能量增加方式或者能量衰減方式，可以按照衰減率以及是否有與已有軌跡匹配的新增檢測目標的途徑來確定，也可以是其他可行的方式。
35.步驟s120，根據多個所述多個匹配成功時刻的相同/不同的目標相機的子能量值，得到所述檢測目標的總能量值。
36.多個匹配成功時刻對於某一目標相機的能量和是指這個目標相機的每一幀與已有軌跡匹配成功時增加的每一幀的能量值的和。
37.根據多個所述目標相機的子能量值累加之後得到所述檢測目標的總能量。
38.這裡的
″
檢測目標
″
是針對不同/多個相機之間的同一個目標物。也就是說，通過能量機制，建立了所述檢測目標的總能量，且每個目標相機的子能量作為所述檢測目標的新增能量。
39.可以理解，在跟蹤檢測目標的初始化階段，會對所述檢測目標賦予一個初始化的能量值，而之後每個目標相機的加入都會作為新增的子能量值。
40.示例性地，初始化的能量值a0，根據多個目標相機的子能量a1、a2、a3、a4，累加之後得到檢測目標的當前總能量值a1{a0、a1、a2、a3、a4}。並且隨著目標相機的新增，會增加子能量至檢測目標的當前總能量值a1。
41.步驟s130，在跟蹤檢測目標的過程中，根據所述檢測目標的總能量值的變化情況調整多相機融合的軌跡和/或相機。
42.能量值的變化情況包括了每個目標相機的能量值變化情況以及所有的目標相機的總能量值(每個目標相機的能量值之和)。當檢測目標(車輛)駛出相機的共視區域時，則會結束跟蹤檢測目標。
43.可以理解，所述目標相機的總能量值是指針對同一個檢測目標而言的，具體而言，同一個檢測目標即為經過多個杆的車輛。在此過程中，調整的相機和/或多個相機的融合軌跡。
44.在多相機融合的跟蹤檢測目標的過程中，根據檢測目標總能量值的變化情況(默認能量值在新增加時為最高，且隨著自然時間衰減)，調整所述多相機融合的軌跡。優選地，調整所述多相機融合的軌跡時包括但不限於刪除軌跡、調整軌跡的刪除時間。
45.同時，還可以根據檢測目標總能量值的變化情況調整所述多相機融合中的相機。優選地，調整所述多相機融合的相機時包括但不限於調整相機為當前融合的主相機。
46.在當前的多相機融合跟蹤的基礎上，引入能量機制，通過檢測目標總能量值的增減判斷當前跟蹤目標的檢測狀態。另外，根據能量值的總量來變更、維持多相機融合的當前軌跡的主相機。從而經過上述方法可優化跟蹤融合的軌跡，針對目標路段或路口中當車輛經過多個相機構成的感知區域時能夠得到穩定且唯一融合結果。
47.進一步地，由於能量機制可以通過改變自然衰減率(即能量值隨時間減小的比例)來控制軌跡刪除的時間。通過已有的軌跡以及歷史運動狀態得到的檢測目標的預測速度進行位置預測，在減少漏檢影響的同時降低對後續觀測匹配的影響。
48.在本技術的一個實施例中，所述在跟蹤檢測目標的過程中，根據所述能量值的變
化情況調整多相機融合的軌跡和/或相機，包括：在經過所述多相機融合的已有軌跡與新檢測目標匹配成功之後，更新所述已有軌跡且更新所述檢測目標對應所述總能量值的增量，得到增加後的總能量值；判斷所述增加後的某一目標相機的能量值是否大於跳變閾值；如果所述某一目標相機的能量值大於跳變閾值，則主相機切換為當前能量值對應的所述目標相機。
49.在本技術的實施例中通過檢測目標總能量值的增減判斷當前跟蹤目標的檢測狀態。當某一目標相機的能量和大於跳變閾值時，主相機發生跳變。
50.如果所述目標相機確定之後，可以在跟蹤檢測目標的過程中針對相機進行如下操作：
51.在經過所述多相機融合的已有軌跡與新檢測目標匹配成功之後會更新已有軌跡且更新對應所述總能量值的增量，得到的是增加後的總能量值。若軌跡中某一個相機的子能量值大於跳變閾值，則認為該相機可以在之後的時刻承擔起軌跡主相機的任務，進行軌跡主相機的變換。具體如圖2所示，圖中示出了跳轉閾值、以及最低能量，以及可能出現的誤檢時的能量值。橫坐標為跟蹤檢測目標的時間，縱坐標為總能量值。此時，根據跟蹤檢測目標的時間，檢測目標的總能量值會出現由高至低的衰減。
52.進一步，請參考圖3，其表示了不同狀態包括初始狀態(單杆)和跳變狀態(主杆與融合杆的切換，時間順序不限)。也就是說，如果判斷所述增加後的能量值是否大於跳變閾值；如果大於跳變閾值，則主相機切換為該能量值對應的相機。需要注意的是，此時是根據當前多個相機的總能量值的總量來變更維持當前軌跡的主相機。
53.優選地，根據能量值的變化狀態，確定是否使用當前軌跡的主相機作為多相機融合的軌跡處理的主相機。實際使用時根據檢測目標的觀測時長自適應調整軌跡刪除時間。對於實時路段/路口中的單個車輛經過多個相機構成的感知區域時能夠得到穩定且唯一融合結果，且避免位置、速度、通用唯一識別碼發生跳變。
54.在本技術的一個實施例中，所述在跟蹤檢測目標的過程中，根據所述能量值的變化情況調整多相機融合的軌跡和/或相機，包括：建立所述目標相機的子能量值的同時建立所述檢測目標對應的能量衰減參數，其中所述增加後的總能量值基於所述能量衰減參數進行自然衰減得到衰減後的總能量值；判斷所述衰減後的總能量值是否低於存在閾值；如果低於存在閾值，則將所述衰減後的總能量值中子能量值對應的相機採集的軌跡信息刪除。
55.如圖2所示，
″
存在閾值」為跳轉閾值和最低能量之間的能量值。
56.在本技術的實施例中通過能量值的增減判斷當前跟蹤目標的檢測狀態。如果所述目標相機確定之後，可以在跟蹤檢測目標的過程中針對軌跡進行如下操作：
57.通過建立所述目標相機的子能量值的同時建立所述檢測目標對應的能量衰減參數，可以理解，可以在每次融合的最後，設置按照預設衰減率進行能量的自然衰減。然後判斷所述衰減後的總能量值是否低於存在閾值；如果低於存在閾值，則將所述衰減後的總能量值對應的相機採集的軌跡信息刪除。通過建立的能量機制可以通過改變自然衰減率來控制軌跡刪除的時間。當檢測目標的軌跡的能量值衰減到低於存在閾值時，即直接將該軌跡刪除。
58.需要注意的是，對於增加後的總能量值是基於所述能量衰減參數進行自然衰減得到衰減後的總能量值。可以理解，對於每次新增的目標相機，作為能量值的增加。所以這裡
考慮的都是增加後的能量值，並按照一定的能量衰減參數進行自然衰減。
59.在本技術的一個實施例中，所述方法還包括：將所述已有軌跡與更新後的每個相機的感知數據進行通用唯一識別碼匹配，得到通用唯一識別碼匹配的相機的第一匹配結果；針對所述通用唯一識別碼不匹配的相機，維護剩下的相機的感知數據與所述已有軌跡之間的關聯矩陣；根據所述關聯矩陣的全局匹配結果，得到所述已有軌跡與每個所述通用唯一識別碼不匹配的相機的感知數據的第二匹配結果；合併所述匹配結果，並按照通用唯一識別碼、所述感知關聯距離進行排序匹配；根據所述匹配結果更新所述已有軌跡，其中所述已有軌跡至少包括如下之一的參數信息：檢測目標位置、檢測目標速度、檢測目標航向角。
60.對於已有的軌跡，計算與每個相機的感知數據的匹配結果，匹配結果是檢測目標uuid匹配的相機。除去uuid匹配的相機外，維護的是與相機數量相同數量的關聯矩陣。對於所有關聯矩陣，各自進行全局最優匹配，獲取當前存在軌跡與各相機感知結果的匹配結果。之後對於關聯矩陣的全局匹配結果得到的uuid不匹配的相機。合併匹配結果，並按照uuid、關聯距離進行排序。並且根據所述匹配結果再次更新所述已有軌跡，以此進行循環。而uuid作為一種通用唯一識別碼的具體體現方式，表明當前情況對同一真實物體(檢測目標)，同一相機給出的通用唯一識別碼可能相同，不同相機通用唯一識別碼一定不同，所以需要融合去重。
61.進一步地，計算所述第一匹配結果時，將所述已有軌跡與更新後的每個相機的感知數據進行通用唯一識別碼匹配，得到通用唯一識別碼匹配的相機的第一匹配結果；之後針對所述通用唯一識別碼不匹配的相機，維護剩下的相機的感知數據與所述已有軌跡之間的關聯矩陣。
62.然後根據所述關聯矩陣的全局匹配結果，得到所述已有軌跡與每個所述通用唯一識別碼不匹配的相機的感知數據的第二匹配結果。
63.根據維護的關聯矩陣，合併所述匹配結果，並按照通用唯一識別碼、所述感知關聯距離進行排序匹配，最後根據所述匹配結果更新所述已有軌跡中的檢測目標位置、檢測目標速度、檢測目標航向角。此時，如果出現新的跟蹤檢測目標，對應目標相機的能量值的增加。
64.在本技術的一個實施例中，計算所述已有軌跡與每個相機的感知數據之間的所述感知關聯距離，包括：如果所述已有軌跡與所述新檢測目標的觀測值匹配成功時，則所述新檢測目標與已有軌跡中跟蹤的目標為同一物體；如果所述已有軌跡與所述新檢測目標的觀測值未匹配時，則當前維持的軌跡信息未能找到與所述新檢測目標對應的當前感知結果；如果所述新檢測目標的觀測值與所述多相機感知結果未匹配時，則在所述當前感知結果中未能找到對應的軌跡信息。
65.在維護關聯矩陣的同時還需要按照如下方式計算所述已有軌跡與每個相機的感知數據之間的所述感知關聯距離：
66.首先，如果所述已有軌跡與所述新檢測目標的觀測值匹配成功時，則所述新檢測目標與已有軌跡中跟蹤的目標為同一物體。具體而言，如果軌跡和觀測成功匹配，則表示當前維持的軌跡和當前最新獲取的感知結果成功獲得對應，指二者之間位置、速度、類型等宏觀距離較小，認為二者屬於同一個真實物體。
67.可以理解，這裡的觀測值作為檢測目標的位置估計的觀測值，輸入到卡爾曼濾波器進行檢測目標的位置估計。
68.其次，如果所述已有軌跡與所述新檢測目標的觀測值未匹配時，則所述當前維持的軌跡信息未能找到與所述新檢測目標對應的當前感知結果。
69.具體而言，如果未匹配軌跡，則表示當前維持的軌跡未能找到與其對應的當前最新感知結果，可能是由於漏檢或物體駛離感知範圍造成的。
70.最後，如果所述新檢測目標的觀測值與所述多相機感知結果未匹配時，則在所述當前感知結果中未能找到對應的軌跡信息。具體而言，未匹配感知結果：當前最新(當前)的感知結果未能照到閾值對應的軌跡，可能是由於是新的剛進入感知範圍的真實物體，或當前感知出現誤檢比如檢測結果分裂。
71.在本技術的一個實施例中，所述方法還包括：如果所述已有軌跡與所述新檢測目標的觀測值未匹配時，則根據歷史軌跡信息預測所述新檢測目標的位置信息；如果所述新檢測目標的觀測值與所述多相機感知結果未匹配時，則新建軌跡信息；以及對所述已有軌跡，預測當前時刻檢測目標的位置信息。
72.按照上述匹配方法，如果所述已有軌跡與所述新檢測目標的觀測值未匹配時，根據歷史軌跡信息預測所述新檢測目標的位置信息。比如使用觀測值輸入卡爾曼濾波器進行預測。由於已有軌跡無法匹配，故根據歷史軌跡信息對新檢測目標的位置信息進行預測。
73.如果所述新檢測目標的觀測值與所述多相機感知結果未匹配時，新建軌跡信息，即將新檢測目標建立新的軌跡信息，由於新檢測目標的觀測值與所述多相機感知結果未匹配，建立新檢測目標的軌跡信息。
74.在本技術的一個實施例中，所述建立目標相機的子能量值以及所述檢測目標對應的總能量衰減參數，其中所述目標相機包括經過所述多相機融合的已有軌跡與新檢測目標匹配成功時對應的相機，所述新檢測目標是首次進入所述目標相機的檢測目標，包括：所述多相機融合的已有軌跡與新檢測目標匹配成功時，增加對應的新增相機的能量值
[0075][0076]
表示所述已有軌跡與新檢測目標之間的關聯距離的能量。
[0077]
所述已有軌跡與新檢測目標之間的關聯距離的能量包括但不限於空間距離、像素距離、交並比、檢測框形狀、運動狀態等一項或多項組合計算獲取的匹配代價值。需要注意的是，在本技術的實施例中並沒有具體限定採用哪個或者哪幾個參數，可以是其中的一個或多個參數用於表徵已有軌跡與新的檢測目標之間的關聯距離的能量。或者其中的一個或多個參數按照預設權重/比例，表徵已有軌跡與新的檢測目標之間的關聯距離的能量。
[0078]
將所述能量衰減參數中的衰減率設置為α，ei＝(1-α)ei，i＝1，2，...，n。
[0079]
同樣地，可以理解所述自然衰減率α也可以以指數、對數、冪函數、倒數等多種形式進行衰減，在本技術的實施例中並不進行具體限定，本領域技術人員可以根據實際情況進行配置或選擇。
[0080]
在本技術的一個實施例中，所述基於能量機制，建立目標相機的能量值以及能量衰減參數之前，還包括：當接收到所述多相機的感知結果時，對每個感知結果創建的新軌跡信息以及初始能量值；當新的感知結果輸入時，對所述已有的軌跡的根據預設間隔時間預
測跟蹤目標的位置和速度；根據感知結果的通用唯一識別碼進行匹配，並將已匹配成功的感知結果存入軌跡中作為待融合的觀測值，其中對同一真實物體、同一相機的通用唯一識別碼相同且不同相機的通用唯一識別碼不同。
[0081]
通用唯一識別碼的識別，使得本方法能夠具備生成全局唯一通用唯一識別碼的處理能力。
[0082]
在初始化時比如第一次有感知信息輸入時(並不是出現新檢測目標)，對每個感知結果進行新軌跡的創建。此時，附帶初始能量值。即當接收到所述多相機的感知結果時，對每個感知結果創建的新軌跡信息以及初始能量值。
[0083]
在後續的跟蹤檢測過程中，每次有感知信息輸入時，首先對已存在軌跡的根據時間差利用卡爾曼濾波器使用運動模型進行檢測目標位置、檢測目標速度預測。即根據感知結果的通用唯一識別碼進行匹配，並將已匹配成功的感知結果存入軌跡中作為待融合的觀測值。
[0084]
進一步地，可以利用相機的感知結果中的通用唯一識別碼進行匹配，並將匹配上的感知結果存入軌跡中，作為待融合觀測。
[0085]
經過上述初始化步驟之後，還需要分別計算軌跡與各個相機的感知結果之間的關聯距離，之後將獲取的匹配結果合併，並按照軌跡id、感知關聯距離進行排序。
[0086]
進一步地，根據匹配結果進行軌跡更新，能量增加。能量增加之後，在跟蹤檢測的過程中根據能量值判定是否進行主相機的改變。且由於能量值自然衰減，可以刪除低於能量閾值的軌跡。
[0087]
優選地，對未成功匹配的軌跡，進行新檢測目標的位置預測。
[0088]
優選地，對未成功匹配的感知結果，對新檢測目標進行新建軌跡。
[0089]
為了更好地理解本技術中的實現方法，如圖4所示，為本技術優選實施例中多相機融合的軌跡處理方法的流程示意圖，其具體包括如下的實現步驟：
[0090]
步驟s410，對已存在的軌跡預測當前時刻的位置。此步驟在根據對未成功匹配的感知結果，創建新的軌跡進行跟蹤之後開始循環進行。
[0091]
步驟s420，已存在軌跡和最新各相機感知數據進行uuid匹配。
[0092]
步驟s430，除uuid匹配成功的相機外，維護所有相機感知觀測結果與當前存在軌跡之間的關聯矩陣。
[0093]
步驟s440，對所有關聯矩陣，各自進行全局最優匹配，獲取當前存在軌跡與各相機感知結果的匹配結果。
[0094]
步驟s450，將獲取的匹配結果合併，並按照軌跡id、感知關聯距離進行排序匹配。
[0095]
具體而言，將所述已有軌跡與更新後的每個相機的感知數據進行通用唯一識別碼匹配，得到通用唯一識別碼匹配的相機的第一匹配結果；
[0096]
步驟s460，根據最終的匹配結果更新已存在軌跡，包括位置、速度、航向角的更新，對應能量值的增加。
[0097]
針對所述通用唯一識別碼不匹配的相機，維護剩下的相機的感知數據與所述已有軌跡之間的關聯矩陣；根據所述關聯矩陣的全局匹配結果，得到所述已有軌跡與每個所述通用唯一識別碼不匹配的相機的感知數據的第二匹配結果；合併所述匹配結果，並按照通用唯一識別碼、所述感知關聯距離進行排序匹配；根據所述匹配結果更新所述已有軌跡，其
中所述已有軌跡至少包括如下之一的參數信息：檢測目標位置、檢測目標速度、檢測目標航向角。
[0098]
步驟s470，根據更新過後的能量值判定是否高於跳變閾值，進行軌跡主相機的變更。
[0099]
在經過所述多相機融合的已有軌跡與新檢測目標匹配成功之後，更新所述已有軌跡且更新對應所述總能量值的增量，得到增加後的總能量值；
[0100]
判斷所述增加後的總能量值是否大於跳變閾值；
[0101]
如果大於，則主相機切換為該子能量值對應的相機。
[0102]
步驟s480，總能量值自然衰減。
[0103]
步驟s490，根據衰減後的總能量值判定是否低於存在閾值，進行軌跡的刪除。
[0104]
建立所述目標相機的子能量值的同時建立對應的能量衰減參數，其中所述增加後的總能量值基於所述能量衰減參數進行自然衰減得到衰減後的總能量值；
[0105]
判斷所述衰減後的總能量值是否低於存在閾值；
[0106]
如果低於，則將所述衰減後的總能量值對應的相機採集的軌跡信息刪除。
[0107]
步驟s4100，對於未成功匹配的軌跡，根據歷史信息進行預測。
[0108]
步驟s4110，對未成功匹配的感知結果，創建新的軌跡進行跟蹤。
[0109]
如果所述已有軌跡與所述新檢測目標的觀測值未匹配時，則根據歷史軌跡信息預測所述新檢測目標的位置信息；
[0110]
如果所述新檢測目標的觀測值與所述多相機感知結果未匹配時，則新建軌跡信息；以及
[0111]
對所述已有軌跡，預測當前時刻檢測目標的位置信息。
[0112]
通過上述方法，實現了根據被觀測時長自適應調整軌跡刪除時間，能夠根據能量值進行軌跡的生命周期管理，而不需要引入另外的參數。
[0113]
本技術實施例還提供了多相機融合的軌跡處理裝置500，如圖5所示，提供了本技術實施例中多相機融合的軌跡處理裝置的結構示意圖，所述多相機融合的軌跡處理裝置500至少包括：子能量建立模塊510、總能量建立模塊520以及處理模塊530，其中：
[0114]
在本技術的一個實施例中，所述子能量建立模塊510具體用於：基於能量機制，建立匹配成功時刻的目標相機的子能量值，其中所述匹配成功時刻是指經過多相機融合的已有軌跡與目標相機的新檢測目標匹配成功的時刻。
[0115]
對於與檢測目標的已有軌跡匹配成功的目標相機的每一幀，都需要計算此時目標相機的子能量值，並將該子能量值作為檢測目標的能量增值。
[0116]
按照實際路側場景的業務需求，需要通過建立一種機制實現對多相機融合的軌跡優化，從而解決多相機融合時出現的共視區域中的某一個或多個相機感知效果較差而導致整體的融合結果分裂、速度跳變、通用唯一識別碼跳變等問題。
[0117]
基於能量機制建立所述目標相機的能量值，且在確定目標相機時需要經過如下的判斷過程：
[0118]
是否存在所述多相機融合的已有軌跡與新檢測目標可匹配成功的對應的相機；如果是則會將匹配成功時對應的相機作為目標相機。在多相機融合的已有軌跡與新檢測目標的匹配成功後，此時會引入能量機制。優選地，此時能量機制對應的能量值默認為增加。且
能量值默認為按照自然時間衰減。
[0119]
可以理解，對於經過所述多相機融合的已有軌跡，即多相機融合的歷史軌跡，未出現新檢測目標的情況。
[0120]
需要注意的是，融合結果分裂是指多相機檢測、定位時發生的融合結果分裂。比如原本屬於同一車輛，分裂之後得到兩個不同車輛。速度跳變是指對於同一車輛在多杆跟蹤時，速度異常且超出了之前跟蹤的速度。通用唯一識別碼跳變是指對於同一車輛的唯一識別碼在跨杆時發生的異常。
[0121]
可以理解，上述能量增加方式或者能量衰減方式，可以按照衰減率以及是否有與已有軌跡匹配的新增檢測目標的途徑來確定，也可以是其他可行的方式。
[0122]
在本技術的一個實施例中，所述總能量建立模塊520具體用於：根據多個所述目標相機的子能量值，得到所述檢測目標的總能量值。
[0123]
多個匹配成功時刻對於某一目標相機的能量和是指這個目標相機的每一幀與已有軌跡匹配成功時增加的每一幀的能量值的和。
[0124]
根據多個所述目標相機的子能量值累加之後得到所述檢測目標的總能量。
[0125]
這裡的
″
檢測目標
″
是針對不同/多個相機之間的同一個目標物。也就是說，通過能量機制，建立了所述檢測目標的總能量，且每個目標相機的子能量作為所述檢測目標的新增能量。
[0126]
可以理解，在跟蹤檢測目標的初始化階段，會對所述檢測目標賦予一個初始化的能量值，而之後每個目標相機的加入都會作為新增的子能量值。
[0127]
示例性地，初始化的能量值a0，根據多個目標相機的子能量a1、a2、a3、a4，累加之後得到檢測目標的當前總能量值a1{a0、a1、a2、a3、a4}。並且隨著目標相機的新增，會增加子能量至檢測目標的當前總能量值a1。
[0128]
在本技術的一個實施例中，所述處理模塊530具體用於：在跟蹤檢測目標的過程中，根據所述檢測目標的總能量值的變化情況調整多相機融合的軌跡和/或相機。
[0129]
能量值的變化情況包括了每個目標相機的能量值變化情況以及所有的目標相機的總能量值(每個目標相機的能量值之和)。當檢測目標(車輛)駛出相機的共視區域時，則會結束跟蹤檢測目標。
[0130]
可以理解，所述目標相機的總能量值是指針對同一個檢測目標而言的，具體而言，同一個檢測目標即為經過多個杆的車輛。在此過程中，調整的相機和/或多個相機的融合軌跡。
[0131]
在多相機融合的跟蹤檢測目標的過程中，根據檢測目標總能量值的變化情況(默認能量值在新增加時為最高，且隨著自然時間衰減)，調整所述多相機融合的軌跡。優選地，調整所述多相機融合的軌跡時包括但不限於刪除軌跡、調整軌跡的刪除時間。
[0132]
同時，還可以根據檢測目標總能量值的變化情況調整所述多相機融合中的相機。優選地，調整所述多相機融合的相機時包括但不限於調整相機為當前融合的主相機。
[0133]
在當前的多相機融合跟蹤的基礎上，引入能量機制，通過檢測目標總能量值的增減判斷當前跟蹤目標的檢測狀態。另外，根據能量值的總量來變更、維持多相機融合的當前軌跡的主相機。從而經過上述方法可優化跟蹤融合的軌跡，針對目標路段或路口中當車輛經過多個相機構成的感知區域時能夠得到穩定且唯一融合結果。
[0134]
進一步地，由於能量機制可以通過改變自然衰減率(即能量值隨時間減小的比例)來控制軌跡刪除的時間。通過已有的軌跡以及歷史運動狀態得到的檢測目標的預測速度進行位置預測，在減少漏檢影響的同時降低對後續觀測匹配的影響。
[0135]
能夠理解，上述多相機融合的軌跡處理裝置，能夠實現前述實施例中提供的多相機融合的軌跡處理方法的各個步驟，關於多相機融合的軌跡處理方法的相關闡釋均適用於多相機融合的軌跡處理裝置，此處不再贅述。
[0136]
圖6是本技術的一個實施例電子設備的結構示意圖。請參考圖6，在硬體層面，該電子設備包括處理器，可選地還包括內部總線、網絡接口、存儲器。其中，存儲器可能包含內存，例如高速隨機存取存儲器(random-access memory，ram)，也可能還包括非易失性存儲器(non-volatile memory)，例如至少1個磁碟存儲器等。當然，該電子設備還可能包括其他業務所需要的硬體。
[0137]
處理器、網絡接口和存儲器可以通過內部總線相互連接，該內部總線可以是isa(industry standard architecture，工業標準體系結構)總線、pci(peripheral component interconnect，外設部件互連標準)總線或eisa(extended industry standard architecture，擴展工業標準結構)總線等。所述總線可以分為地址總線、數據總線、控制總線等。為便於表示，圖6中僅用一個雙向箭頭表示，但並不表示僅有一根總線或一種類型的總線。
[0138]
存儲器，用於存放程序。具體地，程序可以包括程序代碼，所述程序代碼包括計算機操作指令。存儲器可以包括內存和非易失性存儲器，並向處理器提供指令和數據。
[0139]
處理器從非易失性存儲器中讀取對應的電腦程式到內存中然後運行，在邏輯層面上形成多相機融合的軌跡處理裝置。處理器，執行存儲器所存放的程序，並具體用於執行以下操作：
[0140]
基於能量機制，建立匹配成功時刻的目標相機的子能量值，其中所述匹配成功時刻是指經過多相機融合的已有軌跡與目標相機的新檢測目標匹配成功的時刻；
[0141]
根據多個所述多個匹配成功時刻的相同/不同的目標相機的子能量值，得到所述檢測目標的總能量值；
[0142]
在跟蹤檢測目標的過程中，根據所述檢測目標的總能量值的變化情況調整多相機融合的軌跡和/或相機。
[0143]
上述如本技術圖1所示實施例揭示的多相機融合的軌跡處理裝置執行的方法可以應用於處理器中，或者由處理器實現。處理器可能是一種集成電路晶片，具有信號的處理能力。在實現過程中，上述方法的各步驟可以通過處理器中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的處理器可以是通用處理器，包括中央處理器(central processing unit，cpu)、網絡處理器(network processor，np)等；還可以是數位訊號處理器(digital signal processor，dsp)、專用集成電路(application specific integrated circuit，asic)、現場可編程門陣列(field-programmable gate array，fpga)或者其他可編程邏輯器件、分立門或者電晶體邏輯器件、分立硬體組件。可以實現或者執行本技術實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本技術實施例所公開的方法的步驟可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模塊組合執行完成。軟體模塊可以位於隨機存
儲器，快閃記憶體、只讀存儲器，可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領域成熟的存儲介質中。該存儲介質位於存儲器，處理器讀取存儲器中的信息，結合其硬體完成上述方法的步驟。
[0144]
該電子設備還可執行圖1中多相機融合的軌跡處理裝置執行的方法，並實現多相機融合的軌跡處理裝置在圖1所示實施例的功能，本技術實施例在此不再贅述。
[0145]
本技術實施例還提出了一種計算機可讀存儲介質，該計算機可讀存儲介質存儲一個或多個程序，該一個或多個程序包括指令，該指令當被包括多個應用程式的電子設備執行時，能夠使該電子設備執行圖1所示實施例中多相機融合的軌跡處理裝置執行的方法，並具體用於執行：
[0146]
基於能量機制，建立匹配成功時刻的目標相機的子能量值，其中所述匹配成功時刻是指經過多相機融合的已有軌跡與目標相機的新檢測目標匹配成功的時刻；
[0147]
根據多個所述多個匹配成功時刻的相同/不同的目標相機的子能量值，得到所述檢測目標的總能量值；
[0148]
在跟蹤檢測目標的過程中，根據所述檢測目標的總能量值的變化情況調整多相機融合的軌跡和/或相機。
[0149]
本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器、cd-rom、光學存儲器等)上實施的電腦程式產品的形式。
[0150]
本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0151]
這些電腦程式指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
[0152]
這些電腦程式指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
[0153]
在一個典型的配置中，計算設備包括一個或多個處理器(cpu)、輸入/輸出接口、網絡接口和內存。
[0154]
內存可能包括計算機可讀介質中的非永久性存儲器，隨機存取存儲器(ram)和/或非易失性內存等形式，如只讀存儲器(rom)或快閃記憶體(flash ram)。內存是計算機可讀介質的示例。
[0155]
計算機可讀介質包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現信息存儲。信息可以是計算機可讀指令、數據結構、程序的模塊或其他數據。計算機的存儲介質的例子包括，但不限於相變內存(pram)、靜態隨機存取存儲器(sram)、動態隨機存取存儲器(dram)、其他類型的隨機存取存儲器(ram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、快閃記憶體或其他內存技術、只讀光碟只讀存儲器(cd-rom)、數字多功能光碟(dvd)或其他光學存儲、磁盒式磁帶，磁帶磁磁碟存儲或其他磁性存儲設備或任何其他非傳輸介質，可用於存儲可以被計算設備訪問的信息。按照本文中的界定，計算機可讀介質不包括暫存電腦可讀媒體(transitory media)，如調製的數據信號和載波。
[0156]
還需要說明的是，術語
″
包括
″
、
″
包含
″
或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句
″
包括一個......
″
限定的要素，並不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。
[0157]
本領域技術人員應明白，本技術的實施例可提供為方法、系統或電腦程式產品。因此，本技術可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本技術可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器、cd-rom、光學存儲器等)上實施的電腦程式產品的形式。
[0158]
以上所述僅為本技術的實施例而已，並不用於限制本技術。對於本領域技術人員來說，本技術可以有各種更改和變化。凡在本技術的精神和原理之內所作的任何修改、等同替換、改進等，均應包含在本技術的權利要求範圍之內。