一種交通信號燈定位識別方法、裝置及系統與流程
2023-05-25 02:33:26 2
本發明涉及圖像識別技術領域，特別涉及一種交通信號燈定位識別方法、裝置及系統。
背景技術：
隨著經濟水平和人民生活水平的不斷提高，各大中小城市中車輛不斷的增加。與此同時，隨之而來的交通問題也越來越備受關注。在交通違法行為識別的過程中，自動準確的識別交通信號燈的尤為重要。傳統的交通信號燈識別方案主要是利用像素變化，檢測特定區域的顏色值變化，來確定交通信號燈的狀態。例如用戶劃定固定的檢測區域，如果該區域出現紅色，則認為紅燈亮。但是，這種交通信號燈的識別方案由於天氣，季節的變化，和物體熱脹冷縮的特性，交通信號燈的位置會發生上下，左右的移動，系統初始化時候設定的位置很多時候不是最終檢測對應的燈的位置。同時，由於光照，成像技術的原因，事實上的紅燈在成像上面可能顯示為更接近黃燈的顏色，造成識別的錯誤。這種顏色失真現象在夜晚會更加明顯。
現有技術中識別交通信號燈的技術方案還有一種是利用交通信號燈的形狀，如圓形，箭頭等形狀在特定區域進行模板匹配，並且對匹配的區域提取像素值，從而識別燈的顏色。但是，這種技術方案由於交通信號燈的形狀各異，例如圓燈，箭頭燈，而且圖像採集的攝像頭的安裝位置以及交通信號燈的安裝位置各有不同，導致不同位置間交通信號燈的大小不一，很難找到一個能夠覆蓋各種情況的通用模板。而且該方案也存在技術一中出現的光照、成像技術導致的顏色失真現象，無法精準的進行交通信號燈識別。
因此，在發明人開發交通信號燈識別的過程中，發現現有技術中至少存在如下問題：
現有技術中識別交通信號燈的技術方案識別精度不高，誤判率高，且通用性差，受外界環境影響較大。
技術實現要素：
鑑於上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的，本發明的技術方案是這樣實現的：
一方面，本發明提供了一種交通信號燈定位識別方法，包括：
獲取待檢測圖像及基於卷積神經網絡的目標檢測識別模型；
通過所述基於卷積神經網絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區域進行交通信號燈識別；
獲取所述待檢測圖像中交通信號燈信息；所述交通信號燈信息包括：交通信號燈的顏色、坐標位置及置信度。
本發明還提供了一種交通信號燈定位識別裝置，包括：
信息獲取單元，用於獲取待檢測圖像及基於卷積神經網絡的目標檢測識別模型；
識別單元，用於通過所述基於卷積神經網絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區域進行交通信號燈識別；
信息確定單元，用於獲取所述待檢測圖像中交通信號燈信息；所述交通信號燈信息包括：交通信號燈的顏色、坐標位置及置信度。
本發明還提供了一種交通信號燈定位識別系統，包括：如上所述交通信號燈定位識別裝置。
本發明的技術方案通過基於卷積神經網絡的目標檢測識別模型對所述待檢測圖像進行交通信號燈識別，並獲取所述待檢測圖像中交通信號燈信息。由於所述基於卷積神經網絡的目標檢測識別模型能夠學習到交通信號燈坐標位置及交通信號燈顏色，從而使得通過所述基於卷積神經網絡的目標檢測識別模型識別出來的待檢測圖像中的交通信號燈信息，即包含了交通信號燈的顏色、坐標位置及置信度。因此通過基於卷積神經網絡的目標檢測識別模型實現交通信號燈的定位識別，從而解決了現有技術中交通信號燈識別精度不高，誤判率高，且通用性差，受外界環境影響較大的問題。
附圖說明
圖1為本發明實施例提供的一種交通信號燈定位識別方法流程圖；
圖2為本發明實施例提供的另一種交通信號燈定位識別方法流程圖；
圖3為本發明實施例提供的一種交通信號燈定位識別裝置結構示意圖；
圖4為本發明實施例提供的一種交通信號燈定位識別系統結構示意圖。
具體實施方式
為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。
基於卷積神經網絡的算法。其中，快速區域卷積神經網絡算法是目前最先進的用於目標檢測的深度學習神經網絡之一。所述快速區域卷積神經網絡由兩部分網絡構成；一部分用於生成目標可能出現的區域，另一部分用於在所述目標區域對待檢測目標進行精確定位並識別。
如圖1為所示為本發明實施例提供的一種交通信號燈定位識別方法流程圖；該方法包括：
101：獲取待檢測圖像及基於卷積神經網絡的目標檢測識別模型；
102：通過所述基於卷積神經網絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區域進行交通信號燈識別；
103：獲取所述待檢測圖像中交通信號燈信息；所述交通信號燈信息包括：交通信號燈的顏色、坐標位置及置信度。
基於以上實施例，如圖2所示，為本發明實施例提供的另一種交通信號燈定位識別方法流程圖；該方法包括：
201：獲取帶標註的訓練樣本、待訓練樣本圖像及配置參數；所述標註的訓練樣本帶有交通信號燈框一個角點的坐標位置、燈框寬高值和當前燈的顏色；
202：根據配置參數，生成所述待訓練樣本圖像的候選推薦區域，並確定所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度；該步驟具體實現過程如下：所述配置參數包括：交通信號燈框長寬比、及交通信號燈框標準信息；所述交通信號燈框標準信息包括待識別交通信號燈框坐標位置。
S21:根據所述交通信號燈框長寬比，生成所述待訓練樣本圖像的候選推薦區域；
S22:根據所述交通信號燈框標準信息，確定所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度。該步驟具體為：
本發明技術方案採用基於區域的卷積神經網絡快速檢測模型Faster R-CNN的深度學習方法離線訓練所述基於卷積神經網絡的目標檢測識別模型。例如：當交通信號燈框標準信息即訓練樣本中交通信號燈為三眼豎燈時，所述交通信號燈的寬高比接近1:3，可以利用這一特徵對圖像進行尺寸調整，確保寬高比為1:3，且大小為20x60。Faster R-CNN深度學習模型對目標尺寸的大小和寬高比沒有嚴格的要求，能夠檢測到合理尺度範圍的任何寬高比目標。根據交通信號燈框標準信息的先驗知識，將其寬高比設為1:3，大小設為20x60,不但可以降低模型複雜度，從而能夠在不犧牲檢測精度的情況下提高檢測效率。該模型除了能夠輸出燈框的位置，燈的顏色之外，還能夠提供檢測的置信度(0-1，0為最不確定，1為最確定)。在真實場景中，只要紅綠燈燈框在20x60附近就可以檢測到，並不嚴格要求大小為20x60。
203：根據所述帶標註的訓練樣本與所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度，確定所述待訓練樣本圖像的候選推薦區域的樣本類型；所述樣本類型包括：正樣本或負樣本；
204：根據所述帶標註的訓練樣本、所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度和所述待訓練樣本圖像的候選推薦區域的樣本類型，獲取所述基於卷積神經網絡的目標檢測識別模型。其中，所述基於卷積神經網絡的目標檢測識別模型包括：候選推薦區域檢測器和交通信號燈分類定位器；該步驟具體實現過程如下：
S41:根據所述帶標註的訓練樣本、所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度和所述待訓練樣本圖像的候選推薦區域的樣本類型，獲取所述候選推薦區域檢測器；
S42：根據所述候選推薦區域檢測器輸出的所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度和帶標註的訓練樣本中標註的帶有交通信號燈框一個角點的坐標位置、燈框寬高值和當前燈的顏色，獲取所述交通信號燈分類定位器。
需要說明的是，在以下步驟S205之前，還包括：預設置待檢測圖像的交通信號燈檢測區域；
205：通過所述基於卷積神經網絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區域進行交通信號燈識別；該步驟具體實現過程為：
S51:通過所述基於卷積神經網絡的目標檢測識別模型，確定所述待檢測圖像的交通信號燈檢測區域內候選推薦區域；
S52:在候選推薦區域內進行交通信號燈識別，獲取所述交通信號燈框一個角點的坐標位置、燈框寬高值，當前燈的顏色及其置信度；
S53:按照所述交通信號燈的坐標位置以及置信度，調整所述交通信號燈檢測區域；所述調整後的交通信號燈檢測區域將用於下一輪的交通信號燈識別，以便在後待檢測圖像的交通信號燈識別；具體的講，就是根據所述候選推薦區域中交通信號燈框一個角點的坐標位置及其置信度動態地調整其檢測區域的大小。例如：當所述候選推薦區域的置信度非常高(如在0.95-0.999之間)時，可以僅在當前坐標位置周圍40x 80的區域內進行檢測。當置信度處於較高水平(如在0.85-0.95之間)時，可以在當前坐標位置周圍60x100的區域內進行檢測。當置信度較低時(如置信度黃燈-->紅燈-->綠燈，因為交通信號燈的閃爍中間可能存在全黑的狀況，但是不會出現紅燈亮了之後黃燈立即亮的情況，依據這一規則也可以排除一些明顯的誤檢。
需要說的是，以上所述通過綠燈-->黃燈-->紅燈-->綠燈狀態排除的方法應該是對採集圖像不同圖像幀的篩選，即根據幀與幀之間的信息不同燈的顏色變化完成錯誤幀的篩查；而上面通過比較特定閾值排查則是針對同一個採集圖像幀中不同的候選推薦區域的排查。
如圖3所示，為本發明實施例提供的一種交通信號燈定位識別裝置；該裝置包括：
信息獲取單元301，用於獲取待檢測圖像及基於卷積神經網絡的目標檢測識別模型；
識別單元302，用於通過所述基於卷積神經網絡的目標檢測識別模型對所述待檢測圖像的交通信號燈檢測區域進行交通信號燈識別；
信息確定單元303，用於獲取所述待檢測圖像中交通信號燈信息；所述交通信號燈信息包括：交通信號燈的顏色、坐標位置及置信度。
需要說明的是，該裝置還包括：
參數信息獲取單元，用於獲取帶標註的訓練樣本、待訓練樣本圖像及配置參數；所述標註的訓練樣本帶有交通信號燈框一個角點的坐標位置、燈框寬高值和當前燈的顏色；
區域生成單元，用於根據配置參數，生成所述待訓練樣本圖像的候選推薦區域，並確定所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度；
類型確定單元，用於根據所述帶標註的訓練樣本與所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度，確定所述待訓練樣本圖像的候選推薦區域的樣本類型；所述樣本類型包括：正樣本或負樣本；
模型獲取單元，用於根據所述帶標註的訓練樣本、所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度和所述待訓練樣本圖像的候選推薦區域的樣本類型，獲取所述基於卷積神經網絡的目標檢測識別模型；
其中，所述配置參數包括：交通信號燈框長寬比及交通信號燈框標準信息；所述區域生成單元，具體用於根據所述交通信號燈框長寬比，生成所述待訓練樣本圖像的候選推薦區域；根據所述交通信號燈框標準信息，確定所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度；
其中，所述基於卷積神經網絡的目標檢測識別模型包括：候選推薦區域檢測器和交通信號燈分類定位器；所述模型獲取單元，具體用於根據所述帶標註的訓練樣本、所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度和所述待訓練樣本圖像的候選推薦區域的樣本類型，獲取所述候選推薦區域檢測器；根據所述候選推薦區域檢測器輸出的所述待訓練樣本圖像的候選推薦區域中交通信號燈框的坐標位置及其置信度和帶標註的訓練樣本中標註的帶有交通信號燈框一個角點的坐標位置、燈框寬高值和當前燈的顏色，獲取所述交通信號燈分類定位器。
其中，該裝置還包括：
預置單元，用於預設置待檢測圖像的交通信號燈檢測區域；
所述識別單元具體用於通過所述基於卷積神經網絡的目標檢測識別模型，確定所述待檢測圖像的交通信號燈檢測區域內候選推薦區域；在候選推薦區域內進行交通信號燈識別，獲取所述交通信號燈框一個角點的坐標位置、燈框寬高值，當前燈的顏色及其置信度；按照所述交通信號燈的坐標位置以及置信度，調整所述交通信號燈檢測區域；所述調整後的交通信號燈檢測區域將用於下一輪的交通信號燈識別，以便在後待檢測圖像的交通信號燈識別；
所述信息確定單元，具體用於獲取所述待檢測圖像的至少一個候選推薦區域內的交通信號燈信息；獲取置信度最高的候選推薦區域內的交通信號燈信息，作為待檢測圖像的交通信號燈信息。
如圖4所示，為本發明實施例提供的一種交通信號燈定位識別系統；該系統包括：如上所述交通信號燈定位識別裝置。
本發明的技術方案通過基於卷積神經網絡的目標檢測識別模型對所述待檢測圖像進行交通信號燈識別，並獲取所述待檢測圖像中交通信號燈信息。由於所述基於卷積神經網絡的目標檢測識別模型能夠學習到交通信號燈坐標位置及交通信號燈顏色，從而使得通過所述基於卷積神經網絡的目標檢測識別模型識別出來的待檢測圖像中的交通信號燈信息，即包含了交通信號燈的顏色、坐標位置及置信度。因此通過基於卷積神經網絡的目標檢測識別模型實現交通信號燈的定位識別，從而解決了現有技術中交通信號燈識別精度不高，誤判率高，且通用性差，受外界環境影響較大的問題。
以上所述僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等，均包含在本發明的保護範圍內。