智能汽車交通標誌識別的四元數深度神經網絡模型方法與流程

2023-05-28 01:52:41

本發明涉及智能汽車交通標誌自動識別。

背景技術：

智能汽車是智能交通領域的一個重要發展方向，它能利用傳感器收集汽車周圍的障礙物和道路信息，通過計算機軟體計算分析進行駕駛輔助，有利於保障交通安全，減少交通事故發生。交通標誌是使用圖文信息傳達路況的交通設施，對交通標誌進行自動識別是智能汽車的關鍵技術之一。

現有交通標誌的識別方法主要分為基於顏色，基於形狀，基於手工特徵提取加分類器和基於深度學習模型的四種方法。

基於交通標誌顏色的識別方法將輸入圖像在某個顏色空間進行閾值分析進而分割識別，該方法嚴重依賴於交通標誌的彩色信息，在一些極端的光照條件下顏色變化非常大，所以此類方法的魯棒性和準確性不高。

基於交通標誌形狀的檢測識別方法對於光照變化具有良好的魯棒性，但是受旋轉變化影響較大，即當交通標誌發生傾斜時，此類方法會出現明顯的漏檢。

基於手工特徵提取加分類器的方法首先通過某種特徵算子提取特徵，再聯合分類器進行分類識別，如何選擇提取合適的特徵對結果影響較大，因此該方法並不能較好地適應不同的工作環境。

基於深度學習模型的方法通過對原始圖片進行特徵自動學習和分類識別。相比前三類方法，此類方法可靠性最高，但是交通標誌最重要的顏色，輪廓及時間域信息仍然未能在一個統一的框架中被有效的聯合挖掘學習，交通標誌識別的魯棒性仍需要提高。

技術實現要素：

針對如何提高智能汽車交通標誌識別的魯棒性問題，本發明提供了一個基於四元數深度神經網絡的模型方法。在四元數的數學框架下將傳統標量卷積神經網絡拓展為超複數卷積神經網絡，構建了對顏色及時間維度進行聯合挖掘學習的深度神經網絡，提高了交通標誌識別的準確和穩定性，從而為智能汽車的輔助駕駛研究提供了更準確的模型保障。

本發明採用的技術方案具體步驟如下：

一種智能汽車交通標誌識別的四元數深度神經網絡模型方法，具體方法包括如下步驟：

步驟1.基於四元數視覺注意模型的交通標誌感興趣區域提取；

首先對給定的視頻圖像幀進行預處理，然後採用四元數視覺注意模型構建前景目標顯著圖，最後根據顯著圖進行閾值分割提取感興趣區域。

步驟2.基於四元數卷積神經網絡的交通標誌檢測；

根據提出的四元數卷積神經網絡，從感興趣區域中檢測出交通標誌，在時間域上對檢測結果進行匹配，構建包含當前幀及其前後幀的交通標誌圖像組。

步驟3.基於顏色時間域聯合學習的深度神經網絡的交通標誌識別。

根據提出的深度神經網絡對顏色及時間維度進行聯合挖掘學習，完成對交通標誌的識別分類。

本發明基於四元數的數學表示框架，提出了一種四元數深度神經網絡模型方法以提高交通標誌識別的魯棒性，從而為智能汽車的輔助駕駛研究提供了更準確的模型保障。

附圖說明

圖1為本發明方法系統結構流程圖。

圖2四元數卷積神經網絡結構圖。

圖3四元數卷積神經網絡感受野及特徵圖生成示意圖。

圖4對顏色及時間維度進行聯合挖掘學習的深度神經網絡結構圖。

圖5對顏色維度進行特徵學習的一個示例。

圖6對時間維度進行特徵學習的一個示例。

圖7特徵圖優化篩選算法流程圖。

圖8特徵圖融合及篩選的一個示例。

具體實施方式

本發明的具體實施過程如圖1所示，包括如下3個方面：

①基於四元數視覺注意模型的感興趣區域提取

②基於四元數卷積神經網絡的交通標誌檢測

③基於顏色及時間域聯合學習深度神經網絡模型的交通標誌識別

各個步驟詳述如下。

一、基於四元數視覺注意模型的感興趣區域提取

對於給定的視頻當前幀彩色圖像，首先計算其亮度信息圖(r,g,b分別代表紅，綠，藍顏色通道)，然後採用gabor濾波器計算其方向特徵圖o,通過時間維度的幀差生成時間特徵圖t，接著採用四元數視覺注意模型將此三個維度信息分別編碼到四元數的3個虛軸i,j和k，即

v＝ii+oj+tk(1)

對該模型求模獲得表徵前景目標的顯著圖

對該顯著圖進行閾值分割則可獲得相應模板，據此可從原始圖像中提取對應的感興趣區域。

二、基於四元數卷積神經網絡(qcnn)的交通標誌檢測

經過提取的感興趣區域包含交通標誌的正樣本和負樣本，每個區域都是一個彩色圖像，可以由四元數表示為f＝ri+gj+bk，經過訓練的四元數卷積神經網絡可用於在感興趣區域中檢測出正確的交通標誌。圖2所示為提出的四元數卷積神經網絡，包含了多個四元數卷積層，下採樣層，用於分類的全連接層和輸出標籤層。

相比較於傳統的神經元模型，四元數神經元將每個點擴展為四元數，能通過四元數乘法運算實現對編碼在不同軸上的信息進行融合學習，從而獲得更好的特徵學習性能。給定一個實部pr為0的純虛輸入四元數數據x＝pii+pjj+pkk，設其對應的權值為w＝qr+qii+qjj+qkk，w∈k4，k4表示四元數集合，則對應此四元數神經元的輸出y為

y＝f(s)(3)

其中s表示為：

輸出信號s是神經元的輸入x通過權值w進行旋轉操作，用權值w的模實現膨脹操作，公式(4)表明輸入的三維信息x通過四元數的乘法規則，在不同的虛軸上進行了充分的融合，其中每個輸出虛軸都包含了權值w和輸入x所有實、虛軸的代數運算。平移算子的表達通過加減一個偏置b實現。輸出神經元y採用sigmoid函數：

圖3表示了四元數卷積神經網絡的感受野及輸入圖像經過多個核進行四元數卷積生成多張特徵圖的過程。下採樣過程是將四元數卷積層後得到的四元數特徵圖，分別提取三個虛軸矩陣，即得到三個標量矩陣，然後對各個標量矩陣做傳統的下採樣操作。四元數全連接層將最末下採樣層得到的特徵矩陣變換為1*kn的特徵向量，n為特徵矩陣純虛四元數像素點的個數，k為四元數特徵圖的數量。四元數卷積神經網絡的權值採用四元數bp反向傳播算法來訓練確定。

三、基於顏色及時間域聯合學習深度神經網絡模型的交通標誌識別

如圖1所示，檢測得到的交通標誌在時間域進行匹配，首先構成包含當前幀及其前後幀的交通標誌圖像組，然後通過深度神經網絡模型對顏色及時間域信息進行聯合挖掘學習從而分類識別。

圖4為提出的聯合學習深度神經網絡模型結構圖，首先分別將顏色通道及時間維度的3幀灰度交通標誌圖編碼到2個四元數的對應虛軸上，然後採用2個四元數卷積神經網絡分別進行特徵學習提取，獲得的特徵圖表徵了原始輸入的顏色、輪廓及運動特徵信息，將所有軸上的特徵圖融合在一起經過一個優化算法進行特徵圖篩選以降低參數數量，經過篩選的特徵圖再輸入到一個傳統的標量卷積神經網絡進行最終的交通標誌分類識別。圖5和圖6分別表示了通過四元數卷積神經網絡在顏色和時間維度進行特徵提取學習的結果，圖7為所提特徵圖優化篩選方法的流程圖，圖8表示了經過特徵圖篩選的結果。

對於每個輸入圖像si(表示輸入圖像集合)，設其第n個特徵圖的二值化圖像為(表示特徵圖二值化後的圖像集合)，採用突出分數計算在前景圖中每個特徵圖像掩碼針對輸入圖像si中交通標誌特徵的能量值，這個能量可以表示這個特徵圖的重要程度。

公式(6)中，分子是特徵圖的二值化矩陣和輸入圖像si矩陣點乘得到矩陣的1範數，分母是二值化圖像矩陣的1範數，商為突出分數。對於四元數卷積神經網絡，輸入是編碼在四元數三個虛軸上的三張圖像，因此每一張特徵圖對應三個突出分數，採用融合顏色及時間維度信息的深度神經網絡模型總共產生6個突出分數。將6個突出分數的算術平均值作為此特徵圖的最終突出分數，用表示，計算公式如下：

其中sij表示第i組輸入的第j個圖像(1≤j≤6)，第i組的前三個圖像為t時刻彩色圖像的rgb三個通道分量，後面三個是t-1、t、t+1時刻的灰度圖，符號「·」定義為元素範圍的乘法。基於此可構建一個初始值為0的直方圖h，給定一個閾值τk，如果特徵圖的則相應的h(n)值加1，直方圖h(n)的計算方法如下：

將直方圖h(n)按降序排列，得到前n個最大值對應的序號，其對應的特徵圖則為篩選結果。

創新點

提出了一種四元數深度神經網絡模型方法用於智能汽車交通標誌識別，提高了交通標誌識別的魯棒性，為智能汽車輔助駕駛的相關研究提供了理論模型基礎。針對提高智能汽車交通標誌檢測識別魯棒性的問題，本發明採用四元數視覺注意模型建立前景目標顯著圖對感興趣區域進行提取，構建了四元數卷積神經網絡對交通標誌進行檢測，通過時間域匹配生成交通標誌圖像組，給出了一個深度神經網絡模型對交通標誌的顏色，輪廓及時間域特徵進行聯合挖掘學習，最終對交通標誌分類識別，本發明所提方法為提升智能汽車輔助駕駛性能提供了更準確的模型保障。