一種交互式車載智能終端系統及監控方法與流程

2023-05-26 19:03:36

本發明涉及通信技術領域，更具體地說，涉及一種交互式車載智能終端系統及監控方法。

背景技術：

目前，隨著城市化的推進和人們生活水平的提高，汽車擁有量不斷攀升，汽車的行車安全，以及汽車周邊環境監測問題越來越引起大眾的關注。為了解決車輛行車過程中駕駛員對車輛周邊環境的實時信息獲取以及更加人性化的交互方式，人們採取了不少手段。其中，行車記錄儀，車載攝像頭系統等設備，為駕駛員獲取汽車周邊環境信息做出了一定的貢獻。

現有的車載終端系統在具體實施和表現方面，尚存在諸多方面的缺陷：主要表現如下：1)現有的車載攝像頭系統大多針對倒車後視監控方面的應用，主要固定於車尾或者車前，而且其可視角度小，還需依靠後視鏡和駕駛員；2)現有車載攝像頭系統還未有運動檢測周圍障礙物的應用，其智能化還需提高；3)現有的車載終端播報系統主要還集中於行車交通環境的播報，對於智能化的車輛周邊可或者環境信息的播報尚不滿足。

技術實現要素：

本發明要解決的技術問題在於，針對現有技術的上述缺陷，提供一種能夠 實現在行車過程中對車輛周圍進行全方位的視頻監控以及對車輛周邊環境的智能交互的交互式車載智能終端系統及監控方法。

本發明解決其技術問題所採用的技術方案是：構造一種交互式車載智能終端系統，其包括一車載終端、多個雙攝像頭系統、所述雙攝像頭系統分別安裝在車前、車尾以及車側，所述車載終端包括核心處理器及分別與所述核心處理器連接的語音播報模塊和顯示模塊，其中：所述核心處理器包括：

視頻採集模塊：與每一所述雙攝像頭系統連接，用於獲取視頻圖像並通過所述顯示模塊顯示；

數據處理模塊，與所述視頻採集模塊連接，用於從所述視頻圖像中獲取圖像數據，並在車輛處於行進階段時根據所述圖像數據計算車輛與障礙物之間的距離和障礙物大小；或者在車輛處於倒車階段時根據所述圖像數據計算車輛與車位線之間的距離；

所述語音播報模塊與所述數據處理模塊連接，且用於在車輛處於行進階段時播報障礙物大小及車輛與障礙物之間的距離，或者在車輛處於倒車階段時播報車輛與車位線之間的距離。

在上述交互式車載智能終端系統中，所述車載終端還包括：

語音輸入模塊，用於接收駕駛員輸入的語音信號；

語音識別模塊，與所述語音輸入模塊連接且用於對接收到的的所述語音信號進行識別；

所述核心處理器還包括語音處理模塊，分別與所述語音識別模塊和所述數據處理模塊連接，且用於對從所述語音識別模塊接收到的語音識別信號進行分析以獲取駕駛員需求，並從所述數據處理模塊中調用系統數據以獲取對應的駕駛員所需信息並通過所述語音播報模塊進行播報。

在上述交互式車載智能終端系統中，所述核心處理器還包括雲服務模塊，用於接收所述數據處理模塊內的圖像數據，並將所述圖像數據最終通過用戶終端進行呈現。

在上述交互式車載智能終端系統中，所述車載終端還包括與所述數據處理模塊連接的通信模塊，用於車輛在受到外部撞擊時，發送信息給所述用戶終端。

在上述交互式車載智能終端系統中，所述交互式車載智能終端系統還包括用於供電的電源模塊。

還提供一種監控方法，基於上述交互式車載智能終端系統，所述監控方法包括：

S1、通過雙攝像頭系統獲取視頻圖像；

S2、從所述視頻圖像中獲取圖像數據，並在車輛處於行進階段時計算車輛與障礙物之間的距離和障礙物大小，或者在車輛處於倒車階段時計算車輛與車位線之間的距離；

S3、在車輛處於行進階段時語音播報障礙物大小和車輛與障礙物之間的距離，或者在車輛處於倒車附段時語音播報車輛與車位線之間距離。

在上述監控方法中，在車輛處於行進階段時，所述步驟S2包括：

S21、依據障礙物P與車輛的位置關係獲取相應雙攝像頭系統的圖像數據；

S22、設兩條直線L1和L2的向量表示如下：L1＝r1+tv1和L2＝r2+sv2；

其中：直線L1為相應雙攝像頭系統中其中一個攝像頭的光心和障礙物P投影到該攝像頭投影面上的點之間所形成的直線；直線L2為另一攝像頭的光 心和障礙物P投影到該攝像頭投影面上的點之間所形成的直線；是偏移向量，是單位方向向量；s和t是參數變量；

S23、計算障礙物P距離車輛的距離，計算方法如下：設A為直線L1上的點，坐標為(x1+m1t,y1+n1t,z1+p1t)；

B為直線L2上的點，坐標為(x2+m2s,y2+n2s,z2+p2s)；

設A到B的距離為d，則

d2＝[(x1+m1t)-(x2+m2s)]2+[(y1+n1t)-(y2+n2s)]2+[(z1+p1t)-(z2+p2s)]2,其滿足如下公式：

計算使得和的s和t取值如下：

其中：c＝m1m2+n1n2+p1p2，

e＝m2(x2-x1)+n1(y2-y1)+p1(z2-z1)，f＝m1(x1-x2)+n1(y1-y2)+p1(z1-z2)

將s和t分別代入直線L1和直線L2的參數方程得到垂足的坐標為(x1+m1t,y1+n1t,z1+p1t)和(x2+m2s,y2+n2s,z2+p2s)；

障礙物P與車輛之間的距離為：

在上述監控方法中，所述監控方法還包括：

接收駕駛員輸入的語音信號；

對接收到的語音信號進行識別；

對語音識別信號分析以獲取駕駛員需求，並從數據處理模塊中調用系統數據以獲取對應的駕駛員所需信息。

實施本發明的交互式車載智能終端系統及監控方法，具有以下有益效果：該系統採用雙攝像頭系統，並分別安裝在車前、車尾以及車側，可以對車輛周圍進行全方位的視頻監控以查看車輛外部環境，並通過核心處理器中的數據採集模塊將獲取到的視頻圖像傳輸給數據處理模塊，數據處理模塊對獲取到的圖像數據進行分析處理並計算出在車輛處於行進階段時障礙物大小及其與車輛之間的距離，同時通過語音播報模塊進行播報，以幫助駕駛員避免撞到或者擦傷周圍人或物。

附圖說明

下面將結合附圖及實施例對本發明作進一步說明，附圖中：

圖1是本發明一種交互式車載智能終端系統實施例的結構框圖；

圖2是本發明一種交互式車載智能終端系統實施例的工作流程圖；

圖3是障礙物P空間投影示意圖；

圖4是本發明一種交互式車載智能終端系統實施例計算障礙物P的大小的流程示意圖。

具體實施方式

為了對本發明的技術特徵、目的和效果有更加清楚的理解，現對照附圖詳細說明本發明的具體實施方式。

如圖1所示，為本發明一種交互式車載智能終端系統實施例的結構框圖，在本實施例中，該交互式車載智能終端系統包括一車載終端(未圖示)、多個雙攝像頭系統10，該車載終端安裝在車輛內部，多個雙攝像頭系統10分別安裝在車前、車尾以及車側，以對車輛周圍進行全方位的視頻監控，該雙攝像頭系統10都配有微型硬體電路以穩定電源供給和視頻獲取，使得車輛在快速行進的過程中也能獲取穩定清晰可處理的視頻流。特別地，該車載終端具體包括核心處理器11以及分別與該核心處理器11連接的語音播報模塊12和顯示模塊13，核心處理器11又包括視頻採集模塊111和數據處理模塊112。

視頻採集模塊111與每一雙攝像頭系統10連接，以完成外接攝像頭對視頻圖像的獲取；數據處理模塊112與該視頻採集模塊111連接，其主要用於從視頻圖像中獲取圖像數據並對這些數據進行處理，包括測距和測大小以及對視頻圖像進行融合處理等。具體地，如圖2所示，在車輛處於行進階段時，調看車輛周圍全景監視視頻圖像，即調看安裝在車前、車側以及車尾的所有雙攝像頭系統所採集到的視頻圖像，若發現有障礙物，數據處理模塊111根據所獲取的圖像數據計算車輛與障礙物之間的距離和障礙物大小；在車輛處於倒車階段時，調看安裝在車側及車尾的雙攝像頭系統所採集到的視頻圖像，根據所獲取的圖像數據計算車輛與車位線之間的距離。

語音播報模塊12與數據處理模塊112連接，其用於在車輛處於行進階段時，當監視到車輛外有障礙物，系統自動語音播報以進行提醒，同時播報該障礙物大小及離車距離，以幫助駕駛員避免撞到或者擦傷周圍人或物；在車輛處於倒車階段入庫時，語音播報車輛與車位線之間的距離，如圖2所示。

上述顯示模塊13與視頻採集模塊111連接，主要用於對於在車輛行進過 程中對周邊環境的視頻圖像進行顯示，其可以直接使用車輛內部的液晶顯示裝置直接進行顯示，為單純的液晶設備；也可使用觸摸式顯示裝置進行顯示。

特別地，上述數據處理模塊112是通過智能視頻識別測距算法計算障礙物與車輛之間的距離以及車輛與車位線之間的距離，其基於仿生雙目定位方式實現，多個雙攝像頭系統通過兩兩定位的形式，通過算法實現與車輛距離和物體大小的測量。

這裡以車輛在行進階段時計算障礙物和車輛之間的距離為例，可以理解的是，當障礙物與車輛接近時，或者在攝像頭可檢測的範圍內時，數據處理模塊112會對獲取到的圖像數據進行處理，而根據障礙物在車輛周圍的前、後、左、右方向，來計算該雙攝像頭攝像系統10離車輛相應方向的距離，比如攝像頭檢測到該障礙物在車輛前方時，則數據處理模塊112對安裝在車前的雙攝像頭系統所獲取的圖像數據進行處理，計算該安裝在車前的雙攝像頭系統與障礙物之間的距離，即只用計算一個雙攝像頭系統與障礙物之間的距離，該雙攝像頭系統的安裝方向與檢測到的障礙物離車方向相同。

具體地，該數據處理模塊112測距的過程如下：

首先，設障礙物為P，投影到該雙攝像頭頭系統Ci投影面上的點坐標為pi；對某一個攝像頭Ci，確定了光心Oi和投影面(圖像上)的點pi，那麼所有可能投影到pi的空間點的集合就處於直線Oi-pi上；即P一定處於直線Oi-pi上，這條直線稱為極線。

對雙攝像頭系統，空間點P必定處於直線Oi-pi(i＝1,2)上，即計算所有直線Oi-pi(i＝1,2)的交點。實際上由於誤差的產生，可能直線Oi-pi會發生偏差，造成這些直線並不全部相交。如圖3所示，直線p1p2是兩條直線L1和L2的最短垂 直線，其距離即為兩條直線的距離，這裡直線L1為相應雙攝像頭系統中其中一個攝像頭的光心和障礙物P投影到該攝像頭投影面上的點之間所形成的直線；直線L2為另一攝像頭的光心和障礙物P投影到該攝像頭投影面上的點之間所形成的直線。

考慮偏差是微小的，如果兩條直線異面；對直線L1而言，空間點的實際位置應該靠近最短垂直線的垂足p1；同理，對於直線L2，空間點的實際位置應該靠近最短垂直線的垂足p2。對n條直線，每個直線均有n-1個垂足，這些垂足反映了空間點的實際位置的信息，利用這些信息估計空間點的實際位置是合理的，最簡單的方法就是取這些垂足的中心點。這樣就將求兩條直線的交點轉化為求兩條直線最短垂直線的垂足，在本實施例中，兩條直線的垂足對是唯一的。

兩條直線的最短垂直線，是兩條直線上點的最短距離，那麼通過尋找兩條直線的點之間的最短距離，可以得到垂足的位置。

這樣就將求兩條直線的交點轉化為求兩條直線最短距離的問題，在本實施例中通過極值法來尋找垂足點。

設兩條直線L1和L2的向量表示如下：L1＝r1+tv1和L2＝r2+sv2，其中是偏移向量，是單位方向向量；s和t是參數變量；

設A為直線L1上的點，坐標為(x1+m1t,y1+n1t,z1+p1t)；

B為直線L2上的點，坐標為(x2+m2s,y2+n2s,z2+p2s)；

設A到B的距離為d，則

d2＝[(x1+m1t)-(x2+m2s)]2+[(y1+n1t)-(y2+n2s)]2+[(z1+p1t)-(z2+p2s)]2

此時求s和t的取值使得d2的值最小，即求使得d2的一階偏導為0，二階偏導大於0的s和t值，其滿足如下公式：

由於和則d2隻有最小值，沒有最大值；計算使得和 的s和t取值如下：

其中，

c＝m1m2+n1n2+p1p2，

e＝m2(x2-x1)+n1(y2-y1)+p1(z2-z1)，f＝m1(x1-x2)+n1(y1-y2)+p1(z1-z2)

將s和t分別代入直線L1和直線L2的參數方程得到垂足的坐標為(x1+m1t,y1+n1t,z1+p1t)和(x2+m2s,y2+n2s,z2+p2s)；之後根據這兩個垂足坐標可以得到兩直線交點的近似值，即為障礙物P在空間坐標中的實際位置，這個近似值是取兩垂足間的中點值。即障礙物P在該雙攝像頭系統中空間點的實際坐標為：

而攝像頭光心為空間初始點，即(0,0,0)。從而，障礙物P與該雙攝像頭系統之間的距離也即障礙物P與車輛之間的距離為：

可以理解的是，在車輛處於倒車階段時，這裡需計算安裝在車後的雙攝像頭系統10與車位線之間的距離，其計算過程與上述類似，只是將車位線視 作P點進行計算，在此不再贅述。

此外，車外物體大小的測量採取現有的基於自適應像素分塊的反饋背景分割法的方法來實現。其計算過程如圖4所示，車輛某一側的雙攝像頭系統10檢測到障礙物P後，由於障礙物P的運動速度或者車輛自身的行駛速度不統一，因此以1幀為單位讀取該障礙物P的圖像數據，在較短的時間內處理獲取的圖像，得到障礙物P的初始點和X、Y軸的信息，最終，通過現有算法-基於自適應像素分塊的反饋背景分割法確定出該障礙物P的框圖大小，即該障礙物P的大小。

特別地，本系統還可以通過引入語音識別技術，識別駕駛員的語音信息，實現該車載終端與駕駛員之間可以進行有效的溝通。

具體地，上述車載終端還包括語音輸入模塊14、語音識別模塊15，對應地，上述核心處理器11還包括語音處理模塊113，語音輸入模塊14、語音識別模塊15以及語音處理模塊113依次連接。語音輸入模塊14接收駕駛員輸入的語音信號並發送到語音識別模塊15，語音識別模塊15用於對接收到的語音信號進行識別，實現對駕駛員語音信號的辨識，完成與駕駛員之間的交流，語音處理模塊113還與數據處理模塊112連接，主要用於獲取語音識別後的信息，對語音識別信號進行分析以獲取駕駛員需求，並從數據處理模塊112中調用系統數據以完成相應的指令，獲取對應的駕駛員所需信息並通過語音播報模塊12進行語音播報，實現與駕駛員之間的交流。

因此，在本實施例中，語音播報模塊12主要完成兩種類型的語音播報，一種為駕駛員被動獲取的的信息，如系統預置的信息，播報障礙物大小和離車距離的信息，或者車輛與車位線之間的信息等，也可以在數據處理模塊112中設置一安全閾值，當外界障礙物離車輛的距離小於該安全閾值時，即 障礙物臨近時語音播報報警信息；另一種為駕駛員主動獲取的信息，如上述駕駛員發送語音指令，需要該系統應答回復的信息。

特別地，上述語音識別模塊15採用自適應語音識別算法，其在DTW(Dynamic Time Warping，動態時間歸整)算法的基礎上，給出了語音端點檢測操作和MFCC(Mel Frequency Cepstrum Coefficient，Mel頻率倒譜係數)參數的提取方法。

在該語音識別過程中，其端點監測過程分為：預處理和判別兩個步驟。其中預處理採用輸入信號的幅度歸一化、分幀和消除低頻幹擾等方法實施。通過一階高通濾波器消除低頻幹擾，其傳遞函數為1-0.9375z-1，該函數可以消除50Hz和60Hz工頻幹擾。

此算法採用的Mel參數，其可以在一定程度上模擬人耳對語音的處理過程和結果。在有信道噪聲的情況下，MFCC可以有效地提高孤立詞的識別率，Mel頻率如下式表示：

fMEL＝1127×log(1+f/700)，f為採樣頻率。

在該語音識別過程中，MFCC倒譜係數提取方法為語音識別技術中關鍵的一個環節，其計算方法描述如下：

對上述收到的語音信號進行分幀處理，預加重和加漢明窗，利用短時傅立葉變換獲得頻譜；

用M個Mel帶通濾波器濾波，計算獲得能量譜，疊加每個濾波器頻帶內的能量，得到第K個濾波器輸出功率譜x′(k)；在該過程中，其獲取輸出功率譜的過程為現有技術，在此不再具體描述；

將每個濾波器的輸出取對數，得到相應頻帶的對數功率譜，對每一對數功率譜進行反離散餘弦函數計算，獲取L個MFCC係數，該MFCC係數的計算方 法如下：

上述n為大於等於1的自然數，本實施例中為L，L的數值為16，但並不作此限制。

在本實施例中，上述系統中的核心處理器11採用聯發科64位4核LTE平板電腦平臺SOC，其型號優選為MT8735，但不作此限制。

優選地，上述核心處理器11還包括與數據處理模塊112連接的雲服務模塊114，用於接收數據處理模塊112內的圖像數據並通過用戶終端進行呈現，通過該雲伺服器114使得駕駛員不在車輛內部的場景下，駕駛員可以通過用戶終端遠程登錄以查看相應的數據，該系統數據包括由所有雙攝像頭採集的圖像數據，通過這些數據查看車輛環境情況。上述用戶終端包括PC、手機、PAD等設備。

優選地，上述車載終端還包括與數據處理模塊112連接的通信模塊16，該通信模塊16主要藉助通信運營商網絡完成信息的傳遞，在本實施例中可以採用華為的4G/3G通信模塊和三大運營商其一(移動/聯通/電信)的SIM卡，但不作此限制。通過該通信模塊16使得在駕駛過程中或者車輛無人駕駛過程中，該車輛遇到緊急突發情況時，如交通事故、遭竊或者來自外力損壞等，可以通過預置的方案藉助電信運營商網絡，依靠內置的該通信模塊16便可發送信息給交警部門或駕駛員。

在本實施例的交互式車載智能終端系統中，該系統還包括電源模塊(圖未示)，用於給整個系統供電，主要表現為兩種方式：一是在車輛啟動後，直接對12V車載電源進行穩壓和降壓輸出後供整個系統工作；二是在車輛非啟動狀態或者事故熄火狀態後，通過其內部的電池進行供電，主要是給通信模塊 16和雲服務模塊114供電。

本發明還提供一種監控方法，基於上述的交互式車載智能終端系統實現，該監控方法包括：

S1、視頻採集模塊111通過多個雙攝像頭系統獲取視頻圖像；在該步驟中，這多個雙攝像頭系統分別安裝在車前、車尾以及車側，以對車輛周圍進行全方位的視頻監控；

S2、數據處理模塊112從該視頻圖像中獲取圖像數據，並在車輛處於行進階段時計算車輛與障礙物之間的距離和障礙物大小，或者在車輛處於倒車階段時計算車輛與車位線之間的距離；

S3、在車輛處於行進階段時語音播報障礙物大小和離車距離，或者在車輛處於倒車階段時語音播報車輛與車位線之間距離。

上述S2具體包括：

S21、依據障礙物P與車輛的位置關係獲取相應雙攝像頭系統的圖像數據；在該步驟中，是根據障礙物在車輛周圍的前、後、左、右方向，來計算該雙攝像頭攝像系統10離障礙物相應方向的距離，比如攝像頭檢測到該障礙物在車輛前方時，則數據處理模塊112對安裝在車前的雙攝像頭所獲取的圖像數據進行處理，也就是說在該步驟中獲取的是安裝在車前的雙攝像頭的圖像數據。

S22、設兩條直線L1和L2的向量表示如下：L1＝r1+tv1和L2＝r2+sv2；

其中：直線L1為相應雙攝像頭系統中其中一個攝像頭的光心和障礙物P投影到該攝像頭投影面上的點之間所形成的直線；直線L2為另一攝像頭的光心和障礙物P投影到該攝像頭投影面上的點之間所形成的直線；是偏移 向量，是單位方向向量；s和t是參數變量；

S23、計算障礙物P距離車輛的距離，計算方法如下：設A為直線L1上的點，坐標為(x1+m1t,y1+n1t,z1+p1t)；

B為直線L2上的點，坐標為(x2+m2s,y2+n2s,z2+p2s)；

設A到B的距離為d，則

d2＝[(x1+m1t)-(x2+m2s)]2+[(y1+n1t)-(y2+n2s)]2+[(z1+p1t)-(z2+p2s)]2,其滿足如下公式：

計算使得和的s和t取值如下：

將s和t分別代入直線L1和直線L2的參數方程得到垂足的坐標為(x1+m1t,y1+n1t,z1+p1t)和(x2+m2s,y2+n2s,z2+p2s)；

之後根據這兩個垂足坐標可以得到兩直線交點的近似值，即為障礙物P在空間坐標中的實際位置，這個近似值是取兩垂足間的中點值。即障礙物P在攝像頭中空間點的實際坐標為：而攝像頭光心為空間初始點，即(0,0,0)。從而，障礙物P與攝像頭之間的距離為：

可以理解的是，在車輛處於倒車階段時，這裡需計算安裝在車後的雙攝 像頭系統10與車位線之間的距離，其計算過程與上述類似，只是將車位線視作P點進行計算，在此不再贅述。

本發明還可通過語音識別技術，識別駕駛員的語音信息，實現與駕駛員之間可以進行有效的溝通，其於此，上述監控方法還包括：

接收駕駛員輸入的語音信號；

對接收到的語音信號進行識別；

對語音識別信號分析以獲取駕駛員需求，並從數據處理模塊中調用系統數據以獲取對應的駕駛員所需信息。

上述對接收到的語音信號進行識別的過程中包括MFCC係數提取方法，其為語音識別算法中關鍵的一個環節，該MFCC係數提取方法包括：

對上述收到的語音信號進行分幀處理，預加重和加漢明窗，利用短時傅立葉變換獲得頻譜；

用M個Mel帶通濾波器濾波，計算獲得能量譜，疊加每個濾波器頻帶內的能量，得到第K個濾波器輸出功率譜x′(k)；

將每個濾波器的輸出取對數，得到相應頻帶的對數功率譜，對每一對數功率譜進行反離散餘弦函數計算，獲取L個MFCC係數，該MFCC係數的計算方法如下：

上述n為大於等於1的自然數，本實施例中為L，L的數值為16，但並不作此限制。

上面結合附圖對本發明的實施例進行了描述，但是本發明並不局限於上述的具體實施方式，上述的具體實施方式僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本發明的啟示下，在不脫離本發明宗旨和權利 要求所保護的範圍情況下，還可做出很多形式，這些均屬於本發明的保護之內。