基於輸入聲音信號的影像存儲裝置及方法與流程

2023-06-03 00:56:04 1

本發明涉及基於輸入聲音信號的影像存儲裝置及方法，更詳細地，涉及一種在汽車黑匣子除加速度傳感器值之外附加輸入有效的衝擊事件聲音時存儲影像的基於輸入聲音信號的影像存儲裝置及方法。

背景技術：

一般而言，汽車黑匣子根據車輛發動狀態分為行使模式、停車模式運轉。

在行使模式下，以普通平時錄像、平時衝擊錄像、手動錄像等3種錄像方式存儲畫面。

平時錄像是以一定時間單位拍攝行使中的所有影像，並存儲於平時錄像文件夾的方式，平時衝擊錄像是在發生使用者設定的感度以上的衝擊時，衝擊時點(以下稱為衝擊事件)為基準，拍攝之前一定時間和之後一定時間的影像，並存儲於平時衝擊文件夾的方式，手動錄像是按下特定按鈕時，以按下按鈕的時點為基準，拍攝之前一定時間和之後一定時間的影像，並存儲於手動錄像文件夾的方式。

在平時衝擊錄像中為了感知衝擊事件，作為輸入裝置主要使用加速度傳感器，衝擊事件感知運算法是加速度傳感器的X，Y，Z方向的加速度值的瞬間大小和最近一定時間期間平均大小的差異輸出為使用者預先設定的感度以上的值時，稱其為衝擊事件。

使用加速度傳感器的衝擊事件感知運算法是判斷瞬間加速度值是否成為設定值以上，因此，不僅在原先汽車黑匣子要感知的車輛的衝突等的有效的衝擊事件(True Positive)，而根據車輛行駛的道路環境對於因道路破損、限速帶等發生的無需的事件和停車時開閉車門及關閉車廂時也發生無效的衝擊事件(False Positive)。

在發生此類無效的事件時，將一定時間的錄像影像存儲於平時衝擊文件夾，從而，使得有限大小的存儲空間被無效的衝擊事件影像文件佔滿，導致使用者難以找到實際有效的衝擊事件，並且，繼續存儲實際上無需存儲的較大影像文件，因此，縮短SD卡型的快閃記憶體(Flash Memory)的壽命。

並且，當無效的衝擊事件增多而佔滿有限的大小的文件夾時，首先覆蓋時間最長的影像文件，此時，可能覆蓋有效的衝擊事件。

[先行技術文獻]

(專利文獻1)韓國登錄專利公報註冊號第10-1015408號

技術實現要素：

(一)要解決的技術問題

本發明為了解決上述的問題，提供一種基於輸入聲音信號的影像存儲裝置及方法，預先設定有效的衝擊事件的有效聲音和無效的衝擊事件的無效聲音後，在汽車黑匣子除加速度傳感器值之外附加輸入由衝擊事件引起的衝擊聲音時，將所述衝擊聲音與有效聲音及無效聲音進行比較，如果與有效聲音匹配時，以發生衝擊事件的時點為基準，存儲之前一定時間的影像和之後一定時間的影像，如果與無效聲音匹配時，不存儲影像，從而，在具有有限的存儲空間的存儲器能夠存儲更多量的影像。

(二)技術方案

為了實現上述目的，本發明的基於輸入聲音信號的影像存儲裝置，包括：加速度傳感器部，輸出由衝擊事件發生的加速度傳感器值；話筒部，接收輸入的由所述衝擊事件發生的衝擊聲音；攝像頭部，拍攝外部影像；及處理部，感知通過所述加速度傳感器部的衝擊事件，通過所述話筒部輸入的衝擊聲音與預先設定存儲的有效聲音相應時，將以發生所述衝擊事件的時點為基準在之前一定時間和之後一定時間期間通過攝像頭部拍攝的影像存儲於所述存儲部。

並且，包括：存儲部，存儲有包括預先設定的有效聲音及無效聲音的驗證聲音。

所述有效聲音為與車輛事故有關的聲音，所述無效聲音為與車輛事故無關的聲音。

所述處理部感知通過所述加速度傳感器部的衝擊事件，通過所述話筒部輸入的衝擊聲音與預先設定存儲的無效聲音相應時，通過所述攝像頭部拍攝的影像不存儲於所述存儲部。

所述處理部如果目前加速度傳感器值與將之前加速度傳感器值平均的平均值的差異大於預先設定的檢測設定值，判定為衝擊事件。

並且，為了達到上述目的，本發明的基於輸入聲音信號的影像存儲方法，包括：(a)傳感器比較步驟，處理部將通過加速度傳感器部輸入的目前的加速度傳感器值與將之前加速度傳感器值平均的平均值的差異，與預先設定的檢測設定值進行比較；(b)聲音比較步驟，所述傳感器比較步驟中，如果目前的加速度傳感器值與所述平均值的差異大於檢測設定值，將通過話筒部輸入的衝擊事件的衝擊聲音與預先設定存儲的驗證聲音進行比較；及(c)影像存儲步驟，所述聲音比較步驟中，如果所述衝擊聲音與所述驗證聲音中的有效聲音匹配時，將以發生所述衝擊事件的時點為基準之前一定時間和之後一定時間期間通過攝像頭部拍攝的影像存儲於存儲部。

所述聲音比較步驟之前，包括：聲音檢測步驟，從輸入聲音區分背景噪音；特徵點提取步驟，除通過所述聲音檢測步驟區分的背景噪音之外的輸入聲音中提取特徵點；及分類步驟，將通過所述特徵點提取步驟提取特徵點的輸入聲音分類為有效聲音和無效聲音，作為驗證聲音存儲。

所述聲音比較步驟，包括：聲音檢測步驟，從所述衝擊聲音區分背景噪音；特徵點提取步驟，從除通過所述聲音檢測步驟區分的背景噪音之外的衝擊聲音中提取特徵點；比較步驟，將通過所述特徵點提取步驟提取的衝擊聲音的特徵點與驗證聲音進行比較；及驗證步驟，通過所述比較步驟驗證衝擊聲音是否為驗證聲音中的有效聲音或無效聲音。

聲音檢測步驟中演算以30ms長度的幀單位形成的輸入聲音及衝擊聲音的對數能源，而區分背景噪音。

在特徵點提取步驟，為了提取除背景噪音之外的輸入聲音及衝擊聲音的特徵點，使用mel頻率倒譜係數。

所述分類步驟中利用高斯混合模型而將提取特徵點的輸入聲音分類為有效聲音和無效聲音。

所述比較步驟中演算提取特徵點的衝擊聲音的最大對數似然值，與驗證聲音進行比較。

(三)有益效果

如以上說明的本發明的基於輸入聲音信號的影像存儲裝置及方法，預先設定根據有效的衝擊事件的有效聲音和根據無效的衝擊事件的無效聲音後，在汽車黑匣子除加速度傳感器值之外被附加輸入由衝擊事件引起的衝擊聲音時，將所述衝擊聲音與有效聲音及無效聲音進行比較，如果與有效聲音匹配時，以發生衝擊事件的時點為基準，存儲之前一定時間的影像和之後一定時間的影像，如果與無效聲音匹配時，不存儲影像，從而，在具有有限的存儲空間的存儲器能夠存儲更多量的影像。

附圖說明

圖1為圖示根據本發明的一實施例的影像存儲裝置的框圖；

圖2為用於說明根據本發明的一實施例的有效聲音及無效聲音設定方法的流程圖；

圖3至圖5為用於說明在根據本發明的一實施例的有效聲音及無效聲音設定方法中聲音檢測的示例圖；

圖6為用於說明根據本發明的一實施例的有效聲音及無效聲音設定方法中特徵點提取的示例圖；

圖7至圖9為用於說明根據本發明的一實施例的有效聲音及無效聲音設定方法中的分類過程的示例圖；

圖10為用於說明根據本發明的一實施例的加速度傳感器值的示例圖；

圖11為用於說明根據本發明的一實施例的影像存儲方法的流程圖；

圖12為用於說明根據本發明的一實施例的影像存儲方法中是否為有效聲音的流程圖。

附圖標記說明

100:處理部 200:話筒部

300:加速度傳感器部 400:前方攝像頭部

500:後方攝像頭部

具體實施方式

以下，為了使得本發明的技術領域的普通技術人員容易地實施本發明，參照附圖詳細說明本發明的優選實施例。

圖1為圖示根據本發明的一實施例的影像存儲裝置的框圖；圖2為用於說明根據本發明的一實施例的有效聲音及無效聲音設定方法的流程圖；圖3至圖5為用於說明在根據本發明的一實施例的有效聲音及無效聲音設定方法中聲音檢測的示例圖；圖6為用於說明根據本發明的一實施例的有效聲音及無效聲音設定方法中特徵點提取的示例圖；圖7至圖9為用於說明根據本發明的一實施例的有效聲音及無效聲音設定方法中的分類過程的示例圖；圖10為用於說明根據本發明的一實施例的加速度傳感器值的示例圖；圖11為用於說明根據本發明的一實施例的影像存儲方法的流程圖；圖12為用於說明根據本發明的一實施例的影像存儲方法中是否為有效聲音的流程圖。

根據本發明的一實施例的基於輸入聲音信號的影像存儲裝置，包括：處理部100、話筒部200，加速度傳感器部300、前方攝像頭部400、後方攝像頭部500、第2存儲部700及揚聲器部800。

向所述話筒部200輸入因衝擊事件發生的衝擊聲音。

所述加速度傳感器部300輸出因衝擊事件發生的加速度傳感器值。

所述前方攝像頭400拍攝車輛的前方的外部影像，所述後方攝像頭500拍攝車輛的後方的外部影像。

本發明的前方攝像頭400支持Full HD級解析度、後方攝像頭500支持HD級解析度。

車輛上除了所述前方攝像頭400及後方攝像頭500之外，還可形成有拍攝向左側及右側的外部影像的攝像頭。

所述攝像頭包括鏡頭模組、圖像傳感器模組、紫外線過濾器模組及圖像信號處理模組(ISP)而形成。

所述第2存儲部700可為SD卡形態的快閃記憶體。

所述第2存儲部700中存儲包括預先設定的有效聲音及無效聲音的驗證聲音。

所述處理部100包括CPU(llO)、視頻編解碼器(Video Codec；130)、SDRAM、LPDDR2、LPDDR3等臨時存儲器形態的第1存儲部150而構成。

所述處理部100感知通過所述加速度傳感器部300的衝擊事件，並且，通過所述話筒部200輸入的衝擊聲音與預先設定而存儲的有效聲音相應時，以發生所述衝擊事件的時點為基準，將之前一定時間和之後一定時間期間通過前方攝像頭400或後方攝像頭500拍攝的影像存儲於所述第2存儲部700。

相反，所述處理部100通過所述加速度傳感器部300感知衝擊事件，並且，通過所述話筒部200輸入的衝擊聲音與預先設定而存儲的無效聲音相應時，通過所述前方攝像頭400或後方攝像頭500拍攝的影像不存儲於所述存儲部。

所述揚聲器部800的作用是在發生衝擊事件時通過音響信號向使用者告知。

所述驗證聲音是預先設定而存儲的，首先，通過話筒等接收輸入的作為驗證聲音使用的聲音S110。

可預先設定將要作為驗證聲音使用的有效聲音及無效聲音，分別輸入。

例如，有效聲音為衝撞聲音、急剎車聲音、尖叫等與車輛事故有關的聲音，無效聲音為車門開閉聲音、車備箱關閉聲音、限速帶通過聲音、通過聲音、坑洞通過聲音、大橋通過聲音、車輛內噪音等與車輛事故無關的聲音。

作為所述驗證聲音使用的有效聲音及無效聲音並非限定於上述的示例，可設定為不同種類。

如圖3所示，作為驗證聲音使用的輸入的聲音以30ms長度的幀單位形成，如果10ms長度的一個幀被消除，則附加10ms長度的一個幀的形態形成。

然後，對於所述幀利用數學式1演算對數能源。

數學式1

在此，E為幀的對數能源，i為幀index，χ為輸入信號，L為幀長度。

然後，如圖4及圖5所示，利用數學式2，區分背景噪音Β和有效聲音及無效聲音的對數能源L。

數學式2

BE(i)＝r·BE(i)+(l-r)E (i)

在此，BE為背景噪音能源、r為增益更新。

然後，如圖6所示，為了提取除背景噪音之外的有效聲音及無效聲音的特徵點P，使用mel頻率倒譜係數(Mel-Frequency Cepstrum Coefficient)S120。

此時，可使用預加重(Pre emphasis)、開窗口(Windowing)、快速傅立葉變換(FFT)，Mel濾波器組(Mel Filter Bank)，對數壓縮(Logarithmic Compression)、離散餘弦變換(DCT)等通常的圖案認知方法。

然後，將提取特徵點的有效聲音及無效聲音利用高斯混合模型(Gaussian mixture model)分別分類為有效聲音和無效聲音S130。

作為參考，圖7為表示混合物6個、1次反覆的分類的示例，圖8為表示混合物6個、300次反覆的分類的示例，圖9為表示混合物10個、300次反覆的分類的示例。

然後，分別存儲以有效聲音和無效聲音分類的輸入聲音，作為驗證聲音使用S140。

如上述地，預先設定驗證聲音而存儲後，所述處理部100接收通過車輛的加速度傳感器部300輸入的目前的加速度傳感器值S210。

如圖10所示，可將坐標設定為向車輛的前方的方向為X，向車輛的側面的方向為Y，向車輛的下部的方向為Z，並且，將向前方的加速度傳感器值設為αχ，向側面的加速度傳感器值設為αy，向下部的加速度傳感器值設為αζ。

並且，對於任意多個αχ的平均，對於任意多個αy的平均，對於任意多個αZ的平均分別存儲為α'x，α'y及α'Z。

然後，如果目前未發生衝擊事件S220，將目前的加速度傳感器值與將以前加速度傳感器值平均的平均值的差異，與預先設定的任意檢測設定值Vth進行比較S230。

例如，如果αχ和α'χ的差異值的絕對值大於檢測設定值Vth，表示向X方向發生了衝擊事件，如果ay和α'y的差異值的絕對值大於檢測設定值Vth，表示向Y方向發生了衝擊事件，如果αZ和α'Z的差異值的絕對值大於檢測設定值Vth，表示向Z方向發生了衝擊事件。

相反，αχ和α'χ的差異值的絕對值小於或等於檢測設定值Vth，ay和a'y的差異值的絕對值小於或等於檢測設定值Vth，或αZ和α'Z的差異值的絕對值大於或等於檢測設定值Vth，為未發生衝擊事件的狀態，各個αx，αy及αZ被用於更新平均值S270。

然後，如果判定為發生了衝擊事件S240，將通過話筒部200輸入的衝擊事件的衝擊聲音與所述驗證聲音進行比較S250。

首先，被輸入由衝擊事件的衝擊聲音時S251，從衝擊聲音區分背景噪音S252，並從區分背景噪音的衝擊聲音提取特徵點S253。

所述S251步驟至S253步驟與上述的S110步驟和S120步驟相同，因此，省略詳細的說明。

然後，將提取特徵點的衝擊聲音與驗證聲音進行比較S254。

可演算提取特徵點的衝擊聲音的最大對數似然(MaximumLog-likelihood)值，與驗證聲音進行比較，然後，驗證所述衝擊聲音是否為驗證聲音中的有效聲音或無效聲音S255。

然後，所述衝擊聲音與所述驗證聲音中的有效聲音匹配時，將以發生所述衝擊事件的時點為基準，之前一定時間和之後一定時間期間通過攝像頭部拍攝的影像存儲於第2存儲部700(S260)。

表1為判定根據加速度值和有效聲音及無效聲音的影像存儲與否的示例。

[表1]

如表1所示，在只使用加速度傳感器的衝擊事件判定附加衝擊聲音比較，從而，只有在輸入有效聲音的情況下，存儲影像。

只使用以往加速度傳感器時，將從車輛的側面發生的加速度變化始終判定為側面衝突，而發生了衝擊事件，但，通過將衝擊聲音與驗證聲音進行比較，能夠分為衝撞音和車門開閉聲音，從而，能夠判定影像的存儲與否。

並且，對於軸的情況也相同地，將衝擊聲音與驗證聲音進行比較，區分為有效聲音和無效聲音，而能夠判定影像的存儲與否。

作為參考，如果χ軸，γ軸的加速度差異為大於Vth值，並αx為負數時，可判定為車輛要急剎車，此時，存儲前方攝像頭影像更具有意義，如果αx為正數，則為從後方發生了衝突，因此，存儲後方攝像頭影像更具有意義。

基於上述的輸入聲音信號而感知衝擊事件的情況相同地，可附加基於輸入影像信號而感知衝擊事件的影像分類部(未圖示)而判定衝擊事件。

例如，如果在影像分類部作為有效影像存儲有物體接近的狀態的影像，將車輛發生的加速度變化與輸入影像信號進行比較，被輸入接近狀態的影像時，將其判斷為衝擊事件並存儲影像。

相反，在未輸入接近狀態的輸入影像的狀態下，車輛發生加速度變化時，判斷為非衝擊事件，不存儲影像。

並且，將根據本發明的步驟S110至步驟S140，步驟S210至270及步驟S251至S255的基於輸入聲音信號的影像存儲方法編成程序，並存儲於CD-ROM，存儲器，ROM，EEPROM等存儲媒介，以便通過電腦讀取。

以上的說明中提示了本發明的優選實施例，但，本發明並非限定於此，本發明的技術領域的普通技術人員在不脫離本發明的技術思想的範圍內可進行各種更換、變形及變更。

工業上的利用性

本發明利用基於輸入聲音信號的影像存儲裝置，在汽車黑匣子除加速度傳感器值之外附加輸入因衝擊事件的預先設定的衝擊聲音時，以發生衝擊事件的時點為基準，存儲之前一定時間的影像和之後一定時間的影像，從而，在具有有限的存儲空間的存儲器存儲更多量的的影像。