機械噪音抑制裝置、機械噪音抑制方法、程序和成像裝置的製作方法

2023-08-05 02:00:41

專利名稱：機械噪音抑制裝置、機械噪音抑制方法、程序和成像裝置的製作方法
技術領域：
該公開涉及機械噪音抑制裝置、機械噪音抑制方法、程序和成像裝置，且更具體地，涉及用於在包括具有聲音的視頻拍攝功能的成像裝置中的視頻拍攝期間在光學變焦時減小諸如馬達噪音的機械噪音的機械噪音抑制裝置等。
背景技術：
近年來，作為數位相機等的成像裝置，提出了成像裝置，其包括除了拍照功能以外的具有聲音的視頻拍攝功能。所描述的類型的成像裝置具有的問題在於，在視頻拍攝期間在光學變焦時的諸如馬達噪音的機械噪音被混合到由麥克風收集的周邊聲音中，導致記錄的聲音的降級。作為移除在聲音信號中混合的噪音的技術，在S.F.Boll的「Suppression of acoustic noise in speech using spectral subtraction,」 IEEE Trans Acoustics, Speech, and Signal Process，27 卷，No 2，113-120 頁，1979 (此後稱為非專利文獻 1)中， 已知且公開了頻譜減法方法。根據這種頻譜減法方法，在非聲音時間段內的頻譜被評估為噪音頻譜，且從輸入聲音頻譜中減去將噪音頻譜乘以預定係數、即通過減法係數而獲得的信號來移除噪音分量。通過評估在非聲音時間段內的頻譜作為噪音頻譜的方法，獨立於周邊聲音而生成的機械噪聲不能被移除作為在具有上述具有聲音的視頻拍攝功能的這種成像裝置中的噪音。因此，在日本專利特開No. 2006-279185(此後稱為專利文獻1)中提出了在視頻拍攝期間在光學變焦時預先保留機械噪音的頻譜，且在變焦操作時從輸入信號的頻譜中減去機械噪音的頻譜，來減小機械噪音。圖37示出具有在專利文獻1中公開的噪音移除功能的聲音記錄裝置的配置。參考圖37，馬達21在光軸方向上移動諸如變焦鏡頭的鏡頭光學系統。馬達驅動部分21a是用於驅動馬達21旋轉的驅動機構。控制部分32接收在按鍵輸入部分36中包括的變焦按鍵等的操作信號，並向馬達驅動部分21a輸出馬達驅動控制信號。另外，控制部分32在具有聲音的視頻拍攝期間，基於馬達21的驅動時序來控制改變部分56。聲音輸入部分51用預定增益來放大通過麥克風輸入到其的聲音信號Sa，並向分幀部分52供應放大的聲音信號Μ。在該例子中，例如，如果在具有聲音的視頻拍攝期間進行變焦操作，則在變焦操作期間生成的馬達噪音、即變焦噪聲與聲音信號& 一起通過聲音輸入部分51被輸入到分幀部分52。分幀部分52以預定時間段的幀的單位來劃分從聲音輸入部分51輸入到其的聲音信號Μ。傅立葉變換部分53將通過分幀部分52以幀為單位劃分的聲音信號Μ傅立葉變換為指示各個頻率的功率的輸入聲音頻譜Sb。在馬達噪音頻譜存儲部分M中，通過頻譜化作為噪音移除的對象的馬達噪音而獲得的馬達噪音頻譜&被存儲作為噪音頻譜。減法部分55基於由傅立葉變換部分53獲得的輸入聲音頻譜Sb和在馬達噪音頻譜存儲部分M中存儲的馬達噪音頻譜&來進行移除噪音分量的處理。具體地，減法部分陽從輸入聲音頻譜Sb中減去通過將在馬達噪音頻譜存儲部分M中預先存儲作為噪音頻譜的馬達噪音頻譜&乘以預定減法係數α而獲得的信號。頻譜改變部分56響應於從控制部分32輸出的選擇信號，進行在從傅立葉變換部分53獲得的輸入聲音頻譜Sb和在從減法部分55獲得的噪聲移除之後的聲音頻譜Sd之間的改變，來向逆傅立葉變換部分57供應輸入聲音頻譜Sb或聲音頻譜Sd。具體地，頻譜改變部分56在噪音移除之後，諸如在變焦操作期間，在驅動馬達21時向逆傅立葉變換部分57 供應聲音頻譜Sd，但在任何其他情況下向逆傅立葉變換部分57供應輸入聲音頻譜Sb。逆傅立葉變換部分57逆傅立葉變換了輸入聲音頻譜Sb或在通過頻譜改變部分56 輸入到其的在噪音移除之後的聲音頻譜S店，來獲得每個幀單位的原始聲音信號％。波形合成部分58合成通過逆傅立葉變換部分57獲得的各個幀單位的聲音信號％，來恢復在時間序列上連續的聲音信號Sf。聲音信號Sf被用於用於記錄的最終聲音信號，且與從成像系統獲得的視頻數據一起被記錄在諸如存儲器的記錄介質中。

發明內容
參考圖38描述了在專利文獻1中使用的頻譜減法方法。輸入信號X(t)通過快速傅立葉變換(FFT)被轉換為頻域的頻譜X(f，τ)。在此，(f, τ)表示第f個頻率的幀τ的頻譜。然後，進行從輸入信號x(t)減去功率譜|X(f，τ) I2減去功率譜|N(f，τ) I2的減法處理，且通過減法處理來獲得功率頻譜Iy(f，τ) |2。要注意，假設預先的噪音模型等，使用輸入信號X(t)通過評估來獲得噪音頻譜N (f，τ)。如果減法的結果呈現負值，則替換適當的值。根據以下表達式(1)來進行所述的減法處理其中，α是被設置為例如在1和2之間的值的固定係數，且β是被設置為在例如 0到0.1之間的值的固定係數。在減法之後，減法的結果的幅度頻譜|Y(f，τ) I乘以輸入信號x(t)的頻譜x(t) 的偏轉角arg{X(f，τ)}，如由以下表達式(2)表示的，以獲得頻譜Y (f，τ )作為減法的結果Y(f, τ) = arg{X(f, τ)} |Y(f, τ ) | ... (2)然後，頻譜Y(f，τ)通過逆快速傅立葉變換(IFFT)被轉換為時域的輸出信號 y(f)。圖39和40圖示頻譜減法。具體地，圖39圖示了其中獲得校正結果的頻譜減法。 輸入信號包括目標聲音分量和真實噪音分量。如果要從輸入信號減去的評估的噪音分量等於真實噪音分量，則輸出信號包括校正目標聲音分量。
另一方面，圖40圖示了其中獲得誤差結果的頻譜減法。輸入信號包括目標聲音分量和真實噪音分量。如果要從輸入信號減去的評估的噪音分量具有來自真實噪音分量的誤差，則輸出信號不包括校正目標聲音分量。在該例子中，發生過度擦除或不足的擦除。在專利文獻1中，使用頻譜減法方法，用於抑制上述機械噪音。但是，在該專利文獻1中，不考慮在輸入信號中包括的真實噪音分量和預先測量的機械噪音之間的誤差。因此，在減法部分55中出現機械噪音的過度擦除或不足擦除，且不能避免聲音質量的降級。大量因素導致在輸入信號中包括的真實噪音分量和預先測量的機械噪音之間的誤差。這些因素可以包括諸如以下(a)在機械裝配位置或螺絲緊固力中的差異(b)通過機械驅動來磨損或隨時間地變更部件(c)溫度變化(d)姿勢的變化(保持相機的方式或角度)(e)用於驅動相機變焦的馬達圖41圖示了由具有擁有聲音的視頻拍攝功能的三個成像裝置、包括組A、另一組B 和另一組C記錄的變焦噪音、即機械噪音的頻譜。如從圖41所示，變焦噪音或機械噪音的平的特徵彼此很不同。因此，例如，如果在組B中，在專利文獻1中的減法部分55使用由組A 產生的噪音頻譜進行減法處理，則機械噪音的過度擦除或不足擦除隨減法部分55而發生， 導致聲音質量降級。以此方式，使用頻譜減法方法的機械噪音抑制不能足夠地應對機械噪音的偏差 (dispersion)。在此，為了便於描述，變換頻譜減法的表達式。具體地，前述描述旨在頻譜的減法、即「減法方法」，新介紹「乘法類型」的機構。以下表達式(3)是以上給出的表達式(2)的變換形式，其中，變換了右側
權利要求
1.一種機械噪音抑制裝置，包括分幀部分，適用於將輸入信號劃分為預定時間長度的幀；傅立葉變換部分，適用於將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用於基於機械噪音的頻譜信息來校正由所述傅立葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；逆傅立葉變換部分，適用於將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用於進行由所述逆傅立葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號； 所述機械噪音減小部分，包括功率比計算部分，適用於基於由所述傅立葉變換部分獲得的輸入信號的頻譜和機械噪音的頻譜信息對每個頻率計算在輸入信號的頻譜和機械噪音的頻譜之間的功率比，增益讀出部分，適用於對每個頻率、從增益函數表讀出對應於由所述功率比計算部分計算的功率比的增益，在該增益函數表中，存儲了對應於功率比的各種值的增益的設置值， 以及頻譜校正部分，適用於對每個頻率、將由所述傅立葉變換部分獲得的輸入信號的頻譜乘以由所述增益讀出部分讀出的增益來獲得校正後的頻譜。
2.根據權利要求1的機械噪音抑制裝置，其中，當功率比處於OdB附近時，在所述增益函數表中存儲的增益的設置值的每個都低，且隨功率比從OdB附近增大而平滑地增大，以便其坡度不會變得不連續。
3.根據權利要求2的機械噪音抑制裝置，其中，隨功率比從OdB附近降級，在所述增益函數表中存儲的增益的設置值的每個平滑地增大，以便其坡度不會變得不連續。
4.根據權利要求1的機械噪音抑制裝置，還包括頻譜信息改變部分，適用於基於關於輸入信號的信息來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息。
5.根據權利要求1的機械噪音抑制裝置，其中，所述機械噪音與成像裝置的具體成像操作相關聯地出現，該成像裝置具有周邊聲音記錄功能。
6.一種機械噪音抑制方法，包括分幀步驟，將輸入信號劃分為預定時間長度的幀；傅立葉變換步驟，通過傅立葉變換將由所述分幀步驟獲得的被分幀的信號變換為頻域的頻譜；機械噪音減少步驟，基於機械噪音的頻譜信息來校正由所述傅立葉變換步驟獲得的輸入信號的頻譜以抑制機械噪音；逆傅立葉變換步驟，通過逆傅立葉變換將由所述機械噪音減小步驟校正的頻譜返回為時域的被分幀的信號；以及幀合成步驟，進行由所述逆傅立葉變換步驟獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號； 所述機械噪音減小步驟，包括功率比計算步驟，基於由所述傅立葉變換步驟獲得的輸入信號的頻譜和機械噪音的頻譜信息對每個頻率計算在輸入信號的頻譜和機械噪音的頻譜之間的功率比，增益讀出步驟，對每個頻率、從增益函數表讀出對應於由所述功率比計算步驟計算的功率比的增益，在該增益函數表中，存儲了對應於功率比的各種值的增益的設置值，以及頻譜校正步驟，對每個頻率、將由所述傅立葉變換步驟獲得的輸入信號的頻譜乘以由所述增益讀出步驟讀出的增益來獲得校正後的頻譜。
7.一種用於使得計算機用作如下的程序 分幀部分，適用於將輸入信號劃分為預定時間長度的幀；傅立葉變換部分，適用於將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用於基於機械噪音的頻譜信息來校正由所述傅立葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；逆傅立葉變換部分，適用於將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用於進行由所述逆傅立葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號； 所述機械噪音減小部分，包括功率比計算部分，適用於基於由所述傅立葉變換部分獲得的輸入信號的頻譜和機械噪音的頻譜信息對每個頻率計算在輸入信號的頻譜和機械噪音的頻譜之間的功率比，增益讀出部分，適用於對每個頻率、從增益函數表讀出對應於由所述功率比計算部分計算的功率比的增益，在該增益函數表中，存儲了對應於功率比的各種值的增益的設置值， 以及頻譜校正部分，適用於對每個頻率、將由所述傅立葉變換部分獲得的輸入信號的頻譜乘以由所述增益讀出部分讀出的增益來獲得校正後的頻譜。
8.一種成像裝置，包括機械噪音生成源，其與具體成像操作相關聯地生成機械噪音，且該成像裝置具有周邊聲音記錄功能，包括分幀部分，適用於將由麥克風通過聲音收集獲得的周邊聲音的輸入信號劃分為預定時間長度的幀；傅立葉變換部分，適用於將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用於基於機械噪音的頻譜信息來校正由所述傅立葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；逆傅立葉變換部分，適用於將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；幀合成部分，適用於進行由所述逆傅立葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號；以及記錄部分，適用於記錄由所述幀合成部分獲得的輸出信號； 所述機械噪音減小部分，包括功率比計算部分，適用於基於由所述傅立葉變換部分獲得的輸入信號的頻譜和機械噪音的頻譜信息對每個頻率計算在輸入信號的頻譜和機械噪音的頻譜之間的功率比，增益讀出部分，適用於對每個頻率、從增益函數表讀出對應於由所述功率比計算部分計算的功率比的增益，在該增益函數表中，存儲了對應於功率比的各種值的增益的設置值， 以及頻譜校正部分，適用於對每個頻率、將由所述傅立葉變換部分獲得的輸入信號的頻譜乘以由所述增益讀出部分讀出的增益來獲得校正後的頻譜。
9.一種機械噪音抑制裝置，包括分幀部分，適用於將輸入信號劃分為預定時間長度的幀；傅立葉變換部分，適用於將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜；機械噪音減少部分，適用於基於機械噪音的頻譜信息來校正由所述傅立葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；頻譜信息改變部分，適用於基於關於輸入信號的信息來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息；逆傅立葉變換部分，適用於將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用於進行由所述逆傅立葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號。
10.根據權利要求9的機械噪音抑制裝置，其中，所述頻譜信息改變部分基於關於輸入信號的信息來校正在噪音表中存儲的機械噪音的頻譜信息，來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息。
11.根據權利要求10的機械噪音抑制裝置，其中，所述頻譜信息改變部分基於關於輸入信號的信息來計算代表周邊聲音的特徵量的參數，基於計算的參數來獲取校正稀疏，且將在噪音表中存儲的機械噪音的頻譜信息乘以所獲取的校正稀疏來校正機械噪音的頻譜 fn息ο
12.根據權利要求11的機械噪音抑制裝置，其中，代表特徵量的參數是代表輸入信號的頻譜的頻譜包絡的線性預測係數，以及所述頻譜信息改變部分基於代表頻譜包絡的線性預測係數來獲取每個頻率的校正係數，以便其值在對應的關係中降級到頻譜包絡的峰值部分，且對每個頻率、將機械噪音的頻譜信息乘以所獲取的校正係數來校正機械噪音的頻譜信息。
13.根據權利要求11的機械噪音抑制裝置，其中，特徵量參數是輸入信號的平均功率，以及所述頻譜信息改變部分基於輸入信號的平均功率來獲取不同頻率公共的校正係數，以便其值當平均功率高時低，且將每個頻率的機械噪聲的頻譜信息乘以所獲取的校正係數來校正機械噪音的頻譜信息。
14.根據權利要求9的機械噪音抑制裝置，還包括多個噪音表，其在輸入信號的平均功率彼此不同的情況下使用的存儲機械噪音的頻譜信息，且其中所述頻譜信息改變部分基於輸入信號的平均功率來改變噪音表來改變要由所述機械聲音減小部分使用的機械噪音的頻譜信息，從該噪音表中，要讀取機械噪音的頻譜信息。
15.根據權利要求9的機械噪音抑制裝置，其中，所述機械噪音與成像裝置中的具體成像操作相關聯地生成，該成像裝置具有周邊聲音記錄功能。
16.一種機械噪音抑制方法，包括分幀步驟，將輸入信號劃分為預定時間長度的幀；傅立葉變換步驟，通過傅立葉變換將由所述分幀步驟獲得的被分幀的信號變換為頻域的頻譜；機械噪音減少步驟，基於機械噪音的頻譜信息來校正由所述傅立葉變換步驟獲得的輸入信號的頻譜以抑制機械噪音；頻譜信息改變步驟，基於關於輸入信號的信息來改變要在所述機械噪音減小部分步驟中使用的機械噪音的頻譜信息；逆傅立葉變換步驟，通過逆傅立葉變換將在所述機械噪音減小步驟中校正的頻譜返回為時域的被分幀的信號；以及幀合成步驟，進行由所述逆傅立葉變換步驟獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號。
17.一種用於使得計算機用作如下的程序分幀部分，適用於將輸入信號劃分為預定時間長度的幀；傅立葉變換部分，適用於將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用於基於機械噪音的頻譜信息來校正由所述傅立葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；頻譜信息改變部分，適用於基於關於輸入信號的信息來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息；逆傅立葉變換部分，適用於將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用於進行由所述逆傅立葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號。
18.—種成像裝置，包括機械噪音生成源，其與具體成像操作相關聯地生成機械噪音， 且該成像裝置具有周邊聲音記錄功能，包括分幀部分，適用於將由麥克風通過聲音收集獲得的周邊聲音的輸入信號劃分為預定時間長度的幀；傅立葉變換部分，適用於將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜； 機械噪音減少部分，適用於基於機械噪音的頻譜信息來校正由所述傅立葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；頻譜信息改變部分，適用於基於關於輸入信號的信息來改變要由所述機械噪音減小部分使用的機械噪音的頻譜信息；逆傅立葉變換部分，適用於將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；幀合成部分，適用於進行由所述逆傅立葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號；以及記錄部分，適用於記錄由所述幀合成部分獲得的輸出信號。
全文摘要
一種機械噪音抑制裝置、機械噪音抑制方法、程序和成像裝置，包括分幀部分，適用於將輸入信號劃分為預定時間長度的幀；傅立葉變換部分，適用於將由所述分幀部分獲得的被分幀的信號變換為頻域的頻譜；機械噪音減少部分，適用於基於機械噪音的頻譜信息來校正由所述傅立葉變換部分獲得的輸入信號的頻譜以抑制機械噪音；逆傅立葉變換部分，適用於將由所述機械噪音減小部分校正的頻譜返回為時域的被分幀的信號；以及幀合成部分，適用於進行由所述逆傅立葉變換部分獲得的幀的被分幀的信號的幀合成，以獲得其中抑制了機械噪音的輸出信號。
文檔編號H04N5/225GK102347029SQ201110207319
公開日2012年2月8日 申請日期2011年7月22日 優先權日2010年7月30日
發明者關矢俊之, 大迫慶一, 安部素嗣, 熊倉俊之 申請人:索尼公司