一種泛音生成方法、裝置，及聲音增強方法及裝置的製作方法

2023-12-01 06:52:36

專利名稱：一種泛音生成方法、裝置，及聲音增強方法及裝置的製作方法
技術領域：
本發明涉及利用傅立葉變換的泛音生成方法及裝置、通過降低採樣率的泛音生成方法及裝置、聲音增強方法及裝置，尤其，利用傅立葉變換代替具有較高的複雜度、具有較難實現的高精密度的多通帶濾波器，增強低音，通過降低採樣率及幀重複增強高音。
背景技術：
隨著信號處理技術及相關裝置的飛躍性發展，為了追求更具立體感的聲音，多種信號處理方法被開發出。尤其，為了給用戶提供根據現實感並接近於原音的聲音，最近提供著多種低頻及高頻聲音增強方法。
像低價位耳機之類的聲音播放系統，與中高頻帶聲音信號相比，低頻帶聲音信號明顯減衰。為解決此問題，現有的低音增強裝置利用均衡器(equalizer)增強聲音信號中的低頻帶成分。但是，當直接增強低頻帶成分時，為防止削波(clipping)需要削弱(attenuate)信號的大小並會存在對聲音信號的動態範圍(dynamic range)減少等問題。
最近開發的低頻及高頻聲音增強方法大部分採用將具有基本頻率成分的聲音信號輸入到非線性系統並生成泛音信號的方法。這是根據已公知的缺少的基波理論(theory of the missing fundamental)。根據該理論，以基波的泛音(harmonics)信號取代具有基波(fundamental frequency)的聲音信號的話，聽取者察覺不到音調(pitch)的差異。
但是，為生成泛音信號，就得利用非線性系統，非線性系統由於不遵循重疊的原理，如果輸入具有兩個以上的頻率成分的聲音信號，就會生成互調成分(inter-modulation component)並發生互調失真(inter-modulationdistortion)。
現有的聲音增強裝置為防止互調成分的生成，在聲音信號輸入到非線性系統之前，通過具有較高精密度的多通帶濾波器(multi-band filter of finegranularity)過濾聲音信號生成分割(segment)為窄帶(narrowband)的信號。
但是，現有的具有較高精密度的多通帶濾波器的聲音增強裝置具有很高的複雜度(high-complexity)並且存在較難實現的問題。

發明內容
本發明的目的在於提供利用傅立葉變換及正弦波生成代替具有較高精密度的多通帶濾波器，具有較低複雜度並容易實現的低音增強用泛音生成方法及裝置。
本發明另一目的在於提供利用傅立葉變換及正弦波生成代替具有較高精密度的多通帶濾波器，具有較低複雜度並容易實現的高音增強用泛音生成方法及裝置。
本發明另一目的在於提供利用上述低音增強用泛音生成裝置和高音增強用泛音生成裝置，提供更具立體感的聲音的聲音增強裝置。
為實現上述目的的本發明的利用傅立葉變換的泛音生成裝置包括對輸入的聲音信號進行傅立葉變換(fourier transform)，輸出對上述聲音信號的任意頻率成分的傅立葉係數值的傅立葉變換部；生成具有與上述傅立葉係數值相應的大小和頻率的正弦波信號的正弦波生成部；生成上述正弦波信號的泛音信號的泛音生成部。
為實現上述目的的本發明的利用傅立葉變換的泛音生成方法包括對輸入的聲音信號進行傅立葉變換並計算出對上述聲音信號的任意頻率成分的傅立葉係數值的傅立葉變換執行步驟；生成具有與上述算出的各傅立葉係數值相應的大小和頻率的正弦波信號的正弦波生成步驟；生成上述正弦波信號的泛音信號的泛音生成步驟。
為實現上述目的的本發明中的通過降低採樣率的泛音生成裝置包括對輸入的聲音信號以預先設置的幀大小，以預先設置的倍數降低採樣率(downsampling)，生成上述聲音信號的泛音信號的降低採樣率部；對上述生成的泛音信號進行幀重複處理(frame repetition processing)，對上述泛音信號進行插值的幀重複部。
為實現上述目的的本發明的通過降低採樣率的泛音生成方法包括對輸入的聲音信號以預先設置的幀大小，以預先設置的倍數降低採樣率(downsampling)，生成上述聲音信號的泛音信號的降低採樣率步驟；對上述生成的泛音信號進行幀重複處理，對上述泛音信號進行插值的幀重複步驟。
為實現上述目的的本發明的聲音增強裝置包括對輸入的聲音信號進行傅立葉變換(fourier transform)，輸出對上述聲音信號的任意頻率成分的傅立葉係數值的傅立葉變換部；生成具有與上述傅立葉係數值相應的大小和頻率的正弦波信號，生成上述正弦波信號的泛音信號並輸出的低頻帶增強部；對輸入的聲音信號進行高通濾波，以預先設置的幀大小，以預先設置的倍數降低採樣率(down sampling)，生成上述聲音信號的泛音信號，對上述生成的泛音信號進行幀重複處理(frame repetition processing)，從而對上述泛音信號進行插值，並輸出上述生成的高頻增強信號的高頻帶增強部；對上述低頻增強信號、上述高頻增強信號及上述聲音信號的傅立葉係數值，進行能夠反映聲音從音源傳播到聽取者的途中發生的上述泛音信號的變化的HRTF處理，輸出合算的信號的頭部相關轉換函數(HRTFhead related transfer function)部。
為實現上述目的的本發明的聲音增強方法包括對輸入的聲音信號進行傅立葉變換(fourier transform)，輸出對上述聲音信號的任意頻率成分的傅立葉係數值的傅立葉變換步驟；生成具有與上述傅立葉係數值相應的大小和頻率的正弦波信號的第一低頻帶增強步驟；生成上述正弦波信號的泛音信號並輸出的第二低頻帶增強步驟；對輸入的聲音信號進行高通濾波的第一高頻帶增強步驟；以預先設置的幀大小，以預先設置的倍數降低採樣率(down sampling)，生成上述聲音信號的泛音信號的第二高頻帶增強步驟；對上述生成的泛音信號進行幀重複處理(frame repetition processing)，從而對上述泛音信號進行插值，輸出上述生成的高頻增強信號的第三高頻帶增強步驟；對上述低頻增強信號、上述高頻增強信號及上述聲音信號的傅立葉係數值，進行能夠反映聲音從音源傳播到聽取者的途中發生的上述泛音信號的變化的HRTF處理，輸出合算的信號的HRTF處理步驟。


圖1是根據本發明一實施例的低音增強用泛音生成裝置的方框圖；圖2是根據本發明另一實施例的低音增強用泛音生成裝置的方框圖；圖3是根據本發明另一實施例的低音增強用泛音生成裝置的方框圖；圖4是根據本發明一實施例的高音增強用泛音生成裝置的方框圖；圖5是根據本發明一實施例的聲音增強裝置的方框圖；圖6是根據本發明一實施例的HRTF部的結構方框圖；圖7是根據本發明一實施例的泛音生成部的輸入輸出曲線圖；圖8是高音增強用泛音生成裝置的輸入輸出的聲音信號頻譜分析圖；圖9是根據本發明一實施例的低音增強用泛音生成方法的順序圖；圖10是根據本發明另一實施例的低音增強用泛音生成方法的順序圖；圖11是根據本發明另一實施例的低音增強用泛音生成方法的順序圖；圖12是根據本發明一實施例的高音增強用泛音生成方法的順序圖。
附圖主要符號說明100低音增強用泛音生成裝置110，210，310定相部120，320FFT部125低通濾波器130正弦波生成部 135集合部140泛音生成部150帶通濾波部160，270，350HRTF部 170，360合算部200高音增強用泛音生成裝置220第1帶通濾波器230降低採樣率部 240幀重複部
250平滑部260第2帶通濾波器330低頻帶增強部 340高頻帶增強部351低頻帶部 352高頻帶部353主信號部 400揚聲器具體實施方式
以下，參照附圖詳細說明本發明較佳實施例。
輸入本發明中的裝置的聲音信號為連續信號(continuous signal)以預先設置的頻率採樣的離散信號(discrete signal)。
圖1是根據本發明一實施例的低音增強用泛音生成裝置的方框圖。
如圖1所示，本發明一實施例的低音增強用泛音生成裝置100包括定相(phasing)部110，快速傅立葉變換(FFTfast fourier transform)部120，正弦波生成部130；泛音生成部140，帶通濾波部150；HRTF部160及合算部170。
上述定相部110通過左右信道接收多信道聲音信號，例如立體聲信號的輸入，為降低各信道聲音信號間的相關性(correlation)，對輸入的上述立體聲信號進行定相併通過上述左右信道向上述FFT部120。
如果對立體聲信號進行定相，降低各信道的聲音信號之間的相關性，能夠通過兩個揚聲器向聽取者提供更具立體感(specious)的聲音。
上述進行定相的聲音信號可用下述數學試1表示。
數學式1公式1)L2＝L1-aR1公式2)R2＝R1-aL1在此，L1及R1表示左右信道輸入的立體聲信號，L2及R2表示左右信道輸出的立體聲信號，a表示定相係數。
除上述定相方法之外，也有其他的公知的定相方法可實現本發明，上述定相方法為公知的技術，因此以下省略其說明。
上述FFT部120通過上述左右信道從上述定相部110接收上述進行定相的聲音信號，對上述各信道的聲音信號進行傅立葉變換，例如作為離散傅立葉變換(DFT)的高速傅立葉變換，向上述正弦波生成部130輸出上述聲音信號的任意頻率成分的傅立葉係數值，上述任意頻率成分最好是低頻成分。
一般來說，音樂聲音信號具有OKHz至22KHz的頻帶。為了採樣上述音樂聲音信號不發生混淆現象(aliasing)，以奈奎斯特(Nyquist)頻率44KHz以上的頻率採樣。當利用以44KHz對上述音樂聲音信號採樣的1024個樣本執行FFT時，由上述FFT算出的1024個傅立葉係數之間的頻率間隔為約40Hz。因此，上述低波段，如0Hz至300Hz波段頻率成分的傅立葉係數成為首7個傅立葉係數。
上述輸入的聲音信號的每1024樣本算出7個傅立葉係數，即一組傅立葉係數，1024個聲音信號樣本中剩下的1023個聲音信號樣本的傅立葉係數組可利用平滑函數(smoothing function)算出或插值(interplate)。上述平滑函數可使用線性平滑函數。例如利用1024個聲音信號樣本算出的一組的傅立葉係數和利用其次1024個聲音信號樣本算出的其次組的傅立葉係數中，將相同頻率成分的傅立葉係數以直線連接，可求出剩下的1023個聲音信號樣本的傅立葉係數組。但是，隨著上述輸入的聲音信號的低頻成分增加，當然為插值上述傅立葉係數可以使用強調低頻成分的許多非線性平滑函數。根據上述平滑函數，對上述正弦波生成部130生成的正弦波函數進行振幅調製(amplitude modulation)。
上述FFT部120通過各不同的7個信道將上述每次聲音信號樣本的上述7個傅立葉係數值向正弦波生成部130輸出。
上述FFT部120可採用每40Hz具有通帶(pass band)，阻帶(stop band)的頂點(peak)值大小為13dB的多通帶濾波器(multi band filter)。即，上述FFT部120可包括，上述執行多通帶濾波的多通帶濾波器(未圖示)，和從上述帶通濾波器每1024個聲音信號樣本接收7個傅立葉係數的傳遞，插值剩下的各1023聲音信號樣本的各7個傅立葉係數，並向上述正弦波生成部130輸出的平滑函數部(未圖示)。
上述正弦波生成部130通過上述各7個信道從上述FFT部120接收上述各7個傅立葉係數值，生成具有與上述各傅立葉係數值相應大小的頻率的7個正弦波信號，通過各7個信道向上述泛音生成部140輸出。
由上述正弦波生成部130生成的正弦波信號可通過下述數學式2表示。
數學式2lf(k,n)=a(k,n)sin(2knN)+b(k,n)cos(2knN)]]>在此，k是頻率索引，n是時間索引，N是樣本數，a(k，n)是根據平滑函數生成的第k個FFT係數的實數部，b(k，n)是由平滑函數生成的第k個FFT係數的虛數部，lf(k，n)是第n個時間索引中對第k個頻率索引的正弦波生成部130的輸出。
上述泛音生成部140通過上述各7個信道從上述正弦波生成部130接收上述各7個正弦波信號，生成上述各7個正弦波信號的泛音信號，通過各獨立的7個信道向上述帶通濾波部150。
上述泛音生成部140為非線性系統，例如，具有圖7所示的輸入輸出特性的非對稱軟壓縮系統(asymmetrical soft compression system)。上述非線性軟壓縮系統與其他非線性系統相比，生成相對較少的高頻帶的泛音信號，並發生相對較少的互調失真。
上述帶通濾波部150通過上述各7個信道從上述泛音生成部140接收泛音信號的輸入，對上述各信道的泛音信號進行帶通濾波，只輸出上述各信道泛音信號中以預先設置的倍數，例如第一及第二倍數的泛音信號(first and secondharmonics signals)，通過各分離的7各信道向上述HRTF部160輸出。
上述HRTF部160通過上述各7個信道進行上述帶通濾波的泛音信號的輸入，對上述各信道的泛音信號進行能夠反映聲音從音源傳播到聽取者的途中發生的上述泛音信號的變化的HRTF處理，並向上述合算部170輸入。
如果仔細說明，如圖6所示，上述HRTF部160由時間遲延部及減衰部構成，上述時間遲延部及減衰部反映，按上述各信道，上述泛音信號的頻率成分通過空間傳播時發生的信號的時間遲延及減衰。尤其是，上述HRTF部160除上述聽取者的相互聽覺強度差異(inter-aural intensity difference，IID)或相互聽覺時間遲延差異(inter-aural time difference，ITD)之外，還反映根據音源的位置而不同的許多因子。上述特性根據信號的頻率其特性不同，上述HRTF部160按上述各信道類別，根據各泛音信號的頻率成分具有不同遲延係數N和減衰係數S1及S2。
圖6所示，上述立體泛音信號的左側輸入信道，即L1為左側聲音輸出部，例如意味著左側揚聲器輸出的泛音信號，上述立體泛音信號的右側輸出信道，即R1為右側聲音輸出部，例如意味著右側揚聲器輸出的泛音信號。上述S1表示信號從上述聲音輸出部直線傳播到聽取者時發生的信號的減衰，上述S2表示信號從上述聲音輸出部對角線傳播到上述聽取者時發生的信號的減衰。即，上述S1及S2反映上述IID。另外，上述遲延係數N反映ITD，即與信號直線傳播給聽取者相比的對角線傳播時發生的時間遲延。
對上述各泛音信號所屬的頻帶的HRTF的平均增益(average gain)設置為上述S1及S2，對上述各泛音信號所屬頻帶的上述HRTF的遲延時間設置為上述N。
上述合算部170合算從上述HRTF部160輸入的上述經過HRTF處理的各信道泛音信號並輸出。
一般來說，泛音是將低通濾波的信號輸入到非線性系統而生成。非線性系統不適用重疊原理(law of superposition)，如果輸入具有許多頻率成分的信號，生成互調成分，進而在生成的信號中會有不在預料中的頻率信號加進去，發生互調失真。例如，當非線性系統半波整流器(half-wave rectifier)輸入包括DC成分的信號時，生成的泛音的總能量依賴於DC的能量級別，最壞的時候，不生成任何泛音。
為最小化上述互調成分的生成，將輸入到上述非線性系統的信號分割成窄帶信號後，將各分割的信號輸入到非線性系統。為此，可使用具有較精細的頻率特性的多通帶濾波器，但這種多通帶濾波器具有較高的複雜度，而且較難實現。
上述低音增強用泛音生成裝置100採用執行傅立葉變換的上述FFT120和利用傅立葉係數生成正弦波信號的上述正弦波生成部130來代替具有上述精細的頻率特性的多通帶濾波器，提供具有相對較低複雜度並更容易實現的泛音生成裝置。
上述低音增強用泛音生成裝置100可用於生成高頻成分的泛音信號，但最好是用於生成低頻成分的泛音信號。因為，用於低音增強的低頻帶具有0Hz至300Hz的300Hz大小，相反用於高音增強的高頻帶具有12KHz至22KHz的10KHz大小。為了對具有10KHz大小的波段全部進行增強處理，如果採用上述增強用泛音裝置100，需要採用比上述7個傅立葉係數更多的傅立葉係數，並需要按各個傅立葉係數使用不同的信道。因此，如果為了增強高音而要實現上述泛音生成裝置100，需要使用具有相當高的運算處理能力的裝置。
圖2是根據本發明另一實施例的低音增強用泛音生成裝置的方框圖。
根據該實施例的低音增強用泛音生成裝置100大體上與圖1的低音增強用泛音生成裝置100，因此會以區別點為重點進行說明，相同的附圖標記表示相同的結構。
如圖2所示，本發明另一實施例的低音增強用泛音生成裝置100包括，定相部110，FFT部120，正弦波生成部130，集合部135，泛音生成部140，帶通濾波部150，HRTF部160及合算部170。
如圖1所示的FFT部120，上述FFT部120通過上述左右信道從上述定相部110接收上述定相的聲音信號，對各信道的聲音信號進行FFT，算出對上述聲音信號的低頻帶成分的7個傅立葉係數值後，通過各獨立的7個信道將上述7個傅立葉係數值向上述正弦波生成部130輸出。
上述正弦波生成部130通過各獨立的7個信道將具有上述各傅立葉係數值相應的大小和頻率的正弦波信號向上述集合部135輸出。
上述集合部135通過上述各信道從上述正弦波生成部130接收上述生成的正弦波信號，將各正弦波信號中的一部分信道的正弦波信號合成為一個信號，通過一個信道向上述泛音生成部140輸出，其餘信道的信號還是通過各信道向上述泛音生成部140。
在上述集合部135中，將通過兩個以上的信道輸出的正弦波信號合成為一個信道輸出的理由是，減少上述信道的數量，並減少上述泛音生成裝置100的演算量。但是，當減少上述信道的個數並輸入到上述泛音生成裝置100時，由上述合成的信道生成的泛音信號中包含較多的互調成分，因此發生較大的互調失真現象。
人們感覺聲音信號時，分割成特定頻帶類別並感知，在上述特定頻帶內，即使存在根據泛音信號生成的互調成分，無法敏銳的感知到。因此，當按照上述特定頻帶合成上述信道並生成上述泛音信號時，可實現演算量相對較少並聽取者無法識別互調失真的差異的低音增強用泛音生成裝置100。
圖3是根據本發明另一實施例的低音增強用泛音生成裝置的方框圖。
根據本實施例的低音增強用泛音生成裝置100大體上與圖1的低音增強用泛音生成裝置100相同，因此會著重說明區別點，相同附圖標記表示相同的結構。
如圖3所示，本發明另一實施例的低音增強用泛音生成裝置包括，定相部110，FFT部，低通濾波器125，正弦波生成部130，泛音生成部140，帶通濾波部150，HRTF部160及合算部170。
上述低通濾波器125通過上述左右信道從上述定相部110接收上述定相的信號，對上述各信道的聲音信號進行低通濾波，只輸出預先設置的超低頻信號(sub-bass frequency signal)，通過上述各左右信道向上述泛音生成部140輸出。上述低通濾波器125最好是無限脈衝相應(IIRinfinite impulse response)濾波器。
如圖1所示的FTT部120，上述FFT部120通過左右信道從上述定相部110接收上述定相的聲音信號，對上述各信道的聲音信號進行FFT，算出對上述聲音信號的低頻成分的7個傅立葉係數值。之後，上述FFT部120通過各獨立的信道將不屬於上述超低頻帶的中低頻成分(mid-bass frequency components)的傅立葉係數輸出到上述正弦波生成部130。
上述正弦波生成部130通過上述各獨立的信道從上述FFT部120接收傅立葉係數值，生成具有上述各傅立葉係數值相應的大小及頻率的正弦波信號，通過各獨立的信道輸出到上述泛音生成部140。
上述泛音生成部140通過一個信道從上述低通濾波器125接收上述通過左右信道進行低通濾波的聲音信號，並生成上述輸入的聲音信號的頻率成分的泛音信號並通過一個信道輸出到上述帶通濾波部150。另外，上述泛音生成部140通過上述各信道從上述正弦波生成部130接收上述正弦波信號，生成對上述各信道的正弦波信號的泛音信號，通過各獨立的信道輸出到上述帶通濾波部150。
上述低音增強用泛音生成裝置100與如圖1所示的泛音生成裝置100不同，對屬於超低頻帶的頻率成分不執行傅立葉變換、獨立生成泛音信號，通過一個信道輸入到上述泛音生成部140並生成泛音信號。相反，對屬於中低頻帶的頻率成分，如同圖1所示的泛音生成裝置100，將利用傅立葉變換生成的正弦波信號輸入到上述泛音生成部140，生成泛音信號。
通常認為，超低頻帶的頻率成分對人類的耳朵來說是感覺而不是聽。即，當聲音信號屬於超低頻帶時，聽取者無法像屬於中低頻帶的頻率成分那樣敏銳地感知到。因此，可實現一種低音增強用泛音生成裝置100，其對聲音信號進行低通濾波並求出超低頻帶的頻率成分後，通過一個信道生成泛音信號，因此演算量相對較少，聽取者無法感覺到互調失真的差異。
圖4是根據本發明一實施例的高音增強用泛音生成裝置的方框圖。
如圖4所示，本發明一實施例的高音增強用泛音生成裝置200包括定相部210，第一帶通濾波器220，降低採樣率部230，幀重複部240，平滑部250，第二帶同濾波器260及HRTF部270。
上述定相部210通過左右信道接收多信道聲音信號，例如，立體聲信號的輸入，為降低各信道聲音信號之間的相關性，對輸入的上述立體聲信號進行定相，通過上述左右信道輸出到上述第一帶通濾波器220。上述定相部210執行與圖1至圖3所示的定相部110相同的功能及動作，因此，以下省略其詳細說明。
上述第一帶通濾波器220從上述定相部210接收上述進行定相的聲音信號，對上述聲音信號進行帶通濾波，只輸出預先設置的通帶，例如6KHz至11KHz波段的頻率成分，輸出到上述降低採樣率部230。上述低1帶通濾波器220的通帶的最小及最高頻率最好是將欲輸出的泛音信號所屬的頻帶的最小及最高頻率值除以上述降低採樣率部230的降低採樣率倍數的值，其理由如下述說明。
上述降低採樣率部230對從上述第一帶通濾波器220輸入的聲音信號以預先設置的幀大小、預先設置的倍數進行降低採樣率，例如採用1024個樣本或採用2倍，生成上述輸入的聲音信號的泛音信號後輸出到上述幀重複部240。
上述降低採樣率部230的輸入聲音信號為X(z)，降低採樣率的聲音信號為Y(z)時，上述降低採樣率的聲音信號根據下述數學式3定義。
數學式3Y(z)=n=CM-1X(z1Me-j2nM)]]>其中，X(z)是輸入信號，Y(z)是降低採樣率的聲音信號，z是z區域變數，n是樣本個數，M是下降採樣率倍數。
即，上述降低採樣率部230在上述輸入的聲音信號的每2048個樣本中，只採樣首1024個樣本，將其餘1024個樣本拋棄。上述降低採樣率的聲音信號包括泛音信號，該泛音信號具有比包含在上述輸入的聲音信號的頻率成分高上述降低採樣率倍數，例如2倍的頻率。
因此，當要通過上述高音增強用泛音生成裝置200生成12KHz至22KHz的泛音信號時，上述第一帶通濾波器220最好具有6KHz至11KHz的帶通。
當對聲音信號進行降低採樣率並生成泛音信號時，與採樣其他非線性系統生成泛音信號的情況不同，能夠生成沒有互調成分、沒有互調失真的較佳的泛音信號。
上述幀重複部240從上述降低採樣率部230接收上述降低採樣的泛音信號，對上述生成的泛音信號執行幀重複處理，插值上述泛音信號後輸出到上述平滑部250。
即，上述幀重複部240在上述輸入的泛音信號中，用採樣的之前幀的聲音信號樣本填補由於上述降低採樣率而發生的幀大小般的空白部分。例如，在上述輸入的聲音信號的每2048樣本中，用採樣的首1024個樣本填補由上述降低採樣率部230拋棄的剩餘空白部分。
上述平滑部250從上述幀重複部240接收增強的聲音信號的輸入，對上述插值的泛音信號執行平滑處理並輸出，該平滑處理就是平滑上述泛音信號中幀重複的部分，即幀邊界(frame edge boundary)。
其目的在於防止在上述幀重複的部分發生信號的急劇的變化，輸出更加自然的聲音信號。上述平滑部250將每個幀的最後樣本和其次幀的第一及第二樣本的平均值設置為其次幀的第一次樣本的聲音信號值。
當執行上述幀重複處理時，由於幀邊界會生成不需要的頻率成分。使用幀的大小並基波的周期更大的幀並執行上述平滑處理，可防止上述幀邊界效果。
上述第二帶通濾波器260從上述平滑部250接收上述插值的泛音信號，對上述插值的信號執行帶通濾波，只輸出上述插值的泛音信號中預先設置的倍數的泛音信號，例如第一泛音信號，然後輸出到上述HRTF部270。其目的在於除去除所需要的泛音信號之外的頻率成分。
當要通過上述高音增強用泛音生成裝置200生成例如12KHz至22KHz的泛音信號時，上述第二帶通濾波器220最好具有12KHz至22KHz的通帶。
上述HRTF部270從上述第二帶通濾波器260接收上述泛音信號，對上述輸入的泛音信號執行HRTF處理並輸出，該HRTF處理反映聲音從音源傳播到聽取者的途中發生的上述泛音信號的變化。
上述HRTF部270由時間遲延部及減衰部構成，上述時間遲延部及減衰部反映，按上述各信道，上述泛音信號的頻率成分通過空間傳播時發生的信號的時間遲延及減衰。上述HRTF部270執行與圖1至圖3所示的定相部110執行相同的功能及動作，因此以下省略其詳細說明。
通常，當復原根據MP3等壓縮算法壓縮的音樂文件並播放時，會喪失屬於高頻帶，例如大約12KHz或15KHz以上的高頻帶的頻率成分，無法正確地播放原音。屬於上述喪失的高頻帶的頻率成分的信息不存在，因此沒有辦法播放原音自身。但是，利用上述復原的聲音信號的頻率成分生成的泛音信號與屬於上述喪失的高頻帶的頻率成分信號相當類似的可能性很高。因此，當使用上述高音增強用泛音生成裝置200插值聲音信號時，能播放與高頻帶相比更忠實於原音的聲音信號。
圖8是高音增強用泛音生成裝置200的輸入輸出的聲音信號頻譜分析圖。首先，縱軸表示大小，橫軸表示頻率。如圖8所示，將具有8KHz和9KHz的頻率成分的信號輸入到以2倍降低採樣率的上述高音增強用泛音生成裝置200，結果可得知輸出了具有16KHz及18KHz的頻率成分的泛音信號。其他互調成分的大小很小，可以忽略。如果使用其他非線性系統代替上述高音增強用泛音生成裝置200，會出現17KHz相當大小的互調成分。
上述泛音生成裝置200更適用於增強高頻帶的頻率成分。因為，低頻帶信號時，在相同的時間區間內包含的信息量遠比高頻帶信號少，為增強低頻信號，執行上述降低採樣率的幀大小需要非常大。例如，頻率為20Hz的信號，上述幀大小大約要大於1000樣本。當上述幀大小過大時，為處理保存上述樣本，需要更多內存，而且還會發生由於時間延遲的回音效果(echo effect)。
圖5是根據本發明一實施例的聲音增強裝置的方框圖。
如圖5所示，本發明一實施例的聲音增強裝置300包括定相部310，FFT部320，低頻帶增強部330，高頻帶增強部340，HRTF部350及合算部360。
上述定相部310通過左右信道接收多信道聲音信號，例如立體聲信號。為降低各信道的聲音信號間的相關性，對輸入的上述立體聲信號進行定相，通過上述左右信道輸出到上述FFT部320及上述低頻帶增強部330。上述定相部310執行與圖1至圖4所示的定相部110相同的功能及動作，因此，以下省略其詳細說明。
上述FFT部320通過上述左右信道從上述定相部310接收上述定相的聲音信號，對各信道的聲音信號進行FFT，通過各獨立的信道將上述聲音信號的低頻帶成分的傅立葉係數值輸出到正弦波生成部130，通過各獨立的信道將由上述FFT算出的所有傅立葉係數值輸出到HRTF部350。
上述FFT部320除了將上述由FFT算出的所有傅立葉係數值輸出到上述HRTF部350之外，執行與圖1至圖4所示的FFT部120相同的功能及動作，因此以下省略其詳細說明。
上述低頻帶增強部330通過上述各信道從上述FFT部320接收上述聲音信號的低頻帶頻率成分的傅立葉係數值，生成低頻增強信號並輸出，其包括正弦波生成部(未圖示)，泛音生成部(未圖示)及帶通濾波部(未圖示)。
詳細說明的話，上述低頻帶增強部330的正弦波生成部生成具有通過上述各信道輸入的傅立葉係數值相應的大小和頻率的正弦波信號，通過各獨立的信道輸出到上述泛音生成部。
上述泛音生成部按上述各信道類別生成上述輸入的正弦波信號的泛音信號，輸出到上述帶通濾波部。
上述帶通濾波部通過上述各信道從上述泛音生成部接收泛音信號，對各信道的泛音信號執行帶通濾波，只輸出上述各信道的泛音信號中預先設置的倍數，例如第一及第二倍數的泛音信號，通過各分離的信道輸出到上述HRTF部350的低頻帶部351。
上述低頻帶增強部330的正弦波生成部、泛音生成部及帶通濾波部執行與圖1至圖3所示的正弦波生成部130、泛音生成部140及帶通濾波部150相同的功能及動作，以下省略其詳細說明。
上述高頻帶增強部340從上述定相部310接收上述執行定相的聲音信號，生成並輸出高頻增強信號，其包括第一帶通濾波器(未圖示)，降低採樣率部(未圖示)，幀重複部(未圖示)，平滑部(未圖示)及第二帶通濾波器(未圖示)。
詳細說明的話，上述高頻帶增強部340的第一帶通濾波器從上述定相部310接收上述定相的聲音信號，對上述聲音信號執行帶通濾波，值輸出預先設置的通帶，例如6KHz至11KHz波段的頻率成分，之後輸出到上述降低採樣率部。
上述降低採樣率部對所輸入的聲音信號以預先設置的幀大小、預先設置的倍數執行降低採樣率，生成上述聲音信號的泛音信號。
上述幀重複部對上述生成的泛音信號執行幀重複處理，插值上述泛音信號，將上述插值的泛音信號輸出到上述第二帶通濾波器。
上述平滑部從上述幀重複部接收插值的聲音信號，對上述插值的泛音信號執行平滑上述泛音信號中的幀邊界的平滑處理並輸出。
上述第二帶通濾波器從上述平滑部接收上述插值的泛音信號，對上述插值的信號執行帶通濾波，只輸出上述插值的泛音信號中的預先設置的倍數的泛音信號，例如第一泛音信號，生成上述高頻增強信號後輸出到上述HRTF部350的高頻帶部353。
上述高頻帶增強部340的第一帶通濾波器、降低採樣率部、幀重複部、平滑部及第二帶通濾波器與圖1至圖4所示的第一帶通濾波器220、降低採樣率部230、幀重複部240、平滑部250及第二帶通濾波器260相同的功能和動作，因此以下省略其詳細說明。
上述HRTF部350對上述低頻增強信號，上述高頻增強信號及上述聲音信號的傅立葉變換係數執行HRTF處理並輸出到上述合算部360，其包括，低頻帶部351，主信號部352及高頻帶部353。
詳細說明的話，上述HRTF部350的低頻帶部351通過各信道從上述低頻帶增強部330接收上述帶通濾波處理的泛音信號，執行HRTF處理，其由時間遲延部及減衰部構成，上述時間遲延部及減衰部反映，按上述各信道，上述泛音信號的頻率成分通過空間傳播時發生的信號的時間遲延及減衰。上述高頻帶部353通過一個信道從殺過念書高頻帶增強部330接收上述帶通濾波的泛音信號並執行HRTF處理，由時間遲延部及減衰部構成，上述時間遲延部及減衰部反映，上述泛音信號的頻率成分通過空間傳播時發生的信號的時間遲延及減衰。上述低頻帶部351及上述高頻帶部353各執行與圖1至圖3所示的HRTF部160及圖4所示的HRTF部270相同的功能及動作，以下省略其詳細說明。
上述主信號部352通過各獨立的信道接收由上述FFT算出的所有傅立葉係數值，執行HRTF處理，輸出到上述合算部360，其包括，HRTF處理部(未圖示)及IFFT部(inverse fast fourier transform part反向快速傅立葉變換部)(未圖示)。
上述HRTF處理部接收上述傅立葉係數值，執行頻率區域上的HRTF處理，將上述HRTF處理的傅立葉係數值輸出到上述IFFT部。
上述IFFT部從上述HRTF接收HRTF處理的傅立葉係數值，對上述輸入的傅立葉係數值執行IFFT，將與上述傅立葉係數值相應的時間區域數據-聲音信號輸出到上述合算部360。
上述合算部360從上述低頻帶部351，主信號部352及高頻帶部353接收HRTF處理的聲音信號並進行合算後，將上述聲音信號輸出到揚聲器400等聲音播放裝置。
上述聲音增強裝置300為了低頻帶增強，無需另使用具有精細的通帶的多通帶濾波器，利用用於HRTF處理主聲音信號的FFT部320執行低頻帶增強，具有低複雜度、容易實現的優點。
圖9是根據本發明一實施例的低音增強用泛音生成方法的順序圖。
如圖9所示，低音增強用泛音生成裝置100的定相部110通過左右信道接收多信道聲音信號，例如立體聲信號，為降低各信道聲音信號之間的相關性，對上述立體聲信號執行定相處理，通過上述左右信道輸出到上述FFT部120(見步驟S100)。
然後，低音增強用泛音生成裝置100的FFT部120通過上述左右信道從上述定相部110接收上述定相的聲音信號，對上述各信道的聲音信號執行傅立葉變換，例如作為離散傅立葉變換的高速傅立葉變換，通過各獨立的信道將上述聲音信道的任意頻率成分，最好時低頻帶頻率成分的傅立葉係數值並輸出到上述正弦波生成部130(見步驟S110)。
之後，低音增強用泛音生成裝置100的正弦波生成部130通過上述各信道從上述FFT部120接收上述各傅立葉係數值，生成具有與上述各傅立葉係數值相應的大小和頻率的正弦波信號，通過各分離的信道輸出到上述泛音生成部140(見步驟S120)。
之後，低音增強用泛音生成裝置100的集合部135通過上述各信道從上述正弦波生成部130接收上述生成的正弦波信號，將各正弦波信號中的一部分信道的正弦波信號合成為一個信號，通過一個信道輸出到上述泛音生成部140，其餘信道的信號還是按照原樣通過各信道輸出到上述泛音生成部140(見步驟S130)。
之後，低音增強用泛音生成裝置100的泛音生成部140通過上述各信道從上述正弦波生成部130接收上述各正弦波信號，生成對上述各正弦波信號的泛音信號，通過各獨立的信道輸出到上述帶通濾波部150(見步驟S140)。
之後，低音增強用泛音生成裝置100的帶通濾波部150通過上述各信道從上述泛音生成部140接收泛音信號，對上述各信道的泛音信號執行帶通濾波，只輸出上述各信道的泛音信號中預先設置的倍數，例如第一及第二倍數的泛音信道，通過各分離的信道輸出到上述HRTF部160(見步驟S150)。
之後，低音增強用泛音生成裝置100的HRTF部160通過上述各信道接收上述帶通濾波的泛音信號，對上述各信道的泛音信號，執行HRTF處理，輸出到上述合算部170(見步驟S160)。
之後，低音增強用泛音生成裝置100的合算部170將通過上述各信道從上述HRTF部160接收的泛音信號合算為一個信道，通過一個信道輸出(見步驟S170)。
圖10是根據本發明另一實施例的低音增強用泛音生成方法的順序圖。
如圖10所示，低音增強用泛音生成裝置100的定相部110通過左右信道接收多信道聲音信號，例如立體聲信號，為降低各信道聲音信號之間的相關性，對上述立體聲信號執行定相處理，通過上述左右信道輸出到上述FFT部120(見步驟S200)。
之後，低音增強用泛音生成裝置100的低通濾波器125通過上述左右信道從上述定相部110接收上述定相的信號，對上述各信道的聲音信號進行低通濾波，只輸出預先設置的超低頻信號(sub-bass frequency signal)，通過上述各左右信道向上述泛音生成部140輸出(見步驟S210)。上述低通濾波器125最好是無限脈衝相應(IIRinfinite impulse response)濾波器。
另外，低音增強用泛音生成裝置100的FFT部120通過左右信道從上述定相部110接收上述定相的聲音信號，對上述各信道的聲音信號進行FFT，算出對上述聲音信號的低頻成分的7個傅立葉係數值。之後，上述FFT部120通過各獨立的信道將不屬於上述超低頻帶的中低頻成分(mid-bass frequency components)的傅立葉係數輸出到上述正弦波生成部130(見步驟S220)。
之後，低音增強用泛音生成裝置100的正弦波生成部130通過上述各獨立的信道從上述FFT部120接收傅立葉係數值，生成具有上述各傅立葉係數值相應的大小及頻率的正弦波信號，通過各獨立的信道輸出到上述泛音生成部140(見步驟S230)。
之後，低音增強用泛音生成裝置100的泛音生成部140通過一個信道從上述低通濾波器125接收上述通過左右信道進行低通濾波的聲音信號，並生成上述輸入的聲音信號的頻率成分的泛音信號並通過一個信道輸出到上述帶通濾波部150。另外，上述泛音生成部140通過上述各信道從上述正弦波生成部130接收上述正弦波信號，生成對上述各信道的正弦波信號的泛音信號，通過各獨立的信道輸出到上述帶通濾波部150(見步驟S240)。
之後，低音增強用泛音生成裝置100的帶通濾波部150通過上述各7個信道從上述泛音生成部140接收泛音信號的輸入，對上述各信道的泛音信號進行帶通濾波，只輸出上述各信道泛音信號中以預先設置的倍數，例如第一及第二倍數的泛音信號(first and second harmonics signals)，通過各分離的7各信道向上述HRTF部160輸出(見步驟S250)。
之後，低音增強用泛音生成裝置100的HRTF部160通過上述各信道接收上述帶通濾波的泛音信號，對上述各信道的泛音信號，執行HRTF處理，輸出到上述合算部170(見步驟S260)。
之後，低音增強用泛音生成裝置100的合算部170將通過上述各信道從上述HRTF部160接收的泛音信號進行合算，通過一個信道輸出(見步驟S270)。
圖11是根據本發明另一實施例的低音增強用泛音生成方法的順序圖。
如圖11所示，高音增強用泛音生成裝置200的定相部210通過左右信道接收多信道聲音信號，例如立體聲信號，為降低各信道聲音信號之間的相關性，對上述立體聲信號執行定相處理，通過上述左右信道輸出到上述第一帶通濾波器220(見步驟S300)。
之後，高音增強用泛音生成裝置200的第一帶通濾波器220從上述定相部210接收上述進行定相的聲音信號，對上述聲音信號進行帶通濾波，只輸出預先設置的通帶的頻率成分，輸出到上述降低採樣率部230(見步驟S310)。
之後，高音增強用泛音生成裝置200的降低採樣率部230從上述第一帶通濾波器220接收並對上述生成的泛音信號進行幀重複處理，插值上述泛音信號後輸出到上述平滑部250(見步驟S320)。
之後，高音增強用泛音生成裝置200的幀重複部240在上述輸入的泛音信號中，用採樣的之前幀的聲音信號樣本填補由於上述降低採樣率而發生的幀大小般的空白部分(見步驟S330)。
之後，高音增強用泛音生成裝置200的平滑部250從上述幀重複部240接收增強的聲音信號，對上述插值的泛音信號執行平滑處理並輸出，該平滑處理就是平滑上述泛音信號中幀重複的部分，即幀邊界(frame edge boundary)(見步驟S340)。
之後，高音增強用泛音生成裝置200的第二帶通濾波器260從上述平滑部250接收上述插值的泛音信號，對上述插值的信號執行帶通濾波，只輸出上述插值的泛音信號中預先設置的倍數的泛音信號，例如第一泛音信號，然後輸出到上述HRTF部270(見步驟S350)。其目的在於除去除所需要的泛音信號之外的頻率成分。
之後，高音增強用泛音生成裝置200的HRTF部270從上述第二帶通濾波器260接收上述泛音信號，對上述輸入的泛音信號執行HRTF處理並輸出，該HRTF處理反映聲音從音源傳播到聽取者的途中發生的上述泛音信號的變化(見步驟S360)。
圖12是根據本發明一實施例的高音增強用泛音生成方法的順序圖。
如圖12所示，聲音增強裝置300的定相部310通過左右信道接收多信道聲音信號，例如立體聲信號。為降低各信道的聲音信號間的相關性，對輸入的上述立體聲信號進行定相，通過上述左右信道輸出到上述FFT部320及上述低頻帶增強部330(見步驟S400)。
之後，聲音增強裝置300的FFT部320通過上述左右信道從上述定相部310接收上述定相的聲音信號，對各信道的聲音信號進行FFT，通過各獨立的信道將上述聲音信號的低頻帶成分的傅立葉係數值輸出到正弦波生成部130，通過各獨立的信道將由上述FFT算出的所有傅立葉係數值輸出到HRTF部350(見步驟S410)。
之後，聲音增強裝置300的低頻帶增強部330通過上述各信道從上述FFT部320接收上述聲音信號的低頻帶頻率成分的傅立葉係數值，生成低頻增強信號並輸出(見步驟S420)。
之後，聲音增強裝置300的高頻帶增強部340從上述定相部310接收上述執行定相的聲音信號，生成並輸出高頻增強信號(見步驟S430)。
之後，聲音增強裝置300的HRTF部350對上述低頻增強信號，上述高頻增強信號及上述聲音信號的傅立葉變換係數執行HRTF處理並輸出到上述合算部360(見步驟S440)。
之後，聲音增強裝置300的合算部360從上述低頻帶部351，主信號部352及高頻帶部353接收HRTF處理的聲音信號並進行合算後，將上述聲音信號輸出到揚聲器400等聲音播放裝置(見步驟S450)。
3D聲音系統(3D sound system)公認為是繼單聲道及立體聲系統之後的新一代聲音信號播放系統。3次元增強的聲音信號會給聽取者傳達更具現實感的感受。
本發明可適用於MP3播放器，移動通信終端的嵌入式平臺(embeddedplatform)的數位訊號處理器或微處理器等。另外，本發明也可作為聲音增強插件程序，適用於個人電腦。本發明可適用於生成3次元處理的更具立體感的音樂文件。
本領域技術人員通過上述說明內容可得知，不脫離本發明技術思想的範圍內可以作各種變換及修改。
從而，本發明的技術範圍並不是僅限於實施例所記載的內容，而是由權利要求範圍決定。
本發明的低音增強用泛音生成方法及裝置利用傅立葉變換及正弦波生成代替具有高精細度的多通帶濾波器，具有複雜度低、容易實現的效果。
本發明的高音增強用泛音生成方法及裝置利用降低採樣率及真重複方法代替具有高精細度的多通帶濾波器，具有複雜度低、容易實現的效果。
本發明的聲音增強裝置使用低音增強用泛音生成裝置和高音增強用泛音生成裝置，具有能提供更具立體感的聲音的效果。
以上
具體實施例方式
僅用於說明本發明，而非用於限定本發明。
權利要求
1.一種利用傅立葉變換的泛音生成裝置，其特徵在於，包括對輸入的聲音信號進行傅立葉變換，輸出對所述聲音信號的任意頻率成分的傅立葉係數值的傅立葉變換部；生成具有與所述傅立葉係數值相應的大小和頻率的正弦波信號的正弦波生成部；生成所述正弦波信號的泛音信號的泛音生成部。
2.根據權利要求1所述的利用傅立葉變換的泛音生成裝置，其特徵在於所述傅立葉變換為高速傅立葉變換。
3.根據權利要求1所述的利用傅立葉變換的泛音生成裝置，其特徵在於所述傅立葉變換部利用平滑函數對所述任意的頻率成分的傅立葉係數進行插值並輸出。
4.根據權利要求1所述的利用傅立葉變換的泛音生成裝置，其特徵在於所述泛音生成部是非對稱軟壓縮系統。
5.根據權利要求1所述的利用傅立葉變換的泛音生成裝置，其特徵在於，還包括定相部，為降低所述各信道的聲音信號之間的相關性，對輸入的所述多信道聲音信號執行定相併輸出到所述傅立葉變換部，其中所述輸入的聲音信號為多信道聲音信號。
6.根據權利要求5所述的利用傅立葉變換的泛音生成裝置，其特徵在於所述定相根據下述公式1及公式2執行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道輸入的立體聲信號，L2及R2表示左右信道輸出的立體聲信號，a表示定相係數。
7.根據權利要求1所述的利用傅立葉變換的泛音生成裝置，其特徵在於，還包括濾波部，對所述泛音信號執行帶通濾波，只輸出所述生成的泛音信號中預先設置的倍數的泛音信號。
8.根據權利要求1所述的利用傅立葉變換的泛音生成裝置，其特徵在於所述傅立葉變換部輸出對預先設置的多個頻率成分的傅立葉係數值，所述正弦波生成部輸出具有與所述各傅立葉係數值相應的大小和頻率的正弦波信號。
9.根據權利要求8所述的利用傅立葉變換的泛音生成裝置，其特徵在於，還包括集合部，將所述生成的各正弦波信號中一部分正弦波信號合成為一個信號並輸出。
10.根據權利要求1所述的利用傅立葉變換的泛音生成裝置，其特徵在於還包括低通濾波器，對所述定相部輸入的聲音信號進行低通濾波，只輸出預先設置的超低頻信號；所述傅立葉變換部將不屬於所述超低頻帶的低頻成分的傅立葉係數值輸出到所述正弦波生成部。
11.根據權利要求8所述的利用傅立葉變換的泛音生成裝置，其特徵在於所述低通濾波器為無限脈衝相應濾波器。
12.根據權利要求1所述的利用傅立葉變換的泛音生成裝置，其特徵在於，還包括頭部相關轉換函數部，對所述生成的泛音信號執行頭部相關轉換函數處理，該頭部相關轉換函數反映聲音從音源傳播到聽取者的途中發生的所述泛音信號的變化。
13.根據權利要求1所述的利用傅立葉變換的泛音生成裝置，其特徵在於所述頻率成分是低頻帶的頻率成分。
14.一種利用傅立葉變換的泛音生成方法，其特徵在於包括對輸入的聲音信號進行傅立葉變換並計算出對所述聲音信號的任意頻率成分的傅立葉係數值的傅立葉變換執行步驟；生成具有與所述算出的各傅立葉係數值相應的大小和頻率的正弦波信號的正弦波生成步驟；生成所述正弦波信號的泛音信號的泛音生成步驟。
15.根據權利要求14所述的利用傅立葉變換的泛音生成方法，其特徵在於所述傅立葉變換為高速傅立葉變換。
16.根據權利要求14所述的利用傅立葉變換的泛音生成方法，其特徵在於所述傅立葉變換執行步驟為，利用平滑函數對所述任意的頻率成分的傅立葉係數進行插值並輸出。
17.根據權利要求14所述的利用傅立葉變換的泛音生成方法，其特徵在於所述生成的泛音是由非對稱軟壓縮系統生成。
18.根據權利要求14所述的利用傅立葉變換的泛音生成方法，其特徵在於，還包括定相步驟，在所述傅立葉變換執行步驟之前，為降低所述各信道的聲音信號之間的相關性，對輸入的所述多信道聲音信號執行定相併輸出，其中所述輸入的聲音信號為多信道聲音信號。
19.根據權利要求18所述的利用傅立葉變換的泛音生成方法，其特徵在於所述定相根據下述公式1及公式2執行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道輸入的立體聲信號，L2及R2表示左右信道輸出的立體聲信號，a表示定相係數。
20.根據權利要求14所述的利用傅立葉變換的泛音生成方法，其特徵在於，還包括濾波步驟，在所述泛音生成步驟之前，對所述泛音信號執行帶通濾波，只輸出所述生成的泛音信號中預先設置的倍數的泛音信號。
21.根據權利要求14所述的利用傅立葉變換的泛音生成裝置，其特徵在於所述傅立葉變換步驟中算出對預先設置的多個頻率成分的傅立葉係數值，所述正弦波生成步驟中輸出具有與所述各傅立葉係數值相應的大小和頻率的正弦波信號。
22.根據權利要求21所述的利用傅立葉變換的泛音生成方法，其特徵在於，還包括集合步驟，將所述生成的各正弦波信號中一部分正弦波信號合成為一個信號並輸出。
23.根據權利要求14所述的利用傅立葉變換的泛音生成方法，其特徵在於還包括低通濾波步驟，對所述定相部輸入的聲音信號進行低通濾波，只輸出預先設置的超低頻信號；在所述傅立葉變換執行步驟中算出不屬於所述超低頻帶的中低頻成分的傅立葉係數值。
24.根據權利要求23所述的利用傅立葉變換的泛音生成方法，其特徵在於所述低通濾波為無限脈衝相應濾波。
25.根據權利要求14所述的利用傅立葉變換的泛音生成方法，其特徵在於，還包括頭部相關轉換函數步驟，在所述泛音生成步驟之後，對所述生成的泛音信號執行頭部相關轉換函數處理，該頭部相關轉換函數反映聲音從音源傳播到聽取者的途中發生的所述泛音信號的變化。
26.根據權利要求14所述的利用傅立葉變換的泛音生成方法，其特徵在於所述頻率成分是低頻帶的頻率成分。
27.一種利用降低採樣率的泛音生成裝置，其特徵在於包括對輸入的聲音信號以預先設置的幀大小，以預先設置的倍數降低採樣率，生成所述聲音信號的泛音信號的降低採樣率部；對所述生成的泛音信號進行幀重複處理，對所述泛音信號進行插值的幀重複部。
28.根據權利要求27所述的利用降低採樣率的泛音生成裝置，其特徵在於，還包括定相部，為降低所述各信道的聲音信號之間的相關性，對輸入的所述多信道聲音信號執行定相併輸出到所述降低採樣率部，其中所述輸入的聲音信號為多信道聲音信號。
29.根據權利要求27所述的利用降低採樣率的泛音生成裝置，其特徵在於所述定相根據下述公式1及公式2執行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道輸入的立體聲信號，L2及R2表示左右信道輸出的立體聲信號，a表示定相係數。
30.根據權利要求27所述的利用降低採樣率的泛音生成裝置，其特徵在於，還包括第一帶通濾波器，對輸入的聲音信號執行帶通濾波，只輸出預先設置的波段的頻率成分，輸出到所述降低採樣率部。
31.根據權利要求27所述的利用降低採樣率的泛音生成裝置，其特徵在於，還包括平滑部，對所述插值的泛音信號執行平滑處理，該平滑處理平滑所述泛音信號中幀重複的部分。
32.根據權利要求31所述的利用降低採樣率的泛音生成裝置，其特徵在於所述平滑部根據下述公式執行平滑處理，公式)b＝(a+b+c)/3，其中，a是任意幀的最後泛音信號樣本值，b是所述任意幀的其次幀的首個泛音信號樣本值，c是所述任意幀其次幀的第二個泛音信號值。
33.根據權利要求27所述的利用降低採樣率的泛音生成裝置，其特徵在於，還包括第二帶通濾波器，對所述插值的信號執行帶通濾波，只輸出預先設置的倍數的泛音信號。
34.根據權利要求27所述的利用降低採樣率的泛音生成裝置，其特徵在於，還包括頭部相關轉換函數部，對所述插值的泛音信號執行頭部相關轉換函數處理，該頭部相關轉換函數反映聲音從音源傳播到聽取者的途中發生的所述泛音信號的變化。
35.根據權利要求27所述的利用降低採樣率的泛音生成裝置，其特徵在於所述輸入的聲音信號是高頻聲音信號。
36.一種利用降低採樣率的泛音生成方法，其特徵在於，包括對輸入的聲音信號以預先設置的幀大小，以預先設置的倍數降低採樣率，生成所述聲音信號的泛音信號的降低採樣率步驟；對所述生成的泛音信號進行幀重複處理，對所述泛音信號進行插值的幀重複步驟。
37.根據權利要求36所述的利用降低採樣率的泛音生成方法，其特徵在於，還包括定相步驟，在所述降低採樣率步驟之前，為降低所述各信道的聲音信號之間的相關性，對輸入的所述多信道聲音信號執行定相併輸出到所述降低採樣率部，其中所述輸入的聲音信號為多信道聲音信號。
38.根據權利要求36所述的利用降低採樣率的泛音生成方法，其特徵在於所述定相根據下述公式1及公式2執行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道輸入的立體聲信號，L2及R2表示左右信道輸出的立體聲信號，a表示定相係數。
39.根據權利要求36所述的利用降低採樣率的泛音生成方法，其特徵在於，還包括第一帶通濾波步驟，在所述降低採樣率步驟之前，對輸入的聲音信號執行帶通濾波，只輸出預先設置的波段的頻率成分。
40.根據權利要求36所述的利用降低採樣率的泛音生成方法，其特徵在於，還包括平滑處理步驟，在所述幀重複步驟之後，對所述插值的泛音信號執行平滑處理，該平滑處理平滑所述泛音信號中幀重複的部分。
41.根據權利要求36所述的利用降低採樣率的泛音生成方法，其特徵在於所述平滑處理步驟根據下述公式執行平滑處理，公式)b＝(a+b+c)/3，其中，a是任意幀的最後泛音信號樣本值，b是所述任意幀的其次幀的首個泛音信號樣本值，c是所述任意幀其次幀的第二個泛音信號值。
42.根據權利要求36所述的利用降低採樣率的泛音生成方法，其特徵在於，還包括第二帶通濾波步驟，在所述幀重複步驟之後，對所述插值的信號執行帶通濾波，只輸出預先設置的倍數的泛音信號。
43.根據權利要求36所述的利用降低採樣率的泛音生成方法，其特徵在於，還包括頭部相關轉換函數處理步驟，在所述幀重複步驟之後，對所述插值的泛音信號執行頭部相關轉換函數處理，該頭部相關轉換函數反映聲音從音源傳播到聽取者的途中發生的所述泛音信號的變化。
44.根據權利要求36所述的利用降低採樣率的泛音生成方法，其特徵在於所述輸入的聲音信號是高頻聲音信號。
45.一種聲音增強裝置，其特徵在於包括對輸入的聲音信號進行傅立葉變換，輸出對所述聲音信號的任意頻率成分的傅立葉係數值的傅立葉變換部；生成具有與所述傅立葉係數值相應的大小和頻率的正弦波信號，生成所述正弦波信號的泛音信號並輸出的低頻帶增強部；對輸入的聲音信號進行高通濾波，以預先設置的幀大小，以預先設置的倍數降低採樣率，生成所述聲音信號的泛音信號，對所述生成的泛音信號進行幀重複處理，從而對所述泛音信號進行插值，並輸出所述生成的高頻增強信號的高頻帶增強部；對所述低頻增強信號、所述高頻增強信號及所述聲音信號的傅立葉係數值，進行能夠反映聲音從音源傳播到聽取者的途中發生的所述泛音信號的變化的頭部相關轉換函數處理，輸出合算的信號的頭部相關轉換函數部。
46.根據權利要求45所述的聲音增強裝置，其特徵在於所述低頻帶增強部利用非對稱軟壓縮系統生成泛音信號。
47.根據權利要求45所述的聲音增強裝置，其特徵在於，還包括定相部，為降低所述各信道的聲音信號之間的相關性，對輸入的所述多信道聲音信號執行定相併輸出到所述傅立葉變換部及所述高頻帶增強部，其中所述輸入的聲音信號為多信道聲音信號。
48.根據權利要求45所述的聲音增強裝置，其特徵在於所述定相根據下述公式1及公式2執行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道輸入的立體聲信號，L2及R2表示左右信道輸出的立體聲信號，a表示定相係數。
49.根據權利要求45所述的聲音增強裝置，其特徵在於所述低頻帶增強部對所述泛音信號執行帶通濾波，只輸出所述生成的泛音信號中預先設置的倍數的泛音信號。
50.根據權利要求45所述的聲音增強裝置，其特徵在於所述低頻帶增強部輸出對預先設置的多個頻率成分的傅立葉係數值，所述正弦波生成部輸出具有與所述各傅立葉係數值相應的大小和頻率的正弦波信號。
51.根據權利要求45所述的聲音增強裝置，其特徵在於所述低頻帶增強部將所述生成的各正弦波信號中一部分正弦波信號合成為一個信號並輸出。
52.根據權利要求45所述的聲音增強裝置，其特徵在於所述高頻帶增強部對輸入的聲音信號執行帶通濾波，只輸出預先設置的波段的頻率成分，之後執行降低採樣率。
53.根據權利要求45所述的聲音增強裝置，其特徵在於所述高頻帶增強部對所述插值的泛音信號執行平滑處理，該平滑處理平滑所述泛音信號中幀重複的部分。
54.根據權利要求45所述的聲音增強裝置，其特徵在於所述高頻帶增強部根據下述公式執行平滑處理，公式)b＝(a+b+c)/3，其中，a是任意幀的最後泛音信號樣本值，b是所述任意幀的其次幀的首個泛音信號樣本值，c是所述任意幀其次幀的第二個泛音信號值。
55.根據權利要求45所述的聲音增強裝置，其特徵在於，還包括所述高頻帶增強部對所述插值的信號執行帶通濾波，只輸出預先設置的倍數的泛音信號。
56.一種聲音增強方法，其特徵在於包括對輸入的聲音信號進行傅立葉變換，輸出對所述聲音信號的任意頻率成分的傅立葉係數值的傅立葉變換步驟；生成具有與所述傅立葉係數值相應的大小和頻率的正弦波信號的第一低頻帶增強步驟；生成所述正弦波信號的泛音信號並輸出的第二低頻帶增強步驟；對輸入的聲音信號進行高通濾波的第一高頻帶增強步驟；以預先設置的幀大小，以預先設置的倍數降低採樣率，生成所述聲音信號的泛音信號的第二高頻帶增強步驟；對所述生成的泛音信號進行幀重複處理，從而對所述泛音信號進行插值，輸出所述生成的高頻增強信號的第三高頻帶增強步驟；對所述低頻增強信號、所述高頻增強信號及所述聲音信號的傅立葉係數值，進行能夠反映聲音從音源傳播到聽取者的途中發生的所述泛音信號的變化的頭部相關轉換函數處理，輸出合算的信號的頭部相關轉換函數處理步驟。
57.根據權利要求56所述的聲音增強方法，其特徵在於所述第二低頻帶增強步驟利用非對稱軟壓縮系統生成泛音信號。
58.根據權利要求56所述的聲音增強方法，其特徵在於，還包括定相步驟，在所述傅立葉變換步驟之前，為降低所述各信道的聲音信號之間的相關性，對輸入的所述多信道聲音信號執行定相併輸出，其中所述輸入的聲音信號為多信道聲音信號，所述第1高頻帶增強步驟的所述輸入的聲音信號為已執行所述定相的聲音信號。
59.根據權利要求56所述的聲音增強方法，其特徵在於所述定相根據下述公式1及公式2執行，公式1)L2＝L1-aR1公式2)R2＝R1-aL1其中，L1及R1表示左右信道輸入的立體聲信號，L2及R2表示左右信道輸出的立體聲信號，a表示定相係數。
60.根據權利要求56所述的聲音增強方法，其特徵在於，還包括帶通濾波步驟，在所述第2頻帶增強步驟之後，對所述泛音信號執行帶通濾波，只輸出所述生成的泛音信號中預先設置的倍數的泛音信號。
61.根據權利要求56所述的聲音增強方法，其特徵在於所述第二低頻帶增強步驟中，輸出對預先設置的多個頻率成分的傅立葉係數值，輸出具有與所述各傅立葉係數值相應的大小和頻率的正弦波信號。
62.根據權利要求56所述的聲音增強方法，其特徵在於，還包括在所述第二低頻帶增強步驟之後，將所述生成的各正弦波信號中一部分正弦波信號合成為一個信號並輸出的步驟。
63.根據權利要求56所述的聲音增強方法，其特徵在於，還包括第一帶通濾波步驟，在所述第一高頻帶增強步驟之前，對輸入的聲音信號執行帶通濾波，只輸出預先設置的波段的頻率成分，之後執行降低採樣率。
64.根據權利要求56所述的聲音增強方法，其特徵在於，還包括幀重複步驟，在所述第三高頻帶增強步驟之後，對所述插值的泛音信號執行平滑處理，該平滑處理平滑所述泛音信號中幀重複的部分。
65.根據權利要求56所述的聲音增強方法，其特徵在於所述平滑處理根據下述公式執行，公式)b＝(a+b+c)/3，其中，a是任意幀的最後泛音信號樣本值，b是所述任意幀的其次幀的首個泛音信號樣本值，c是所述任意幀其次幀的第二個泛音信號值。
66.根據權利要求56所述的聲音增強方法，其特徵在於，還包括第二帶同濾波步驟，在所述第三高頻帶增強步驟之後，對所述插值的信號執行帶通濾波，只輸出預先設置的倍數的泛音信號。
全文摘要
本發明涉及一種泛音生成方法、裝置，及聲音增強方法及裝置，尤其，利用傅立葉變換代替具有較高的複雜度、具有較難實現的高精密度的多通帶濾波器，增強低音，通過降低採樣率及幀重複增強高音。本發明提供一種利用傅立葉變換的泛音生成裝置，其包括對輸入的聲音信號進行傅立葉變換，輸出對上述聲音信號的任意頻率成分的傅立葉係數值的傅立葉變換部；生成具有與上述傅立葉係數值相應的大小和頻率的正弦波信號的正弦波生成部；生成上述正弦波信號的泛音信號的泛音生成部。
文檔編號G10H1/16GK1932970SQ20061015403
公開日2007年3月21日 申請日期2006年9月13日 優先權日2005年9月13日
發明者南允愛, 康泰益, 維奇·H·山科爾 申請人:樂金電子(中國)研究開發中心有限公司