人工內耳的語音轉換方法
2023-06-10 04:17:01 5
專利名稱：人工內耳的語音轉換方法
技術領域：
本發明涉及一種人工內耳的語音轉換方法，其通過向內耳提供語音信息作為電刺激脈衝而增強聽覺。
背景技術：
迄今為止，人工內耳設置有布置在內耳內的多個電極的電極陣列，並使用多個帶通濾波器將通過麥克風採樣的語音信息區分為各個頻帶。這樣，通過將各信道中的語音信息傳遞給與信道相對應的電極以生成電刺激脈衝，並且通過將語音信息傳遞給內耳作為電刺激脈衝而增強聽覺。具體地，通過使用布置在人工內耳內的語音處理器將語音信息轉換成刺激脈衝而實現語音轉換。在這種人工內耳中，當同時刺激電極時相對於實際處理的語音信號不可能獲得忠實的聲音感覺。這是因為當同時刺激電極時，電極電路之間的相互作用導致生成不合適的刺激。
為了解決該問題，採用連續交錯採樣(CIS)系統作為傳統的人工內耳的語音轉換方法。在該系統中，以預定的時間間隔依次刺激所有的信道，以避免同時刺激信道，並可無任何遺漏地輸出所有的語音信息。即，語音信息直到達到其順序才能被輸出，儘管其與任何其它語音信息是同時生成的。
由於所述CIS並不是在某一文獻中公開了的已知發明，因此沒有與該現有技術的公開相關的信息。
根據現有技術的CIS系統，由於以預定的時間間隔依次刺激所有的信道，因此語音有時會在比該語音實際生成時間延遲的時間被輸出，因此再現的語音會不自然。
發明內容
因此，本發明的目的是提供一種人工內耳和一種人工內耳的語音轉換方法，其可以為使用者提供幾乎自然感覺的語音並能夠以接近各信道的固有周期的值來再現自然變動。
本發明的權利要求1的人工內耳的語音轉換方法的特徵在於，其包括如下步驟使用多個帶通濾波器在作為預定採樣周期的信號幀內將語音信息區分為各個頻帶；將與所述頻帶相對應的信道信息添加到語音信息中；在各個信道中通過留下在一個信道中具有較高信號電平的語音信息，而將刺激脈衝的數量調整為在一個信道中允許的頻率；通過將各個信道中留下的所有語音信息中具有較高信號電平的語音信息留下，而將刺激脈衝的數量調整為在所有信道中允許的頻率以及通過將留下的語音信息提供給與信道相對應的電極而生成刺激脈衝。
儘管在說明書的描述中使用了術語「語音」，但是應注意，其不僅包括人的聲音而且還包括任何其它可聽到的聲音。
本發明權利要求2的人工內耳的語音轉換方法的特徵在於，當調整各個信道中的刺激脈衝的頻率時，如果在僅允許在一個信道中存在一個刺激脈衝的時間段內有多個語音信息，則僅留下具有最高信號電平的一個語音信息。
本發明權利要求3的人工內耳的語音轉換方法的特徵在於，當調整所有信道中的刺激脈衝的頻率時，如果在僅允許在一個信道中存在一個刺激脈衝的時間段內有多個語音信息，則僅留下具有最高信號電平的一個語音信息。
本發明權利要求4的人工內耳的特徵在於其包括信道信息添加裝置，使用多個帶通濾波器在作為預定採樣周期的信號幀內將語音信息區分為各個頻帶之後，將與所述頻帶相對應的信道信息添加到語音信息中；信道內刺激頻率調整裝置，通過在信號幀內在各個信道中留下在一個信道中具有較高信號電平的語音信息，而將刺激脈衝的數量調整為在一個信道中允許的頻率；信道間刺激頻率調整裝置，通過將各個信道中留下的所有語音信息中具有較高信號電平的語音信息留下，而將刺激脈衝的數量調整為在所有信道中允許的頻率；以及刺激脈衝生成裝置，用於將留下的語音信息轉換成刺激脈衝並將該刺激脈衝提供給與信道相對應的電極。
本發明權利要求5的人工內耳的特徵在於，如果在僅允許在一個信道中存在一個刺激脈衝的時間段內有多個語音信息，則所述信道內刺激頻率調整裝置僅留下具有最高信號電平的一個語音信息。
本發明權利要求6的人工內耳的特徵在於，如果在僅允許在信道之間存在一個刺激脈衝的時間段內有多個語音信息，則所述信道間刺激頻率調整裝置僅留下具有最高信號電平的一個語音信息。
通過以下結合附圖的說明和所附權利要求，將明白本發明的附加優點和特徵，其中圖1是示意性地表示根據本發明的人工內耳的結構的框圖；圖2是表示根據本發明的人工內耳的整體操作的流程圖；圖3是表示根據本發明的人工內耳的信道選擇處理的操作的流程圖；圖4是表示根據本發明的人工內耳的信道內刺激頻率調整裝置的操作的流程圖；圖5是表示根據本發明的人工內耳的信道間刺激頻率調整裝置的操作的流程圖；圖6是表示根據本發明的人工內耳的信道選擇處理的操作的解釋圖；圖7是表示根據本發明的人工內耳的信道內刺激頻率調整裝置的操作的解釋圖；圖8是表示根據本發明的人工內耳的信道間刺激頻率調整裝置的操作的解釋圖；以及圖9是表示根據本發明的人工內耳的操作的解釋圖。
符號說明1、人工內耳；3、麥克風；4、語音處理器；5、外部線圈；6、內部線圈；7、刺激單元；8、電極陣列；8a～8d、電極；9、內耳。
具體實施例方式
下面將參照附圖描述本發明的優選實施例。圖1是示意地表示根據本發明的人工內耳的結構的框圖；圖2是表示根據本發明的人工內耳的整體操作的流程圖；圖3是表示根據本發明的人工內耳的信道選擇處理的操作的流程圖；圖4是表示根據本發明的人工內耳的信道內刺激頻率調整裝置的操作的流程圖；圖5是表示根據本發明的人工內耳的信道間刺激頻率調整裝置的操作的流程圖；圖6是表示根據本發明的人工內耳的信道選擇處理的操作的解釋圖；圖7是表示根據本發明的人工內耳的信道內刺激頻率調整裝置的操作的解釋圖；圖8是表示根據本發明的人工內耳的信道間刺激頻率調整裝置的操作的解釋圖；以及圖9是表示根據本發明的人工內耳的操作的解釋圖。
人工內耳1適於通過向內耳9提供電刺激脈衝而增強聽覺。具體地，人工內耳1包括麥克風3；語音處理器4，用於可編程地執行將通過麥克風3採樣的語音信息轉換成刺激脈衝的語音處理；形成人體外部天線的外部線圈5；形成人體內部天線的內部線圈6；刺激單元7，用於將通過外部線圈5和內部線圈6從語音處理器4發送來的語音信息轉換成刺激脈衝；以及電極陣列8，其由多個布置在內耳內的電極8a～8d組成，用於實際輸出刺激脈衝。通過由電極8a～8d生成的電流來刺激人的聽神經末梢，而由人的聽神經來感覺語音。
電極陣列8的電極8a～8d實際上包括大約22個電極，並且每個電極都適於根據使用者的情況而使用。將整個可聽到的語音範圍劃分為M個頻帶，每個頻帶形成一信道，並且電極8a～8d各與其中一個信道相對應。儘管基於使用4(四)個電極8a～8d的示例描述了本發明圖示的實施例，但是本發明並不限於該圖示的實施例。根據電極8a～8d的一個具體示例，電極8a是中心頻率大約為6226Hz的第21個電極(信道(Ch.)21)，電極8b是中心頻率大約為5314Hz的第20個電極(信道(Ch.)20)，電極8c是中心頻率大約為907.1Hz的第19個電極(信道(Ch.)19)，而電極8d是中心頻率大約為466.5Hz的第3個電極(信道(Ch.)3)。
下面將描述根據本發明的人工內耳1的操作。在該描述中，加括號的表達式，例如「(S101)」，「(S102)」……與圖2～圖5的流程圖中所示的相對應。
首先，將描述本發明的人工內耳的整體操作。由麥克風3拾取的信號S通過高通強調濾波器重新整形(S101)，然後通過一組帶通濾波器(S102)。在該組帶通濾波器中，將信號S分為各個頻帶，並將相應頻帶的信道信息添加到語音信息中。即，該組帶通濾波器形成了信道信息添加裝置。然後通過各個信道的半波整流器將信號S調整為期望數據形式(S103)，以生成信道信息、時間信息和信號電平信息的整體組合的語音信息，其被寫成振幅時間矩陣(ATM)。這用如下數學表達式(1)來表示，其中I和M是信道編號，而T和N是它們的語音信息出現的時間信息。
A0=a1,1a1,2a1,Na2,1a2,2a2,NaM,1aM,2aM,N]]>I＝{1，2，3，…，M} T＝{1，2，3，…，N}(1)寫成ATM的語音信息在作為預定且固定的採樣周期的信號幀內，並且在各個信號幀中都依次地重複以下處理。本發明優選實施例中的信號幀的長度為大約10mS，但這並不限於10mS。應考慮如下的事實來確定信號幀的長度，即，如果信號幀的長度太長，則語音信息的再現會延遲，相反如果信號幀的長度短於語音的基本周期(聲帶的振動周期)，則不能檢測到語音信息。
然後執行用於語音處理的信道選擇處理，即從ATM語音信息中提取實際輸出刺激脈衝所需的語音信息(S104)。將在後文更詳細地描述信道選擇處理的細節。然後調整信號電平(包括電流水平)，以使得通過信道選擇處理獲得的語音信息變為刺激脈衝，該刺激脈衝可以提供與刺激脈衝的動態範圍相一致的合適的聲音感覺(音量)(S105)。將獲得的語音信息發送給刺激單元7，並從各電極8a～8d輸出刺激脈衝(S106)。
接下來將描述信道選擇處理(S104)的詳細過程。首先，使信道選擇處理中的計數「k」復位(S201)。然後將ATM中的語音信息按著信號電平的大小順序排列(S202)。此時，如果最大值為零(0)，則不再需要更多處理並因此處理結束(S203是)。
將語音信息的最高信號電平、信道信息和時間信息分別賦給變量pk、ck和tk(S204和S205)。如下示出了用於找出最大值並賦給變量pk的數學表達式(2)am,n=maxi,j{ai,j},pk=am,n,]]>i∈I，j∈T(2)然後執行信道內刺激頻率調整，通過在信號幀內在各個信道中留下在一個信道中具有較高信號電平的語音信息，而將刺激脈衝的數量調整為在一個信道中允許的頻率(刺激率)(S206)。
下面將參照圖7來描述信道內刺激頻率調整。圖7(a)是具有橫坐標(時間t)和縱坐標(信號電平p)的曲線圖，並表示在信道k(ck)處理之前的語音信息。橫坐標的刻度表示採樣率。即，橫坐標的刻度單位表示在處理之前存在語音信息。採樣率例如為20kHz。符號「rc」是信道刺激率Rc(例如，1800pps)的倒數，並表示僅允許一個刺激脈衝存在的時間段。信道刺激率Rc是每個信道的刺激率。
在一次信道內刺激頻率調整中，應該在從時間點(Bc)至時間點(Ec)的時間段內進行處理，其中時間點(Bc)比時間點tk提前時間段rc，而時間點(Ec)比時間點tk滯後時間段rc。如果從tk減去rc獲得的值大於零(0)(S301否)，則將Bc確定為從tk減去rc而獲得的時間(S302)，而如果從tk減去rc獲得的值小於零(0)(S301是)，則將Bc確定為零(0)以作為信號幀的開頭(S303)。如果通過向tk增加rc而獲得的值小於信號幀的最後時間(wn)(S304否)，則將Ec確定為通過向tk增加rc而獲得的時間(S305)，而如果通過向tk增加rc而獲得的值大於最後時間(wn)(S304是)，則將Ec確定為wn以作為信號幀的末端(S306)。
在從Bc至Ec的時間段內執行用於留下具有最高信號電平的語音信息的處理。這將參照圖7進行描述。如圖7(a)所示，在從Bc至Ec的時間段內，儘管有兩個或更多個具有較高信號電平的語音信息pa和pb，但是僅留下具有最大值的語音信息pa而其它語音信息將被拋棄。即，如圖7(b)所示，在從Bc至Ec的時間段內將僅留下信號「a」。使用下面的數學表達式(3)來留下最大值(S307)。
ack,t=0,t[Bc,tk[]tk,Ec]---(3)]]>信道內刺激頻率調整可以用下面的數學表達式(4)來表示。
am，n＝0，其中|n-nc|1Rc,]]>n∈T (4)然後執行信道間刺激頻率調整(S207)，通過在信號幀中留下具有高信號電平的語音信息而進行調整，以使得刺激脈衝的數量應該為在整個信道中允許的頻率(刺激率)。
下面將參照圖8來描述信道間刺激頻率調整。圖8(a)是具有橫坐標(時間t)和縱坐標(信號電平p)的曲線圖，並表示在信道k(ck)的信道內刺激頻率調整之後的語音信息。橫坐標的刻度表示採樣率。即，橫坐標的刻度單位表示在處理之前存在語音信息。採樣率例如為20kHz。符號「ri」是脈衝刺激率Ri(例如，14400ppc)的倒數，並表示僅允許一個刺激脈衝存在的時間段。脈衝刺激率Ri是考慮了所有信道的每個信號幀的刺激率。
在一次信道間刺激頻率調整中，應該在從時間點(Bi)至時間點(Ei)的時間段內進行處理，其中時間點(Bi)比時間點tk提前時間段ri，而時間點(Ei)比時間點tk滯後時間段ri。如果從tk減去ri獲得的值大於零(0)(S401否)，則將Bi確定為從tk減去ri而獲得的時間(S402)，而如果從tk減去r1獲得的值小於零(0)(S401是)，則將B1確定為零(0)以作為信號幀的開頭(S403)。如果通過向tk增加ri而獲得的值小於信號幀的最後時間(wn)(S404否)，則將Ei確定為通過向tk增加r1而獲得的時間(S405)，而如果通過向tk增加ri獲得的值大於最後時間(wn)(S404是)，則將Ei確定為wn以作為信號幀的末端(S406)。
在從Bi至Ei的時間段內執行用於留下具有最高信號電平的語音信息的處理。這將參照圖8進行描述。如圖8(a)和圖8(b)所示，當從Bi至Ei的時間段內在信道ck中存在信號「a」且在信道ck+1中存在信號「c」時，僅留下具有較高信號電平的信號「a」，而其它語音信息將被拋棄。即，如圖8(c)所示，在從Bi至Ei的時間段內將僅留下信號「a」。使用下面的數學表達式(5)來留下最大值(其中，Rc＜Ri)(S407)。
ai，t＝0，t∈[Bi，Ei]，i∈[1，ck[U]ck，M](5)信道間刺激頻率調整可以用下面的數學表達式(6)來表示。
al，n＝0，其中|n-ni|1Ri,]]>l∈I，n∈T(6)此後，在增加計數k的同時，在一個信號幀中重複上述處(S202～S207)(S208)。如果在下一時間段tk最大值變為零(0)，則不再需要更多處理並因此處理結束(S203是)。通過這些處理，在各個計數k中，將時間信息tk賦給語音信息的信號電平pk和信道信息ck，並根據信道選擇處理(S104)進行輸出。
圖6中示出了整個信道選擇處理(S104)。圖6A表示在四(4)個信道處理之前的語音信息。如圖6B所示，首先除去了信號幀中具有最高信號電平的信號p1附近的區域，然後對於信號p2執行相同的處理，並因此在相同信道中連續執行相同的處理。在其它信道中也執行這種處理。如圖6C所示，最終只留下刺激脈衝所需的語音信息。
圖9表示處理語音「utsu」的實際語音處理的結果。圖9A是在處理之前的頻譜圖，其中B1～B3表示根據本發明處理的結果語音的輸出。相對地，C1～C3表示由傳統技術處理的結果，用以與結果B1～B3進行比較。在B1～B3(C1～C3)中，B1(C1)表示信號幀的整體輸出，而B2(C2)是前部垂直橢圓的放大圖，並表示語音「utsu」的「u」部分。另一方面，B3(C3)是中央垂直橢圓的放大圖，並表示語音「utsu」的「ts」部分。
迄今為止，由於認為為了再現出更忠實於實際語音的語音，優選地是無遺漏地輸出所有的採樣語音信息作為刺激，因此有意地使一些同時生成的語音信息比其它同時生成的語音信息晚些輸出。然而，該延遲導致不自然的語音再現。從圖9中的C2和C3所示的輸出變為規則輸出這一事實中，可明顯看出該不自然的情況。根據本發明，能夠以相對較高的概率實現各個信道中刺激脈衝的輸出周期性，並且其與相應信道的中心頻率的倒數相對應。
本發明的發明人發現，通過僅輸出所選的具有高信號電平的語音信息作為刺激，而不是無遺漏地輸出所有的採樣語音信息，可以實現語音的足以理解的再現。另外，根據本發明的語音處理方法，可以為人工內耳的佩帶者提供接近自然語音的語音，這是因為可以保持待再現的語音信息的相對時間間隔。
根據本發明的人工內耳1，因為通過信道內刺激頻率調整和信道間刺激頻率調整，在僅允許存在一個刺激脈衝的時間段內僅留下具有最高信號電平的語音信息，所以能夠以接近固有周期的值並以相對較高的概率再現出各個信道的自然變動。
儘管參考對於每個信號幀進行刺激調整的本發明的優選實施例進行了描述，但是也可以考慮其它信號幀進行刺激調整。
根據權利要求1的發明，由於留下具有高信號電平的語音信息以將刺激脈衝的數量調整為允許的刺激，從而可以保持與語音信息的生成順序相同的順序以及待再現的語音信息的相對時間間隔，因此可以為人工內耳的佩帶者提供接近自然語音的語音。
根據權利要求2和3的發明，由於在僅允許存在一個刺激脈衝的時間段內僅留下具有最高信號電平的語音信息，因此能夠以接近固有周期的值並以相對較高的概率再現出各個信道的自然變動。
根據權利要求4的發明，由於留下具有高信號電平的語音信息以將刺激脈衝的數量調整為允許的刺激，從而可以保持與語音信息的生成順序相同的順序以及待再現的語音信息的相對時間間隔，因此可以為人工內耳的佩帶者提供接近自然語音的語音。
根據權利要求6的發明，由於在僅允許存在一個刺激脈衝的時間段內僅留下具有最高信號電平的語音信息，因此能夠以接近固有周期的值並以相對較高的概率再現出各個信道的自然變動。
已經參考優選實施例描述了本發明。在閱讀並理解了前面詳細描述後，修改和變動對於本領域技術人員是顯而易見的。本發明應理解為包括所有這些變動和修改，只要它們落在所附權利要求或其等價物的範圍內。
權利要求
1.一種人工內耳的語音轉換方法，其中在內耳內布置有多個電極的電極陣列，通過將由麥克風採樣的語音信息傳遞給所述電極而生成電刺激脈衝，並且通過將所述語音信息傳遞給內耳作為電刺激脈衝而增強聽覺，該方法的特徵在於包括如下步驟使用多個帶通濾波器在作為預定採樣周期的信號幀內將語音信息區分為各個頻帶，將與所述頻帶相對應的信道信息添加到語音信息中，在各個信道中，通過留下一個信道中具有較高信號電平的語音信息，而將刺激脈衝的數量調整為一個信道中允許的頻率，通過將在各個信道中留下的所有語音信息中具有較高信號電平的語音信息留下，而將刺激脈衝的數量調整為在所有信道中允許的頻率，以及通過將留下的語音信息提供給與信道相對應的電極而生成刺激脈衝。
2.根據權利要求1所述的方法，其中，當調整各個信道中的刺激脈衝的頻率時，如果在僅允許一個信道中存在一個刺激脈衝的時間段內有多個語音信息，則僅留下具有最高信號電平的一個語音信息。
3.根據權利要求1所述的方法，其中，當調整所有信道中的刺激脈衝的頻率時，如果在僅允許一個信道中存在一個刺激脈衝的時間段內有多個語音信息，則僅留下具有最高信號電平的一個語音信息。
4.一種人工內耳，其中在內耳內布置有多個電極的電極陣列，通過將由麥克風採樣的語音信息傳遞給所述電極而生成電刺激脈衝，並且通過將所述語音信息傳遞給內耳作為電刺激脈衝而增強聽覺，該人工內耳的特徵在於包括信道信息添加裝置，使用多個帶通濾波器在作為預定採樣周期的信號幀內將語音信息區分為各個頻帶之後，將與所述頻帶相對應的信道信息添加到語音信息中，信道內刺激頻率調整裝置，通過在信號幀內在各個信道中留下在一個信道中具有較高信號電平的語音信息，而將刺激脈衝的數量調整為在一個信道中允許的頻率，信道間刺激頻率調整裝置，通過將在各個信道中留下的所有語音信息中具有較高信號電平的語音信息留下，而將刺激脈衝的數量調整為所有信道中允許的頻率，以及刺激脈衝生成裝置，用於將留下的語音信息轉換成刺激脈衝並將該刺激脈衝提供給與信道相對應的電極。
5.根據權利要求4所述的人工內耳，其中，如果在僅允許一個信道中存在一個刺激脈衝的時間段內存在多個語音信息，則所述信道內刺激頻率調整裝置僅留下具有最高信號電平的一個語音信息。
6.根據權利要求4所述的人工內耳，其中，如果在僅允許信道之間存在一個刺激脈衝的時間段內存在多個語音信息，則所述信道間刺激頻率調整裝置僅留下具有最高信號電平的一個語音信息。
全文摘要
提供了一種人工內耳中的語音轉換方法以及一種人工內耳，能夠使用該人工內耳為使用者提供接近自然語音的語音，並可以以接近對各信道唯一的周期的值隨機地再現自然變動。在信號幀內，通過使用帶通濾波器根據各個頻率對語音信息進行區分。將關於相應頻帶的信道信息添加到語音信息中。對於各個信道，留下在一個信道內具有大信號電平的語音信息，以將刺激脈衝的數量調整為對於一個信道允許的頻率。在為各個信道留下的所有語音信息中，留下具有大信號電平的語音信息，以將刺激脈衝的數量調整為對於所有信道允許的頻率。將保留的語音信息傳遞給與信道相對應的電極，從而生成刺激脈衝。
文檔編號H04R25/00GK1832713SQ200480022558
公開日2006年9月13日 申請日期2004年8月3日 優先權日2003年8月7日
發明者北澤茂良, 桐山伸也, 埃爾德貝特·達希策倫, 巖崎聰 申請人:財團法人 浜松科學技術研究振興會