非常短的基音周期檢測和編碼的製作方法

2023-04-29 22:48:11 1

本發明大體涉及信號編碼領域，且在特定實施例中，涉及一種用於非常短的基音周期檢測和編碼的系統和方法。
背景技術：
：傳統上，參數語音編碼方法都是利用語音信號中本身的冗餘，來減少待發送的信息量，並估算一個一個信號的語音樣本在短時段內的參數。這種冗餘起因於語音波形周期性的重複和語音信號的頻譜包絡慢變過程。不同形式的語音波形的冗餘對應於不同類型的語音信號，例如濁音和清音。就濁音語音而言，語音信號基本上是周期性的。然而，這種周期性在語音段中是變化的，而且周期波形在語音段之間緩慢變化。低比特率的語音編碼可以很大地受益於這種周期性。濁音語音周期還稱為基音周期，這種基音周期預測通常被命名為長期預測(long-termprediction：ltp)。至於清音語音，其信號更像是一個隨機噪聲，可預測性也較小。技術實現要素：根據一項實施例，一種由語音或音頻編碼裝置實施的非常短的基音周期檢測和編碼的方法包括：使用時域和頻域基音周期檢測技術的組合在語音或音頻信號中檢測比常規最小基音周期限制更短的非常短的基音周期，所述組合包括使用基音周期相關係數和檢測缺少低頻能量。所述方法進一步包括對所述語音或音頻信號在最小的非常短的基音周期限制到所述常規最小基音周期限制的範圍內的所述非常短的基音周期進行編碼，其中所述最小的非常短的基音周期限制是預定義的並且小於所述常規最小基音周期限制。根據另一實施例，一種由語音或音頻編碼裝置實施的非常短的基音周期檢測和編碼的方法包括：通過使用基音周期相關係數檢測時域中比常規最小基音周期限制更短的語音或音頻信號的非常短的基音周期，進一步通過檢測所述語音或音頻信號中缺少低頻能量檢測頻域中存在所述非常短的基音周期，以及使用開始於預定義最小的非常短的基音周期限制的基音周期範圍對所述語音或音頻信號的非常短的基音周期進行編碼，所述最小的非常短的基音周期限制小於所述常規最小基音周期限制。在又一實施例中，一種支持用於語音或音頻編碼的非常短的基音周期檢測和編碼的裝置包括一個處理器和一個計算機可讀存儲介質，其存儲由所述處理器執行的程序。所述程序包括可進行如下操作的指令：使用時域和頻域基音周期檢測技術的組合在語音信號中檢測比常規最小基音周期限制更短的非常短的基音周期，所述組合包括使用基音周期相關係數和檢測缺少低頻能量，並且對所述語音或音頻信號在最小的非常短的基音周期限制到所述常規最小基音周期限制的範圍內的所述非常短的基音周期進行編碼，其中所述最小的非常短的基音周期限制是預定的並且小於所述常規最小基音周期限制。附圖說明為了更完整地理解本發明及其優點，現在參考以下結合附圖進行的描述，其中：圖1是碼激勵線性預測技術(celp)編碼器的方框圖。圖2是對應於圖1中的celp編碼器的解碼器的方框圖。圖3是另一具有自適應分量的celp編碼器的方框圖。圖4是另一對應於圖3中的celp編碼器的解碼器的方框圖。圖5是基音周期小於子幀大小和半幀大小的濁音語音信號的示例。圖6是基音周期大於子幀大小而小於半幀大小的濁音語音信號的示例。圖7示出了濁音語音信號的頻譜的示例。圖8示出了圖7中的經過雙倍基音周期編碼的相同信號的頻譜的示例。圖9示出了用於語音或聲音信號的非常短的基音周期檢測和編碼的實施例方法。圖10是可用於實施各種實施例的處理系統的方框圖。具體實施方式下文將詳細論述當前優選實施例的製作和使用。然而，應了解，本發明提供可在各種具體上下文中體現的許多適用的發明性概念。所論述的具體實施例僅僅說明用以實施和使用本發明的具體方式，而不限制本發明的範圍。針對濁音語音或清音語音，參數編碼通過分割頻譜包絡分量和語音信號的激勵分量來減少語音段的冗餘。頻譜包絡慢變過程可以被描述成線性預測編碼(linearpredictioncoding：lpc)(也稱為短期預測(short-termprediction：stp))。低比特率的語音編碼也同樣受益於短期預測。這種編碼的優點就來自於參數的慢速變化。進一步地，語音信號參數可能不會在幾毫秒內的值明顯不同。在8千赫茲(khz)、12.8khz或16khz採樣率時，語音編碼算法將10毫秒至30毫秒範圍內的語音段作為常用的幀長。而20毫秒是最常用的幀長。在g.723.1、g.729、g.718、efr、smv、amr、vmr-wb或amr-wb等較近期的知名國際標準中已經採用了碼激勵線性預測技術(codeexcitedlinearpredictiontechnique：celp)。celp是一種編碼激勵、長期預測和短期預測技術的結合。儘管不同編解碼器的celp細節可能顯著不同，但利用celp的語音編碼算法在語音壓縮領域已經相當流行。圖1示出了celp編碼器100的示例，其中利用綜合分析方法可以最小化合成語音信號102和原始語音信號101之間的加權誤差109。celp編碼器100執行不同的操作或功能。對應的函數w(z)通過誤差加權濾波器110實現。函數1/b(z)通過長期線性預測濾波器105實現。函數1/a(z)通過短期線性預測濾波器103實現。來自編碼激勵塊108的編碼激勵107，也稱為固化碼本激勵，在通過隨後濾波器之前乘以增益gc106調節。短期線性預測濾波器103通過分析原始信號101實施並由一組係數表示：誤差加權濾波器110與上述短期線性預測濾波器函數有關。加權濾波器函數的典型形式可能是其中β＜α，0＜β＜1，且0＜α≤1。長期線性預測濾波器105依賴於信號基音周期和基音周期增益。可以從原始信號、殘餘信號或加權原始信號中估計基音周期。長期線性預測濾波器函數可以表示為來自編碼激勵塊108中的編碼激勵107可由脈衝類似信號或噪聲類似信號組成，這些信號從數學意義上構建或保存在碼本中。編碼激勵索引、量化增益索引、量化長期預測參數索引，以及量化短期預測參數索引可以從編碼器100傳輸到解碼器。圖2示出了解碼器200的示例，該解碼器可接收來自編碼器100的信號。編碼器200包括輸出合成語音信號206的後處理塊207。解碼器200包括多個塊的組合，多個塊包含編碼激勵塊201、長期線性預測濾波器203、短期線性預測濾波器205，以及後處理塊207。解碼器200中塊的配置類似於編碼器100中對應的塊的配置。後處理塊207可包含短期後處理和長期後處理功能。圖3示出了另一celp編碼器300，其通過使用自適應碼本塊307實施長期線性預測。自適應碼本塊307使用過去的合成激勵304或在基音周期內重複過去的激勵基音周期。編碼器300中的剩餘塊和分量類似於上面所述的塊和分量。當基音周期相對較大或長時，編碼器300可以以整數值編碼基音周期。當基音周期相對較小或短時，該基音周期可以以更加準確的極小值進行編碼。基音周期的周期性信息用來(在自適應碼本塊307處)生成激勵的自適應分量。這時，這種激勵分量將乘以增益gp305(還稱為基音周期增益)。自適應碼本塊307和編碼激勵塊308的兩個由增益控制幅度的激勵分量在通過短期線性預測濾波器303前被加到一起。這兩個增益(gp和gc)需量化，然後發送到解碼器。圖4示出了解碼器400，其可接收來自編碼器300的信號。解碼器400包括輸出合成語音信號407的後處理塊408。解碼器400類似於解碼器200，而解碼器400中的分量類似於解碼器200中對應的分量。然而，解碼器400除了包含其他塊(含有編碼激勵塊402、自適應碼本401、短期線性預測濾波器406，以及後處理塊408)的組合之外還包含自適應碼本塊307。後處理塊408可包含短期後處理和長期後處理功能。其他塊類似於解碼器200中對應的分量。由於濁音語音具有相對強的周期性本質，因而長期預測可以有效地用在濁音語音中。濁音語音的相鄰基音周期可以彼此相似，這意味著，從數學意義上來說，下面激勵表達中的基音周期增益gp相對較高或接近1，e(n)＝gp·ep(n)+gc·ec(n)(4)其中ep(n)是以一個由n為取樣序數的子幀，它從使用過去的合成激勵304或403的自適應碼本塊307或401發送過來。參數ep(n)可以進行自適應地低通濾波，因為低頻區域可能比高頻區域更具有周期性或更多諧波。參數ec(n)是從激勵碼本308或402(還稱為固定碼本)發送過來的，它是當前激勵貢獻。參數ec(n)可以例如使用高通濾波增強、基音周期增強、色散增強、共振峰增強等增強。對於濁音語音，來自自適應碼本塊307或401的ep(n)的貢獻可以是主導的，而且基音周期增益gp305或404的值大約為1。可以更新每個子幀的激勵。例如，一個典型的幀的大小約為20毫秒，一個典型子幀的大小約為5毫秒。對於典型的濁音語音信號來說，一個幀可包括兩個以上的基音周期。圖5示出了濁音語音信號500的示例，其中基音周期503小於子幀大小502和半幀大小501。圖6示出了濁音語音信號600的另一示例，其中基音周期603大於子幀大小602而小於半幀大小601。通過受益於人類聲音特徵或人類嗓音產生模型，使用celp對語音信號進行編碼。celp算法已經在itu-t、mpeg、3gpp以及3gpp2等各種標準中使用。為了更加有效地對語音信號進行編碼，可以將語音信號分成不同的種類，其中每個種類以不同的方式進行編碼。例如，在g.718、vmr-wb或amr-wb等一些標準中，可以將語音信號分成如下種類：清音(unvoiced)、過渡語音(transition)、普通語音(generic)、濁音(voiced)以及噪音(noise)。對於每種種類，lpc或stp濾波器用於表示頻譜包絡，但是對lpc濾波器的激勵可能不一樣。unvoiced和noise種類的語音信號可以使用噪聲激勵和一些激勵增強進行編碼。transition種類的語音信號可以在不使用自適應碼本或ltp的情況下使用脈衝激勵和一些激勵增強進行編碼。generic種類的語音信號可以使用傳統的celp方法，例如在g.729或amr-wb中使用的代數celp，其中一個20毫秒(ms)的幀包含四個5ms的子幀。自適應碼本激勵分量和固定碼本激勵分量通過每個幀的一些激勵增強產生。第一和第三子幀的自適應碼本的基音周期在最小基音周期限制pit_min到最大基音周期限制pit_max的全範圍內進行編碼，第二和第四子幀的自適應碼本的基音周期與先前編碼的基音周期進行不同地編碼。voiced種類的語音信號的編碼與generic種類的語音信號的編碼略有不同，其中第一子幀中的基音周期進行全範圍編碼，從最小基音周期限制pit_min到最大基音周期限制pit_max，其他子幀中的基音周期與先前編碼的基音周期進行不同地編碼。例如，假設激勵採樣率為12.8khz，該pit_min值可以是34而pit_max值可以是231。對於正常語音信號來說，celp編解碼器(編碼器/解碼器)能夠高效工作，但是對於音樂信號和/或歌聲信號來說，低比特率celp編解碼器可能不工作。對於穩定的濁音語音信號來說，voiced種類的語音信號的基音周期編碼方法可以通過減少比特率以使用更加差異的基音周期編碼對基音周期進行編碼從而提供比generic種類的語音信號的基音周期編碼方法更好的性能。然而，voice種類的語音信號或generic種類的語音信號的基音周期編碼方法仍存在一個問題：當真實基音周期相當或相對很短時，例如，當真實性能延遲小於pit_min時，性能降低或不足夠好。當fs＝12.8khz時，pit_min＝34到pit_max＝231的基音周期範圍可以適合各種人類聲音。然而，典型音樂或唱歌信號的真實基音周期可以顯著小於celp算法中定義的最小限制pit_min＝34。當真實基音周期是p時，對應的基頻是f0＝fs/p，其中fs是取樣頻率，f0是頻譜中第一諧振峰的位置。因此，最下基音周期限制pit_min實際上可限定celp算法的最大基頻限制fmin＝fs/pit_min。圖7示出了濁音語音信號的頻譜700的示例，該頻譜包括諧振峰701和頻譜包絡702。真實基頻(第一諧振峰的位置)已經超過最大基頻限制fmin，這樣，celp算法中已傳輸的基音周期等同於真實基音周期的雙倍或多倍。最為多倍真實基音周期的錯誤基音周期可以導致質量下降。換句話說，當諧波音樂信號或歌聲信號的真實基音周期小於celp算法中限定的最小周期限制pit_min，已傳輸的周期可以是真實基音周期的雙倍、三倍或多倍。圖8示出了經過雙重基音周期編碼的相同信號的頻譜800的示例(已編碼和傳輸的基音周期是真實基音周期的雙倍)。頻譜800包括諧振峰801、頻譜包絡802，以及真實諧振峰之間不想要的小峰。圖8中的小頻譜峰可導致不舒服的聽覺扭曲。本文中提供的系統和方法實施例用於避免voiced種類或generic種類的語音信號的基音周期編碼的兩個潛在問題。系統和方法實施例用於對開始於相當短的值pit_min0(pit_min0<pit_min)的範圍內的基音周期進行編碼，這可以預定義。該系統和方法包括使用時域和頻域流程的組合(例如，使用基音周期相關函數和能譜分析)檢測(例如，四個子幀的)語音或音頻信號中是否存在非常短的基音周期。一旦檢測到非常短的基音周期的存在，隨後可以在從pit_min0到pit_min的範圍內確定合適的非常短的基音周期值。通常，音樂諧波信號或歌聲信號比正常語音信號更平穩。正常語音信號的基音周期(或基頻)可隨時間不斷變化。然而，音樂信號或歌聲信號的基音周期(或基頻)可在相對較長的時長裡相對緩慢變化。針對相當短的基音周期，為了有效編碼，具有精確的基音周期是很有用的。相對較短的基音周期從一個子幀到下一個子幀變化相對緩慢。這意味著當真實基音周期相當短時，基音周期編碼不需要相當大的動態範圍。相應地，一個基音周期編碼模式可用於限定高精確度和相對較小的動態範圍。該基音周期編碼模式用來對相對較短的基音周期信號或相當穩定的基音周期信號進行編碼，這些信號在前一子幀和當前子幀之間具有相對較小的基音周期差異。相當短的基音周期範圍被定義為從pit_min0到pit_min。例如，在採樣頻率fs＝12.8khz，相當短的基音周期範圍的定義可以是pit_min0＝17和pit_min＝34。當基音周期候選相當短時，僅使用時域或頻域的基音周期檢測的方法可能不可靠。為了可靠地檢測短基音周期值，可能需要檢查三個條件：(1)在頻域中，從0hz到fmin＝fs/pit_minhz的能量相對足夠低；(2)在時域中，與從pit_min到pit_max的範圍內的最大基音周期相關係數相比，從pit_min0到pit_min的範圍內的最大基音周期相關係數相對足夠高；以及(3)在時域中，從pit_min0到pit_min的範圍內的最大標準化基音周期相關係數足夠高地接近1。與例如靜音檢測和語音分類等還可以增加的其它條件相比，這三個條件比更為重要。對於基音周期候選p而言，標準化基音周期相關係數可以定義為如下數學形式，在(5)中，sw(n)是加權語音信號，分子是相關係數，並且分母是能量標準化因子。使voicing成為當前幀中的四個子幀的平均標準化基音周期相關係數值：voicing＝[r1(p1)+r2(p2)+r3(p3)+r4(p4)]/4(6)其中r1(p1)、r2(p2)、r3(p3)和r4(p4)是為每個子幀計算的四個標準化基音周期相關係數，並且每個子幀的p1、p2、p3和p4都是從p＝pit_min到p＝pit_max的基音周期範圍內找到的最佳基音周期候選。從前一幀到當前幀的平滑基音周期相關係數可以是通過使用開環基音周期檢測方案，候選基音周期可以是多個基音周期。如果該開環基音周期是正確的，那麼頻譜峰存在在相應基音周期頻率(基頻或第一諧振頻率)周圍並且相關頻譜能量相對較大。此外，相應基音周期頻率周圍的平均能量相對較大。否則，可能存在相當短的基音周期。該步驟可以與下文所述的檢測缺少低頻能量的方案結合以檢測可能的相當短的基音周期。在檢測缺少低頻能量的方案中，頻率區域[0,fmin](hz)中的最大能量被定義為energy0(db)，頻率區域[fmin,900](hz)中的最大能量被定義為energy1(db)，並且energy0和energy1之間的相對能量比被定義為ratio＝energy1-energy0.(8)可以通過乘以平均標準化基音周期相關係數值voicing加權該能量比：使用voicing因數進行(9)中的加權的原因是短基音周期檢測對於濁音語音或諧波音樂而言是有意義的，但對於清音語音和非諧波音樂而言可能是無意義的。在使用ratio參數檢測缺少低頻能量之前，為減少不確定性平滑ratio參數是有益的：使lf_lack_flag＝1表示檢測到缺少低頻能量(否則，lf_lack_flag＝0)，lf_lack_flag的值可以通過以下程序a確定：如果沒有滿足以上條件，lf_lack_flag保持不變。通過最大化等式(5)以及搜索從p＝pit_min0到pit_min可以找到最初相當短的基音周期候選pitch_tp，r(pitch_tp)＝max{r(p),p＝pit_min0,….,pit_min}.(11)如果voicing0表示當前的短基音周期相關係數，voicing0＝r(pitch_tp),(12)則從前一幀到當前幀的平滑短基音周期相關係數可以是通過使用以上可用參數，可以通過以下流程b決定最終相當短的基音周期：在上述流程中，vad表示靜音檢測。圖9示出了用於語音或音頻信號的非常短的基音周期檢測和編碼的實施例方法900。方法900可以由語音/音頻編碼的編碼器，例如編碼器300(或100)實施。類似的方法還可以由用於語音/音頻編碼的編碼器實施，例如編碼器400(或200)。在步驟901，語音或音頻信號或包括四個子幀的幀分類為，例如voiced種類或generic種類。在步驟902，例如使用等式(5)，為候選基音周期p計算標準化基音周期相關係數r(p)。在步驟903，例如使用等式(6)，計算平均標準化基音周期相關係數voicing。在步驟904，例如使用等式(7)，計算平滑基音周期相關係數voicing_sm。在步驟905，在頻率區域[0,fmin]中檢測到最大能量energy0。在步驟906，在頻率區域[fmin,900]中檢測到最大能量energy1。在步驟907，例如使用等式(8)，計算energy1和energy0之間的能量比ratio。在步驟908，例如使用等式(9)，通過平均標準化基音周期相關係數voicing調整比ratio。在步驟909，例如使用等式(10)，計算平滑比lf_energyratio_sm。在步驟910，例如使用等式(11)和(12)，計算最初非常短的基音周期pitch_tp的相關係數voicing0。在步驟911，例如使用等式(13)，計算平滑短基音周期相關係數voicing0_sm。在步驟912，例如使用流程a和b，計算最終非常短的基音周期。信噪比(signaltonoiseratio:snr)是語音編碼的客觀測試測量方法之一。加權分段snr(weightedsegmentalsnr:wsegsnr)是另一種主觀測試測量方法，其比snr稍微靠近真感知質量測量。snr或wsegsnr中相對較小的差別可能察覺不到，而snr或wsegsnr中的較大差別可能很容易或清晰地察覺到。表1和表2示出了在引進/沒有引進非常短的基音周期編碼的情況下的主觀測量結果。這些表示出了當信號包含真實非常短的基音周期時，引進非常短的基音周期編碼能夠顯著提升語音或音樂編碼質量。其他聽力測試結果還示出了具有真實基音周期小於等於pit_min的語音或音樂質量在使用上述步驟和方法之後顯著提高。表1具有真實基音周期小於等於pit_min的清晰語音的snr6.8kbps7.6kbps9.2kbps12.8kbps16kbps無短基音周期5.2415.8656.7927.9749.223具有短基音周期5.7326.4247.2728.3329.481差異0.4910.5590.4800.3580.258表2具有真實基音周期小於等於pit_min的清晰語音的wsegsnr6.8kbps7.6kbps9.2kbps12.8kbps16kbps無短基音周期6.0736.5937.7199.03210.257具有短基音周期6.5917.3038.1849.40710.511差異0.5280.7100.4650.3650.254圖10是可用於實施各種實施例的裝置或處理系統1000的方框圖。例如，處理系統1000可以是網絡部件的一部分或耦合到網絡部件，例如路由器、伺服器或任何合適的網絡部件或裝置。特定設備可以利用所示的所有組件，或僅組件的子集，而集成水平隨設備的不同而不同。進一步地，設備可以包含部件的多個實例，如多個處理單元、處理器、存儲器、發射器、接收器等等。處理系統1000可以包括配備有一個或多個輸入/輸出設備的處理單元1001，所述輸入/輸出設備包括揚聲器、麥克風、滑鼠、觸控螢幕、小鍵盤、鍵盤、印表機、顯示器等等。處理單元1001可包括中央處理單元(centralprocessingunit：cpu)1010、存儲器1020、大容量存儲設備1030、視頻適配器1040，以及連接到總線的i/o接口1060。所述總線可以為任何類型的若干總線架構中的一個或多個，包括存儲總線或者存儲控制器、外設總線以及視頻總線等等。所述cpu1010可包括任意類型的電子數據處理器。存儲器1020可包括任意類型的系統存儲器，比如靜態隨機存取存儲器(staticrandomaccessmemory：sram)、動態隨機存取存儲器(dynamicrandomaccessmemory：dram)、同步dram(synchronousdram：sdram)、只讀存儲器(read-onlymemory：rom)或其組合等等。在實施例中，存儲器1020可包括在開機時使用的rom以及執行程序時使用的程序和數據存儲的dram。在實施例中，存儲器1020是非瞬時的。大容量存儲器設備1030可包括任意類型的存儲器設備，其用於存儲數據、程序和其他信息，並使這些數據、程序和其他信息通過總線訪問。大容量存儲器設備1030可包括如下項中的一種或多種：固態磁碟、硬碟驅動器、磁碟驅動器、光碟驅動器等等。視頻適配器1040和i/o接口1060提供接口以耦合外部輸入輸出設備至處理單元。如圖所示，輸入輸出設備的示例包括耦合至視頻適配器1040的顯示器1090和耦合至i/o接口1060的滑鼠/鍵盤/印表機1070。其它設備可以耦合至處理單元1001，可以利用附加的或更少的接口卡。例如，可使用串行接口卡(未示出)將串行接口提供給印表機。處理單元1001可以包括一個或多個網絡接口1050，網絡接口可包括有線鏈路，如乙太網電纜等等，和/或無線鏈路以接入節點或者一個或多個網絡1080。網絡接口1050允許處理單元1001通過網絡1080與遠程單元通信。比如，網絡接口1050可以通過一個或多個發送器/發射天線以及一個或多個接收器/接收天線提供無線通信。在實施例中，所述處理單元1001耦合到區域網或廣域網用於數據處理並與遠程設備通信進行通信，所述遠程設備可包括其他處理單元、網際網路、遠程存儲設施或諸如此類。雖然已參考說明性實施例描述了本發明，但此描述並不意圖限制本發明。所屬領域的一般技術人員在參考該描述後，會顯而易見地認識到說明性實施例的各種修改和組合，以及本發明的其他實施例。因此，希望所附權利要求書涵蓋任何此類修改或實施例。當前第1頁12