用於聲學特徵的同步修改的方法和裝置的製作方法

2023-12-08 23:07:41

專利名稱：：用於聲學特徵的同步修改的方法和裝置的製作方法
技術領域：
：本發明涉及信號修改。更具體地說，但並非排他性地，本發明涉及在基於其它數位化聲音信號中的特徵修改一數位化聲音信號過程中出現的問題，其中，第一聲音信號和第二聲音信號的對應的特徵在各個信號中不出現在時間上相同的相對位置。
背景技術：
：公知的是，難以隨著音頻或音頻/視頻片段進行演講或演唱，使得新的表演是原來的演員或歌手的話語的恰好被同步地重複。因此，新的表演的記錄很不可能使其開始和細節的聲學特性與原唱音頻音軌同步。相似地，諸如新的歌手的音調(pitch)的特徵可能不如原唱歌手精確或複雜地改變。在專業音頻記錄產業和消費者基於計算機的遊戲和活動中存在許多情況，其中，聲音記錄包括語音，新記錄話音的音樂音調將受益於音調調整，通常意味著校正，以使其與原唱語音記錄合拍。此外，即使普通業餘演唱的記錄合拍，也將不具有專業歌手的熟練的發音方式和音調變化。圖4顯示對相同音樂音軌演唱相同詞語的大眾成員的音調測量(新的音調402)和專業歌手的音調測量(嚮導音調401)。語音化的信號(非零Hz音調值)的對應的部分(脈衝)的開始和結束之間的定時差異以及非語音化或靜默部分(處於零Hz)的位置的定時差異是頻繁且顯著的。在相同的相對時間直接將來自嚮導音調401的音調數據應用於新的音調402的數據是明顯錯誤的，並且不適合於所示段的真實量。這是典型的結果，並且示出待解決的基本問題。可以通過商業可用的硬體和軟體設備，自動將音樂的逐音高的音調調整應用於記錄的或實況演唱，所述商業可用的硬體和軟體設備通常將到來的音高調諧到可接受的音高音調的指定的固定柵格。在這樣的系統中，可以自動校正每一輸出音高，但因為該方法可能移除自然的和期望的"真人，，變調，因此可能經常導致不可接受的或不好的結果。在這樣的已知軟體和硬體設備中的目標音調識別的基本基礎是音樂的音階升降，其基本地是那些特定音高頻率的列表，設備應該首先比較輸入信號和所述特定音高頻率。多數設備有用於標準音階升降的預設音樂音階升降，並允許對其進行定製，例如以改變目標音調或保留未改變的特定音調化的音高。可以將已知軟體設置為自動模式，這也是通常硬體設備如何工作設備檢測輸入音調，在用戶指定的預設音階升降中識別最接近的音階升降音高，並改變輸入信號，從而輸出音調匹配於指定的音階升降音高的音調。輸出音調迴旋或重調音到目標音調的速率(有時描述為"速度")被控制以幫助更精確和更自然地維持自然音調輪廓(即作為時間的函數的音調)，並允許"風格"的較大的變化。然而，所記錄的業餘的演唱不能通過這樣的已知自動調整技術而被增強以實現在專業歌手的表演中找到的複雜和熟練的音調變調。還存在通過使用目標語音或其它存儲的目標語音參數數據的序列執行音調校正和/或其它發音修改以指定期望的修改的已知語音處理方法和系統。這些已知方法具有一個或多個明顯的缺點。例如1、被嚴格地應用於用戶的輸入語音信號的目標音調(或其它發音特徵)採用卡拉OK音軌的定時或用戶通常實時演唱的其它這樣的伴奏，並且不嘗試校準對應的發音特徵(美國專利5966687,日本專利2003044066)。如果用戶的語音相對於目標特徵(例如音調)數據的定時開始太早，則目標特徵將被錯誤地應用於稍後的詞句或音節。如果用戶的語音較晚，則出現相似的問題。在樂句中，具有音樂音軌的不符合時間的詞句或音節將被分配錯誤的音調或用於所述詞句或音節的其它特徵。相似地，當期望非語音化的段時出現的任意語音化的段不接收存儲的目標音調或其它目標特徵信息。2、應用於用戶的輸入語音的目標音調(或其它發音特徵)依賴並採用輸入的音素或相似地語音化/非語音化模式或僅僅元音的期望的存儲的序列(例如美國5750912)。這些方法通常需要用戶訓練或輸入音素數據的固定特性和/或需要充分接近用於精確識別的相同詞句的發音出現。如果不存在訓練並且用戶的音素設置充分不同於將不識別的所存儲的設置，則系統將不正確地運作。如果沒有將用戶的音素保持足夠長，或保持太短，則輸出音高可能被截斷或切斷。如果音素到達太早或太晚，則音調或特徵可能應用於正確的音素，但其將脫離音樂伴奏的時間。如果用戶發出錯誤的音素，則系統可能很容易無法保持匹配。此外，在歌曲中，單個音素通常被給定多個和/或連續音調的範圍，在這樣的音調上，基於音素的系統將不可能實現正確的音調或特徵改變。精確的音素識別還需要非零處理時間，這在實時系統中將延遲正確的特徵的應用。非發音的聲音(例如笛子)不能被用作嚮導信號或輸入。3、目標音調模型基於由表典型地描述的一組離散音高(例如Midi數據)，其通常在音調和時間上被量化。在此情況下，對輸入的語音的修改被限制為存儲的音高。該方法導致可以生成的受限的一組可用發音模式。內部音高過渡、顫音和滑奏控制通常將受限於基於粗音高的描述符(即Midi)。此外，處理過的音調校正的演唱語音可以出現機械(單調)的聲音，如果音調通過錯誤定時被應用於詞句的錯誤部分，則歌曲將聽起來很古怪，並且可能跑調。4、系統被設計為接近於實時地工作(如同在實況卡拉OK系統中)並在已經接收到(待校正的)輸入之後短暫地創建輸出。使用音素或相似特徵的系統(例如美國專利5750912)受限於非常局部化的時隙。這樣的系統可能脫離音階，導致例如卡拉OK歌手的元音匹配於嚮導目標演唱的錯誤部分。
發明內容因此，需要一種在新的發音表演的時變特徵和嚮導發音表演的對應的特徵之間首先建立詳細定時關係的方法和裝置。其次，必須將時間校準路徑用作時間映射以在準確的正確時間正確地確定特徵(例如音調)調整和將其應用於新的發音表演。當正確地完成時，這允許將在嚮導發音表演中發現的細微差別和複雜性(例如對於音調顫音、變化曲線、滑音、跳躍等)施加到新的發音表演。此外，如果應用了時間校準，則可以控制除了音調之外或作為音調的替換的其它特徵；例如聲門特性(例如呼吸或刺耳的語音)、聲道共振、EQ以及其它。本發明的另一目的在於提供用於發聲修改的方法，其操作在非理想輸入的信號條件下，尤其是新輸入(例如用戶語音)(a)是帶限的，和/或限制在動態範圍中(例如經由電話系統輸入)；(b)包含特定類型的噪聲或失真；或(c)來自於嚮導(目標)語音的具有不同口音、性別或年齡的人、或具有詞句和音素的傳遞的非常不同的定時，無論它們與嚮導(目標)信號相同還是不同，並且甚至具有不同的輸入語言。另一目的在於提供一種不需要關於待存儲的信號(例如關於信號的音素特性)或可以應用於輸出信號的一組詳細的可能的信號狀態的任意先驗信息的方法。因此，有關的另一目的在於提供一種可以以嚮導音頻信號和新音頻信號操作的方法，嚮導音頻信號和新音頻信號中的一個或兩者不需要是話音或演唱。已經存在用於音頻信號的時間映射和校準的系統和方法。在英國專利2117168和美國專利4591928(Bloom等人)中已經描述了用於確定兩個音頻信號之間的時間差並通過自動波形編輯來將音頻信號中的一個自動時間校準到另一音頻信號的方法和裝置。在JHolmesandWHolmes,(2001)，"Speechsynthesisandrecognition,2ndEdition",TaylorandFrancis,London中描述了用於時間校準的其它技術。用於音調改變和其它發音修改的技術也被4艮好地建立，一個示例是K.Lent(1989)，"Anefficientmethodforpitchshiftingdigitallysampledsound,"ComputerMusicJournalVol.13，No.4，atpages65to71。本發明由所附權利要求定義，現將參照所附權利要求。本發明的優選實施例提供用於將第二數位化音頻信號的一個或多個信號特性自動和正確修改為第一數位化音頻信號中指定的特徵的函數的方法和裝置。在這些實施例中，首先建立兩個信號中指定的特徵的相對定時關係。基於這些定時關係，可以正確地應用信號的特徵的詳細的和時間嚴格的修改。為了實現這個方面，生成時間校準函數以創建第一信號的特徵和第二信號的特徵之間的映射，並提供用於可選地編輯第二(用戶的)信號的函數。本發明的特定應用包括將所選擇的專業表演者的數位化發音表演的音頻特性精確地傳輸到不熟練的人的數位化音頻表演，並因此對其進行增強。本發明的一個具體應用在於將由公眾的典型成員生成的新音頻信號("新信號")的音調自動調整到由專業歌手生成的另一音頻信號("嚮導信號")的音調。該應用的示例是使用數位化音樂視頻作為原唱源的卡拉OK風格的記錄和回放系統，其中，在原唱音頻和可選的對應的視頻的回放期間，用戶的語音被數位化並輸入到所述裝置(作為新的記錄)。採用該系統，可以創建自動進行時間和音調校正的修改的用戶的語音信號。當修改的語音信號同步於原唱視頻而被回放時，關於音調和時間，用戶的語音可以精確地替代原唱表演者的記錄的語音，包括任意唇同步。在回放音樂視頻期間，如果在以用戶的修改的語音記錄進行回放期間原唱的、替代的語音信號不可聽見，則這種替代的影響甚至將更有效。在WO2004/040576中描述了修改的語音記錄可以與原唱背景音樂組合。本發明的其它應用在於創建用於電話系統的個性化聲音文件。在這樣的應用中，用戶演唱或甚至演講以提供語音信號，語音信號被記錄並其後被增強(例如被音調和時間校正以符合專業歌手版本的特性)，並且可選地與適當的背景音樂混合。其後，得到的增強的用戶記錄可以用於電話用戶作為個性化鈴音或用於其它目的的聲音文件。實施本發明的裝置其後可以採用例如耦合到包括電信網絡和/或網際網路的電信系統的伺服器計算機，並可以使用行動電話作為裝置和用戶之間的接口。附加地或可選地，行動電話可以適用於實施本發明。在這樣的系統中，可以將由本發明的實施例產生的表示這樣的信號的數據或修改的語音信號通過鈴音傳遞系統發送到所選擇的接收方，以用作鈴音或其它識別聲音信號。在本發明的優選實施例中，包括創建嚮導信號和新信號之間的依賴於時間的映射函數的步驟確保了無論嚮導信號和新信號之間的實質差別如何都在新信號中在適當的時間進行信號特徵修改。時間校準函數用於將控制特徵函數數據映射到期望的信號修改處理。所述修改處理訪問新信號並按照需要對其進行修改。該行動從新信號創建新的第三音頻信號。相應地，第三信號其後具有由作為嚮導信號的控制特徵指定的特徵所確定的期望的時變特徵，在一個實施例中，第二音頻信號(新信號)是使用來自時間校準函數的映射信息而被時間修改的(非線性時間壓縮或擴展)，從而其時變特徵在時間上與第一音頻信號校準。在上述期望的修改已經發生之前或之後可以產生這樣的時間校準。在替換實施例中，不對新的波形或修改的波形執行時間校準處理。反之，使用時間規整路徑來將第一信號的控制特徵(嚮導信號音頻控制參數)映射到笫二信號，以修改第二信號的波形的適當的部分並保持其原唱定時。通過執行處理而沒有實時處理的限制，可以執行嚮導信號和新信號的存儲的版本的詳細分析，開始在時間校準處理之前處理的兩種信號的統計上顯著且實質的量(即達到30秒或甚至是整個信號)，並關於長期信號特性進行關鍵判斷。相應地，可以容納大規模的時間差異(例如幾秒)，並且校正的和本地化的優化校準可以發生在詞句和樂句之內。此外，特徵修改也被"離線"完成，允許應用最高質量的處理以及與修改有關的數據的內插和/或平滑，以在應用於新信號之前移除明顯的總體錯誤。無需預先定義新信號的輸出特徵值的集合。例如，如果由用戶提供的新信號的音調將要被校正，從而匹配於以專業歌手的形式的嚮導信號的音調，則無需定義或設置可接受的音調值。反之，用戶的語音將被調整到在嚮導信號記錄中呈現和測量的值。無需將新信號限制為類似於嚮導信號或由與嚮導信號相同的聲學處理的類型來生成。例如，可以將單調話音時間和音調修改為符合獨奏木管樂器或鳥鳴。只要兩種信號具有可以被相關地對待的一些時變特徵，實現本發明的方法就可以創建具有適當的修改的特性的輸出信號。此外，新信號和嚮導信號的特徵可以在頻率上彼此偏離。例如，一個信號的音調可以是八度音階或更加偏離另一信號。應注意，一種或兩種音頻信號可以處在超聲或次聲區域。通過本發明的優選實施例的操作，可以將在專業歌手的表演中找到的複雜和熟練音調變奏(以及可選地其它特性)精確地傳送到用戶(例如業餘)歌手的數位化語音。這樣將用戶的表演的方面增強到專業水準。本發明的實施例還可以應用於自動對話替換(ADR)領域，以增強演員的ADR影棚記錄的表演。實施例可以用於修改影棚記錄的發音特性，例如音調、能量級別和韻律的特徵，以匹配或符合在具有圖寸象的位置或設置上記錄的原唱嚮導信號的那些特徵。此外，影棚中的演員可以不同於記錄嚮導信號的演員。此外，本發明在可以應用的處理的範圍內是靈活的。例如，在音調調整的情況下，可以作為音調調整函數的函數來引入例如時間校準的協奏生成的另一音調改變函數，以創建替換的輸出信號。此外，可以由任意函數將嚮導信號中的一個測量的特徵映射為控制新信號中的完全不同的特徵。可以以具有音頻輸入和輸出的裝置的計算機系統(例如PC或基於計算機的遊戲控制臺)中的電腦程式來實現實施本發明的方法。存在可以實現的處理序列的布置的許多置換，在某些情況下一些置換具有超過其它布置的優點。以下關於處理音調給出示例，以示出變奏如何影響處理複雜性和/或減少用於生成輸出信號中的可聽信號偽像(artefact)的潛力。在考慮除了音調之外的處理特徵，例如響度、音調或共振峰結構過程中，可能出現相似的觀察和結果。典型地，在實施例中，在開始時，對新信號和嚮導信號採樣，並對其進行數位化存儲。接下來，魯棒的獨立於演講者的短時間特徵分析提取兩個信號中的特徵調製的簡檔。採用所提供的噪聲和電平補償算法(例如美國專利4，591,928中所描述的)，在信號的連續窗口化的"幀"上每隔10毫秒就進行鐠能量測量。在整個輸入信號執行這種分析以最大化處理的精度和魯棒性。可以替換地使用其它短期特徵測量，可以在L.R.RabinerandR.W.Schafer(1978)"DigitalProcessingofSpeechSignals,"PrentinceHall中找到其示例。採用音調確定的示例，將在計算機系統中對記錄的信號及其測量的信號特徵數據執行的其餘主要信號處理步驟是方法1(a)在確定並輸出優化時間校準路徑函數作為數據序列的模式匹配算法中處理嚮導信號和新信號的依賴於時間的特徵序列。該路徑優化地將新信號的幀映射到嚮導信號的幀。(b)將來自時間校準路徑的數據用於編輯新信號並生成被時間校準到嚮導信號的新信號。(c)嚮導信號被分段為離散的連續幀，測量每一幀的音調。對音調測量序列值進行平滑以提供嚮導信號音調輪廓。(d)對於校準的(編輯的)新信號重複步驟(c)中的處理，以生成其音調輪廓。(e)嚮導信號的每一音調輪廓值由對應的用於校準的新信號的音調輪廓值劃分，並對於八度音階變換而被調整，以生成校正輪廓，所述校正輪廓是給出校正因子以應用於校準的新信號的每一幀的一組值。所述校正輪廓被平滑以移除任意總體誤差。(f)音調變換算法用於將校準的新信號的音調變換(shift)到根據來自步驟(e)的平滑的校正輪廓的值，從而生成在時間和音調上匹配於給出的嚮導信號的新信號。方法1採用級聯的兩種編輯算法，並在新信號的音調經歷了編輯的一個步驟之後對其進行測量。因此，方法l中的生成的輸出的質量取決於來自步驟(b)的編輯的信號的輸出質量。因此，在編輯期間引入的瑕疵在於，信號可能降低步驟(d)和(f)的輸出的質量。這將導致在校正的音調中的偶然性小誤差，並且在生成的輸出中可能創建微小的粗糙度。方法2為了減小這樣的誤差的風險，另一實施例組合上述步驟(b)和(f)，以形成單個編輯階段。此外，從未修改的新信號而不是從時間校準的(編輯的)版本測量新信號的任意特性(在該示例中，音調)。通過計算時間校準路徑的逆路徑來實現該目的。逆路徑將未編輯的新信號的每一幀映射到嚮導信號的對應的幀。從該映射中，計算用於新信號的音調校正輪廓，其在時間上被校準到嚮導信號。在效果上，在計算音調校正輪廓之前，嚮導信號在時間上被校準到新信號。下面的步驟總結了該方法。(a)在確定並輸出優化時間校準路徑函數作為數據序列的模式匹配算法中處理嚮導信號和新信號的依賴於時間的特徵序列，該路徑優化地將新信號的幀映射到嚮導信號的幀。(b)將來自時間校準路徑的數據用於產生將嚮導信號的幀映射到新信號的對應的幀的逆路徑函數。(c)嚮導信號被分段為離散幀，測量每一幀的音調。對音調測量序列值進行平滑以提供嚮導信號音調輪廓。(d)對於校準的(未編輯的)新信號重複步驟(c)中的處理，以生成其音調輪廓。(e)使用逆路徑函數以將嚮導信號音調輪廓校準到新信號音調輪廓，映射的嚮導信號的每一音調輪廓值由新信號的對應的音調輪廓值來劃分，並對於八度音階變換而被調整，以生成校準的校正輪廓，所述校正輪廓是給出校正因子以應用於新信號的每一幀的一組值。所述校準的校正輪廓被平滑以移除任意總體誤差。(f)使用時間校準路徑函數和平滑的校準的校正輪廓，使用變換其音調並根據需要對新信號進行時間壓縮或時間擴展的處理算法來編輯新信號，以生成在時間和音調上校準到嚮導信號的輸出信號。(g)或者，作為步驟(f)的替換，可以應用平滑的校準的校正輪廓，而無需新信號對嚮導信號的時間校準。這將保持新信號的原唱定時，但即使新信號在時間上尚未被校準到嚮導信號，也將把音調校正應用於新信號的校正幀。方法2的各種形式在所有詞句和樂句上提供更加可靠和自然的聲音音調校正，這可以採用並如實地再次創建諸如顛音和其它細節的精細的細微差別。方法3雖然方法2僅編輯新信號一次，但其同時使用修改音調和時間校準的處理技術。通過稍微改變步驟的順序，能夠分離地處理音調變換和時間修改，而不使用方法1。雖然這樣引入了兩個編輯階段，但對於每一階段可以分離地選擇最適當的專用處理算法。下面的步驟總結了該方法(a)在確定並輸出優化的時間校準路徑函數作為優化地將新信號幀映射到嚮導信號的幀的數據序列的模式匹配算法中處理嚮導信號和新信號的依賴於時間的特徵序列。(b)嚮導信號被分段為離散幀，測量每一幀的音調。對音調測量序列值進行平滑以提供嚮導信號音調輪廓。(c)對於(未編輯的)新信號重複步驟(b)中的處理，以生成其音調輪廓。(d)使用時間校準路徑函數，將新信號的音調輪廓有效地時間校準到嚮導信號音調輪廓。(e)每一嚮導信號音調輪廓由對應的時間校準的新信號的音調輪廓值來劃分，並且對於八度音階變換調整結果。這樣生成包含校正因子的校準的校正輪廓以應用於時間校準的新信號的每一幀。所述校準的校正輪廓被平滑以移除任意總體誤差。(f)把來自時間校準路徑的數據用於編輯新信號並生成被時間校準到嚮導信號的新信號。(g)使用音調變換算法，由在步驟(e)中生成的平滑的校準的校正輪廓來變換時間校準的新信號的音調。這樣給出在時間和音調上校準到給定的嚮導信號的編輯的新信號。方法3使用原唱時間校準路徑函數而不使用其逆函數。此外，方法3具有方法2的優點測量未修改的新信號的音調而不是時間校準的(編輯的)版本的音調。然而，在沒有首先生成時間校準的版本(步驟f)的情況下，不能修改新信號的音調(步驟g)。在其它實施例中，一旦已經創建時間校準函數，就可以修改除了音調的聲音信號的其它特徵，以符合嚮導信號中的那些特徵。在給定了用於分析的適合的機制並且指定特徵的修改可用的情況下，其它類型的時間同步的可修改的特徵包括聲音信號特徵(例如瞬時響度、均衡、話音共振峰或共振模式、迴響和回音特性)以及甚至詞句本身的修改。在本發明中，無需視頻信號，可以需要輸入音頻信號以僅伴隨或替代另一音頻信號。在本發明的優選實施例中，包括用於確定時間校準函數或時間規整路徑的裝置，其可以提供與第一(嚮導)音頻信號中的時變特徵對應的第二(新的)音頻信號的時變特徵之間的優化的和充分詳細的時間映射。這種映射確保了時變變化是基於在與被修改的新信號的適當的部分對應的嚮導(控制)信號的部分中的指定的特徵的。在採樣的信號波形的窗口或短部分上，每隔T秒進行用於確定時間校準的具體時變特徵的測量，其中每一窗口持續時間為T，，T，可以不同於T。基於連續的逐幀進行測量，通常採用採樣窗口重疊。這是"短時間，，信號分析，如L.R.RabinerandR.W.Schafer(1978)"DigitalProcessingofSpeechSignals,"PrentinceHall所描述的那樣。應理解，對於時間校準處理測量的特徵可能是不同於被改變的特徵以及用於控制的特徵兩者的特徵。必須定義將要改變的特徵和控制特徵參數之間的函數關係。例如，下文中更詳細地描述的一種簡單關係，在調整以維持創建新信號的人的自然音調範圍的情況下，修改新信號的音調以匹配於嚮導信號的音調。這種修改函數的定義以及其它定義可以附加地根據需要隨著時間而改變。可以在音頻處理計算機系統中將修改函數編程為輸出值對於輸入值的的數據數組、或算術函數、或一組處理規則。注意，該函數無需依賴於信號自身，所以信號可能不需要任何分析。在其它步驟中，指定為在第二信號中修改的特徵和在笫一信號中的指定的控制特徵兩者都被測量為時間的函數。這些測量被存儲作為數據。圖l是適合用於實現本發明的計算機系統的框圖。圖2是示出可以被添加到實現本發明的圖1的計算機的附加軟體組件的框圖。圖3是示出用於基於具體不同音調和定時特性的輸入信號創建具有音調調整的輸出音頻信號的信號和處理模塊的本發明的一個實施例的框圖。圖4是示出用於專業歌手的記錄的嚮導語音的時間函數的音調測量和來自以相同音樂伴奏演唱相同歌曲的未受過訓練的用戶的所記錄的新信號上的相同測量的典型示例的示圖。圖5是表示時間規整函數或校準路徑的示圖。圖6是示出(在音調校正之前)對於左頻率軸的來自圖4的嚮導信號的音調和校準的新信號音調以及對於右垂直軸的所計算的經過平滑的音調校正因子的示圖。圖7是在圖6中示出為未校正的、經過校正的新信號音調和嚮導信號音調的示圖。圖8是示出用於基於任意輸入信號的時間校準的特徵創建具有任意普通信號特徵修改的輸出音頻信號的信號和處理模塊的本發明的另一實施例的框圖。圖9A是根據本發明的具有如下處理的另一實施例的框圖，在所述處理中，以與嚮導信號同時的時間校準或不以與嚮導信號同時的時間校準對新信號的特徵修改。圖9B是根據本發明的具有如下處理的另一實施例的框圖，在所述處理中將時間校準路徑用於創建時間校準的新信號並提供用於精確地確定對時間校準的新信號進行的修改的映射函數。圖10(a)是用於使用重疊和相加合成來創建信號s〃(n)的分析窗口的相對位置和形狀的示例的示圖。圖10(b)是用於使用重疊和相加合成來創建信號s〃(n)的合成窗口的相對位置和形狀的示例的示圖。圖ll是使用電信系統的本發明的另一實施例的框圖。具體實施例方式能夠記錄聲音輸入同時從數位化的計算機視頻和音頻文件回放聲音和/或視頻信號的計算機系統是公知的。附圖的圖1中示出了可以支持這些函數的典型的PC系統和環境的組件，該系統可以用於圖2中的軟體作為提供用於本發明的多個實施例的硬體和軟體環境的基礎。在圖1中，示出傳統的計算機系統100，其包括計算機110，具有CPU(中央處理單元)112、RAM(隨機存取存儲器)118;用戶接口硬體，通常包括指示設備120(例如滑鼠)、鍵盤125、以及顯示屏幕130;內部存儲設備140，例如硬碟或另一RAM;用於訪問固定或可拆卸存儲介質165(例如CDROM或DVDROM)上的數據的設備160;並且可選地包括數據機或網絡接口170，用於提供對網際網路175的訪問。指示設備120控制所顯示的屏幕光標(未示出)的位置以及顯示在屏幕130上的函數的選擇。計算機110可以是任意傳統或商用計算機，例如PC或AppleMacintosh,或是具有指示設備120並且作為遊戲控制器設備的的專用"遊戲機"，例如Microsoft⑧XboxTM、或SonyPlaystation2TM。特定遊戲機可能預設圖1中示出的某些組件。圖2示出可以安裝在計算機110中的另一軟體。用戶可以從CDROM或其它裝置獲得包含音頻和可選的伴隨視頻片段的數字數據文件115，所述可選的伴隨視頻片段例如可以是諸如avi或QuickTime電影格式的公共格式，並且例如可以被拷貝和存儲在硬碟140上或存儲到RAM中。計算機110具有已知的作業系統135，例如由Microsoft⑧Windows⑧或MacOS的任意可用版本所提供的作業系統；以音效卡150或計算機主板上的等同硬體的形式的音頻軟體或硬體，其包含ADC(模數轉換器)，連接到用於進行記錄的麥克風159;以及DAC(數模轉換器)，連接到一個或多個用於回放音頻的揚聲器156。如圖2所示，這樣的作業系統135通常安裝了音頻記錄和編輯軟體180，支持經由音效卡150進行音頻記錄以及編輯函數，例如隨Windows⑧安裝的"SoundRecorder，，應用程式。記錄程序和/或其它程序可以使用音效卡150來將到來的模擬音頻信號轉換為數字音頻數據，並將該數據記錄在硬碟驅動器140上的計算機文件中。音頻/視頻播放軟體190(例如隨Windows⑧安裝的WindowsMediaPlayer和/或其它軟體)可以用於通過音效卡150、其它內建的視頻硬體和軟體、顯示屏幕130和揚聲器156播放合成的數字視頻和音頻文件或僅播放音頻文件。合成的視頻和音頻文件包括視頻數據和一個或多個平行的同步的音頻數據軌道。或者，可以將音頻數據保持為分配給音頻數據的存儲多流的分離的文件。音頻數據可以是語音數據，例如對話或歌唱、樂器音樂、"聲效"、或它們的任意組合。結合135和110,塊180和1卯還可以表示可以實現將在此描述的信號處理系統的軟體或硬體。可以採用100和110中的硬體和軟體系統的替換發布的實施例，一個示例是由遠程伺服器將計算機系統100的主要元件提供給用戶。在此情況下，在經由電話系統和/或網際網路在用戶和100之間發送模擬或數位化音頻信號的情況下，可以由連接到用戶的PC系統的揚聲器和麥克風或電話在用戶端處提供輸入和輸出變換器159和156。用戶可以通過包括電話觸摸音鍵盤、計算機鍵盤、語音輸入或其它手段的多種方法來遠程控制系統操作。以非實時消費者卡拉OK系統形式的本發明的實施例允許公共成員在基於計算機的系統中將他們演唱流行歌曲的語音記錄為音樂視頻。當修改用戶記錄的語音其後對其進行回放時，修改的語音被唇同步為原唱歌手的嘴型運動，並且具有與音樂視頻中的替代的歌手相同的音調。圖2的系統允許以伴奏視頻或不要伴奏視頻對唱歌的原唱表演者進行音頻回放。用戶可以回放歌曲，並且系統將對用戶的語音進行數位化並將其記錄(存儲)在計算機硬碟或其它存儲器設備上。由於需要測量原唱歌手語音的精確特徵，所以最好使該語音信號與伴奏音樂音軌相分離。可以通過從提供媒體內容的錄製公司或組織請求語音的隔離的記錄來最高效地實現該需求。在該實施例中，使用第一信號，嚮導信號，其是在隔離中表演歌曲的歌手的數位化記錄(例如從記錄自原唱記錄會話的多音軌記錄傳送的獨奏聲樂音軌)，優選地沒有添加諸如回聲或反射。可以將這樣的數位化的嚮導信號g(n)在CD或DVD/ROM165上或經由網際網路175提供給用戶的系統。或者，在另一實施例中，可以在相同系統或另一系統中預先分析嚮導信號的所需特徵(對於時間校準和特徵修改控制)，以提取所需數據。可以經由165、175或其它數據傳送方法將該數據輸入到系統100，以用作數據文件。圖3示出實施例的數據存儲和處理模塊。通過運行聲音記錄並回放節目，用戶播放可聽見或不可聽見原唱歌手的期望的歌曲，並同時進行演唱。用戶的演唱被數位化並記錄到數據存儲310中的數據文件。所述數位化的信號是笫二信號，即新信號s(n)。圖3的實施例執行在前描述的方法1。目的在於校正用戶的新信號的音調和定時校正以模仿嚮導信號的音調和定時。在此情況下被用作控制函數的嚮導信號中的特徵以及在新信號中被修改的特徵具有相同特徵，即各個信號的音調輪廓。跟蹤時間校準的新信號音調測量和嚮導信號音調測量之間的差的處理用於計算音調調整函數，以製作嚮導信號的音調之後的新信號的音調。在此假定新信號s(n)在樂節、內容和長度方面相似於嚮導信號g(n)。對於非實時卡拉OK類型應用，這是合理的假設，因為用戶總是嘗試在定時、音調和詞語中模仿原唱表演。如下是在此非實時地對數字音頻數據執行的方法1。輸入信號描述和測量新信號和嚮導信號很不可能在沒有處理的情況下被充分地時間校準。美國專利4591928(Bloom等人)描述了非時間校準但相似的話音信號的能量模式之間的差以及與能量有關的測量(例如濾波器組輸出)作為對時間校準處理的輸入的使用。圖4示出通過測量專業女性歌手的嚮導信號而獲得的時間序列Pg(M)(下文中稱為音調輪廓401)作為音調測量幀編號M的函數，其中，M=0，1，2，......N,以及示出作為在才艮據相同時間比例的時間校準之前典型業餘者的新信號(男性語音)音調輪廓402的時間序列Ps(M)。兩個信號的音調輪廓中的差異以及它們的時間上的未校準是明顯的。在時間上沒有與第二序列Ps(M)校準的第一序列Pg(M)不能直接用作用於第二信號的控制或目標音調函數而不生成明顯的可聽見的錯誤。在音調輪廓401或402中的零HZ示出的數據點表示對應的音調測量幀包含靜默或沒有語音的話音。非零測量表示在該幀中的各個信號的音調測量。在圖4中，新信號音調輪廓402中的語音化的聲音的非零值段(脈衝)通常落後於嚮導信號音調輪廓401中的對應的特徵，並具有不同的持續時間。此外，兩個音調輪廓的語音化的聲音處於不同的八度音階。此外，嚮導信號音調輪廓401的每一脈衝中的音調範圍變化遠比新信號音調輪廓402中的對應的脈衝要寬。由於嚮導信號音調輪廓401得自專業歌手，因此這是理所當然的。這是這樣的細節和將施加到業餘用戶的記錄演唱的嚮導信號音調輪廓401的定時。新信號的時間校準在圖3中，通過使用諸如US4,591,928中描述的技術來創建中間音頻信號、存儲在例如盤330上的時間校準的新信號s，(n)，從數據存儲器310讀取的採樣的新信號波形s(n)在時間上首先校準到從數據存儲器312讀取的嚮導信號g(n)。這樣確保了在與嚮導信號中的系統的相對時間出現s，(n)中的能量模式的細節。這進一步確保了任意所需的唇同步將是有效的，以及從嚮導信號到新信號的特徵的傳遞不需要進一步的時間映射。用於創建新信號s(n)和嚮導信號g(n)的採樣頻率在該示例中是44.1kHz。US4，591，928中描述的時間校準處理測量每隔10毫秒就測量鐠能量特徵(例如濾波器組輸出)，並生成將新信號中相似的譜特徵與嚮導信號中的最接近的對應的特徵關聯的每隔10毫秒具有路徑點的時間校準或"時間規整"路徑。圖5示出時間規整路徑w(k)的示例，k=0，l，2...，其中，新信號的每一特徵幀具有幀編號j,嚮導信號每一特徵幀具有幀編號k，幀採樣間隔是T秒，其中，T-10毫秒。在時間校準處理模塊320之內創建這樣的規整路徑，並且在創建存儲在盤330上的時間校準的新信號s，(n)中，該路徑用於控制模塊320中的新信號s(n)的編輯(即時間壓縮/擴展)。如US4，591，928中描述的那樣，通過構建s(n)的編輯的版本而由模塊320創建時間校準新信號s，(n),在所述s(n)的編輯的版本中，s(n)的部分已經根據w(k)以及來自編輯系統的附加定時錯誤反饋而被重複或刪除，這被約束為當存在語音化的聲音時進行音調同步編輯。生成新信號的音調輪廓在連續的離散音調測量幀中使用運動分析漢寧(Hann)窗口從s，(n)的測量來創建校準的新信號s，(n)的原始音調輪廓Ps，(M)，其中，M是幀編號，M=l，2,3，.......為了獲得精確的音調測量，推薦分析窗口長度為所測量的最低周期長度的2.5到3倍。因此，在當前實施例中，為了測量具有近似0.0139秒周期的低的72Hz的音調，使用1536個採樣(以44.1kHz的採樣頻率)分析窗口(或近似35毫秒)。音調測量幀的採樣間隔是10毫秒。音調估計器模塊340的分析窗口以採樣的每一音調測量幀為中心。對於每一音調測量幀，使用用於音調估計的公知方法(例如自動校正、梳狀濾波器等)中的一種方法對音調進行估計。可以在參考文獻(例如WolfgngHess(1983)"PitchDeterminationofSpeechSignals.AlgorithmsandDevices,"Springer-Verlag;R.J.McAulayandT.F.Quatieri(1990)"Pitchestimationandvoicingdetectionbasedonasinusoidalmodel,"Proc.IntConf.onAcoustics,SpeechandSignalProcessing,Albuquerque,醒pp.249-252;andT.R.Quatieri(2002)"Discrete-TimeSpeechSignalProcessing:PrinciplesandPractices,"PrenticeHall)中找到這些技術的詳細描述。可以在沒有分析窗口的重疊的情況下進行測量，但通常推薦在25至50%之間的連續窗口化的數據的重疊。在該實施例中，M的測量幀率是100Hz(即10毫秒的間隔)，這樣提供了足夠的重疊並且與時間校準函數的測量率同樣方便。為了正確地進行分析窗口必須擴展超過可用的數據採樣的最先和最後的幾個音調測量，在進行這些音調測量之前，將信號的開始和結束添加到零幅度採樣的一個分析窗口的長度。為了創建最終平滑的音調輪廓，時間校準的新信號的P，s，(M)使用平均化濾波器之前的3點中值濾波器在濾波器模塊350處平滑各個幀的音調測量，此外，時間校準的新信號s(n)的靜默和非語音化的幀在P，s，(M)中被標記為具有零音調。生成嚮導的音調輪廓相似地，在音調估計器模塊345處，使用與用於創建音調輪廓Ps，(M)所描述的相同的方法和參數來創建嚮導信號g(n)的音調輪廓Pg(M)'計算音調調整下一處理是用於時間校準的新信號的每一幀的音調調整或校正因子的計算。該處理由音調調整模塊370來完成，並且考慮了嚮導信號音調對時間校準的新信號的比率以及八度音階中任意期望的改變。對於具有相同幀編號M的每一對音調測量幀完成該計算。於是，模塊370內的低通濾波器平滑校正因子。這些處理分為兩個步驟確定八度音階並改變新信號的音調。考慮到關於音調的調整，存在兩個主要選項a)將輸出音調調整為與嚮導信號的音調相同，或b)維持輸入新信號的音調範圍，從而調整的語音聲音最自然。現將描述實現後一種效果的八度音階調整。八度音階調整模塊358計算八度音階乘數Q，其在信號的持續時間被保持為常數。這樣強調了在能夠設置該值之前需要全部新信號或至少分析真實量的新信號。對於時間校準的新信號的每一音調分析幀，用於來自音調估計器模塊350和355的幀M的未平滑的音調估計被用來計算本地音調校正，CrXM)，其中，M是幀編號，將所述計算限制為這樣的幀時間校準的新信號及其對應的嚮導信號幀兩者都被語音化，即這兩種幀都具有有效的音調。在這些幀中，由下式給出本地音調校正因子Cl(M)，其將使得時間校準的新信號的幀M的音調與嚮導信號的幀M的音調相同CL(M)=Pg(M)/Ps'(M)(1)其後，根據下表通過選擇指數冪2將每一比率Cl(M)向其最近的八度音階取整tableseeoriginaldocumentpage27將所有得到的八度音階值輸入到柱狀圖，其後選擇出現最頻繁的八度音階校正值Q。在此情況下，Q不是時間的函數，但是在替換實施例中其可以是時間的函數。如果需要，則Q將被乘以另一因子以實現音調頻率中的任意期望的偏移。在模塊358中執行Q的計算。八度音階校正值Q被提供給音調調整模塊370並用於下面的式(2)以產生八度音階校正的音調校正因子，C(M),其中C(M)-P'g(M)/(Q*P's'(M))(2〉其中C(M)是在信號的幀M的音調校正因子，P，s，(M)和P，g(M)分別是在時間校準的新信號和嚮導信號的幀M處的平滑估計的音調。為了生成音調校正信號，在時間校準的新信號的全部幀中從式(2)計算音調校正因子c(M),從而修改的時間校準的新信號的音調寄存器將最接近地匹配於原唱新信號的音調寄存器。如果沒有對應的嚮導信號音調存在於第一信號特徵測量M(即嚮導信號是非語音化的，或時間校準的新信號稍微長於嚮導信號)，則重新使用在M-1處的最近的校正因子值。在此情況下，還可能使用外插來得到較好的估計。得到的校正處理值的示例是1.0的校正因子C(M)表示在幀M處s(n)沒有改變；0.5表示將音調降低一個八度音階；2.0表示將音調升高一個八度音階等。新信號的變換音調音調校正信號中的每一值C(M)提供時間校準的新信號s，(n)的採樣的對應的幀M所需的校正乘數。在該示例中，將C(M)的幀率選擇為與時間校準算法所使用的相同，也就是100幀每秒(或fps)換句話說，C(M)將具有s，(n)每秒100個採樣。為了正確地運行，一些音調變換算法必須具有遠低於時間校準算法的幀率；即sn間隔(分析幀)非常長。例如，如果時域音調變換技術工作在向下到50至60Hz的頻率，則它們通常具有大約25至30fps的幀率。然而，在整個信號中，它們的幀率無需是常數，也就是說，幀率可以隨著信號s，(n)的基本音調而改變。然而，在當前實施例中，將固定幀率用於音調變換。在當前實施例中，用於計算音調校正因子C(M)和運行音調變換算法的各個幀率是不同的，因此使用線性內插從在時間上最接近於音調變換算法的每一分析幀的中心得到在該中心處所需的音調校正的估計。如下得到該內插校正因子音調校正信號的幀M具有等於新信號s(n)的Lc個採樣的長度，其中，Lc由下式給出Lc-新信號s(n)的採樣率/C(M)的幀率(3)如下確定在需要音調校正的估計的音調變換算法的每一分析幀的中心處沿著s，(n)的釆樣編號如果Nc(Fps-l)是在音調變換分析幀Fps-l的中心處的沿著s，(n)的採樣編號，則在下一幀Fps的中心處的採樣編號Nc(Fps)是Nc(Fps)=Nc(Fps-1)+Ls(Fps,To(Fps-1))(4)其中，Fps是音調變換分析幀編號，Fps-0，1，2".並且Ls(Fps，To(Fps-l))-新信號的釆樣率/音調變換算法幀率。在一般情況下，Ls是幀編號Fps和To(Fps-l)、在Fps-l處的音調周期持續時間的函數，以允許隨時間而改變的幀率。在該實施例中，Ls被保持為常數，並被設置為1536個採樣，即34.83毫秒。在首先計算的幀Nc(-l)和之前的音調變換分析幀以及首先計算的幀Nc(0)兩者的中心處沿著s，(n)的採樣編號的初始值取決於音調變換算法。在該實施例中，Nc(-1)=0.5*To(-1)andNc(0)-0。使用Nc(Fps)和Lc，在音調變換算法中限制或包括特定分析幀Fps處的採樣的C(M)的音調校正幀編號Fc(M)為Fc(Fps)=Nc(Fps)/Lc.(5)其中/表示整除Fc(Fps)是僅出現在音調變換算法幀Fps之前或其中心處的C(M)的幀，並且Lc如上被定義。如果Fc(Fps)是出現在音調變換算法幀僅之前或在其中心處的音調校正幀，則(Fc(Fps)+l)將是出現在其中心之後的下一音調校正幀。音調校正C(Fc(Fps))和C(Fc(Fps)+l)之間的線性內插給出在音調變換分析幀的中心處的內插的校正因子Cs(Fps)以控制音調變換Gs(Fps)=C(Fc(Fps))*(1-alpha)+alpha*C(Fc(Fps)+1)(6)其中formulaseeoriginaldocumentpage30並且其中/表示整除，其它符號如上所述。由簡單低通濾波器來平滑內插的校正因子值Cs(Fps)，以使其變成C，s(Fps)並且表示為提供給音調改變模塊380的模塊370的輸出。對於音調校正，在與音調變換算法幀對應的幀Fps中處理時間校準的新信號s，(n)。時間校準的新信號s，(n)的每一個這樣的幀在模塊380處根據其平滑的校正因子在音調中動態變換，並且得到的音調校正且時間校準的新信號s"(n)被寫入盤390，用於後續回放背景音樂，並且如果對應的音樂視頻可用，則可選地用於對其進行回放。該輸出信號s，(n)將具有所需的時間校準以及音調校正，以故回放作為用於嚮導信號g(n)的替代，或與其同步。圖7示出將在s，(n)中被觀察作為將時間校準的新信號s，(n)的音調值乘以圖6所示的參與到校正因子值的結果的時間校準的和校正的音調輪廓701的示例。嚮導信號音調輪廓401的大多數細節現在出現在計算的修改的音調輪廓701的這個示例中。可以使用在諸如以下參考文獻中描述的任意標準音調變換方法(例如TDHS、PS-OLA、FFT)來實現由模塊380執行以在存儲器390處創建校正的時間校準輸出信號波形s"(n)的音調變換K.Lent(1989)"Anefficientmethodforpitchshiftingdigitallysampledsound,"ComputerMusicJournalVol.13，No.4，atpages65to71;N.Schnell，G.Peeters，S.Lemouton，P.Manoury,andX.Rodet(2000)"Synthesizingachoirinreal-timeusingPitchSynchronousOverlapAdd(PSOLA)，"InternationalComputerMusicConference,atpages102-108;J.LarocheandM.Dolson(1999)，"NewPhase-VectorTechniquesforPitch-Shifting,HarmonizingandotherExoticEffects."Proe.1999IEEEWorkshoponApplicationsofSignalProcessingtoAudioandAcousticatpages91-94;G.Peeters(1998)"Analyse誦SynthesedessonsmusicauxparlamethodPSOLA，"ProceedingsoftheJourneesd，InformatiqueMusicale,Agelonde,France;andV.GoncharoffandP.Gries(1998)，"Analgorithmforaccuratelymarkingpitchpulsesinspeechsignals",ProceedingoftheIASTEDInternationalConferenceSignalandImageProceeding(SIP，98)，October28-31。在該實施例中，實質上在D.Malah(1979)"TimeDomainAlgorithmsforHarmonicBandwidthReductionandTimeScalingofSpeechSignals",IEEETransactionsAcoustics,SpeechandSignalProceeding,Volume27，No，2，pages121-133中所描述時域算法在模塊380處被使用以變換信號s，(n)的音調。在s，(n)的每一幀Fps處，測量在此定義為To(Fps)的音調周期。下文中為了簡明，雖然基於包括To(Fps)的計算的變量也是Fps的變量，但在這些表達式中不暗含參數Fps。在該實施例中，通過將s，(n)乘以h(p)，時間校準的新信號s，(n)被分解為信號的一系列窗口s，(u，n)，按時間周期性變換的分析窗口函數801，從而s'(u，n)-h(n)*s'(n-ta(u))(7)其中h(p)是長度P採樣的音調變換窗口，其長度在時間上等於測量的幀Fps的音調周期的兩倍，即2*To(Fps)。在該實施例中，h(p)是P採樣的漢寧窗口。ta(u)是以語音化的幀的音調同步速率設置的第u個分析示例，從而ta(u)國ta(u-l)-To(Fps)，其中，u=0，l，2...。對於非語音化的幀，ta(u)被設置為10毫秒的恆定速率。也可以從語音化的幀將其設置為To的最近的有效值。從平滑的音調校正C，s(Fps)計算校正的信號的新的輸出周期To，(Fps)。對於非語音化的信號，在幀Fps中，To，(Fps)-To(Fps)。對於幀Fps中的語音化的信號，To'(Fps)=To(Fps)/C's(Fps)(8)通過這樣的處理，生^短期合成窗口ts(v)的序列802,其被同步到新的輸出周期To，(Fps),從而ts(v)-ts(v-1)=To'(Fps)(9)其中ts(v)是輸出幀中的笫v個合成實例。如圖10(a)和10(b)所示，對於每一ts(v)，選擇在時間上最接近的s，(n)數據的窗口ta(u)。其後，將所選擇的s，(n)的數據的窗口ta(u)添加到輸出流緩衝器(未示出)，以根據組合所有短期合成窗口，一個幀Fps的ts(v)的重疊和添加的已知方法按時間生成一個幀輸出信號流s，，(n)。在效果上，重新組合了具有To，(Fps)的音調周期而不是To(Fps)的周期的窗口化的採樣s，(u，n)。現將描述另一實施例。除了包括顫音和形變曲線的音調之外，可以測量和修改聲音信號的許多其它特徵。示例是瞬時響度、聲門特性、話音共振峰或諧振模式、均衡、迴響和回聲特性。此外，無需將新信號和嚮導信號限制為具有韻律的、節奏的或聲學的相似性。在圖8中，示出分別在模塊840和850處作用於新信號和嚮導信號，以創建fs(N)和fg(M)的特徵分析操作。它們被表示為粗體作為特徵向量，指定分別在幀N和M處測量的所選擇的特徵。這些向量無需具有相同的特徵。雖然fg(M)必須包含至少一個特徵，但在另一實施例中，fs(N)可以是沒有特徵的空向量。必須提供特徵調整函數A(fs(N)，fg(M),M),並且將其輸入到系統作為來自源865的處理規範。該函數定義了在第一信號特徵測量M和N處的兩個信號的特徵之間的期望的關係，其中，它們可以是相同的幀或可以是不同的幀、由幀參數M表示的逝去的時間、以及在模塊870處應用和在軟體中實現的時變信號修改處理。通常可以由系統程式設計師定義並輸入該函數和變量，因此可以將它們表示為可以由系統用戶選擇的一組預設和/或提供的用戶定義的變量。使用A(fs(N)，fg(M)，M)中的兩個不同的特徵的示例是在新信號包含運動帶通濾波器組中的能量的條件下，使嚮導信號的響度控制新信號上的運動帶通濾波器處理的中心頻率。執行M的函數的A還概括了處理以包括可能的對於函數的基於時間的修改。圖9A示出採用在此之前描述的方法2的另一實施例，其中，沒有生成時間校準的新信號波形作為第一步驟。相反，在模塊920中圖3和8的實施例中獲得的時間校準的數據被用於模塊960中的時間失真，嚮導信號的測量的特徵被用於新信號中的適當的時間。模塊970對新信號進行時間校準的修改。可以在(將模塊970和975組合為一個算法)同時在特徵修改處理模塊970中對修改的新信號，或在後面的處理模塊975中對特徵修改的信號執行可選的時間校準。以下給出該方法的進一步的細節。圖5中的時間校準函數的反函數將在幀k處的嚮導信號的匹配幀映射到在幀j處的新信號的每一幀。如果Fs是新信號的幀編號並且W(Fs)是由時間校準處理模塊920生成的(逆)時間規整函數(或映射函數)，則Fag(Fs)-W(Fs)(10)其中，Fag是時間校準的嚮導的對應的幀編號。通過該映射，生成特徵調整函數的時間校準的或規整的版本，並將其用於圖9A中的調整模塊960。作為示例，返回音調校正中的應用，如下計算基於式(l)的音調校正函數的規整版本C(Fs)-Pg(Fag(Fs))/Ps(Fs)(11)根據(10)和(11)C(Fs)=Pg(W(Fs))/Ps(Fs)(12)其中，C(Fs)是新信號的幀Fs的校正因子。Ps(Fs)是新信號的幀Fs的估計的音調。W(Fs)是來自規整函數的嚮導中的對應的幀。包括八度音階修改(根據需要)如前所述的C(Fs)的進一步的處理發生在調整模塊960中，調整模塊960然後基於式(2)提供由下式給出的修改函數C(Fs)=Pg(W(Fs)〉/(Q*P's(Fs))(13)該修改函數以逐幀為基礎在修改模塊970處應用於s(n)以產生修改的輸出s*(n)。圖9A中的處理被概況為在圖8中的描述，以允許指定用於分析和修改的任意信號特徵，但不同之處在於，存儲器980中的修改的輸出s氣n)沒有與嚮導信號時間校準，而是具有初始化新信號s(n)的定時。對於同時執行模塊970中的特徵修改和模塊975中的時間校準的單個處理中的音調修改，可以實現對於嚮導信號g(n)的修改的輸出s*(n)的時間校準。用於實現例如(可以減少潛在的處理偽像並改進計算效率的)同時的音調和時間修改的方法的描述在例如以下參考文獻中可以找到J.McAulayandLQuatieri(1992)，"ShapeInvariantTime-ScaleandPitchModificationofSpeech",IEEETrans.Sig.Processing,March,Vol,40No3,pp497-510andD.O'BrienandA.Monaghan(1999),"ShapeInvariantPitchModificationofSpeechUsingaHarmonicModel",EuroSpeech1999，pp1059-1062。這些參考文獻假定基於原唱信號的測量的恆定音調變換或任意很多音調變換以確定要應用的變換量。例如，如果在原唱語音波形中檢測到非語音化的幀，則正常實踐來切換掉、或至少減少在該幀期間所應用的任意時間或音調4務改。可選地，可以將正常的時間校準函數應用於模塊975中的非線性編輯處理，以創建信號s，*(n)，信號s，氣n)是特徵修改的新信號s*(n)的時間校準的版本。圖9B示出執行方法3的另一實施例，其中，使用模塊920中創建的原唱時間校準路徑而由模塊975創建存儲命令982中的時間校準信號s，(n)。在這種布置中，由模塊840從沒有修改的新信號s(n)中產生新信號特徵輪廓。在模塊960中式C(M)-P'g(M)/Q*P's(w(M))(14)其中，w(M)是由模塊920生成的時間規整路徑，實現上式以產生特徵修改輪廓C(M)。在模塊972中將這種修改輪廓應用於時間校準的新信號以在輸出存儲模塊987中創建時間校準的並且特徵修改的信號s*，(n)。在另一實施例中，可以將嚮導信號組合為一系列不同的各個嚮導信號而不是一個連續的信號，或可以從單個新信號將多個嚮導信號(例如合聲元音)用於生成多個元音部分。在另一實施例中，無需測量新信號中的特徵或將其輸入到新信號特徵調整計算，並且可以基於嚮導信號的特徵的測量簡單對其進行修改。這種操作的示例可以是將迴響或EQ應用於新信號作為嚮導信號中的這些特徵的函數。應理解，當實現在諸如圖l和圖2的系統100的系統中時用於前述實施例的處理模塊將是軟體模塊，但在替換實現中，可以是硬體模塊或硬體和軟體模塊的混合。本發明的一種應用是創建可以提供例如基於計算機的電話系統或行動電話上的電話鈴音的具有用戶語音的個性化聲音文件。其它示例包括在電話呼叫或其它數據交換期間替換可以被呈現給主叫或被叫的任意振鈴或其它聲音。這樣的交換可以經由電話網絡、VOIP(基於網際網路協議的語音)系統或其它消息傳遞系統而產生。其它示例包括生成用於可以使用個性化的預先記錄的消息的任意設備或系統的個性化聲音文件。圖11示出用於使用戶能夠生成、發送和接收這樣的聲音文件的本發明的實施例。在操作中，用戶通過電話網絡1140並從陸地線路手機1110或行動電話手機1120發起電話呼叫。適當的轉換器1150從電話網絡1140接收信號並將其轉換為數字音頻信號和可操作的命令音調、以及由伺服器計算機1160處理的那些信號。伺服器計算機1160可以可選地從模塊1165提供交互式語音響應(IVR)以給出用戶關於操作的選擇和反饋。伺服器計算機1160可以在一個或多個計算機中被實現，並可以包括用於實現圖3或圖8或圖9A或圖9B中描述的處理的音頻處理模塊1170。計算機1160訪問用於存儲歌曲音頻文件和用於參考這些歌曲文件的資料庫的存儲模塊1180。計算機1160還將原唱的和處理過的用戶音頻記錄以及用於參考這些記錄的資料庫存儲在存儲模塊1185中。伺服器計算機1160解釋觸摸音或其它信號以發起操作。例如，採用該實現中的電話鍵盤，用戶可以命令計算機1160進行以下操作(a)選擇"音軌"，例如(存儲在模塊1180中)的歌曲的部分；(b)通過轉換器1150和網絡1140將所選擇的音軌發送到電話手機1110或1120以4吏用戶聽到或複述。(c)在所選擇的音軌通過電話手機1110或1120重放並且用戶對手機麥克風演唱的同時記錄用戶的語音；(d)重放混合了適當的背景音軌的用戶的語音的處理過的記錄(例如沒有原唱歌手語音的音軌的版本)。在步驟(c)，用戶的語音被記錄在存儲模塊1185中，經由處理模塊1170而被處理，示例諸如圖3或圖8或圖9A或圖9B所示的處理，並且結果被存儲在模塊1185中。最後，用戶於是以鍵盤或他/她的手機1110或1120輸入接收方的行動電話號碼。其後，計算機1160使用諸如"WAPpush"系統的鈴音傳遞系統1190將消息發送到接收方的號碼。該數據消息向接收方給出將處理過的音頻下載到他的行動電話或其它設備所需的信息。在替換實現中，具有麥克風159或揚聲器156的用戶計算機100用於直接經由網際網路175或通過使用VOIP軟體1135的電話呼叫來訪問伺服器計算機1160。其後，用戶可以經歷與前述相同的程序，但通過計算機100進行收聽和記錄，並將在計算機100的鍵盤125(未示出)上輸入的命令發送到伺服器計算機1160。用戶可以根據其號碼最終指定行動電話以通過傳遞系統1190接收創建的聲音文件。聲音文件還可以在用戶計算機100或另一指定的計算機(例如朋友的計算機)中被使用作為鈴音或指定的計算機的VOIP系統中的其它識別聲音文件。在用戶經由網際網路訪問伺服器計算機1160的另一替換實現中，可以將圖3或圖8或圖9A或圖9B的一些或全部處理模塊下栽到由模塊1130表示的用戶計算機100。可以經由網際網路175或電話網絡1140將在伺服器計算機1160處在音頻處理模塊的幫助下或沒有音頻處理模塊的幫助而由於使用模塊1130而產生的並存儲在用戶計算機100上或存儲模塊1185上聲音文件發送到所請求的目的地電話或其它個人計算機。在其它實施例中，可以在電話或包含計算機系統和存儲器以及用於輸入和輸出所需的音頻信號的裝置的任意其它設備中全部或部分地實現這些處理。在另一實施例中，可以從具有用戶接收的歌曲音頻文件的伺服器計算機1160提供視頻信號(例如音樂視頻)。用戶可以重放這些音頻和視頻信號，並如前所述製作聲音記錄。混合了背景音軌以及同步的視頻的處理過的文件被傳遞到指定的電話、個人計算機或其它能夠播放音頻/可視文件的i殳備。歌曲音頻文件並不限於歌曲，並且可以是任意聲音記錄，包括話音、聲效、音樂或它們的任意組合。權利要求1、一種用於修改音頻信號的至少一個聲學特徵的方法，該方法包括比較第一採樣音頻信號和第二採樣音頻信號，從而從第二信號中的依賴於時間的特徵的出現時間和第一信號中的依賴於時間的特徵的出現時間之間的定時差而確定時間校準數據；在沿著第一信號的所選擇的位置處測量第一信號的至少一個聲學特徵，以從其中產生第一信號特徵測量的序列；處理第一信號特徵測量的序列以產生特徵修改數據的序列；以及將特徵修改數據的序列應用於第二信號，以根據時間校準數據修改第二信號的選擇的部分的至少一個聲學特徵。2、如權利要求l所述的方法，其中，所述方法包括以下步驟在沿著第二信號的所選擇的位置處測量第二信號的所述至少一個聲學特徵，以從其中產生第二信號特徵測量的序列，並且所述處理第一信號測量的序列的步驟包括比較第一信號特徵測量和第二信號特徵測量，並從這種比較中確定特徵修改數據。3、如權利要求1或2所述的方法，其中，所述應用特徵修改數據的步驟包括以下步驟使用時間校準數據來從第二採樣信號產生時間校準的第二信號，並將特徵修改數據應用於所述時間校準的第二信號。4、如權利要求2或3所述的方法，其中，所述處理步躁包括以下步驟使用具有第一信號特徵測量的時間校準數據來產生與第二信號特徵測量時間校準的特徵修改數據。5、如前述任意權利要求所述的方法，其中，應用特徵修改數據的步驟包括根據預定函數調製所述特徵修改數據，從而根據特徵修改數據和預定函數聯合地修改所述第二信號的所述選擇的部分的所述至少一個聲學特徵。6、如前述任意權利要求所述的方法，其中，所述第一信號的至少一個聲學特徵是音調。7、如前述任意權利要求所述的方法，其中，所述第二信號的至少一個聲學特徵是音調。8、如前述任意權利要求所述的方法，其中，所述第一信號和第二信號的依賴於時間的特徵是採樣的譜能量測量。9、如權利要求l所述的方法，其中，第一信號的所述至少一個聲學特徵是音調，第二信號的所述至少一個聲學特徵是音調，所述處理步驟包括以下步驟從第一信號的音調測量對第二信號的時間校準的音調測量的比率的值來確定乘數因子，從而在所述應用特徵修改數據的步驟中包括所述因子，以便變換在第二信號中在修改的所選擇的信號部分中的音調改變的頻率範圍。10、如權利要求9所述的方法，進一步包括以下步驟以指數冪2來縮放所述乘數因子，從而根據所述指數冪2的選擇來改變所述修改的所選擇的信號部分中的音調。11、如權利要求2所述的方法，其中，在沿著第二信號的所選擇的位置進行測量的步驟包括以下步驟使用時間校準數據以從第二採樣信號產生時間校準的第二信號，在所述時間校準的第二信號中，笫二採樣信號的所述依賴於時間的特徵的出現時間基本上與第一採樣信號中的所述依賴於時間的特徵的出現時間一致；以及在被選擇為在定時方面與沿著第一採樣信號的所述所選擇的位置有關的、沿著時間校準的第二信號的位置處測量時間校準的第二信號中的至少一個聲學特徵。12、如權利要求2所述的方法，其中，第一採樣信號的所述至少一個聲學特徵是音調，所述第二採樣信號的至少一個聲學特徵是音調，所述應用特徵修改數據的步驟包括以下步驟使用時間校準數據以從第二採樣信號產生時間校準的第二信號，並將特徵修改數據應用於時間校準的笫二信號以產生音調修改的時間校準的第二信號。13、如權利要求12所迷的方法，其中，應用特徵修改數據的步驟包括根據預定函數調製特徵修改數據，從而根據特徵修改數據和預定函數聯合地修改笫二信號的所述所選擇的部分中的音調。14、如權利要求13所述的方法，其中，預定函數是笫一採樣信號中的音調測量對於沿著第二採樣信號的第二採樣信號中的對應的音調測量的比率的值的函數。15、一種用於修改音頻信號的至少一個聲學特徵的裝置，該裝置包括用於比較第一採樣音頻信號和第二採樣音頻信號，從而從第二信號中的依賴於時間的特徵的出現時間和第一信號中的依賴於時間的特徵的出現時間之間的定時差而確定時間校準數據的裝置；用於在沿著第一信號的所選擇的位置處測量第一信號的至少一個聲學特徵以從其中產生第一信號特徵測量的序列的裝置；用於處理第一信號特徵測量的序列以產生特徵修改數據的序列的裝置；以及用於將特徵修改數據的序列應用於第二信號以根據時間校準數據修改第二信號的選擇的部分的至少一個聲學特徵的裝置。16、如權利要求15所述的裝置，進一步包括用於在沿著第二信號的所選擇的位置處測量第二信號的所述至少一個聲學特徵以從其中產生第二信號特徵測量的序列的裝置，並且其中，用於處理第一信號測量的序列的裝置包括用於比較第一信號特徵測量和第二信號特徵測量並從這種比較中確定特徵修改數據的裝置。17、如權利要求15或16所述的裝置，其中，所述用於應用特徵修改數據的裝置包括用於使用時間校準數據來從第二採樣信號產生時間校準的第二信號並將特徵修改數據應用於所述時間校準的第二信號的裝置。18、如權利要求16或17所述的裝置，其中，所述處理裝置包括用於使用具有第一信號特徵測量的時間校準數據來產生與笫二信號特徵測量時間校準的特徵修改數據的裝置。19、如權利要求15所述的裝置，其中，用於應用特徵修改數據的裝置包括用於根據預定函數調製所述特徵修改數據從而根據特徵修改數據和預定函數聯合地修改第二信號的所述選擇的部分的所述至少一個聲學特徵的裝置。20、如權利要求15所述的裝置，其中，第一信號的所述至少一個聲學特徵是音調。21、如權利要求15所述的裝置，其中。第二信號的所述至少一個聲學特徵是音調。22、如權利要求15所述的裝置，其中，所述第一信號和第二信號的依賴於時間的特徵是採樣的鐠能量測量。23、如權利要求15所述的裝置，第一信號的所述至少一個聲學特徵是音調，第二信號的所述至少一個聲學特徵是音調，所述處理裝置包括用於從第一信號的音調測量對第二信號的時間校準的音調測量的比率的值來確定乘數因子，從而在應用特徵修改數據過程中包括所述因子，以便變換在第二信號中在修改的所選擇的信號部分中的音調改變的頻率範圍的裝置。24、如權利要求23所述的裝置，進一步包括用於以指數冪2來縮放所述乘數因子，從而根據所述指數冪2的選擇來改變第二修改的所選擇的信號部分中的音調的裝置。25、如權利要求16所述的裝置，其中，用於在沿著第二信號的所選擇的位置進行測量的裝置包括用於使用時間校準數據以從第二採樣信號產生時間校準的第二信號的裝置，在所述時間校準的第二信號中，第二採樣信號的所述依賴於時間的特徵的出現時間基本上與第一採樣信號中的所迷依賴於時間的特徵的出現時間一致；以及用於在被選擇為在定時方面與沿著第一採樣信號的所述所選擇的位置有關的、沿著時間校準的第二信號的位置處測量時間校準的第二信號中的至少一個聲學特徵的裝置。26、如權利要求25所述的裝置，其中，所述被選擇為在定時方面有關的位置基本上在定時方面與沿著第一採樣信號的所述所選擇的位置一致。27、如權利要求16所述的裝置，其中，第一採樣信號的所述至少一個聲學特徵是音調，第二採樣信號的所述至少一個聲學特徵是音調，所述用於應用特徵修改數據的裝置包括用於使用時間校準數據以從第二採樣信號產生時間校準的第二信號，並將特徵修改數據應用於時間校準的第二信號以產生音調修改的時間校準的第二信號的裝置。28、如權利要求27所述的裝置，其中，用於應用特徵修改數據的裝置包括用於根據預定函數調製特徵修改數據從而根據特徵修改數據和預定函數聯合地修改第二信號的所述所選擇的部分中的音調的裝置。29、如權利要求28所述的裝置，其中，預定函數是第一採樣信號中的音調測量對於沿著第二採樣信號的第二採樣信號中的對應的音調測量的比率的值的函數。30、一種音頻信號修改裝置，包括時間校準模塊，被布置為接收新信號和嚮導音頻信號並從其中產生時間校準的新信號；第一音調測量模塊，耦合到時間校準模塊，並被布置為測量時間校準的新信號中的音調；第二音調測量模塊，被布置為接收嚮導音頻信號並測量嚮導音頻信號中的音調；音調調整計算器，耦合到第一音調測量模塊和第二音調測量模塊，並被布置為計算音調校正因子；以及音調調製器，耦合到時間校準模塊，以接收時間校準的新信號，並耦合到音調調整計算器，以接收音調校正因子，並且被布置為根據音調校正因子修改時間校準的新信號中的音調。31、一種音頻信號修改裝置，包括時間校準模塊，被布置為接收新音頻信號和嚮導音頻信號並從其中產生時間校準的新信號；第一聲學特徵測量模塊，被布置為接收嚮導音頻信號，並測量嚮導音頻信號的至少一個聲學特徵；聲學特徵調整計算器，耦合到第一聲學特徵測量模塊，並被布置為計算聲學特徵修改因子；以及聲學特徵調製器，耦合到時間校準模塊，以接收時間校準的新信號，並耦合到聲學特徵調整計算器，以接收聲學特徵修改因子，並且被布置為根據聲學特徵修改因子修改時間校準的新信號的所述至少一個聲學特徵。32、如權利要求31所述的音頻信號修改裝置，其中，處理函數模塊耦合到特徵調整計算器以對其提供信號函數，特徵調整計算器適用於根據信號函數計算聲學特徵修改因子。33、如權利要求31或32所述的音頻信號修改裝置，其中，第二聲學特徵測量模塊耦合到時間校準模塊，並且被布置為測量時間校準的新信號的至少一個聲學特徵；聲學特徵調整計算器耦合到第二聲學特徵測量模塊。34、如權利要求31所述的音頻信號修改裝置，其中，笫二聲學測量模塊被布置為接收新音頻信號，並測量新音頻信號的所述至少一個聲學特徵，並且其中，聲學特徵調整計算器耦合到第二聲學特徵測量模塊和時間校準模塊，並且適用於將新音頻信號的測量的聲學特徵校準到嚮導音頻信號的測量的聲學特徵。35、一種音頻信號修改裝置，包括時間校準模塊，被布置為接收新音頻信號和嚮導音頻信號並從其中產生時間校準數據；第一聲學特徵測量模塊，被布置為接收嚮導音頻信號，並測量嚮導音頻信號的至少一個聲學特徵；聲學特徵調整計算器，耦合到時間校準模塊和第一聲學特徵測量模塊，並被布置為計算聲學特徵修改因子的時間校準的值；以及聲學特徵調製器，被耦合以接收新音頻信號，以及被耦合到聲學特徵調整計算器以接收聲學特徵修改因子的時間校準的值，並且被布至少一個聲學特徵，從而產生修改的新音頻信號,36、如權利要求35所述的音頻信號修改裝置，其中，時間校準器被耦合到聲學特徵調製器，以接收修改的新音頻信號，並耦合到時間校準模塊，以接收時間校準數據，並且被布置為根據所述修改的新音頻信號和時間校準數據產生時間校準的修改的新信號。37、如權利要求35或36所述的音頻信號修改裝置，其中，第二聲學特徵測量模塊被布置為接收新音頻信號並測量新音頻信號的至少一個聲學特徵；以及聲學特徵調整計算器耦合到第二聲學特徵測量模塊。38、如權利要求l所述的方法，其中，所述應用步驟包括由此產生表示修改的第二信號的數據。39、如權利要求38所述的方法，進一步包括以下步驟將表示修改的第二信號的數據提供給電信裝置。40、如權利要求39所述的方法，其中，所述提供步驟包括通過鈴聲傳遞系統發送表示修改的第二信號的數據。41、如權利要求16所述的裝置，其中，所述比較裝置、所述測量裝置、所述處理裝置以及所述應用裝置被合併在電信裝置中。42、如權利要求41所述的裝置，其中，電信裝置包括適於耦合到電信網絡的伺服器計算機。43、如權利要求41所述的裝置，其中，電信裝置包括行動電話。44、如權利要求41所述的裝置，其中，電信裝置適於將表示修改的第二信號的數據提供給鈴音傳遞系統。45、如權利要求43所述的裝置，其中，行動電話適於將表示修改的第二信號的數據提供給鈴音傳遞系統。全文摘要將數位化音頻信號(310)(例如業餘演唱)以及數字嚮導音頻信號(312)提供給產生與嚮導信號進行時間校準的時間校準的新信號(330)的時間校準處理(320)。在處理(340)和(345)中，測量沿著時間校準的新信號(330)和沿著嚮導信號(312)的音調，在處理(340)和(345)中，將這些測量提供給音調調整計算器(370)，音調調整計算器(370)從這些測量以及信號的最接近的八度音階比率來計算音調校正因子C(Fp)。音調改變處理(380)調製時間校準的新信號(330)的音調，以產生時間校準且音調調整的新信號(390)。文檔編號G10L25/90GK101111884SQ200680003410公開日2008年1月23日申請日期2006年1月26日優先權日2005年1月27日發明者喬納森·紐蘭德,威廉·J.·埃爾伍德,菲利普·J.·布盧姆申請人:森闊藝術有限公司