信號處理系統、信號處理設備和方法、記錄介質、以及程序的製作方法
2023-05-10 02:01:06
專利名稱:信號處理系統、信號處理設備和方法、記錄介質、以及程序的製作方法
技術領域:
本發明涉及信號處理系統、信號處理設備和方法、記錄介質、以及程序,本發明尤其涉及這樣的信號處理系統、信號處理設備和方法、記錄介質、以及程序,其中抑制了高頻分量的窄帶信號的高頻分量被高精度地復原。
背景技術:
對於將窄頻帶的音頻信號擴張至寬帶的技術,迄今已做出了各種提案。
例如,日本特開平7-36490號公報(以下稱作文獻1)公開了一種基於輸入音頻信號頻譜的損失諧波分量由算數運算來生成並被附加的方法。
而且,在埼玉大學致日本音響學會的論文(以下稱作文獻2)中,發表了一種由輸入信號的自相關運算來生成有聲音端波形、並將其作為高頻分量而利用的方法。
此外,日本特開平11-126097號公報和日本特開平11-68515號公報(以下稱作文獻3)公開了一種以比輸入信號更高的抽樣頻率來進行D/A變換情況的抽樣值內插方法。
而且,日本特開平6-118995號公報(以下稱作文獻4)公開了一種通過在寬帶音頻信號的向量量化碼簿和窄帶音頻信號的向量量化碼簿間建立相關性而復原寬帶音頻信號的方法。
文獻1的技術是這樣的在MP3(運動圖片專家組-1,音頻層-3)等相對的寬帶音頻信號中,在音頻信號壓縮過程中損失的高頻信號被預測和附加,例如,當諸如電話音頻頻帶那樣極端窄帶的信號的帶寬擴張2倍時,其適用是很困難的。
而且,文獻2的技術是僅對有聲音的處理,其問題在於無法復原無聲音(子音部)。
文獻3的技術是這樣的內插濾波器的擴展的技術在增加抽樣頻率的抽樣值內插處理的情況下,內插抽樣值的水準被設定成在觀察了數個鄰近抽樣的變化狀況之後被認為是適宜的值,故該技術無法復原損失的頻率分量。
文獻4的技術,由於將LPC(線性預測係數)分析和合成處理用作處理的核心、而被認為是將聲道模型假想成輸入信號。因此,將其適用於音樂聲音是很困難的。
發明內容
本發明是鑑於以上狀況而做出的,目的在於使抑制了高頻分量的窄帶信號的高頻分量能夠被高精度地復原。
在本發明的信號處理系統中,第一信號處理設備包括第一信號輸入裝置,用來輸入具有寬帶頻率分量的第一信號;第二信號輸入裝置,用來輸入第一信號中的第二信號,第二信號是抑制了高頻分量的窄帶信號;抽取裝置,用來從由第一信號輸入裝置輸入的第一信號中抽取高頻分量;第一決定裝置,用來基於由第二信號輸入裝置輸入的第二信號來決定每個第一分類碼;以及存儲裝置,用來對於由第一決定裝置所決定的第一分類碼存儲由抽取裝置抽取的高頻分量;而第二信號處理設備包括第三信號輸入裝置,用來輸入具有抑制了高頻分量的窄帶第三信號;第二決定裝置,用來基於由第三信號輸入裝置輸入的第三信號來決定第二分類碼;合成裝置,用來合成存儲裝置中存儲的高頻分量和由第三信號輸入裝置輸入的第三信號,該高頻分量與第二決定裝置所決定的第二分類碼相對應;以及輸出裝置,用來輸出由合成裝置生成的合成信號。
在本發明的信號處理系統的信號處理方法中,第一信號處理設備包括第一信號輸入控制步驟,用來控制具有寬帶頻率分量的第一信號的輸入;第二信號輸入控制步驟,用來控制第一信號中的第二信號的輸入,第二信號是抑制了高頻分量的窄帶信號;抽取步驟,用來從第一信號輸入控制步驟中由處理控制其輸入的第一信號中抽取高頻分量;第一決定步驟,用來基於在第二信號輸入控制步驟中由處理控制輸入的第二信號來決定各第一分類碼;和存儲步驟,用來對於在第一決定步驟中由處理所決定的第一分類碼存儲由抽取步驟的處理抽取的高頻分量;而第二信號處理設備包括第三信號輸入控制步驟,用來控制具有抑制了高頻分量的窄帶第三信號的輸入;第二決定步驟,用來基於在第二信號輸入控制步驟中由處理控制輸入的第三信號來決定第二分類碼;合成步驟,用來合成在存儲步驟中由處理所存儲的高頻分量和在第三信號輸入控制步驟中由處理控制輸入的第三信號,該高頻分量與在第二決定步驟中由處理所決定的第二分類碼相對應;以及輸出控制步驟,用來控制在合成步驟中由處理生成的合成信號的輸出。
本發明的第一信號處理設備包括第一信號輸入裝置,用來輸入具有寬帶頻率分量的第一信號;第二信號輸入裝置,用來輸入第一信號中的第二信號,第二信號是抑制了高頻分量的窄帶信號;抽取裝置,用來從由第一信號輸入裝置輸入的第一信號中抽取高頻分量;決定裝置,用來基於由第二信號輸入裝置輸入的第二信號來決定各分類碼;以及存儲裝置,用來對於決定裝置所決定的分類碼存儲由抽取裝置抽取的高頻分量。
本發明的第一信號處理方法包括第一信號輸入控制步驟,用來控制具有寬帶頻率分量的第一信號的輸入;第二信號輸入控制步驟,用來控制第一信號中的第二信號的輸入,第二信號是抑制了高頻分量的窄帶信號;抽取步驟,用來從第一信號輸入控制步驟中由處理控制輸入的第一信號中抽取高頻分量;決定步驟,用來基於在第二信號輸入控制步驟中由處理控制輸入的第二信號來決定各分類碼;以及存儲步驟,用來對於決定步驟中由處理所決定的分類碼存儲在抽取步驟中由處理抽取的高頻分量。
本發明的第一記錄介質上程序包括第一信號輸入控制步驟,用來控制具有寬帶頻率分量的第一信號的輸入;第二信號輸入控制步驟,用來控制第一信號中的第二信號的輸入,第二信號是抑制了高頻分量的窄帶信號;抽取步驟,用來從第一信號輸入控制步驟中由處理控制輸入的第一信號中抽取高頻分量;決定步驟,用來基於在第二信號輸入控制步驟中由處理控制輸入的第二信號來決定各分類碼;和存儲步驟,用來對於在決定步驟中由處理所決定的分類碼存儲在抽取步驟中由處理抽取的高頻分量。
本發明的第一程序允許使計算機執行第一信號輸入控制步驟,用來控制具有寬帶頻率分量的第一信號的輸入;第二信號輸入控制步驟,用來控制第一信號中的第二信號的輸入,第二信號是抑制了高頻分量的窄帶信號;抽取步驟,用來從第一信號輸入控制步驟中由處理控制輸入的第一信號中抽取高頻分量;決定步驟,用來基於在第二信號輸入控制步驟中由處理控制輸入的第二信號來決定各分類碼;和存儲步驟,用來對於在決定步驟中由處理所決定的分類碼存儲在抽取步驟中由處理抽取的高頻分量。
音頻信號可輸入到本發明的第一信號處理設備中的輸入裝置。
當輸入本發明的第一信號處理設備的信號是音頻信號時,決定裝置基於由根據等響度特性來加權處理的第二信號可決定分類碼。
當輸入本發明的第一信號處理設備的信號是音頻信號時,決定裝置基於音頻信號頻譜的平均功率電平和最大功率電平的位置可決定分類碼。
當輸入本發明的第一信號處理設備的信號是音頻信號時,決定裝置可對於等於或高於由抽取裝置抽取的高頻分量的最低頻率的1/2倍或1/3倍的頻率的頻譜分量決定分類碼。
圖像信號可輸入到本發明的第一信號處理設備的輸入裝置。
當輸入本發明的第一信號處理設備的信號是圖像信號時,決定裝置基於圖像信號的頻譜的交流平均功率電平、直流功率電平和交流分量峰功率電平而可決定分類碼。
在本發明的第一信號處理設備的存儲裝置中,由抽取裝置抽取的高頻分量可被存儲以便相關於特定信息。
本發明的第一信號處理設備的特定信息可以是電話機的電話號碼。
還可進一步提供生成裝置,用來通過以預定的時間間隔來抽選(decimating)本發明的第一信號處理設備的第一信號而生成第二信號。
本發明的第二信號處理設備包括信號輸入裝置,用來輸入具有抑制了高頻分量的窄帶信號;決定裝置,用來基於由信號輸入裝置輸入的信號來決定分類碼;存儲裝置,用來存儲高頻分量;合成裝置,用來合成存儲裝置中存儲的高頻分量和由信號輸入裝置輸入的信號,該高頻分量與決定裝置所決定的分類碼相對應;和輸出裝置,用來輸出由合成裝置生成的合成信號。
本發明的第二信號處理方法包括信號輸入控制步驟,用來控制具有抑制了高頻分量的窄帶信號的輸入;決定步驟,用來基於在信號輸入控制步驟中由處理控制輸入的信號來決定分類碼;存儲控制步驟,用來控制高頻分量的存儲;合成步驟,用來合成在存儲步驟中由處理所控制存儲的高頻分量和在信號輸入控制步驟中由處理輸入的信號,該高頻分量與在決定步驟中由處理所決定的分類碼相對應;以及輸出控制步驟,用來控制在合成步驟中由處理生成的合成信號的輸出。
本發明的第二記錄介質上程序包括信號輸入控制步驟,用來控制具有抑制了高頻分量的窄帶信號的輸入;決定步驟,用來基於在信號輸入控制步驟中由處理控制輸入的信號來決定分類碼;存儲控制步驟,用來控制高頻分量的存儲;合成步驟,用來合成在存儲步驟中由處理所控制其存儲的高頻分量和在信號輸入控制步驟中由處理輸入的信號,該高頻分量與在決定步驟中由處理所決定的分類碼相對應;以及輸出控制步驟,用來控制在合成步驟中由處理生成的合成信號的輸出。
本發明的第二程序允許使計算機執行信號輸入控制步驟,用來控制具有抑制了高頻分量的窄帶信號的輸入;決定步驟,用來基於在信號輸入控制步驟中由處理控制輸入的信號來決定分類碼;存儲控制步驟,用來控制高頻分量的存儲;合成步驟,用來合成在存儲步驟中由處理所控制存儲的高頻分量和在信號輸入控制步驟中由處理輸入的信號,該高頻分量與在決定步驟中由處理所決定的分類碼相對應;和輸出控制步驟,用來控制在合成步驟中由處理生成的合成信號的輸出。
音頻信號可輸入到本發明的第二信號處理設備的輸入裝置。
當輸入本發明的第二信號處理設備的信號是音頻信號時,決定裝置基於由根據等響度特性加權處理的第二信號可決定分類碼。
當輸入本發明的第二信號處理設備的信號是音頻信號時,決定裝置基於音頻信號頻譜的平均功率電平和最大功率電平的位置可決定分類碼。
當輸入本發明的第二信號處理設備的信號是音頻信號時,決定裝置對於等於或大於由抽取裝置抽取的高頻分量的最低頻率的1/2倍或1/3倍的頻率的頻譜分量決定分類碼。
圖像信號可輸入到本發明的第二信號處理設備的輸入裝置。
當輸入本發明的第二信號處理設備的信號是圖像信號時,決定裝置基於圖像信號的頻譜的交流平均功率電平、直流功率電平和交流分量峰功率電平可決定分類碼。
在本發明的第二信號處理設備的存儲裝置中存儲的高頻分量可以按預定的定時來更新。
在本發明的第二信號處理設備的存儲裝置中,由抽取裝置抽取的高頻分量可被存儲以便相關於特定信息。
本發明的第二信號處理設備的特定信息可以是電話機的電話號碼。
在本發明的信號處理系統和信號處理方法中,第一信號處理設備從寬帶頻率分量的第一信號中抽取高頻分量,基於抑制了高頻分量的窄帶第一信號中的第二信號來決定第一分類碼,並對於各分類碼存儲高頻分量。而在第二信號處理設備中,基於抑制了高頻分量的窄帶第三信號來決定第二分類碼,並通過與對應於第二分類碼的高頻分量合成而生成第三信號。
在第一信號處理設備和方法、記錄介質、以及程序中,從寬帶頻率分量的第一信號中抽取高頻分量,並基於抑制了高頻分量的窄帶第一信號中的第二信號來決定各分類碼。對於各分類碼存儲高頻分量。
在第二信號處理設備和方法、記錄介質、以及程序中,基於抑制了高頻分量的窄帶信號來決定分類碼,將對應於分類碼的高頻分量和具有窄帶的信號進行合成,隨即生成並輸出合成信號。
信號處理設備可以是獨立的設備,也可以是一臺設備上的進行信號處理的功能塊。
圖1是根據本發明的第一實施例的音頻信號寬帶化設備的示例性的框圖;圖2是表示圖1中分類部件的示例性的框圖;圖3是說明圖1中音頻信號寬帶化設備的音頻信號寬帶化處理的流程圖;圖4A是表示音頻寬帶化處理中數據示例的圖;圖4B是表示音頻寬帶化處理中數據示例的圖;圖4C是表示音頻寬帶化處理中數據示例的圖;圖5A是說明分類處理的基本原理的圖;圖5B是說明分類處理的基本原理的圖;圖6是說明圖3中步驟S3的分類處理的流程圖;圖7是說明聲音的等響度曲線的圖;圖8是表示對聲音做頻率校正的A-特性曲線的圖;圖9是說明圖6中步驟S25的處理的圖;圖10是表示音頻信號學習設備的示例性的框圖;圖11是說明圖10的學習設備的學習處理的流程圖;圖12A是表示學習處理中音頻信號數據示例的圖;圖12B是表示學習處理中音頻信號數據示例的圖;圖12C是表示學習處理中音頻信號數據示例的圖;圖12D是表示學習處理中音頻信號數據示例的圖;圖12E是表示學習處理中音頻信號數據示例的圖;
圖12F是表示學習處理中音頻信號數據示例的圖;圖13是說明圖11中步驟S53的分類處理的流程圖;圖14根據本發明的第二實施例的圖像信號寬帶化設備的示例性的框圖;圖15是表示圖14的分類部件的示例性的框圖;圖16A是表示圖像信號寬帶化處理中數據的示例的圖;圖16B是表示圖像信號寬帶化處理中數據的示例的圖;圖16C是表示圖像信號寬帶化處理中數據的示例的圖;圖17是說明圖14中圖像信號寬帶化設備的分類處理的流程圖;圖18是說明圖17中步驟S92的處理的圖;圖19是表示圖像信號學習設備的示例性的框圖;圖20A是表示學習處理中圖像信號數據的示例的圖;圖20B是表示學習處理中圖像信號數據的示例的圖;圖20C是表示學習處理中圖像信號數據的示例的圖;圖20D是表示學習處理中圖像信號數據的示例的圖;圖20E是表示學習處理中圖像信號數據的示例的圖;圖20F是表示學習處理中圖像信號數據的示例的圖;圖21是說明圖19中的學習設備的分類處理的流程圖;圖22是根據本發明的第三實施例的傳送系統的示例性的框圖;圖23是表示圖22中蜂窩電話的示例性的框圖;圖24是表示圖23中發送部件的示例性的框圖;圖25是表示圖23中接收部件的示例性的框圖;圖26是在將學習產生數據表作為固定信息而提供的情形下的圖24中編碼部件的示例性的框圖;圖27是在將學習產生數據表作為固定信息而給予的情形下的圖25中解碼部件的示例性的框圖;圖28是在以預定的定時來更新學習產生數據表的情形下的圖24中編碼部件的示例性的框圖;圖29是在以預定的定時來更新學習產生數據表的情形下的圖25中解碼部件的示例性的框圖;圖30是說明圖24中發送部件的發送處理的流程圖;圖31是說明圖30中步驟S202的內存數據發送處理的流程圖;
圖32是說明圖30中步驟S205的編碼處理的流程圖;圖33是說明圖25中接收部件的接收處理的流程圖;圖34是說明圖33中步驟S252的內存數據更新處理的流程圖;圖35是說明圖33中步驟S254的解碼處理的流程圖;圖36是表示適用本發明的計算機的實施例的示例性的框圖。
具體實施例方式
圖1表示根據本發明的第一實施例的音頻信號寬帶化設備的示例。
具有低頻分量(沒有高頻分量)的窄帶音頻信號被輸入幀單位劃分部件11。輸入的音頻信號被預定的幀(單位時間)劃分成塊,並輸出至DCT(離散餘弦變換)變換部件12。
DCT變換部件12對從幀單位劃分部件11輸入的時間域上的輸入音頻信號逐幀地頻譜變換成頻率域上的信號,並將變換後的信號輸出至分類部件13和頻譜結合部件16。作為做頻譜變換的方法,這裡使用的是M-DCT(修改的DCT),該M-DCT使相鄰的塊彼此重疊一半。
其他上述M-DCT變換的頻譜變換包括DFT(離散傅立葉變換)、DCT(離散餘弦變換)、FFT(快速傅立葉變換)或LPC等方法。只要是將時間域上的音頻信號變換成頻率域上的信號,就可以由他們包括。
分類部件13基於輸入的頻譜信號通過使用分類處理(有關詳細將參照圖6後述)來算出分類碼,並將分類碼輸出至學習產生數據表14。
學習產生數據表14是將分類碼作為地址的表內存,並在分類碼地址中存儲了通過使用圖10來後述的學習設備得到的高頻分量的音頻信號頻譜的向量數據項。學習產生數據表14讀取與從分類部件13輸入的分類碼相對應的高頻分量的音頻信號頻譜的向量數據,並將讀取的數據輸出至增益調整部件15。
增益調整部件15調整由學習產生數據表14輸入的高頻分量的音頻信號頻譜數據的增益,以匹配由頻譜結合部件16結合的低頻分量的音頻信號頻譜數據的增益。
頻譜結合部件16將由增益調整部件15輸入的高頻分量的音頻信號頻譜的向量數據和由DCT變換部件12輸入的低頻分量的音頻信號頻譜的向量數據的最終行或後續行相結合,並將結合數據輸出至逆DCT變換部件17。
逆DCT變換部件17通過進行M-DCT變換的逆變換而將頻率域上的頻譜數據變換成時間域上的頻譜,並輸出至幀結合部件18。
幀結合部件18在輸出音頻信號前為了不使聲音在幀的邊界出現不連續而進行重疊幀部分的加法處理。
圖2表示圖1中分類部件13的詳細的示例。
由DCT變換部件12輸出的M-DCT變換後的DCT頻譜數據被輸入功率電平變換部件31。輸入的DCT頻譜數據被變換成功率電平,並變換成dB(分貝)值,而後輸出至加權部件32。
加權部件32對輸入的DCT頻譜數據實施加權處理、其中考慮了參照圖7而後述的等響度特性,並將處理後的數據輸出至頻譜抽取部件33。
頻譜抽取部件33從輸入的低頻分量的DCT頻譜數據中抽取DCT頻譜數據,該DCT頻譜數據是等於或大於要復原的高頻分量的最低頻率的1/2或1/3倍的頻率的DCT頻譜數據,並將抽取的數據輸出至子帶形成劃分部件34。
子帶形成劃分部件34將頻譜抽取部件33所抽取的DCT頻譜數據劃分成預定數量的子帶,並將子帶輸出至量化部件35。
量化部件35以子帶單位來安排劃分成子帶的DCT頻譜數據,得到輸入部分中功率電平的平均值(由頻譜抽取部件33抽取的),並對此平均值進行量化以生分量類碼。而且還得到與最大功率電平對應的子帶位置、並基於此而生成分類碼。將兩個分類碼輸出至分類碼決定部件36。
分類碼決定部件36通過對基於由量化部件35輸入的功率電平的平均值的分類碼和基於最大功率位置的分類碼做多元處理(multiplexing),從而生成單個分類碼,並將生成的分類碼輸出至學習產生數據表14(圖1)。
其次,參照圖3的流程圖和圖4A至圖4C來說明音頻信號寬帶化設備1的音頻寬帶化處理。
在步驟S1處,幀單位劃分部件11將輸入音頻信號寬帶化設備1的抑制了高頻分量的音頻信號劃分成幀。具體地講,音頻信號對於每一預定的幀(單位時間)而被劃分成塊。
在步驟S2處,DCT變換部件12對在步驟S1處劃分成幀的音頻信號做M-DCT變換。圖4A表示由1幀中的音頻信號的M-DCT變換而得的數據(以下稱作DCT頻譜數據)。
在步驟S3,分類部件13通過執行參照圖6而後述的分類處理來算出分類碼。
在步驟S4,學習產生數據表14讀取高頻分量的DCT向量數據,該高頻分量存儲於與在步驟S3處從分類部件13輸出的分類碼相對應的地址處。圖4B表示如上述讀取的高頻分量頻譜數據。
在步驟S5,頻譜結合部件16將輸入音頻信號寬帶化設備1的音頻寬帶化處理的低頻分量的DCT頻譜數據(由圖4A中的頻譜A1表示的部分)和從學習產生數據表14讀取的高頻分量頻譜數據(由圖4B中的頻譜B1表示的部分)相結合。換句話講,如圖4C所示,將頻譜B1的前端(低頻側)連接至頻譜A1的後端(高頻側)。由DCT變換部件12輸出的數據的項數是N,而由學習產生數據表14讀取的數據項數也是N。所以,結合後的數據項數就是2N。
在步驟S6,逆DCT變換部件17對頻譜結合的DCT頻譜數據做逆M-DCT變換。
在步驟S7處,幀結合部件18在幀的邊界實施重疊的加法處理,並輸出所得結果,之後結束音頻寬帶化處理。此重疊處理阻止音頻聲音在幀的邊界不連續。
以下說明圖3的分類處理。
最初,參照圖5A和圖5B來說明分類處理的基本原理。圖5A表示具有帶寬為2B0的低頻分量和高頻分量的教師(supervising)DCT頻譜,而圖5B表示帶寬為B0的僅具有窄帶低頻分量的學生DCT頻譜。
基於窄帶信號中所包括的高頻分量的量和頻譜形狀將復原的頻率分量間有連結關係的前提,而進行分類處理。換句話講,在假定模型由音調(pitch)頻率及其諧波分量構成的情形下,期望在圖5A中約一半帶寬2B0的高頻帶區Q中含有這樣的信號其對應於圖5B中約一半帶寬B0的高頻區P的2倍或3倍的諧波分量。反之,當P區幾乎不存在頻譜時,期望Q區也存在信號的可能性很低。
其次,參照圖6來說明分類處理。
在步驟S21,功率電平形成變換部件31將由DCT變換部件12輸入的頻譜數據變換成功率電平,進而將該功率電平變換成dB(分貝)值。換句話講,輸入的頻譜數據x[k](k=0,1,...,N-1)由下式變換成平均功率電平PWR
PWR=|x[k]|2=1Ni=0N-1x[i]2]]>此外,由下式將平均功率電平PWR變換成dB(分貝)值PWRdBPWRdB=10log10(PWR)在步驟S22,在加權部件32中對於在步驟S23處計算的功率的分貝值PWRdB,考慮人耳的特性而進行加權處理。
人類主觀地感到的音量大小和聲壓值的關係可由圖7所示的等響度曲線表示。這表示具有正常聽覺的人所感到相等大小的純音的聲壓值和頻率的關係。如曲線所示,我們人類的耳朵在低頻和高頻處的敏感度低。
這種基於人耳的特性而進行頻率校正的處理是在步驟S22進行的加權處理。具體地說,對輸入信號執行稱作A-特性曲線的校正,該A-特性曲線由圖8中符號A表示。
在步驟S22進行加權處理後,在步驟S23,頻譜抽取部件33從輸入的低頻分量的頻譜數據中抽取等於或大於要復原的高頻分量的最低頻率的1/2或1/3的頻率的頻譜數據,並將抽取的數據輸出至子帶形成劃分部件34。這是基於上述分類處理的基本原理而進行的。
換句話講,作為要復原的高頻分量,圖5A中Q區的最低頻率是fQ。從作為低頻分量的圖5B的頻譜數據中,例如,抽取頻率fQ一半的fQ/2以上的P區的頻譜。
在步驟S24,子帶形成劃分部件34將步驟S23處抽取的頻譜數據(從圖5B中頻率fQ/2到頻率fQ的頻譜數據)劃分成預定的數,例如32個子帶,並以子帶單位來安排頻譜數據。
在步驟S25,如圖9所示,得到在32個全體子帶的平均功率電平PAV和32個子帶中分貝功率電平PWRdB最大的子帶位置Bn。例如,頻譜分貝功率電平的帶是例如0至127[dB]。
在步驟S26,分類碼決定部件36對基於在步驟S25處輸出的平均功率電平PAV的分類碼和基於最大功率位置Bn的分類碼做多元處理。在圖9的例中,基於最大功率位置Bn的分類碼可具有從0至31的32個值,而基於平均功率電平PAV的分類碼可具有從0至127的128個值。因此,合成的分類碼的數量就是32×128=4096。將4096個值中的任意一個作為分類碼輸出。
除上述以外,模型化頻譜形狀的方法還可包括檢測多個頻譜峰的方法、檢測頻譜傾斜或功率分布的方法和改變子帶數量的方法。
其次,參照圖10來說明學習設備,其生成對於分類碼存儲的、要寫入音頻信號寬帶化設備1中學習產生數據表14的高頻分量的向量數據項。例如,該學習設備50由產生音頻信號寬帶化設備1的製造者持有。
最初,準備用作教師信號的其中含有高頻分量的寬帶音頻信號,以及作為學生信號的其中抑制了教師數據的高頻分量的窄帶音頻信號。在圖10的示例中,產生學生數據,以便在抽選電路65中通過除去教師數據高頻分量而生成的低頻分量被抽樣抽選減半。
從而,設輸入幀單位劃分部件66的學生數據的幀長度為N,設輸入幀單位劃分部件61的教師數據的幀長度為2N。而且此時各幀的數據是同步的。
幀單位劃分部件61和幀單位劃分部件66、以及DCT變換部件62和DCT變換部件67的功能與圖1中幀單位劃分部件11和DCT變換部件12的功能是同樣的。
高頻分量抽取部件63抽取教師數據的頻譜的高頻側的那一半,並將抽取的那一半輸出至加法部件64。
分類部件68生成與圖1中分類部件13處上述的同樣的分類碼,再計算類的出現頻度並輸出至積算表69。
積算表69接收由分類部件68輸出的分類碼作為輸入地址,並讀取存儲在該地址中的DCT向量數據項並將其輸出至加法部件64。加法部件64對從高頻分量抽取部件63輸出的N個高頻分量的DCT向量數據項和從積算表69輸出的N個DCT向量數據項進行向量加法,並將結果輸出至與積算表69輸出數據時所使用的分類碼地址的位置相同的位置。因為N個DCT向量數據項存儲在1個分類碼地址處,所以積算表69成為包括(N×分類數)個數據項的表格。而且,以預定的定時,積算表69將存儲在其分類碼地址處的向量數據項除以由編碼參數編碼器分類部件68輸出的類的出現頻度,再將結果輸出至學習產生數據表70。
學習產生數據表70存儲了從積算表69輸出的(N×分類數)個DCT向量數據項。學習產生數據表70的數據項經網絡而傳送至音頻信號寬帶化設備1並存儲在學習產生數據表14。或者,學習產生數據表70的數據項被寫入半導體內存等,並作為音頻信號寬帶化設備1的學習產生數據表14而設置。
由於學習設備50的分類部件68的構成與音頻信號寬帶化設備1的分類部件13同樣,故圖2中分類部件13的結構在必要時參照圖10中分類部件68的結構。
其次,參照圖11的流程圖來說明學習設備50的學習處理。
在步驟S51,教師數據的頻譜和學生數據的頻譜形成了幀。換句話講,幀單位劃分部件61將輸入的教師數據以每一單位時間劃分成幀,並每幀抽取2N個樣值。抽選電路65通過從教師數據僅抽取低頻分量並交替地抽選該低頻分量,從而生成學生數據。幀單位劃分部件66將學生數據以每單位時間劃分成幀,並每幀抽取N個樣值。
在步驟S52,DCT變換部件62和DCT變換部件67對教師數據和學生數據分別執行M-DCT變換。圖12A表示教師數據被M-DCT變換後而得的DCT頻譜數據,而圖12B表示學生數據被M-DCT變換後而得的DCT頻譜數據。從兩者間的比較可以明白圖12B的學生數據的DCT頻譜對應於圖12A的教師數據的M-DCT頻譜的低頻分量。
在步驟S53,分類部件68通過基於學生數據頻譜來執行參照圖13後述的分類處理而計算分類碼和類的出現頻度,並將結果輸出至積算表69。
在步驟S54,積算表69讀取向量數據項,該數據項存儲於由分類部件68輸出的分類碼對應的地址處。
在步驟S55,高頻分量抽取部件63從由DCT變換部件62輸入的教師數據中抽取高頻分量。圖12C表示抽取的高頻分量的DCT頻譜。這對應於圖12A中教師數據的全體DCT頻譜中的較高部分R。
在步驟S56,加法部件64對在步驟S54中從積算表69讀取的向量數據(圖12D所示的數據)和在步驟S55從教師數據抽取的高頻分量的向量數據(圖12C所示的數據)進行向量加法。圖12E表示在步驟S56進行向量加法後而得的DCT頻譜數據。
在步驟S57處,加法部件64將在步驟S56處算出的向量數據(圖12E所示的數據)存儲在與積算表69讀取時所使用的分類碼地址的位置相同的位置。
在步驟S58,判定學習處理是否結束。當判斷學習處理尚未結束時,處理返回步驟S51並重複後續的處理。當判斷學習處理已結束時,處理進至步驟S59。
當在步驟S58判斷學習處理已結束時,在步驟S59,積算表69通過將存儲在其分類碼地址的N個向量數據項除以對應的分類碼的類的出現頻度從而算出向量數據項的平均值,並輸出和存儲至學習產生數據表70,再結束學習處理。圖12F表示存儲在一個分類碼的地址處的N個向量數據項。
其次,參照圖13的流程圖來說明圖11的步驟S53的分類處理。
儘管由於步驟S71至步驟S76的處理與圖6的音頻信號寬帶化設備的分類處理的步驟S21至步驟S26同樣而省略其說明,但處理對基於學生數據的平均功率電平PAV的分類碼和基於最大功率Bn的分類碼做多元處理。
在步驟S77,分類碼決定部件36(與圖2的音頻信號寬帶化設備1同樣)增加步驟S76中決定的分類碼的計數,並將指示哪個分類碼出現了幾次的計數值輸出至積算表69,再結束分類處理。
如上述,音頻信號寬帶化設備1的分類處理和學習設備50的分類處理直到算出分類碼為止都是彼此相同的。而後,兩者的差異僅在於是否計算類的出現頻度。
圖14表示根據本發明的第二實施例的圖像信號寬帶化設備的示例。在上述的音頻信號寬帶化設備1中,輸入信號是一維的音頻信號並以幀單位被處理,而在圖像信號寬帶化設備80中,由於輸入信號是2維的圖像信號,故以塊(例如8×8像素)單位而被處理。圖14中的塊形成劃分部件91、DCT變換部件92、分類部件93、學習產生數據表94、結合部件95和逆DCT變換部件96與圖1中的幀單位劃分部件11、DCT變換部件12、分類部件13、學習產生數據表14、頻譜結合部件16和逆DCT變換部件17具有基本同樣的功能。因而省略了其說明。圖1所示的增益調整部件15和頻譜結合部件18由於在圖像信號的情形下不一定必要,故被省略。
圖15表示圖14的分類部件93的詳細的示例。
由DCT變換部件92的M-DCT變換而得的DCT數據被輸入功率電平形成變換部件101。輸入的DCT數據與上述的音頻信號寬帶化設備1同樣被變換成功率電平,進而變換成功率的分貝值。該值被輸出至量化部件102。
量化部件102對於DCT塊內的DCT數據算出交流分量的平均功率電平,以及與交流分量的峰值對應的DCT數據的位置,並生成基於這兩者的分類碼輸出至分類碼決定部件103。
分類碼決定部件103基於輸入DCT塊的量化數據通過分類碼做多元處理,從而生成分類碼,並將該分類碼輸出和存儲至學習產生數據表94(圖14)。
其次,說明圖像信號寬帶化設備80的圖像寬帶化處理。由於其流程圖與圖3的音頻信號寬帶化設備1同樣,故參照圖3的流程圖來說明。
在步驟S1,由圖像信號寬帶化設備80將輸入圖像信號寬帶化設備80的抑制了高頻分量的圖像信號劃分成塊單位(例如2×2像素)。
在步驟S2,DCT變換部件92對劃分成塊的圖像信號執行M-DCT變換。圖16A表示一塊的圖像信號被M-DCT變換而得的數據(以下稱作DCT數據)。
在步驟S3,分類部件93通過執行參照圖17後述的分類處理而算出分類碼。
在步驟S4,學習產生數據表94讀取DCT係數的向量數據項,該向量數據項存儲於與在步驟S3由分類部件93輸出的分類碼相對應的地址處。圖16B表示此時讀取的具有高頻分量的DCT係數的向量數據。
在步驟S5,結合部件95對輸入圖像信號寬帶化設備80的低頻分量的DCT數據(圖16A)和從學習產生數據表94讀取的高頻分量的DCT數據(圖16B)進行向量加法。圖16C表示結合的DCT塊數據。
在步驟S6,逆DCT變換部件96對結合的DCT數據做逆M-DCT變換。
由於步驟S7的重疊處理在上述圖像信號的情形下不一定必要執行,故不執行步驟S7的處理而終止圖像信號的寬帶化處理。
其次,參照圖17的流程圖來說明分類部件93執行的分類處理。
在步驟S91,在功率電平變換部件101中,從DCT變換部件92輸入的DCT數據被變換成功率電平,進而變換成功率的分貝值。該處理與上述音頻信號的情形同樣。
在步驟S92,量化部件102算出DCT塊數據的交流平均功率電平和直流功率電平,並檢測交流分量峰功率位置。例如,輸入了圖18所示的具有4×4像素的DCT塊BL。各像素的DCT數據項是c[n],其功率的帶是0至127[dB]。交流平均功率電平是圖18的AC區內的DCT數據項c[1]至c[15]的平均值,直流功率電平是圖18的DC區內的DCT數據項c
的值。而且,交流分量峰功率位置是DCT數據項c[1]至c[15]內、具有當功率電平最大時的n(1至15的任意之一)。
在步驟S93,分類部件93通過對基於步驟S92中的3個值而得到的分類碼做多元處理,從而生成分類碼,並將分類碼輸出至學習產生數據表94,再結束分類處理。在上述的情形下,有128個基於交流平均功率電平的分類碼,128個基於直流功率電平的分類碼,和15個基於交流分量峰功率位置的分類碼。因而,可使用共計128×128×15=245760個分類碼中的任意一個。
圖19表示學習設備120的示例,其生成要寫入圖像信號寬帶化設備80中學習產生數據表94的高頻分量的向量數據項。由於圖19中的塊形成劃分部件131、DCT變換部件132、高頻分量抽取部件133、加法部件134、抽選電路135、塊形成劃分部件136、DCT變換部件137、分類部件138和積算表139與圖10中的幀單位劃分部件61、DCT變換部件62、高頻分量抽取部件63、加法部件64、抽選電路65、幀單位劃分部件66、DCT變換部件67、分類部件68和積算表69具有基本同樣的結構和功能,因而省略了其說明。
其次,說明學習設備1 20的學習處理。由於其流程圖與圖11的音頻信號寬帶化設備1類似,故參照圖11的流程圖來說明。
在步驟S51,教師數據的DCT數據和學生數據的DCT數據被劃分成了塊。換句話講,塊形成劃分部件131對於每一組2N×2N像素將輸入的教師數據劃分成塊。抽選電路135通過從教師數據僅抽取低頻分量並分別在水平方向和垂直方向間隔地抽選該低頻分量,從而生成學生數據。塊形成劃分部件136將學生數據對於每組N×N像素劃分成塊。
在步驟S52,DCT變換部件132和DCT變換部件137對教師數據和學生數據分別做M-DCT變換。圖20A表示教師數據被M-DCT變換後而得的DCT數據(4×4個數據項),而圖20B表示學生數據被M-DCT變換後而得的DCT數據(2×2個數據項)。
在步驟S53,分類部件138對作為學生數據的DCT數據執行參照圖21後述的分類處理,並算出分類碼和類的出現頻度,並將結果輸出至積算表139。
在步驟S54,積算表139讀取向量數據項、其存儲於與分類部件138輸出的分類碼對應的地址處。
在步驟S55,高頻分量抽取部件133抽取教師數據的高頻分量。圖20C表示抽取的高頻分量,其相當於圖20A的全部教師數據的部分P(4×4像素內除去左上2×2個像素)。
在步驟S56,加法部件134對在步驟S54從積算表139讀取的向量數據(圖20D所示的數據)和在步驟S55處從教師數據抽取的高頻分量的向量數據(圖20C所示的數據)進行向量加法。圖20E表示在步驟S56進行向量加法後而得的DCT數據。
在步驟S57,加法部件134將在步驟S56算出的向量數據(圖20E所示的數據)存儲在與積算表139讀取時所使用的分類碼地址的位置相同的位置。
在步驟S58,判定學習處理是否結束。當判斷學習處理尚未結束時,處理返回步驟S51並重複後續的處理。當判斷學習處理已結束時,處理進至步驟S59。
當在步驟S58判斷學習處理已結束時,在步驟S59,積算表139通過將存儲在其分類碼地址的(3N×N)個向量數據項除以由分類部件138輸出的與分類碼對應的類的出現頻度、從而算出向量數據項的平均值,並將平均值輸出至學習產生數據表140,再結束學習處理。圖20F以DCT塊的形式表示存儲在學習產生數據表140的一個分類碼的地址處的(3N×N)個向量數據項。
其次,參照圖21的流程圖來說明圖19中分類部件138進行的分類處理。
由於步驟S101至步驟S103的處理與圖17的圖像信號寬帶化設備的分類處理的步驟S91至步驟S93同樣,故省略其說明。換句話講,計算分類碼的處理與圖像信號寬帶化設備同樣地進行。由此處理,基於交流平均功率電平、直流功率電平和交流分量峰功率電平的分類碼被多元處理為一個分類碼。
在步驟S104,分類碼決定部件103將步驟S103處決定的分類碼的計數加1,並將指示哪個分類碼出現了幾次的計數值輸出至積算表139,再結束分類處理。
圖22表示根據本發明的第三實施例的傳送系統(系統指的是多臺設備的邏輯的集合,而不問各結構的設備是否在同一機箱中)的結構。
在此傳送系統中,蜂窩電話3011和3012與基站3021和3022間進行無線發送和接收,而各基地站3021和3022與交換局303進行發送和接收,結果,蜂窩電話3011和3012間可使用基地站3021和3022和交換局303來進行音頻的發送和接收。基地站3021和3022可以是同一基地站,也可以是不同的基地站。
以下除非有必要特別地區別,不然就將蜂窩電話3011和3012記作蜂窩電話301。
圖23表示圖22中蜂窩電話3011的示例。由於蜂窩電話3012也與以下說明的蜂窩電話3011的結構同樣,故省略了其說明。
天線311從基站3021和3022接收無線電波,並將收到的信號提供給調製部件312,同時將來自調製部件312的信號由電波發送至基地站3021或3022。調製部件312使用例如CDMA(碼分多址)等方式對來自天線311的信號進行解調,並將得到的解調信號提供給接收部件314。而且,調製部件312使用例如CDMA等方式對從發送部件313供給的發送數據進行調製,並將結果得到的調製信號提供給天線311。發送部件313通過執行輸入用戶聲音的編碼等預定的處理而得到發送數據,並將數據提供給調製部件312。接收部件314接收收到的信號即來自調製部件312的解調信號,並解碼和輸出高音質的音頻信號。
當用戶輸入被叫方的電話號碼的預定命令等時,操作部件315被用戶操作,並將對應於該操作的操作信號提供給發送部件313和接收部件314。
必要時,信息可在發送部件313和接收部件314間交換。
圖24表示圖23中發送部件313的示例。
用戶的聲音輸入麥克風321,而麥克風321以電信號的音頻信號的形式將用戶的聲音輸出至A/D(模擬/數字)變換部件322。A/D變換部件322對來自麥克風321的模擬的音頻信號做A/D變換而成為數字的音頻信號,並將數據輸出至編碼部件323。
編碼部件323使用預定的編碼方式對來自A/D變換部件322的聲音數據進行編碼,對分類碼進行多元處理,並將得到的編碼聲音數據輸出至發送控制部件324。
管理部件327通過操作部件315的操作而輸入的被撥叫方的電話號碼、作為撥叫方的蜂窩電話的電話號碼和其它必要的信息,並將這些輸出至編碼部件323和發送控制部件324。
發送控制部件324執行編碼部件323輸出的編碼音頻數據和管理部件327輸出的數據的發送控制。換句話講,發送控制部件324選擇編碼部件323輸出的編碼音頻數據或者管理部件327輸出的數據,並將所選數據作為發送數據而輸出至調製解調部件312(圖23)。
圖25表示圖23中接收部件314的示例。
收到的數據即圖23中調製解調部件312輸出的解調信號被提供給接收控制部件331,以及接收控制部件331接收收到的數據。當收到的數據是編碼音頻數據時,接收控制部件331將編碼音頻數據提供給解碼部件332。或者,當收到的數據是撥叫方的電話號碼和其它信息時,接收控制部件331在必要時將此信息提供給管理部件335或發送部件313(的管理部件327)。
解碼部件332將由接收控制部件331供給的編碼聲音數據與分類碼分離,或附加高頻分量,並將結果得到的解碼音頻數據提供給D/A(數字/模擬)變換部件333。
D/A變換部件333對解碼部件332輸出的數字形式的解碼音頻數據做D/A變換,並將得到的模擬音頻信號提供給揚聲器334。揚聲器334輸出與來自D/A變換部件333的音頻信號對應的聲音。
當收到呼叫時,管理部件335接收發送端的電話號碼,並將收到的電話號碼提供給解碼部件332。
圖26和圖27分別表示在將學習產生數據表作為固定信息而提供的情形下、編碼部件323和解碼部件332的示例。
首先,說明圖26的編碼部件323的結構。
由於幀單位劃分部件351和DCT變換部件352的功能與圖1中音頻信號寬帶化設備1的幀單位劃分部件11和DCT變換部件12是同樣的,故省略了其說明。
高頻分量除去部件353將通過除去輸入的DCT頻譜數據的高頻分量而生成低頻分量輸出至分類部件354和分類碼多元處理部件355。壓縮率依賴於高頻分量的除去率。例如,當頻帶被壓縮掉一半時,數據量也減至1/2。通過將由後述的分類碼多元處理部件355進行多元處理的多個字的數據量加到減少的數據量就是最終的數據量。
分類部件354對從高頻分量除去部件353輸入的低頻分量的DCT頻譜數據實施與音頻信號寬帶化設備1的分類部件13的情形下同樣的分類處理,並將分類碼輸出至分類碼多元處理部件355。
分類碼多元處理部件355對從分類部件354輸出的分類碼和從高頻分量除去部件353輸出的低頻分量的DCT頻譜數據進行多元處理,並將多元處理數據輸出至逆DCT變換部件356。通過將分類碼與低頻分量的DCT頻譜數據做多元處理,可以提高分類碼的碼傳送路徑上的錯誤耐性,並通過對在解碼部件332(圖27)中再度執行分類處理而求得的分類碼和多元處理的分類碼的一致度進行校驗,從而可進行多元處理的分類碼的錯誤檢測和校正。
逆DCT變換部件356對輸入的分類碼和低頻分量的DCT頻譜數據被多元處理的數據做逆M-DCT變換,並將結果輸出至幀結合部件357。
幀結合部件357執行與音頻信號寬帶化設備1的幀結合部件18的情形下同樣的重疊,並將得到的作為編碼的視頻數據的數據輸出至發送控制部件324(圖24)。
其次,說明圖27的解碼部件332的結構。
由於幀單位劃分部件371和DCT變換部件372與圖1中音頻信號寬帶化設備1的幀單位劃分部件11和DCT變換部件12具有同樣的功能,故省略了其說明。
分類碼形成分離部件373將多元處理的DCT頻譜數據分離成分量類碼和低頻分量的DCT頻譜數據,並將低頻分量的DCT頻譜數據輸出至頻譜結合部件376,以及將分類碼輸出至學習產生數據表374。
學習產生數據表374讀取高頻分量的DCT頻譜數據,該頻譜數據存儲於與分類碼形成分離部件373輸出的分類碼對應的地址處,並將其輸出至增益調整部件375。
增益調整部件375與音頻信號寬帶化設備1的增益調整部件15同樣地對從學習產生數據表374輸出的高頻分量的DCT頻譜數據進行增益調整,以匹配要由頻譜結合部件376結合的低頻分量頻譜的增益,並將結果輸出至頻譜結合部件376。
頻譜結合部件376將由分類碼形成分離部件373輸出的低頻分量的DCT頻譜數據和由增益調整部件375輸出的高頻分量的DCT頻譜數據相結合,並將結合數據輸出至逆DCT變換部件377。
逆DCT變換部件377對輸入的頻譜數據做逆M-DCT變換,並將變換後的數據輸出至幀結合部件378。
幀結合部件378進行幀重疊,並將結果作為寬帶音頻信號而輸出至D/A變換部件333。
此外,圖28和圖29分別表示在以下情形下的編碼部件323和解碼部件332的示例,即存儲高頻分量頻譜數據的學習產生數據表被存儲,從而與每一發送端相關的電話號碼和表信息被每次使用而更新。圖中,與圖26和圖27的情形對應的部分被標以同一附圖標記,並省略了其說明。
首先,說明圖28的編碼部件323的結構。
頻譜劃分部件381將輸入的DCT頻譜數據劃分成高頻分量和低頻分量,並將高頻分量輸出至表內存382,而將低頻分量輸出至分類部件354和分類碼多元處理部件355。
分類部件354計算分類碼,將該分類碼輸出至表內存382和分類碼多元處理部件355。
表內存382將由頻譜劃分部件381輸入的高頻分量的DCT頻譜數據存儲在與分類部件354輸出的分類碼對應的地址處。此表內存的內容以預定的定時而傳送至後述的解碼部件332的表格內存391處。
在具有以上結構的編碼部件323中,每當撥叫時,每一通話方的高頻分量的DCT頻譜數據存儲於表內存382中。因為表內存382的內容是一種統計信息,期望隨著輸入愈多的信息,信息將以分類碼為單位而收斂於適宜的偏離。根據此效果,若該內容的使用次數增加,則進行更高精度的解碼。圖28中的其它部件與圖26的情況相同。
其次,說明圖29的解碼部件332的結構。
表內存391讀取高頻分量的DCT頻譜數據,該頻譜數據存儲指定為與分類碼形成分離部件373輸出的分類碼對應的地址處,並將其輸出至增益調整部件375。
說明在如圖28和圖29的結構所示的學習產生數據表以與發送端的電話號碼相關的形式而存儲並以預定的定時來更新的情形下的蜂窩電話301的動作。
首先,參照圖30的流程圖來說明蜂窩電話3011的發送部件313所進行的發送處理。
在步驟S201,當用戶對操作部件315進行操作以輸入作為接聽斷的蜂窩電話3012的電話號碼時,管理部件327檢測通話的開始。
在步驟S202處,發送部件313執行參照圖31後述的內存數據發送處理。換句話講,發送部件313將存儲於表內存382(圖28)的高頻分量頻譜的DCT向量數據發送至接聽端的蜂窩電話3012的表內存391(圖29),並切換成聲音通話。
在步驟S203,麥克風321接收輸入的用戶聲音。
在步驟S204,A/D變換部件322對從麥克風321輸入的音頻信號做A/D變換,並將變換後的信號作為數字的音頻信號而輸出至編碼部件323。
在步驟S205,編碼部件323進行編碼處理。其詳細情況參照圖32而後述。此處理將從A/D變換部件322輸入的音頻信號劃分成高頻分量和低頻分量,高頻分量存儲於表格內存382,而低頻分量與分類碼做多元處理並作為編碼音頻數據而輸出至發送控制部件324。
在步驟S206,發送控制部件324將從編碼部件323輸入的編碼音頻數據發送至調製部件312(圖23)。
在步驟S207,管理部件327判定通話是否結束。當判定通話尚未結束時,管理部件327將處理返回步驟S203並重複後續的處理。當判定通話已結束時,管理部件327終止發送處理。
其次,參照圖31的流程圖來說明圖30的步驟S202的內存數據發送處理。
在步驟S221,發送控制部件324將通過操作部件315的操作而輸入的蜂窩電話3012的電話號碼作為發送數據而輸出,從而進行對蜂窩電話3012的呼叫。
蜂窩電話3012的用戶響應來自蜂窩電話3011的呼叫而對操作部件315進行操作以使蜂窩電話3012設在接聽狀態,此後,處理進至步驟S222。發送控制部件324與接聽端的蜂窩電話3012間確立通信鏈路,而處理進至步驟S223。
在步驟S223,管理部件327讀取存儲在編碼部件323的表內存382中的數據,並將所讀數據提供給發送控制部件324。在步驟S223,發送控制部件324選擇來自管理部件327的內存數據,並將數據作為發送數據而發送。內存數據與表達該內存數據的得到日期和時間的更新信息一起發送。
而後,處理從步驟S223進至步驟S224,而管理部件327判定準備完成通知是否已從接聽端的蜂窩電話3012發送了。
具體地講,在接聽端的蜂窩電話3012處於通常的聲音通話可能的狀態後,可以發送表達聲音通話的準備已完成的準備完成通知(後述圖34的步驟S277)。在步驟S224,判定該準備完成通知是否已從蜂窩電話3012發送了。
當在步驟S224判定準備完成通知尚未發送時,處理返回步驟S224並等待要發送的準備完成通知。
當在步驟S224判定準備完成通知已發送時,處理進至步驟S225,而發送控制部件324通過選擇編碼部件323的輸出以使聲音通話成為可能,從而終止內存數據的發送處理。
其次,參照圖32的流程圖來說明圖30的步驟S205的編碼處理。
在步驟S231,幀單位劃分部件351將A/D變換部件322輸入的音頻信號劃分成幀。此輸入的音頻信號具有高頻分量和低頻分量。
在步驟S232,DCT變換部件352對在步驟S231中劃分成幀的音頻信號做M-DCT變換,並將變換後的信號作為DCT頻譜數據而輸出至頻譜劃分部件381。
在步驟S233,頻譜劃分部件381將DCT頻譜數據劃分成高頻分量和低頻分量,並將高頻分量輸出至表格內存382而將低頻分量輸出至分類部件354。
在步驟S234處,分類部件354通過蜂窩電話決定分類碼,並將該分類碼輸出至分類碼多元處理部件355和表內存382。由於該分類處理與使用圖6所述的音頻信號寬帶化設備1的分類處理是同樣的,故省略了其說明。
在步驟S235,表內存382將從頻譜劃分部件381輸入的高頻分量的DCT頻譜數據存儲在與分類部件354輸出的分類碼對應的地址處。
在步驟S236,分類碼多元處理部件355對從分類部件354輸入的分類碼和從頻譜劃分部件381輸入的低頻分量的DCT頻譜數據做多元處理,並將多元處理的結果輸出至逆DCT變換部件356。
在步驟S237,逆DCT變換部件356對多元處理的低頻分量的DCT頻譜數據做逆DCT變換。
最後,在步驟S238,幀結合部件357執行重疊以生成編碼音頻數據。
其次,參照圖33來說明響應發送端的蜂窩電話3011執行的圖30的發送處理,接聽端的蜂窩電話3012的接收部件314執行的接收處理。
在步驟S251,管理部件335使用接收控制部件331來檢測無線電波的接收。
在步驟S252,接收部件314執行參照圖34後述的內存數據更新處理。換句話講,接收部件314更新存儲於表內存391(圖29)的高頻分量頻譜的DCT向量數據,並切換成聲音通話(編碼音頻數據)。
在步驟S253,在輸入接收控制部件331的接收數據被切換成編碼音頻數據後,接收控制部件331將該編碼音頻數據輸出至解碼部件332。
在步驟S254,解碼部件332進行解碼處理。其詳細情況參照圖35後述。通過進行這一處理,解碼部件332將分類碼多元處理的編碼音頻數據分離分量類碼和低頻分量。它讀取存儲於與分類碼對應的地址處的高頻分量,將所讀分量與低頻分量結合,並將結合後的分量作為寬帶音頻信號而輸出。
在步驟S255,D/A變換部件333對由解碼部件332輸入的寬帶音頻信號做D/A變換,並將變換後的信號輸出至揚聲器334。在步驟S256,揚聲器334輸出由D/A變換部件333輸入的模擬音頻信號。
在步驟S257,管理部件335判定通話是否結束。當判定通話尚未結束時,管理部件335將處理返回步驟S253並重複後續的處理。當判定通話已結束時,管理部件335終止發送處理。
其次,參照圖34來說明圖33的步驟S252的內存數據更新處理。
在步驟S271,接收控制部件331判定是否通過操作部件315的操作而設成接聽狀態。當判定未設成接聽狀態時,處理返回步驟S271。
而且,當在步驟S271處判定已設成接聽狀態時,處理進至步驟S272,接收控制部件331確立通信鏈路而處理進至步驟S273。在步驟S273,接收控制部件331接收收到的數據,該數據其包含從發送端的蜂窩電話3011發來的最新內存數據,並將收到的數據提供給管理部件335。
換句話講,在如上述的圖31的內存數據發送處理中,在步驟S223,蜂窩電話3011將最新內存數據與更新信息一道發送。因此,在步驟S273,接收到該內存數據和更新信息。
其後,處理進至步驟S274,管理部件335參照從發送端的蜂窩電話3011接收的更新信息,並判定在解碼部件332中是否存儲了關於蜂窩電話3011的用戶的最新內存數據。
當在步驟S274判定在解碼部件332中已存儲了關於蜂窩電話3011的用戶的最新內存數據時,處理進至步驟S275,管理部件335放棄了在步驟S273處接收的內存數據和更新信息,而後處理進至步驟S277。
而且,當在步驟S274判定在解碼部件332中未存儲關於蜂窩電話3011的用戶的最新內存數據時,處理進至步驟S276。管理部件335通過在步驟S273處得到的最新內存數據以這一形式存儲在解碼部件332中即相關於在接聽模式下接收的發送端的蜂窩電話3011的電話號碼和與內存數據一道發來的更新信息,從而來更新解碼部件332的表格內存391的內容。
處理進至步驟S277,管理部件335控制發送部件313的發送控制部件324,以將表達完整聲音通話的準備完成的通知作為發送數據而發送,並進至步驟S278。
在步驟S278,接收控制部件331變成聲音通話使能狀態,其中,提供給它的接收數據所含的編碼音頻數據被輸出至解碼部件332,以及再結束內存數據更新處理。
其次,參照圖35來說明圖33的步驟S254的解碼處理。
在步驟S291,幀單位劃分部件371將從接收控制部件331輸入的編碼音頻數據劃分成幀。
在步驟S292,DCT變換部件372對在步驟S291劃分成幀的編碼音頻數據進行M-DCT變換,並將變換後的信號作為DCT頻譜數據而輸出分類碼形成分離部件373。
在步驟S293,分類碼形成分離部件373將DCT頻譜數據分離分量類碼和低頻分量的DCT頻譜數據,並將分類碼輸出至表內存391,並將低頻分量輸出至頻譜結合部件376。
在步驟S294,表內存391向增益調整部件375輸出高頻分量的DCT頻譜數據,其存儲於與分類碼形成分離部件373輸出的分類碼相對應的地址處。
在步驟S295,頻譜結合部件376對由增益調整部件375進行增益調整後輸入的高頻分量和由分類碼形成分離部件373輸入的低頻分量進行頻譜結合,並將結合後的分量輸出至逆DCT變換部件377。
在步驟S296,逆DCT變換部件377對結合後的頻譜數據做逆M-DCT變換。
最後,在步驟S297,幀結合部件378執行重疊,並將結果作為寬帶音頻信號而輸出至D/A變換部件333(圖25)。
根據圖34的內存數據更新處理,存儲的內容必須被更新,除非在接聽側的蜂窩電話3012中存儲了關於發送端的蜂窩電話3011的用戶的最新內存數據。
然而,更新處理不限於此。也可以僅當用戶在必要時要求內存數據的更新並且允許該要求時,方才執行更新處理。
而且,在本實施例中,在接聽模式下,從發送端發送的電話號碼被接聽側作為用來識別發送端的識別信息。然而,有可能將唯一的ID(識別碼)分配給用戶等,並將該ID用作識別信息。
以上說明了這一情形即學習產生數據表與發送端的電話號碼對應而存儲,並以預定的定時來更新。在圖26和圖27中學習產生數據表374(表內存)被固定的情形下的操作與以下的情形是同樣的即省略圖30的步驟S202的內存數據發送處理(圖31所示的處理)和圖33的步驟S252的內存數據更新處理(圖34所示的處理)。
上述連續的處理可由硬體來實現,也可由軟體來實現。當該連續的處理由軟體來執行時,構成軟體的程序被安裝在多用途計算機等上面。
所以,圖36表示計算機的實施例的示例,該計算機上面安裝了用來執行上述連續處理的程序。
該程序可被預記錄於計算機內建的記錄介質,像硬碟405或ROM 403。
或者,程序可暫時或永遠地存儲(記錄)於非固定盤、CD-ROM(光碟只讀存儲器)、MO(磁光碟)、DVD(數字萬能盤)、磁碟或半導體內存等可移動記錄介質411。這種可移動記錄介質411可作為所謂包裝式軟體而提供。
程序不僅可從上述可移動記錄介質411安裝至計算機,而且程序可以先從下載點經數字衛星廣播衛星無線地傳送至計算機或經LAN(區域網)或網際網路等網絡有線地傳送至計算機,並由通信部件408接收,然後再安裝至內建的硬碟405。
計算機具有內建的CPU(中央處理單元)402。輸入輸出接口410經總線401連接至CPU 402。當用戶通過對由鍵盤、滑鼠和麥克風等構成的輸入部件407進行操作而輸入指令時,CPU 402根據該指令而執行存儲在ROM(只讀存儲器)403中的程序。或者,CPU402以載入RAM(隨機存取存儲器)404的形式來執行存儲在硬碟405上的程序,該程序是先從衛星或網絡傳送並由通信部件408接收後再安裝至硬碟405的程序,或者先從裝入驅動器409的可移動記錄介質411讀取後再安裝至硬碟405的程序。這使得CPU 402執行根據上述流程圖的處理,或基於上述框圖的結構的處理。CPU 402將該處理結果經輸入輸出接口410從由LCD(液晶屏)、揚聲器等構成的輸出部件406輸出,或者,由通信部件408發送或將結果記錄在硬碟405上面。
在本說明書中,由使計算機執行各種處理的程序而構成的處理步驟未必沿流程圖形式的順序以時間串行方式來執行,而是包括並行或單個地執行的處理(例如,並行處理或基於對象的處理)。
此外,本程序可由1臺計算機來處理,也可由多臺計算機以分布方式來處理。程序可先傳送至遠方的計算機再被執行。
在本實施例中,已說明了本發明適用於音頻(圖像信號)寬帶化設備和在蜂窩電話間進行聲音通話的傳送系統。此外,本發明還可能廣泛地適用於固定電話聲音、AM(調幅)/FM(調頻)無線廣播聲音、模擬TV(電視)廣播接收聲音的音質改善等聲音通信系統。
在本說明書中,術語系統指的是由多臺設備和裝置構成的整臺機器。
產業上的可利用性如上述,根據本發明的信號處理系統和信號處理系統的信號處理方法,實現了這樣的系統其中抑制了高頻分量的窄帶信號的高頻分量可被高精度地復原。
如上述,根據本發明的第一信號處理設備、信號處理方法、記錄介質和程序,對於另一臺信號處理設備,抑制了高頻分量的窄帶信號的高頻分量可被高精度地復原。
如上述,根據本發明的第二信號處理設備、信號處理方法、記錄介質和程序,對於另一臺信號處理設備,抑制了高頻分量的窄帶信號的高頻分量可被高精度地復原。
權利要求
1.一種信號處理系統,包括第一信號處理設備,其中輸入信號被處理和存儲,以及第二信號處理設備,其中輸入信號被處理和輸出,其中所述第一信號處理設備包括第一信號輸入裝置,用來輸入具有寬帶頻率分量的第一信號;第二信號輸入裝置,用來輸入第一信號中的第二信號,第二信號是抑制了高頻分量的窄帶信號;抽取裝置,用來從由所述第一信號輸入裝置輸入的第一信號中抽取高頻分量;第一決定裝置,用來基於由所述第二信號輸入裝置輸入的第二信號來決定每個第一分類碼;和存儲裝置,用來對於所述第一決定裝置所決定的第一分類碼存儲由所述抽取裝置抽取的高頻分量;以及所述第二信號處理設備包括第三信號輸入裝置,用來輸入具有抑制了高頻分量的窄帶第三信號;第二決定裝置,用來基於由所述第三信號輸入裝置輸入的第三信號來決定第二分類碼;合成裝置,用來合成在存儲裝置中存儲的高頻分量和由所述第三信號輸入裝置輸入的第三信號,該高頻分量與所述第二決定裝置所決定的第二分類碼相對應;以及輸出裝置,用來輸出由所述合成裝置生成的合成信號。
2.一種用於信號處理系統的信號處理方法,該信號處理系統包括第一信號處理設備,其中輸入信號被處理和存儲;以及第二信號處理設備,其中輸入信號被處理和輸出,其中所述第一信號處理設備包括第一信號輸入控制步驟,用來控制具有寬帶頻率分量的第一信號的輸入;第二信號輸入控制步驟,用來控制第一信號中的第二信號的輸入,第二信號是抑制了高頻分量的窄帶信號;抽取步驟,用來從第一信號輸入控制步驟中由處理控制輸入的第一信號中抽取高頻分量;第一決定步驟,用來基於第二信號輸入控制步驟中由處理控制輸入的第二信號來決定每個第一分類碼;和存儲步驟,用來對於第一分類碼存儲在抽取步驟中由處理抽取的高頻分量;和所述第二信號處理設備包括第三信號輸入控制步驟,用來控制具有抑制了高頻分量的窄帶第三信號的輸入;第二決定步驟,用來基於第二信號輸入控制步驟中由處理控制輸入的第三信號來決定第二分類碼;合成步驟,用來合成在存儲步驟中由處理所存儲的高頻分量和在第三信號輸入控制步驟中由處理控制輸入的第三信號,該高頻分量與在所述第二決定步驟中由處理所決定的第二分類碼相對應;以及輸出控制步驟,用來控制在合成步驟中由處理生成的合成信號的輸出。
3.一種信號處理設備包括第一信號輸入裝置,用來輸入具有寬帶頻率分量的第一信號;第二信號輸入裝置,用來輸入第一信號中的第二信號,第二信號是抑制了高頻分量的窄帶信號;抽取裝置,用來從由所述第一信號輸入裝置輸入的第一信號中抽取高頻分量;決定裝置,用來基於由所述第二信號輸入裝置輸入的第二信號來決定每個分類碼;和存儲裝置,用來對於所述決定裝置所決定的分類碼存儲由所述抽取裝置抽取的高頻分量。
4.根據權利要求3所述的信號處理設備,其中第一信號和第二信號是音頻信號。
5.根據權利要求4所述的信號處理設備,其中所述決定裝置基於第二信號來決定分類碼,所述第二信號基於等響度特性通過加權來處理。
6.根據權利要求4所述的信號處理設備,其中所述決定裝置基於音頻信號頻譜的平均功率電平和最大功率電平的位置來決定分類碼。
7.根據權利要求4所述的信號處理設備,其中對於等於或高於由抽取裝置抽取的高頻分量的最低頻率的1/2倍或1/3倍的頻率的頻譜分量,所述決定裝置決定分類碼。
8.根據權利要求3所述的信號處理設備,其中第一信號和第二信號是圖像信號。
9.根據權利要求8所述的信號處理設備,其中所述決定裝置基於圖像信號的頻譜的交流平均功率電平、直流功率電平和交流分量峰功率電平來決定分類碼。
10.根據權利要求3所述的信號處理設備,其中,在所述存儲裝置中,由所述抽取裝置抽取的高頻分量被存儲,以便相關於特定信息。
11.根據權利要求10所述的信號處理設備,其中特定信息是電話機的電話號碼。
12.根據權利要求3的信號處理設備,進一步包括生成裝置,用來通過以預定的時間間隔來抽選第一信號而生成第二信號。
13.一種用於信號處理設備的信號處理方法,在該信號處理設備中輸入信號被處理和存儲,所述信號處理方法包括第一信號輸入控制步驟,用來控制具有寬帶頻率分量的第一信號的輸入;第二信號輸入控制步驟,用來控制第一信號中的第二信號的輸入,第二信號是抑制了高頻分量的窄帶信號;抽取步驟,用來從第一信號輸入控制步驟中由處理控制輸入的第一信號中抽取高頻分量;決定步驟,用來基於在第二信號輸入控制步驟中由處理控制輸入的第二信號來決定每個分類碼;和存儲步驟,用來對於在決定步驟中由處理所決定的分類碼存儲在抽取步驟中由處理抽取的高頻分量。
14.一種記錄介質,具有用於信號處理設備的計算機可讀程序,在該信號處理設備中輸入信號被處理和存儲,其中所述程序包括第一信號輸入控制步驟,用來控制具有寬帶頻率分量的第一信號的輸入;第二信號輸入控制步驟,用來控制第一信號中的第二信號的輸入,第二信號是抑制了高頻分量的窄帶信號;抽取步驟,用來從第一信號輸入控制步驟中由處理控制輸入的第一信號中抽取高頻分量;決定步驟,用來基於在第二信號輸入控制步驟中由處理控制輸入的第二信號來決定每個分類碼;和存儲步驟,用來對於在決定步驟中由處理所決定的分類碼存儲在抽取步驟中由處理抽取的高頻分量。
15.一種用於計算機控制信號處理設備的程序,在該信號處理設備中輸入信號被處理和存儲,所述程序允許計算機執行第一信號輸入控制步驟,用來控制具有寬帶頻率分量的第一信號的輸入;第二信號輸入控制步驟,用來控制第一信號中的第二信號的輸入,第二信號是抑制了高頻分量的窄帶信號;抽取步驟,用來從第一信號輸入控制步驟中由處理控制輸入的第一信號中抽取高頻分量;決定步驟,用來基於在第二信號輸入控制步驟中處理控制輸入的第二信號來決定每個分類碼;和存儲步驟,用來對於在決定步驟中由處理所決定的分類碼存儲在抽取步驟中由處理抽取的高頻分量。
16.一種信號處理設備包括信號輸入裝置,用來輸入具有抑制了高頻分量的窄帶信號;決定裝置,用來基於由所述信號輸入裝置輸入的信號來決定分類碼;存儲裝置,用來存儲高頻分量;合成裝置,用來合成在所述存儲裝置中存儲的高頻分量和由所述信號輸入裝置輸入的信號,該高頻分量與所述決定裝置所決定的分類碼相對應;以及輸出裝置,用來輸出由所述合成裝置生成的合成信號。
17.根據權利要求16所述的信號處理設備,其中由所述信號輸入裝置輸入的信號是音頻信號。
18.根據權利要求17所述的信號處理設備,其中所述決定裝置基於信號來決定分類碼,該信號基於等響度特性通過加權來處理。
19.根據權利要求17所述的信號處理設備,其中所述決定裝置基於音頻信號頻譜的平均功率電平和最大功率電平的位置來決定分類碼。
20.根據權利要求17所述的信號處理設備,其中對於等於或高於存儲在所述存儲裝置中的高頻分量的最低頻率的1/2倍或1/3倍的頻率的頻譜分量,所述決定裝置決定分類碼。
21.根據權利要求16所述的信號處理設備,其中由所述信號輸入裝置輸入的信號是圖像信號。
22.根據權利要求21所述的信號處理設備,其中所述決定裝置基於圖像信號的頻譜的交流平均功率電平、直流功率電平和交流分量峰功率電平來決定分類碼。
23.根據權利要求16所述的信號處理設備,其中在所述存儲裝置中存儲的高頻分量按預定的定時來更新。
24.根據權利要求16所述的信號處理設備,其中,在所述存儲裝置中高頻分量被存儲以便相關於特定信息。
25.根據權利要求24的信號處理設備,其中特定信息是電話機的電話號碼。
26.一種用於信號處理設備的信號處理方法,在該信號處理設備中輸入信號被處理和存儲,所述信號處理方法包括信號輸入控制步驟,用來控制具有抑制了高頻分量的窄帶信號的輸入;決定步驟,用來基於在信號輸入控制步驟中由處理控制輸入的信號來決定分類碼;存儲控制步驟,用來控制高頻分量的存儲;合成步驟,用來合成在存儲步驟中由處理所控制存儲的高頻分量和在信號輸入控制步驟中由處理輸入的信號,該高頻分量與在決定步驟中由處理所決定的分類碼相對應;以及輸出控制步驟,用來控制在合成步驟中由處理生成的合成信號的輸出。
27.一種記錄介質,具有信號處理設備的計算機可讀程序,在該信號處理設備中,輸入信號被處理和存儲,其中所述程序包括信號輸入控制步驟,用來控制具有抑制了高頻分量的窄帶信號的輸入;決定步驟,用來基於在信號輸入控制步驟中由處理控制輸入的信號來決定分類碼;存儲控制步驟,用來控制高頻分量的存儲;合成步驟,用來合成在存儲步驟中由處理所控制存儲的高頻分量和在信號輸入控制步驟中由處理輸入的信號,該高頻分量與在決定步驟中由處理所決定的與分類碼相對應;以及輸出控制步驟,用來控制在合成步驟中由處理生成的合成信號的輸出。
28.一種用於計算機控制信號處理設備的程序,在該信號處理設備中,輸入信號被處理和存儲,所述程序允許計算機執行信號輸入控制步驟,用來控制具有抑制了高頻分量的窄帶信號的輸入;決定步驟,用來基於在信號輸入控制步驟中由處理控制輸入的信號來決定分類碼;存儲控制步驟,用來控制高頻分量的存儲;合成步驟,用來合成在存儲步驟中由處理所控制存儲的高頻分量和在信號輸入控制步驟中由處理輸入的信號,該高頻分量與在決定步驟中由處理所決定的分類碼相對應;以及輸出控制步驟,用來控制在合成步驟中由處理生成的合成信號的輸出。
全文摘要
一種信號處理系統、信號處理設備和方法、記錄介質以及程序,其能夠精確地重建那些抑制了高頻分量的窄帶信號的高頻分量。具有低頻分量的窄帶音頻信號通過幀輸出部件(11)形成幀,接著通過DCT變換部件(12)頻譜變換為頻率軸信號。學習表(14)從與分類部件(13)提供的分類碼對應的地址中抽取高頻分量的頻譜數據。通過頻譜結合部件(16)將抽取的高頻分量的頻譜數據與從DCT變換部件(12)輸出的低頻分量的頻譜數據結合,從而輸出具有組合的高頻分量和低頻分量的寬帶音頻信號。本發明適用於蜂窩電話。
文檔編號G10L19/00GK1602516SQ0380173
公開日2005年3月30日 申請日期2003年8月27日 優先權日2002年9月12日
發明者近藤哲二郎, 服部正明, 渡邊勉, 木村裕人, 山元左近, 有光哲彥 申請人:索尼株式會社