利用影音連結處理多媒體數據的系統及方法

2023-10-09 18:21:29 1

專利名稱：利用影音連結處理多媒體數據的系統及方法
技術領域：
本發明是關於多媒體處理，尤其關於使用影音鍵結處理多媒體數據的系統及方 法。
背景技術：
多媒體為文字、動畫圖案、圖像及音頻的組合。多媒體信息和文字相比可以更容易 被了解且更能引起注意。多媒體已被廣泛地使用在各年齡的教育、在職訓練、或是應用在休 閒產業的電動玩具中。多媒體技術的發展已帶給消費者各種的顯示系統，例如電視顯示系 統(例如電纜電視或數位電視)以及計算機屏幕。目前雖已有各種增進多媒體顯示系統的圖像質量的技術。然而，傳統的多媒體顯 示系統僅將音頻數據及圖像數據視作分別獨立的數據，故而需使用分別獨立的音頻處理器 及圖像處理器。而音頻數據與圖像數據僅存在著同步化的關係。

發明內容
本發明揭露一種可分享音頻及圖像處理器之間信息的系統及方法，以提供多媒體 處理更好的圖像/音頻質量。在某些實施例中，是揭露一種多媒體處理器。此多媒體處理器包含音頻處理器， 其配置為處理音頻輸入信號以產生音頻輸出信號及輔助信號；及與此音頻處理器耦合的一 圖像處理器，其中此圖像處理器被配置為處理圖像輸入信號及此輔助信號以依據此圖像輸 入信號及此輔助信號同步地產生圖像輸出信號。在其它的實施例中是揭露一種多媒體的處理方法。此方法包含處理音頻輸入信 號；自此處理的音頻輸入信號產生輔助信號及音頻輸出信號；處理圖像輸入信號及此輔助 信號；且依據此圖像輸入信號及該輔助信號同步地產生圖像輸出信號。本發明其它的特徵及實施例是在詳細說明的段落中有詳細的介紹。





本發明的技術特徵、目的及實施例是使用以下的圖示一併描述，其中 圖1為依據本發明的一實施例所載多媒體處理器的方塊圖標。 圖2A及2B為圖1的多媒體處理器的二種不同實施例的方塊圖。 圖3為依據本發明的另一實施例所載多媒體處理器的方塊圖。 圖4A及4B為圖3的多媒體處理器的兩個不同實施例的方塊圖。。 [主要元件標號說明]
100 多媒體處理器110 音頻處理器
120 圖像處理器10 音頻-圖像鍵結
201 源極裝置202 顯示裝置
212 音頻解碼器214 音頻處理單元
216 音頻線索信息擷取器310:音頻處理器30 音頻-圖像鍵結402:顯示裝置414 音頻處理單元
300 多媒體處理器 320 圖像處理器 401 源極裝置 412 音頻解碼器
416 音頻線索信息擷取器
具體實施例方式傳統的多媒體顯示系統是將音頻數據及圖像數據視作分別獨立的數據，故而分別 使用獨立的音頻處理器及圖像處理器進行處理。然而，這和實際上情況是大不相同的。實 際上，生物可以通過聽覺接收並預測周遭發生的事物。聲音通常會附有和圖像相關的數據， 因此可以提供線索來預測圖像。傳統的多媒體技朮忽略了音頻數據所能提供的線索，且從 未利用這些線索來處理圖像數據，進而失去了讓圖像內容更逼真的機會。圖1為依據本發明的一實施例的多媒體處理器100的方塊圖。如同在此所示，多 媒體處理器100包含音頻處理器110、圖像處理器120以及音頻-圖像(AV)鍵結10。音 頻_圖像鍵結10可為任一種可以耦合音頻處理器110及圖像處理器120的數據路徑。音頻處理器110用來接收音頻的輸入信號Sai並處理此音頻輸入信號Sai以產生音 頻輸出信號Sm以提供給輸出裝置(在此未顯示)，例如一個擴音器來播放。另外，音頻處理 器110亦可配置為通過音頻輸入信號Sai擷取音頻線索信息，並通過音頻_圖像鍵結10傳 輸一個帶有此音頻線索信息的協助信號Sass至圖像處理器120。音頻線索信息可包含隱藏在音頻輸入信號Sai中且和圖像處理相關的信息。例如， 在某些實施例中，音頻輸入信號Sai及圖像輸入信號Sn可分別記錄一個聲音產生源(例如 一物體)的聲音及圖像。在這樣的情況下，此聲音產生源的圖像特徵可能與其音頻特徵存 在著關聯性。這些特徵的任何信息皆可被擷取來提供音頻線索信息。在某些特定的實施例 中，此音頻線索信息可包含至少一種類型的信息，例如，可為內容類型信息(例如為人們說 話的內容、音樂等等)、頻率信息、強度信息(例如音量信息)、節奏信息以及音調信息。圖像處理器120通過音頻-圖像鍵結10耦合音頻處理器110。圖像處理器120被 配置為接收並處理圖像輸入信號Svi以及輔助信號Sass以依據圖像輸入信號Svi以及輔助信 號Sass同步地產生圖像輸出信號SVQ。圖像處理器120可接著提供圖像輸出信號Svq給一個 圖像輸出裝置，例如用於顯示的顯示平面(在此未顯示)。由於此圖像處理器120接收了由音頻處理器110分享的音頻線索信息，圖像處理 器120可以獲得由音頻輸入信號Sai所載的額外的圖像處理相關信息以及由圖像輸入信號 Svi所載的圖像內容。音頻線索信息提供了額外的「線索」，而圖像處理器120可利用此線索 讓圖像內容更逼真。故而，和傳統技術相比可提供更好的圖像質量。另外，由於音頻處理器 110及圖像處理器120之間的耦合併不需要額外的接腳、封包及布局成本，在此所述的實施 例可用很低的成本來實施。圖2A為圖1的多媒體處理器100的二種可能的不同實施例的方塊圖示。請參考 圖2A，多媒體處理器100可和源極裝置201及顯示裝置202 (例如一個IXD面板)耦合。多 媒體處理器100可以使用單一個集成電路實施，亦可和顯示裝置202共同運作或耦合在一 起。多媒體處理器100可包含一個音頻處理器110，其配置為轉換音頻輸入信號Sai為音頻輸出信號Sm，以及音頻處理器120，其配置為轉換圖像輸入信號Svi為圖像輸出信號SVQ。多媒體處理器100自源極裝置201接收輸入信號S1,其中源極裝置201可以是模 擬或是數字的信號源極裝置。當源極裝置201為模擬的源極裝置(例如，模擬的電視廣播 器、模擬的VCR、DVD播放器、攝錄像機、雷射唱片播放器、電視調節器、視頻轉換器(使用衛 星DSS或電纜信號)或是類似的裝置時，輸入信號S1可為模擬信號。在此情況下，可將一 個模擬轉數字轉換器(在此未顯示)和多媒體處理器100 —起使用或耦合在一起，以將模 擬輸入信號S1轉換為適用於數字處理的數字圖像輸入信號Svi及數字音頻輸入信號SAI。當源極裝置201為數字源極裝置(例如，數位電視廣播器(DTV)、數字圖像攝影機 等等裝置，其使用常見的數字格式例如SMPTE 274M-1995、SMPTE296M-1997以及標準480 先進掃描圖像)時，此輸入信號S1可以為數位訊號。在此狀況下、解多工器或是剖析器 (parser)(在此未顯示)可和多媒體處理器100 —起運作或耦合在一起以將數字輸入信號 S1解析為圖像輸入信號Svi以及音頻輸入信號Sai。在某一實施例中，音頻處理器110可包含一個音頻解碼器212、一個音頻處理單元 214以及一個音頻線索信息擷取器216。音頻解碼器212被配置為讀取音頻輸入信號Sai、定 義編碼系統、並依據音頻輸入信號Sai內的音頻線頭(header)檢測同步信息以擷取音頻參 數，例如取樣頻率或通道數目等等。音頻解碼器212可接著利用這些音頻參數來解碼此編 碼的音頻數據的音頻封包，以獲得一個解碼的音頻信號Sad並傳輸此解碼的音頻信號Sad到 音頻處理單元214中。音頻處理單元214被配置為轉換此解碼的音頻信號Sad為模擬的音頻輸出信號 SM。音頻處理單元214可接著通過音頻放大器(在此未顯示)傳輸音頻輸出信號Sm到一 個輸出裝置(在此未顯示)，例如為擴音器播放。音頻線索信息擷取器216被配置為擷取音頻線索信息，並傳輸帶有此音頻線索信 息的輔助信號Sass到圖像處理器120中。由於音頻輸入信號Sai的取樣速率遠低於圖像輸 入信號Sn的取樣速率，音頻線索信息擷取器216可以很容易地自音頻輸入信號Sai中擷取 音頻線索信息。不像由此編碼的音頻數據流的音頻線頭所獲得的同步信息，音頻線索信息可以由 此音頻數據流中各個部位中擷取(例如，音頻線頭或音頻數據)，且可被用來提升圖像質 量，其中此擷取的信息可包含控制信息、時序信息且/或數據內容等等。在某些實施例中，音頻線索信息擷取器216可自音頻解碼器212的狀態/標籤獲 得此音頻線索信息，而在處理解碼的音頻信號Sad時且當音頻處理單元214的狀態/標籤及 /或音頻數據被解碼時，音頻解碼器212的狀態/標籤將被重設。在某些其它的實施例中， 音頻線索信息擷取器216可從自此音頻線頭所擷取的音頻參數獲得此音頻線索信息。如同 於圖2A所示，音頻線索信息擷取器216可依據至少一個的輸入信號來產生此輔助信號Sass， 其中輸入信號可以包含此音頻輸入信號Sai來自音頻解碼器212的信號且/或來自音頻處 理單元214的信號。如同圖1所示的實施例，圖像處理器120被配置為處理此圖像輸入信號Svi及此輔 助信號Sass以依據圖像輸入信號Sn及此輔助信號Sass同步地產生圖像輸出信號STO。由於 可獲得更多用來處理的圖像處理相關信息，即，由輔助信號Sass所載的音頻線索信息外加由 圖像輸入信號Svi所載的圖像信息，圖像處理器120和傳統的技術相比可以產生具有更高畫
6質(例如，更加逼真的畫質)的圖像數據。在某些實施例中，圖像處理器120在處理圖像輸入信號Svi及輔助信號Sass時可解 碼此輸入圖像信號SVI。又，圖像處理器120可控制在顯示裝置202上圖像顯示的尺寸及位 置。又，圖像處理器120可以通過參考輔助信號Sass改變顯示裝置202的顯示特性，例如亮 度、對比、飽和度、色調、色溫、膚色及銳利度。圖2B為依據另一實施例的多媒體處理器的方塊圖，在此實施例中音頻輸入信號 Sai為模擬信號。不同於圖2A的實施例，在圖2B的實施例中並無音頻解碼器212。音頻處 理單元214可將音頻輸入信號Sai轉換為模擬音頻輸出信號Sm，而模擬音頻輸出信號Sm又 可通過例如為擴音器的輸出裝置(在此未顯示)播放。又，音頻線索信息擷取器216可依 據音頻輸入信號Sai擷取音頻線索信息。如同圖2B所示，音頻線索信息擷取器216可依據 至少一個輸入信號，包含音頻輸入信號Sai及來自音頻處理單元214的信號獲得此音頻線索 信息。圖2B的實施例其它的特徵則類似於先前所述圖2A的實施例。以下是用多個實施例來描述圖像處理器222如何使用音頻線索信息來產生圖像 輸出信號STO。第一實施例在某一實施例中，由音頻線索信息擷取器212擷取的音頻線索信息可包含強度信 息，最好是多個通道的強度信息，例如左通道或右通道的強度信息。依據不同通道的強度信 息以及此強度的變化，圖像處理器120可存取一對象(例如聲音源)實際的移動方向。例 如，當左通道的強度逐漸變弱而右通道的強度逐漸變強，可知此對象是由左移到右，反之亦 然。依據此額外的信息，圖像處理器120可產生更準確的移動向量，進而顯示裝置202可以 有更好的畫質。第二實施例在其它實施例中，由音頻線索信息擷取器212擷取的音頻線索信息可包含一條通 道的強度信息。其於此通道強度的變化，圖像處理器120亦可決定此圖像內容是否包含爆 炸圖片(例如，煙火的爆炸)。一旦圖像處理器120檢測到指示此爆炸圖片的音頻線索信 息，圖像處理器120可暫時地停止產生位移向量(motion vectors) 0不同於傳統的技術在 處理爆炸圖片時往往會有不良的位移檢測，多媒體處理器100可在處理爆炸圖片時暫時停 止產生位移向量。如此，爆炸圖片可以有更逼真的圖像。為了更能預測爆炸圖片的發生，在 其它的實施例中音頻線索信息亦可包含額外的信息，例如內容信息、頻率信息、節奏信息且 /或音調信息。第三實施例然而在其它的實施例中，由音頻線索信息擷取器212擷取的音頻線索信息可包含 某些內容類型的信息，其指示在音頻輸入信號Sai內存在著人類聲音。依據這些信息，圖像 處理器120可接著存取圖像內容內的人物特徵。例如，當圖像處理器120檢測到輔助信號 Sass載有人類聲音類型的信息時，圖像處理器120可調整圖像的參數以讓圖像更舒適。在某 些實施例中，此調整的圖像參數可包含膚色，而膚色可由圖像處理器120調整以產生更接 近人類皮膚的色澤及顏色。接著，在顯示裝置202上產生的圖像畫面可變得更加逼真。雖然，在圖2A及圖2B所示的實施例中音頻-圖像鍵結10是用於自音頻處理器 110傳輸輔助信號Sass到圖像處理器120的單向通道。在其它的實施例中，圖像處理器120亦可發布由音頻處理器110所使用另外的輔助信號S』 ASS來處理音頻輸入信號。圖3為依據另一實施例的多媒體處理器300的方塊圖示，不同於圖1的多媒體處 理器100，此單向的音頻-圖像鍵結10已被一雙向的音頻-圖像鍵結30取代。在圖3中， 圖像處理器320可依據圖像輸入信號Sn擷取圖像線索信息，並通過音頻_圖像鍵結30傳 輸帶有圖像線索信息的一個輔助信號S』 ASS到音頻處理器310。圖像線索信息可包含藏在 圖像輸入信號Sn內部的音頻處理相關信息。音頻處理器310被配置為處理音頻輸入信號 Sai及輔助信號S』ass並依據音頻輸入信號Sai及輔助信號S』ass同步地產生一音頻輸出信號 Saoo由於可獲得更多的音頻處理相關信息，即，由輔助信號s』 ASS所載的圖像線索信息 外加由音頻輸入信號S』 AI所載的音頻信息，音頻處理器310和傳統的技術相比可以產生具 有更高質量(例如，更加逼真的音質)的音頻內容。其它的特徵則類同於先前在圖1所示 的實施例。圖4A及圖4B為圖3的多媒體處理器300可能的二種不同實施例的方塊圖示。請 參考圖4A，多媒體處理器300可和源極裝置401及顯示裝置402 (例如一個IXD面板)耦 合。多媒體處理器300可包含一個音頻處理器310以及經由音頻-圖像鍵結30和音頻處 理器310耦合在一起的圖像處理器320。音頻處理器310可包含一個音頻解碼器412、一個 音頻處理單元414以及一個音頻線索信息擷取器416。如同先前所述，音頻線索信息擷取 器416被配置為自音頻解碼器412所解碼的音頻輸入信號Sai且/或音頻處理單元414所 處理的信號擷取音頻線索信息，然後傳輸輔助信號Sass至圖像處理器320以產生圖像內容。 另外，圖像處理器320可自圖像輸入信號Svi擷取圖像線索信息，然後通過音頻_圖像鍵結 30傳輸帶有圖像線索信息的輔助信號S』 ASS至音頻處理單元414。音頻處理單元414可接 著處理輔助信號S』 ASS以及由一個音頻解碼器412所發送解碼的音頻信號Sad，以產生模擬 的音頻輸出信號SM。音頻輸出信號Sm可接著由例如為擴音器的輸出裝置(在此未顯示) 播放。圖4B描述一個不同的實施例，其不需使用圖4A所示的音頻解碼器412。圖4B所 示的實施例可應用於不需要解碼輸入音頻信號的裝置。在此狀況下，音頻線索信息擷取器 416可自音頻輸入信號Sai且/或由音頻處理單元414所處理的信號來擷取音頻線索信息， 並接著依此傳輸帶有此線索信息的輔助信息Sass到圖像處理器320以產生圖像內容。又， 音頻處理器414可處理由圖像處理器320所提供的輔助信號S』ass以及音頻輸入信號Sai以 產生模擬的音頻輸出信號SM。其它的特徵是類似於先前於圖4A及圖2A-B所示的實施例。最後，在不脫離本發明的精神及範圍內，如同以下上述的權利要求範圍，本領域技 術人員應能輕易地應用本發明揭露的概念及實施例，以用於設計或改良其它架構，並用以 達成與本發明的目的相同的功用。
8
權利要求
一種多媒體處理器，包含一音頻處理器，其配置為處理一音頻輸入信號以產生一音頻輸出信號及一輔助信號；及與該音頻處理器耦合的一圖像處理器，其中該圖像處理器被配置為處理一圖像輸入信號及該輔助信號以依據該圖像輸入信號及該輔助信號同步地產生一圖像輸出信號。
2.根據權利要求1所述的多媒體處理器，其中該輔助信號包含依據該音頻輸入信號所 擷取的音頻線索信息。
3.根據權利要求2所述的多媒體處理器，其中該音頻處理器依據由該音頻輸入信號內 至少之一音頻線頭及音頻封包所載的信息擷取該音頻線索信息。
4.根據權利要求1所述的多媒體處理器，該音頻處理器產生該輔助信號依據在處理該 音頻輸入信號以產生該音頻輸出信號時設置的狀態及標籤。
5.根據權利要求1所述的多媒體處理器，其中該音頻處理器包含一音頻解碼器，其配置為解碼該音頻輸入信號以產生一解碼的音頻信號；一音頻處理單元，其配置為將該解碼的音頻信號轉換為該音頻輸出信號；及一音頻線索信息擷取器，其配置為通過擷取在該音頻輸入信號內的音頻線索信息以產 生該輔助信號。
6.根據權利要求1所述的多媒體處理器，其中該音頻處理器包含一音頻處理單元，其配置為將該音頻輸入信號轉換為該音頻輸出信號；及一音頻線索信息擷取器，其配置為通過自該音頻輸入信號內擷取的音頻線索信息產生 該輔助信號。
7.根據權利要求1所述的多媒體處理器，其中該圖像處理器還產生一第二輔助信號， 且該音頻處理器還接收並處理該第二輔助信號以依據該音頻輸出信號及該第二輔助信號 同步地產生該音頻輸出信號。
8.根據權利要求1所述的多媒體處理器，其中該輔助信號包含至少一種選自該音頻輸 入信號所載的內容類型信息、頻率信息、強度信息、節奏信息以及音調信息所組成的群的信息。
9.根據權利要求1所述的多媒體處理器，其中該輔助信號包含內容類型信息且該圖像 處理器依據該內容類型信息調整該圖像輸出信號的膚色。
10.根據權利要求1所述的多媒體處理器，其中該輔助信號包含不同通道的強度信息， 且該圖像處理器依據該不同通道的強度信息產生位移向量。
11.根據權利要求1所述的多媒體處理器，其中在該接收的輔助信息指示爆炸畫面的 發生時，該圖像處理器暫時地停止產生位移向量信息。
12.—種多媒體處理方法，其包含處理一音頻輸入信號；自該處理的音頻輸入信號產生一輔助信號及一音頻輸出信號；處理一圖像輸入信號及該輔助信號；且依據該圖像輸入信號及該輔助信號同步地產生一圖像輸出信號。
13.根據權利要求12所述的多媒體處理方法，其中該產生該輔助信號的步驟包含依據 音頻輸入信號擷取音頻線索信息。
14.根據權利要求13所述的多媒體處理方法，其中該擷取該音頻線索信息的步驟是依 據該音頻輸入信號內至少之一音頻線頭及音頻封包所載的信息。
15.根據權利要求12所述的多媒體處理方法，其中該輔助信號的產生是依據在處理該 音頻輸入信號時設置的狀態或標籤。
16.根據權利要求12所述的多媒體處理方法，其中該處理該音頻輸入信號的步驟包含解碼該音頻輸入信號以產生一解碼的音頻信號； 將該解碼的音頻信號轉換為該音頻輸出信號；且 自該音頻輸入信號擷取音頻線索信息。
17.根據權利要求12所述的媒體處理方法，其中處理該音頻輸入信號的步驟包含 將該音頻輸入信號轉換為該音頻輸出信號；且自該音頻輸入信號擷取音頻線索信息。
18.根據權利要求12所述的多媒體處理方法，還包含產生一第二輔助信號，且其中產 生該音頻輸出信號的步驟是依據該音頻輸出信號及該第二輔助信號同步地執行。
19.根據權利要求12所述的多媒體處理方法，其中該輔助信號包含至少一種選自由該 音頻輸入信號所載的內容類型信息、頻率信息、強度信息、節奏信息以及音調信息所組成的 群的信息。
20.根據權利要求12所述的多媒體處理器，其中該輔助信號包含內容類型信息且產生 該圖像輸出信號包含依據該內容類型信息調整該圖像輸出信號的膚色。
全文摘要
本發明揭露一種利用影音連結處理多媒體數據的系統及方法。本發明的多媒體處理器包含一音頻處理器，其配置為處理一音頻輸入信號以產生一音頻輸出信號及一輔助信號；及與此音頻處理器耦合的一圖像處理器，其中此圖像處理器被配置為處理一圖像輸入信號及此輔助信號以依據此圖像輸入信號及此輔助信號同步地產生一圖像輸出信號。通過此輔助信號，此圖像處理器可獲得更多圖像處理相關的信息使得圖像的內容可以更逼真。不良的位移檢測亦可被避免，故可提升圖像的質量。
文檔編號G09G5/00GK101887709SQ20101018338
公開日2010年11月17日 申請日期2010年5月12日 優先權日2009年5月12日
發明者王宗仁 申請人:奇景光電股份有限公司