多對象音頻信號的附加信息比特流產生方法和裝置的製作方法
2023-06-11 16:39:51 2
專利名稱：多對象音頻信號的附加信息比特流產生方法和裝置的製作方法
技術領域：
本發明涉及一種用於產生多對象音頻信號的附加信息比特流的方法和裝置。
背景技術：
根據現有的音頻編碼和解碼技術，由各種聲道構成的多個音頻對象無法根據用戶需要而進行各種組合，因此無法以各種形態來消費一個音頻內容。結果，用戶只能被動地消費音頻內容。 根據作為現有技術的空間音頻編碼(Spatial Audio Coding，SAC)，將多聲道音頻信號編碼為縮混(down-mix)的單聲道信號或縮混的立體聲聲道信號和空間提示(spatialcue)信息，因此即使在低比特率下也能傳送高品質的多聲道信號。根據SAC技術，按子帶(sub-band)分析音頻信號，並基於與每個子帶對應的空間提示信息，從所述縮混的單聲道或立體聲聲道信號恢復原多聲道音頻信號。所述空間提示信息包括用於在解碼過程中恢復原來的信號的信息，並決定在SAC解碼裝置中再現的音頻信號的音頻品質。運動圖像專家組(MPEG)以MPEG環繞(MPS)的名稱進行SAC技術標準化，並將聲道等級差(Channel LevelDifference, CLD)用作空間提示。根據SAC技術，對於多聲道音頻信號僅可以對一個音頻對象進行編碼和解碼，所以無法對由多聲道構成的多對象音頻信號(例如，由單聲道、立體聲聲道和5. I聲道構成的各種對象的音頻信號)進行編碼和解碼。根據作為另一現有技術的雙耳提示編碼(Binaural Cue Coding, BCC)技術,能夠
對僅由單聲道構成的多對象音頻信號進行編碼和解碼，所以無法對由除單聲道之外的多聲道構成的多對象音頻信號進行編碼和解碼。結果，根據現有技術，僅可以對由單一聲道構成的多對象音頻信號或由多聲道構成的單一對象音頻信號進行編碼和解碼，無法對由多聲道構成的多對象音頻信號進行編碼和解碼。因此，無法根據用戶的需要組合由各種聲道構成的多個音頻對象，無法以各種形態來消費一個音頻內容。因此，用戶只能被動地消費音頻內容。
發明內容
技術問題本發明的目的在於提供這樣一種方法和裝置，即，通過在對多對象音頻信號進行編碼時產生的附加信息比特流的幀區域中包括預設信息，從而在再現多對象音頻信號期間，也能根據編輯者或聲音工程師的意圖改變所設定的音響場景信息。本發明的目的不限於上述的目的，可通過下面的描述來理解沒有提及的本發明的其它目的和優點，並根據本發明實施例更清楚地理解本發明的目的和優點。此外，容易理解，可通過權利要求所體現的手段及其組合來實現本發明的目的及優點。技術方案為了達到上述的目的，在本發明中，一種多對象音頻信號的附加信息比特流產生裝置，其特徵在於，包括 空間提示信息輸入部，接收從多對象音頻信號的編碼裝置產生的空間提示信息；預設信息輸入部，接收關於多對象音頻信號的預設信息；附加信息比特流產生部，利用空間提示信息和預設信息產生附加信息比特流，其中，附加信息比特流包括頭區域和幀區域，預設信息包括在所述幀區域。另外，在本發明中，一種多對象音頻信號的附加信息比特流分析裝置，其特徵在於，包括附加信息比特流輸入部，接收附加信息比特流；空間提示信息提取部，利用附加信息比特流提取空間提示信息；預設信息提取部，利用附加信息比特流提取預設信息，其中，附加信息比特流包括頭區域和幀區域，預設信息包括在所述幀區域中。另外，在本發明中，一種多對象音頻信號的編碼裝置，其特徵在於，包括編碼部，對由多個對象構成的音頻信號進行縮混，產生關於由多個對象構成的音頻信號的空間提示信息；附加信息比特流產生部，利用空間提示信息和關於音頻信號的預設信息來產生附加信息比特流，其中，附加信息比特流包括頭區域和幀區域，預設信息包括在幀區域中。另外，在本發明中，一種多對象音頻信號的解碼裝置，其特徵在於，包括附加信息比特流分析部，接收附加信息比特流，提取包括在附加信息比特流中的空間提示信息和預設信息；解碼部，利用空間提示信息從縮混的輸入音頻信號恢復由多個對象構成的音頻信號；渲染部，利用預設信息將由多個對象構成的音頻信號渲染為由多個聲道構成的音頻信號，其中，附加信息比特流包括頭區域和幀區域，預設信息包括在所述幀區域。另外，在本發明中，一種多對象音頻信號的附加信息比特流產生方法，其特徵在於，包括如下步驟接收從多對象音頻信號的編碼裝置產生的空間提示信息；接收關於多對象音頻信號的預設信息；利用空間提示信息和預設信息，產生附加信息比特流，其中，附加信息比特流包括頭區域和幀區域，預設信息包括在鎮區域中。另外，在本發明中，一種多對象音頻信號的附加信息比特流分析方法，其特徵在於，包括如下步驟接收附加信息比特流；利用附加信息比特流，提取空間提示信息；利用附加信息比特流，提取預設信息，附加信息比特流包括頭區域和幀區域，預設信息包括在幀區域中。另外，在本發明中，一種多對象音頻信號的編碼方法，其特徵在於，包括如下步驟對由多個對象構成的音頻信號進行縮混，產生關於有多個對象構成的音頻信號的空間提示信息；利用空間提示信息和關於音頻信號的預設信息，產生附加信息比特流，其中，附加信息比特流包括頭區域和幀區域，預設信息包括在幀區域中。另外，在本發明中，一種多對象音頻信號的解碼方法，其特徵在於，包括如下步驟接收附加信息比特流，提取包括在附加信息比特流中的空間提示信息和預設信息；利用空間提示信息，從縮混的輸入音頻信號恢復由多個對象構成的音頻信號；利用預設信息，將由多個對象構成的音頻信號渲染為由多個聲道構成的音頻信號，其中，附加信息比特流包括頭區域和幀區域，預設信息包括在幀區域中。有益效果根據前述本發明，具有這樣的優點，S卩，通過在對多對象音頻信號進行編碼時產生的附加信息比特流的幀區域中包括預設信息，從而在再現多對象音頻信號期間，也能根據編輯者或聲音工程師的意圖改變所設定的音響場景信息。
圖I是示出根據本發明實施例的多對象音頻信號的編碼、解碼和渲染過程的組成圖。圖2是用於說明利用多對象音頻信號而產生的附加信息比特流的結構的結構圖。
圖3是用於說明在本發明實施例中使用的附加信息比特流的結構的結構圖。圖4是用於說明在本發明另一實施例中使用的附加信息比特流的結構的結構圖。圖5是用於說明根據本發明又一實施例的附加信息比特流的結構的結構圖。
具體實施例方式以下將參照附圖對上述的目的、特徵和優點進行詳細描述，從而本發明所屬領域的普通技術人員能夠容易地實施本發明的技術思想。在本發明的說明中，如果與本發明相關的公知技術的具體說明可能會混淆本發明的要點，則將省略詳細描述。本發明涉及多聲道/多對象音頻信號的壓縮/恢復技術。多對象音頻編碼是將不同的音頻對象壓縮並發送的技術，基於最近公開的基於空間提示的音頻編碼方式(SpatialAudio Coding, SAC)。在多對象音頻信號的編碼過程中，接收由多個對象構成的音頻信號，將接收的音頻信號進行縮混(downmix)並發送到解碼器。此時，附加信息比特流(side informationbitstream)與縮混的信號一起被傳送。附加信息比特流中包括再現輸入的多對象音頻信號所必需的信息，其中的一個信息是預設信息(Preset-ASI :Preset Audio SceneInformation)。收聽多對象音頻信號的聽眾通過根據編輯者或者聲音工程師等的設定而提供的這種預設信息，可以享受各種音響場景。附加信息比特流大致分為頭(header)區域和幀(frame)區域，該預設信息僅包括在頭區域中。因此，僅向聽眾提供包括在頭區域中的默認預設信息，此後無法進行預設信息的更新。本發明的目的在於解決這種問題，涉及這樣一種技術，S卩，在多對象音頻信號的再現期間更新預設信息，從而向用戶提供更加真實的音響場景。為此，在本發明中，使附加信息比特流的幀區域能夠包括預設信息。在幀區域中包括預設信息並傳送，由此不僅將包括在頭區域中的默認預設信息提供給聽眾，還可將與各個幀對應的最佳預設信息提供給聽眾。例如，在再現初期與主音一起位於前面的合唱音源，可根據更新的預設信息，在特定時間段位於後面。作為另一例，可以根據時間將合唱音源位置前後移動。通過這種技術，可以增加提供的音頻信號的聲場效果，或可以構建更加動態的音響場景。以下，將參照附圖詳細地描述根據本發明的優選實施例。在附圖中，相同標號表示相同或類似的組成部分。圖I是示出根據本發明實施例的多對象音頻信號的編碼、解碼和渲染過程的組成圖。
如圖I所示，通過SAOC編碼器102、比特流格式化器104、SA0C解碼器106、比特流分析器108、渲染矩陣產生器110和渲染器112，來實現根據本發明實施例的多對象音頻信號的編碼、解碼和渲染。基於空間提示的多對象編碼(SAOC :Spatial Audio Object Coding)方式中,對作為音頻對象而輸入的信號進行編碼。各個音頻對象通過解碼器恢復。且不是單獨地再現每個恢復的對象，而是為了構建特定音響場景，利用關於音頻對象的信息來渲染恢復的對象，並作為具有各種聲道的多對象音頻信號而輸出。因此，為了利用根據本發明實施例的多對象音頻信號來獲得特定音響場景，需要能夠渲染關於輸入的音頻對象的信息的裝置。SAOC編碼器102是基於空間提示的編碼器，將輸入音頻信號作為音頻對象進行編碼。在此，輸入到SAOC編碼器102的音頻對象可以是單聲道信號或者立體聲信號。SAOC編碼器102從輸入的I個以上的音頻對象輸出縮混的信號。在此，輸出的縮混的信號是單聲道信號或者立體聲信號。並且，SAOC編碼器102提取對縮混的信號解碼所必需的與多對象 相關聯的空間提示參數(Spatial Cue Parameter),並傳送到比特流格式化器104。SAOC編碼器102可使用「非均勻布局(Heterogeneous Layout) SA0C」或者「費勒(Faller) 」方案來分析輸入的音頻對象信號。提取的空間提示參數包括空間提示信息。通常以頻域子帶為單位分析並提取空間提示。在此，空間提示(spatial cue)是音頻信號的編碼和解碼過程中所使用的信息，從頻域提取，包括輸入的兩個信號的大小之差、延遲差、相關性等信息。例如，包括表示音頻信號的功率增益信息的音頻信號間聲級差(Channel Level Difference，CLD)，音頻信號間能量比(Inter-Channel Level Difference, ICLD),音頻信號間時間差(Inter-Channel TimeDifference, ICTD),表示音頻信號之間的相關性信息的音頻信號間相關性(Inter ChannelCorrelation, ICC)及虛擬音源位置信息(Virtual Source Location Information),但不限於此。空間提示參數包括空間提示和用於音頻信號恢復和控制的信息。特別是，包括在空間提示參數中的頭信息包括用於恢復和再現由各種聲道構成的多對象音頻信號的信息，定義了關於音頻對象的聲道信息和該音頻對象的ID，從而能夠提供關於單聲道、立體聲聲道、多聲道的音頻對象的解碼信息。例如，在頭信息中可定義能夠區分編碼的特定音頻對象是單聲道音頻信號還是立體聲聲道音頻信號的ID和各個對象的信息。比特流格式化器104利用從SAOC編碼器102發送的空間提示參數和從外部輸入的預設信息(Preset-ASI)產生附加信息比特流(SA0C比特流)。SAOC解碼器106利用從比特流分析器108輸出的空間提示參數將從SAOC編碼器102輸出的縮混的信號恢復為多對象音頻信號。可將SAOC解碼器106替換為MPEG Surround解碼器、BCC解碼器等。比特流分析器108通過分析從比特流格式化器104輸出的附加信息比特流，提取空間提示參數和預設信息。提取的空間提示參數被傳送到SAOC解碼器106，提取的預設信息被傳送到渲染矩陣產生器110。渲染矩陣產生器110利用從比特流分析器108輸出的預設信息和從外部輸入的用戶控制產生渲染矩陣。如果沒有從比特流分析器108傳送預設信息，則將預設信息設置為基本值(默認值)。
渲染器112利用從渲染矩陣產生器110輸出的渲染矩陣，將從SAOC解碼器106輸
出的多對象音頻信號渲染為多聲道音頻信號。通過圖1，說明了根據本發明實施例的多對象音頻信號的編碼、解碼和渲染過程。但是，根據本發明的附加信息比特流不是限定應用在在圖I所示的實施例。即，在多對象信號的處理過程中，如果包括了利用包括在附加信息比特流中的預設信息來渲染多對象信號的結構，則可適用本發明 。圖2是用於說明利用多對象音頻信號產生的附加信息比特流的結構的結構圖。如圖2所示，附加信息比特流包括頭區域和幀區域。頭區域包括如上所述的頭信息，即，關於音頻對象的聲道信息、相關音頻對象的ID信息、各聲道音頻對象數量等信息。並且，幀區域包括關於實際音頻信號的信息，例如，空間提示信息等。在此，預設信息表示音頻對象控制信息和揚聲器的布局信息。具體地講，預設信息包括揚聲器的布局信息以及用於構建適合於揚聲器的布局信息的音響場景的各音頻對象的位置和等級信息。可直接表現預設信息，或者以矩陣(行列)形式表示預設信息。當直接表示時，預設信息可包括再現系統的布局(單聲道/立體聲聲道/多聲道)、音頻對象ID、音頻對象布局(單聲道或立體聲聲道)、音頻對象位置、方位角(azimuth) (0度 360度)、立體聲聲道再現時的仰角(elevation) (-50度 90度)、音頻對象等級信息(_50dB 50dB)。當以矩陣表示時，預設信息具有滿足以下數學式I的P矩陣的形式。以矩陣表示的預設信息與直接表示的情況一樣地，包括用於將各個音頻對象映射到輸出聲道的功率增益信息或相位信息作為向量元。數學式I
Pb Pb …Pl3 I 「wb I (~wbrU rUrI .N-iW0j_IwChJ
T bbb
POW^j= 21 22 ；；'Q 2 = wM
Pb Obpb
_rM,l [M、2 …rMJs1-I J j_W oj_N-1J L ch-M」SAOC預設信息可針對相同內容定義適合於不同再現方案的各種音響場景。例如，可產生適合於立體聲/多聲道(5. 1，7. I等)再現系統的幾個有用的預設信息使其符合為內容製造者的意圖或再現服務的目的，並進行傳送。附加信息比特流中包括用於多對象音頻信號的渲染的預設信息。但是，在現有技術中，這種預設信息僅包括在附加信息比特流的頭區域中，而沒有包括在幀區域中。因此，用戶(或聽眾)僅能利用包括在頭區域中的默認預設信息來欣賞多對象音頻信號。圖3是用於說明在本發明實施例中使用的附加信息比特流的結構的結構圖。與通過圖2的說明一樣，在現有技術中，由於僅在頭區域中包括默認預設信息，所以無法於再現期間提供適合於變化的環境、或者內容製造者或編輯者、聲音工程師的意圖的各種預設信息。因此，根據本發明實施例的附加信息比特流不僅在頭區域中包括預設信息，在幀區域中也能包括預設信息，因此在多對象圖像的再現期間，能夠在特定的位置(或幀)提供與包括在頭區域中的默認預設信息不同的預設信息。
參照圖3，附加信息比特流包括頭區域和幀區域。頭區域包括頭信息和默認預設信息。前面已描述了頭信息，在此省略對其的詳細描述。在多對象音頻信號的再現初期，可將默認預設信息提供給用戶。另外，幀區域包括一個以上的幀。其在圖3中表示為第I幀、第2幀...。在每個幀區域中可包括各種信息，但是為了便於說明，在圖3中示出為包括空間提示信息和預設信息。如圖3所示，第I幀區域不僅包括第I空間提示信息，還包括第I預設信息。相同地，第2幀區域包括第2空間提示信息和第2預設信息。這樣，在每個幀區域中分配能夠包括預設信息的空間，所以能夠在多對象音頻信號的再現途中提供與相關幀對應的預設信息。例如，圖I所示的比特流分析器108將順序分析從比特流格式化器104傳送過來的附加信息比特流。通過分析頭區域來提取默認預設信息的比特流分析器108繼續分析幀區域而提取包括在相關幀區域中的預設信息，並將提取的預設信息提供給渲染矩陣產生器110。因此，當每個幀區域被分析時，均能提取新的預設信息，並將該預設信息用於相關位置(幀)的多對象音頻信號渲染。 通過這種按各個幀提供預設信息，能夠使用更加多樣的預設信息。例如，在再現初期，利用包括在頭區域中的默認預設信息來渲染每個幀，當出現根據本發明實施例的包括新的預設信息的幀時，僅對該幀使用新的預設信息，或者對之後渲染的所有幀使用新的預設信息。(當然，對於包括與該預設信息不同的另一預設信息的幀，可使用該另一預設信息)。或者，作為使用包括在頭區域中的默認預設信息的方法，可使聽眾同時提供頭區域的默認預設信息和相關幀所包括的新的預設信息，從而可以提供更加多樣化的預設信息。圖4是用於說明在本發明另一實施例中使用的附加信息比特流的結構的結構圖。參照圖4，與圖3相同，附加信息比特流分為頭區域和幀區域。頭區域包括頭信息和默認預設信息。幀區域包括第I幀、第2幀...等一個以上的幀。在圖4中，第I幀包括多個預設信息，即，第I預設信息、第2預設信息等。這樣，通過在每個幀中包括多個預設信息，從而用戶在與第I幀對應的區間能夠獲得更加多樣的預設信息。另外，雖未在圖4中示出，第2幀與第I幀一樣，可包括多個預設信息，相反地，也可以不包括任何預設信息。雖未在圖4中示出，每個幀可以按照一定規則的包括預設信息。例如，從第I幀包括3個預設信息，第2幀包括0個預設信息，第3幀包括3個預設信息，第4幀包括0個預設信息，...等方式包括預設信息。除這種規則的方式之外，如通過4說明的那樣，可以只在特定幀區域中包括預設信息。此外，可以使用能夠適用的各種方案，將包括與各個幀對應的預設信息的一個以上的幀包括在幀區域中。這樣，按每個幀以各種方式設置可以包括預設信息的區域，從而對於與每個幀對應的多對象音頻信號，可以提供更加多樣化的音響場景信息。圖5是用於說明根據本發明又一實施例的附加信息比特流的結構的結構圖。參照圖5，附加信息比特流(SA0C比特流)包括預設信息區域(Preset-ASIRegion)。預設信息區域包括多個預設信息(Preset-ASI (默認),Preset-ASI (I)至(N)。並且，一個預設信息包括音頻對象的控制信息和布局信息等。如上所述，可以直接表示預設信息，或者以矩陣的形式表示預設信息。當直接表示時，包括與對象數量相當的對象ID、對象類型、位置、揚聲器布局、聲音等級信息等。此外，如圖5所示，預設信息可以以將這些因素作為向量元的矩陣形式表示。上述的內容，對於本發明所屬領域中的普通技術人員來說，在不脫離本發明的技 術思想的情況下，可以進行各種替換、變形及變化，因此本發明不限於前述的實施例和附圖。
權利要求
1.一種多對象音頻信號的附加信息比特流產生裝置，包括 空間提示信息輸入部，接收從所述多對象音頻信號的編碼裝置產生的空間提示信息； 預設信息輸入部，接收關於所述多對象音頻信號的預設信息； 附加信息比特流產生部，利用所述空間提示信息和所述預設信息產生所述附加信息比特流， 其中，所述附加信息比特流包括頭區域和幀區域，所述預設信息包括在所述幀區域且表不音頻對象控制信息和揚聲器的布局信息。
2.一種多對象音頻信號的附加信息比特流分析裝置，包括 附加信息比特流輸入部，接收所述附加信息比特流； 空間提示信息提取部，利用所述附加信息比特流提取空間提示信息； 預設信息提取部，利用所述附加信息比特流提取預設信息， 其中，所述附加信息比特流包括頭區域和幀區域，所述預設信息包括在所述幀區域中且表不音頻對象控制信息和揚聲器的布局信息。
3.一種多對象音頻信號的編碼裝置，包括 編碼部，對由多個對象構成的音頻信號進行縮混，產生關於所述由多個對象構成的音頻信號的空間提示信息； 附加信息比特流產生部，利用所述空間提示信息和關於所述音頻信號的預設信息來產生附加信息比特流， 其中，所述附加信息比特流包括頭區域和幀區域，所述預設信息包括在所述幀區域中且表不音頻對象控制信息和揚聲器的布局信息。
4.一種多對象音頻信號的解碼裝置，包括 附加信息比特流分析部，接收附加信息比特流，提取包括在所述附加信息比特流中的空間提示信息和預設信息； 解碼部，利用所述空間提示信息從縮混的輸入音頻信號恢復由多個對象構成的音頻信號; 渲染部，利用所述預設信息將所述由多個對象構成的音頻信號渲染為由多個聲道構成的音頻信號， 其中，所述附加信息比特流包括頭區域和幀區域，所述預設信息包括在所述幀區域且表不音頻對象控制信息和揚聲器的布局信息。
5.一種多對象音頻信號的附加信息比特流產生方法，包括如下步驟 接收從所述多對象音頻信號的編碼裝置產生的空間提示信息； 接收關於所述多對象音頻信號的預設信息； 利用所述空間提示信息和所述預設信息，產生所述附加信息比特流， 其中，所述附加信息比特流包括頭區域和幀區域，所述預設信息包括在所述幀區域中且表不音頻對象控制信息和揚聲器的布局信息。
6.一種多對象音頻信號的附加信息比特流分析方法，包括如下步驟 接收所述附加信息比特流； 利用所述附加信息比特流，提取空間提示信息； 利用所述附加信息比特流，提取預設信息，其中，所述附加信息比特流包括頭區域和幀區域，所述預設信息包括在所述幀區域中且表不音頻對象控制信息和揚聲器的布局信息。
7.一種多對象音頻信號的編碼方法，包括如下步驟 對由多個對象構成的音頻信號進行縮混，產生關於所述由多個對象構成的音頻信號的空間提示信息；以及， 利用所述空間提示信息和關於所述音頻信號的預設信息，產生附加信息比特流， 其中，所述附加信息比特流包括頭區域和幀區域，所述預設信息包括在所述幀區域中且表不音頻對象控制信息和揚聲器的布局信息。
8.一種多對象音頻信號的解碼方法，包括如下步驟 接收附加信息比特流，提取包括在所述附加信息比特流中的空間提示信息和預設信息； 利用所述空間提示信息，從縮混的輸入音頻信號恢復由多個對象構成的音頻信號；利用所述預設信息，將所述由多個對象構成的音頻信號渲染為由多個聲道構成的音頻信號， 其中，所述附加信息比特流包括頭區域和幀區域，所述預設信息包括在所述幀區域中且表不音頻對象控制信息和揚聲器的布局信息。
全文摘要
本發明涉及一種多對象音頻信號的附加信息比特流產生方法和裝置。本發明的多對象音頻信號的附加信息比特流產生裝置，其特徵在於，包括接收從多對象音頻信號的編碼裝置產生的空間提示信息的空間提示信息輸入部、接收關於所述多對象音頻信號的預設信息的預設信息輸入部、以及利用空間提示信息和預設信息產生附加信息比特流的附加信息比特流產生部，其中，附加信息比特流包括頭區域和幀區域，預設信息包括在幀區域。根據本發明，具有這樣的效果，即，通過在對多對象音頻信號編碼時產生的附加信息比特流的幀區域中包括預設信息，從而在再現多對象音頻信號期間，也可根據編輯者或聲音工程師的意圖來改變所設定的音響場景信息。
文檔編號G10L19/00GK102800320SQ20121023405
公開日2012年11月28日 申請日期2009年3月30日 優先權日2008年3月31日
發明者徐廷一, 白承權, 李泰辰, 李用主, 張大永, 姜京玉, 洪鎮祐, 金鎮雄, 安致得 申請人:韓國電子通信研究院