用於處理音頻信號的方法和設備的製作方法
2023-07-13 01:27:01
用於處理音頻信號的方法和設備的製作方法
【專利摘要】一種音頻信號處理設備包括：索引估計單元，接收作為輸入的三維圖像信息，並基於該三維圖像信息產生用於沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象的索引信息；以及呈現單元，用於基於索引信息沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象。
【專利說明】用於處理音頻信號的方法和設備
【技術領域】
[0001]與示例性實施例一致的方法和設備涉及一種用於處理音頻信號的方法和設備，更具體地講，涉及一種用於處理音頻信號的、產生立體聲的方法和設備。
【背景技術】
[0002]由於成像技術的發展，用戶可看到3D立體圖像。考慮到雙眼視差，3D立體圖像向左眼顯露左視點圖像數據，並向右眼顯露右視點圖像數據。用戶可識別似乎真得要從屏幕跳出或返回到屏幕中的對象。
[0003]此外，隨著成像技術的發展，用戶對聲音的興趣增加，特別是，立體聲得到了顯著發展。在當前的立體聲技術中，在用戶周圍放置多個揚聲器，以使得用戶可體驗到在不同位置的定位和空間感(perspective)。例如，通過使用5.1聲道音頻系統獲得立體聲，其中，5.1聲道音頻系統用於輸出通過使用六個揚聲器而被劃分為六個音頻信號的音頻信號。然而，在立體聲技術中，可能沒有向用戶提供與圖像對象的三維效果中的變化相應的立體聲。
[0004]因此，需要一種用於產生與圖像對象的三維效果中的變化相應的立體聲的方法和設備。另外，重要的是增大音頻對象的三維效果。因此，需要一種用於增大三維效果的方法和設備。
【發明內容】
[0005]技術問題
[0006]示例性實施例提供一種用於處理音頻信號的方法和設備，該方法和設備產生與圖像對象的三維效果的變化相應的立體聲。
[0007]示例性實施例還提供一種用於處理音頻信號的方法和設備，該方法和設備增大音頻對象的三維效果。
[0008]問題的解決方案
[0009]根據示例性實施例的一方面，提供一種音頻信號處理設備，該音頻信號處理設備包括:索引估計單元，接收作為輸入的三維圖像信息，並基於該三維圖像信息產生用於沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象的索引信息；以及呈現單元，用於基於該索引信息，沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象。
[0010]索引估計單元可產生索引信息，該索引信息包括沿向右方向和向左方向的聲音擴展信息、沿向前方向和向後方向的深度信息、以及沿向上方向和向下方向的高度信息。
[0011]三維圖像信息對於每一個圖像幀可包括具有最大視差值和最小視差值中的至少一個的圖像對象的位置信息、以及最大視差值或最小視差值中的至少一個。
[0012]當對於每一個幀可輸入三維圖像信息時，圖像對象的位置信息可包括關於通過將與一個幀相應的一個屏幕劃分為至少一個子幀而獲得的子幀的信息。[0013]可基於音頻對象沿向右方向和向左方向的位置獲得聲音擴展信息，通過使用最大視差值和所述位置信息中的至少一個估計所述位置。
[0014]可基於音頻對象沿向前方向和向後方向的深度值獲得深度信息，通過使用最大視差值和/或最小視差值估計所述深度值。
[0015]可基於音頻對象沿向上方向和向下方向的位置獲得高度信息，通過使用最大視差值和所述位置信息中的至少一個估計所述位置。
[0016]在當音頻對象和圖像對象彼此不對應時的情況和當音頻對象對應於非效果聲音時的情況之中的至少一種情況下，索引估計單元可產生索引信息，以便減小音頻對象的三維效果。
[0017]音頻信號處理設備還可包括信號提取單元，該信號提取單元接收作為輸入的立體聲音頻信號，提取該立體聲音頻信號中的右/左信號和中心聲道信號，並將所提取的信號發送到呈現單元。
[0018]索引估計單元可包括:聲源檢測單元，接收作為音頻信號的立體聲音頻信號、右/左信號和中心聲道信號中的至少一個，分析輸入音頻信號的方向角度和用於每一個頻段的能量中的至少一個，並基於第一分析結果區分效果聲音和非效果聲音；比較單元，確定音頻對象是否對應於圖像對象；以及索引產生單元，在當圖像對象和音頻對象彼此不對應時的情況和當音頻對象對應於非效果聲音時的情況中的至少一種情況下，產生索引信息，以便減小音頻對象的三維效果。
[0019]聲源檢測單元可接收立體聲音頻信號、右/左信號和中心聲道信號中的至少一個，跟蹤立體聲音頻信號中所包括的音頻對象的方向角度，並基於跟蹤結果區分效果聲音和非效果聲音。
[0020]當方向角度的變化等於或小於預定值時，或者當方向角度沿向右方向和向左方向收斂時，聲音檢測單元確定音頻對象對應於效果聲音。
[0021 ] 當方向角度的變化等於或小於預定值時，或者當方向角度收斂到中心點時，聲音檢測單元可確定音頻對象對應於靜態聲源。
[0022]聲音檢測單元可分析右/左信號與中心聲道信號之間的高頻區域的能量比，並且當右/左信號的能量比低於中心聲道信號的能量比時，聲音檢測單元可確定音頻對象對應於非效果聲音。
[0023]聲音檢測單元可分析中心聲道信號中語音頻帶頻段與非語音頻帶頻段之間的能量比，並且可基於第二分析結果確定音頻對象是否對應於與非效果聲音相應的語音信號。
[0024]三維圖像信息可包括關於一個圖像幀中所包括的每一個圖像對象的視差值、該圖像對象的位置信息和圖像的深度圖中的至少一個。
[0025]根據示例性實施例的另一方面，提供一種處理音頻信號的方法，該方法包括:接收包括至少一個音頻對象的音頻信號和三維圖像信息；基於該三維圖像信息產生用於沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象的索引信息；並基於該索弓I信息，沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象。
[0026]產生索引信息的步驟可包括:基於所述至少一個音頻對象沿向右方向和向左方向的位置產生沿向右方向和向左方向的索引信息，通過使用最大視差值和位置信息中的至少一個估計所述位置；基於所述至少一個音頻對象沿向前方向和向後方向的深度值產生沿向前方向和向後方向的索引信息，通過使用最大視差值和最小視差值中的至少一個估計所述深度值；並基於所述至少一個音頻對象沿向上方向和向下方向的位置產生沿向上方向和向下方向的索引信息，通過使用最大視差值和位置信息中的至少一個估計所述位置。
[0027]所述處理音頻信號的方法還可包括確定所述至少一個音頻對象是否對應於圖像對象，其中，產生索引信息的步驟包括:當所述至少一個音頻對象和圖像對象彼此不對應時，產生索引信息，以便減小所述至少一個音頻對象的三維效果。
[0028]所述處理音頻信號的方法還可包括確定所述至少一個音頻對象是否對應於非效果聲音，其中，產生索引信息的步驟包括:當所述至少一個音頻對象對應於非效果聲音時，產生索引信息，以便減小所述至少一個音頻對象的三維效果。
[0029]根據又一示例性實施例，提供一種處理音頻信號的方法，該方法包括:接收與三維圖像相應的音頻信號；並基於關於該三維圖像的三維效果信息將三維效果應用於音頻信號。三維效果信息可包括關於該三維圖像的深度信息和位置信息中的至少一個。
[0030]將三維效果應用於音頻信號的步驟可包括:對音頻信號進行處理以使得用戶感覺到如同聲源的位置被改變為對應於三維圖像中所包括的對象的移動一樣。此外，將三維效果應用於音頻信號的步驟包括:基於指示三維圖像的深度、向右和向左擴展以及高度的感覺中的至少一個的索引信息，沿多個方向呈現音頻信號。
[0031]本發明的有益效果
[0032]根據示例性實施例的音頻信號處理設備可產生具有使得與圖像屏幕的三維效果中的變化相應的三維效果的音頻信號。因此，當用戶觀看預定圖像並且聽音頻時，用戶可體驗到最大三維效果。
[0033]另外，根據示例性實施例的音頻信號處理設備可產生沿六個方向具有三維效果的音頻對象，從而增大音頻信號的三維效果。
【專利附圖】
【附圖說明】
[0034]通過參照附圖詳細地描述示例性實施例，以上和其他特徵將變得更清楚，其中:
[0035]圖1是根據示例性實施例的音頻信號處理設備的框圖；
[0036]圖2是根據另一示例性實施例的音頻信號處理設備的框圖；
[0037]圖3是用於解釋根據示例性實施例的音頻信號處理設備中所使用的三維圖像信息的示圖；
[0038]圖4A和圖4B是用於解釋根據示例性實施例的音頻信號處理設備中所使用的三維圖像信息的示圖；
[0039]圖5是用於解釋根據示例性實施例的由音頻信號處理設備產生的索引信息的示圖；
[0040]圖6是根據示例性實施例的通過修改圖1的索引估計單元而獲得的索引估計單元的框圖；
[0041]圖7A至圖7C是用於解釋根據示例性實施例的非效果聲音的示圖；
[0042]圖8A至圖8C是用於解釋根據示例性實施例的效果聲音的示圖；
[0043]圖9是用於解釋根據示例性實施例的處理音頻信號的方法的流程圖；和[0044]圖10是根據示例性實施例的圖9的方法的操作920的流程圖。
【具體實施方式】
[0045]以下，將參照附圖就示例性實施例對用於處理音頻信號的方法和設備進行描述。當諸如「…中的至少一個」的表達在一列元件之後時，這些表達修飾整個元件列表，而不是修飾該列表的單個元件。
[0046]首先，為了方便描述，如下簡要地定義在此使用的術語。
[0047]圖像對象表示圖像信號中所包括的對象、或者諸如人、動物、植物、背景等的主體。
[0048]音頻對象表不音頻信號中所包括的聲音分量。各種音頻對象可包括在一個音頻信號中。例如，在通過記錄樂團演奏而產生的音頻信號中，包括從各種樂器(諸如吉他、小提琴、雙簧管等)產生的各種音頻對象。
[0049]聲源是產生音頻對象的對象(例如，樂器或人聲樂團)。在本說明書中，實際產生音頻對象的對象和識別用戶產生音頻對象的對象都表示聲源。例如，當在用戶看電影時蘋果被從屏幕扔向用戶時，在音頻信號中可包括當蘋果移動時所產生的音頻(音頻對象)。在這種情況下，當蘋果被扔向用戶時所產生的聲音本身對應於音頻對象。音頻對象可通過記錄當蘋果被扔擲時實際所產生的聲音來獲得，或者可以是先前記錄的被簡單地再現的音頻對象。然而，在任何一種情況下，用戶識別蘋果產生音頻對象，因此，蘋果可以是本說明書中所定義的聲源。
[0050]三維圖像信息包括三維地顯示圖像所需的信息。例如，三維圖像信息可包括指示圖像的深度的圖像深度信息和指示圖像對象在屏幕上的位置的位置信息中的至少一個。圖像深度信息指示圖像對象與參考位置之間的距離。參考位置可對應於顯示裝置的表面。詳細地講，圖像深度信息可包括圖像對象的視差。在這種情況下，視差是指左視點圖像與右視點圖像之間的距離，該距離對應於雙眼視差。
[0051]圖1是根據示例性實施例`的音頻信號處理設備100的框圖。
[0052]參照圖1，音頻信號處理設備100包括索引估計單元110和呈現單元150。
[0053]索引估計單元110接收作為輸入的三維圖像信息，並基於該三維圖像信息產生將應用於音頻對象的索引信息。可逐次至少一個圖像幀地輸入三維圖像信息。例如,24Hz圖像每秒包括24個幀，每秒可對24個圖像幀輸入三維圖像信息。另外，可對各個偶數個幀輸入三維圖像信息。在以上示例中，每秒可對各個12個圖像幀輸入三維圖像信息。
[0054]在這種情況下，索引信息是用於沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象的信息。當索引信息被使用時，可沿六個方向(諸如向右方向、向左方向、向上方向、向下方向、向前方向和向後方向)中的最大方向對每一個音頻對象表達三維效果。可將索引信息產生為對應於一個幀中所包括的至少一個音頻對象。另外，可將索引信息產生為與一個幀中的代表音頻對象匹配。
[0055]將參照圖3至圖5更詳細地描述索引信息。
[0056]呈現單元150基於由索引估計單元110產生的索引信息，沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象。
[0057]此外，索引估計單元110可接收與三維圖像相應的音頻信號。
[0058]並且，呈現單元150可基於關於三維圖像的三維效果信息將三維效果應用於在索引估計單元110中接收的音頻信號。
[0059]圖2是根據另一示例性實施例的音頻信號處理設備200的框圖。
[0060]參照圖2，與圖1的音頻信號處理設備100相比，音頻信號處理設備200還可包括信號提取單元280和混合單元290中的至少一個。索引估計單元210和呈現單元250分別對應於圖1的索引估計單元110和呈現單元150，因此在此將不重複它們的描述。
[0061]信號提取單元280接收作為輸入的立體聲音頻信號(Lin和Rin)，並將這些立體聲音頻信號(Lin和Rin)劃分為與右/左區域相應的右/左信號(S_R/S_L)和與中心區域相應的中心聲道信號(S_C)。然後，從立體聲音頻信號劃分的右/左信號(S_R/S_L)和中心聲道信號(S_C)被發送到呈現單元250。在這種情況下，立體聲音頻信號可包括左聲道(L-channel)音頻信號(Lin)和右聲道(R-channel)音頻信號(Rin)。
[0062]詳細地講，信號提取單元280可通過使用L-channel音頻信號(Lin)與R-channel音頻信號(Rin)之間的相干函數和相似性函數來產生中心聲道信號(S_C)，並且可產生與L-channel音頻信號(Lin)和R-channel音頻信號(Rin)相應的右/左信號(S_R/S_L)。詳細地講，可通過從立體聲音頻信號(Lin和Rin)部分地或整個地減去中心聲道信號(S_C)來產生右/左信號(S_R/S_L)。
[0063]索引估計單元210可基於三維圖像信息來產生沿向右方向和向左方向的聲音擴展(sound extension)信息、沿向前方向和向後方向的深度信息、以及沿向上方向和向下方向的高度信息中的至少一個作為索引信息。在這種情況下，聲音擴展信息、深度信息和高度信息可被產生為與音頻信號中所包括的音頻對象匹配的值。輸入到索引估計單元210以便產生索引信息的音頻信號可包括由信號提取單元280產生的右/左信號(S_R/S_L)和中心聲道信號(S_C)、以及立體聲音頻信號(Lin和Rin)中的至少一個。
[0064]輸入到索引估計單元210的三維圖像信息是用於將三維效果應用於三維幀中所包括的圖像對象的信息。詳細地講，對於每一個圖像幀，三維圖像信息可包括最大視差值、最小視差值、以及具有最大視差值或最小視差值中的至少一個的圖像對象的位置信息。另夕卜，三維圖像信息可包括圖像幀中的圖像對象(例如，主圖像對象)的視差值和該主圖像對象的位置信息中的至少一個。可替換地，三維圖像信息可包含圖像的深度圖。
[0065]當對每一個幀輸入三維圖像信息時，圖像對象的位置信息可包括關於通過將與一個幀相應的一個屏幕劃分為至少一個子幀而獲得的子幀的信息。以下將參照圖3、圖4和圖5更詳細地描述圖像對象的位置信息。
[0066]圖3是用於解釋根據示例性實施例的音頻信號處理設備中所使用的三維圖像信息的示圖。
[0067]圖3顯示與一個幀相應的屏幕300被劃分為9個子幀的情況。圖像對象的位置信息可被表示為關於所顯示的子幀的信息。例如，子幀編號(例如，I至9)可被分配給各個子幀，並且與圖像對象所在的區域相應的子幀編號可被設置為圖像對象的位置信息。
[0068]詳細地講，當圖像對象位於子幀3中時，圖像對象的位置信息可用「子幀編號=3」表示。當圖像對象位於跨子幀4、5、7和8時，圖像對象的位置信息可用「子幀編號=4，5，7，8」表不。
[0069]圖4A和圖4B是用於解釋根據示例性實施例的音頻信號處理設備中所使用的三維圖像信息的示圖。[0070]索引估計單元210接收作為輸入的與各個連續幀相應的三維圖像信息。圖4A顯示與連續幀之中的一個幀相應的圖像。圖4B顯示連續幀之中的圖4A的幀的後一幀的圖像。圖4A和圖4B顯示圖3的幀被劃分為16個子幀的情況。在圖4A和圖4B中所示的圖像屏幕410和460中，X軸指示圖像的向右方向和向左方向，y軸指示圖像的向上方向和向下方向。另外，可通過使用值「x_y」來表示子幀。例如，圖4的子幀423的位置值可用「3_3」表
/Jn ο
[0071]隨著視差增大，雙眼視差增大，因此用戶識別對象較近。隨著視差縮小，雙眼視差縮小，因此用戶識別對象較遠。例如，在二維圖像的情況下，不存在雙眼視差，因此深度值可以為O。另外，隨著對象更加靠近用戶，雙眼視差增大，因此深度值可增大。
[0072]參照圖4A，在與一個幀相應的圖像屏幕410中，最大視差值可應用於圖像對象421，應用於圖像對象421的最大視差值可包括在三維圖像信息中。另外，指示子幀423的位置的信息可包括在三維圖像信息中，指示子幀423的位置的信息是具有最大視差值的圖像對象421的位置信息，例如，「子幀編號=3_3」。
[0073]參照圖4B，可在圖像屏幕410被顯示之後的時間點顯示圖像屏幕460。
[0074]在與後一幀相應的圖像屏幕460中，最大視差值可應用於圖像對象471，應用於圖像對象471的最大視差值可包括在三維圖像信息中。另外，指示子幀473的信息可包括在三維圖像信息中，指示子幀473的信息是具有最大視差值的圖像對象471的位置信息，例如，「子幀編號=2_2，2_3，3_2，3_3」。
[0075]圖4A中所示的圖像對象421可在後一時間點顯示為圖像對象471。也就是說，用戶可通過連續顯示的圖像屏幕410和460觀看到移動車輛的圖像。因為作為圖像對象471的車輛在移動時產生聲音，所以作為圖像對象471的車輛可以是聲源。另外，當車輛移動時所產生的聲音可對應於音頻對象。
[0076]索引估計單元210可基於輸入的三維圖像信息產生與音頻對象相應的索引信息。以下將參照圖5詳細描述索引信息。
[0077]圖5是用於解釋根據示例性實施例的由音頻信號處理設備產生的索引信息的示圖。
[0078]索引信息可包括聲音擴展信息、深度信息和高度信息中的至少一個。聲音擴展信息是用於沿圖像屏幕的向右方向和向左方向將三維效果應用於音頻對象的信息。深度信息是用於沿圖像屏幕的向前方向和向後方向將三維效果應用於音頻對象的信息。另外，高度信息是用於沿圖像屏幕的向上方向和向下方向將三維效果應用於音頻對象的信息。詳細地講，向右方向和向左方向可對應於X軸方向，向上方向和向下方向可對應於Y軸方向，向前方向和向後方向可對應於Z軸方向。
[0079]圖5中所示的圖像屏幕500對應於圖4A中所示的圖像屏幕410。另外，虛線所指示的圖像對象530對應於圖4B中所示的圖像對象471。像圖4A、圖4B和圖5中所示的情況下那樣，當車輛在移動時產生聲音時，一個幀中的音頻對象對應於圖像對象510。以下，將詳細地描述當音頻對象對應於圖像對象時產生索引信息的操作。
[0080]可基於音頻對象沿向右方向和向左方向的位置獲得聲音擴展信息，通過使用三維圖像信息中所包括的最大視差值和圖像對象的位置信息來估計該位置。
[0081]詳細地講，當三維圖像信息包括圖像對象510的最大視差值和位置信息時，索引估計單元210可通過使用三維圖像信息來估計與圖像對象510相應的音頻對象沿向右方向和向左方向的位置。然後，可產生聲音擴展信息，以便產生在所估計的位置處被識別的音頻對象。例如，因為圖像對象510沿向右方向和向左方向的位置是點Xl，所以可產生聲音擴展信息以便在點Xl處產生音頻對象。另外，可考慮圖像對象510的最大視差值來確定圖像對象510位於離用戶有多近。因此，可產生聲音擴展信息，以使得隨著圖像對象510更加靠近用戶，音頻輸出或聲音增大。
[0082]如圖5中所示，當與音頻對象相應的圖像對象510在圖像屏幕500的右邊時，索引估計單元210可產生聲音擴展信息，以使得與左聲道的信號相比，右聲道的信號可被放大和輸出。
[0083]可基於音頻對象沿向前方向和向後方向的深度值獲得深度信息，通過使用三維圖像信息中所包括的最大或最小視差值估計該深度值。
[0084]索引估計單元210可將音頻對象的深度值設置為與圖像對象的深度值成比例。
[0085]詳細地講，當三維圖像信息包括圖像對象510的最大或最小視差值時，索引估計單元210可通過使用該三維圖像信息來估計深度信息，即，與圖像對象510相應的音頻對象的深度。另外，可產生深度信息，以便根據音頻對象的所估計的深度來增大音頻輸出或聲
曰?
[0086]可基於與圖像對象510相應的音頻對象沿向上方向和向下方向的位置獲得高度信息，通過使用三維圖像信息中所包括的最大視差值和位置信息來估計該位置。
[0087]詳細地講，當三維圖像信息包括圖像對象510的最大視差值和位置信息時，索引估計單元210可通過使用該三維圖像信息來估計與圖像對象510相應的音頻對象沿向上方向和向下方向的位置。另外，可產生高度信息，以便產生在所估計的位置處被識別的音頻對象。`
[0088]例如，因為圖像對象510沿向上方向和向下方向的位置是點Y1，所以可產生高度信息，以便在點Yl處產生音頻對象。另外，可考慮圖像對象510的最大視差值來確定圖像對象510位於離用戶有多近。因此，可產生高度信息，以使得隨著圖像對象510更加靠近用戶，音頻輸出或聲音增大。
[0089]對於右/左信號(S_R/S_L)和中心聲道信號(5_0中的每個，呈現單元250可將三維效果應用於音頻信號中所包括的音頻對象。詳細地講，呈現單元250可包括高度呈現單元251以及平移(panning)和深度控制單元253。
[0090]呈現單元250可基於由索引估計單元210產生的索引信息來產生包括音頻對象的音頻信號，以便將音頻對象定向到預定高度。詳細地講，呈現單元250可基於索引信息中所包括的高度信息來產生音頻信號，以便根據音頻對象沿向上方向和向下方向的位置再現虛構的高度的感覺。
[0091]例如，當與音頻對象相應的圖像對象位於上側部分時，呈現單元250可再現直到上側部分的高度感。另外，當與音頻對象相應的圖像對象位於下側部分時，呈現單元250可再現直到下側部分的高度感。當圖像對象連續地從圖像屏幕的中間部分移動到上側部分時，呈現單元250也可在圖像屏幕的下側部分上方再現虛構的高度感，以便強調高度感。
[0092]為了再現虛構的高度感，呈現單元250可通過使用頭相關傳輸函數(HRTF)來呈現音頻信號。[0093]平移和深度控制單元253可基於由索引估計單元210產生的索引信息來產生包括音頻對象的音頻信號，以便將該音頻對象定向到預定點並且具有預定深度。詳細地講，平移和深度控制單元253可產生音頻信號，以使得沿向右方向和向左方向位於預定位置的用戶可基於索引信息中所包括的聲音擴展信息和深度信息來識別與深度值相應的音頻輸出或聲音。
[0094]例如，當與圖像對象510相應的音頻對象的深度值高時，聲音位於靠近用戶。因此，在上述示例中，平移和深度控制單元253可增大音頻輸出。當與圖像對象510相應的音頻對象的深度值低時，聲音遠離用戶。因此，在上述示例中，平移和深度控制單元253可調整音頻信號的早期反射或混響，以使得用戶可識別從遠處產生的聲音。
[0095]當平移和深度控制單元253基於聲音擴展信息確定與圖像對象相應的音頻對象在圖像屏幕500的右邊或左邊時，平移和深度控制單元253可呈現音頻信號，以使得左聲道的信號或右聲道的信號可被放大和輸出。
[0096]參照圖5，包括圖像對象530的另一幀被作為包括圖像對象510的一個幀的後一幀輸出。響應於此，呈現單元250呈現與連續音頻幀相應的音頻信號。在圖5中，與圖像對象510和530相應的車輛從圖像屏幕500的右上部分移動到左下部分，相應地，音頻對象也可從右上部分移動到左下部分。對於每一個幀，呈現單元250可沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向將三維效果應用於音頻對象。因此，用戶可識別當車輛沿方向512上從上側部分移動到下側部分時所產生的聲音、當車輛沿方向511從向右部分移動到向左部分時所產生的聲音、以及當車輛向前移動時所產生的聲音。
[0097]圖6是根據示例性實施例的通過修改圖1的索引估計單元110而獲得的索引估計單元610的示圖。圖6的索引估計單元610可對應於圖1的索引估計單元110或圖2的索引估計單元210，因此在此將不重複它的描述。因此，在當音頻對象和圖像對象彼此不對應時的情況和當音頻對象對應於非效果聲音時的情況之中的至少一種情況下，索引估計單元610可產生索引信息，以便減小音頻對象的三維效果。
[0098]詳細地講，音頻對象不對應於圖像對象的情況對應於圖像對象不產生任何聲音的情況。像在圖4A、圖4B和圖5中所示的示例中那樣，當圖像對象是車輛時，圖像對象對應於產生聲音的音頻對象。另舉一例，在一個人揮動他或她的手的圖像中，圖像對象對應於手。然而，因為當一個人揮動他或她的手時不產生聲音，所以圖像對象不對應於音頻對象，索引估計單元610產生索引信息，以便最小化音頻對象的三維效果。詳細地講，深度信息的深度值可被設置為基本偏移值，聲音擴展信息可被設置為使得從右聲道和左聲道輸出的音頻信號可具有相同的振幅。另外，高度信息可被設置為使得在不考慮上側部分和下側部分的位置的情況下可輸出與預定偏移高度相應的音頻信號。
[0099]當音頻對象是非效果聲音時，可使用像在音頻對象的位置幾乎不變的情況下的靜態聲源。例如，人的語音、固定位置處的鋼琴聲音、背景聲音等是靜態聲源，聲源的位置沒有顯著變化。因此，對於非效果聲音，可產生索引信息，以便最小化三維效果。將參照圖7和圖8詳細地描述非效果聲音和效果聲音。
[0100]參照圖6，索引估計單元210可包括聲源檢測單元620、比較單元630和索引產生單元640。
[0101]聲源檢測單元620可接收作為輸入音頻信號的立體聲音頻信號(Lin和Rin)、以及右/左信號(S_R/S_L)和中心聲道信號(S_C)中的至少一個,可分析輸入音頻信號的方向角度或方向矢量以及用於每一個頻段的能量中的至少一個，並且可基於分析結果區分效果聲音和非效果聲音。
[0102]比較單元630確定音頻對象和圖像對象是否彼此對應。
[0103]在當音頻對象和圖像對象彼此不對應時的情況和當音頻對象是非效果聲音時的情況之中的至少一個情況下，索引產生單元640產生索引信息，以便減小或最小化音頻對象的三維效果。
[0104]圖7A至圖7C是用於解釋根據不例性實施例的非效果聲音的不圖。圖7A是用於解釋產生非效果聲音的音頻對象、以及與該音頻對象相應的平移角度和全局角度(globalangle)的示圖。圖7B是顯示隨著時間流逝的與非效果聲音相應的音頻信號的波形變化的示圖。圖7C是顯示根據幀號的非效果聲音的全局角度變化的示圖。
[0105]參照圖7A，非效果聲音的示例可包括人732的語音、樂器722和726的聲音等。
[0106]以下，產生非效果聲音的方向的角度可被稱為平移角度。另外，非效果聲音收斂的角度可被稱為全局角度。參照圖7A，當聲源是從樂器722和726產生的音樂時，全局角度收斂到中心點C。也就是說，當用戶收聽作為樂器722的吉他的聲音時，用戶識別具有沿方向721從中心點C形成的平移角度的靜態聲源。另外，當用戶收聽作為樂器726的鋼琴的聲音時，用戶識別具有沿方向725從中心點C形成的平移角度的靜態聲源。
[0107]可通過使用包括音頻對象的音頻信號的方向矢量來估計聲源的平移角度和全局角度。平移角度和全局角度可由以下將描述的角度跟蹤單元621或音頻信號處理設備100或200的控制器(未顯示)來估計。關於非效果聲音，平移角度的變化和全局角度的變化小。
[0108]參照圖7B，x軸指示音頻信號的採樣編號，y軸指示音頻信號的波形。關於非效果聲音，音頻信號的振幅可在預定時間段內根據從樂器輸出的聲音的強度減小或增大。區域751可對應於當儀器輸出具有高強度的聲音時的音頻信號的波形。
[0109]參照圖7C，X軸指示音頻信號的採樣編號，y軸指示全局角度。參照圖7C，非效果聲音(諸如儀器的聲音或語音)的全局角度的變化小。也就是說，因為聲源是靜態的，所以用戶可識別不顯著移動的音頻對象。
[0110]圖8A至圖8C是用於解釋根據示例性實施例的效果聲音的示圖。圖8A是用於解釋產生效果聲音的音頻對象、以及與該音頻對象相應的平移角度和全局角度的示圖。圖8B是顯示隨著時間流逝的與效果聲音相應的音頻信號的波形變化的示圖。圖8C是顯示根據幀號的效果聲音的全局角度變化的示圖。
[0111]參照圖8A，效果聲音的示例可以是當音頻對象連續地移動時所產生的聲音。例如，效果聲音可以是在位於點811處的飛機沿預定方向813移動到點812時所產生的聲音。也就是說，效果聲音的示例可包括在音頻對象(諸如飛機、車輛等)移動時所產生的聲音。
[0112]參照圖8A,關於效果聲音(諸如在飛機移動時所產生的聲音),全局角度沿方向813移動。也就是說，關於效果聲音，全局角度朝著右側周邊和左側周邊移動，而不是朝著預定中心點移動。因此，當用戶收聽效果聲音時，用戶識別沿向右方向和向左方向移動的動態源。
[0113]參照圖SB，X軸指示音頻信號的採樣編號，y軸指示該音頻信號的波形。關於效果聲音，所產生的聲音的強度的變化小，音頻信號的振幅的變化實時地發生。也就是說，與圖7B中不同，不存在振幅全部增大或減小的時間段。
[0114]參照圖8C，X軸指示音頻信號的採樣編號，y軸指示全局角度。參照圖8C，效果聲音的全局角度的變化大。也就是說，因為聲源是動態的，所以用戶可識別移動的音頻對象。
[0115]詳細地講，聲源檢測單元620可接收作為輸入的立體聲音頻信號(Lin和Rin)，可跟蹤這些立體聲音頻信號(Lin和Rin)中所包括的音頻對象的方向角度，並且可基於跟蹤結果區分效果聲音和非效果聲音。在這種情況下，方向角度可以是上述全局角度、上述平移角度等。
[0116]詳細地講，聲源檢測單元620可包括角度跟蹤單元621和靜態源檢測單元623。
[0117]角度跟蹤單元621跟蹤連續音頻幀中所包括的音頻對象的方向角度。在這種情況下，方向角度可包括上述全局角度、上述平移角度以及前后角度中的至少一個。另外，跟蹤結果可被發送到靜態源檢測單元623。
[0118]詳細地講，角度跟蹤單元621可根據立體聲音頻信號中的L-channel的立體聲音頻信號與R-channel的立體聲音頻信號之間的能量比來跟蹤沿向右方向和向左方向的方向角度。另外，角度跟蹤單元621可根據右/左信號(S_R/S_L)與中心聲道信號(S_C)的能量比來跟蹤前后角度，前后角度是沿前後方向的方向角度。
[0119]靜態源檢測單元623可基於角度跟蹤單元621的跟蹤結果來區分非效果聲音和效
果聲音。
[0120]詳細地講，當如圖7A中所示角度跟蹤單元621跟蹤的方向角度收斂到中心點C時，或者當方向角度的變化等於或小於預定值時，靜態源檢測單元623可確定音頻對象可對應於非效果聲音。
[0121]另外，當如圖8A中所示角度跟蹤單元621跟蹤的方向角度沿向右方向和向左方向收斂時，或者當方向角度的變化等於或大於預定值時，靜態源檢測單元623可確定音頻對象可對應於效果聲音。
[0122]靜態源檢測單元623可分析右/左信號(S_R/S_L)與中心聲道信號(S_C)之間的高頻區域的能量比。然後，當右/左信號(S_R/S_L)的能量比低於中心聲道信號(S_C)的能量比時，靜態源檢測單元623可確定音頻對象可對應於非效果聲音。另外，當右/左信號(S_R/S_L)的能量比高於中心聲道信號(S_C)的能量比時，靜態源檢測單元623可確定音頻對象沿向右方向或向左方向移動，因此，靜態源檢測單元623可確定音頻對象可對應於效果聲音。
[0123]靜態源檢測單元623可分析中心聲道信號(S_C)中的語音頻帶頻段(frequencyperiod)與非語音頻帶頻段之間的能量比，並且可基於分析結果確定音頻對象是否對應於與非效果聲音相應的語音信號。
[0124]比較單元630根據角度跟蹤單元621獲得的方向來確定音頻對象的向右或向左位置。然後，比較單元630將音頻對象的位置與三維圖像信息中所包括的圖像對象的位置信息進行比較，並確定該位置是否對應於位置信息。比較單元630將關於圖像對象的位置是否對應於音頻對象的位置的信息發送到索引產生單元640。
[0125]索引產生單元640根據從聲源檢測單元620和比較單元630發送的結果來產生索引信息，以便在當音頻對象是效果聲音時的情況和當圖像對象和音頻對象彼此對應時的情況之中的至少一種情況下，增大沿上述六個方向施加於音頻對象的三維效果。另外，在當音頻對象是非效果聲音時的情況和當圖像對象和音頻對象彼此不對應時的情況之中的至少一種情況下，索引產生單元640不將三維效果應用於音頻對象，或者產生索引信息以便根據基本偏移值應用三維效果。
[0126]如上所述，根據示例性實施例的音頻信號處理設備可產生具有使得與圖像屏幕的三維效果中的變化相應的三維效果的音頻信號。因此，當用戶觀看預定圖像並聽音頻時，用戶可體驗到最大三維效果。
[0127]另外，根據示例性實施例的音頻信號處理設備可產生沿六個方向具有三維效果的音頻對象，從而增大音頻信號的三維效果。
[0128]圖9是用於解釋根據示例性實施例的處理音頻信號的方法的流程圖。根據本示例性實施例的方法900的一些操作與參照圖1至圖8描述的音頻信號處理設備的操作相同，因此在此將不重複它們的描述。另外，將參照圖1、圖2和圖6的音頻信號處理設備描述根據本示例性實施例的方法。
[0129]根據本示例性實施例的方法900可包括接收作為輸入的包括至少一個音頻對象的音頻信號和三維圖像信息(操作910)。操作910可由索引估計單元110和210執行。
[0130]在操作910中，基於輸入的三維圖像信息產生用於沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象的索引信息(操作920)。操作920可由索引估計單元110和210執行。
[0131]基於關於三維圖像的三維效果信息，將三維效果應用於音頻信號。詳細地講，基於在操作920中產生的索引信息，沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象(操作930)。操作930可由呈現單元150和250執行。
[0132]詳細地講，當再現音頻信號時，可將三維效果應用於音頻信號，以使得用戶可感覺到如同聲源的位置被改變為對應於三維圖像中所包括的對象的移動一樣。
[0133]圖10是根據示例性實施例的圖9的方法的操作920的流程圖。操作920對應於圖10的操作1020。以下,操作1020將被稱為呈現音頻信號的操作。
[0134]操作1020 包括操作 1021、1022 和 1023。
[0135]詳細地講，確定當前情況是否對應於當音頻對象和圖像對象彼此不對應時的情況和當音頻對象對應於非效果聲音時的情況之中的至少一種情況(操作1021)。操作1021可由索引估計單元110、210和610執行，更具體地講，可由聲源檢測單元620和比較單元630中的至少一個執行。
[0136]作為操作1021中的確定結果，噹噹前情況對應於上述情況中的至少一種情況時，可產生索引信息，以便減小音頻對象的三維效果(操作1022)。操作1021可由索引估計單元110,210和610執行，更具體地講，可由索引產生單元640執行。
[0137]作為操作1021中的確定結果，噹噹前情況不對應於上述情況中的至少一種情況時，可產生索引信息，以使得音頻對象可沿上述六個方向中的至少一個方向具有三維效果(操作1023)。操作1023可由索引估計單元110、210和610執行，更具體地講，可由索引產生單元640執行。
[0138]儘管已經參照本發明的示例性實施例具體顯示並描述了示例性實施例，但是本領域的普通技術人員將理解，可以在不脫離由權利要求書限定的示例性實施例的精神和範圍的情況下在這些示例性實施例中進行形式和細節上的各種改變。
【權利要求】
1.一種音頻信號處理設備，包括: 索引估計單元，接收三維圖像信息，並基於三維圖像信息產生用於沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象的索引信息；和 呈現單元，基於索引信息沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於音頻對象。
2.根據權利要求1所述的音頻信號處理設備，其中，索引估計單元產生索引信息，所述索引信息包括沿向右方向和向左方向的聲音擴展信息、沿向前方向和向後方向的深度信息、以及沿向上方向和向下方向的高度信息。
3.根據權利要求1所述的音頻信號處理設備，其中，三維圖像信息對於每一個圖像幀包括最小視差值、最大視差值、以及具有最大視差值和最小視差值中的至少一個的圖像對象的位置信息中的至少一個。
4.根據權利要求3所述的音頻信號處理設備，其中，當對於每一個幀輸入三維圖像信息時，圖像對象的位置信息包括關於通過將與一個幀相應的一個屏幕劃分為至少一個子幀而獲得的子幀的信息。
5.根據權利要求4所述的音頻信號處理設備，其中，基於音頻對象沿向右方向和向左方向的位置獲得聲音擴展信息，其中，通過使用最大視差值和所述位置信息中的至少一個估計所述位置。
6.根據權利要求4所述的音頻信號處理設備，其中，基於音頻對象沿向前方向和向後方向的深度值獲得深度信息，其中，通過使用最大視差值和最小視差值中的至少一個估計所述深度值。
7.根據權利要求4所述·的音頻信號處理設備，其中，基於音頻對象沿向上方向和向下方向的位置獲得高度信息，其中，通過使用最大視差值和所述位置信息中的至少一個估計所述位置。
8.根據權利要求1所述的音頻信號處理設備，其中，在當音頻對象和圖像對象彼此不對應時的情況和當音頻對象對應於非效果聲音時的情況之中的至少一種情況下，索引估計單元產生索引信息，以便減小音頻對象的三維效果。
9.根據權利要求1所述的音頻信號處理設備，還包括:信號提取單元，接收立體聲音頻信號，提取立體聲音頻信號中的右/左信號和中心聲道信號，並將提取的信號發送到呈現單元。
10.根據權利要求9所述的音頻信號處理設備，其中，索引估計單元包括: 聲源檢測單元，接收作為音頻信號的立體聲音頻信號、右/左信號和中心聲道信號中的至少一個，分析輸入音頻信號的方向角度和用於每一個頻段的能量中的至少一個，並基於第一分析結果區分效果聲音和非效果聲音； 比較單元,確定音頻對象是否對應於圖像對象；和 索引產生單元，在當圖像對象和音頻對象彼此不對應時的情況和當音頻對象對應於非效果聲音時的情況之中的至少一種情況下，產生索引信息，以便減小音頻對象的三維效果。
11.根據權利要求10所述的音頻信號處理設備，其中，聲源檢測單元接收立體聲音頻信號、右/左信號和中心聲道信號中的至少一個，跟蹤立體聲音頻信號中包括的音頻對象的方向角度，並基於跟蹤結果區分效果聲音和非效果聲音。
12.根據權利要求11所述的音頻信號處理設備，其中，當方向角度的變化等於或大於預定值時，或者當方向角度沿向右方向和向左方向收斂時，聲音檢測單元確定音頻對象對應於效果聲音。
13.根據權利要求11所述的音頻信號處理設備，其中，當方向角度的變化等於或小於預定值時，或者當方向角度收斂到中心點時，聲音檢測單元確定音頻對象對應於靜態聲源。
14.根據權利要求10所述的音頻信號處理設備，其中，聲音檢測單元分析右/左信號與中心聲道信號之間的高頻區域的能量比，並且當右/左信號的能量比低於中心聲道信號的能量比時，聲音檢測單元確定音頻對象對應於非效果聲音。
15.根據權利要求10所述的音頻信號處理設備，其中，聲音檢測單元分析中心聲道信號中的語音頻段與非語音頻段之間的能量比，並基於第二分析結果確定音頻對象是否對應於與非效果聲音相應的語音信號。
16.根據權利要求1所述的音頻信號處理設備，其中，三維圖像信息包括關於一個圖像幀中包括的圖像對象的視差值、圖像對象的位置信息、以及圖像的深度圖中的至少一個。
17.—種處理音頻信號的方法，所述方法包括: 接收包括至少一個音頻對象的音頻信號和三維圖像信息； 基於三維圖像信息產生用於沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於所述至少一個音頻對象的索引信息；和 基於索引信息，沿向右方向、向左方向、向上方向、向下方向、向前方向和向後方向中的至少一個方向將三維效果應用於所述至少一個音頻對象。·
18.根據權利要求17所述的方法,其中，索引信息包括沿向右方向和向左方向的聲音擴展信息、沿向前方向和向後方向的深度信息、以及沿向上方向和向下方向的高度信息。
19.根據權利要求18所述的方法，其中，產生索引信息的步驟包括: 基於所述至少一個音頻對象沿向右方向和向左方向的位置產生沿向右方向和向左方向的索引信息，其中，通過使用最大視差值和位置信息中的至少一個估計所述位置； 基於所述至少一個音頻對象沿向前方向和向後方向的深度值產生沿向前方向和向後方向的索引信息，其中，通過使用最大視差值和最小視差值中的至少一個估計所述深度值；和 基於所述至少一個音頻對象沿向上方向和向下方向的位置產生沿向上方向和向下方向的索引信息，其中，通過使用最大視差值和位置信息中的至少一個估計所述位置。
20.根據權利要求17所述的方法，還包括確定所述至少一個音頻對象是否對應於圖像對象， 其中，產生索引信息的步驟包括:當所述至少一個音頻對象和圖像對象彼此不對應時，產生索引信息，以便減小所述至少一個音頻對象的三維效果。
21.根據權利要求17所述的方法，還包括確定所述至少一個音頻對象是否對應於非效果聲音， 其中，產生索引信息的步驟包括:當所述至少一個音頻對象對應於非效果聲音時，產生索引信息，以便減小所述至少一個音頻對象的三維效果。
22.一種處理音頻信號的方法，所述方法包括:接收與三維圖像相應的音頻信號；和 基於關於所述三維圖像的三維效果信息將三維效果應用於所述音頻信號。
23.根據權利要求22所述的方法，其中，三維效果信息包括關於所述三維圖像的深度信息和位置信息中的至少一個。
24.根據權利要求22所述的方法，其中，將三維效果應用於所述音頻信號的步驟包括:對所述音頻信號進行處理，以使得用戶感覺到如同聲源的位置被改變為對應於所述三維圖像中包括的對象的移動一樣。
25.根據權利要求22所述的方法，其中，將三維效果應用於所述音頻信號的步驟包括:基於指示所述三維圖像的深度、向右和向左擴展、以及高度的感覺中的至少一個的索引信息，沿多個方向呈現所述音頻信號。`
【文檔編號】H04S5/00GK103858447SQ201280048236
【公開日】2014年6月11日 申請日期:2012年7月26日 優先權日:2011年7月29日
【發明者】金善民, 李英宇, 李允宰 申請人:三星電子株式會社