處理音頻信號的方法和音頻設備的製作方法

2023-06-08 18:27:16

處理音頻信號的方法和音頻設備的製作方法
【專利摘要】本發明公開了一種處理音頻信號的方法和音頻設備。提供一種音頻設備以及處理音頻設備的音頻信號的方法。所述方法包括：接收主音頻和交互音頻；利用用戶的位置信息、交互音頻的聲源位置信息和揚聲器位置信息對交互音頻進行平移；根據主音頻的空間特性渲染平移的交互音頻；將渲染的交互音頻和主音頻混合併輸出，以向用戶提供更有現場感的交互音頻。
【專利說明】處理音頻信號的方法和音頻設備
[0001]本申請要求2012年12月5日提交到韓國知識產權局的韓國專利申請第10-2012-0140581號的優先權，其公開通過引用被全部合併於此。
【技術領域】
[0002]本發明總的發明構思總體涉及提供音頻設備、處理音頻信號的方法以及存儲執行該方法的程序的計算機可讀記錄介質，更具體地講，涉及提供這樣一種音頻設備、處理音頻信號的方法以及存儲執行該方法的程序的計算機可讀記錄介質，其中，如果多媒體內容被播放，則所述音頻設備響應於用戶的控制提供交互音頻。
【背景技術】
[0003]傳統音頻設備單方地將存儲在多媒體內容中的音頻提供給用戶。然而，最近的音頻設備提供存儲在多媒體內容中的主音頻以及響應於用戶的輸入而產生的交互音頻。
[0004]例如，在遊戲內容的情況下，音頻設備提供在產生遊戲內容時存儲的主音頻(例如，背景音樂)以及響應於用戶控制而產生的交互音頻。
[0005]然而，現有音頻設備不考慮實現主音頻的空間的特性而提供交互音頻。例如，在射擊遊戲內容的情況下，作為交互音頻的槍炮聲根據實現主音頻的空間(如，室內或室外空間)而變得不同。然而，現有音頻設備不考慮實現主音頻的空間而提供槍炮聲。因此，由於不考慮主音頻而提供交互音頻，提供給用戶的交互音頻不真實，現場感較差。
[0006]另外，現有音頻設備不考慮揚聲器的位置和用戶的位置而提供交互音頻。因此，由於揚聲器和用戶的位置中的至少一個改變，導致提供給用戶的交互音頻不真實，現場感較差。

【發明內容】

[0007]本發明總的發明構思的示例性實施例至少解決上述問題和/或缺點以及上面沒有描述的其他缺點。另外，不要求本發明總的發明構思的示例性實施例克服上述缺點，本發明總的發明構思的示例性實施例可不克服上述任何問題。
[0008]本發明總的發明構思的另外的特徵和效用將部分地在下面的描述中闡述，並且從所述描述中這部分將明顯，或者可通過總的發明構思的實踐被了解。
[0009]本發明總的發明構思的上述和/或其他特徵和效用通過提供一種音頻設備、處理音頻信號的方法以及存儲執行該方法的程序的計算機可讀記錄介質來實現，其中，所述音頻設備包括根據用戶的位置、揚聲器的位置以及實現音頻的空間的特性的交互音頻，以便提供具有聞現場感的交互首頻。
[0010]本發明總的發明構思的上述和/或其他特徵和效用還可通過提供一種處理音頻設備的音頻信號的方法來實現。所述方法可包括:接收主音頻和交互音頻；利用用戶的位置信息、交互音頻的聲源位置信息和揚聲器位置信息對交互音頻進行平移；根據主音頻的空間特性渲染平移的交互音頻；將渲染的交互音頻和主音頻混合併輸出。[0011]如果音頻設備被實現為輸出具有不同仰角元素的多個聲道的多個揚聲器，則可將交互音頻平移到具有仰角元素的3維(3D)空間中。
[0012]對交互音頻進行平移的步驟可包括:感測用戶的位置信息；利用感測到的用戶的位置信息以及交互音頻的聲源的位置基於用戶位置確定交互音頻的聲源的相對位置信息；利用感測到的用戶的位置信息以及揚聲器位置信息基於用戶位置分析聲源的平移係數；根據交互音頻的聲源的相對位置信息基於聲源的平移係數將交互音頻平移到具有仰角分量的3D空間中。
[0013]如果音頻設備被實現為輸出具有相同仰角元素的多個聲道的多個揚聲器，則可將交互音頻平移為具有虛擬仰角分量。
[0014]當接收主音頻和交互音頻時，可一起接收主音頻的空間信息。可利用主音頻的空間信息渲染平移的交互音頻。
[0015]主音頻的空間信息可以是脈衝響應或傳遞函數。
[0016]可根據通過分析主音頻確定的主音頻的空間特性渲染平移的交互音頻。
[0017]本發明總的發明構思的上述和/或其他特徵和效用還可通過提供一種音頻設備來實現，所述音頻設備包括:輸入裝置，接收主音頻和交互音頻；平移裝置，利用用戶的位置信息、交互音頻的聲源的位置信息和揚聲器位置信息對交互音頻進行平移；渲染器，根據主音頻的空間特性渲染平移的交互音頻；輸出裝置，將渲染的交互音頻和主音頻混合併輸出。
[0018]如果音頻設備被實現為輸出具有不同仰角元素的多個聲道的多個揚聲器，則平移裝置可將交互音頻平移到具有仰角元素的3D空間中。
[0019]所述平移裝置可包括:用戶位置傳感器，感測用戶的位置信息；相對位置信息確定器，利用由用戶位置傳感器感測的用戶的位置信息以及交互音頻的聲源的位置基於用戶位置確定交互音頻的聲源的相對位置信息；平移係數分析器，利用用戶的位置信息以及揚聲器位置信息基於用戶位置分析聲源的平移係數；3D平移裝置，根據交互音頻的聲源的相對位置信息基於聲源的平移係數將交互音頻平移到具有仰角分量的3D空間中。
[0020]如果音頻設備被實現為輸出具有相同仰角元素的多個聲道的多個揚聲器，則平移裝置可對交互音頻進行平移以使得交互音頻具有虛擬仰角分量。
[0021]輸入裝置可接收主音頻的空間信息。渲染器可利用輸入的主音頻的空間信息渲染平移的交互音頻。
[0022]主音頻的空間信息可以是脈衝響應或傳遞函數。
[0023]所述渲染器可包括:空間特性確定器，分析主音頻以確定主音頻的空間特性。渲染器可根據由空間特性確定器確定的主音頻的空間特性渲染平移的交互音頻。
[0024]本發明總的發明構思的上述和/或其他特徵和效用還可通過提供一種存儲執行所述方法的程序的計算機可讀記錄介質來實現。
[0025]本發明總的發明構思的上述和/或其他特徵和效用還可通過提供一種音頻設備來實現，所述音頻設備包括:平移裝置，基於用戶位置利用聲源的相對位置信息和平移係數表將交互音頻平移到三維(3D)空間中；渲染裝置，利用主音頻的空間信息渲染平移的交互音頻；輸出裝置，將渲染的交互音頻和主音頻混合併輸出。
[0026]所述音頻設備還可包括:輸入裝置，接收主音頻和交互音頻，將主音頻發送給渲染裝置和輸出裝置，將交互音頻發送給平移裝置。
[0027]所述渲染裝置可包括:存儲裝置，接收並存儲主音頻的空間信息；聲場渲染裝置，利用存儲在所述存儲裝置中的主音頻的空間信息渲染交互音頻。
[0028]所述渲染裝置可包括:空間特性確定裝置，分析主音頻的空間特性以確定主音頻的空間信息，基於確定的主音頻的空間信息產生環境指數或與環境指數相應的脈衝響應；聲場渲染裝置，反映主音頻的空間信息以渲染平移的交互音頻。
[0029]本發明總的發明構思的上述和/或其他特徵和效用還可通過提供一種處理音頻信號的方法來實現，所述方法包括:基於用戶位置利用聲源的相對位置信息和平移係數表將交互音頻平移到三維(3D)空間；利用主音頻的空間信息渲染平移的交互音頻；將渲染的交互音頻和主音頻混合併輸出。
【專利附圖】

【附圖說明】
[0030]通過下面結合附圖對實施例進行的描述，本發明總的發明構思的這些和/或其他特徵和效用將變得明顯並更容易理解，其中:
[0031]圖1是示出根據本發明總的發明構思的示例性實施例的音頻設備的結構的示意性框圖；
[0032]圖2是示出根據本發明總的發明構思的示例性實施例的平移(panning)裝置的結構的框圖；
[0033]圖3是示出根據本發明總的發明構思的示例性實施例的渲染器的結構的框圖；
[0034]圖4是示出根據本發明總的發明構思的另一示例性實施例的渲染器的框圖；
[0035]圖5是示出根據本發明總的發明構思的示例性實施例的處理音頻信號的方法的流程圖。
【具體實施方式】
[0036]現在將詳細參照本發明總的發明構思的實施例，其示例示出於附圖中，在附圖中，相同標號始終指代相同元件。下面在參照附圖的同時描述實施例以解釋本發明總的發明構思。
[0037]在下面的描述中，即使在不同的圖中，相同的元件也使用相同的附圖標號。提供描述中定義的諸如詳細構造和元件的內容以幫助全面理解本發明總的發明構思的示例性實施例。因此，明顯的是，本發明總的發明構思的示例性實施例可在沒有那些具體定義的內容的情況下實施。另外，不詳細描述公知功能或構造，因為它們將在不必要的細節方面使本發明總的發明構思的示例性實施例模糊。
[0038]圖1是示出根據本發明總的發明構思的示例性實施例的音頻設備100的結構的示意性框圖。參照圖1，音頻設備100包括輸入裝置110、平移裝置120、渲染器130和輸出裝置 140。
[0039]輸入裝置110接收主音頻和交互音頻。這裡，主音頻可以是在執行多媒體內容時不考慮用戶命令而輸出的音頻，交互音頻可以是在執行多媒體內容時響應於用戶輸入而輸出的音頻。例如，如果多媒體內容是遊戲內容，則主音頻可以是在玩遊戲時輸出的背景音樂，交互音頻可以是響應於用戶輸入而輸出的聲音效果(如，槍炮聲等)。在接收到主音頻和交互音頻之後，輸入裝置Iio將主音頻發送給渲染器130和輸出裝置140，並將交互音頻發送給平移裝置140。
[0040]平移裝置120利用用戶的位置信息、交互音頻的揚聲器位置信息和聲源位置信息來對通過輸入裝置110輸入的交互音頻進行平移。這裡，如果音頻設備100被實現為輸出具有不同仰角(elevation)元素的多個聲道的多個揚聲器，則平移裝置120將交互音頻平移到具有高水平分量的3維(3D)空間中。
[0041]現在將參照圖2更詳細地描述平移裝置120。參照圖2，平移裝置120包括相對位置信息確定器121、平移係數分析器123和3D平移裝置125。如圖2所示，平移裝置120接收交互音頻數據、交互音頻的聲源位置信息、用戶位置信息和揚聲器位置信息。平移裝置120通過輸入裝置110接收交互音頻數據和交互音頻的聲源位置信息。平移裝置120通過用戶位置傳感器127獲取用戶位置信息。這裡，用戶位置傳感器通過各種類型的感測裝置(如，相機、紅外傳感器等)獲取用戶位置信息。平移裝置120從存儲裝置(未示出)接收揚聲器位置信息。
[0042]相對位置信息確定器121利用交互音頻的聲源的位置信息和用戶位置信息基於用戶位置確定交互音頻的聲源的相對位置信息。換言之，相對位置信息確定器121基於由用戶位置傳感器127感測到的用戶位置確定交互音頻的聲源的位置。例如，如果交互音頻的聲源的位置為基於參考點(0，0，0)的(x，y，z)，並且用戶位於基於任意基準點的(a, b, c),則相對位置信息確定器121確定交互音頻的聲源的相對位置為(a+x, b+y, c+z)。
[0043]平移係數分析器123利用感測到的用戶位置信息和揚聲器位置信息來基於用戶位置分析聲源的平移係數。詳細地講，平移係數分析器123基於任意點根據揚聲器的位置確定平移係數。這裡，平移係數可按照一對一的方式與聲源的位置映射，然後以表的形式存儲。平移係數分析器123將任意點的平移係數錶轉換為基於用戶位置的平移係數表，以分析最佳平移係數表。
[0044]3D平移裝置125利用從相對位置信息確定器121輸出的聲源的相對位置信息以及從平移係數分析器123輸出的平移係數表將交互音頻平移到3D空間中。詳細地講，如果音頻設備100被實現為輸出具有不同仰角元素的多個聲道的多個揚聲器，則3D平移裝置125將交互音頻的聲源的相對3D位置應用於平移係數表，以對交互音頻進行平移。這裡，3D平移裝置125利用矢量基幅度平移(VBAP)方法來將音頻信號平移到3D空間中。這裡，VBAP方法是指利用兩個或三個揚聲器所形成的揚聲器組播放由揚聲器形成的空間內的虛擬聲源的方法。
[0045]然而，根據本發明總的發明構思的另一示例性實施例，如果音頻設備100被實現為具有相同仰角元素的多個揚聲器，則3D平移裝置125可利用多個揚聲器對音頻信號進行平移以使得音頻信號包括虛擬仰角元素。這裡，音頻設備100可使用上揚聲器系統來利用具有相同仰角元素的多個揚聲器輸出具有虛擬仰角元素的音頻信號。詳細地講，上揚聲器系統是能夠執行聲聚焦的揚聲器系統。上揚聲器系統可通過具有強線性的超聲揚聲器執行聲聚焦，可通過揚聲器陣列執行波束成形以執行聲聚焦，或者可根據基於心理聲學的仰角使用音染濾波器。通過上揚聲器系統播放的音頻通過天花板或特定反射表面反射以傳輸給用戶，在聲像具有仰角的情況下產生的頻率特性被傳輸，用戶感覺就像他/她聽到來自上方的聲音。[0046]平移裝置120根據如上所述的方法將交互音頻平移到3D空間中，並將平移的交互音頻輸出給渲染器130。
[0047]渲染器130根據由主音頻實現的空間的特性(以下稱作主音頻的空間信息)渲染交互音頻。詳細地講，渲染器130以環境指數來對主音頻的空間特性數位化，並反映環境指數以渲染交互音頻。這裡，環境指數對應於交互音頻在空間中迴響的數位化的迴響時間，並且可根據主音頻的空間特性而改變。例如,如果由主音頻實現的空間為洞穴,則交互音頻迴響較長時間，因此環境指數大。如果由主音頻實現的空間為室外，則交互音頻迴響較短時間，因此環境指數小。
[0048]如本發明總的發明構思的上述示例性實施例中一樣，如果從環境指數實現主音頻的空間特性，則計算多迴響作為脈衝響應或傳遞函數。然而，從存儲在渲染器130中的脈衝響應或傳遞函數的值選擇與環境指數匹配的值，然後將其反映在交互音頻上。
[0049]可使用直接讀取並反映不是數位化環境指數的脈衝響應或傳遞函數的方法。詳細地講，如果針對空間計算脈衝響應或傳遞函數，則在時域中將脈衝響應或傳遞函數與交互音頻卷積或者執行塊卷積以在交互音頻上反映對應空間特性。
[0050]渲染器130可根據各種方法獲取主音頻的空間特性。現在將參照圖3和圖4描述通過渲染器130獲取主音頻的空間特性的方法。
[0051]圖3是示出根據本發明總的發明構思的示例性實施例的渲染器130a的結構的框圖。參照圖3，渲染器130a包括聲場渲染器131和存儲裝置133。這裡，當輸入主音頻時，存儲裝置133接收並存儲主音頻的空間信息。例如，存儲裝置133從流化/存儲多媒體內容的介質(如，來自網際網路源的流介質、數字通用盤(DVD)或藍光碟(BD)等)讀取被數位化為環境指數的主音頻的空間信息，並流化/存儲該空間信息。聲場渲染器131利用存儲在存儲裝置133中的主音頻的空間信息來渲染交互音頻。
[0052]圖4是示出根據本發明總的發明構思的另一示例性實施例的渲染器130b的結構的框圖。參照圖4，渲染器130b包括聲場渲染器131和空間特性確定器135。這裡，空間特性確定器135分析輸入的主音頻以分析主音頻的空間特性。詳細地講，空間特性確定器135分析主音頻的特性以確定由主音頻實現的空間信息，並基於確定的空間信息產生環境指數或與環境指數相應的脈衝響應。例如，空間特性確定器135分析主音頻的迴響時間以產生主音頻的環境指數。聲場渲染器131反映由空間信息確定器135確定的主音頻的空間信息，以渲染交互音頻。具體地講，圖4的渲染器130b可應用於過去製造的未存儲主音頻的空間信息的介質。
[0053]輸出裝置140輸出主音頻和由渲染器130渲染的交互音頻。這裡，輸出裝置140可包括將主音頻與由渲染器130渲染的交互音頻混合的混合器(未不出)。
[0054]如上所述，音頻設備100根據用戶的位置、揚聲器的位置和主音頻的空間特性來提供交互音頻。因此，用戶更有現場感地聆聽交互音頻。
[0055]現在將參照圖5描述處理音頻設備100的音頻信號的方法。
[0056]參照圖5，在操作S510中，音頻設備100接收主音頻和交互音頻。這裡，主音頻可以是在執行多媒體內容時不考慮用戶命令而輸出的音頻。交互音頻可以是在執行多媒體內容時響應於用戶命令而輸出的音頻。
[0057]在操作S520中，音頻設備100利用用戶的位置信息、交互音頻的聲源位置信息和揚聲器位置信息來對交互音頻進行平移。詳細地講，音頻設備100利用用戶的位置信息和交互音頻的聲源位置信息來基於用戶位置確定交互音頻的聲源的相對位置。音頻設備100基於用戶的位置信息和揚聲器的位置信息分析最佳平移係數表。音頻設備100將交互音頻的聲源的相對位置應用於平移係數表以對交互音頻進行平移。這裡，音頻設備100將交互音頻平移到3D空間中，以使得通過具有不同仰角元素的揚聲器輸出交互音頻。
[0058]在操作S530中，音頻設備100根據主音頻的空間特性渲染平移的交互音頻。這裡，主音頻的空間特性可被數位化為環境指數，但本發明總的發明構思不限於此。例如，如果針對空間計算脈衝響應或傳遞函數，則在時域中將脈衝響應或傳遞函數與交互音頻卷積或者執行塊卷積以在交互音頻上反映相應的空間特性。因此，可將主音頻的空間特性實現為脈衝響應或傳遞函數。當主音頻輸入時，音頻設備100 —起接收主音頻的空間信息，將主音頻的空間信息存儲在存儲裝置133中，並分析主音頻以確定主音頻的空間信息。
[0059]在操作S540中，音頻設備100將渲染的交互音頻與主音頻混合。在操作S550中，音頻設備100通過多個揚聲器輸出混合的音頻。
[0060]如上所述，根據處理音頻信號的方法，用戶接收到根據用戶的位置和由主音頻實現的空間而提高了現場感的交互音頻。
[0061]根據本發明總的發明構思的上述各種示例性實施例的處理音頻設備的音頻信號的方法可被實現為程序並提供給顯示設備。
[0062]詳細地講，可提供一種存儲有程序的非暫時性計算機可讀介質，所述程序實現如下步驟:接收主音頻和交互音頻；利用用戶的位置信息、交互音頻的聲源位置信息和揚聲器位置信息對交互音頻進行平移；根據主音頻的空間特性渲染平移的交互音頻；將渲染的交互音頻和主音頻混合併輸出。
[0063]非暫時性計算機可讀介質是指這樣的介質，其並非如寄存器、緩存、內存等那樣短時間存儲數據，而是半永久地存儲數據並可由裝置讀取。詳細地講，上述應用或程序可被存儲並提供在諸如CD、DVD、硬碟、藍光碟、通用串行總線(USB)、存儲卡、ROM等的非暫時性計算機可讀介質上。
[0064]儘管已示出並描述了本發明總的發明構思的一些實施例，但是本領域技術人員將理解，在不脫離總的發明構思的原理和精神的情況下可對這些實施例進行改變，總的發明構思的範圍在權利要求及其等同物中限定。
【權利要求】
1.一種處理音頻設備的音頻信號的方法，所述方法包括: 接收主音頻和交互音頻； 利用用戶的位置信息、交互音頻的聲源位置信息和揚聲器位置信息對交互音頻進行平移； 根據主音頻的空間特性渲染平移的交互音頻； 將渲染的交互音頻和主音頻混合併輸出。
2.根據權利要求1所述的方法，其中如果音頻設備被實現為輸出具有不同仰角元素的多個聲道的多個揚聲器，則將交互音頻平移到具有仰角元素的3維3D空間中。
3.根據權利要求2所述的方法，其中對交互音頻進行平移的步驟包括: 感測用戶的位置信息； 利用感測到的用戶的位置信息以及交互音頻的聲源的位置基於用戶位置確定交互音頻的聲源的相對位置信息； 利用感測到的用戶的位置信息以及揚聲器位置信息基於用戶位置分析聲源的平移係數； 根據交互音頻的聲源的相對位置信息基於聲源的平移係數將交互音頻平移到具有仰角分量的3D空間中。
4.根據權利要求1所述·的方法，其中對交互音頻進行平移的步驟包括: 如果音頻設備被實現為輸出具有相同仰角元素的多個聲道的多個揚聲器，則將交互音頻平移為具有虛擬仰角分量。
5.根據權利要求1所述的方法,其中，當接收主音頻和交互音頻時,一起接收主音頻的空間信息， 其中，當渲染平移的交互音頻時，利用主音頻的空間信息渲染平移的交互音頻。
6.根據權利要求5所述的方法，其中，主音頻的空間信息是脈衝響應或傳遞函數。
7.根據權利要求1所述的方法，其中，當渲染平移的交互音頻時，根據通過分析主音頻確定的主音頻的空間特性渲染平移的交互音頻。
8.一種音頻設備，包括: 輸入裝置，接收主音頻和交互音頻； 平移裝置，利用用戶的位置信息、交互音頻的聲源的位置信息和揚聲器位置信息對交互音頻進行平移； 渲染器，根據主音頻的空間特性渲染平移的交互音頻； 輸出裝置，將渲染的交互音頻和主音頻混合併輸出。
9.根據權利要求8所述的音頻設備，其中如果音頻設備被實現為輸出具有不同仰角元素的多個聲道的多個揚聲器，則平移裝置將交互音頻平移到具有仰角元素的3D空間中。
10.根據權利要求9所述的音頻設備，其中，所述平移裝置包括: 用戶位置傳感器，感測用戶的位置信息； 相對位置信息確定器，利用由用戶位置傳感器感測的用戶的位置信息以及交互音頻的聲源的位置來基於用戶位置確定交互音頻的聲源的相對位置信息； 平移係數分析器，利用用戶的位置信息以及揚聲器位置信息基於用戶位置分析聲源的平移係數；3D平移裝置，根據交互音頻的聲源的相對位置信息基於聲源的平移係數將交互音頻平移到具有仰角分量的3D空間中。
11.根據權利要求8所述的音頻設備，其中，如果音頻設備被實現為輸出具有相同仰角元素的多個聲道的多個揚聲器，則平移裝置對交互音頻進行平移以使得交互音頻具有虛擬仰角分量。
12.根據權利要求8所述的音頻設備，其中，輸入裝置接收主音頻的空間信息， 其中，渲染器利用輸入的主音頻的空間信息渲染平移的交互音頻。
13.根據權利要求12所述的音頻設備，其中，主音頻的空間信息是脈衝響應或傳遞函數。
14.根據權利要求8所述的音頻設備，其中，所述渲染器包括: 空間特性確定器，分析主音頻以確定主音頻的空間特性， 其中，渲染器根據由空間特·性確定器確定的主音頻的空間特性渲染平移的交互音頻。
【文檔編號】H04S5/00GK103856878SQ201310652342
【公開日】2014年6月11日 申請日期:2013年12月5日 優先權日:2012年12月5日
【發明者】田相培, 金善民, 樸在夏, 金顯民, 金正壽 申請人:三星電子株式會社