聲學控制設備和聲學控制方法
2023-09-23 00:37:55 1
專利名稱：聲學控制設備和聲學控制方法
聲學控制設備和聲學控制方法技術領域
本公開涉及聲學控制設備和聲學控制方法。
技術背景
近年來，隨著信息處理技術的進步，已提議了一種用於根據收聽者/觀看者的時間和狀況來控制音頻變化的技術。
例如，下面給出的日本專利公開第2008-199449號(下文中稱之為專利文件1)描述了一種用於通過利用旋轉機構來調整電視(TV)的顯示屏的取向的技術，以便獲得根據 TV的電源被接通時的時間而事先預定的方向、視頻亮度和音量。另外，下面給出的日本專利公開第2004-312401號(下文中稱之為專利文件幻描述了這樣一種技術分析欣賞圖像和聲音的收聽者/觀看者的狀況，並且當分析的結果指示收聽者/觀看者開始關注於除了圖像和聲音之外的事情時，減少聲音的音量，以便不造成幹擾。發明內容
然而，專利文件1和2中描述的技術根據事先建立的設置狀況來實施對聲學輸出的控制。換言之，所述技術並不實施對收聽者/觀看者的動態變化的位置的控制。
另外，近年來，已提議並啟用了一種用於控制環繞聲系統的技術，所述環繞聲系統包括多個揚聲器；針對揚聲器的TV輸出聲音；以及攝影機，其安裝在TV上，以充當用於檢測在下文中也被簡稱為用戶的觀看者/收聽者的位置的攝影機。根據用戶的位置來控制這種環繞聲系統。同樣在這種技術的情況下，作為前提，揚聲器的位置以及TV或攝影機的位置是已知的。沒有這樣的前提，則難以應用該技術。
這樣一來就希望應對上述問題的本公開提供一種聲學控制設備，其能夠監視用戶的動態變化的位置，並且根據用戶的位置來控制聲學輸出。另外還希望本公開提供一種用於該設備的聲學控制方法。
為了解決上面描述的問題，根據本公開的實施例，提供了一種聲學控制設備，該聲學控制設備包括揚聲器位置計算部，配置成基於以下來找到位於揚聲器布局空間中的多個揚聲器中的每一個的位置基於所述揚聲器布局空間中的麥克風和放置在所述麥克風的位置附近的地方的對象中的至少任何一個的拍攝圖像而被計算為所述麥克風的位置的位置；以及聲音收集的結果，所述聲音收集由所述麥克風執行，以收集每個都由所述揚聲器中的每一個生成的信號聲音；以及聲學控制部，配置成通過以下來執行對由所述揚聲器中的每一個生成的聲音的控制基於所述揚聲器布局空間中的用戶的拍攝圖像來計算所述用戶的位置；計算所述用戶的位置和所述揚聲器中的每一個的位置之間的距離；以及根據計算的距離來控制由所述揚聲器生成的聲音。
根據本公開的另一個實施例，提供了一種聲學控制方法，該聲學控制方法包括基於多個揚聲器布置於其中的揚聲器布局空間中的麥克風和放置在所述麥克風的位置附近的地方的對象中的至少任何一個的拍攝圖像，計算所述麥克風的位置；基於計算的所述麥克風的位置以及由所述麥克風執行用來收集每個都由所述揚聲器中的每一個生成的信號聲音的聲音收集的結果，找到布置於所述揚聲器布局空間中的所述揚聲器中的每一個的位置；以及根據計算的用戶的位置和從所述用戶的位置到所述揚聲器中的每一個的位置的距離，控制由所述揚聲器中的每一個生成的聲音。
如上所述，根據本公開，通過監視用戶的動態變化的位置，可以根據用戶的位置來控制聲學輸出。
圖1是參考用來描述確定聲源位置的說明圖2是參考用來描述確定聲源位置的說明圖3是參考用來描述確定聲源位置的說明圖4是參考用來描述根據本公開實施例的環繞聲調整系統的說明圖5是參考用來描述根據實施例的典型環繞聲調整系統的說明框圖6是示出根據實施例的聲學控制設備的典型配置的框圖7是示出根據實施例的聲學控制設備中使用的圖像處理部的典型配置的框圖8是示出根據實施例的聲學控制設備中使用的揚聲器位置計算部的典型配置的框圖9是示出根據實施例的聲學控制設備中使用的聲學控制部的典型配置的框圖10是參考用來描述根據實施例的用於計算每個揚聲器位置的方法的說明圖IlA是參考用來描述根據實施例的用於計算每個揚聲器位置的方法的說明圖IlB是參考用來描述根據實施例的用於計算每個揚聲器位置的方法的說明圖12是參考用來描述根據實施例的用於計算揚聲器位置的方法的說明圖13是參考用來描述根據實施例的用於計算揚聲器位置的方法的說明圖14是參考用來描述根據實施例的用於計算麥克風位置的方法的說明圖15是參考用來描述根據實施例的用於計算麥克風位置的方法的說明圖16是參考用來描述根據實施例的用於計算麥克風位置的方法的說明圖17是參考用來描述根據實施例的聲學控制方法的說明圖18示出了表示根據實施例的聲學控制方法的典型流程的流程圖19示出了表示根據實施例的聲學控制方法的典型流程的流程圖；以及
圖20是示出根據本公開實施例的聲學控制設備的硬體配置的框圖。
具體實施方式
下面通過參考附圖來詳細地描述本公開的優選實施例。要注意的是，在本公開的說明書的附圖中，具有彼此等同功能的功能元件用相同的標號來指示，並且這樣的功能元件僅說明一次，以便避免重複描述。
同樣值得注意的是，以如下安排的章節來對本公開進行說明。
(1)聲學控制設備和聲學控制方法概要
(2)第一實施例
(2-1)環繞聲調整系統
(2-2)聲學控制設備的配置
(2-3)用於計算揚聲器位置的典型具體方法
(2-4)用於計算麥克風位置的典型修改方法
(2-5)麥克風類型
(2-6)聲學控制方法的流程
(3)根據當前實施例的聲學控制設備的硬體配置
(1)聲學控制設備和聲學控制方法概要
在說明根據本公開實施例的聲學控制設備和針對該聲學控制設備提供的聲學控制方法之前，通過將聲學控制設備和聲學控制方法與用於確定每個聲源的位置的現有技術的方法相比較，來簡短地描述根據本公開實施例的聲學控制設備和針對該聲學控制設備提供的聲學控制方法的概要。圖1至3是每個在以下描述確定聲源位置時加以參考的說明圖。 圖4是在以下描述根據本公開實施例的環繞聲調整系統時加以參考的說明圖。
所謂的家庭影院已變得流行。在家庭影院中，TV和放置在圍繞TV的地方的多個揚聲器用來觀看和收聽TV廣播或者記錄在諸如數字通用盤(DVD)或藍光碟之類的盤上的由圖像和聲音構成的內容。
例如如圖1所示，在下文中也被簡稱為揚聲器的四個環繞揚聲器每個放置在圍繞 TV的地方。在這種情況下，這四個揚聲器的恰當位置是具有與用戶的位置相一致的中心的圓的圓周上的位置。取決於揚聲器放置於其中的安裝區域的尺寸和形狀，揚聲器可能不會實際上放置在對於用戶的位置而言恰當的位置，如圖1所示。如果揚聲器沒有實際上放置在對於用戶的位置而言恰當的位置，則引發了環繞聲的平衡不可避免地崩潰的問題。
為了解決上面描述的問題，已提議並啟用了這樣一種技術通過在用戶的位置處設置用於收集揚聲器所生成的聲音的麥克風來校準環繞聲。這種技術是用於在安裝了麥克風的對於用戶位置而言恰當的位置處設置由每個揚聲器輸出的聲音的技術。通過以這種方式設置揚聲器的聲音，用戶能夠通過在安裝了麥克風的位置處觀看和收聽內容而在最優環繞環境中聽到聲音，而不管以下事實某些揚聲器的安裝位置在物理上對於用戶的位置而言並不恰當。
作為基於這樣的環繞聲校準技術的方法，提供了典型地如圖2所示的利用單耳麥克風的方法和典型地如圖3所示的利用立體聲麥克風的方法。
在如圖2所示的利用單耳麥克風的方法中，由於使用單耳麥克風的聲音收集的特性，可以在穿過麥克風和充當聲源的揚聲器的直線上確定聲源的位置。換言之，聲源的位置可以沿著穿過麥克風和充當聲源的揚聲器的線一維地移動。
另一方面，在如圖3所示的利用立體聲麥克風的方法的情況下，可以以立體聲的方式收集聲音。這樣一來，由揚聲器實施的聲源的位置就可以在被識別為相對於立體聲麥克風的方向的方向上二維地移動。結果，可以在平面上確定聲源的位置，以便四個揚聲器的位置變得相對於用戶的位置、亦即立體聲麥克風的位置對稱。
另外，通過利用能夠從三個或更多聲道收集聲音的多聲道麥克風，不僅可以在平面上確定聲源的位置，而且還可以三維地確定聲源的位置。
然而，這樣的環繞聲校準技術引發了如下問題如果用戶在除了麥克風的安裝位置之外的地方觀看和收聽內容，則環繞聲的平衡不可避免地崩潰。
這樣一來就希望應對上述問題的本公開提供一種聲學控制方法，該方法將要在下面描述，作為源自對以下技術的認真研究的方法，所述技術每個都能夠監視用戶的動態變化的位置並且根據用戶的位置來控制聲學輸出。如圖4所示，用戶的位置的變化被監視，並且聲源的位置動態地變化。這樣一來就可以在任何時間向用戶提供具有良好平衡的環繞聲，而不考慮用戶的觀看/收聽位置。
(2)第一實施例
(2-1)環繞聲調整系統
首先，通過參考圖5來說明根據本公開的第一實施例的環繞聲調整系統1如下。圖 5是在以下描述根據實施例的典型環繞聲調整系統1時加以參考的說明框圖。
如圖5所示，根據實施例的環繞聲調整系統1具有用於顯示圖像內容的圖像顯示設備3和聲學控制設備10。圖像顯示設備3的典型例子是TV。
圖像顯示設備3是能夠顯示包括圖像和聲音的內容的圖像內容的設備。另外，在圖像顯示設備3上提供攝影機。攝影機能夠拍攝圖像顯示設備3的環境的圖像。攝影機可以是能夠拍攝活動和靜止圖像的攝像機，也可以是拍攝靜止圖像的照相機。由這樣的攝影機拍攝的圖像被輸出到根據實施例的聲學控制設備10。
以下描述說明了這樣的典型配置，在所述典型配置下，如上所述，在圖像顯示設備 3上提供能夠拍攝圖像顯示設備3的環境的圖像的攝影機。然而，根據實施例的環繞聲調整系統1決不限於這樣的配置。即使環繞聲調整系統1可以具有沒有設置在圖像顯示設備3 上的攝影機的配置，環繞聲調整系統1也可以具有這樣的配置，在所述配置下，聲學控制設備10可以從外部攝影機中接收多個揚聲器設置在其中的揚聲器布局空間的拍攝圖像。
聲學控制設備10是用於通過採用下面將要描述的聲學控制方法來控制內容的聲音並且向用戶提供對於用戶而言恰當的環繞聲的設備。聲學控制設備10能夠向多個揚聲器5輸出音頻內容並且獲取由麥克風7從揚聲器5收集的聲音。另外，根據實施例的聲學控制設備10還能夠從圖像拍攝設備獲取由圖像拍攝設備拍攝的圖像。圖像拍攝設備的典型例子是外部安裝的各種攝影機和各種可攜式裝置如具有攝影機功能的行動電話。
如圖5所示，內容記錄/再生設備9可以連接到聲學控制設備10。內容記錄/再生設備9的典型例子是DVD記錄器和藍光記錄器。另外，內容再生設備可以連接到聲學控制設備10。內容再生設備的典型例子是緊緻盤(⑶)播放器、小型盤(MD)播放器、DVD播放器和藍光播放器。
在圖5所示的典型配置中，聲學控制設備10被示出為與圖像顯示設備3和內容記錄/再生設備9相分離。然而要注意的是，包括根據實施例的聲學控制設備10的配置決不限於這樣的配置。例如，聲學控制設備10可以與圖像顯示設備3集成。作為另一種替換， 聲學控制設備10與內容記錄/再生設備9集成。另外，在以下描述中說明的聲學控制設備 10可以被實施為具有圖像顯示設備3和內容記錄/再生設備9的功能的設備。
根據實施例的聲學控制設備可以包括揚聲器位置計算部，配置成基於以下來找到位於揚聲器布局空間中的多個揚聲器中的每一個的位置基於所述揚聲器布局空間中的麥克風和放置在所述麥克風的位置附近的地方的對象中的至少任何一個的拍攝圖像而被計算為所述麥克風的位置的位置；以及聲音收集的結果，所述聲音收集由所述麥克風執行， 以收集每個都由所述揚聲器中的每一個生成的信號聲音；以及聲學控制部，配置成通過以下來執行對由所述揚聲器中的每一個生成的聲音的控制基於所述揚聲器布局空間中的用戶的拍攝圖像來計算所述用戶的位置；計算所述用戶的位置和所述揚聲器中的每一個的位置之間的距離；以及根據計算的距離來控制由所述揚聲器生成的聲音。
(2-2)聲學控制設備的配置
[整體配置]
接下來，通過參考圖6來說明根據實施例的聲學控制設備10的整體配置。圖6是示出根據實施例的聲學控制設備10的典型配置的框圖。
如圖6所示，根據實施例的聲學控制設備10使用綜合控制部101、用戶操作信息獲取部103、圖像獲取部105、圖像處理部107、位置計算信號控制部109、聲學信息獲取部111、 揚聲器位置計算部113、聲學控制部115、顯示控制部117和存儲部119。
綜合控制部101典型地具有中央處理單元(CPU)、數位訊號處理器(DSP)、只讀存儲器(ROM)、隨機存取存儲器(RAM)和通信部。綜合控制部101是用於一般地控制根據實施例的聲學控制設備10的所有操作的處理部。另外，綜合控制部101輸出觸發，以便開啟聲學控制設備10中使用的每一個其它處理部的操作。而且，綜合控制部101將特定處理部中生成的數據和信息傳遞到別的處理部。另外，綜合控制部101還充當調停者，以便驅使根據實施例的聲學控制設備10中使用的其它處理部通過彼此協作來進行操作。
用戶操作信息獲取部103典型地具有CPU、ROM、RAM、輸入部和通信部。通過典型地操作針對聲學控制設備10設置的遙控器，或者操作聲學控制設備10的按鈕或觸摸面板上的多個輸入鍵，用戶可以執行用戶操作。當用戶執行這樣的用戶操作時，用戶操作信息獲取部103獲取用戶操作信息(其為關於用戶所執行的操作的信息)，並且將信息輸出到綜合控制部101。參考從用戶操作信息獲取部103接收的用戶操作信息，綜合控制部101請求起到負責由用戶執行的操作的部件之作用的處理部執行針對該操作的處理。
圖像獲取部105典型地具有CPU、ROM、RAM和通信部。圖像獲取部105獲取用於多個揚聲器5布置於其中的空間的拍攝圖像的數據。在以下描述中，多個揚聲器5布置於其中的空間也被稱為揚聲器布局空間。通過利用聲學控制設備10能夠與之通信的攝影機已拍攝了揚聲器布局空間的拍攝圖像。如下面將要描述的那樣，揚聲器布局空間的拍攝圖像的典型例子是放置在揚聲器布局空間中的麥克風和放置在接近於麥克風位置的地方的對象的拍攝圖像。揚聲器布局空間的拍攝圖像的另一個典型例子是存在於揚聲器布局空間中的用戶的拍攝圖像。
在圖像獲取部105已從安裝在聲學控制設備10外部地方的攝影機(例如安裝在圖像顯示設備3上的攝影機)成功地獲取了這樣的拍攝圖像之後，圖像獲取部105將用於拍攝圖像的數據輸出到綜合控制部101。當綜合控制部101從圖像獲取部105接收到拍攝圖像時，綜合控制部101將拍攝圖像傳遞到圖像處理部107。另外，通過將拍攝圖像中的每一個與典型地關於圖像拍攝日期和圖像拍攝時間的信息相關聯，綜合控制部101可以將從圖像獲取部105接收的多個拍攝圖像存儲在稍後將要描述的存儲部119中作為歷史信息。
圖像處理部107典型地具有CPU、圖形處理單元(GPU)、ROM和RAM。圖像處理部 107是用於對從圖像獲取部105接收的多個拍攝圖像進行各種信號處理的處理部。當圖像處理部107對從圖像獲取部105接收的多個拍攝圖像進行各種信號處理時，圖像處理部107 能夠對稍後將要描述的存儲部119進行訪問，以便引用各種程序、各種資料庫和各種參數。圖像處理部107將由此執行的圖像處理的結果供應到綜合控制部101，綜合控制部101然後將結果傳遞到聲學控制設備10中使用的各種其它處理部。
要注意的是，稍後將會另外描述根據實施例的圖像處理部107的詳細配置。
位置計算信號控制部109典型地具有CPU、DSP、R0M和RAM。當綜合控制部101開始對布置於揚聲器布局空間中的揚聲器5的位置的計算時，根據從綜合控制部101接收的預定觸發，位置計算信號控制部109控制操作以輸出在對揚聲器5的位置的計算中使用的信號。在以下描述中，在對揚聲器5的位置的計算中使用的信號也被稱為位置計算信號。位置計算信號控制部109控制操作以典型地輸出位置計算信號，以便驅動布置於揚聲器布局空間中的揚聲器5中的每一個單獨地輸出預定位置計算信號如嘟嘟聲。
要注意的是，當用戶操作信息獲取部103向綜合控制部101提供指示用戶已對遙控器等的預定按鈕進行了操作的用戶操作信息時，綜合控制部101向位置計算信號控制部 109提供觸發，以便開始對操作的控制以典型地輸出位置計算信號。當接收到觸發時，位置計算信號控制部109開始對操作的控制以輸出位置計算信號。
另外，除了嘟嘟聲之外，位置計算信號可以是多種信號中的任何一種，並且可以恰當地設置位置計算信號的屬性。位置計算信號的屬性包括位置計算信號的頻率。
聲學信息獲取部111典型地具有CPU、ROM、RAM和通信部。聲學信息獲取部111獲取聲學信息，所述聲學信息是關於連接到聲學控制設備10的麥克風所收集的聲音的信息。 麥克風的典型例子是單耳麥克風、立體聲麥克風和多聲道麥克風。聲學信息的典型例子是關於通過位置計算信號控制部109進行的從揚聲器5中的每一個單獨輸出的位置計算信號的聲音收集結果的信息。然而，根據實施例的聲學信息決不限於關於這樣的聲音的收集結果的信息。換言之，由麥克風收集的各種信息都可以用作聲學信息。由麥克風收集的信息的典型例子是用戶的語音。
聲學信息獲取部111將獲取的聲學信息輸出到綜合控制部101。綜合控制部101 然後將聲學信息傳遞到根據將要對拍攝圖像執行的處理而選擇的其它處理部。另外，通過將聲學信息與關於聲學信息獲取日期和聲學信息獲取時間的信息相關聯，綜合控制部101 可以將從聲學信息獲取部111接收的各種聲學信息存儲在稍後將要描述的存儲部119中作為歷史信息。
揚聲器位置計算部113典型地具有CPU、ROM和RAM。通過利用由圖像處理部107 對圖像獲取部105所生成的拍攝圖像進行的圖像處理的結果，並且通過利用由聲學信息獲取部111獲取的結果作為由揚聲器5中的一個所輸出的每個通過位置計算信號來表示的聲音收集結果，揚聲器位置計算部113計算布置於揚聲器布局空間中的揚聲器5中的每一個的位置。具體而言，基於麥克風的位置和由麥克風執行用以收集每個由揚聲器5中之一輸出的信號聲音的操作的結果，揚聲器位置計算部113計算布置於揚聲器布局空間中的揚聲器5中的每一個的位置。基於放置在揚聲器布局空間中的麥克風和放置在麥克風位置附近的地方的對象，已計算了麥克風的位置。
在揚聲器位置計算部113已基於這樣的各種信息計算了布置於揚聲器布局空間中的揚聲器5中的每一個的位置之後，揚聲器位置計算部113將獲得的計算結果供應給綜合控制部101。計算的結果是揚聲器位置信息，所述揚聲器位置信息是關於揚聲器5中的每一個的位置的信息。綜合控制部101然後將從揚聲器位置計算部113接收的揚聲器位置信息傳遞到稍後將要描述的聲學控制部115。另外，通過將揚聲器位置信息與關於揚聲器位置信息獲取日期和揚聲器位置信息獲取時間的信息相關聯，綜合控制部101可以將從揚聲器位置計算部113接收的揚聲器位置信息存儲在稍後將要描述的存儲部119中作為歷史信肩、ο
要注意的是，稍後將會另外描述根據實施例的揚聲器位置計算部113的詳細配置。
聲學控制部115典型地具有CPU、DSP、ROM和RAM。基於用戶的拍攝圖像，聲學控制部115計算存在於揚聲器布局空間中的用戶的位置。詳細而言，基於對用戶的拍攝圖像執行的處理結果，聲學控制部115計算存在於揚聲器布局空間中的用戶的位置。另外，聲學控制部115利用計算的用戶位置以找到用戶的位置和揚聲器5中的每一個的位置之間的距離。然後，根據計算結果，聲學控制部115控制由揚聲器5中的每一個生成的聲音。
通過執行聲源位置確定處理以確定針對物理揚聲器5中之一充當虛擬揚聲器的每個聲源的位置作為對於用戶的位置而言恰當的位置，並且根據用戶的特性執行音質調整處理，聲學控制部115控制由揚聲器5中的每一個生成的聲音。用戶的特性的典型例子是用戶的元數據。用戶的元數據包括用戶的性別及其年齡。
要注意的是，稍後將會另外描述根據實施例的聲學控制部115的詳細配置。
顯示控制部117典型地具有CPU、ROM、RAM和通信部。顯示控制部117控制根據實施例的聲學控制設備10中使用的顯示設備。顯示設備的典型例子是顯示單元和顯示面板。 這樣一來，根據實施例的聲學控制設備10中使用的每個處理部就能夠示出消息或顯示，以通知用戶已完成了處理。進而，每個特定處理部能夠向用戶示出表示處理結果的消息或顯7J\ O
另外，根據實施例的顯示控制部117還能夠顯示處理終止通知，其通知用戶如上所述的聲學控制設備10中執行的處理結束，以及諸如圖像顯示設備3之類的外部設備上的相同處理的結果。這樣一來，例如，顯示控制部117就能夠在圖像顯示設備3的顯示屏上顯示聲學控制設備10中執行的環繞聲校準處理的結果。
存儲部119是根據實施例的聲學控制設備10中使用的存儲設備的典型例子。存儲部119被用來存儲諸如揚聲器位置信息之類的信息，所述揚聲器位置信息是關於布置於揚聲器布局空間中的揚聲器5中的每一個的位置的信息。如稍早前描述的那樣，通過揚聲器位置計算部113來計算揚聲器位置信息。另外，存儲部119還可以用來存儲各種信息和各種數據。在根據實施例的聲學控制設備10中產生所述信息和數據。最重要的是，存儲部 119還可以用來存儲在根據實施例的聲學控制設備10所執行的處理期間需要保存的多種參數和中間結果。進而，存儲部119還可以用來恰當地存儲多種資料庫和多種程序。
在上面的描述中已詳細地說明了根據實施例的聲學控制設備10的整體配置。
[圖像處理部]
接下來，通過參考圖7來說明根據實施例的聲學控制設備10中使用的圖像處理部 107的配置。圖7是示出根據實施例的聲學控制設備10中使用的圖像處理部107的典型配置的框圖。
如圖7所示，圖像處理部107使用了臉檢測部131、年齡/性別確定部133、姿勢識別部135、對象檢測部137和臉標識部139。
臉檢測部131典型地具有CPU、GPU、R0M和RAM。通過參考從圖像獲取部105接收的多個拍攝圖像，臉檢測部131執行臉檢測處理，以便檢測與人的臉相對應的部分。拍攝圖像包括麥克風、放置在接近於麥克風位置的地方的對象以及用戶的拍攝圖像。非常有可能的是，與人的臉相對應的部分包括在拍攝圖像中。如果與人的臉相對應的部分包括在拍攝圖像中，則臉檢測部131從拍攝圖像中檢測到與人的臉相對應的部分，並且標識與人的臉相對應的部分的屬性。屬性包括與人的臉相對應的部分的像素坐標以及與人的臉相對應的部分的尺寸。
另外，通過執行臉檢測處理，臉檢測部131能夠確定每個充當存在於拍攝圖像中的用戶的人的數目。如果每個充當用戶的多個人存在於拍攝圖像中，則臉檢測部131能夠標識與每個人的臉相對應的部分的屬性。如上所述，與人的臉相對應的部分的屬性包括與人的臉相對應的部分的像素坐標以及與人的臉相對應的部分的尺寸。另外，臉檢測部131 可以計算表徵用戶群的多個特徵量。特徵量包括針對具有用戶的臉的群體的重心位置。
臉檢測部131將臉檢測處理的檢測結果供應給綜合控制部101。綜合控制部101 然後將檢測結果傳遞到其它處理部，包括揚聲器位置計算部113和聲學控制部115。另外， 臉檢測部131還將檢測結果供應給圖像處理部107中使用的其它處理部，以便臉檢測部131 能夠在執行處理的同時，與圖像處理部107中使用的其它處理部進行協作。
臉檢測處理可以由臉檢測部131通過採用任何一種已知的相關技術來執行，比如日本專利公開第2007-65766號中公開的技術以及日本專利公開第2005-44330號中公開的技術。
年齡/性別確定部133典型地具有CPU、GPU、ROM和RAM。年齡/性別確定部133 利用臉檢測部131所檢測的臉圖像，以便檢測臉的特徵部分。臉的特徵部分包括眉毛、眼睛、鼻子和嘴巴。用於檢測臉的特徵部分的處理可以由年齡/性別確定部133通過採用任何一種已知的相關技術來執行，包括充當主動外觀模型(AAM)方法基礎的技術。
然後，年齡/性別確定部133關注於檢測的臉的特徵部分，以便確定臉的擁有者的年齡以及擁護者的性別。這樣一來，年齡/性別確定部133就能夠提取包括年齡和性別的信息作為用戶的元數據。用於通過關注於檢測的臉的特徵部分來確定年齡和性別的方法可以是基於任何一種已知的相關技術的任何方法。
然後，年齡/性別確定部133將確定結果供應給綜合控制部101。確定結果是前面提到的包括用戶年齡和用戶性別的元數據。隨後，綜合控制部101將確定結果傳遞到包括聲學控制部115的其它處理部。另外，年齡/性別確定部133還將確定結果供應給圖像處理部107中使用的其它處理部，以便年齡/性別確定部133能夠在執行處理的同時，與圖像處理部107中使用的其它處理部進行協作。
姿勢識別部135典型地具有CPU、GPU、R0M和RAM。姿勢識別部135關注於從圖像獲取部105接收的拍攝圖像和拍攝圖像的時滯變化，以便識別拍攝圖像中包括的用戶所做出的姿勢。如稍早前說明的那樣，拍攝圖像包括麥克風、放置在接近於麥克風位置的地方的對象以及用戶的拍攝圖像。以這種方式，姿勢識別部135能夠識別用戶所做出的特定姿勢。 例如，當用戶通過搖手或用手給出和平符號來做出姿勢時，姿勢識別部135能夠識別這個姿勢。
上面描述的姿勢識別處理可以由姿勢識別部135通過採用任何一種已知的相關技術來執行。
姿勢識別部135將姿勢識別處理的結果供應給綜合控制部101。然後，綜合控制部101將姿勢識別處理的結果傳遞到包括聲學控制部115的其它處理部。另外，姿勢識別部135還將姿勢識別處理的結果供應給圖像處理部107中使用的其它處理部，以便姿勢識別部135能夠在執行處理的同時，與圖像處理部107中使用的其它處理部進行協作。
對象檢測部137典型地具有CPU、GPU、R0M和RAM。通過參考從圖像獲取部105接收的多個拍攝圖像，對象檢測部137執行對象檢測處理，以便檢測對應於特定對象的部分。 拍攝圖像包括麥克風、放置在接近於麥克風位置的地方的對象以及用戶的拍攝圖像。非常有可能的是，對應於特定對象的部分包括在拍攝圖像中。由對象檢測部137檢測的特定對象的典型例子是放置在揚聲器布局空間中某個位置的麥克風自身和麥克風上提供的可視標記。可視標記的典型例子是計算機代碼。
如果對應於特定對象的部分包括在拍攝圖像中，則對象檢測部137從拍攝圖像中檢測到對應於特定對象的部分，並且標識對應於特定對象的部分的屬性。屬性包括對應於特定對象的部分的像素坐標以及該部分的尺寸。
另外，通過執行對象檢測處理，對象檢測部137能夠標識拍攝圖像上示出的特定對象的數目和類型，比如麥克風的類型。如果在拍攝圖像上示出了多個特定對象，則對象檢測部137能夠標識對應於每個特定對象的部分的屬性。如上所述，對應於特定對象的部分的屬性包括對應於特定對象的部分的像素坐標以及該部分的尺寸。另外，對象檢測部137 可以計算表徵具有特定對象的群體的多個特徵量。特徵量包括針對具有特定對象的群體的重心位置。
對象檢測部137將對象檢測處理的檢測結果供應給綜合控制部101。綜合控制部 101然後將檢測結果傳遞到包括揚聲器位置計算部113和聲學控制部115的其它對象處理部。另外，對象檢測部137還將檢測結果供應給圖像處理部107中使用的其它處理部，以便對象檢測部137能夠在執行處理的同時，與圖像處理部107中使用的其它處理部進行協作。
對象檢測處理可以由對象檢測部137通過採用任何一種已知的相關技術來執行。
臉標識部139典型地具有CPU、GPU、R0M和RAM。臉標識部139是用於標識由臉檢測部131所檢測的臉的處理部。臉標識部139除了別的以外尤其關注於臉檢測部131所檢測的臉的特徵部分，並且計算局部特徵量。然後，通過將所述量與臉檢測部131所檢測的臉的圖像相關聯，臉標識部139存儲計算的局部特徵量，以便構造用戶資料庫。然後，臉標識部139利用用戶資料庫，以便將臉檢測部131所檢測的臉標識為用戶的臉。
要注意的是，臉識別處理可以由臉標識部139通過採用任何一種已知的相關技術來執行，比如在日本專利公開第2007-65766號中公開的技術和在日本專利公開第 2005-44330號中公開的技術。
臉標識部139將對象識別處理的識別結果供應給綜合控制部101。綜合控制部101 然後將識別結果傳遞到包括聲學控制部115的對象處理部。另外，臉標識部139還將識別結果供應給圖像處理部107中使用的其它處理部，以便臉標識部139能夠在執行處理的同時，與圖像處理部107中使用的其它處理部進行協作。
上面的描述通過參考圖7簡短地說明了構成根據實施例的圖像處理部107的配置的處理部。除了上面描述的處理部之外，圖像處理部107可以設置有圖像處理所需的任何處理部。
[揚聲器位置計算部]
接下來，通過參考圖8來說明根據實施例的聲學控制設備10中使用的揚聲器位置計算部113的配置。圖8是示出根據實施例的聲學控制設備10中使用的揚聲器位置計算部113的典型配置的框圖。
如圖8所示，根據實施例的揚聲器位置計算部113典型地使用了麥克風位置計算部151、麥克風揚聲器距離計算部153和揚聲器位置標識部155。
麥克風位置計算部151典型地具有CPU、R0M和RAM。基於圖像處理部107所執行的圖像處理的結果和聲學信息獲取部111所獲取的聲學信息，麥克風位置計算部151計算布置於揚聲器布局空間中的麥克風的位置。在以下描述中，麥克風的位置也被簡稱為麥克風位置。
例如，麥克風位置計算部151利用圖像處理部107所執行的臉檢測的結果，以便在如下假定之下基於臉檢測的結果來計算麥克風的位置當在執行環繞聲校準的時候安裝麥克風時，麥克風放置在接近於用戶的臉的地方。另外，麥克風位置計算部151可以利用圖像處理部107所執行的對象檢測的結果，以便計算麥克風的位置。對象檢測的結果的典型例子是麥克風檢測的結果和諸如計算機代碼之類的可視標記的檢測結果。最重要的是，麥克風位置計算部151可以利用聲學信息本身來計算麥克風的位置。聲學信息是通過利用麥克風來收集(每個由揚聲器5中之一輸出的)聲音而執行的聲音收集的結果。
在用戶的位置幾乎與麥克風的位置相一致的假定之下，拿用於計算用戶的位置的方法作為例子，以下描述具體地說明了麥克風位置計算方法。在以下描述中，用戶的位置也被簡稱為用戶位置。在這種情況下，基於圖像顯示設備3上安裝的攝影機所生成的拍攝圖像，通過利用用戶臉檢測的結果來計算用戶的位置。
例如，麥克風位置計算部151計算相對於攝影機光軸的用戶位置。用戶的這個相對位置用方向Φ 1和θ 1以及距離dl來表示。在這種情況下，通過利用圖像處理部107所執行的圖像處理的多個結果和圖像顯示設備3上典型地安裝的攝影機的光學信息，麥克風位置計算部151計算用戶的相對位置。光學信息包括關於攝影機視場角的信息和關於攝影機解析度的信息。
在這種情況下，由圖像處理部107執行的圖像處理的結果包括拍攝圖像和關於拍攝圖像中檢測的用戶臉的信息。關於用戶臉的信息包括臉檢測位置[al，bl]和臉尺寸[wl， hi]。
根據給出如下的方程(101)和(102)，從通過利用拍攝圖像的尺寸[XmaX，ymaX]而規範化的臉檢測位置[al，bl]中，並且從攝影機的視場角[Φ0，Θ0]中，麥克風位置計算部 151計算用戶的相對位置的方向[Φ1，θ 1]
水平方向φ1 = φ0 χ al ...... (101)
垂直方向θι = θ OXbl ......(102)
另外，根據給出如下的方程(103)，基於參考距離do處的參考臉尺寸[wO，h0]，麥克風位置計算部151計算用戶的相對位置的距離dl
距離dl = dOX (w0/wl) ......(103)
稍後，基於相對於攝影機光軸的用戶位置的計算結果和攝影機安裝信息，麥克風位置計算部151計算相對於圖像顯示設備3的物理中心和圖像顯示設備3的前面方向軸的用戶三維位置。攝影機安裝信息包括攝影機的安裝位置和攝影機的安裝角度。
例如，令圖像顯示設備3的物理中心的坐標為W，0，0]，攝影機的安裝位置為 [Δχ, Δγ, Δζ]，攝影機的安裝角度的角差為[Δφ，ΔΘ，並且顯示屏前面方向為W，o，z]。
在這種情況下，根據給出如下的方程(104)至(106)，麥克風位置計算部151計算坐標系中相對於圖像顯示設備3的物理中心
的用戶位置[xl，yl，zl]
權利要求
1.一種聲學控制設備，包括揚聲器位置計算部，配置成基於以下來找到位於揚聲器布局空間中的多個揚聲器中的每一個的位置基於所述揚聲器布局空間中的麥克風和放置在所述麥克風的位置附近的地方的對象中的至少任何一個的拍攝圖像而被計算為所述麥克風的位置的位置；以及聲音收集的結果，所述聲音收集由所述麥克風執行，以收集每個都由所述揚聲器中的每一個生成的信號聲音；以及聲學控制部，配置成通過以下來執行對由所述揚聲器中的每一個生成的聲音的控制 基於所述揚聲器布局空間中的用戶的拍攝圖像來計算所述用戶的位置；計算所述用戶的位置和所述揚聲器中的每一個的位置之間的距離；以及根據計算的距離來控制由所述揚聲器生成的聲音。
2.根據權利要求1所述的聲學控制設備，其中，基於所述麥克風的位置以及通過利用由所述揚聲器中的每一個生成並且由所述麥克風收集的所述信號聲音的音量而計算的所述麥克風的位置和所述揚聲器中的每一個的位置之間的距離，所述揚聲器位置計算部找到位於所述揚聲器布局空間中的所述揚聲器中的每一個的位置。
3.根據權利要求1所述的聲學控制設備，其中，所述聲學控制部利用所述用戶的位置和所述揚聲器中的每一個的位置之間的距離，以便動態地改變用來設置由所述揚聲器生成的聲音的位置。
4.根據權利要求3所述的聲學控制設備，進一步包括圖像處理部，配置成處理所述用戶的拍攝圖像，其中，所述圖像處理部基於所述用戶的拍攝圖像來提取所述用戶的元數據、所述拍攝圖像上示出的其它用戶的數目和由所述用戶做出的姿勢中的至少任何一個，並且根據所述用戶的元數據、所述拍攝圖像上示出的其它用戶的數目和由所述用戶做出的姿勢中的至少任何一個，所述聲學控制部執行設置由所述揚聲器生成的聲音和調整所述聲音的質量的處理中的至少任何一個。
5.根據權利要求1所述的聲學控制設備，進一步包括圖像處理部，配置成處理所述麥克風和放置在所述麥克風的位置附近的地方的對象中的至少任何一個的拍攝圖像，其中，所述圖像處理部檢測靠近所述麥克風的所述用戶的臉作為放置在所述麥克風的位置附近的地方的對象。
6.根據權利要求1所述的聲學控制設備，進一步包括圖像處理部，配置成處理所述麥克風和放置在所述麥克風的位置附近的地方的對象中的至少任何一個的拍攝圖像，其中，所述圖像處理部檢測所述麥克風或所述麥克風上設置的可視標記。
7.根據權利要求1所述的聲學控制設備，其中，基於從所述揚聲器輸出並且通過利用單耳麥克風、立體聲麥克風和多聲道麥克風而收集的信號聲音的收集結果，所述揚聲器位置計算部找到所述揚聲器中的每一個的位置。
8.—種聲學控制方法，包括基於多個揚聲器布置於其中的揚聲器布局空間中的麥克風和放置在所述麥克風的位置附近的地方的對象中的至少任何一個的拍攝圖像，計算所述麥克風的位置；基於計算的所述麥克風的位置以及由所 友兄風 Α1」州不隊宋丹ι w w//,mm中的每一個生成的信號聲音的聲音收集的結果，找到布置於所述揚聲器布局空間中的所述揚聲器中的每一個的位置；以及一根據計算的用戶的位置和從所述用戶的位置到所述揚聲器中的每一個的位置的距罔，控制由所述揚聲器中的每一個生成的聲音。
全文摘要
本公開提供了一種聲學控制設備和聲學控制方法。根據本公開的聲學控制設備包括揚聲器位置計算部，配置成基於以下來找到位於揚聲器布局空間中的多個揚聲器中的每一個的位置基於揚聲器布局空間中的麥克風和放置在麥克風位置附近的地方的對象中的至少任何一個的拍攝圖像而被計算為麥克風位置的位置；以及聲音收集的結果，所述聲音收集用來收集每個都由揚聲器中的一個生成的信號聲音；以及聲學控制部，配置成通過以下來控制由揚聲器中的每一個生成的聲音基於揚聲器布局空間中的用戶的拍攝圖像來計算用戶的位置；計算用戶的位置和揚聲器中的每一個的位置之間的距離；以及根據計算的距離來控制由揚聲器生成的聲音。
文檔編號H04R5/02GK102547533SQ201110338748
公開日2012年7月4日 申請日期2011年10月28日 優先權日2010年11月5日
發明者鶴見辰吾 申請人:索尼公司