電子設備定向音頻視頻採集的製作方法

2023-05-28 02:31:06

專利名稱：電子設備定向音頻視頻採集的製作方法
技術領域：
本發明涉及一種電子設備，並且更具體地涉及用於電子設備的定向音頻視頻採集。
背景技術：
具有免提電話或者免提應用的電子設備在本領域中是已知的。在免提語音通話期間，可將除用戶的語音之外的任何聲音視為背景噪聲，這些背景噪聲應當被衰減(或者消除)以提高電話交談的質量。噪聲可能涉及與發送和接收信號相對應的環境、網絡和音頻鏈。環境噪聲(或者幹擾的聲音/背景噪聲)在免提語音通話期間可能很容易造成幹擾， 並且有時可能會超過用戶的語音(信號)水平，使得分離二者變得非常困難。這可能導致較差的信噪比(SNI )。在本領域中存在若干種用於語音通信的僅針對音頻源的跟蹤技術。通過使用能夠對源(用戶)方向之外的敏感度進行衰減的定向性圖案而提供音頻發送的常規配置，可以改善SNR並在傳輸源信號之前從該信號中消除不需要的信號。然而，這假設了已經知曉或者可以估計信號的到達方向(DOA)。此外，使用常規技術的基於音頻的跟蹤一般不適合於靜默的移動源。在手持移動通信設備的情況中，聲源的相對位置由於設備的移動可能也會發生移動。相比於在其中可以假設設備相比於聲源的移動是處於相對靜止中的傳統會議室設置而言，設備的連續把持(例如，由於自然的手勢和手部動作)使得源跟蹤任務的挑戰性大為增加。設備移動可以引起DOA中非常快的改變，而聲源的移動則不大可能造成這種情況。在典型的移動通信語音通話中，用戶與設備的相對位置可以改變。由於僅針對音頻的跟蹤系統為了計算一個或多個DOA角而需要音頻數據，因此這對跟蹤信息造成處理延遲(從而妨礙了實時源位置信息更新)。遺憾的是，在實時語音通信中為了流暢運行而需要最小化端對端延遲。這可能引起若干問題。例如，當用戶在講話停頓期間移動時，源跟蹤器在該靜默期中可能失去正確的源位置。當通話者開始講話時，語句的開頭可能因錯誤的位置信息而失真。從多麥克風降噪的角度來看，這意味著用戶的語音被作為背景噪聲源處理， 直至考慮到正確的位置信息。另一類定向音頻採集算法通過利用信號的統計屬性來形成麥克風陣列的定向性圖案。這些算法並不利用專用的聲源位置信息，而是試圖自適應於所需的源。通常這些算法不僅需要適應於源位置中的變化，而且還需要適應於室內衝擊響應中的變化。這使得這些算法對環境中瞬時變化的反應相對較慢。在沒有外部控制的可能性的情況下，對關於源方向做出自主判斷的算法進行控制也是有意義的。例如，在大聲的幹擾源(又稱為幹擾機) 的情況中，控制麥克風陣列以將源歸類為噪聲源變得更加困難，特別是當幹擾源的信號統計與所需源相似時，例如在通話者爭相發言的情況下尤為如此。此外，人臉檢測和人臉的視頻跟蹤在本領域中是已知的。臉部檢測對輸入圖像中的一張臉(或者多張臉)的定位進行處理。該過程包括在沒有關於臉部位置的先前知識可用時對整個圖像進行掃描。臉部跟蹤還可以擴展至通過使用時間相關性在視頻序列中定位人臉而進行的臉部檢測。使用關於上一幀中的臉部位置的知識來縮小當前幀中的搜索範圍，而不是單獨地在每個幀中對臉部進行檢測。例如，特此通過引用整體併入的「FaceDetection In Color Images」 (R. L. Hsu， Μ. AbdeI-Mottaleb,and Α. K. Jain,IEEE Transactions on Pattern Analysis and Machine Intelligence, 24 :696-706,2002)描述了一種基於膚色檢測的臉部檢測途徑。用於基於膚色檢測的臉部檢測(或跟蹤)的途徑一般對在圖像中所發現的膚色像素進行確定和分組。 接下來，針對每個這樣的像素組計算邊界框(或者最佳擬合橢圓)。選擇核實特定形狀和尺寸限制的皮膚部分作為候選臉部。最後，基於對候選臉部內的孔洞是由於特徵(諸如眼睛和嘴)與膚色不同而造成的這一觀察，在每個候選臉部內搜索這些特徵。另外，特此通過引用整體併入的「DetectingFaces In Images :A Survey」(Μ. Yang, D.J. Kriegman, and N. Ahuj a, IEEE Transactions on Pattern Analysis and Machine Intelligence, 24 =34-58,2002)描述了一種基於臉部紋理信息的臉部檢測途徑。此外，特此通過引用整體併入的"AHybrid Approach To Face Detection Under Unconstrained Environments" (A. Hadid,M. Pietikainen, International Conference of Pattern Recognition(ICPR 2006))描述了一種基於顏色和紋理信息的臉部檢測途徑。特此通過引用整體併入的美國專利No. 6，826，284公開了一種系統，其中源跟蹤信息實現了舉例而言諸如相機調向的設備控制。此外，特此通過引用整體併入的「Knowing Who To Listen To In Speech Recognition :Visually Guided Beamforming" (U.Bub, M. Hunke, and A.Waibel, Interactive System Laboratories,IEEE 1995)禾口"Listen :A System For Locating And Tracking Individual Speakers" (M. Collobert, R.Ferraud, G. Le Tourneur, 0.Bernier, J. E. Viallet,Y. Mahieux,D. Collobert, France Telecom, IEEE Transactions (1999))公開了使用一種機械設備來移動相機朝向用戶臉部，用於在固定的電話會議條件下使用的視覺和音頻跟蹤。「Joint Audio-Video Object Localization and Tracking"(N. Strobel,S. Spors and R. Rabenstein, IEEE Signal Processing Magazine (2001))公開了一種物體β艮蹤方法。另外，美國專利No. 5，335，011公開了使用一種聲音定位技術，該技術基於每個用戶位置的先驗知識。然而，儘管有上述進展，但仍然存在對於提供改進的音頻採集系統的強烈需求。

發明內容
根據本發明的一個方面，公開了一種裝置。該裝置包括殼體、電子電路以及音頻-視覺源跟蹤系統。電子電路位於殼體之中。音頻-視覺源跟蹤系統包括第一視頻相機和麥克風陣列。第一視頻相機和麥克風陣列附接至殼體。音頻-視覺源跟蹤系統被配置成從第一視頻相機接收視頻信息。音頻-視覺源跟蹤系統被配置成至少部分地響應於所述視頻信息而從麥克風陣列採集音頻信息。根據本發明的另一方面，公開了一種方法。提供了一種殼體。在該殼體中安裝電子電路。在該殼體附近提供跟蹤系統。其中跟蹤系統包括第一視頻相機和麥克風。第一視頻相機附接至殼體。麥克風靠近第一視頻相機。跟蹤系統被配置成從第一視頻相機接收視頻信號。跟蹤系統被配置成至少部分地響應於所述視頻信號而從麥克風採集音頻信號。根據本發明的又一方面，公開了一種方法。使用一種裝置的相機採集第一圖像。確定該第一圖像的一部分相對於所述裝置的麥克風陣列的方向。至少部分地基於該第一圖像的所述部分的方向來控制麥克風陣列的預定特性。根據本發明的另一方面，公開了一種機器可讀的程序存儲設備，其有形地體現指令程序，該指令程序可由機器執行用於進行操作，以感測音頻信號。分析圖像的一部分。計算出與該圖像的所述部分相對應的方向。該方向是相對於一種裝置的。至少部分地基於計算出的方向而從該裝置導引麥克風陣列。根據本發明的又一方面，公開了一種裝置。該裝置包括殼體、電子電路以及音頻-視覺優化系統。電子電路位於殼體之中。音頻-視覺優化系統包括第一視頻相機和麥克風陣列。第一視頻相機和麥克風陣列附接至殼體。第一視頻相機包括至少一個可調參數。 音頻-視覺優化系統被配置成從麥克風陣列接收音頻信息。音頻-視覺優化系統被配置成至少部分地響應於所述音頻信息而對第一視頻相機的所述至少一個可調參數進行調節。根據本發明的另一方面，公開了一種方法。使用一種裝置的相機來採集圖像。確定該圖像的一部分的第一位置。採集對應於該第一位置的音頻信息。至少部分地響應於採集到的音頻信息而控制所述相機的參數。根據本發明的又一方面，公開了一種機器可讀的程序存儲設備，其有形地體現指令程序，該指令程序可由機器執行用於進行操作，以採集音頻-視覺信息。調整一種設備的麥克風陣列。評估由該麥克風陣列所接收到的音頻信息。至少部分地基於經評估的音頻信息而調節所述設備的相機參數。


在聯繫附圖進行的以下描述中，對本發明的前述方面和其他特徵進行解釋，在附圖中圖1是包含有本發明的特徵的一種電子設備的正面的透視圖；圖2是圖1中所示電子設備的背面的透視圖；圖3是用在圖1中所示電子設備中的一種示例性算法的框圖；圖4是用在圖1中所示電子設備中的一種跟蹤系統的一部分相對於用戶和坐標系的視圖；圖5是用在圖1中所示電子設備的跟蹤系統中的臉部檢測元素的視圖；圖6是包含有本發明的特徵的另一電子設備的透視圖；圖7是用在圖6中所示電子設備中的一種跟蹤系統的一部分相對於用戶的視圖；圖8是圖1和圖6中所示電子設備的一種示例性方法的框圖；圖9是圖1和圖6中所示電子設備的另一示例性方法的框圖；圖10是圖示了圖1和圖6中所示電子設備的組件的示意圖；圖11是圖1和圖6中所示電子設備的一種示例性方法的框圖；圖12是用在圖1和圖6中所示電子設備中的一個示例性臉部位置表的框圖；圖13是用在圖12中所示表中的另一示例性算法的框圖14是用在圖12中所示表中的另一示例性算法的框圖；以及圖15是圖1和圖6中所示電子設備的另一示例性方法的框圖。
具體實施例方式參考圖1，示出了包含有本發明的特徵的電子設備10的透視圖。儘管將參考附圖中所示的示例性實施方式描述本發明，但是應當理解，本發明可以在許多替代形式的實施方式之中實施。此外，可以使用任何合適的尺寸、形狀或者類型的元件或材料。根據圖1和圖2中所示的本發明的一個示例，設備10為多功能可攜式電子設備。 然而，在替代實施方式中，本發明的該示例性實施方式的特徵例如可以用於諸如行動電話、 遊戲設備、音樂播放器或者PDA之類的任何合適類型的手持可攜式電子設備。此外，如本領域中已知，設備10可以包括多個特徵或者應用，舉例而言，比如相機、音樂播放器、遊戲機或者網際網路瀏覽器。還參考圖2，設備10總體上包括具有正面14和背面16的殼體12、與天線20相連的收發器18、殼體12內的電子電路22 (舉例而言，比如控制器和存儲器)、用戶輸入區域M 以及顯示器沈。顯示器沈也可以構成用戶輸入部分，比如觸控螢幕。應當注意的是，在替代實施方式中，設備10可以具有本領域中已知的任何合適類型的特徵。電子設備10還包括主相機28，以及音頻-視覺源跟蹤系統30。主相機28安裝在殼體12內靠近設備10的背面16處。相機觀可以包括靜止圖像數位相機和/或視頻相機， 或者任何其他合適類型的圖像拍攝設備。音頻-視覺源跟蹤系統30包括副相機32和麥克風陣列34。副相機32安裝在殼體12內靠近設備10的正面14處。相機32例如可以包括視頻相機。該視頻相機可被定向或者配置成採集設備的用戶臉部的圖像。在使用所述設備進行視頻通話時，該視頻相機可以用於視頻採集。然而，也可以提供任何合適類型的圖像拍攝設備。例如，在替代實施方式中，該視頻相機也可以是安裝至計算機的、用於視頻通話的web 攝像頭。還應當注意的是，根據本發明的一個實施方式，相機還可以是在下述行動電話中用於視頻通話的相機，在這樣的行動電話中已集成雙相機一個面向背面，而另一個面向用戶專門用於視頻免提通話。麥克風陣列34安裝在殼體12內靠近副相機32處。麥克風陣列34可以圍繞相機 32(與之非常接近)。然而，在替代實施方式中，可以提供針對相機34的任何合適的位置或定向。麥克風陣列34被配置用以採集設備用戶的語音。麥克風34可被配置用於二維QD) 或三維(3D)麥克風陣列聲束調向。在圖1中所示的示例中，麥克風陣列34包括四個麥克風。然而，在替代實施方式中，可以提供更多或者更少的麥克風。例如，在一個實施方式中， 麥克風陣列34可以包括三個麥克風。相機32和麥克風陣列34的相對位置和定向可以是事先已知的(固定的)，或者基於視覺與聲音源跟蹤信息的時間平均而估計。然而，應當注意的是，可以使用本領域中已知的任何適當的定位手段來提供相機和麥克風陣列的相對位置和定向。麥克風陣列或者相機，或者二者，可以提供關於源距離的信息。應當注意，儘管附圖示出了主相機觀位於電子設備10的背面16而音頻-視覺源
8跟蹤系統30位於該設備的正面14，但替代實施方式可包括在任何適當位置上的相機觀和音頻-視覺源跟蹤系統30。例如，可將主相機觀提供在電子設備10的正面14，並且可以將音頻-視覺源跟蹤系統30提供在設備10的背面16。在另一示例中，可將主相機觀和音頻-視覺源跟蹤系統30 二者都提供在電子設備10的正面14或者背面16。此外，可將相機觀和音頻-視覺源跟蹤系統30 二者或其中之一提供在殼體12的側面。還可以利用相機信息來跟蹤設備的移動。還應當理解，可以提供兩個以上的相機或者單獨一個相機(其中所述單獨一個相機充當主相機和副相機)。根據本發明的各種示例性實施方式，音頻-視覺源跟蹤系統30為電話交談和視頻電話交談提供臉部跟蹤輔助定向音頻採集。音頻-視覺源跟蹤系統30提高了嘈雜環境中免提語音/視頻通話的上行音頻性能(或音頻質量)，而這可被最終用戶在移動語音通話期間察覺到。音頻-視覺源跟蹤系統30可以提供人臉的視頻跟蹤以及對麥克風陣列的定向敏感度的控制，以用於定向音頻採集，從而提高嘈雜環境中語音和/或視頻通話的質量。本發明的示例可以包括用於魯棒並高效的臉部檢測和跟蹤的先進技術。這樣的技術和算法已由若干研究團隊開發出來，並且它們目前正用於若干應用之中(例如臉部識別、臉部跟蹤等)。臉部跟蹤算法可以實現高的性能並且即使在例如計算能力相對較低的機器上(比如行動電話上)也可以實時運行。 音頻-視覺源跟蹤系統30被配置成使用與用戶的臉部位置相對應的視頻信息，用以協助音頻採集過程。這可以通過確定對設備講話的用戶的嘴部參考點並且將麥克風陣列的聲束形成為朝向用戶的嘴部(或者參考點)而進行。音頻-視覺源跟蹤系統30檢測和跟蹤由副相機所採集的視頻幀中用戶的臉部 (因為副相機被定向為朝著設備用戶)。相機和麥克風在設備內的固定位置允許相機相對於麥克風陣列的定向(或者聲束定向)的已知定向。應當注意的是，對於麥克風聲束定向或者聲束定向的參考還可以指用戶相對於麥克風陣列的面部方向。音頻-視覺源跟蹤系統 30可被配置用於選擇性地加強沿著朝向用戶嘴部的特定空間方向的音頻採集敏感度。例如，可將麥克風陣列34的敏感度調節為朝向用戶的方向(舉例而言，比如在用戶正在講話時)。因此有可能剔除不需要的聲音，而這提高了傳輸至遠端用戶的音頻的質量。不需要的聲音可能來自設備的側面或者任何其他方向(舉例而言，比如朝向用戶嘴部的方向之外的任何其他方向)，並且可被視為能被消除或者顯著降低的背景噪聲。在可能有明顯的反射以及直接聲音路徑的封閉環境中，本發明的示例通過降低並 /或消除來自周圍物體的反射而改善直接聲音路徑(因為期望的源的聲學房間反射未與直接聲音路徑的DOA對準)。房間反射的衰減可能也是有益的，因為混響使得語音更加難以理解。本發明的實施方式通過憑藉相應地導引麥克風陣列的聲束朝向用戶來跟蹤用戶臉部的位置，而在講話分音的靜默部分期間提供音頻增強。本發明的各種示例性實施方式通過憑藉使用關於所需信號的方向的額外信息來允許對移動中的源在講話停頓期間的分離、降低和估計(在非常低的SNR水平上)，而克服了常規純音頻技術的限制。現在還參考圖3，其示出了音頻-視覺源跟蹤系統30的示例性算法100。該算法可被提供用於實現用戶的視頻跟蹤並且控制麥克風陣列(對於要被傳輸的所需音頻信號)的定向麥克風聲束的敏感度。該算法可以包括以下步驟。使用副相機採集圖像幀(步驟 102)。在當前圖像幀中檢測用戶的臉部。可以例如使用膚色途徑來檢測臉部位置(步驟 104)。確定臉部邊界矩形的中心並且計算嘴部的大致位置(如圖5中所示)。還可以基於嘴部的顏色與膚色不同這一事實(眼睛和嘴在像素的膚色組中表現為孔洞)來檢測嘴部 (步驟106)。基於視頻幀中的嘴部位置並且基於關於相機焦距的知識來確定相對於麥克風陣列的臉部方向(舉例而言，比如嘴部的3D方向)。如果麥克風陣列靠近相機，則可將定義該3D方向的(沿水平和垂直方向的)兩個角確定如下θ χ = atan (x/f), θ y = atan (y/f)其中f表示相機焦距，而x、y是嘴部相對於幀圖像坐標的位置(見圖4、圖5)(步驟108)。增加麥克風陣列沿著確定於步驟108中的方向的定向性(相對敏感度)(步驟 110)。使用副相機採集新的幀(步驟11 。通過在鄰近先前幀中的先前臉部位置處進行搜索而跟蹤新的幀中新的臉部位置(步驟114)。返回步驟106。應當注意，可將所述算法提供為無限循環。然而，在替代實施方式中，該算法可以例如通過特定的用戶界面(UI)命令而成為開始/停止算法。然而，可以提供任何適當的算法。現在還參考圖4，示出了示例說明如何可以確定朝向所述(跟蹤臉部/嘴部)位置的方向(如以上算法100中所示)的一個示例的視圖。用戶40的嘴部38的(相對於相機32的光心36的)方向由兩個角θχ、ey定義。在所示實施方式中，麥克風陣列34緊緊圍繞相機32的光心36。此外，在42處示出了圖像所投射到的圖像傳感器平面，在44處示出了原點處於相機光心的3D坐標系，並且在46處示出了 2D圖像坐標系。現在還參考圖5，示出了示例說明各種臉部檢測元素(如在以上算法100中所示) 的視圖。在200處示出了由副相機所採集的示例圖像幀。在圖像幀200中示出了檢測到的用戶40的臉部。在202處示出了臉部區域的邊界矩形。在204處示出了該邊界矩形的中心。在206處示出了假設為嘴部38的位置的、在所述中心之下的位移。在208處示出了近似於嘴部位置的感興趣點。本發明的各種示例性實施方式提供了改進的配置，該配置允許高質量的免提語音和/或視頻通話(即使是在嘈雜環境中)。此外，還可以提供在講話停頓期間(比如在講話分音之間的停頓期間發送音頻)的通話者跟蹤的優點。另外，本發明的示例可以利用具有兩個相機(一個相機面向用戶)的行動裝置中的已有相機硬體。再另外，只要麥克風陣列位於靠近相機模塊處，那麼本發明的實施方式便可以適配於單相機產品。現在還參考圖6和圖7，示出了具有包括兩個相機332和三個麥克風334在內的音頻-視覺源跟蹤系統330的電子設備300。音頻-視覺源跟蹤系統330通過使用兩個相機 332估計相對於用戶40的嘴部38的聲束定向370而提供上行音頻中的音頻質量改善。如果麥克風陣列334如圖6中所示位於遠離相機視角(實際上相機模塊本身)處，則用戶40 的臉部位置與麥克風陣列的中心之間的距離可能難以計算。例如，對於較大的距離380，可以提供深度390信息來估計聲束定向370。另一方面，當相機32與麥克風34之間的距離相對較小時，只有一個相機可以具備設備10的音頻-視覺源跟蹤系統30的配置。可以通過使用兩個相機332估計深度390來提供對相關於用戶40臉部的麥克風聲束方向370的估計。本發明的實施方式因此在行動電話設計中提供靈活性，其中可以通過具有更好的麥克風位置靈活性而設計麥克風陣列。此外，應當注意的是，可以使用一個或多個相機來估計用戶40的嘴部38的仰角(方位角)396。還可以使用提供針對圖像的深度圖的單個3D相機技術來獲取距離信息。圖8示出了製造電子設備10、300的方法400。該方法包括以下步驟。提供殼體 (步驟40幻。在殼體內安裝電子電路(步驟404)。在殼體附近提供跟蹤系統，其中所述跟蹤系統包括第一視頻相機和麥克風，其中第一視頻相機附接至殼體，其中麥克風靠近第一視頻相機，其中跟蹤系統被配置成從第一視頻相機接收視頻信號，並且其中跟蹤系統被配置成至少部分地響應於所述視頻信號而從麥克風採集音頻信號(步驟406)。應當注意，任何上述步驟都可以單獨執行，或者結合一個或多個所述步驟執行。圖9示出了方法500。該方法包括以下步驟。使用一種裝置的相機採集第一圖像 (步驟50幻。確定該第一圖像的一部分相對於所述裝置的麥克風陣列的方向(步驟504)。 至少部分地基於第一圖像的所述部分的方向來控制麥克風陣列的預定特性(步驟506)。現在還參考圖10，設備10、300 —般包括控制器600，舉例而言，比如微處理器。電子電路包括耦合至控制器600的存儲器602，舉例而言，比如位於印刷電路板上。該存儲器可包括多個存儲器，舉例而言，包括可移動存儲模塊。所述設備具有用戶可以使用的應用 604，比如軟體。該應用例如可以包括電話應用、網際網路瀏覽應用、遊戲娛樂應用、數位相機應用等等。這些只是一些示例，而不應被視為限制。一個或多個用戶輸入M、3M耦合至控制器600，並且一個或多個顯示器沈、3沈耦合至控制器600。音頻-視覺跟蹤系統30、330 也耦合至控制器600。設備10、300可被編程為自動地改變採集或者感測音頻信號。然而， 在一個替代實施方式中，這可能並不是自動的。用戶可能需要主動地在跟蹤系統30、330中選擇變化。本發明的各種示例性實施方式提供了相比於僅針對音頻的常規配置的優勢。在雙向通信系統中，由於用戶的(以及相應的嘴部參考點的)相對位置和/或手持機的位置可能改變，因而會出現挑戰。僅針對音頻的跟蹤系統需要音頻數據來計算到達方向(DOA)，並因此對於跟蹤信息引入處理延遲。在實時語音通信中，為了流暢的操作而希望最小化點對點延遲。比如，當用戶在講話的靜默部分期間移動時，源跟蹤器將失去嘴部參考點。錯誤的嘴部參考點(這相應地意味著錯誤的麥克風聲束定向)可能很容易在初始講話分音開始時造成失真。這種情況下音頻-視覺源跟蹤系統可能是有益的，因為它可以實時地更新源位置信息。具有空間方向性的一個或多個麥克風通過憑藉衰減對於除期望源的方向之外的方向的敏感度來突出來自所述期望源的方向的聲音，而改善音頻信號的採集。通過音頻-視覺源跟蹤，可以將麥克風陣列的最高敏感度調向成朝向期望的源(一般是用戶的臉部(或者嘴部))。仍參考圖10，設備10可以包括根據本發明的另一示例的音頻-視覺源跟蹤系統 730。與跟蹤系統30類似，跟蹤系統(或者音頻-視覺優化系統)730(也示於圖1中)包括副相機32和麥克風陣列34。類似地，系統730被配置成通過將音頻敏感度調整為朝向人臉方向而優化設備10的音頻採集。如上所述，可以通過調整麥克風陣列34的敏感度聲束而朝期望的空間方向最大化音頻敏感度。然而，系統730在存在多個通話者的情況下(舉例而言，比如在電話會議期間)提供優化通信的音頻視覺質量的技術效果。音頻-視覺優化系統730提供一種方法，以在具有多個參與者的一般通信方案中(舉例而言，比如電話會議，或者當在一個位置上存在多個參與者時的專屬視頻電話交談， 或者視頻錄製)同時優化針對活躍通話者的音頻和視頻質量採集。根據本發明的一個示例，在圖11中示出了一種方法900。所公開的方法可以包括以下處理部分或者步驟。檢測並跟蹤存在於由一個或多個相機所採集到的視頻幀中的所有臉的位置(步驟90幻。這可以在視頻通話期間在單獨線程中連續運行的單獨進程中實現。 該進程例如可以監控視頻流中所有檢測到的臉的位置，並且在可被其它進程訪問的表中更新這些位置。通過以很短的時間間隔連續地將麥克風陣列的敏感度調整為朝向各個臉方向來檢測通話者(步驟904)。如果在這樣的方向上檢測到的音頻水平超過閾值，則將對應的臉視為活躍通話者的臉。當關於當前方向的音頻水平下降至閾值以下時，繼續進行臉方向的連續掃描。每當麥克風陣列檢測到一個活躍通話者時，就針對該活躍通話者的臉部的最佳檢測而優化相機參數(步驟906)。舉例而言，這可以包括比如自動對焦至所述臉上，並且根據該臉部的照明而自動曝光之類的操作。然而，在替代實施方式中，可以調節和/或優化任何相機參數或操作。以這種方式，系統可以處理在其中通話者的臉並不全都處於相同照明條件下並且處於離一個或多個相機的相同距離處的情況。此外，一些臉可能處於現場的非常亮或者非常暗的區域之中，並因此需要調節曝光參數以正確地採集它們的圖像。另一方面，一些臉可能位於距相機更近或更遠處，使得它們無法同時被全部對焦。在這種情況下，系統可以提供在每一時刻對活躍通話者臉部進行正確對焦的保證。此外，本發明的各種實施方式還可以處理其中麥克風陣列未被置於在空間上接近相機之處的情況。例如，參考圖6和圖10，設備300可以包括根據本發明的另一示例的音頻-視覺源跟蹤系統830。與跟蹤系統330類似，跟蹤系統830 (或者音頻-視覺優化系統) 包括兩個相機332和三個麥克風334。類似地，系統830被配置成通過將音頻敏感度調整為朝向人臉的方向而優化設備的音頻採集。如上所述，音頻-視覺優化系統830允許對相對於用戶嘴部的聲束定向進行估計。系統830在無需將麥克風陣列位置限制在一個或多個相機附近的情況下，在有多個通話者的情況中提供經優化的通信音頻視覺質量。當麥克風陣列不接近相機時，檢測到的臉部相對於麥克風陣列的方向可能不再與該臉部相對於相機光心的方向相同(或者接近)。如圖7中所示(以及上文所討論)，示出了在其中麥克風陣列334被置於距相機的距離380處並且通過立體視覺使用兩個相機332 估計深度信息的情況。在這樣的情況中，在沒有深度信息的知識的情況下，或者換言之在沒有3D空間中的臉部位置的知識的情況下，可能無法確定用戶40的臉部(或者嘴部38)相對於麥克風陣列334的方向。音頻-視覺優化系統830的兩個相機332允許基於由每個相機所採集的圖像中的臉部相對位置來進行對深度(或者深度信息)的估計(見圖7)。距離 380越大，確定關於臉部的深度信息就越重要，以便估計相對於麥克風陣列的臉部定向。應當注意的是，在替代實施方式中，可以提供兩個以上的相機332。此外，在其它實施方式中， 在假設已知典型的臉部尺寸的知識的情況下，可以通過分析採集到的圖像中的臉部尺寸而提供使用單個相機的深度估計。本發明的各種實施方式可以提供可移動相機鏡頭/光學器件，所述鏡頭/光學器件由麥克風陣列在一定靈活度內控制和調向，這提供了改善的視角靈活性。此外，可以伴隨語音/視頻通話、視頻錄製或者其它相關使用情況而利用本發明的實施方式。根據本發明的一個實施方式，系統730、830包括兩個可運行在不同線程中的進程。這兩個進程可通過「臉部位置表(FPT)」1000進行通信(見圖12)。FPT 1000可由一個進程更新，並由另一進程讀取。FPT中的每個行1002對應於一張檢測到的臉，並且包括該臉部在3D空間中的位置。第一進程可以是「臉部跟蹤器(FT)」進程1100，而第二進程可以是 「音頻-視覺優化器(AVO) 」進程1200。圖12示出了本發明的使用所述兩個進程(「臉部跟蹤器」 1100和「音頻-視覺優化器」 1200)的一個實施方式的示意圖，所述兩個進程運行在不同線程中，並且通過包含該場景中所檢測到的每張臉的位置的表(「臉部位置表」)1000 進行通信。FT進程1100可被配置成連續檢測視頻流中的臉並且在FPT 1000中更新它們的位置。AVO進程1200可被配置成掃描FPT 1000中的臉部位置，檢測活躍通話者的臉部，並優化(來自FT進程1100的)對應的方向/位置中的音頻視覺檢測。現在還參考圖13，可以提供一種運行在FT進程1100中的算法1102來針對每個相機執行以下步驟。採集圖像幀(步驟1104)。基於例如膚色方法來檢測該圖像幀中所有臉的位置(步驟1106)。以檢測到的臉在所述圖像中從左至右並且自上而下的位置順序來標記所述檢測到的臉(步驟1108)。一般而言，每張真實的臉在所有相機中都將具有相同的標記。此外，可以為每個相機提供步驟1104-步驟1108中的各個步驟。基於其在不同相機幀中的相對位置來估計深度(步驟1110)。用新的臉部位置來更新FPT表1000(步驟1112)。 移至步驟1104。可以為每個臉部標記提供步驟1108、步驟1110中的各個步驟。現在還參考圖14，可以提供一種運行在AVO進程1200中(並且假設在FPT表1000 中存在K張臉)的算法1202來執行以下步驟。將麥克風陣列敏感度聲束調整為朝向來自 FPT表1000的第一張臉(步驟1204)。如果音頻水平高於閾值(步驟1206)，則調節針對當前臉部區域的相機自動曝光(步驟1208)、調節針對當前臉部區域的相機自動對焦(步驟 1210)，並返回步驟1206。否則(如果音頻水平不高於閾值)，則將麥克風陣列敏感度聲束調整為朝向來自FPT表的下一張臉(步驟1212)，並且返回步驟1206。圖15示出了一種方法1300。該方法1300包括以下步驟。使用一種裝置的相機採集圖像(步驟130 。確定該圖像的一部分的第一位置(步驟1304)。採集對應於該第一位置的音頻信息(步驟1306)。至少部分地響應於採集到的音頻信息來控制所述相機的參數(步驟1308)。根據本發明的各種示例性實施方式，公開了一種用於改善的音頻-視覺通信的方法。本發明的實施方式涉及在存在多個參與者時的一般通信方案(舉例而言，比如視頻通話、視頻錄製)中同時優化關於活躍通話者的音頻和視頻(採集)質量。本發明的實施方式提供這樣一種方法該方法標識多個通話者群組內的活躍通話者，並且相應地更新視覺參數。具有麥克風(音頻)和相機(視頻)的常規設備配置一般被獨立地考慮，並且該情境限於兩個領域(音頻和視頻)相互聯繫的情況。單獨地(獨立地)考慮麥克風和相機， 可能會限制分別在音頻和視頻質量中可能實現的技術效果。本發明的各種實施方式提供了對兩種類型的傳感器(麥克風和相機)所採集到的信息的結合，以提高彼此的質量。例如， 常規配置一般利用改進的相機、鏡頭和軟體支持來僅僅改善成像和視頻錄製。然而，這些改善一般被採用在較窄的範圍或應用類別內。本發明的實施方式因此提高質量，並且創造了將改進的技術適配於行動電話設備中的機會。在一般音頻視覺通信方案(比如視頻會議或者其他視頻電話設置)中，處於一個
13位置的一個或多個通話者通過音頻和視頻信號與處於另一位置的一個或多個通話者通信。 在一種簡單的常規設置中，在每個位置的一個相機和一個麥克風似乎就足以實現這一通信方案。然而，由於視頻質量一般取決於對所有通話者而言可能並不一定都是最佳的相機設置(例如，活躍通話者可能不在焦點，或者處於現場的非常暗/亮的區域之中，使得相機無法正確採集圖像)，因而可能出現各種技術問題。此外，存在於一個位置的背景噪聲可能會干擾來自活躍通話者方向的音頻信號。另外，相機和麥克風可能未被放置在空間上靠近的位置處，使得活躍通話者相對於麥克風陣列的方向在沒有3D空間中臉部位置的知識的情況下可能無法確定出來。相應地，本發明的實施方式可以減輕由常規配置所造成的上述各種技術問題。根據本發明的各種實施方式，音頻和視覺組件可以提供視頻檢測和人臉跟蹤；控制麥克風陣列的定向敏感度，用於定向音頻採集(自適應聲束成形)；以及立體成像，用以採集針對 (圖像中的)物體的(相對於相機的)深度信息。如上所述，音頻和視覺組件可以包括至少一個視頻相機，其採集用戶臉部的圖像；以及麥克風陣列，其被配置成採集用戶的語音(其中麥克風陣列無需被置於一個或多個相機附近)。麥克風陣列可以包括至少3個被配置用於對麥克風陣列進行二維OD)聲束調向的麥克風(例如，其可以是全向麥克風)。當麥克風陣列與相機之間的距離增大時，所述至少一個視頻相機可以包括多個相機。然而，可以提供任何適當的音頻/視覺組件配置。本發明的實施方式在具有一個或多個參與者並且/或者在嘈雜環境中的免提語音和/或視頻通話期間提供改進的音頻和視頻採集質量。本發明的實施方式提供了分別針對音頻數據和視覺數據的優化，並因此提高了許多用例(舉例而言，比如視頻通話、視頻錄製情況)的質量。本發明的實施方式提供了一種用於標識多通話者群組內的通話者並且更新視覺參數的方法。系統通過一個或多個相機來檢測/跟蹤臉的位置，通過麥克風陣列的幫助來檢測活躍通話者，並且使用最佳檢測來優化視覺信息。本發明的各種實施方式可適用於靜默情況，並且還可以適用於多通話者群組。本發明的實施方式還可以包括由麥克風陣列控制的可移動相機鏡頭/光學器件，這樣可以產生針對視角的提高的靈活性。本發明的示例提供了改善的配置，其通過優化針對每個時刻的活躍通話者的視頻參數(曝光、對焦)而允許在不同的位置和照明條件的情況下的增強的音頻/視頻採集。此外，本發明的一些實施方式可在講話停頓期間實現通話者跟蹤，因為它依靠對可見現場中出現的所有臉部的連續視頻跟蹤。另外，本發明的實施方式可以增強視頻錄製和電視電話會議語音通話，以及與音頻數據和視覺數據二者相關的質量。根據本發明的一個示例，公開了一種裝置。該裝置包括以下元件。殼體。處於該殼體中的電子電路。包括第一視頻相機和麥克風陣列的音頻-視覺源跟蹤系統，其中第一視頻相機和麥克風陣列附接至殼體，其中音頻-視覺源跟蹤系統被配置成從第一視頻相機接收視頻信息，並且其中音頻-視覺源跟蹤系統被配置成至少部分地響應於所述視頻信息而從麥克風陣列採集音頻信息。根據本發明的另一示例，公開了一種機器可讀的程序存儲設備。該程序存儲設備有形地體現指令程序，該指令程序可由機器執行用於進行操作，以感測音頻信號。該程序存儲設備可以進行以下操作。分析圖像的一部分。計算與所述圖像的所述部分相對應的方向，其中該方向是相對於一種裝置的。至少部分地基於計算的方向而導引所述裝置的麥克風陣列。根據本發明的又一示例，公開了一種裝置。該裝置包括殼體、電子電路和音頻-視覺優化系統。電子電路位於殼體中。音頻-視覺優化系統包括第一視頻相機和麥克風陣列。所述第一視頻相機和麥克風陣列附接至殼體。第一視頻相機包括至少一個可調參數。 音頻-視覺優化系統被配置成從麥克風陣列接收音頻信息。音頻-視覺優化系統被配置成至少部分地響應於所述音頻信息而調節第一視頻相機的所述至少一個可調參數。根據本發明的另一示例，公開了一種機器可讀的程序存儲設備。公開了有形地實現可由機器為了進行採集音頻-視覺信息的操作而執行的指令程序的程序存儲設備。調整一種設備的麥克風陣列。評估由該麥克風陣列所接收到的音頻信息。至少部分地基於經評估的音頻信息來調節所述設備的相機參數。應當理解，本發明的組件可以可操作地耦合或連接，並且可以存在任何數量的介於中間的元件及其任何組合(包括無介於中間的元件)。連接可以是直接的或間接的，並且此外組件之間可以僅具有功能上的關係。應當理解，前文的描述僅僅是對本發明的示例說明。本領域中技術人員可在不背離本發明的情況下設計出各種替代和修改。因此，本發明旨在囊括處於隨附權利要求書範圍內的所有這樣的替代、修改和變動。
權利要求
1.一種裝置，其包括殼體；位於所述殼體中的電子電路；以及包括第一視頻相機和麥克風陣列的音頻-視覺源跟蹤系統，其中所述第一視頻相機和所述麥克風陣列附接至所述殼體，其中所述音頻-視覺源跟蹤系統被配置成從所述第一視頻相機接收視頻信息，並且其中所述音頻-視覺源跟蹤系統被配置成至少部分地響應於所述視頻信息而從所述麥克風陣列採集音頻信息。
2.根據權利要求1所述的裝置，其中所述麥克風陣列靠近所述第一視頻相機。
3.根據權利要求1或者2所述的裝置，其中所述麥克風陣列包括至少三個麥克風。
4.根據權利要求1-3中的任意項所述的裝置，其中所述音頻-視覺源跟蹤系統被配置成至少部分地響應於所述視頻信息來調節和導引所述麥克風陣列的敏感度。
5.根據權利要求1-4中的任意項所述的裝置，其中所述音頻-視覺源跟蹤系統被配置成從所述第一視頻相機接收與所述裝置的用戶相對應的視頻信息。
6.根據權利要求1-5中的任意項所述的裝置，其中所述裝置包括移動手持機。
7.根據權利要求1-6中的任意項所述的裝置，其中所述音頻-視覺源跟蹤系統被配置成至少部分地響應於所述裝置的用戶的定向來採集所述用戶的語音。
8.根據權利要求1-7中的任意項所述的裝置，其中所述第一視頻相機被配置成朝所述裝置的用戶定向。
9.根據權利要求1-8中的任意項所述的裝置，其中所述麥克風陣列圍繞所述第一視頻相機。
10.根據權利要求1-9中的任意項所述的裝置，其還包括第二視頻相機，其中所述第一視頻相機和第二視頻相機被配置用以估計所述麥克風陣列的聲束定向。
11.一種方法，其包括提供殼體；在所述殼體中安裝電子電路；並且在所述殼體附近提供跟蹤系統，其中所述跟蹤系統包括第一視頻相機和麥克風陣列， 其中所述第一視頻相機附接至所述殼體，其中所述麥克風陣列在所述第一視頻相機附近， 其中所述跟蹤系統被配置成從所述第一視頻相機接收視頻信號，並且其中所述跟蹤系統被配置成至少部分地響應於所述視頻信號而從所述麥克風採集音頻信號。
12.根據權利要求11所述的方法，其中所述麥克風陣列包括至少三個麥克風。
13.根據權利要求11或者12所述的方法，其中所述提供所述跟蹤系統還包括提供臉部檢測系統，該臉部檢測系統被配置成至少部分地基於檢測到的用戶臉部來調節和導引所述麥克風陣列的敏感度。
14.根據權利要求11-13中的任意項所述的方法，其中所述提供所述跟蹤系統還包括在所述第一視頻相機周圍附接所述麥克風陣列。
15.根據權利要求11-14中的任意項所述的方法，其中所述殼體構成一種裝置的一部分，並且其中所述提供所述跟蹤系統還包括將所述第一視頻相機定向為朝向所述裝置的用戶。
16.根據權利要求11-15中的任意項所述的方法，其中所述提供所述跟蹤系統還包括提供第二視頻相機，其中所述第一視頻相機和所述第二視頻相機被配置用於估計針對所述麥克風的聲束定向。
17.一種方法，其包括使用一種裝置的相機採集第一圖像；確定所述第一圖像的一部分相對於所述裝置的麥克風陣列的方向；以及至少部分地基於所述第一圖像的所述部分的所述方向來控制所述麥克風陣列的預定特性。
18.根據權利要求17所述的方法，其中所述控制所述麥克風陣列的所述預定特性還包括控制所述麥克風的敏感度。
19.根據權利要求17或者18所述的方法，其中所述確定所述第一圖像的所述部分的所述方向還包括在所述第一圖像中檢測所述裝置的用戶的臉部。
20.根據權利要求17-19中的任意項所述的方法，其中所述採集所述第一圖像還包括採集所述裝置的用戶的圖像，並且其中所述確定所述圖像的所述部分的所述方向還包括確定所述用戶的頭部方向。
21.根據權利要求20所述的方法，其中所述控制所述麥克風陣列的所述預定特性還包括至少部分地基於所述確定的頭部方向來控制麥克風陣列的預定特性。
22.根據權利要求21所述的方法，其中所述控制所述麥克風陣列的所述預定特性還包括至少部分地基於所述確定的頭部方向來調節和導引所述麥克風陣列的敏感度。
23.根據權利要求17-19中的任意項所述的方法，其還包括使用所述裝置的所述相機採集第二圖像；以及至少部分地基於所述第一圖像的所述部分的所述確定的方向來確定另一圖像的一部分的方向。
24.一種機器可讀的程序存儲設備，其有形地體現指令程序，該指令程序可由所述機器運行用於進行操作，以感測音頻信號，所述操作包括分析圖像的一部分；計算與所述圖像的所述部分相對應的方向，其中所述方向是相對於一種裝置的；以及至少部分地基於計算的方向從所述裝置導引麥克風陣列。
25.根據權利要求M所述的程序存儲設備，其中所述導引所述麥克風陣列還包括導引所述麥克風陣列的聲束。
26.根據權利要求M或者25所述的程序存儲設備，其中所述計算與所述圖像的所述部分相對應的所述方向還包括計算被採集於所述圖像中的所述裝置的用戶的嘴部的位置。
27.一種裝置，其包括殼體；位於所述殼體之中的電子電路；以及包括第一視頻相機和麥克風陣列的音頻-視覺優化系統，其中所述第一視頻相機和所述麥克風陣列附接至所述殼體，其中所述第一視頻相機包括至少一個可調參數，其中所述音頻-視覺優化系統被配置成從所述麥克風陣列接收音頻信息，並且其中所述音頻-視覺優化系統被配置成至少部分地響應於所述音頻信息來調節所述第一視頻相機的所述至少一個可調參數。
28.根據權利要求27所述的裝置，其中所述至少一個可調參數包括自動對焦參數。
29.根據權利要求27或者觀所述的裝置，其中所述至少一個可調參數包括自動曝光參數。
30.根據權利要求27-29中的任意項所述的裝置，其中所述麥克風陣列被配置用於麥克風陣列聲束調向。
31.根據權利要求27-30中的任意項所述的裝置，其中所述麥克風陣列包括至少三個麥克風。
32.根據權利要求27-31中的任意項所述的裝置，其中所述音頻-視覺優化系統還包括第二視頻相機。
33.根據權利要求32所述的裝置，其中所述第一視頻相機和所述第二視頻相機與所述麥克風陣列間隔開來。
34.根據權利要求32或者33所述的裝置，其中所述第一視頻相機和所述第二視頻相機被配置用於估計深度信息。
35.一種方法，其包括使用一種裝置的相機採集圖像；確定所述圖像的一部分的第一位置；採集與所述第一位置相對應的音頻信息；以及至少部分地響應於採集到的音頻信息來控制所述相機的參數。
36.根據權利要求35所述的方法，其中所述控制所述參數還包括控制所述相機的曝光和/或對焦參數。
37.根據權利要求35或者36所述的方法，其中所述採集所述音頻信息還包括調節麥克風陣列的敏感度。
38.根據權利要求37所述的方法，其還包括從第一用戶到第二用戶連續調節所述麥克風陣列的敏感度。
39.一種機器可讀的程序存儲設備，其有形地體現指令程序，該指令程序可由所述機器執行用於進行操作，以採集音頻-視覺信息，所述操作包括調整一種設備的麥克風陣列；評估由所述麥克風陣列所接收到的音頻信息；以及至少部分地基於經評估的音頻信息來調節所述設備的相機參數。
40.根據權利要求39所述的程序存儲設備，其還包括 使用所述相機採集圖像幀；以及估計所述圖像的一部分相對於所述相機的深度。
41.根據權利要求39或者40所述的程序存儲設備，其還包括至少部分地基於第二不同的經評估的音頻信息來調節所述設備的所述相機參數。
全文摘要
本文公開了一種裝置。該裝置包括殼體、電子電路以及音頻-視覺源跟蹤系統。電子電路位於殼體中。音頻-視覺源跟蹤系統包括第一視頻相機和麥克風陣列。第一視頻相機和麥克風陣列附接至殼體。音頻-視覺源跟蹤系統被配置成從第一視頻相機接收視頻信息。音頻-視覺源跟蹤系統被配置成至少部分地響應於所述視頻信息而從麥克風陣列採集音頻信息。音頻-視覺源跟蹤系統可以包括附接至殼體的第二視頻相機，其中第一視頻相機和第二視頻相機一起估計麥克風陣列的聲束定向。
文檔編號H04R29/00GK102160398SQ200880131153
公開日2011年8月17日 申請日期2008年11月26日 優先權日2008年7月31日
發明者K·奧茨坎, M·K·韋維萊南, M·S·阿馬萊南, M·蒂科 申請人:諾基亞公司