Methodsandsystemsforoptimizedprocessinginatelepresencesystemfor...的製作方法

2023-05-23 18:07:21 1

專利名稱：Methods and systems for optimized processing in a telepresence system for ...的製作方法
技術領域：
本發明一般地涉及通信，並且更具體地涉及視頻會議。
背景技術：
以實物大小、高清晰(HD)視頻和立體聲質量音頻為特徵的遙在(Tekpresence) 系統向遠距離的人提供逼真的面對面交互體驗。其通過收斂的網絡來傳遞獨特的「親身 (in-person) 」體驗。使用先進的視覺、音頻和協作技術，這些「遙在」應用在人們的工作和 個人生活中在人和地點之間傳遞實時的面對面交互。在某些情況中，這些產品使用房中房 環境以及實物大小的圖像，以及高清晰解析度結合空間離散的音頻來創建圍繞單張「虛擬 的」桌子的逼真的面對面會談。當前的遙在系統的缺點在於不能夠提供會議室中參與者的360°視圖。在當前的 系統中，會議的所有參與者必須要位於面向相機的同一側。如果存在圓桌會議而參與者環 繞桌子分布，則相機僅能提供會議中所有參與者的一個視圖而不能提供360°視圖。並且，在當前的系統中，那些「虛擬的」會議室必須被特別布置以用於遙在功能。通 常這樣的布置使所有的本地參與者要坐成一行，相機和顯示器對著他們。這種典型布置將 房間分為兩半，並且使得其僅適用於遙在。因此，希望有本地參與者能夠環繞會議桌而坐就像他們自然應該那樣的多點會議 系統。在三個方面需要新的方法1)房間、相機和顯示器布置；2)圖像捕獲和呈現技術，以 及3)特用於支持360°視圖的圖像和數據處理。

發明內容
這裡公開了用於遙在系統中的圖像處理的系統和方法的實施例。在一個實施例 中，這些方法可以包括接收視頻幀，基於光學特性來以與視頻幀的第二部分不同的質量編 碼視頻幀的第一部分，以及顯示視頻幀。另外的優點將在隨後的描述中部分闡述或者可以通過實踐習得。通過權利要求中 所具體指出的元素和組合將實現和獲得這些優點。應當理解，前述一般性描述以及後述詳 細描述都是示例並且如所宣稱的僅僅是說明性的而不是限制性的。


該說明書中所結合的並且構成其一部分的並且不是按比例畫出的附示出了 實施例，並且與描述一起用來說明本方法和系統的基本原理圖1圖示出包括進行視頻會議的兩個端點的通信系統；圖2a和圖2b圖示出使用相機和多個視圖顯示設備來同時向本地參與者提供遠程 參與者的視角依賴視圖的端點；圖3是具有兩個端點的示出相互對話的兩個三方系統(triple)的多點視頻會議 系統(可以稱為2x3會議)的示例示4
圖4示出不同位置處的4個人之間進行的多點會議(可以稱為4x1會議)；圖5a到圖5c圖示出具有兩個端點的示出一個端點處的一組6個參與者與另一端 點處的一個參與者對話的多點視頻會議系統的示例；圖6圖示出示例全景鏡頭和全景圖像；圖7是視頻會議系統中用於圖像處理的示例流程圖；以及圖8是多點視頻會議系統的實施例的示圖。
具體實施例方式在公開和描述本方法和系統之前，應當理解，這些方法和系統不限於特定的綜合 方法、特定的組件或特定的構成，因為這些方法、組件或構成當然可以變化。還應當理解，這 裡使用的術語目的僅在於描述具體實施例，而不希望是限制性的。在本說明書和權利要求書中，單數形式「一個」和「該」包括複數的指示物，除非上 下文清楚地另外指出。範圍在這裡可以表述為從「約」 一個具體值和/或到「約」另一具體 值。當表述這樣的範圍時，另一實施例包括從一個具體值和/或到另一具體值。類似地，當 值被表述為近似值時，通過在前面使用「約」，將理解，具體值形成另一實施例。還將理解，每 個範圍的端點在與另一端點相關和獨立於另一端點方面都是重要的。這裡使用的「示例性」是指「……的一個示例」，並且不是想傳達理想的或優選的實 施例的感覺。「可選的」或「可選地」是指隨後描述的事件或環境可能出現或可能不出現，並且該 描述包括所述事件或環境出現的場合和其不出現的場合。參考以下優選實施例的詳細描述和這裡所包括的示例以及參考附圖及其前後描 述可以更容易地理解本方法和系統。圖1圖示出一般以10表示的通信系統，其包括進行視頻會議的兩個端點。如圖所 示，通信系統10包括連接端點14和視頻會議管理器16的網絡12。儘管未被示出，但是通 信系統10也可以包括輔助視頻會議的任意其它合適的元件。一般地，在視頻會議期間，本地端點14處的顯示器被配置為同時顯示遠程端點14 的多個視頻流。這些視頻流每一個可以包括從不同視角或角度看到的遠程端點14的圖像。 在某些場合中，本地端點處的位置可能未被佔據或者相機角度未被針對被佔據的位置中的 參與者來優化。通過重新配置本地端點處的相機，可以防止空閒位置的圖像並提高參與者 的注視，這可以產生更真實的視頻會議體驗。網絡12互連通信系統10的元件並且輔助通信系統10中的端點14之間的視頻會 議。儘管未被示出，但是網絡12可以包括用於輔助通信系統10中的端點14、視頻會議管 理器16和其它元件之間的通信的任意合適的設備。網絡12表示包括用於將耦接到網絡 12或在網絡12內的元件進行互連的硬體和任意合適的控制邏輯的通信裝備。網絡12可 以包括區域網(LAN)、城域網(MAN)、廣域網(WAN)、任意其它公共或專用網絡、局部、地區或 全球通信網絡、企業內聯網、其它合適的有線或無線通信鏈路、或任意合適的網絡的任意組 合。網絡12可以包括網關、路由器、集線器、交換器、接入點、基站和執行合適的協議和通信 的任意其它硬體或軟體的任意組合。端點14(或僅僅「點」)表示支持參與視頻會議的電信裝備。通信系統10的用戶
5可以採用端點14中的一個端點來參與與端點14中的另一個端點或通信系統10中的另一 設備的視頻會議。在具體實施例中，端點14被部署在地理上相距遙遠的位置的會議室中。 端點14可以在視頻會議期間被用來向參與者提供無縫視頻會議體驗，其目的是與面對面 的會議近似。每個端點14可以被設計為發送和接收任意合適數目的音頻和/或視頻流，這 些音頻和/或視頻流傳遞在那個端點14處的參與者的聲音和/或圖像。通信系統10中的 端點14可以生成任意合適數目的音頻、視頻和/或數據流以及從參與視頻會議的其它端點 14接收任意合適數目的流。此外，端點14可以包括用於使用任意合適的協議技術或方法 來建立和輔助視頻會議的任意合適的組件和設備。例如，可以使用會話發起協議(SIP)或 H. 323。另外，端點14可以支持其它視頻系統和純音頻電話設備，並且不能結合支持諸如 H. 261、H. 263和/或H. 264之類的其它標準的其它視頻系統操作。如圖所示，端點14包括 控制器18、存儲器20、網絡接口 22、麥克風24、揚聲器26、相機28和顯示器30。並且，儘管 未被示出，但是端點14可以包括任意其它合適的視頻會議裝備，例如，揚聲器電話、用於發 送數據的掃描儀和用於觀看所發送的數據的顯示器。控制器18控制端點14的操作和管理。控制器18可以處理從諸如網絡接口 22、 麥克風24、揚聲器26、相機28和顯示器30之類的其它元件接收到的信息和信號。控制器 18可以包括任意合適的硬體、軟體和/或邏輯。例如，控制器18可以是可編程邏輯設備、 微控制器、微處理器、處理器、任意合適的處理設備或前述設備的任意組合。存儲器20可以 存儲在提供視頻會議功能中由控制器18使用的任意數據或邏輯。在某些實施例中，存儲器 20可以存儲由其相對應的端點14內的元件所接收到的數據以及從遠程端點14接收到的 數據中的全部、某些，或不存儲這些數據。存儲器20可以包括任意形式的易失性或非易失 性存儲器，包括但不限於磁介質、光介質、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可移 除介質或任意其它合適的本地或遠程存儲器組件。網絡接口 22可以將信息和信號傳送至 網絡12以及從網絡12接收信息和信號。網絡接口 22表示任意埠或連接(真實的或虛 擬的)，包括使得端點14可以與網絡12、其它端點14、視頻會議管理器16、和/或通信系統 10中的任意其它設備交換信息和信號的任意合適的硬體和/或軟體。麥克風24和揚聲器26在視頻會議期間生成和發射音頻流。麥克風24被用於參 與視頻會議的用戶的音頻輸入。麥克風24可以從接收到的聲波生成音頻流。揚聲器26可 以包括用於輔助接收(一個或多個)音頻流並發射所接收到的(一個或多個)音頻流使得 他們可以被本地參與者聽到的任意合適的硬體和/或軟體。例如，揚聲器26可以包括高保 真揚聲器。端點14可以包含任意合適數目的麥克風24和揚聲器26，並它們每一個可以與 任意合適數目的參與者相關聯。相機28和顯示器30在視頻會議期間生成和發射視頻流。相機28可以包括用於 輔助捕獲一個或多個本地參與者和周圍區域的圖像以及將圖像發送給遠程參與者的任意 合適的硬體和/或軟體。每個視頻信號可以作為單獨的視頻流來發送(例如，每個相機28 發送其自己的視頻流)。在具體實施例中，相機28捕獲並發送一個或多個用戶30的圖像作 為高清晰視頻信號。顯示器30可以包括用於輔助接收(一個或多個)視頻流並且將接收 到的視頻流顯示給參與者的任意合適的硬體和/或軟體。例如，顯示器30可以包括筆記本 PC、壁掛式監視器、落地式安裝的監視器或獨立式監視器。在具體實施例中，顯示器30中的 一個或多個是等離子顯示設備或液晶顯示設備。端點14可以包含任意合適數目的相機28和顯示器30，並且它們每一個可以與任意合適數目的本地參與者相關聯。儘管每個端點14被描述為包含具體配置和布置的模塊的單個元件，但是應當注 意，這是一種邏輯描述，並且構成組件以及它們的功能可以以任意合適數目、類型和配置的 設備來執行。在所圖示出的實施例中，通信系統10包括兩個端點14a、14b，但是應當理解， 通信系統10可以包括任意數目的端點14。視頻會議管理器16 —般地協調端點14之間的視頻會議的開始、維持和結束。視 頻會議管理器16可以獲得有關已排出日程的視頻會議的信息，並且可以為這些會議中的 每一個預定(reserve)網絡12中的設備。除了在開始視頻會議之前預定設備或資源以外， 視頻會議管理器可以監控視頻會議的進展並且可以在適當時修改預定。並且，視頻會議管 理器16可以負責在視頻會議結束之後釋放資源。儘管視頻會議管理器16被圖示和描述為 連接到網絡12的單個設備，但是應當理解，其功能可以用位於通信系統10中的一個或多個 位置處的任意合適數目的設備來實現。在示例操作中，端點14a、14b中的一個端點發起與端點14a、14b中的另一個端點 的視頻會議。發起端點14可以向視頻會議管理器16發送消息，該消息包括指定端點14參 與所希望的視頻會議的時間以及該會議的估計持續時間的細節。然後，視頻會議管理器16 可以預定網絡12中的資源並且可以輔助在端點14a與端點14b之間開始視頻會議所需要 的信令傳送。在視頻會議期間，端點14a、14b可以交換一個或多個音頻流、一個或多個視頻 流以及一個或多個數據流。在具體實施例中，端點14a可以發送和接收與端點14b相同數 目的視頻流。在某些實施例中，端點14a、14b中的每一個發送和接收相同數目的音頻流和 視頻流。在某些實施例中，端點14a、14b發送和接收比音頻流更多的視頻流。在視頻會議期間，每個端點14a、14b可以生成和發送向另一端點14a、14b提供不 同的視角依賴視圖的多個視頻流。例如，端點14a可以生成三個視頻流，每一個視頻流提供 在端點14a處的參與者的視角依賴視圖。這些可以從三個不同角度(例如，左、中和右)來 示出端點14a處的參與者。在接收到這些視頻流之後，端點14b可以同時在顯示器上顯示這 3個視頻流，使得處於顯示器左邊的參與者觀看這些視頻流中的一個，而處於顯示器正前方 的參與者觀看這些視頻流中的另一個。同樣，處於顯示器右方的參與者可以觀看視頻流中 的第三個視頻流。因此，端點14b可以向本地參與者顯示遠程參與者的不同視角依賴視圖。 通過向不同的參與者提供不同的圖像，本地參與者能夠在看著遠程參與者的二維圖像的同 時，更容易地理解某些非語言的線索(例如，眼睛注視，指向(point))的含義。當參與者確定視頻會議應當結束時，端點14a或端點14b可以向視頻會議管理器 16發送消息，然後視頻會議管理器16可以取消對網絡12中的已預定資源的預定並且輔助 用於結束視頻會議的信令傳送。儘管該視頻會議被描述為在兩個端點——端點14a和端點 14b之間發生——但是應當理解，視頻會議中可以涉及任意合適位置處的任意合適數目的 端點14。已經描述了有兩個端點進行視頻會議的通信系統的示例。該示例被提供用於說明 具體實施例並且不希望是全包式的。儘管系統10被描述為包含元件的某一配置和布置，但 是應當注意，這僅僅是一種邏輯描述，並且系統10的組件和功能在適當時既可以在物理上 又可以在邏輯上被組合、被分離和被分布。並且，系統10的功能可以通過任意合適的組件 集合和布置來提供。
7
圖2a和圖2b圖示出一般以50和70示出的端點，它們使用相機和多個視圖顯示 設備來同時向本地參與者提供遠程參與者的視角依賴視圖。貫穿本公開使用的「本地」和 「遠程」被用作這樣的關係術語，其用於從「本地」端點的立場來識別參與視頻會議的多個不 同端點之間的交互以及該多個不同端點內的操作和功能。因此，術語「本地」和「遠程」可 以在視角是另一端點的視角時被切換。圖2a圖示出可以在端點50處提供的設立的示例。在具體實施例中，端點50是端 點14中的一個端點。如圖所示，端點50包括桌子52、3個參與者54、3個顯示器56和3個 相機機群58。儘管未被圖示，但是端點50還可以包括任意合適數目的麥克風、揚聲器、數據 輸入設備、數據輸出設備和/或在視頻會議期間或結合視頻會議所要使用的任意其它合適 的裝備。如圖所示，參與者54a、54b、54c位於桌子52的一側。在桌子52的另一側放置3 個顯示器56d、56e、56f，並且相機機群58d、58e、58f中的一個位於各顯示器56d、56e、56f 上方。在所圖示出的實施例中，每個相機機群58包含3個相機，一個相機指向本地參與者 54a、54b、54c中的每一個的方向。儘管端點50被示出具有該具體配置，但是應當理解，可以 在端點50處採用任意合適的配置以輔助端點50處的參與者與遠程端點14處的參與者之 間的所希望的視頻會議。作為一個示例，相機機群58可被安置於顯示器56的下方或後方。 另外，端點50可以包括任意合適數目的參與者54、顯示器56和相機機群58。在所圖示出的實施例中，每個顯示器56d、56e、56f示出遠程參與者54d、54e、54f 之一的圖像。顯示器56d示出遠程參與者54d的圖像；顯示器56e示出遠程參與者54e的 圖像；並且顯示器56f示出遠程參與者54f的圖像。這些遠程參與者可以通過遠程端點70 來參與視頻會議，如以下參考圖2b所示。使用傳統的方法，每個本地參與者54a、54b、54c將 看到每個遠程參與者54的相同圖像。例如，當3個不同的個人看著傳統的電視屏幕或計算 機監視器時，每個個人和其它兩個個人看到相同的二維圖像。然而，當多個個人看著相同圖 像時，它們可能不能區分由圖像提供的視角依賴的非語言線索。例如，遠程參與者54可能 指著這3個本地參與者54a、54b、54c中的一個來表明其對著誰發言。如果這3個本地參與 者54a、54b、54c觀看遠程參與者54的相同二維圖像，則其可能很難確定本地參與者54中 的哪一個已經被遠程參與者54選定，因為本地參與者54不容易理解由遠程參與者54提供 的非語言線索。然而，顯示器56被配置為向本地參與者54提供多個視角依賴視圖。作為一個示 例，考慮示出遠程參與者54e的圖像的顯示器56e。在圖示出的實施例中，顯示器56e同時 顯示遠程參與者54e的三個不同視角依賴視圖。本地參與者54a看著視圖A ；本地參與者 54b看著視圖B ；而參與者54c看著視圖C。視圖A、B和C全都示出遠程參與者54e的不同 視角依賴視圖。視圖A可以從遠程參與者54e的左面示出遠程參與者54e的圖像。同樣， 視圖B和C可以分別從遠程參與者54e的中心和右面來示出遠程參與者54e的圖像。在具 體實施例中，視圖A示出將被置於呈獻給遠程參與者54e的本地參與者54a的圖像附近的 相機看到的遠程參與者54e的圖像。相應地，當遠程參與者54e看著所顯示的本地參與者 54a的圖像時，其(對於本地參與者54a)看起來就像是遠程參與者54e正直視本地參與者 54a。同時，並且通過相類似的技術，視圖B和C(分布被顯示給參與者54b和54c)可以看 到表明遠程參與者54e正看著本地參與者54a的遠程參與者54e的圖像。
8
相機機群58生成傳遞本地參與者54a、54b、54c的圖像的視頻流以用於發送給遠 程參與者54d、54e、54f。這些視頻流可以以與以下圖2b中關於遠程端點70所描述的方式 基本類似的方式來生成。此外，這些視頻流可以由遠程顯示器56a、56b、56c以與之前針對 本地顯示器56d，56e, 56f所描述的方式基本類似的方式來顯示。圖2b圖示出可以在上述遠程端點(一般以70示出)處提供的設立的示例。在具 體實施例中，端點70是通信系統10中端點14a、14b中的一個。如圖所示，端點70包括桌 子72，參與者54d、54e和54f，顯示器56a、56b、56c，以及相機機群58。在所圖示出的實施例中，端點70本地處的3個參與者54d，54e，54f坐在桌子72 的一側，而3個顯示器56a、56b和56c置於桌子72的另一側。每個顯示器56a、56b和56c 示出遠離端點70的相對應的遠程參與者54的圖像。這些顯示器56a、56b和56c可以與端 點50處的顯示器56d，56e，56f基本相似。這些被顯示的參與者可以是以上被描述為通過 端點50參與視頻會議的參與者54a，54b，54c。每個顯示器56上方被安置相對應的相機機 群58。儘管端點70被示出具有該具體配置，但是應當理解，在端點70處可以採用任意合 適的配置來輔助端點70與遠程端點14(在所圖示出的實施例中，其為端點50)的參與者之 間的所希望的視頻會議。作為一個示例，相機機群58可被安置於顯示器56的下方或後方。 另外，端點70可以包括任意合適數目的參與者54、顯示器56和相機機群58。如圖所示，每個相機機群58a，58b，58c包括3個相機，每一個相機都能夠生成視頻 流。相應地，利用所圖示出的配置，端點70包括9個相機。在具體實施例中，可以使用更少 的相機並且使用數學建模來合成某些視頻流或視頻流中的某些部分。在其它實施例中，可 以使用更多的相機來創建參與者54的多個三維圖像。在某些實施例中，相機機群58中的 相機是相機28。在某些場合中，可以使用單個相機。在某些場合中，單個相機是可移動的並 且可以被遠程控制。在每個相機機群58中，一個相機被安置來捕獲本地參與者54d，54e, 54f之一的圖 像。相應地，每個本地參與者54d，54e，54f具有3個相機，每個相機機群58中有一個指向 他或她的相機。例如，可以用如用加陰影的相機所示的相機機群58a中中間的相機、相機機 群58b中中間的相機和相機機群58c中中間的相機來生成包含參與者54e的圖像的3個不 同視頻流。與本地參與者54e相對應的這3個相機將各自從不同角度生成參與者54e的圖 像。同樣，3個視頻流可以被創建來包括參與者54d的不同視角，並且3個視頻流可以被創 建來包括參與者54f的不同視角。然而，可能希望僅有來自一個相機的視頻流(例如，在對 參與者54e成像時，關斷相機機群58d和58e)，而不要來自端點處未被佔據的圖像位置的視 頻流，或希望優化這些相機中任意相機的方向和角度來使得能夠更容易地理解非語言線索 (例如，眼睛注視和指向)。端點50、70的具體實施例以及它們的構成元件已經被描述並且不希望是全包式 的。儘管這些端點50、70被描述為包含元件、組件和設備等等的某種配置和布置，但是應當 注意，這僅僅是一個示例，並且每個端點50、70的組件和功能在適當時既可以在邏輯上又 可以在物理上被組合、被分離和被分布。在具體實施例中，端點50和端點70可以具有基本 類似的配置並且包括基本類似的功能。在其它實施例中，端點50、70中的每一個可以包括 任意合適的配置，它們可以與參與視頻會議的另一端點的配置相同、不同或類似。此外，盡 管端點50和70被描述為每一個包括3個參與者54、3個顯示器56和3個相機機群58，但
9是端點50和70可以包括任意合適數目的參與者54、顯示器56和相機或相機機群58。另 外，參與者54、顯示器56和/或相機機群58的數目可以與端點50、70的其它描述出的方面 中一個或多個的數目不同。任意合適數目的視頻流可以被生成來在視頻會議期間傳遞參與 者54的圖像。如參考圖2a和圖2b所示，在具有多把椅子(S卩，多個位置)的視頻會議室中，可 通過使用指向椅子的多個視頻相機來檢測人的存在。基於在會議的每個端點中的每個會議 室中的人數，視頻會議系統的實施例可以通過從從不同角度指向參與者的多個相機中進行 選擇來配置會議幾何布置(conference geometry)。這可以產生會議成員之間更自然的眼 睛注視。在一個實施例中，人的存在(即，存在檢測)可以使用面部檢測算法和技術來完 成。對來自覆蓋室內所有可能的就坐位置的相機的視頻信號執行面部檢測。在一個實施例 中，可以對作為視頻會議系統中所捕獲的HD解析度畫面(picture)的視頻編碼器輸入執行 面部檢測。視頻編碼器可以由一個或多個處理器組成，每個處理器處理和編碼畫面的一行 宏塊。對於每個16 χ 16宏塊(MB)，這一個或多個處理器在編碼這個塊之前執行預處理， 例如，顏色空間轉換、邊緣檢測、邊緣抽薄、顏色分割以及特徵總結。最後，這一個或多個處 理器可以將兩個結果轉送給基處理器(base processor) :MB中原來的邊緣特徵的總數和 MB中經抽薄並經顏色分割後的邊緣特徵的總數。基處理器收集所有MB的結果，並且執行對 面部區域的快速檢測，同時，這一個或多個處理器可以繼續進行一般的視頻編碼任務，包括 運動估計、運動補償和塊變換。利用來自基處理器的反饋，這一個或多個處理器之後按照用 於指派諸如量化步長大小之類的編碼參數的預先定義的方案、基於面部檢測結果來編碼MB 的變換係數。粗面部檢測通過跟蹤和磁滯被精煉來產生有關室內有多少人以及他們在哪個椅 子(即，位置)上的高置信數據。在根據本發明的實施例中，也可以採用其它存在檢測方法，例如，運動檢測、椅子 感測器或需要外部基礎設施和個人留置(personal encumbrance)的利用RFID或ID徽章 的存在監控。圖1的視頻會議端點14可以以不同方式配置。例如，在一個實施例中，視頻會議 端點由多個大的視頻顯示器組成，這些顯示器可以首尾相連地安裝在房間的一側上，外面 的兩個略微向裡傾斜(參見圖2a和圖2b)。名義上，三視頻顯示系統(「三方系統」)被配 置為使得6個人可以參與，其中相機相對應地成對指向。其它配置可以僅具有一個視頻顯不器。在多點會議中，存在單人與三人對話的各種組合。例如，圖3是這樣的多點視頻會 議系統的示例圖示，該系統具有兩個端點300和302，示出了兩個三方系統彼此對話，這可 以稱為2x3會議。各個端點300、302處的各個視頻顯示器304、306顯示來自另一端點的相 應相機308、310的視頻。為了保持單個房間被玻璃板劃分這樣的幻象，相機308、310被置於每個房間的中 心視頻顯示器304b、306b的上方，來使得可以保持房間的幾何布置。多個相機308、310充 當一個廣角相機。每個參與者由一個並且僅一個相機根據參與者所佔據的位置來攝取。圖4示出不同位置的4個人之間發生的多點會議，其可以稱為4x1會議。該情況有時利用每個屏幕上的位置標籤(例如，巴黎、倫敦、紐約和東京(P，L，T，NY))來描述。巴 黎的參與者將看見倫敦、紐約、東京；倫敦的參與者將看見巴黎、紐約和東京；等等。為了創 建和維持這4個人坐在一個大圓桌上的幻象，則，如果巴黎能夠在其左方看見倫敦，則倫敦 應當能在其右方看見巴黎；相機應當位於這3個屏幕的每一個的上方，所有的相機都指向 桌上單獨的個人；來自左方的相機的信號可以被發送給在左方的屏幕上示出的端點，等等。 即，在除了巴黎以外的3個端點中任一個的巴黎屏幕上方的相機是將當前端點(倫敦、紐約 或東京)的視頻信號提供給巴黎端點的相機。圖5a、圖5b和圖5c提供具有兩個端點500和501的多點視頻會議系統的示例圖 示。端點500可以包括多個本地參與者，在該情況中，為6個。屏幕502可以用來顯示一個 或多個遠程參與者。例如，屏幕502可以用來顯示來自端點501的遠程參與者。相機503 可以包括用於輔助捕獲本地參與者和周圍區域的圖像以及將圖像發送給遠程參與者的任 意合適的硬體和/或軟體。在一個實施例中，相機503可以是捕獲360°視圖的單個廣角鏡 頭，各自捕獲180°視圖的兩個相機，捕獲大於180°的視圖的一個或多個相機，或者捕獲 360°饋送的任意配置，將視圖發送給處理視圖的應用，並且在屏幕504上向端點501處的 遠程參與者提供全景視圖。端點501處的相機505可以包括用於輔助捕獲端點501處的遠程參與者和周圍區 域的圖像以及將圖像發送給端點500處的本地參與者的任意合適的硬體和/或軟體。端點 501處的屏幕可以用來提供來自端點500的本地參與者的全景視圖。如圖6中所示，使用全景鏡頭601引起捕獲的視頻幀602的失真。所有周圍環境 的圖像在兩個反射面上被反射兩次，一次在鏡頭的較低部分，另一次在鏡頭的頂部，圖像在 CXD 607上形成為圓環形狀606。線603對應於視頻幀602的最頂上的部分，而線604對應 於視頻幀602最底下的部分。在所示出的實施例中，在鏡頭平面以上約70°以及在該平面 以下約17°的範圍內將被成像的環繞鏡頭的所有事物將被成像。通常，所產生的直線幀中的上部(在圓環形狀606和視頻幀602中用對角線指示) 導致較差的圖像解析度，因為鏡頭已經將全景場景的較寬視圖「擠壓」成幀的上部。根據鏡 頭方位是向上還是向下，失真要麼在幀的上部要麼在幀的下部。這些方法在這裡被描述為 施加於視頻幀602的上部，從而上部比下部失真得更厲害。然而，可以特別地構想到，這些 方法可以被施加於失真更厲害的區域，而不論其在幀中的相對位置如何。在一個實施例中，提供用於遙在環境中的全景圖像處理的方法。所公開的方法可 以利用自適應的和可變的壓縮技術以及投影布置(projection placement)技術。這些方 法在與遙在的現有音頻、視頻和連網性能相結合時，創建真正的「親身(in-person) 」解決方 案並且克服了當前的遙在提供物的缺點。在一個實施例中，提供了將較高質量的編碼(較少壓縮)應用於幀中已經被全景 鏡頭高度擠壓的部分這樣的可變的自適應壓縮方法。該自適應壓縮可以是逐行的或逐扇區 的。該自適應壓縮還可以通過對幀中被擠壓得更厲害的對應區域應用更高的幀率來逐幀進 行。所提供的系統可以根據以下標準來執行圖像編碼，這些標準是由國際標準化組 織IS0(國際標準化組織)/IEC(國際電工技術委員會)標準化的MPEG(運動圖像專家組) 系列標準(MPEG-1、MPEG-2和MPEG-4)，由關於電子通信的國際標準化組織ITU_T(國際電
11信聯盟電信標準化部)標準化的H. 26x系列標準(H. 261、H. 262、H. 263)，或者作為由這兩 個標準化組織聯合來標準化的運動圖像壓縮編碼標準的H. 264/AVC標準。利用MPEG系列標準，在以幀內編碼模式編碼圖像幀的情況中，所要編碼的圖像幀 稱為「1(幀內)幀」。在以前一幀作為參考圖像來編碼圖像幀的情況中，即，在前向幀間預 測編碼模式中，所要編碼的圖像幀被稱為「P(預測)幀」。在利用前一幀和即將來臨的幀作 為參考圖像來編碼圖像幀的情況中，即，在雙向幀間預測編碼模式中，所要編碼的圖像幀稱 為「B幀」。在現代的基於塊的變換壓縮技術中，圖像數據可以被系統性地劃分成被獨立變 換、量化和編碼的片段或塊。示例性視頻比特流可以由像素的塊、宏塊(MB)、畫面、畫面組 (GOP)和視頻序列組成。在一個方面中，最小的元素，塊，可以由8行χ 8個像素每行或4行 χ 4個像素每行組成(H. 264)。如在本領域中已知的，H. 264由16x16 (宏塊)、16x8、8xl6、 8x8,8x4,4x8和4x4的塊組成，而MPEG4Part 2由16x16和8x8的塊組成，可以使用任意這 樣的塊。塊根據預先定義的配置文件(profile)被分組到宏塊(MB)中。所提供的系統可 以接收輸入信號，例如以幀為單位的運動圖像，執行運動圖像的編碼以及輸出編碼後的流。 輸入信號例如可以是圖像的360°饋送。如果需要，可以針對P幀或B幀的每個宏塊或每 個字宏塊來執行運動補償。離散餘弦變換(DCT)處理可以被用來將圖像信息變換到頻域 中，產生DCT係數。這樣獲得的DCT係數之後可以被量化。DCT係數可以被加權或被截短 (truncate)，提供第一顯著壓縮。然後，這些係數可以沿預定路徑被掃描(例如，之字形掃 描)來增大重要係數在掃描中儘早出現的概率。可以使用本領域中已知的其它預定掃描路 徑。在最後的非零係數之後，可以生成EOB(塊結束)代碼。用來確定編碼後的塊中的量化係數的精細度和粗糙度的量化參數(QP)可以在直 線幀的上部處被指派較低的值。這可以為幀的上部提供較高質量的編碼。在一個實施例中， 從直線幀的上部向直線幀的下部可以逐漸增大量化參數。例如，在一個實施例中，令直線幀用k線表示，第一根/最頂上的線和最後一根/ 最底下的線處的像素解析度分別用η和(n+m)表示。於是，直線幀中第i根線的像素分辨 率可以用n+(i-l)m/(k-l)表示，i = l，2，3，...，k。第i根線或與第i根線相鄰的線的群 組的自適應量化參數可以使用函數或查找表來定義。QP與解析度之間的函數關係可以經驗 地確定。作為一個示例，假定QP與解析度的均方根直接成比例，則被用來編碼直線幀的QP 可以通過對{[n+(i-l)m/(k-l)]/n}QP的均方根的值進行捨入來表示。在基於塊的變換壓 縮中，線的群組內的QP還可以被調節來確保相同的QP值被用於的每個宏塊。作為另一示例，可以針對每根線或每個線的群組來測量相鄰像素的相關係數，並 且關於相關係數調節QP。相關係數越高，QP越大。QP與相關係數之間的關係可以經驗地 確定。在運動補償後的變換編碼中，當前幀中的塊(或塊的群組)與過去的和/或將來 的幀中的塊(或塊的群組)相比較來確定塊(或塊的群組)的接近度。該比較可以通過求 取當前塊(或塊的群組)中的像素與過去的和/或將來的塊中的像素之間的差、對絕對值 的這些差求和以及將所求和的絕對差與預定閾值相比較來執行。閾值越小或越緊密，則塊 被越準確地分類，從而塊編碼的質量越好。在另一實施例中，用來確定預測的塊類型或宏塊類型的閾值可以在直線幀的上部被縮緊來將更多的宏塊從未經運動補償的塊推為經運動補償的塊，從未經編碼的塊推為經 編碼的塊，以及從幀間塊推為幀內塊。這可以在以較高的比特率(較少的壓縮)為代價的 情況下來為幀的上部提供較高質量的編碼。從直線幀的上部到直線幀的下部可以逐漸放鬆 閾值。如在圖7的示例流程圖中所示，提供用於圖像處理的方法，包括在701，接收視頻 幀，在702，基於光學特性以與視頻幀的第二部分不同的質量來編碼視頻幀的第一部分，以 及在703，顯示視頻幀。視頻幀可以從全景視頻相機、提供360°饋送的多個相機或提供大於180°饋送 的多個相機接收。基於光學特性以與視頻幀的第二部分不同的質量來編碼視頻幀的第一部分可以 包括變換視頻幀的第一和第二部分，產生第一和第二多個係數，基於第一多個量化參數來 量化第一多個係數，以及基於第二多個量化參數來量化第二多個係數。這些方法還可以包括基於光學特性來確定第一多個量化參數。光學特性可以是全 景視頻相機的光學特性。光學特性可以是全景視頻相機的光學失真特性。光學失真特性可 以預先確定。光學失真特性可以通過測量已知的視頻幀的失真來預先確定。光學失真特性 可以通過以下至少一者來預先確定測量不同相機焦距時的已知視頻幀的失真，通過確定 線或線的群組的像素解析度來測量已知視頻幀的失真，或通過確定相鄰像素之間的相關係 數來測量已知視頻幀的失真。已知視頻幀的失真可以是線或線的群組的像素解析度和/或 相鄰像素之間的相關係數。光學失真特性可以通過測量不同相機焦距時的已知視頻幀的失 真來確定。線或線的群組之間的解析度的差以及線或線的群組內的像素相關性的差都是通 過將全景畫面扭曲成直線畫面所產生的失真。基於第一多個量化參數來量化第一多個係數以及基於第二多個量化參數來量化 第二多個係數可以包括比第二多個係數更多地量化第一多個係數，從而產生對視頻幀的第 一部分的更高質量的編碼。基於第一多個量化參數來量化第一多個係數和基於第二多個量化參數來量化第 二多個係數可以包括比第二多個係數更少地量化第一多個係數，從而產生對視頻編碼幀的 第一部分的更低質量的編碼。圖8是圖示出用於執行所公開的方法的示例操作環境的框圖。本領域技術人員將 理解，提供了一種功能描述，並且各個功能可以用軟體、硬體或軟體和硬體的組合來執行。 該示例操作環境僅是操作環境的一個示例，並且不意欲暗示對操作環境體系架構的使用範 圍或功能的任意限制。操作環境也不應當被理解為關於示例操作環境中所圖示出的組件中 的任意一個或組合具有任意依賴性或要求。本方法和系統可以與各種其它通用或專用計算系統環境或配置一起操作。適於與 該系統和方法一起使用的公知的計算系統、環境和/或配置的示例包括但不限於個人計算 機、伺服器計算機、膝上型設備和多處理器系統。另外的示例包括機頂盒、可編程消費類電 子、網絡PC、迷你計算機、大型計算機、包括以上系統或設備中任意一者的分布式計算環境，寸寸。所公開的方法和系統的處理可以用軟體組件來執行。所公開的系統和方法可以 在這樣的一般語境中進行描述諸如程序模塊之類的由一個或多個計算機或其它設備執行的計算機可執行指令。一般，程序模塊包括執行具體任務或實現具體摘要數據類型的計算 機代碼、例程、程序、對象、組件、數據結構等等。所公開的方法也可以在基於網格的分布式 計算環境中實行，其中，任務由通過通信網絡連接的遠程處理設備執行。在分布式計算環境 中，程序模塊可以位於本地的和遠程的計算機存儲介質二者中，計算機存儲介質包括存儲 器存儲設備。此外，本領域技術人員將了解，這裡公開的系統和方法可以經由計算機801形式 的通用計算設備來實現。計算機801的組件可以包括但不限於一個或多個處理器或處理單 元803、系統存儲器812和耦接各個系統組件(包括處理器803到系統存儲器812)的系統 總線813。在多個處理單元803的情況中，系統可以利用並行計算。系統總線813表示幾種可能類型的總線結構中的一個或多個，包括存儲器總線或 存儲器控制器、外圍總線、加速圖形埠和使用各種總線體系架構中的任意一者的處理器 或本地總線。通過示例，這樣的體系架構可以包括工業標準結構(ISA)總線、微通道結構 (MCA)總線、增強型ISA(EISA)總線、視頻電子標準協會(VESA)本地總線、加速圖形埠 (AGP)總線和外圍組件互連(PCI)總線(也稱為Mezzanine總線)。總線813以及在本說 明書中規定的所有總線還可以通過有線或無線的網絡連接來實現，並且每個子系統(包括 處理器803、大容量存儲設備804、作業系統805、視頻會議軟體806、視頻會議數據807、網絡 適配器808、系統存儲器812、輸入/輸出接口 810、顯示適配器809、顯示設備811、人機接口 802和相機816)可以被包含在本地端點814和一個或多個遠程端點814a、b、c內，這些端 點處於物理上分離的位置，通過這種形式的總線連接，實際上實現完全分布的系統。計算機801通常包括各種計算機可讀介質。示例可讀介質可以是可由計算機801 訪問的任意可得介質，並且例如但不是限制性地包括易失性介質和非易失性介質、可移除 和不可移除介質兩者。系統存儲器812包括易失性存儲器形式的計算機可讀介質，例如， 隨機存取存儲器(RAM)，和/或非易失性存儲器形式的計算機可讀介質，例如只讀存儲器 (ROM)。系統存儲器812通常包含數據和/或程序模塊，數據例如是視頻會議數據807，程 序模塊例如是可由處理單元803直接訪問和/或當前操作的作業系統805和視頻會議軟體 806。在另一實施例中，計算機801還可以包括其它可移除/不可移除、易失性/非易失 性計算機存儲介質。通過示例，圖8圖示出大容量存儲設備804，其可以為計算機801提供對 計算機代碼、計算機可讀指令、數據結構、程序模塊和其它數據的非易失性存儲。例如並且 不是限制性地，大容量存儲設備804可以是硬碟、可移除磁碟、可移除光碟、磁帶或其它磁 存儲設備、快閃記憶體卡、⑶-ROM、數字通用盤(DVD)或其它光存儲裝置、隨機存取存儲器(RAM)、 只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)等。可選地，任意數目的程序模塊可以被存儲在大容量存儲設備804上，例如包括操 作系統805和視頻會議軟體806。作業系統805和視頻會議軟體806 (或其某種組合)中 的每一個可以包括編程和視頻會議軟體806的元素。視頻會議數據807也可以存儲在大容 量存儲設備804上。視頻會議數據807可以被存儲在現有技術中已知的一個或多個數據 庫的任一者中。這樣的資料庫的示例包括DB2 、Microsoft Access、Microsoft SQL Server、Oracle 、mySQL、PostgreSQL等等。這些資料庫可以是集中式的或者分布於多個 系統上。
在另一實施例中，用戶可以經由輸入設備(未示出)來將命令和信息輸入到計算 機801中。這樣的輸入設備的示例包括但不限於鍵盤、點選設備(例如「滑鼠」)、麥克風、 操縱杆、掃描儀、諸如手套和其它身體覆蓋物等的觸覺輸入設備。這些和其它輸入設備可以 經由耦接到系統總線813的人際接口 802來連接到處理單元803，但也可以通過其它接口和 總線結構來連接，例如，並口、遊戲埠、IEEE 1394埠(也稱為火線埠)、串口或通用串 行總線(USB)。在另一實施例中，諸如視頻顯示器之類的顯示設備811也可以經由諸如顯示適配 器809之類的接口連接到系統總線813。可以構想到，計算機801可以具有多於一個的顯示 適配器809，並且計算機801可以具有多於一個的顯示設備811。例如，顯示設備可以是監 視器、LCD(液晶顯示器)或投影儀。除了顯示設備811以外，其它輸出外圍設備可以包括 諸如可以經由輸入/輸出接口 810連接到計算機801的揚聲器(未示出)和印表機(未示 出)之類的組件。計算機801可以使用到一個或多個遠程端點814a，b，c的邏輯連接在連網環境中 進行操作。例如，遠程端點814處的遠程計算設備可以是個人計算機、可攜式計算機、服務 器、路由器、網絡計算機、對等設備或其它公共網絡節點等等。計算機801與遠程端點814a， b，c之間的邏輯連接可以經由區域網(LAN)和一般廣域網(WAN)來進行。這樣的網絡連接 可以通過網絡適配器808。網絡適配器808既可以在有線環境中又可以在無線環境中實現。 這樣的連網環境在辦公室、企業廣度(enterprise-wide)計算網絡、企業內部網和網際網路 815中是傳統和常見的。為了說明的目的，諸如作業系統805之類的應用程式和其它可執行程序組件在此 被圖示為離散的塊，儘管應當認識到，這樣的程序和組件在不同的時間駐留在計算設備801 的不同存儲組件中，並且由該計算機的(一個或多個)數據處理器執行。視頻會議軟體806 的實現可以被存儲在某種形式的計算機可讀介質上或在其上被傳送。計算機可讀介質可以 是計算機能夠訪問的任何可得介質。通過示例而不是限制性的，計算機可讀介質可以包括 「計算機存儲介質」和「通信介質」。「計算機存儲介質」包括以用於存儲信息的任意方法和 技術實現的易失性和非易失性、可移除和不可移除介質，這些信息例如是計算機可讀指令、 數據結構、程序模塊或其它數據。示例計算機存儲介質包括但不限於RAM、ROM、EEPR0M、閃 存或其它存儲技術、CD-ROM、數字通用盤(DVD)或其它光學存儲裝置，盒式磁帶、磁帶、磁碟 存儲裝置或其它磁存儲設備，或可以用來存儲所希望的信息並可由計算機訪問的任意其它 介質。這些方法和系統可以採用人工智慧技術，例如，機器學習和迭代學習。這樣的技 術的示例包括但不限於專家系統、基於案例的推理、Bayesian網絡、基於行為的Al、神經網 絡、模糊系統、進化計算(例如，基因算法)、群體智能(例如，螞蟻算法)和混合智能系統 (例如，通過神經網絡生成的專家推理規則或來自統計學習的生產規則)。儘管已經結合優選實施例和具體示例描述了這些方法和系統，但是不希望範圍被 限於所闡述的具體實施例，因為這裡的實施例在各個方面是說明性的而不是限制性的。除非另有明確指出，這裡闡述的任何方法絕對不希望被理解為需要其步驟按特定 次序執行。因此，在方法權利要求實際上沒有說明其步驟所要遵守的次序，或者其沒有以其 它方式在權利要求或描述中明確指出這些步驟被限制於特定次序的情況中，絕不希望在任
15何方面推斷次序。對於用於解釋的任意可能的非明確基礎同樣如此，這些基礎包括關於步 驟的布置或操作流程的邏輯事務；從語法組織或標點符號中得出的樸素的含義；該說明書 中描述的實施例的數目或類型。 對於本領域技術人員顯而易見的是，在不偏離範圍和精神的前提下，可以進行各 種修改和更改。考慮這裡公開的說明書和實踐，其它實施例對於本領域技術人員將是顯而 易見的。希望本說明書和示例被認為僅僅是示例性的，其真正的範圍和精神由權利要求指
7J\ ο
權利要求
一種用於圖像處理的方法，包括接收視頻幀；基於光學特性來以與所述視頻幀的第二部分不同的質量編碼所述視頻幀的第一部分；以及顯示所述視頻幀。
2.根據權利要求1所述的方法，其中，所述視頻幀從全景視頻相機接收。
3.根據權利要求1所述的方法，其中，基於光學特性來以與所述視頻幀的第二部分不 同的質量編碼所述視頻幀的第一部分包括變換所述視頻幀的第一部分和第二部分，產生第一多個係數和第二多個係數； 基於第一多個量化參數來量化所述第一多個係數；以及 基於第二多個量化參數來量化所述第二多個係數。
4.根據權利要求3所述的方法，還包括基於所述光學特性來確定所述第一多個量化參數。
5.根據權利要求4所述的方法，其中，所述光學特性是全景視頻相機的光學特性。
6.根據權利要求4所述的方法，其中，所述光學特性是全景視頻相機的光學失真特性。
7.根據權利要求6所述的方法，其中，所述光學失真特性是被預先確定的。
8.根據權利要求6所述的方法，其中，所述光學失真特性是通過測量已知視頻幀的失 真來預先確定的。
9.根據權利要求6所述的方法，其中，所述光學失真特性通過以下至少一者來預先確 定測量不同相機焦距時已知視頻幀的失真，通過確定線或線的群組的像素解析度來測量 已知視頻幀的失真，或者通過確定相鄰像素之間的相關係數來測量已知視頻幀的失真。
10.根據權利要求3所述的方法，其中，基於第一多個量化參數來量化所述第一多個系 數以及基於第二多個量化參數來量化所述第二多個係數包括比所述第二多個係數更多地 量化所述第一多個係數，從而產生對所述視頻幀的第一部分的更高質量的編碼。
11.根據權利要求3所述的方法，其中，基於第一多個量化參數來量化所述第一多個系 數以及基於第二多個量化參數來量化所述第二多個係數包括比所述第二多個係數更少地 量化所述第一多個係數，從而產生對所述視頻幀的第一部分的更低質量的編碼。
12.—種多點視頻會議系統，包括所述多點視頻會議系統的第一點，包括第一相機，第一視頻顯示器和一個或多個第一 位置，其中，在所述第一點處捕獲的視頻幀是全景圖像；所述多點視頻會議系統的第二點，包括第二相機，第二視頻顯示器和一個或多個第二 位置；與所述第一相機可操作地連接的處理器，其中，所述處理器被配置為基於光學特性，以 不同於所述視頻幀的第二部分的質量來編碼所述視頻幀的第一部分。
13.根據權利要求12所述的系統，其中，所述第一相機是全景視頻相機。
14.根據權利要求12所述的系統，其中，所述處理器還被配置為變換所述視頻幀的第一部分和第二部分，產生第一多個係數和第二多個係數； 基於第一多個量化參數來量化所述第一多個係數；以及 基於第二多個量化參數來量化所述第二多個係數。
15.根據權利要求14所述的系統，其中，所述處理器還被配置為基於所述光學特性來 確定所述第一多個量化參數。
16.根據權利要求15所述的系統，其中，所述光學特性是所述第一相機的光學特性。
17.根據權利要求14所述的系統，其中，所述處理器還被配置為比所述第二多個係數 更多地量化所述第一多個係數，從而產生對所述視頻幀的第一部分的更高質量的編碼。
18.根據權利要求14所述的系統，其中，所述處理器還被配置為比所述第二多個係數 更少地量化所述第一多個係數，從而產生對所述視頻幀的第一部分的更低質量的編碼。
19.一種計算機可讀介質，其上包含用於圖像處理的計算機可執行指令，包括 接收視頻幀；基於光學特性來以與所述視頻幀的第二部分不同的質量編碼所述視頻幀的第一部分；以及顯示所述視頻幀。
20.根據權利要求19所述的計算機可讀介質，還包括變換所述視頻幀的第一部分和第二部分，產生第一多個係數和第二多個係數； 基於第一多個量化參數來量化所述第一多個係數；以及 基於第二多個量化參數來量化所述第二多個係數。
全文摘要
文檔編號H04N7/15GK101953158SQ20098010526
公開日2011年1月19日 申請日期2009年2月16日 優先權日2008年2月14日
發明者Chen Wen-Hsiung, Buckingham Patrik, Prasad Chandrodaya, Miriyala Prasad 申請人:Cisco Tech Inc