用於視頻流的客戶端合成的裝置和方法
2023-09-17 05:39:15
專利名稱：用於視頻流的客戶端合成的裝置和方法
用於視頻流的客戶端合成的裝置和方法
背景技術：
許多視頻交付系統在伺服器處執行所有視頻合成。然而，這樣的伺服器端合成通常得到沒有很好地適應客戶的設備或客戶的個人偏好的最終合成的視頻。例如，當廣播網絡廣播籃球比賽時，客戶設備通常顯示包含比賽的當前狀態(當前比分、當前得球和投籃計數等)的一個或兩個信息框。這些屏幕顯示(OSD)原本顯示於顯示屏的左上角和右上角。當在傳統的正方形電視機上觀看籃球比賽時，在這個位置顯示0SD。然而，當在更新的寬屏電視機上觀看籃球比賽時，OSD可能不會位於顯示屏的左上角和右上角。相反，OSD可顯示在更靠近顯示屏的角落。這個行為的發生是因為視頻圖像有意地在視頻伺服器處合成，從而OSD在所有類型的顯示屏上可見。因為寬屏電視機與傳統的正方形電視機相比具有更大的水平顯示面積，OSD看起來更加接近於寬屏顯示器的角落。因此，可理解，通常，顯示視頻流的最好途徑是客戶設備的顯示屏的類型起作用。另一實例中，用戶可希望不顯示廣播方發送的0SD。不幸地，傳統的伺服器處合成的方法不允許用戶控制是否顯示0SD。另一實例中，用戶可想要根據他/她正在使用什麼類型的客戶設備來切換電影的格式。例如，如果按寬屏格式拍攝電影並且用戶具有傳統的正方形電視機，則用戶可能想要選擇是按信箱(letter-box)格式還是正方形格式顯示的能力。不幸地，根據用戶的偏好改變顯示圖像的組合在傳統的系統中受到限制。
發明內容
本發明涉及一種用於視頻流的客戶端合成的裝置和方法。該方法包括通過視頻顯示設備從遠程視頻伺服器接收多路復用後的數據流。所述多路復用後的數據流包括子流，其中所述子流包括描述符子流、至少一個媒體子流、和合成指令子流。該方法還包括通過視頻顯示設備根據描述符子流將多路復用後的數據流去多路復用成子流；和通過視頻顯示設備根據合成指令子流在顯示屏上顯示至少一個媒體子流，其中所述合成指令子流包括關於至少一個媒體子流的合成的指令。顯示步驟在合成指令子流指示的顯示屏的區域中將至少一個媒體子流顯示為屏眷顯不或趣中趣。該方法還包括通過視頻顯示設備從用戶接收第一指令命令。所述第一指令命令將至少一個媒體子流的合成改變為與合成指令子流指示的合成不同的合成，其中顯示步驟根據改變後的合成來顯示至少一個媒體子流。同樣，所述第一指令命令指示在多路復用後的數據流中包括的媒體子流的去除。同樣，所述第一指令命令指示至少一個媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個的改變。此外，所述第一指令命令可指示媒體子流向多路復用後的數據流的增加。另一實施例中，一種多路復用後的數據流可包括多個媒體子流。多個媒體子流的每個包括根據不同顯示縱橫比的相同視頻數據。顯示步驟基於合成指令子流顯示具有最接近於視頻顯示設備的顯示縱橫比的多個媒體子流的至少一個。本發明的實施例還包括一種通過視頻伺服器對媒體流進行客戶端合成的方法。該方法包括通過視頻伺服器生成合成指令子流。所述合成指令子流包括關於至少一個媒體子流的合成的指令。該方法還包括通過視頻伺服器將描述符子流、至少一個媒體子流、和合成指令子流進行多路復用；和通過視頻伺服器發送多路復用後的數據流，以根據合成指令子流在顯示屏上顯示。合成指令子流指示顯示屏的區域將至少一個媒體子流顯示為屏幕顯示或畫中畫。該方法還包括通過視頻伺服器從視頻顯示設備接收第一指令命令。所述第一指令命令將至少一個媒體子流的合成改變為與合成指令子流指示的合成不同的合成，其中生成步驟生成指示改變後的合成的更新合成指令子流。所述第一指令命令指示在多路復用後的數據流中包括的媒體子流的去除。同樣，所述第一指令命令指示在多路復用後的數據流中包括的至少一個媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個的改變。同樣，所述第一指令命令指示媒體子流向多路復用後的數據流的增加。另一實施例中，多路復用後的數據流多個媒體子流。多個媒體子流的每個包括根據不同顯示縱橫比的相同視頻數據。合成指令子流可包括用於視頻顯示設備選擇具有最接近於視頻顯示設備的顯示縱橫比的多個媒體子流的一個的指令。本發明的實施例還包括用於媒體流的客戶端合成的視頻顯示設備。該視頻顯示設備包括去多路復用器，配置為將多路復用後的數據流去多路復用成子流。子流包括描述符子流、至少一個媒體子流、和合成指令子流。合成指令子流包括關於至少一個子流的合成的指令。視頻顯示設備還包括控制器，配置為根據合成指令子流在顯示屏上顯示至少一個媒體子流。控制器可在合成指令子流指示的顯示屏中將至少一個媒體子流顯示為屏幕顯示或畫中畫。同樣，視頻顯示設備可配置為從用戶接收第一指令命令。所述第一指令命令將至少一個媒體子流的合成改變為與合成指令子流指示的合成不同的合成，其中控制器根據改變後的合成來顯示至少一個媒體子流。所述第一指令命令指示在多路復用後的數據流中包括的媒體子流的去除。所述第一指令命令指示至少一個媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個的改變。同樣，所述第一指令命令指示媒體子流向多路復用後的數據流的增加。根據另一實施例，多路復用後的數據流多個媒體子流。多個媒體子流的每個包括根據不同顯示縱橫比的相同視頻數據，控制器基於合成指令子流顯示具有最接近於視頻顯示設備的顯示縱橫比的多個媒體子流的至少一個。本發明的實施例還包括用於媒體流的客戶端合成的視頻伺服器。該視頻伺服器包括控制器，配置為生成合成指令子流。合成指令子流包括關於至少一個媒體子流的合成的指令。該視頻伺服器還包括多路復用器，配置為將描述符子流、至少一個媒體子流、和合成指令子流進行多路復用，以及配置為發送多路復用後的數據流，以根據合成指令子流在顯示屏上顯示。合成指令子流指示顯示屏的區域將至少一個媒體子流顯示為屏幕顯示或畫中畫。同樣，該視頻伺服器配置為從視頻顯示設備接收第一指令命令。所述第一指令命令將至少一個媒體子流的合成改變為與合成指令子流指示的合成不同的合成，並且控制器生成指示改變後的合成的更新合成指令子流。所述第一指令命令可指示在發送的多路復用後的數據流中包括的媒體子流的去除。同樣，所述第一指令命令指示在多路復用後的數據流中包括的至少一個媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個的改變。此外，所述第一指令命令指示媒體子流向多路復用後的數據流的增加。另一實施例中，多路復用後的數據流多個媒體子流。多個媒體子流的每個包括根據不同顯示縱橫比的相同視頻數據。合成指令子流可包括用於視頻顯示設備選擇具有最接近於視頻顯示設備的顯示縱橫比的多個媒體子流的一個的指令。
通過本文下面給出的詳細描述以及附圖，可以更全面地了解實施例實例，在所述附圖中，相同的部件由相同的參考標號表示，這些標號僅用於說明，因此並不限制本發明，在所述附圖中:圖1示出根據本發明的實施例的用於向視頻顯示設備發送數據流的系統的各個組件；圖2示出根據本發明的實施例的視頻顯示設備；圖3示出根據本發明的實施例的視頻伺服器；圖4示出根據本發明的實施例的多路復用後的數據流；圖5示出根據本發明的實施例的具有多於一個媒體子流的多路復用後的數據流；圖6示出根據本發明的實施例的數據流的客戶端調節的改變的實例；和圖7示出根據本發明的實施例的數據流的伺服器調節的改變的實例。
具體實施例方式現在將參考附圖更全面地描述本發明的各種實施例。附圖中相同的部件由相同的參考標號進行標示。如在此使用的那樣，單數形式「一」、「一個」和「所述」旨在同樣包括複數形式，除非上下文明確地另有所指。還將理解，當在此說明書中使用時，術語「包括」、「包含」、「含有」和/或「涵蓋」指定存在聲明的特徵、整數、步驟、操作、元素和/或組件，但是並不排除存在或增加一個或多個其他特徵、整數、步驟、操作、元素、組件和/或它們構成的組。現在將參考附圖描述本發明。各種結構、系統和設備僅出於說明的目的在附圖中示意性地示出，這樣就不會因所屬領域的技術人員公知的細節使得本發明晦澀難懂。雖然如此，包括附圖是為了描述和解釋本發明的示例性實施例。在此使用的單詞和短語應被理解和解釋為其所表達的含義與所屬領域的技術人員對這些單詞和短語的理解一致。當術語或短語旨在表達特殊含義(即，非所屬領域的技術人員理解的含義)時，這種特殊定義將在直接且明確地提供這些術語或短語的特殊定義的說明書中明確指出。示例性實施例提供一種方法和裝置，允許用戶對於視頻圖像在顯示屏上的顯示具有更多控制。例如，本發明的實施例在視頻顯示設備上而並非在視頻伺服器上合成媒體數據流的至少一個。例如，如下所述，本發明的實施例能夠在視頻顯示設備(客戶端)處執行一些或所有合成操作，從而能夠在合成操作期間更好地考慮客戶的設備和偏好，因此得到適應客戶的設備和偏好的最終合成的視頻。圖1示出根據本發明的實施例的用於向視頻顯示設備發送數據流的系統的各個組件。例如，圖1示出經由通信接口向至少一個視頻顯示設備103發送多路復用後的數據流以顯示於視頻顯示設備103的顯示屏104上的至少一個視頻伺服器102。顯示屏104可包括在視頻顯示設備103中或經由有線和/或無線連接與視頻顯示設備103連接的獨立設備中。多路復用後的數據流可代表至少一個媒體流。媒體流可以是任意類型的媒體流，包括但不限於，用於屏幕顯示(OSD)的音頻/視頻(A/V)流、和文本/圖形流。媒體流覆蓋任意數目和類型的編解碼，例如MPEG或HTML (例如本發明是編解碼中性的)。以下進一步說明多路復用後的數據流的細節。視頻顯示設備103可包括能夠處理和顯示發送的數據流的任意類型的系統。例如，視頻顯示設備103可包括例如電視103-1或個人計算機103-3、或其任意組合。電視103-1可以是任意類型的傳統電視機。此外，電視103-1可以與例如電纜箱、衛星接收器、或遊戲控制臺的任意類型的機頂盒103-2相結合。個人計算機103-3可以是具有處理器、存儲器、和用於顯示發送的多路復用後的數據流的顯示屏的任意類型的個人計算機。視頻伺服器102是專用於交付視頻數據的基於計算機的設備(還稱為「主機」)。視頻伺服器102通過例如無線/有線網際網路連接、射電傳輸(例如廣播或衛星)、或電纜連接的任意類型的通信接口向至少一個視頻顯示設備103發送多路復用後的數據流。根據本發明的實施例，並非在視頻伺服器102處合成所有數據流，視頻顯示設備103根據在視頻伺服器102處生成的合成指令子流合成並顯示媒體流的至少一個。例如，在任意給定時刻，從視頻伺服器102向視頻顯示設備103發送的多路復用後的數據流包括一個多路復用描述符子流(描述符子流)、0個或多個媒體子流、以及0個或I個合成指令子流。描述符子流始終存在於多路復用後的數據流中。然而，在任意給定時刻，數據流可額外地包括一個或多個媒體子流和/或合成指令子流。合成指令子流包括關於一個或多個媒體子流的合成的指令。換句話說，合成指令子流包括關於如何合成媒體流的一個或多個的指令集。通常，當視頻伺服器102需要改變合成指令時，合成後的數據流包括合成指令子流，如以下詳述。描述符子流描述多路復用後的數據流的當前內容，例如在多路復用後的數據流中當前存在的每個類型子流的數目，並且在媒體流的情況下，對於每個這樣的子流使用編碼。支持的媒體編碼至少為MPEG和HTML。然而，本發明的實施例涵蓋任意類型的編碼/解碼。圖2示出根據本發明的實施例的視頻顯示設備103。例如，視頻顯示設備103包括多路復用器201、合成器203、控制器202、用戶接口 204、和顯示屏104 (這在圖2中未示出)。視頻顯示設備103還包括對於本領域技術人員已知的其他組件，例如用於接收發送的多路復用後的數據流的調諧器和/或天線、用於解碼視頻數據的解碼器、和用於存儲解碼後的視頻數據的幀的存儲器/緩衝器。視頻顯示設備103的組件可在電視103-1、機頂盒103-2、和/或個人計算機103-3中按本領域技術人員的方式實現。參照圖2，視頻顯示設備103經由調諧器或接收器天線(未示出)接收多路復用後的數據流。如上所示，在任意給定點，多路復用後的數據流包括I個描述符子流、0個或多個媒體流、和0個或I個合成指令子流。去多路復用器201根據描述符指令將多路復用後的數據流去多路復用成子流。描述符子流包括例如關於在多路復用後的數據流中包括的子流的數目和類型的信息。描述符子流還包括使得接收器能夠適當解碼在多路復用後的數據流中包括的媒體流的必要編解碼信息。首先，去多路復用器201取出多路復用描述符，去多路復用器201知道其存在於多路復用後的數據流中。然後，去多路復用器201讀取該描述符，找出多路復用後的數據流中包含的其他內容。去多路復用器201使用這個信息來去多路復用所述多路復用後的數據流的剩餘部分。例如，去多路復用器201基於描述符子流來去多路復用媒體子流(AV1到AVn，ODS1到OSDnX儘管附圖將媒體流示出為用於OSD的A/V流和文本/圖形流，但是本發明的實施例覆蓋任意類型的媒體流。例如，每個媒體流具有編碼，並且根據合成指令來分別合成。A/V和OSD種類僅用於說明的目的。此外，去多路復用器201從多路復用後的數據流來去多路復用合成指令子流INSTR，如果這個子流存在於多路復用後的數據流中。參照圖2，所述子流包括任意數目媒體子流(包括O)。儘管未示出，視頻顯示設備103解碼所選的媒體子流，生成可在視頻顯示設備103中的緩衝器存儲器中存儲的幀。接著，控制器203根據合成指令子流在視頻顯示設備103的顯示屏104上顯示去多路復用後的媒體子流，如說明書中隨後所述可進行修改。例如，在去多路復用之後，在合成器203中接收多路復用後的數據信號中存在的媒體子流。控制器202控制合成器203，根據合成指令子流合成媒體子流。合成指令包括用於媒體子流的合成的合成指令集。合成可涉及例如媒體子流的顯示大小、顯示顏色、顯示形狀、和顯示位置。然而，合成指令可包括涉及媒體子流的顯示的任意類型的合成指令。例如，合成指令可以是在多路復用後的數據流中包括至少一個字節的預定義的編碼或語法。例如，定義的代碼(例如1，01，101等)可被視頻顯示設備103或視頻伺服器102識別為關於特定類型的指令。在說明書中隨後討論特定類型的指令的實例。在根據合成指令在合成器203中合成媒體子流之後，圖形顯示子系統(未示出)在視頻顯示設備103的顯示屏104上顯示合成後的顯示信號。此外，視頻顯示設備103包括用戶接口 204，配置為從例如計算機滑鼠或遠程控制器的輸入設備接收用戶輸入。此外，用戶可通過按壓視頻顯示設備103本身上的控制按鈕向視頻顯示設備103直接提供輸入。視頻顯示設備103可顯示菜單，其允許用戶將媒體子流的合成改變為與合成指令子流指示的合成不同的合成。基於來自用戶的用戶信號，視頻伺服器102或視頻顯示設備103可執行合成改變。這個特徵在說明書中隨後說明。圖3示出根據本發明的實施例的視頻伺服器102。視頻伺服器102包括控制器302和多路復用器301。視頻伺服器102還包括視頻伺服器中已知的其他組件。控制器302控制多路復用器301選擇哪些子流組合在多路復用後的數據信號中。例如，控制器302指示多路復用器301將任意數目媒體子流多路復用在多路復用後的數據流中。此外，視頻伺服器102可包括編碼器(未示出)，使用任意已知的編碼技術來編碼媒體子流。控制器302生成合成指令子流INSTR和描述符子流，與媒體子流多路復用。例如，控制器302基於數據流的設計者的輸入生成合成指令子流INSTR。如先前所示，合成指令子流包括關於由視頻顯示設備103如何合成媒體子流的指令。控制器302基於包含在多路復用後的數據流中的每個類型媒體子流的數目和要應用編碼的類型來生成描述符子流。視頻伺服器102經由通信接口向視頻顯示設備103發送多路復用後的數據流。此外，視頻伺服器102可在多路復用後的數據流中包括多個媒體流，其中每個子流可對應於或不對應於相同視頻內容。本發明的一個實施例中，每個媒體子流可對應於電視節目的相同主視圖，但是涉及對於不同大小的顯示屏的顯示縱橫比。因為不同顯示屏具有不同縱橫比，所以每個視頻顯示設備103必須將媒體子流壓縮或延伸至顯示屏的大小。然而，為了防止不期望的壓縮和延伸，視頻伺服器102可包括多個媒體子流，其中所述多個媒體子流包括根據不同顯示縱橫比的相同視頻數據，並且視頻顯示設備103基於合成指令子流顯示具有最接近於視頻顯示設備103的顯示屏104的顯示縱橫比的媒體子流。例如，控制器302生成合成指令子流，包括指示視頻顯示設備103選擇具有視頻顯示設備103的顯示屏104的最接近顯示縱橫比的媒體子流的指令集。圖4示出根據本發明的實施例的多路復用後的數據流。在時間A，多路復用後的數據流包括MPEG媒體子流2和描述符子流I，後者根據需求始終存在。假設MPEG媒體子流2對應於籃球比賽的音頻和視頻內容。在時間B，首先顯示包含比賽的當前狀態(當前比分、當前得球和投籃計數等)的屏幕顯示(例如文本/圖形子流3和文本/圖形子流4)。在時間B，多路復用數據流包括合成指令子流O、多路復用描述符1、MEPG媒體子流2、和HTML子流3和HTML子流4。合成指令子流0可包括關於如何在顯示屏104的顯示區域中作為屏幕顯示來顯示HTML子流3和HTML子流4的指令。例如，合成指令子流可包括指定以下內容的指令:「在左上角合成HTML子流3，在右上角合成HTML子流4，並在那裡持續合成直到進一步通知」。可通過包括至少一個字節的至少一個預定代碼來代表以上識別的合成指令和所述實施例涵蓋的任意其他合成指令。在時間C，假設由於比賽的比分的改變，需要更新與HTML文本/圖形子流3和第
二HTML文本/圖形子流4對應的屏幕顯示。在此時，多路復用後的數據流包括合成指示子流O、多路復用描述符1、MPEG媒體子流2、和HTML媒體子流3 (包括更新後的信息)。在時間C處，合成指令子流可包括以下合成指令:「從合成體去除先前HTML媒體子流4，在右上角合成新子流3，並在那裡持續合成直到進一步通知」。圖5示出根據本發明的實施例的具有多於一個媒體子流的多路復用後的數據流。例如，可期望將與一個MPEG子流相關的圖像數據作為另一 MPEG子流的畫中畫來顯示。為了完成這個操作，在時間B，視頻伺服器102發送以下多路復用後的數據流:合成指令子流
O、描述符子流1、MPEG媒體子流2、和另一 MPEG媒體子流3。合成指令子流包括關於將MPEG媒體子流3與MPEG媒體子流2如何合成的指令。例如，合成指令子流可包括以下合成指令:「在右下角合成流3」。在時間C，合成指令子流可停止合成MPEG子流3。如先前所述，視頻顯示設備103可顯示菜單，其允許用戶將媒體子流的合成改變為與合成指令子流指示的合成不同的合成。例如，用戶經由輸入設備或在視頻顯示設備103本身上提供由用戶接口 204接收的他的選擇。這個用戶命令轉發至控制器202。基於來自用戶的用戶命令，視頻伺服器102或視頻顯示設備103可執行合成改變。如果視頻伺服器102執行改變，則可稱為伺服器調節的觀察者改變。如果視頻顯示設備103執行改變，則可稱為客戶端調節的觀察者改變。 參照圖2，在客戶端調節的觀察者改變中，控制器202控制合成器203，根據用戶的偏好合成媒體子流。例如，如果用戶已指示不顯示特定媒體子流，則合成器203不將該媒體子流合成到最終顯示信號中。此外，控制器202可控制合成器203，基於用戶的指令命令按不同顯示位置、顯示形狀、顯示大小、顯示顏色等合成媒體流。圖6示出根據本發明的實施例的數據流的客戶端調節的改變的實例。參照圖6，在時間A，多路復用後的數據流包括描述符子流I和一個MPEG媒體子流2。在時間B，多路復用後的數據流包括描述符子流1、MPEG媒體子流2、合成指令子流O和2個HTML子流3和
4。合成指令子流O可包括關於2個HTML子流3和4的顯示位置的指令。在時間C，用戶使用輸入設備拉下顯示菜單，並選擇「僅顯示MPEG視頻流2」或「關閉OSD」。再參照圖2，控制器202隨後指示合成器203停止將所有其他媒體流合成到最終顯示信號中。然而，視頻伺服器102繼續在多路復用後的數據流中發送這些數據流。為了節省網絡帶寬，控制器202可在用戶控制信道上向視頻伺服器102發送指令信號，其指示視頻伺服器102應該或不應該發送哪些子流。用戶控制信道可以是用於向視頻伺服器102承載觀察者輸入的相同上遊控制信道。在伺服器調節的改變中，視頻伺服器102執行用戶發起的改變。例如，代替控制器202指示合成器203改變媒體子流的合成，控制器202在用戶控制信道上向視頻伺服器102發送包括的用戶的改變的指令信號。然後，視頻伺服器102對於媒體子流的合成作出適當改變。例如，視頻伺服器102可增加由用戶指示的額外媒體子流。同樣，視頻伺服器102可移除用戶指示的任意類型的媒體流。同樣，視頻伺服器102可改變任意媒體子流的顯示位置、顯示形狀、顯示大小、顯示顏色等。圖7示出根據本發明的實施例的數據流的伺服器調節的改變的實例。在圖7，在時間C，用戶使用輸入設備拉下伺服器提供的菜單，並選擇「不顯示HTML子流3和4」。響應地，視頻顯示設備103經由用戶控制信道向視頻伺服器102發送指令信號。參照圖3，控制器301生成合成指令子流，其包括不顯示文本子流3和4的指令集，例如「停止合成媒體子流3和4」。在圖7，在時間D，合成指令到達客戶端。此外，視頻伺服器102可停止發送媒體子流3和4。結果，視頻伺服器102不在多路復用後的數據流中發送這個媒體子流。本發明的實施例實例的變形不應被視為偏離本發明的實施例實例的精神和範圍，對於所屬領域的技術人員而言，很明顯所有這些變形旨在包括在本發明的範圍內。
權利要求
1.一種通過視頻顯示設備(103)對媒體流進行客戶端合成的方法，該方法包括: 通過視頻顯示設備(103)從遠程視頻伺服器(102)接收多路復用後的數據流，所述多路復用後的數據流包括子流，所述子流包括描述符子流、至少一個媒體子流、和合成指令子流； 通過視頻顯示設備(103)根據描述符子流將多路復用後的數據流去多路復用成子流；通過視頻顯示設備(103)根據合成指令子流在顯示屏(104)上顯示至少一個媒體子流，所述合成指令子流包括關於至少一個媒體子流的合成的指令。
2.如權利要求1所述的方法，其中顯示步驟在合成指令子流指示的顯示屏(104)的區域中將至少一個媒體子流顯示為屏幕顯示或畫中畫。
3.如權利要求1所述的方法，還包括: 通過視頻顯示設備(103)從用戶接收第一指令命令，所述第一指令命令將至少一個媒體子流的合成改變為與合成指令子流指示的合成不同的合成，其中顯示步驟根據改變後的合成來顯示至少一個媒體子流。
4.如權利要求3所述的方法，其中所述第一指令命令指示在多路復用後的數據流中包括的媒體子流的去除。
5.如權利要求3所述的方法，其中所述第一指令命令指示至少一個媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個的改變。
6.一種通過視頻伺服器(102)對媒體流進行客戶端合成的方法，該方法包括: 通過視頻伺服器(102)生成合成指令子流，其包括關於至少一個媒體子流的合成的指令； 通過視頻伺服器(102)將描述符子流、至少一個媒體子流、和合成指令子流進行多路復用； 通過視頻伺服器(102)發送多路復用後的數據流，以根據合成指令子流在顯示屏(104)上顯示。
7.如權利要求6所述的方法，其中合成指令子流指示顯示屏(104)的區域將至少一個媒體子流顯示為屏幕顯示或畫中畫。
8.如權利要求6所述的方法，還包括: 通過視頻伺服器(102)從視頻顯示設備(103)接收第一指令命令，所述第一指令命令將至少一個媒體子流的合成改變為與合成指令子流指示的合成不同的合成，其中生成步驟生成指示改變後的合成的更新合成指令子流。
9.如權利要求8所述的方法，其中所述第一指令命令指示在多路復用後的數據流中包括的至少一個媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個的改變。
10.如權利要求9所述的方法，其中所述第一指令命令指示媒體子流向多路復用後的數據流的增加。
全文摘要
本發明涉及一種用於視頻流的客戶端合成的裝置和方法。該方法包括通過視頻顯示設備(103)從遠程視頻伺服器(102)接收多路復用後的數據流。所述多路復用後的數據流包括子流，所述子流包括描述符子流、至少一個媒體子流、和合成指令子流。該方法還包括通過視頻顯示設備(103)根據描述符子流將多路復用後的數據流去多路復用成子流；和通過視頻顯示設備(103)根據合成指令子流在顯示屏(104)上顯示至少一個媒體子流，其中所述合成指令子流包括關於至少一個媒體子流的合成的指令。
文檔編號H04N5/445GK103202032SQ201180053863
公開日2013年7月10日 申請日期2011年9月15日 優先權日2010年9月29日
發明者M·D·卡羅爾, P·A·威爾福特 申請人:阿爾卡特朗訊公司