用於自適應媒體服務的多種描述提示和交換的製作方法
2023-05-18 01:14:41
專利名稱：用於自適應媒體服務的多種描述提示和交換的製作方法
背景技術：
媒體壓縮和傳送為多媒體通信提供了不可缺少的形式。存在多種應用，包括數字TV、視頻點播、視頻電子郵件、視頻電話、視頻會議以及富媒體(rich media)電子教學。這些應用最顯著的例證就是基於IP的全球資訊網和無線通信服務。由於通過電纜和數字用戶環路數據機可以獲得更高的接入帶寬，通過大規模地部署IP多點傳送降低了伺服器和網絡的負荷，並且增加了骨幹帶寬，因此可以預見，在不久的將來，富媒體通信將發展更快並且分布更廣。
遺憾的是，與可以為連接提供有保證的服務質量(「QoS」)的諸如ISDN之類的更傳統的網絡不同，基於IP的網際網路和無線網絡都是相對不可靠的。目前，網際網路和無線網絡不提供QoS保證。由於技術和經濟的限制，對所有富媒體流全部進行QoS保證傳輸是不可能的，並且可能這樣持續相當長的時間。不可避免的分組丟失、比特錯誤、突發錯誤、延遲以及抖動使通過該有損網絡(lossy network)進行富媒體的有效傳輸成為一個挑戰性的任務。這些網絡特性影響壓縮比特流的傳輸，改變端到端質量的性質，並且基本上都要求更新富媒體傳送系統的設計。
因此，希望媒體伺服器能夠使內容適應當前的條件。自適應的媒體服務是本發明的焦點。例如，如果客戶要求通過有損無線信道逐步地傳送視頻序列，則媒體伺服器應當使流式傳輸的內容同時適應變化的分組丟失率和可用的信道速率。這種自適應將產生較好的用戶經驗。尤其希望該自適應不再要求媒體伺服器具有巨大的處理能力，這就是典型的在線代碼交換技術的情況。
發明內容
用於自適應媒體服務的多種描述提示和交換的系統和方法解決了現有技術的這些和其他缺點以及不利方面。
該系統包括用於通過創建多個表示來調節數據的調節單元，響應於該調節單元的用於封裝多個調節後的數據表示的封裝單元，響應於該封裝裝置的用於監視至少一個當前的流條件並根據所監視的至少一個當前的流條件選擇最合適的封裝調節後的數據表示的媒體伺服器，以及響應於該媒體伺服器的用於對所選擇的封裝調節後的數據表示進行流式傳輸(streaming)的通信網絡。
相應的方法包括通過創建多個表示來調節數據，封裝多個調節後的數據表示，監視至少一個當前的流條件，根據所監視的至少一個當前的流條件選擇最合適的封裝調節後的數據表示，以及對所選擇的封裝調節後的數據表示進行流式傳輸。
根據以下可結合附圖對示例性實施例的描述，本發明的這些和其他方面、特徵和優點將變得顯而易見。
根據下面的示例性附圖，本發明講述了一種用於自適應媒體服務的多種描述提示和交換的系統和方法，其中圖1示出了用於根據本發明優選實施例的系統的示意框圖；圖2示出了用於根據圖1的封裝的流程圖；圖3示出了用於根據圖1的對封裝的給定元數據進行流式傳輸的流程圖；圖4示出了一組示意性的連續描述，其中每個描述都是即將由伺服器傳送的壓縮存取單元，例如，從i-2到i+4的描述可以代表視頻剪輯的視頻幀；圖5示出了每個存取單元具有一個描述的一組示意性的連續描述，其中無論所監視和/或計算的運行條件xc如何，媒體伺服器都連續地發送這些描述，這可能使得對與|x-xc|成正比的幅度的感知能力發生退化；
圖6示出了一組示意性的離散目標運行條件xci，諸如用於來自真實網絡的真實流(Sure-Streaming)；圖7示出了一組示意性的連續描述，其中描述i由其特性p描述，並且其中所列的特性(例如類型、大小、失真、健壯性)僅僅是示例性的；圖8示出了具有附加在每個描述上的元數據的一組示意性的連續描述，該元數據描述了該描述的特性；圖9示出了一組示意性的連續描述，其中媒體伺服器分析與所考慮的存取單元有關的所有描述的元數據，並且根據所監視和/或計算的運行條件判斷傳送哪個描述；以及圖10示出了一組示意性的連續描述，其中Dki(.)表示MSE(Dik)，並且考慮存取單元i+1，在描述2處計算由αi+12(k)表示的值Ni＝3，其中k在
]>在時間i+1上具有最大失真並且由Di+12表示描述2。
具體實施例方式
本發明提供了一種用於自適應媒體服務的多種描述提示和交換的系統和方法。在下面的描述中，預先定義了以下術語存取單元存取單元是應用了本發明實施例的媒體單元，諸如視頻序列中的視頻圖像或音軌中的音頻幀。
描述描述是即將由伺服器傳送的壓縮的存取單元。
描述特性與特定的描述相關的特性向量，該向量由「p」表示。該向量以依照本發明的特定實現或實施例的方式描述特定的描述。
運行條件伺服器必須適應的實際條件向量，該向量由「xc」表示。
本發明的實施例將一條信息或「元數據」附加到每個單獨的描述中。該元數據以依照描述選擇算法的實現的方式體現了一個描述在描述特性方面的特徵。媒體伺服器分析與所考慮的存取單元有關的所有描述的元數據，並且根據所監視和/或計算的運行條件xc判斷傳送哪個描述。也就是說，不同的描述中不存在預先定義的軌道。作為替代，媒體伺服器在每個時刻或存取單元的持續時間上拾取具有特性p的最合適的描述，使得|x(p)-xc|在預先設置的約束條件下最小。
如圖1所示，參考標號101一般地表示本發明的系統的實施例。系統101包括用於接收數據的調節工具100、與調節工具100進行信號通信的封裝工具200以及與封裝工具200和網際網路400進行信號通信的媒體伺服器300。該調節工具100接收源數據並且將該源數據分成一系列數據單元(例如，將視頻流分成一系列視頻幀)。然後，給定一組期望的運行條件，該調節工具創建每個數據單元的多種版本，每個數據單元可能具有可變數量的版本，。
轉向圖2，參考標號201一般地表示用於根據圖1的封裝的流程圖。初始化方框210將控制傳遞給計數器方框212，其接下來將控制傳遞給判決方框214。判決方框214檢查計數器是否已經達到存取單元的數量，如果已經達到，則將控制傳遞給結束方框216。如果計數器還沒有達到存取單元的數量，則判決方框214將控制傳遞給循環初始化方框218，其接下來將控制傳遞給功能方框220。在對應於由計數器方框212跟蹤的時間的時間上，根據局部循環計數器，功能方框220檢索描述的元數據，並且計算最大失真。內部循環計數器方框222從方框220接收控制，遞增局部循環計數器，並且將控制傳遞給判決方框224。判決方框224檢查局部循環計數器是否小於極限值，並且如果小於，則判決方框224將控制傳遞迴控制功能方框220。
如果方框224確定局部循環計數器已經達到極限值，則將控制傳遞給循環初始化方框226。接下來，循環初始化方框226將控制傳遞給檢索兩個描述的功能方框228，檢查先前計算的失真是否小於檢索到的兩個描述之間的失真，並且計算值α。功能方框228將控制傳遞給計數器方框230，其遞增內部循環計數器，並且接下來將控制傳遞給判決方框232。判決方框232檢查內部循環計數器是否小於極限值，並且如果小於，則判決方框232將控制傳遞迴功能方框228。如果判決方框232發現內部循環計數器已經達到了極限值，則將控制傳遞給外部計數器方框234，其接下來將控制傳遞給判決方框236。方框236檢查外部循環計數器是否小於極限值，並且如果小於，則方框236將控制傳遞給功能方框228。如果判決方框236確定外部循環計數器已經達到了極限值，則判決方框236將控制傳遞給寫方框238。接下來，寫方框238寫入元數據α並且將控制傳遞迴計數器方框212。
因此，封裝工具200將不同的版本封裝到諸如磁碟上的文件中，並且附加元數據，使得流伺服器可以輕鬆地確定這些版本中最合適的軌道，以達到當前所監視的運行條件(即圖1中的xc)。
現在轉向圖3，參考標號301一般地表示用於具有來自根據圖1的封裝的給定元數據的流式傳輸的流程圖。這裡，初始化方框310將控制傳遞給計數器方框312，其接下來將控制傳遞給判決方框314。判決方框314檢查計數器是否小於存取單元的數量，如果不小於，則將控制傳遞給結束方框316。如果計數器仍然小於存取單元的數量，則將控制傳遞給功能方框318，以計算運行約束R。功能方框318將控制傳遞給檢索方框320，以檢索當前的極限值Ni，並且接下來將控制傳遞給功能方框322。功能方框322檢索當前的α並且計算描述的Ni失真值。功能方框324從功能方框322接收控制，選擇對應於當前的計數器時間值的描述用於流式傳輸，並且將控制傳遞迴計數器方框312。
因此，流伺服器300周期性地從系統400測量當前的運行條件xc，通過系統400，可以對所封裝的數據進行傳輸。用戶進入並且請求先前調節和封裝的數據。因此，流伺服器從所封裝的數據中讀取數據，在時間t上檢索不同的版本和所附加的元數據，並且對於時間0和時間T之間的所有時間t，計算版本的最合適的子集，以在時間t上發送給定的xc(即所封裝數據的結尾)。
如圖4所示，參考標號401一般地表示一組示意性的連續描述。這裡，例如，從i-2到i+4的描述可以表示視頻剪輯的壓縮視頻幀。每個存取單元有且僅有一個描述，以創建媒體流的典型單獨編碼。例如，如果未壓縮的視頻剪輯包括100個幀或存取單元，則壓縮該視頻剪輯會使每個視頻幀被壓縮一次，從而使100個描述用於一個一一映射。然後，將包含這100個描述的文件加載到媒體伺服器上。
轉向圖5，參考標號501一般地表示每個存取單元具有一個描述的一組示意性的連續描述。無論所監視和/或計算的運行條件xc如何，媒體伺服器都連續地發送這些描述，這可能使得對與|x-xc|成正比的幅度的感知能力發生退化。
當請求重放(playback)時，媒體伺服器發送描述。由於通過數字地壓縮存取單元而產生描述，因此壓縮參數(例如CODEC、比特率)直接影響描述的特性(例如大小、失真)。因此，一組連續的描述最佳地達到且僅達到一組運行條件xc。我們用x表示一組連續的描述所達到的運行條件。
不按順序先轉向圖7，參考標號701一般地表示一組示意性的連續描述，其中用其特性p來對描述i進行描述。這裡，所列出的特性(例如類型、大小、失真、健壯性)僅僅是示例性的。x相當依賴於編碼特性p。只要x不同於xc，那麼當媒體伺服器在實際的運行條件xc下發送達到條件x的描述時，表現質量就會降低。由於IP網絡「盡力而為」(best effort)的性質，因此一般情況下，x不同於xc。其他人已經認識到了這個問題，並且已經提出了不同的解決方案。
第一種解決方案是在通過網絡實際發送每個唯一的描述前獲取該描述，並且在其上執行一些處理(例如代碼交換算法)。儘管這種解決方案提供了一種精細的可測量的特性(一種可以使|x-xc|儘可能小的特性)，但它也引起大量的處理請求，並從而明顯地降低了媒體伺服器能夠處理的並發流的數量。另一種解決方案為每個存取單元創建多個描述。本發明基於該範例。
現在轉向圖6，參考標號601一般地表示一組示意性的離散目標運行條件xci，諸如用於來自真實網絡的真實流。存在依靠一組離散目標運行條件xi(例如來自真實網絡的真實流)的實現。圖6圖解地描述了該思想。為每個存取單元創建多個(圖中的四個)描述，使得描述的四個相異集合正好達到運行條件x1、x2、x3和x4。媒體伺服器監視和/或計算運行條件xc，並且可以決定切換到描述xi的不同相異集合(圖中i＝{0，1，2，3})。這種解決方案需要數量可忽略的額外的處理能力，但是自適應的精細程度直接影響到存儲空間。
本發明的實施例結合了兩方面的優點。也就是說，該實施例提供通用的結構，通過該結構，可以在可忽略對所需的處理能力的影響時獲得精細的可測量度。
如將要一起描述的圖8到圖10所示，描述了優選實施例的操作，其中為特定的視頻資源給出了一組描述D。δ表示恆定的幀間間隔。例如，每秒25幀的視頻序列具有1/25秒的間隔δ。
如圖8所示，參考標號801一般地表示一組示意性的連續描述。附加到每個描述的元數據用於對描述的特性進行描述。
如圖9所示，參考標號901一般地表示一組示意性的連續描述，其中媒體伺服器分析與所考慮的存取單元有關的所有描述的元數據，並且根據所監視和/或計算的運行條件決定傳送哪個描述。
如圖10所示，參考標號1001一般地表示一組示意性的連續描述，其中Dik(.)表示MSE(Dik)，並且考慮存取單元i+1，在描述2處計算由αi+12(k)表示的值Ni＝3，其中k在
]>其中在時間i+1上具有最大失真並且由Di+12表示描述2。
使Dij表示存取單元i的第j個描述，其中0＜＝j＜Ni並且0＜＝i＜A。例如，考慮圖9。除了只有2個描述的存取單元i+2之外，所有存取單元都具有3個描述(即對於所有的i，Ni＝3不同於(i+2)並且Ni+2＝2)。在這個示例性實施例中，將運行約束向量定義為xc＝[R(i)]，其中R(i)是在時間i上可獲得的信道速率。在本發明的替代的實施例中，運行約束向量可以包含更多元素。
該優選實施例的方法包括兩部分首先，我們確定了描述特性，並且建議了一種方法以計算它們的值；接著，給定當前的運行約束條件，我們建議了一種用於媒體伺服器的方法以有效地使用這些特性。
作為描述特性，將描述特性向量定義為p＝[S，α]，其中S是以字節表示的描述的大小，而α是可能取間隔[-1，1]內的離散值的加權因子，其中以源失真表示偏差。在該例子中，我們假設時間i上的描述的源失真可以清零，但不能超過時間i-1上的描述的失真的兩倍。在替代的實施例中，描述特性向量可以包含更多元素。另外，這裡以及下面的α的計算也僅僅是示例性的。
大小S的計算是直接的。α的計算(參見圖10)如下用MSE(Dij)表示描述Dij的均方誤差(MSE)。對於每個存取單元i，給定存取單元i-1的任何先前的描述0＜＝j＜Ni-1，我們計算存取單元i的每個描述0＜＝j＜Ni的MSE失真。對於所有0＜＝j＜N0並且N-1＝1，我們定義MSE(D-1j)＝100。對於所有0＜＝j＜N-1並且N-1＝1，我們初始化MSE(D-1j)＝100。然後，對於每個存取單元i，我們計算Ni×Ni-1的值。我們用MSE(Dij)(k)表示這些失真，其中k的範圍從0到Ni-1。接下來，我們通過下面的公式計算參數αij(k)αij(k)＝MSE(Dij)(k)/MSE(Di-1j)-1 (1)其中的k使得0＜＝k＜Ni-1並且MSE(Di-1j)＝maxk(MSE(Di-1j)(k))。
因此，用1+Ni×Ni-1的值完全地對描述進行描述，將該值存儲為輔助信息(例如元數據)。
對於媒體伺服器，考慮基於標準協議RTP/RTCP的流媒體。媒體伺服器周期性地接收RTCP接收機報告信息，該信息包含連接所具有的分組丟失率和往返時間的評估。我們用rho和RTT分別表示分組丟失率和往返時間。我們用下面的公式計算R(i)R(i)＝(1.3×MTU)/(RTT×sqrt(rho))(2)其中MTU是在連接上使用的分組的大小。在時間點i上的每個存取單元，媒體伺服器知道在時間i-1上已經選擇了該描述。我們用k表示該描述的索引。然後，媒體伺服器用Dij＝Di-1k(1+αik)計算Ni失真值Dij。最後媒體伺服器在時間i上選擇具有最小失真的描述k*，並使得大小Sik*小於或等於R(i)×δ。
因此，本發明覆蓋了通過存取單元跳轉的速率自適應，本發明的實施例為所有可跳轉的存取單元創建額外的空描述(nulldescription)。本發明優選實施例的實現完全符合MPEG-4系列標準，從而可以直接應用於MP4客戶播放器，諸如Quicktime 6.0、IBM JAVA播放器以及Real One。
根據這裡的講述，本領域的普通技術人員可以容易地確定本發明的這些和其他的特徵和優點。應當理解，可以用硬體、軟體、固件、專用處理器及其組合等不同形式來實現本發明講述的內容。
可以用硬體和軟體的結合來實現本發明講述的內容。此外，在明確包含固件的程序存儲單元中優選地實現軟體。軟體可以上載到包含任意合適結構的機器上並且由其實現。優選地，在具有諸如一個或多個中央處理單元(「CPU」)、隨機存取存儲器(「RAM」)以及輸入/輸出(「I/O」)接口之類的硬體的計算機平臺上實現該機器。該計算機平臺也可以包括作業系統和微指令代碼。這裡所描述的各種處理和功能可以是微指令代碼的一部分或軟體的一部分，或者它們的任意組合，其可以由硬體來執行。另外，諸如附加數據存儲單元之類的各種其他外設單元可以連接到該計算機平臺。
應當進一步理解，因為附圖所示的一些系統構成組件和方法優選地用軟體來實現，所以根據對本發明進行編程實現的方式，系統組件或處理功能模塊之間的實際連接可以不同。根據這裡給出的講述，本領域的普通技術人員能夠想到本發明的這些和類似的實現或結構。
雖然已經在這裡參照附圖描述了說明性的實施例，但應當理解，本發明並不局限於那些具體的實施例，本領域的普通技術人員可以進行各種改變和修改，而不脫離本發明的範圍或本質。所有這些改變和修改都將包括在所附權利要求所闡明的本發明的範圍中。
權利要求
1.一種通過具有變化的流條件的通信網絡來對數據進行流式傳輸的方法(101)，所述方法包括通過創建多個表示來調節(100)數據；封裝(200、201)所述多個調節後的數據表示；監視至少一個當前的流條件；根據所監視的至少一個當前的流條件來選擇最合適的封裝調節後的數據表示；以及對所選擇的封裝調節後的數據表示進行流式傳輸(301)。
2.根據權利要求1所述的方法，其中數據包括多個數據單元。
3.根據權利要求2所述的方法，其中多個數據單元是連續的。
4.根據權利要求2所述的方法，其中通過創建每個數據單元的多個表示來調節數據。
5.根據權利要求4所述的方法，其中對於給定的流條件的有限集合，通過預先計算不同數據單元中的軌道來封裝調節後的數據表示。
6.根據權利要求5所述的方法，其中給定所監視的當前的流條件，所選擇的最合適的封裝調節後的數據表示對應於數據單元中最合適的軌道。
7.根據權利要求4所述的方法，其中給定當前的流條件，通過將元數據附加到每個數據單元來封裝調節後的數據表示，使得流伺服器能夠以最小的代價來確定最合適的軌道。
8.根據權利要求7所述的方法，其中給定所監視的當前的流條件，所選擇的最合適的封裝調節後的數據表示對應於數據單元中最合適的軌道。
9.根據權利要求1所述的方法，其中所述數據包括視頻流。
10.根據權利要求1所述的方法，其中所述通信網絡包括數據網絡。
11.根據權利要求1所述的方法，其中所述數據網絡包括網際網路。
12.根據權利要求1所述的方法，其中所述至少一個當前的流條件包括可用的數據信道帶寬。
13.根據權利要求1所述的方法，其中所述至少一個當前的流條件包括所監視的數據分組丟失率。
14.根據權利要求1所述的方法，其中所述至少一個當前的流條件包括可用的流伺服器輸出帶寬。
15.一種用於通過具有變化的流條件的通信網絡來對數據進行流式傳輸的系統(101)，該系統包括調節裝置(100)，用於通過創建多個表示來調節數據；封裝裝置(200)，響應於調節裝置，用於封裝多個調節後的數據表示；監視裝置(300)，響應於封裝裝置，用於監視至少一個當前的流條件；選擇裝置(300)，響應於監視裝置，用於根據所監視的至少一個當前的流條件來選擇最合適的被封裝調節後的數據表示；流裝置(400)，響應於選擇裝置，用於對所選擇的封裝調節後的數據表示進行流式傳輸。
16.根據權利要求15所述的系統，其中所述調節裝置包括調節單元；所述封裝裝置包括與調節單元進行信號通信的封裝單元；所述監視裝置包括與封裝單元和通信網絡進行信號通信的媒體伺服器；所述選擇裝置包括與封裝單元和通信網絡進行信號通信的媒體伺服器；以及所述的流裝置至少包括媒體伺服器和通信網絡之一。
17.根據權利要求16所述的系統，其中對於給定的流條件的有限集合，封裝單元預先計算不同數據單元中的軌道。
18.根據權利要求16所述的系統，其中給定當前的流條件，封裝單元將元數據附加到多個數據單元中的每一個數據單元，使得流伺服器能夠以最小的代價來確定最合適的軌道。
19.一種機器(300)可讀程序存儲設備，實際包含機器可執行的程序指令，以執行程序步驟，用於通過具有變化的流條件的通信網絡(400)來對數據進行流式傳輸，所述程序步驟包括通過創建多個表示來調節數據；封裝(201)所述多個調節後的數據表示；監視至少一個當前的流條件；根據所監視的至少一個當前的流條件來選擇最合適的封裝調節後的數據表示；以及對所選擇的封裝調節後的數據表示進行流式傳輸(301)。
20.根據權利要求19所述的程序存儲設備，其中所述至少一個當前的流條件包括至少一個可用的數據信道帶寬、所監視的數據分組丟失率以及可用的流伺服器輸出帶寬。
全文摘要
一種用於通過具有變化的流條件的通信網絡(400)來對數據進行流式傳輸的系統(101)和方法(101、201、301)，包括調節單元(100)，用於通過創建多個表示來調節數據；封裝單元(200)，響應於該調節單元，用於封裝(201)多個調節後的數據表示；媒體伺服器(300)，響應於該封裝裝置，用於監視至少一個當前的流條件，並且根據所監視的至少一個當前的流條件來選擇最合適的封裝調節後的數據表示；以及通信網絡(400)，響應於該媒體伺服器，用於對所選擇的封裝調節後的數據表示進行流式傳輸(301)。
文檔編號H04LGK101048768SQ200480002027
公開日2007年10月3日 申請日期2004年3月8日 優先權日2003年4月3日
發明者莉薩·阿米尼, 帕斯卡爾·弗羅薩, 奧利維爾·弗斯切爾, 彼得·韋斯特林克 申請人:國際商業機器公司