用於自適應位速率流式傳輸的帶寬分配的方法及裝置製造方法

2023-05-09 07:32:16 1

用於自適應位速率流式傳輸的帶寬分配的方法及裝置製造方法
【專利摘要】本發明揭示一種用於將視頻內容從伺服器(305)提供到多個媒體裝置(320)的方法，所述方法包括：由所述伺服器(305)使用基於超文本傳送協議的實況流式傳輸客戶端模型或需求參數向量確定待分配給所述多個媒體裝置(320)中的每一者的帶寬；及將所述所分配帶寬提供到所述多個媒體裝置(320)中的每一者，其中所述視頻內容是以多個分段從所述伺服器(305)發射的，且其中每一分段是以可在不同分段間變化的位速率發射的。
【專利說明】用於自適應位速率流式傳輸的帶寬分配的方法及裝置

【背景技術】
[0001] 對於媒體消費，已廣泛地採納在網絡上將媒體從內容伺服器流式傳輸到媒體裝 置。用於媒體流式傳輸的兩種網絡協議包含用戶數據報協議網際網路協議（"UDP IP"）及傳 送控制協議（"TCP")IP。UDP IP通常用於針對相對可靠網絡的媒體流式傳輸，例如在有線 連接上的家庭內流式傳輸。TCP IP通常用於在較不可靠網絡上的流式傳輸。
[0002] 與TCP IP -起使用的基於超文本傳送協議（"HTTP"）的實況流式傳輸（"HLS"） 協議允許內容伺服器將變體播放列表文件發布到媒體裝置。變體播放列表文件識別媒體節 目（例如電影、電視節目等）的多個視頻流集合，其中每一視頻流集合具有針對所述媒體節 目的獨特編碼參數（例如，位速率、解析度等）。在變體播放列表文件中所識別的視頻流集 合從內容伺服器發射到媒體裝置時，媒體裝置可動態地在所述視頻流集合之間切換。媒體 裝置可基於初始網絡條件、初始緩衝器條件等而選擇接收在變體播放列表文件中識別的初 始視頻流集合。舉例來說，如果初始網絡條件、初始緩衝器條件等支持在變體播放列表文件 中識別的高清晰度（"HD"）視頻流集合的流式傳輸，那麼媒體裝置可選擇接收所述HD視頻 流集合。如果初始網絡條件降級或如果初始緩衝器條件降級等，那麼媒體裝置可選擇接收 在變體播放列表文件中識別的低清晰度視頻流集合。也就是說，媒體裝置可動態地選擇待 從內容伺服器接收的不同視頻流集合，其中所述不同視頻流集合具有不同編碼參數。
[0003] 視頻流集合的選擇及發射由媒體裝置驅動。響應於對在變體播放列表文件中識別 的視頻流集合的選擇，內容伺服器被動地將所述視頻流集合發射到媒體裝置。所述媒體裝 置可具有關於網絡條件的有限信息且可能不選擇適合於當前網絡條件的視頻流集合。此 夕卜，一些類型的媒體裝置選擇最高解析度及最高位速率的視頻流集合來接收。通常，內容服 務器服務於多個媒體裝置，從而將多個視頻流集合發射到所述媒體裝置。如果媒體裝置請 求具有高解析度及高位速率的視頻流集合，那麼為了服務於所述媒體裝置可能必須分配內 容伺服器資源或網絡帶寬的大部分。因此，由內容伺服器服務的其它媒體裝置可經歷降級 的性能，例如視頻流發射中的間歇性中斷。

【專利附圖】

【附圖說明】
[0004] 儘管所附權利要求書詳細闡述了本發明技術的特徵，但可根據連同附圖進行的以 下詳細描述來最好地理解這些技術連同其目標及優點，附圖中：
[0005] 圖IA圖解說明其中可使用本發明的實施例的實例性系統實施方案；
[0006] 圖IB圖解說明其中可使用本發明的實施例的實例性媒體流式傳輸系統實施方 案；
[0007] 圖2圖解說明根據本發明的實施例包含彼此通信的客戶端組件及伺服器組件以 及針對典型自適應流式傳輸的消息流的系統；
[0008] 圖3A圖解說明根據本發明的實施例的視頻流式傳輸系統；
[0009] 圖3B圖解說明根據本發明的實施例由日程安排模塊提供的實例性日程安排窗；
[0010] 圖4圖解說明根據本發明的實施例展示媒體裝置緩衝器的緩衝階段及回放階段 的實例性圖表；
[0011] 圖5圖解說明根據本發明的實施例的實例性HLS客戶端模型（"HCM"）框圖；
[0012] 圖6圖解說明根據本發明的實施例的位速率對需求參數向量（"NPV"）的實例性 曲線圖表；且
[0013] 圖7圖解說明根據本發明的實施例實施HCM及日程安排隊列的系統的實例性框 圖。

【具體實施方式】
[0014] 轉到其中相似參考編號指代相似元件的圖式，將本發明的技術圖解說明為在適合 環境中實施。以下描述是基於權利要求書的實施例且不應理解為關於本文中未明確描述的 替代實施例而限制權利要求書。
[0015] 參考圖1A，實例性媒體裝置100包含處理單元120及將包含系統存儲器130 (例如 只讀存儲器（"ROM"）140及隨機存取存儲器（"RAM"）150)的各種系統組件耦合到處理器 120的系統總線110。媒體裝置100可包含與處理器120直接連接、緊密接近於處理器120 或集成為處理器120的部分的高速存儲器的高速緩衝存儲器122。媒體裝置100可經配置 以將數據從存儲器130或存儲裝置160拷貝到高速緩衝存儲器122以由處理器120快速存 取。以此方式，高速緩衝存儲器122提供避免在等待數據時的處理器延遲的性能提升。這些 及其它模塊可控制或經配置以控制處理器120執行各種行動。其它系統存儲器130也可供 使用。存儲器130可包含具有不同性能特性的多個不同類型的存儲器。可了解，本發明可 對具有一個以上處理器120的媒體裝置100或對聯網在一起以提供較大處理能力的計算裝 置的群組或群集進行操作。處理器120可包含任何通用處理器及硬體模塊或軟體模塊（例 如存儲於存儲裝置160中且經配置以控制處理器120的模塊1162、模塊2164及模塊3166) 以及其中軟體指令併入到實際處理器設計中的專用處理器。處理器120可本質上為完全自 含式計算系統，其含有多個核心或處理器、總線、存儲器控制器、高速緩衝存儲器等。多核心 處理器可為對稱或不對稱的。
[0016] 系統總線110可為數種類型的總線結構中的任一者，包含使用多種總線架構中的 任一者的存儲器總線或存儲器控制器、外圍總線及局部總線。存儲於ROM 140等等中的基 本輸入/輸出系統可提供有助於在媒體裝置100內的元件之間傳送信息（例如在啟動期 間）的基本例程。媒體裝置100進一步包含存儲裝置160,例如硬碟驅動器、磁碟驅動器、光 盤驅動器、磁帶驅動器等等。存儲裝置160通過驅動器接口連接到系統總線110。驅動器及 相關聯計算機可讀存儲媒體為媒體裝置100提供對計算機可讀指令、數據結構、程序模塊 及其它數據的非易失性存儲。在一些實施例中，執行特定功能的硬體模塊包含存儲於非暫 時性計算機可讀媒體中的軟體組件連同用以執行功能的必要硬體組件，例如處理器120、總 線110、顯示器170等等。基本組件為所屬領域的技術人員所已知的，且取決於裝置的類型 (例如裝置100是否為小的手持式計算裝置、桌上型計算機、計算機伺服器等等）預期有適 當變化。
[0017] 雖然一些實施方案採用硬磁碟160,但所屬領域的技術人員應了解，可由計算機存 取的可存儲數據的其它類型的計算機可讀媒體（例如盒式磁帶、快閃記憶體卡、數字多用 盤、盒式磁碟、RAM 150、ROM 140、電纜或含有位流的無線信號等等）也可在示範性操作環 境中使用。非暫時性計算機可讀存儲媒體明確地不包含例如能量、載波信號、電磁波及信號 本身等媒體。
[0018] 媒體裝置100還包含接收緩衝器105,接收緩衝器105包含三個緩衝器區段105a、 105b及105c。第一緩衝器區段105a可用於媒體裝置100已從內容伺服器接收但尚未經消 費用於媒體播放的視頻包。媒體裝置100可能已經由確認向內容伺服器確認接收到第一緩 衝器區段l〇5a中的視頻包。緩衝器管理模塊（未展示）可監視媒體裝置100檢索第一緩 衝器區段l〇5a中的視頻包以供消費的速率。
[0019] 第二緩衝器區段105b可用於媒體裝置100已從內容伺服器接收但尚未經消費用 於媒體播放的視頻包。媒體裝置100可能尚未向內容伺服器發送針對第二緩衝器區段l〇5b 中的視頻包的確認。在將針對第二緩衝器區段l〇5b中的視頻包的確認從媒體裝置100發 射到內容伺服器時，可將第二緩衝器區段105b的部分分類為第一緩衝器區段105a的一部 分。緩衝器管理模塊（未展示）可追蹤在媒體裝置100將針對確認接收到第二緩衝器區段 105b中的視頻包的確認發送到內容伺服器時第二緩衝器區段105b的被分類為第一視頻緩 衝器105a的一部分的部分。
[0020] 第三緩衝器區段105c可用於接收視頻包。緩衝器管理模塊（未展示）可監視第 三緩衝器區段l〇5c以確定第三緩衝器區段105c何時接收視頻包並被分類為第二緩衝器區 段105b的一部分。在來自第一緩衝器區段105a的視頻包被消費時，可將第一緩衝器區段 l〇5a的部分分類為第三緩衝器區段105c的一部分。也就是說，第一緩衝器區段105a的被 消費了視頻包的部分可從內容伺服器接收新的視頻包。
[0021] 根據一些實施例，第一、第二及第三緩衝器區段105a-105c的大小共同界定用於 視頻包緩衝的最大緩衝器大小。在打開與內容伺服器的初始連接時，媒體裝置100可分配 最大緩衝器大小。通常，最大緩衝器大小在分配之後保持不變。
[0022] 為了實現與媒體裝置100的用戶交互，輸入裝置190表示任何數目種輸入機構，例 如用於語音的麥克風、用於手勢或圖形輸入的觸敏屏幕、鍵盤、滑鼠、運動輸入、語音等等。 輸出裝置170也可為所屬領域的技術人員已知的若干種輸出機構中的一或多者。在一些例 子中，多模態系統使得用戶能夠提供多種類型的輸入來與媒體裝置100通信。通信接口 180 通常管控及管理用戶輸入及系統輸出。不存在對在任何特定硬體布置上操作的限制，且因 此在開發出經改進的硬體或固件布置時可容易地用其替代此處的基本特徵。
[0023] 為了清晰地解釋，將說明性系統實施例呈現為包含個別功能塊，包含標示為"處理 器"或處理器120的功能框。這些框所表示的功能可通過使用共享或專用硬體（包含但不限 於能夠執行軟體的硬體及經專門構建以等效於在通用處理器上執行的軟體而操作的硬體 (例如處理器120))來提供。舉例來說，圖IA中所呈現的一或多個處理器的功能可由單個 共享處理器或多個處理器提供。說明性實施例可包含微處理器或數位訊號處理器（"DSP"） 硬體、用於存儲執行下文所論述的操作的軟體的ROM 140及用於存儲結果的RAM 150。還可 提供超大規模集成（"VLSI"）硬體實施例以及定製VLSI電路與通用DSP電路的組合。
[0024] 各種實施例的邏輯運算可實施為：（1)在通用計算機內的可編程電路上運行的計 算機實施的步驟、操作或程序（通常為"指令"）的序列，（2)在專用可編程電路上運行的計 算機實施的步驟、操作或程序的序列，或（3)可編程電路內的經互連機器模塊或程序引擎。 圖IA中所展示的媒體裝置100可實踐所揭示方法的全部或部分或可為所揭示系統的一部 分或可根據所揭示計算機可讀存儲媒體中的指令操作。此類邏輯運算可實施為經配置以控 制處理器120根據模塊的編程執行特定功能的模塊。舉例來說，圖IA圖解說明三個模塊 Modl 162、Mod2 164及Mod3 166,其為經配置以控制處理器120的模塊。這些模塊可存儲 於存儲裝置160上且在運行時加載到RAM 150或存儲器130中或可如此項技術中將知曉的 那樣存儲於其它計算機可讀存儲器位置中。
[0025] 內容遞送描述例如音頻或視頻或計算機軟體及遊戲等媒體"內容"在遞送媒體 (例如廣播或網際網路）上的遞送。內容遞送通常具有兩個部分：用於數字分配的已完成內 容與其附隨元數據的遞送；及最終產品到最終用戶的遞送。
[0026] 如本文中所使用，"流式傳輸媒體"是媒體在由流式傳輸提供者使用自適應位速率 ("ABR"）流式傳輸方法遞送的同時由最終用戶接收且呈現給最終用戶。所述名稱是指媒 體的遞送方法而非指媒體自身。區別通常應用於在電信網絡上分配的媒體，例如，"在線"， 因為大多數其它遞送系統內在地流式傳輸（例如，無線電、電視）或內在地非流式傳輸（例 如，書籍、視頻盒式磁帶、音頻CD)。下文中，在線媒體及使用ABR方法的在線流式傳輸稱為 "媒體"及"流式傳輸"。
[0027] ABR流式傳輸是通過將總體媒體流或媒體文件分解成小的基於HTTP的文件下載 的序列而工作的技術，每一下載加載總體可能無界輸送流或媒體基本流的一個短的分段。 在播放流時，客戶端（例如，媒體播放器）可從以多種數據速率編碼的含有相同材料的若干 個不同交替流進行選擇，從而允許流式傳輸會話適應於可用數據速率。在流式傳輸會話的 開始，播放器下載含有可用的各種子流的元數據的清單。由於其請求僅使用標準HTTP交 易，因此ABR流式傳輸能夠橫越準許標準HTTP業務通過的防火牆或代理伺服器，這不同於 基於Μ)Ρ的協議，例如實時輸送協議。這也允許針對任何給定流容易地實施內容遞送網絡。 已以包含蘋果公司（Apple, Inc.)的HTTP實況流式傳輸及微軟公司（Microsoft, Inc.)的 HTTP平滑流式傳輸的專有格式實施ABR流式傳輸方法。ABR流式傳輸已經標準化為ISO/ IEC 23009-1，信息技術-經由HTTP的動態自適應流式傳輸：部分1 :媒體呈現描述及分段 格式。
[0028] 增加數目的視頻回放裝置（例如蘋果iPad)更喜歡經由ABR流式傳輸遞送而不願 連續地流式傳輸視頻內容。iPad使用蘋果的HTTP實況流式傳輸格式接收作為含有到視頻 內容分段或"組塊"中的每一者的連結、媒體統一資源識別符（URI)的m3u8文件的清單並 處理所述清單文件以依次檢索及回放每一媒體分段。在本發明中，"HLS"表示將媒體內容 分段並採用播放列表來管理回放的協議的範圍。
[0029] 已揭示了計算系統的一些組件，本發明現在轉到圖1B，其圖解說明實例性媒體流 式傳輸系統實施例1000。圖IB中所描繪的實體之間的通信可經由一或多個有線或無線網 絡發生。此外，裝置可經由全球資訊網或經由應用程式編程接口直接通信。回放裝置1002(例如 平板計算機裝置、智慧型電話、桌上型或可攜式計算機、機頂盒、具備網際網路能力的電視、媒體 中心PC或任何其它適合裝置）首先向媒體伺服器1004做出回放媒體內容的請求。通常， 媒體伺服器1004駐存於例如網際網路或第三方內容分配網絡等網絡中。
[0030] 在HLS中，媒體伺服器1004接收請求並響應於所述請求而產生或提取待發送到媒 體裝置1002的清單文件1006。清單文件1006的實例性格式包含m3u及m3u8格式。m3u8 文件為使用UTF-8統一碼字符編碼的m3u的特定變化形式。m3u文件格式最初在WINAMP媒 體播放器中用於僅音頻文件，但後來已變為許多媒體裝置上用於本地或流式傳輸媒體（包 含音樂及其它媒體類型）的事實上的播放列表標準。許多媒體裝置採用m3u文件格式的變 化形式，可根據本發明使用其中的任一者。清單文件可包含到媒體文件的連結以作為到本 地文件系統上的位置的相對或絕對路徑或作為網絡地址，例如URI路徑。m3u8格式在本文 中用作非限制性實例來圖解說明包含非標準變體的清單文件的原理。
[0031] 清單文件1006包含到所請求經分段媒體內容的不同表示的統一資源定位符 ("URL"）的列表。在請求之前或在請求時，媒體伺服器1004產生或識別所請求媒體內容 的媒體分段來作為流式傳輸媒體內容1010。流式傳輸媒體內容1010的媒體分段由媒體服 務器1004產生、由內容製作者產生或由某一其它實體產生、通過對原始媒體內容1008進行 分裂、變碼或速率轉換而產生。在接收到清單文件1006後，媒體裝置1002可即刻從流式傳 輸媒體內容1010提取用於回放的第一媒體分段，接著在回放所述媒體分段期間提取在第 一媒體分段之後的下一用於回放的媒體分段等等直到媒體內容的結束。
[0032] 參考圖2,展示包含彼此通信的客戶端組件210及伺服器組件250以及針對典型自 適應流式傳輸的消息流的系統200。為清晰起見，已省略和客戶端組件210與伺服器組件 250之間的安全性相關的流。
[0033] 客戶端組件210可包含應用程式圖形用戶接口（ "App⑶I"）220及ABR播放器 230。伺服器組件250可包含可經配置以存儲或產生多位速率媒體流及清單文件的內容服 務器260。
[0034] 在第一步驟205中，用戶導覽電影列表並選擇用於觀看的視聽媒體資產。在一些 實施例中，視聽媒體資產連結到指向高級播放列表的URL。
[0035] 在下一步驟215中，ABR播放器230請求視聽媒體資產的高級清單文件，所述文件 包含關於ABR簡檔及到對應於每一媒體帶寬的清單的信息。
[0036] 在下一步驟225中，ABR播放器230查看高級清單或主播放列表並通過請求第一 清單文件（最低帶寬清單文件）而開始，或任選地可進行某一帶寬可用性估計並選擇對應 帶寬清單文件。
[0037] 在下一步驟235中，ABR播放器230請求對應帶寬的第二級清單。在下一步驟245 中，ABR播放器230確定第二級清單中的媒體分段文件。
[0038] 在下一步驟255中，ABR播放器230接連地請求媒體分段文件。在下一步驟265 中，ABR播放器230連續地監視媒體緩衝器滿度以確定是否有必要請求較低或較高帶寬媒 體分段表示。舉例來說，如果帶寬條件改變，那麼播放器選擇對應帶寬清單文件並接連地選 擇媒體分段。
[0039] 在下一步驟275中，當到達清單文件的結束時，ABR播放器230用信號同時App GUI220視聽媒體資產的回放完成。用信號通知流回放完成展示為步驟285。
[0040] 如上文所解釋，內容伺服器260服務於多個媒體裝置或ABR播放器230,從而將多 個視頻流集合發射到所述媒體裝置。如果媒體裝置請求具有高解析度及高位速率的視頻流 集合，那麼為了服務於所述媒體裝置可能必須分配內容伺服器資源或網絡帶寬的大部分。 因此，由內容伺服器服務的其它媒體裝置可經歷降級的性能，例如視頻流發射中的間歇性 中斷。
[0041] 因此，能夠針對多個客戶端高效地利用具有ABR流式傳輸的多路復用技術的服務 器側方法是非常合意的。舉例來說，可確定待分配給每一客戶端的資源（例如，通過不賦予 客戶端多個選項）同時最大化每一客戶端的性能的系統及方法提供勝過當前客戶端驅動 的模型的許多優點。
[0042] 圖3A描繪根據一些實施例的視頻流式傳輸系統300。視頻流式傳輸系統300包含 內容伺服器305、網絡315、一組媒體裝置320及變碼器元件322。內容伺服器305可經由網 絡315將視頻內容或視頻流集合發射到媒體裝置320。視頻流集合可針對媒體節目，例如電 影、電視節目等。視頻流集合中的每一視頻流可為短的視頻分段（例如，兩秒、十秒等）。視 頻流集合可包含媒體節目（例如兩小時的電影）的數千個視頻流。如本文中所使用，可將 例如視頻輸送或基本流等經編碼內容劃分成若干固定持續時間分段（例如，組塊）。所述分 段或組塊的持續時間通常介於2秒與10秒之間，但其可更長或更短。在一些實施例中，較 短分段降低解碼效率，而較大分段影響適應於網絡吞吐量的改變的速度。在一些實施例中， 視頻及音頻輸送流由共同分組成HLS組塊或分段的188位元組輸送包構成。然而，對於微軟 HTTP平滑流式傳輸，視頻及音頻基本流被分組成單獨數據塊、分塊成文件片段並用MP4或 ISO-MBFF "框"或"原子"標引以向播放器提示如何找到這些容器中的樣本（經解碼視頻及 音頻幀）。
[0043] 可將視頻流集合從變碼器元件322提供到內容伺服器305。變碼器元件322包含 若干個變碼器資源323,其中每一變碼器資源提供具有獨特編碼參數（例如，位速率、分辨 率等）的視頻流集合。網絡315可包含網際網路、各種內聯網等。網絡315可包含有線鏈路 及無線鏈路。將理解，本文中對"媒體"及"視頻"的各種提及包含視頻內容及音頻內容兩 者。
[0044] 內容伺服器305包含一組處理器305a及非暫時性計算機可讀存儲媒體（存儲 器）305b。存儲器305b可存儲指令，所述組處理器305a可執行所述指令以實施本文中所描 述的各種實施例。內容伺服器305包含共享域的若干個計算機裝置。內容伺服器305還包 含參考圖3B進一步詳細描述的日程安排模塊305c。
[0045] 現在參考圖3B，展示由日程安排模塊305c提供的實例性日程安排窗310。理想地， 內容伺服器305最大化網絡利用且跨越發送到媒體裝置320的媒體流維持相當的視頻質量 等級。內容伺服器305可通過利用日程安排模塊305c來部分地實現此目標。日程安排模 塊305c可基於其從與內容伺服器305通信的一或多個變碼器、內容管理服務、內容遞送服 務器或媒體裝置接收、確定或假定的一或多個因子而構造及實施日程安排窗310。在一些 實施例中，日程安排模塊305c使用呈對應於經變碼視頻（其可來自上遊變碼器或內容服務 器）的需求向量的形式的元數據以及例如客戶端的預訂參數等信息（例如，針對流式傳輸 服務的服務等級協定，例如，客戶端是否已為SD或HD服務或金質/銀質/銅質支付等，其 可來自運營商管理的內容目錄服務或履行管理器）、從客戶端媒體裝置直接報告的客戶端 裝置信息（屏幕大小、A/V解碼器能力）等。
[0046] 如所展示，日程安排窗310包含多個客戶端或媒體裝置個別日程安排320。舉例來 說，給客戶端#1指派日程安排320a，給客戶端#2指派日程安排320b，且給客戶端#N指派日 程安排320η。在每一個別日程安排320內的是待遞送到客戶端的分段的次序。舉例來說，客 戶端#1展示將在日程安排窗時間周期Tsw內遞送分段組塊S汴1、組塊S#、組塊S#..... 組塊SJK1。
[0047] 如已知，媒體裝置接收緩衝器為用以適應網絡抖動的必要組件。換句話說，可基於 緩衝器滿度而放寬對媒體裝置視頻數據的到達的時序約束。舉例來說，如果媒體裝置在其 緩衝器中具有T量的視頻數據分段，那麼在媒體裝置用盡媒體數據或下溢之前，下一視頻 分段的到達可被延遲（T-Tehunk)秒。在一些實施例中，播放器在其緩衝器中具有T秒的媒體 呈現數據。如果其在下一 T秒內未下載任何新的數據，那麼當T秒期滿時，播放器的緩衝器 將下溢，且其將停止播放音頻及視頻。在一些實施例中，播放器必須以一速率下載長度為 Tchunk秒的新分段，所述速率必須等於解碼及再現視頻的平均速率，從而使用T秒緩衝器 來吸收延遲。
[0048] 另外，媒體裝置接收緩衝器還提供在不影響媒體裝置用戶體驗的情況下放寬對分 段或組塊下載的時序約束的機會。因此，日程安排組塊並確定其在由日程安排窗（例如日 程安排窗310)界定的時間周期內針對每一客戶端的位速率的解決方案為合意的。在日程 安排窗模型下，可如下描述統計多路復用：假定稱為具有窗大小TSW的日程安排窗的預定 義時間周期及播放不同HLS節目的N個客戶端，確定每一 HLS客戶端的最優速率，其最大化 對網絡帶寬的利用同時為每一客戶端維持良好視頻質量。
[0049] 如圖3B中所指示，為媒體裝置選擇不同速率及數目的分段的問題變為日程安排 問題。在界定為T sw的時間周期中，為媒體裝置i日程安排1^數目個組塊。Ki取決於媒體 裝置狀態及媒體裝置緩衝器的大小的值減去媒體裝置緩衝器的滿度，例如，可用緩衝器或 (T"A X-TbuffOT)。為了為經日程安排組塊選擇最優位速率，內容伺服器305基於網絡帶寬而確 定將支持哪一總體質量等級Q。
[0050] 可使用HLS客戶端模型來確定媒體裝置狀態及可用緩衝器。
[0051] 在不希望受任何特定理論約束的情況下，已發現HLS客戶端行為可經表徵且因此 為可預測的。舉例來說，當客戶端開始播放所存儲的HLS節目時，其首先以指定的URl從 HLS伺服器讀取清單文件（播放列表文件）、剖析所述文件的內容並以最低序號的組塊開始 而開始循序地請求HLS組塊（如參考圖2所描述）。在HLS節目的整個回放中，觀察到兩個 回放階段且將其界定為緩衝階段及回放階段。圖4是展示以下兩個階段的實例性圖表400 : 緩衝階段410及回放階段420。當客戶端開始時，其將處於緩衝階段410中，其中HLS客戶 端緩衝器為空的，且其將嘗試通過在其完成下載先前組塊之後立即請求分段或組塊來填滿 其HLS客戶端緩衝器。當客戶端填滿其HLS客戶端緩衝器時，其移動到回放階段420中。在 此階段中，客戶端將在組塊持續時間期間提取一個HLS組塊。換句話說，總體下載組塊速度 與其實時回放速度匹配。
[0052] 為了預測客戶端行為並獲悉其狀態，內容伺服器305針對每一客戶端或媒體裝置 構建基於狀態的HCM。HCM提供關於客戶端是處於緩衝階段還是回放階段中的信息。HCM還 提供估計HLS客戶端緩衝器的滿度等級的手段。圖5圖解說明實例性HCM框圖500。
[0053] HCM框圖500包含播放器狀態510。播放器狀態510提供HCM的當前狀態，例如， 播放、搜尋、暫停、重新開始。與播放器狀態510包含在一起的還有媒體時間520。媒體時間 520為當前播放媒體幀的媒體時間戳。
[0054] HCM框圖500還包含緩衝器滿度530、緩衝器大小540及當前請求組塊550。緩衝 器滿度530是下載到HLS客戶端緩衝器中且尚未由媒體裝置消費的組塊的數目。緩衝器大 小540是HLS客戶端緩衝器的總大小，且當前請求組塊550是HLS客戶端當前請求的組塊 的序號。
[0055] 現在參考圖4及5,本文中描述用於構造 HCM的幾個變量。舉例來說，Tstart指示客 戶端完成下載第一媒體組塊且開始播放視頻的系統時間。T cmrent指示客戶端請求當前請求 組塊550的系統時間。Tstartjjts表示第一媒體組塊中的第一視頻幀的呈現時間戳（"PTS")。 Tcmrart表示當前請求組塊550中的第一視頻幀的PTS。
[0056] 緩衝器滿度530由緩衝器的填充（相對逝去時間）減去緩衝器的排放（實際逝去 時間）表示。舉例來說，使T buffw表示以時間度量的客戶端緩衝器滿度530。可將流式傳輸 到HCM的以時間度量（秒）的視頻數據Tfilling寫為：
[0057] Tfilling= T current pts_Tstart pts (方程式 1)
[0058] 同時可將由HCM消費的以時間度量（秒）的視頻數據Tdraining寫為：
[0059] Tdraining= T current-Tstart (方程式 2)
[0060] 可接著如下計算Tbuffw:
[0061 ] Tbuffer T filling ^draining ^ current pts ^start pts^ ^current ^start^ (萬矛王式 3)
[0062] 使Tmax表示HLS客戶端緩衝器大小540的大小，則如果T buffer < T MAX -Tdmk，那麼 HLS 客戶端處於緩衝階段中，否則其在正常回放階段中操作。
[0063] 如上文參考圖3所解釋，為了針對經日程安排組塊選擇最優位速率，內容伺服器 305基於網絡帶寬而確定將支持哪一總體質量等級Q。為了實現質量等級Q，可基於經編碼 位速率的NPV而計算所述位速率。
[0064] NPV是包含視頻複雜度（"VC")、裝置簡檔、服務優先級等級、編解碼器簡檔等的數 個因子的合成。VC是作為對視頻內容的複雜度等級的估計而從視頻內容導出的。假定一 NPV，內容伺服器305計算獲得目標質量等級需要何種位速率。此信息可由針對恆定質量的 位速率對NPV的一系列曲線（例如圖6中所展示）提供。裝置簡檔可包含屏幕大小、所支 持的編解碼器簡檔（例如，針對視頻的MPEG2及AVC或針對音頻的Dolby AC-3或AAC)、軟 件/硬體/固件版本、OS版本、播放器應用程式版本等。服務優先級等級可包含例如服務 等級協商中所包含的參數等參數，例如所支持的有保證帶寬或對分別與較高及較低成本預 訂服務相關聯的高清晰度視頻對標準清晰度的存取。
[0065] 可基於每一分段的內容複雜度而計算NPV，其中位速率對NPV的曲線針對任何給 定質量等級為線性的。此意味著如果節目A的NPV為節目B的NPV的兩倍，那麼其將以節 目B的位速率的兩倍取得節目A以維持類似的視頻質量。
[0066] 可基於經編碼位速率的NPV (以字節/秒為單位）而計算所述位速率，如以下方程 式中所展示：
[0067] byterate (NPV) = a XNPV (方程式 4)
[0068] 其中α表示經編碼視頻的質量等級且為標量，且當經正規化時其在0到1的範圍 中。較高的α指示較高的視頻質量。針對單個客戶端在K個組塊內的總日程安排預算（以 字節為單位）則為

【權利要求】
1. 一種用於將視頻內容從伺服器（305)提供到多個媒體裝置（320)的方法，所述方法 包括： 由所述伺服器（305)使用基於超文本傳送協議的實況流式傳輸客戶端模型"HCM"或需 求參數向量"NPV"確定待分配給所述多個媒體裝置（320)中的每一者的帶寬；W及 將所述所分配帶寬提供到所述多個媒體裝置（320)中的每一者； 其中所述視頻內容是W多個分段從所述伺服器（305)發射的；且 其中每一分段是W可在不同分段間變化的位速率發射的。
2. 根據權利要求1所述的方法，其中所述伺服器針對所述多個媒體裝置中的每一者構 造基於狀態的HCM。
3. 根據權利要求2所述的方法，其中所述HCM提供媒體裝置是否處於緩衝狀態或回放 狀態中。
4. 根據權利要求2所述的方法，其中所述HCM提供媒體裝置緩衝器的滿度的估計。
5. 根據權利要求2所述的方法，其中分配給所述多個媒體裝置中的每一者的所述帶寬 防止媒體裝置緩衝已從所述伺服器接收的內容。
6. 根據權利要求1所述的方法，其中所述伺服器或代理針對所述多個媒體裝置中的每 一者構造NPV。
7. 根據權利要求6所述的方法，其中所述NPV是基於W下各項中的一或多者；視頻復 雜度、裝置簡檔、服務優先級等級及編解碼器簡檔。
8. 根據權利要求1所述的方法，其進一步包括： W -位速率將所述視頻內容從所述伺服器發射到一或多個媒體裝置，所述位速率在針 對每一媒體裝置的所述所分配帶寬的界限內。
9. 一種用於將視頻內容提供到多個媒體裝置（320)的伺服器（305)，所述伺服器（320) 包括： 一組處理器（305a) ; W及 計算機可讀存儲媒體（305b)，其包括用於控制所述組處理器（305a)從而被配置W進 行W下操作的指令： 使用基於超文本傳送協議的實況流式傳輸客戶端模型HCM或需求參數向量NPV確定待 分配給所述多個媒體裝置（320)中的每一者的帶寬；W及 將所述所分配帶寬提供到所述多個媒體裝置（320)中的每一者； 其中所述視頻內容是W多個分段從所述伺服器（305)發射的；且 其中每一分段是W可在不同分段間變化的位速率發射的。
【文檔編號】H04N21/2343GK104471955SQ201380035950
【公開日】2015年3月25日 申請日期:2013年7月1日 優先權日:2012年7月5日
【發明者】許海峰, 阿賈伊·盧塔爾, 普拉文·穆爾蒂, 馬克·施密特 申請人:摩託羅拉行動有限公司