一種視頻雲平臺的流量控制方法及系統的製作方法
2023-07-08 09:57:56 1
專利名稱：一種視頻雲平臺的流量控制方法及系統的製作方法
技術領域：
本發明涉及一種視頻的流量控制方法及系統，尤其涉及一種視頻雲平臺的流量控制方法及系統。
背景技術：
視頻服務業務由於其實時性等特點對服務質量有著較高的敏感性，因而對帶寬等資源有著很高的要求。進一步地，當在雲計算平臺中部署視頻業務後，隨著服務的用戶數量和規模的劇增，這種對服務質量的敏感性便會被進一步放大，成為影響系統穩定性和用戶服務體驗的重要因素，如何有效地對其帶寬和流量進行管理，變成了視頻雲計算平臺的一個重要問題。與普通網際網路應用所不同，針對付費等信息對不同用戶進行分等級服務以保證不同的服務質量，是視頻雲計算的一大特點。所以，在視頻雲計算中有必要部署有效的流量控制模塊，用以對用戶帶寬進行分配和管理、對用戶流量進行限速和整形、並貫徹對不同用戶按級別進行分級處理的策略。在現有Linux系統技術中引入的分層令牌桶流量控制機制是一個很好的選擇。 它不僅能滿足不同等級用戶的基本帶寬需求，而且考慮到了充分利用帶寬的要素，從而將兩種看似矛盾的要素進行了綜合考慮並有機結合，同時滿足了帶寬分配、管理、整形、限速、 用戶分級、帶寬利用等要素，很好地迎合了雲計算和視頻服務的特徵。然而，現有的分層令牌桶算法實現最多只能達到0.5Gbps的處理速度。這樣的處理能力使得它無法適應大流量的視頻雲平臺的需求。經過分析，影響分層令牌桶算法處理能力的性能瓶頸主要在於以下兩點
(I)分層令牌桶算法有兩個主要操作入隊和出隊，即入隊和出隊。其中，入隊確定數據包對應的類，並將其插入到該類的包隊列中，然後完成對類進行激活等操作。而出隊則根據各個類的當前狀態，選定可以發送數據包的類，從其隊列中取出數據包並發送出去。然而，現有的分層令牌桶算法是串行算法，這意味著每一個時刻它只能進行一個操作，不能在同一時刻被處理。(2)鎖的使用也是影響性能的一個重要因素。為了避免系統調度引起的亂序操作對於關鍵數據結構的破壞，分層令牌桶算法現有的實現中使用了鎖。每次加鎖/解鎖操作都會消耗許多CPU時鐘周期，影響了處理速度。另外，即便將分層令牌桶算法進行了並行化，如果不消除鎖的使用，那麼在多個核上用鎖進行同步的過程也將消耗大量的時間。
發明內容
本發明解決的技術問題是構建一種視頻雲平臺的流量控制方法及系統，克服現有技術不能在同一時刻被處理多個操作及在多個核上用鎖進行同步的過程也將消耗大量的時間的技術問題。本發明的技術方案是提供一種視頻雲平臺的流量控制方法，包括如下步驟監測數據埠 當用戶向視頻雲平臺發出播放視頻請求之後，視頻雲平臺獲得用戶數據埠的配置信息，然後將視頻處理成符合用戶數據埠配置信息的視頻數據包，所述視頻數據包包括視頻文件的清晰度及用戶的使用優先級；
構建數據隊列及視頻服務分配樹根據用戶的優選級及視頻文件的清晰度將數據包分類，然後根據類別將數據包加入到相應的數據隊列，數據隊列使用先入先出隊列，根據分層令牌桶算法的原理構建分層令牌桶帶寬分配樹，所述分層令牌桶帶寬分配樹中，從頂層至底層依次為總帶寬、用戶組、用戶、視頻類型，每個令牌桶中存放令牌的速度表示此節點的數據發送能力，通過無鎖並行化實現的分層令牌桶算法來進行帶寬控制，即，在出隊時，優先選擇層次最低和優先級最高的節點進行出隊操作；
發送視頻數據包將視頻數據包通過數據埠發送到用戶。本發明的進一步技術方案是在構建數據隊列及視頻服務分配樹步驟中，當節點總令牌數減去數據包長度轉換過來的令牌數小於O時，則借用其他類的帶寬。本發明的進一步技術方案是在構建數據隊列及視頻服務分配樹步驟中，當節點總令牌數減去數據包長度轉換過來的令牌數小於O時，向該節點的上一層節點借用帶寬， 同時該節點被提升一層。本發明的進一步技術方案是在構建數據隊列及視頻服務分配樹步驟中，將入隊和出對操作分別放在CPU的兩個核上運行。本發明的進一步技術方案是在構建數據隊列及視頻服務分配樹步驟中，所述最底層節點的視頻服務分為普清視頻服務和高清視頻服務。本發明的技術方案是提供一種視頻雲平臺的流量控制系統，所述視頻去平臺包括監測數據埠監測單元、構建數據隊列及視頻服務分配樹的構建單元、發送視頻數據包的發送單元，當用戶向視頻雲平臺發出播放視頻請求之後，所述監測單元獲得用戶數據埠的配置信息，然後將視頻處理成符合用戶數據埠配置信息的視頻數據包，所述視頻數據包包括視頻文件的清晰度及用戶的使用優先級；所述構建單元根據用戶的優選級及視頻文件的清晰度將數據包分類，然後根據類別將數據包加入到相應的數據隊列，數據隊列使用先入先出隊列，根據分層令牌桶算法的原理構建分層令牌桶帶寬分配樹，所述分層令牌桶帶寬分配樹中，從頂層至底層依次為總帶寬、用戶組、用戶、視頻類型，每個令牌桶中存放令牌的速度表示此節點的數據發送能力，通過無鎖並行化實現的分層令牌桶算法來進行帶寬控制，即，在出隊時，優先選擇層次最低和優先級最高的節點進行出隊操作；所述發送單元將視頻數據包通過數據埠發送到用戶。本發明的進一步技術方案是所述構建單元還包括借用帶寬的借用模塊，所述借用模塊當節點總令牌數減去數據包長度轉換過來的令牌數小於O時，則借用其他類的帶寬。本發明的進一步技術方案是所述借用模塊包括借用上層帶寬的上層借用模塊。本發明的進一步技術方案是將入隊和出對操作分別放在CPU的兩個核上運行。本發明的進一步技術方案是所述最底層節點的視頻服務分為普清視頻服務和高清視頻服務。本發明的技術效果是本發明一種視頻雲平臺的流量控制方法及系統，使用分層令牌桶算法，通過對不同的隊列進行調度實現對各數據流的限速，從而達到劃分鏈路整體帶寬，控制各種數據流的出口速率的目的，實現用戶的分級管理和平衡網絡流量。同時，在現有算法實現的基礎上加於改進，使用去鎖先進先出的數據隊列的並行分層令牌桶算法， 高效的管理視頻雲計算平臺中產生的大數據流量和大計算處理需求。
圖I為本發明流程圖。
圖2為本發明帶寬分配圖。
圖3為本發明服務架構圖。
圖4為本發明分層帶寬借用流程圖。
圖5為本發明雙核並行化設計圖。
圖6為本發明的結構示意圖。
具體實施例方式下面結合具體實施例，對本發明技術方案進一步說明。如圖I所示，本發明的具體實施方式
是提供一種視頻雲平臺的流量控制方法，包括如下步驟
步驟100:監測數據埠，即當用戶向視頻雲平臺發出播放視頻請求之後，視頻雲平臺獲得用戶數據埠的配置信息，然後將視頻處理成符合用戶數據埠配置信息的視頻數據包，所述視頻數據包包括視頻文件的清晰度及用戶的使用優先級。如圖2所示，具體過程如下當用戶向雲平臺發出播放視頻請求之後，視頻雲平臺獲得用戶的詳細信息，包括用戶帶寬、硬體設備解碼能力、屏幕解析度、播放視窗的大小等。 然後，視頻雲平臺通過用戶信息對視頻進行處理，提供用戶硬體和要求基礎上允許的最好的視頻數據，並向用戶發送。步驟200 :構建數據隊列及視頻服務分配樹，即根據用戶的優選級及視頻文件的清晰度將數據包分類，然後根據類別將數據包加入到相應的數據隊列，數據隊列使用先入先出隊列，根據分層令牌桶算法的原理構建分層令牌桶帶寬分配樹，所述分層令牌桶帶寬分配樹中，從頂層至底層依次為總帶寬、用戶組、用戶、視頻類型，每個令牌桶中存放令牌的速度表示此節點的數據發送能力，通過無鎖並行化實現的分層令牌桶算法來進行帶寬控制，即，在出隊時，優先選擇層次最低和優先級最高的節點進行出隊操作。具體過程如下視頻雲平臺收到從視頻伺服器發來的數據包，分析收到的數據包， 根據數據包的類型來進行分類，然後根據類別加入到相應的數據隊列中。如果隊列已滿， 則給視頻伺服器發送堵塞信號，使其進入等待發送狀態。本發明中，數據包的類型包括數據包所在的視頻文件的清晰度及用戶的優先級，視頻文件的清晰度分為普清和高清。如圖 3，針對視頻雲平臺的出口分層令牌桶帶寬分配樹。樹中有4個層次，最底層的葉子節點代表真正需要被分配給實際帶寬的不同類型的服務。這裡設計了兩種服務類型1.5M/3M和 2. 5M/10M。其中I. 5M/3M對應的是普清視頻服務，如480P視頻，解析度為640x480，I. 5M代表此服務的保障速率(確保一個類的傳輸率)是I. 5M，封頂速率(允許一個類能達到的最大傳輸率)是3M，也就是說此服務在網絡繁忙時可以保證達到的帶寬為I. 5M,在網絡空閒的情況下，可以達到的速率上限是3M。2. 5M/10M對應的是高清視頻服務，優先級次於普清視頻服務，如720P視頻，解析度為1280x720。每個用戶都包含了這兩種服務的通道，因此用戶節點是比葉子節點更高一層的節點。在用戶節點之上還有用戶組節點，同一種級別的用戶屬於同一個用戶組，這裡圖中總共設置了 5種優先級的用戶，當數據包發送特別擁擠時優先保證優先級高的用戶的使用體驗。數據包到來時，它會根據類別插入相應的葉子節點的數據包隊列，然後等待發送。本發明中，通過無鎖並行化的分層令牌桶算法來進行帶寬控制和帶寬借用，從隊列中取出數據包。在無鎖並行化的分層令牌桶算法啟動時將所有樹中的節點設為可發送， 並且按規定速度往節點對應的令牌桶裡存放令牌。每一個令牌代表了一個固定長度的字節數。存放令牌的速度即表示此節點的數據發送能力。存放令牌越快，表示此節點的帶寬越高，反之，越慢則越低。當有數據要發送時，如果令牌桶中存在足夠的令牌則允許發送(出隊)，並減少令牌桶中相應的令牌數量；如果令牌桶中不存在足夠的令牌時則不允許發送。如圖4所示，在進行出隊操作時，首先選擇樹行結構中層次最低的節點，如果最底層的節點不只一個，則繼續選擇此層次中優先級最高的節點，如果這個節點為空，表示沒有數據發送，那麼就再查看下一個節點狀態，否則根據數據包的長度算出要消耗的令牌數。這時候節點總令牌數減去數據包長度轉換過來的令牌數，如果大於0，則表示這個令牌桶中令牌的數量足夠發送數據足(數據發送的速率低於保障速率CIR)，就可以直接將數據包出隊。 如果小於0，則需要借用其他類的帶寬。本發明具體實施例中，允許節點的帶寬不夠時向它的上一層節點借用帶寬，在借用帶寬時，子節點的數據就借用了父節點令牌桶裡的令牌進行發送，同時這個節點由於借用了上一層的帶寬，它的層次就要被提高一層。如此循環往復，不停地進行出對操作。當出隊操作將一個類的隊列長度由I變為0，也就是說一個節點的數據發送結束後，將當前的服務節點迅速轉移到下一個隊列非空的可發送節點。步驟400 :發送視頻數據包，即將視頻數據包通過數據埠發送到用戶。將從隊列取出的數據包通過網際網路發送到用戶終端上，這樣用戶便可以流暢地觀看感興趣的視頻。如圖5，我們使用的去鎖並行化分級令牌桶算法，將分級令牌同算法中原有的數據隊列換為先入先出隊列，取消了節點的激活和不激活操作。這樣排除了入隊和出對操作的並發情況，可以完全去除原先為了防止出入隊操作的並發行而在操作時加的互斥鎖。這樣減少了由於加互斥鎖的所消耗的CPU時間。並且針對雲平臺的多核高性能CPU，我們將入隊和出對操作分別放在CPU的兩個核上運行，進一步地提高效率。如圖6所示，本發明的具體實施方式
是提供一種視頻雲平臺的流量控制系統，所述視頻去平臺包括監測數據埠監測單元I、構建數據隊列及視頻服務分配樹的構建單元
2、發送視頻數據包的發送單元3，當用戶向視頻雲平臺發出播放視頻請求之後，所述監測單元I獲得用戶數據埠的配置信息，然後將視頻處理成符合用戶數據埠配置信息的視頻數據包，所述視頻數據包包括視頻文件的清晰度及用戶的使用優先級；所述構建單元2根據用戶的優選級及視頻文件的清晰度將數據包分類，然後根據類別將數據包加入到相應的數據隊列，數據隊列使用先入先出隊列，根據分層令牌桶算法的原理構建分層令牌桶帶寬分配樹，所述分層令牌桶帶寬分配樹中，從頂層至底層依次為總帶寬、用戶組、用戶、視頻類型，每個令牌桶中存放令牌的速度表示此節點的數據發送能力，通過無鎖並行化實現的分層令牌桶算法來進行帶寬控制，即，在出隊時，優先選擇層次最低和優先級最高的節點進行出隊操作；所述發送單元3將視頻數據包通過數據埠發送到用戶。本發明一種視頻雲平臺的流量控制方法及系統，使用分層令牌桶算法，通過對不同的隊列進行調度實現對各數據流的限速，從而達到劃分鏈路整體帶寬，控制各種數據流的出口速率的目的，實現用戶的分級管理和平衡網絡流量。同時，在現有算法實現的基礎上加於改進，使用去鎖先進先出的數據隊列的並行分層令牌桶算法，高效的管理視頻雲計算平臺中產生的大數據流量和大計算處理需求。以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施只局限於這些說明。對於本發明所屬技術領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬於本發明的保護範圍。
權利要求
1.一種視頻雲平臺的流量控制方法，包括如下步驟監測數據埠 當用戶向視頻雲平臺發出播放視頻請求之後，視頻雲平臺獲得用戶數據埠的配置信息，然後將視頻處理成符合用戶數據埠配置信息的視頻數據包，所述視頻數據包包括視頻文件的清晰度及用戶的使用優先級；構建數據隊列及視頻服務分配樹根據用戶的優選級及視頻文件的清晰度將數據包分類，然後根據類別將數據包加入到相應的數據隊列，數據隊列使用先入先出隊列，根據分層令牌桶算法的原理構建分層令牌桶帶寬分配樹，所述分層令牌桶帶寬分配樹中，從頂層至底層依次為總帶寬、用戶組、用戶、視頻類型，每個令牌桶中存放令牌的速度表示此節點的數據發送能力，通過無鎖並行化實現的分層令牌桶算法來進行帶寬控制，即，在出隊時，優先選擇層次最低和優先級最高的節點進行出隊操作；發送視頻數據包將視頻數據包通過數據埠發送到用戶。
2.根據權利要求I所述視頻雲平臺的流量控制方法，其特徵在於，在構建數據隊列及視頻服務分配樹步驟中，當節點總令牌數減去數據包長度轉換過來的令牌數小於O時，則借用其他類的帶寬。
3.根據權利要求2所述視頻雲平臺的流量控制方法，其特徵在於，在構建數據隊列及視頻服務分配樹步驟中，當節點總令牌數減去數據包長度轉換過來的令牌數小於O時，向該節點的上一層節點借用帶寬，同時該節點被提升一層。
4.根據權利要求I所述視頻雲平臺的流量控制方法，其特徵在於，在構建數據隊列及視頻服務分配樹步驟中，將入隊和出對操作分別放在CPU的兩個核上運行。
5.根據權利要求I所述視頻雲平臺的流量控制方法，其特徵在於，在構建數據隊列及視頻服務分配樹步驟中，所述最底層節點的視頻服務分為普清視頻服務和高清視頻服務。
6.一種視頻雲平臺的流量控制系統，其特徵在於，所述視頻去平臺包括監測數據埠監測單元、構建數據隊列及視頻服務分配樹的構建單元、發送視頻數據包的發送單元，當用戶向視頻雲平臺發出播放視頻請求之後，所述監測單元獲得用戶數據埠的配置信息，然後將視頻處理成符合用戶數據埠配置信息的視頻數據包，所述視頻數據包包括視頻文件的清晰度及用戶的使用優先級；所述構建單元根據用戶的優選級及視頻文件的清晰度將數據包分類，然後根據類別將數據包加入到相應的數據隊列，數據隊列使用先入先出隊列，根據分層令牌桶算法的原理構建分層令牌桶帶寬分配樹，所述分層令牌桶帶寬分配樹中，從頂層至底層依次為總帶寬、用戶組、用戶、視頻類型，每個令牌桶中存放令牌的速度表示此節點的數據發送能力，通過無鎖並行化實現的分層令牌桶算法來進行帶寬控制，即，在出隊時，優先選擇層次最低和優先級最高的節點進行出隊操作；所述發送單元將視頻數據包通過數據埠發送到用戶。
7.根據權利要求6所述視頻雲平臺的流量控制系統，其特徵在於，所述構建單元還包括借用帶寬的借用模塊，所述借用模塊當節點總令牌數減去數據包長度轉換過來的令牌數小於O時，則借用其他類的帶寬。
8.根據權利要求7所述視頻雲平臺的流量控制系統，其特徵在於，所述借用模塊包括借用上層帶寬的上層借用模塊。
9.根據權利要求6所述視頻雲平臺的流量控制系統，其特徵在於，將入隊和出對操作分別放在CPU的兩個核上運行。
10.根據權利要求6所述視頻雲平臺的流量控制系統，其特徵在於，所述最底層節點的視頻服務分為普清視頻服務和高清視頻服務。
全文摘要
本發明涉及一種視頻雲平臺的流量控制方法及系統，使用分層令牌桶算法，通過對不同的隊列進行調度實現對各數據流的限速，從而達到劃分鏈路整體帶寬，控制各種數據流的出口速率的目的，實現用戶的分級管理和平衡網絡流量。同時，在現有算法實現的基礎上加於改進，使用去鎖先進先出的數據隊列的並行分層令牌桶算法，高效的管理視頻雲計算平臺中產生的大數據流量和大計算處理需求。
文檔編號H04N21/643GK102611924SQ20121005310
公開日2012年7月25日 申請日期2012年3月2日 優先權日2012年3月2日
發明者何震宇, 崔育鑫, 盛義濤, 胡文毅, 葛百根 申請人:何震宇