一種實現多數據源流媒體在線瀏覽的系統的製作方法
2023-06-05 05:48:16
專利名稱：一種實現多數據源流媒體在線瀏覽的系統的製作方法
技術領域：
本發明屬於數字家庭網絡技術領域及多媒體技術領域，特別是涉及一種流媒體在線瀏覽的系統。
背景技術：
流媒體是指在Internet/Intranet中使用流式傳輸技術的連續媒體，如音頻、視頻、文本、圖片等在內的多媒體文件。運用流媒體技術，把流媒體文件放到網際網路伺服器上，讓客戶端(包括瀏覽器)一邊下載一邊觀看、收聽，而不需要等整個多媒體文件下載完畢就可以即時觀看。
流媒體實現的關鍵技術就是流式傳輸。一般來說，流包含兩種含義廣義上的流是使音頻和視頻形成穩定和連續的傳輸流和回放流的一系列技術、方法和協議的總稱，習慣上稱之為流媒體系統；而狹義上的流是相對於傳統的下載一回放(Download-Playback)方式而言的一種媒體格式，能從Internet上獲取音頻和視頻等連續的多媒體流，用戶可以邊接收邊播放，使延時大大減少。
Internet的迅猛發展和普及為流媒體業務發展提供了強大的市場動力，流媒體業務正變得日益流行。流媒體技術廣泛用於多媒體新聞發布、在線直播、網絡廣告、電子商務、視頻點播(VOD)、遠程教育、遠程醫療、網絡電臺、實時視頻會議等網際網路信息服務的方方面面。
如今已經有非常多的在線流媒體播放系統，有典型的C/S、B/S結構的系統，如Windows MediaPlayer，Realplayer等播放器，就可以作為客戶端或者嵌入網頁中，從伺服器在線獲取媒體信息實時播放。但是這種C/S、B/S結構的系統，由於突發的網絡狀況和伺服器能力的上限，存在著服務不夠流暢穩定的情況。
現在也有許多P2P的在線媒體播放系統，這種系統理論上同時在線觀看的人數越多，服務質量就越好，得到的媒體信息就越流暢。事實上這種系統也做到了這種效果，如PPLive、CoolStreaming等播放軟體，在播放普通電視節目中有非常大的優勢。但是這種系統存在著如果在線觀看的人數少，就達不到理想的播放效果的目的。同時由於這一種P2P的系統，數據的來源不只是伺服器，一般情況下數據來源都是其他客戶端，媒體數據先傳輸給一個客戶端，再通過多個客戶端才能把媒體信息轉發到本地客戶端中，這樣就造成了較大節目的延時。
在線多媒體技術以前由於帶寬的限制，未能在網絡上廣泛運用，如今基礎技術已經成熟，如今網際網路的帶寬已經可以基本滿足在線多媒體瀏覽的需要，雖然網絡帶寬在增加，但是網絡中傳輸的數據量也在快速增長。帶寬的增加並沒有根本解決網絡擁塞的情況，仍不能精確預測在什麼時間什麼地段的網絡將出現擁塞現象。由於在線瀏覽多媒體信息需要穩定快速的網際網路才能得到流暢的多媒體效果，偶爾擁塞現象也將大大降低用戶的感受。同時，現在的多媒體瀏覽技術，無論是C/S結構的解決方案，還是P2P的解決方案，都需要從數據源中緩存一定量的媒體信息以防止偶爾的網絡擁塞，但是打開節目前的緩存時間都不盡如人意，長時間的緩存意味著節目有較大的延時，對於實時性要求較高的媒體節目，如體育競賽節目，明顯的延時有時候是不可以接受的，因為遲到的比賽結果常常讓人感到不滿。
對此，需要一種可得到穩定傳輸、高質量的在線媒體瀏覽方案。
發明內容
本發明的目的在於克服現有技術的不同，提出了一種穩定傳輸、高質量的多數據源流媒體在線瀏覽的系統。
為了實現發明目的，採用的技術方案如下一種實現多數據源流媒體在線瀏覽的系統，設置有如下模塊負責與流媒體數據源交互數據的網絡服務模塊；通過網絡服務模塊從網絡上的流媒體數據源獲取數據的媒體信息獲取模塊；用於存儲從不同流媒體數據源所獲取的數據的兩個或兩個以上媒體信息緩存器；將媒體信息緩存器的數據重組並傳送至播放終端的整合模塊；以及QoS分析控制模塊和關鍵幀分析模塊。
上述技術方案中，所設置的媒體信息緩存器的數量不少於流媒體數據源的數量。
所述QoS分析控制模塊通過分析各個媒體信息緩存器從流媒體數據源中獲取數據包的傳輸速度、數據包傳輸中的丟包率來決定每個媒體信息緩存器從流媒體數據源中獲取多少數據以及獲取哪一部分的的數據。
所述QoS分析控制模塊根據與各個流媒體數據源的網絡連接速度的不同來控制從流媒體數據源獲取數據的大小，對於連接速度較慢的數據源，給相對較少的數據獲取任務；對於速度理想的數據源，則給予相對較多的數據獲取任務。
所述關鍵幀分析模塊通過提取從流媒體數據源所獲取的數據的關鍵幀特徵，根據從不同流媒體數據源得到相同關鍵幀的時間差，來對不同流媒體數據源的媒體信息進行時間同步。
所述關鍵幀分析模塊的關鍵幀特徵採用圖像信息相關。
本發明的各個模塊所實現的功能具體如下網絡服務模塊負責與在線流媒體數據源交互數據。網絡通信部分都是由該模塊負責。而與其通信的主要模塊為媒體信息獲取模塊。媒體信息獲取模塊通知網絡服務模塊需要從哪個流媒體數據源中獲取什麼數據，網絡服務模塊按照要求返回給媒體信息獲取模塊需要的媒體信息。
所述媒體信息獲取模塊接收QoS控制模塊的控制信息，媒體信息獲取模塊根據這些控制信息，從網絡上得到的不同數據源，存放到不同的媒體信息緩存器中。
本發明對於每個不同的媒體信息數據源，都生成一個獨立的緩存器與其相對應。通過媒體信息獲取模塊，從不同數據源中獲取的信息，存放於不同的媒體信息緩存器中。各個媒體信息緩存器中的內容並不相同，故而需要把所有的內容再重新排序，以單一流媒體的形式輸出，在媒體播放器看來，這是一個單一的數據流，而不是由各個媒體信息緩存器組成的數據流，達到體系結構對播放器透明的目的。
所述QoS分析控制模塊通過分析各個媒體信息緩存器從流媒體數據源中獲取數據包的傳輸速度、數據包傳輸中的丟包率等信息，決定每個緩存隊列從流媒體數據源中獲取多少數據，獲取哪一部分的的數據。QoS分析控制模塊還根據每個當前計算機與各個流媒體數據源的連接速度的不同，對於速度較慢的數據源，則給相對較少的數據獲取任務；對於速度理想的數據源，則給予相對較多的數據獲取任務。QoS分析控制模塊是本發明中一個十分重要的模塊，媒體播放的質量、流暢程度都由這個模塊所影響。
所述關鍵幀分析模塊通過提取關鍵幀的特徵，把特徵信息保存在媒體信息緩存器中，當從不同的流媒體數據源中分析得到相同的特徵時，就認為在不同時刻從兩個流媒體數據源伺服器得到了相同的關鍵幀，這樣根據從不同伺服器得到相同關鍵幀的時間差，來對這些不同數據源的媒體信息進行時間同步。
關鍵幀分析模塊所分析出來的關鍵幀特性具有與解析度無關、與色彩深度無關、與關鍵幀的亮度無關的性質，分析出來的關鍵幀特性只與畫面的內容相關。
本發明的技術特點主要體現如下1、可從對應同一個節目的多個流媒體伺服器中同時獲取媒體信息。
在網際網路中，有多個流媒體數據源在播放相同的節目是非常常見的，使用從單一伺服器通過傳統的媒體播放器來播放這些在線媒體的時候，速度常常不能滿足使用的要求。犧牲媒體質量或者建立更大的緩存機制都不能解決問題。這是因為網絡的狀況並不是穩定的，也許在某一段時間內某段鏈路非常擁塞，但是在擁塞期過後，網絡狀況又恢復正常。本發明通過同時訪問多個流媒體伺服器，同時從不同的流媒體伺服器中獲取不同的數據，再通過QoS分析控制模塊，可以達到避開擁塞段鏈路的目的，以獲得穩定質量的在線媒體播放質量。
2、內部架構對媒體播放器透明。
本發明的體系架構雖然是從多個流媒體數據源中獲取不同的數據，但是這種多數據源的體系架構是對播放器透明的。由於通過信息整合模塊對每個媒體信息緩存器中的數據整合後才發送至播放器，故而對於播放器來說，它仍然與播放單一數據源的工作流程相同。
3、具備良好的擴展性。
本發明給出的是按功能劃分的模塊設計，在遵循整個架構上下文約束的情況下，可以靈活配置實現各個模塊。如QoS分析控制模塊，可以用新的分析控制策略替代原來的策略；關鍵幀分析模塊，也可以通過用其他的分析策略來更換原有的策略，以達到提高速度或減少資源開銷的目的。
圖1為本發明的結構示意圖；圖2為本發明應用於網絡上的示意圖。
具體實施例方式
下面結合附圖對本發明做進一步的說明。
本發明的結構示意圖如附圖1所示，由網絡服務模塊、媒體信息獲取模塊、媒體信息緩存器、整合模塊、QoS分析控制模塊、關鍵幀分析模塊組成。
所述網絡服務模塊與網絡上的媒體伺服器連接，負責與伺服器的流媒體數據源進行交互。
所述媒體信息獲取模塊與網絡服務模塊連接，通知網絡服務模塊需要從哪個流媒體數據源中獲取什麼數據，網絡服務模塊按照要求返回給媒體信息獲取模塊需要的媒體信息，媒體信息獲取模塊將媒體信息存放於不同的媒體信息緩存器中。
所述QoS分析控制模塊通過分析各個媒體信息緩存器從流媒體數據源中獲取數據包的傳輸速度、數據包傳輸中的丟包率等信息，決定每個緩存隊列從流媒體數據源中獲取多少數據，獲取哪一部分的的數據。QoS分析控制模塊還根據每個當前計算機與各個流媒體數據源的連接速度的不同，對於速度較慢的數據源，則給相對較少的數據獲取任務；對於速度理想的數據源，則給予相對較多的數據獲取任務。
所述關鍵幀分析模塊通過提取與畫面的內容相關的關鍵幀的特徵，把特徵信息保存在緩存中，當從不同的流媒體數據源中分析得到相同的特徵時，就認為在不同時刻從兩個伺服器得到了相同的關鍵幀，這樣根據從不同伺服器得到相同關鍵幀的時間差，來對這些不同數據源的媒體信息進行時間同步。
所述的整合模塊與用戶的播放終端連接，用於將媒體信息緩存器中的數據整合後發送給播放終端。
本發明應用於網絡上的一個實例的示意圖如附圖2所示，網絡上不同地區有多個伺服器正同時轉播媒體節目，這些伺服器為ServerA、ServerB、ServerC、ServerD、ServerE。由於在線實時觀看該節目的人數很多，大量的用戶增加了伺服器的負擔，使伺服器可能不能及時服務每一位用戶，同時大量的用戶也增加了網絡的負擔，由於網絡的擁塞，導致媒體信息數據包傳播的延時、甚至被丟棄。由於客戶端和ServerA的連接速度非常好，但是與ServerB的連接速度就比較慢，其他伺服器服務速度一般。所以客戶端通過QoS分析控制模塊，分配較多的信息獲取任務給ServerA，分配相對少的任務給ServerB，其他伺服器分配介於ServerA和ServerB之間的任務量。但是ServerA由於訪問人數的逐漸增多，ServerA的響應速度在下降，QoS分析控制模塊發現從ServerA獲取信息的速度在變慢，於是分配給ServerA的任務也逐漸減少，QoS模塊也發現ServerC的服務速度在增加，於是把任務更多地分配給ServerC。通過這種機制，達到了避開擁塞的網絡，避開能力達到上限的伺服器的目的，從而保證的媒體瀏覽的質量。
權利要求
1.一種實現多數據源流媒體在線瀏覽的系統，其特徵在於設置有如下模塊負責與流媒體數據源交互數據的網絡服務模塊；通過網絡服務模塊從網絡上的流媒體數據源獲取數據的媒體信息獲取模塊；用於存儲從不同流媒體數據源所獲取的數據的兩個或兩個以上媒體信息緩存器；將媒體信息緩存器的數據重組並傳送至播放終端的整合模塊；以及QoS分析控制模塊和關鍵幀分析模塊。
2.根據權利要求1所述的實現多數據源流媒體在線瀏覽的系統，其特徵在於所設置的媒體信息緩存器的數量不少於流媒體數據源的數量。
3.根據權利要求1或2所述的實現多數據源流媒體在線瀏覽的系統，其特徵在於所述QoS分析控制模塊通過分析各個媒體信息緩存器從流媒體數據源中獲取數據包的傳輸速度、數據包傳輸中的丟包率來決定每個媒體信息緩存器從流媒體數據源中獲取多少數據以及獲取哪一部分的的數據。
4.根據權利要求3所述的實現多數據源流媒體在線瀏覽的系統，其特徵在於所述QoS分析控制模塊根據與各個流媒體數據源的網絡連接速度的不同來控制從流媒體數據源獲取數據的大小，對於連接速度較慢的數據源，給相對較少的數據獲取任務；對於速度理想的數據源，則給予相對較多的數據獲取任務。
5.根據權利要求4所述的實現多數據源流媒體在線瀏覽的系統，其特徵在於所述關鍵幀分析模塊通過提取從流媒體數據源所獲取的數據的關鍵幀特徵，根據從不同流媒體數據源得到相同關鍵幀的時間差，來對不同流媒體數據源的媒體信息進行時間同步。
6.根據權利要求5所述的實現多數據源流媒體在線瀏覽的系統，其特徵在於所述關鍵幀分析模塊的關鍵幀特徵採用圖像信息相關。
全文摘要
本發明提供一種實現多數據源流媒體在線瀏覽的系統，包括網絡服務模塊、媒體信息獲取模塊、媒體信息緩存器、整合模塊、QoS分析控制模塊和關鍵幀分析模塊。通過各個模塊之間的協作，實現了穩定傳輸、高質量的媒體在線瀏覽。
文檔編號H04L29/00GK1852283SQ20061003496
公開日2006年10月25日 申請日期2006年4月13日 優先權日2006年4月13日
發明者羅笑南, 凌若天 申請人:中山大學