實時多媒體視頻流的分層傳輸方法
2023-07-23 16:48:16 1
專利名稱：實時多媒體視頻流的分層傳輸方法
技術領域：
本發明涉及一種多媒體網絡傳輸技術領域的方法，尤其涉及一種實時多媒體視頻流的分層傳輸方法，適應各種網絡帶寬與設備的多媒體同步播放。
背景技術：
隨著各類網際網路的迅速興起和廣泛應用，多媒體網絡廣播業務日益增加，並且對廣播的多平臺，實時性與清晰度也要求越來越高，多媒體網絡廣播業務從傳統的PC播放，發展到移動筆記本PDA，手機，機頂盒等設備播放。由於網絡帶寬大小及終端設備性能參次不齊，甚至差別很大，這就給多媒體網絡廣播技術實現帶來很大難題。目前解決這一難題的辦法大致有二一是對每一種網絡帶寬情況與移動筆記本情況設置單獨伺服器進行單獨服務，二是利用基於小波算法的分層編碼。前一種解決由於服務被分類，設備成本與系統維護成本非常高，第二種解決方法計算要求高，需要一定終端設置計算性能要求，並且還原原始幀時不能夠精確還原。
經對現有技術的文獻檢索發現，美國專利申請號為US6,965,700,專利名稱為Embedded and efficient low-complexity hierarchical image coder andcorresponding methods，該專利描述了一種編解碼器，它包括三項技術與一項可選技術。第一項技術分割子帶變換到兩個集合中，這兩個集合分別標識為第一集合與第二集合；將第一集合加入到非重要集合列表中(LIS)；初始化重要像素列表(LSP)。第二項技術針對一個臨界值測試前面兩個集合的重要性；按照與集合對應的分割函數來分割兩個集合的重要成員；將重要的像素添加到LSP中。第三項技術改善LSP中像素的量子化。臨界值在前面三項技術對應實現步驟每一步後都會降低。第四步驟為可選的，由第二三項技術共同產生的平均信息量編織重要性圖。
該美國專利由於在分層編碼時需要反覆提煉重要像素等操作，在多層編碼時還要多次這樣的操作，這些操作對於運算性能具有一定的要求。
發明內容
本發明目的在於針對現有技術的不足和缺陷，提供一種實時多媒體視頻流的分層傳輸方法，可以適應不同網絡帶寬與不同性能終端設備多媒體視頻流高效率低成本傳輸，利用本發明能夠實現一種方法可以在PC，PDA，手機，與機頂盒等不同性能終端設備上同時廣播，並且這些終端設備可以在GPS，CDMA，ADSL等不同網絡平臺上。
本發明的目的是通過以下技術方案實現的本發明所述的實時多媒體視頻流的分層傳輸方法，能自客戶端和服務端之間通過網絡傳輸分層的視頻流，服務端將視頻流中每一幀數據都按照分解算法分解成若干個有層次序列的數據包輸出至網絡；客戶端從網絡獲取得服務端輸出的有序的不間斷層次的視頻流分層數據包，根據分解算法的逆運算，將分層數據包恢復成設定大小的視頻流的一幀數據，或者完全無損恢復至原始大小的視頻流幀數據。
所述客戶端及服務端指用戶或者伺服器，在用戶下載數據時，用戶為客戶端，而伺服器則為服務端，在用上傳數據時，用戶為服務端，伺服器則為客戶端。服務端和客戶端之間通過網絡傳輸分層的視頻流。服務端需要按照分解算法來分解視頻流數據；客戶端根據服務端分解算法的逆運算來恢復所需要視頻流幀數據。
一段視頻流數據是由若干視頻幀數據組成的，本發明要分解的對象為原始幀；要恢復的目標為原始幀。原始幀在分解後可對每一個數據包進行單獨編碼；對於用於恢復的數據包如果經過編碼，則在解碼後進行恢復。客戶端及服務端之間可以加入如H264，XIVD等編碼算法，但編解碼算法只能加入到原始幀數據被分解之後，與恢復原始幀數據之前。服務端使用圖表法將一幀數據A分解成A1，Q兩個數據包，Q數據包是完整的一幀數據，幀大小要小於原始幀數據A，A1數據包不是完整的一幀數據，A1隻有和Q合併才能形成原始幀數據A。稱A1數據包為第一層數據，Q數據包為第2層數據，或者稱為最底一層數據。每次分解所得當前最底層數據包所能表達的幀大小總是小於原始幀，並且逐層減小。服務端可以將一幀數據分解成兩層及兩層以上的數據包，層數在兩層以上的分解方式都與第一次分解相同，只是每一次分解對象是當前最底一層數據包。如三層分解示例如下第一次分解，將原始幀數據A分解成第一層數據包A1，當前最底層數據包Q1；第二次分解，將當前最底層數據包Q1分解成第二層數據包A2與第三層數據包即最底層數據包Q。三層以上分解方法以此類推。服務端將原始幀數據分解成若干數據包以後，若需編碼則對每個數據包單獨進行編碼，否則即可上傳數據包，上傳數據包按照從底層向高層的層次順序發送，並且從最底層開始連續向上，發送預先設定好的連續幾層的數據包。當客戶端下載多媒體視頻流時，按照伺服器分解每一幀的次序的逆次序接收數據包，即從最底層開始連續向上接收所需要層數的數據包，並且一次需下載可形成完整一幀的不間斷序列的連續數據包。數據包接收到後，客戶端既可進行恢復運算。客戶端恢復幀數據必須從最底層開始，順序向上逐層合併。如前所述的最底層數據包數據本身是一個完整的幀數據，對只需要最底幀數據的客戶端來說，不必再作恢復操作。三層數據包恢復示例如下有三層數據包，最底層Q，倒數第二層B與倒數據第三層C；第一次恢復，將最底層數據包Q與倒數據第二層數據包B合併成Q1；第二次恢復，將Q1與C合併成A，這樣就恢復形成本用戶所需要多媒體視頻流幀數據。三層以上恢復方法以此類推。
本發明中所用到的圖表法，在服務端的分解幀過程與客戶端的恢復幀過程都被使用。服務端根據查詢一個圖表確定被分解的素點。圖表中只有0與1值。圖表中的0，1分別對應幀對應的像素點，如果幀像素數據對應圖表中的值為0，則將當前點數據留給當前層；如果幀像素數據對應圖表中的值為1，則當前點數據留給當前最底層。被分開的像素數據仍按原先順序分別保存在兩層數據包中。圖表的產生可以預先設定，也可以根據視頻流所帶信息計算生產。對一幀數據每一次分解分別對應一張圖表。客戶端根據查表確定幀像素如果合併成一幀。該圖表與分解所用圖表需要完全一致，一一對應。如果圖表中當前點值為0，則將本層對應點像素數據填充到本次要恢復的幀對應像素數據位置，如果圖表中當前點值為1，則將當前最底層對應像素數據填充到本次要恢復的幀對應像素數據位置。這樣就可恢復本次幀數據。
與現有的技術相比，本發明的有益效果是服務端通過對多媒體視頻流每一幀數據按照對每一次層恢復幀所需大小，逐層分解，分解前後的數據量並沒有減少或者增加，每一個客戶端根據自己所需要幀大小來從服務端下載從最底層向上連續的幾個數據包，不必下載由分解原始幀數據所獲得的全部數據包。這樣可以降底帶寬要求與運算數據量，各種網絡帶寬與各種性能的終端設備可根據自己環境條件來選擇下載幾層的數據包。從而將多媒體視頻能夠最大限度地在各個網絡帶寬與各種性能終端設備上廣播。因為一套服務可以解決各種多媒體視頻大小同時廣播，從而降底了設備成本與系統維護成本。本發明可以精確還原始幀，這是基於小波算法分層編碼所不能做到的。由於本發明沒有複雜的計算，所以對服務端設備計算性能並沒有過高的要求，對客戶端對數據包進行分解逆運算就可以恢復幀數據，客戶端也不需要很強的運算性能。
圖1為本發明的從服務端分解多媒體視頻流幀數據到客戶端恢復幀數據總體示意2為本發明的幀數據分解示意圖，其中，2-a當前原始幀(12*6)象素點陣，X與Q表示象素；2-b與當前原始幀對應象素的圖表；2-c分解後，當前層數據包所形成為象素點陣(9*6)，可被當作一幀數據進行編解碼；2-d分解後，當前最底層數據包可表示的完整一幀(6*3)象素點陣。
具體實現方式為了更清楚的理解本發明，以下結合附圖和實施例對本發明作進一步的詳細描述。
本發明從服務端分解多媒體視頻流幀數據到客戶端恢復幀數據過程包括以下幾個方面內容請參閱圖1，這是本發明從服務端分解多媒體視頻流幀數據到客戶端恢復幀數據總體流程圖。本發明的實現分為三個步驟一.服務端根據設定的要求，將多媒體視頻流中每一幀幀數據分解若干層有層次的數據包。二.根據現實情況的要求，可以對每一個數據包單獨編碼，編碼後的數據包仍按照原先的次序根據每一個客戶端的要求發送相應層數的數據包到客戶端，客戶端對數據包解碼。這個編碼過程不是必須的，視現實要求確定有無。若沒有編解碼過程，則將第一步中分解後的數據包按照預先設定的層數直接發送至客戶端。三.客戶端接收到一串有次序的數據包，從最底層向上層逐層恢復至所需要的幀數據。從而完成本發明的整個過程。
本發明的實現最重要的一個過程就是對多媒體視頻流幀數據進行分解。請看圖2實施例。其中圖2-a為一幀原始幀象素點陣，寬12個象素，高6行象素；圖2-b為圖表，圖表中6行數字與圖2-a中6行象素對應，每行12個數與圖2-a中對應行12個象素對應；圖2-c為原始幀分解後剩餘象素所形成象素點陣，寬9個象素，高6行；圖2-d為原始幀分解後挑選出來的象素所形成的象素點陣，它是當前最底層數據包，可以表示一個完整的幀數據，從視覺效果上來看，它所表達的圖像與原始幀一樣，只是比原始幀要小。圖2-a中的象素按照圖2-b中的圖表分解到圖2-c與圖2-d中，如果圖2-b中的當前值為0，則將圖2-a中與之對應的象素仍按照原先的前後順序放到圖2-c中，如果圖2-b中的當前值為1，則將圖2-a中與之對應的象素仍按照原先的前後順序放到圖2-d中。對照圖2-b中的每一個值按順序分解圖2-c中的幀象素，最終可以形成圖2-c與圖2-d。這樣分解過程結束，一幀數據被解成兩個數據包。如果需要兩層以上的數據包，則可以按照照相同的方法對當前最底層數據包進行分解即可。
客戶端將數據包恢復成幀數據的算法是服務端分解幀數據的算法的逆算法。仍對照圖2，圖2-c與圖2-d對照圖2-b中圖表按次序將自己的象素放回到圖2-a中則恢復了圖2-a。程序中設四個指針對應圖2-a、圖2-b、圖2-c與圖2-d，指針從左向右，從上向下移動，若圖2-b當前指針指向的值為0則將圖2-c當前指針指向的象素賦給圖2-a指針指定的象素位置，若圖2-b當前指針指向的值為1則將圖2-d當前指針指向的象素賦給圖2-a指針指定的象素位置，賦值完成後，則將圖2-b並圖2-c(或者圖2-d)的指針向前移動一個象素，再按照相同的方法進行下一個象素的恢復。從而最終恢復圖2-a幀象素點陣。
權利要求
1.一種實時多媒體視頻流的分層傳輸方法，能自客戶端和服務端之間通過網絡傳輸分層的視頻流，其特徵在於服務端將視頻流中每一幀數據都按照分解算法分解成若干個有層次序列的數據包輸出至網絡；客戶端從網絡獲取得服務端輸出的有序的不間斷層次的視頻流分層數據包，根據分解算法的逆運算，將分層數據包恢復成設定大小的視頻流的一幀數據，或者完全無損恢復至原始大小的視頻流幀數據。
2.如權利要求1所述的實時多媒體視頻流的分層傳輸方法，其特徵在於所述的服務端將視頻流中每一幀數據都按照分解算法分解成若干個有層次序列的數據包，其中將一幀數據A分解成A1，Q兩個數據包，Q數據包是完整的一幀數據，幀大小要小於原始幀數據A，A1數據包只有和Q合併才能形成原始幀數據A，稱A1數據包為第一層數據，Q數據包為第2層數據，或者稱為最底一層數據；每次分解所得當前最底層數據包所能表達的幀大小總是小於原始幀，並且逐層減小；將一幀數據分解成兩層及兩層以上的數據包，層數在兩層以上的分解方式都與第一次分解相同，只是每一次分解對象是當前最底一層數據包。
3.如權利要求1或者2所述的實時多媒體視頻流的分層傳輸方法，其特徵在於所述的服務端將視頻流中每一幀數據都按照分解算法分解成若干個有層次序列的數據包，具體為每一次分解的分解算法採用圖表法，根據查表確定被分解的素點；如果幀像素數據對應圖表中的值為0，則將當前點數據留給當前層；如果幀像素數據對應圖表中的值為1，則當前點數據留給當前最底層；被分開的像素數據仍按原先順序分別保存在兩層數據包中。
4.如權利要求1所述的實時多媒體視頻流的分層傳輸方法，其特徵在於所述的將分層數據包恢復成設定大小的視頻流的一幀數據，具體為對每一次幀數據恢復方法採用圖表法，根據查表確定幀像素如果合併成一幀；該圖表與分解所用圖表需要完全一致，一一對應，如果圖表中當前點值為0，則將本層對應點像素數據填充到本次要恢復的幀對應像素數據位置，如果圖表中當前點值為1，則將當前最底層對應像素數據填充到本次要恢復的幀對應像素數據位置，這樣就恢復本次幀數據了。
5.如權利要求1所述的實時多媒體視頻流的分層傳輸方法，其特徵在於所述客戶端及服務端指用戶或伺服器，在用戶下載數據時，用戶為客戶端，而伺服器則為服務端，在用戶上傳數據時，用戶為服務端，伺服器為客戶端。
全文摘要
一種多媒體網絡傳輸技術領域的實時多媒體視頻流的分層傳輸方法。本發明能自客戶端和服務端之間通過網絡傳輸分層的視頻流，服務端將視頻流中每一幀數據都按照分解算法分解成若干個有層次序列的數據包輸出至網絡；客戶端從網絡獲取得服務端輸出的有序的不間斷層次的視頻流分層數據包，根據分解算法的逆運算，將分層數據包恢復成設定大小的視頻流的一幀數據，或者完全無損恢復至原始大小的視頻流幀數據。本發明可以適應不同網絡帶寬與不同性能終端設備多媒體視頻流高效率低成本傳輸，利用本發明能夠實現一種方法可以在PC，PDA，手機，與機頂盒等不同性能終端設備上同時廣播，並且這些終端設備可以在GPS，CDMA，ADSL等不同網絡平臺上。
文檔編號H04L29/00GK1874507SQ20061002798
公開日2006年12月6日 申請日期2006年6月22日 優先權日2006年6月22日
發明者沈家明, 申瑞民, 王加俊, 童任, 張智強 申請人:上海交通大學