流媒體平臺支持多音軌內容的方法、系統及流媒體伺服器的製作方法
2023-04-29 05:48:06
專利名稱：流媒體平臺支持多音軌內容的方法、系統及流媒體伺服器的製作方法
技術領域：
本發明涉及流媒體技術領域，尤其涉及關於流媒體平臺支持多音軌內容的方法、系統及流媒體伺服器。
背景技術：
目前，手機等終端設備可以基於如GPRS(General Packet Radio Service，通用分組無線業務)、EDGE(Enhanced Data rates for Global Evolution，GSM演進增強數據速率)、WCDMA(Wide-band Code Division Multiple Access，寬帶碼分多址接入系統)、CDMA2000(Code Division Multiple Addressing 2000，碼分多址接入系統2000)、TD-SCDMA(TD-SCDMATime Division SynchronizedCode Division Multiple Access，時分同步CDMA系統)、DVB-H(Digital VideoBroadcasting-Handhelds，數位電視網絡)、DMB(Digital MultimediaBroadcasting，數字多媒體廣播)、ISDB-T(Integrated Services DigitalBroadcasting-Terra，地面綜合服務數字廣播)等無線網絡自由的上網，通過網絡觀看電影、電視等流媒體內容。
參閱圖1A所示，基於無線網絡的流媒體處理系統包括直播編碼器100、流媒體伺服器101、門戶網站102、無線網絡103及終端設備104。
所述直播編碼器100將輸入的模擬數據轉換成數字數據，並進行壓縮，以及將壓縮後的數據流實時的發送給流媒體伺服器101；所述輸入的模擬數據包括一路音頻和一路視頻，其中，圖示虛線箭頭表示該一路音頻數據，實線箭頭表示該一路視頻數據，下同。
所述直播編碼器100生成SDP(Session Descriptor Protocol，會話描述協議)文件，並將該文件發送給流媒體伺服器101；所述SDP文件中包括直播編碼器將壓縮後的數據流發送到流媒體伺服器101的埠數據以及該數據流的視音頻描述信息。下面給出SDP文件的一個具體的例子v＝0//協議版本「v＝」欄位給出了會話描述協議的版本，不包括次版本號。o＝-2631350701 1507213 IN IP4 192.168.18.101//會話起源；o＝usernamesession idversionnetwork typeaddress typeaddress；具體到本例是Usemame＝-；Session id＝2631350701；Version＝1507213；Networktype＝IN；Address type＝IP4；Address＝192.168.18.101s＝b314//會話名稱，s＝session namec＝IN IP4236.130.128.182/1//連接數據；c＝network typeaddress typeconnection addresst＝00//時間信息t＝start timestop time；start time和stop time的值為十進位的NTP(Network Time Protocol)時間，如果都為0，則表示持久會話。m＝video 8686 RTP/AVP 96//媒體信息都以″m＝″域開始；m＝mediaporttransportfmt list；media指明媒體類型，比如video代表視頻，audio為音頻，port指明發送媒體流的埠，transport指明傳輸協議，比如RTP/AVP，即指the IETF′s Realtime Transport Protocol using the Audio/Video profilecarried over UDPb＝AS:1920//b＝″域描述流的帶寬b＝modifier:bandwidth-value；modifier指明帶寬特性，可有兩種取值AS(Application-Specific Maximum)、CT(Conference Total)；bandwidth-value的單位為kbpsa＝rtpmap:96 H264/90000//媒體屬性描述域″a＝″；a＝attribute或者a＝attribute:value；「rtpmap」屬性描述RTP有效載荷的類型、編碼方式、採樣時鐘頻率、編碼參數；a＝rtpmap:payload typeencodingname/clock rate[/encoding parameters]；「fmtp」屬性給出了特殊RTP有效載荷的類型的參數；a＝fmtp:formatformat specmc parametersa＝fmtp:96 profile-level-id＝4D3015；sprop-parameter-sets＝Z01AFZZWCwJNgyRAAAD6AAAYahgwADgnADqargAK，aO88gA＝；packetization-mode＝1//進一步給出載荷類型96的參數a＝cliprect:0，0，576，352//描述畫面坐標左到右0-576，上到下0-352a＝framerate:25.//描述幀率.每秒25幀a＝mpeg4-esid:201//對應於編號為201的流(視頻文件可能包含多個視頻流和音頻流，每個流給出一個編號，本例中該音頻流編號為201)a＝x-envivio-verid:0002229A//描述envivio編碼器的版本idm＝audio 8688 RTP/AVP97//開始音頻媒體信息描述。音頻媒體數據將發送到8688埠，發送協議是基於UDP的RTP協議，格式為97(動態RTP載荷類型)b＝AS:32//帶寬為32kbpsa＝rtpmap:97 mpeg4-generic/16000/2//對載荷類型97進行說明，為mpeg4-generic編碼方式，採樣時鐘為16000HZa＝fmtp:97 profile-level-id＝15；config＝1410；streamtype＝5；ObjectType＝64；mode＝AAC-hbr；SizeLength＝13；IndexLength＝3；IndexDeltaLength＝3//進一步給出載荷類型97的參數為「profile-level-id＝15；config＝1410；streamtype＝5；ObjectType＝64；mode＝AAC-hbr；SizeLength＝13；IndexLength＝3；IndexDeltaLength＝3」a＝mpeg4-esid:101//對應於編號為101的流(視頻文件可能包含多個視頻流和音頻流，每個流給出一個編號，本例中該音頻流編號為101)a＝lang:eng//描述輸入語音的標識a＝x-envivio-verid:0002229A//描述envivio編碼器的版本id所述終端設備104通過無線網絡103上網後，通過訪問門戶網站102獲得流媒體內容的路徑URL(Unifrm Resource Locator，統一資源定位符)，並根據該路徑URL向流媒體伺服器101發起訪問請求。
所述流媒體伺服器101接收到終端設備104的訪問請求後，解析對應的SDP文件以獲得接收直播編碼器數據流的埠；所述流媒體伺服器101通過監聽所述埠，獲得直播編碼器100發送的數據流，並將其複製一份後發送給終端設備，由終端設備進行解碼和播放。
參閱圖1B所示，由於直播編碼器100僅支持單路視頻數據和單路音頻數據的輸入輸出，流媒體伺服器101僅支持單路視頻數據和單路音頻數據通過無線網絡103向終端設備104輸出，終端設備104也僅支持單路視頻數據和單路音頻數據的輸入、解壓和播放，而許多流媒體內容是多語言的，即由一路視頻數據和多路音頻數據組成，因此在處理時，需要將一路視頻數據通過視頻複製器105複製後和多路音頻數據進行匹配，再通過多個直播編碼器100進行模/數轉換和壓縮。圖1B中，門戶網站102未示出，其功能同前所述。上述處理對直播編碼器的數量要求很大，而目前直播編碼器的價格很高，因此導致無線流媒體平臺的成本大幅上升，而且也不便於後續的維護。
發明內容
本發明提供一種流媒體平臺支持多音軌內容的方法、系統及流媒體伺服器，用以解決現有技術中存在由於使用多個編碼器處理多音軌內容造成的浪費嚴重以及維護困難的問題。
本發明提供以下技術方案一種流媒體平臺支持多音軌內容的方法，該方法包括步驟由一個直播編碼器將處理後的數據流發送到流媒體伺服器，該數據流包含一路視頻數據和對應的多路音頻數據；所述流媒體伺服器根據用戶指定的語言選擇該語言對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給用戶。
根據上述方法所述直播編碼器在發送給流媒體伺服器的會話描述協議SDP文件中指示接收所述一路視頻數據的埠和接收所述多路音頻數據的多個埠，所述流媒體伺服器通過監聽這些埠接收所述數據流。
所述直播編碼器在編碼時通過音軌的順序號或標籤指定音軌和語言的對應關係，所述流媒體伺服器通過用戶指定的語言所對應的音軌的順序號或標籤選擇音頻數據。
所述流媒體伺服器通過用戶上報的用戶身份標識查詢用戶屬性資料庫以獲取用戶指定的語言所對應的音軌的順序號或標籤，並通過該音軌的順序號或標籤選擇音頻數據。
所述用戶指定的語言由用戶設定其優先級；所述流媒體伺服器通過查詢優先級高的語言所對應的音軌的順序號或標籤選擇音頻數據。
所述用戶指定的語言由用戶通過門戶網站設置或者由流媒體伺服器從用戶設備獲取，其所對應的音軌的順序號或標籤保存於所述用戶屬性資料庫中。
所述用戶指定的語言所對應的音軌的順序號或標籤以語言參數的形式設置於終端設備對流媒體伺服器的訪問路徑中；所述流媒體伺服器通過解析該訪問路徑獲取用戶指定的語言所對應的音軌的順序號或標籤，並通過該音軌的順序號或標籤選擇音頻數據。
若所述用戶指定的語言所對應的音軌不包含音頻數據，則所述流媒體伺服器從接收到的數據流中任選一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備。
一種流媒體伺服器，包括接收單元，用於接收直播編碼器輸出的一路視頻數據和對應的多路音頻數據；選擇單元，用於根據用戶指定的語言從所述多路音頻數據中選擇該語言對應的一路音頻數據；複製單元，用於複製所述一路音頻數據和視頻數據；發送單元，用於發送複製後的所述一路音頻數據和視頻數據。
一種流媒體平臺支持多音軌內容的處理系統，包括直播編碼器，用於對輸入的一路模擬視頻信號和多路模擬音頻信號進行轉換和壓縮處理，並輸出包含一路視頻數據和對應的多路音頻數據的數據流；流媒體伺服器，與所述直播編碼器連接，用於接收所述直播編碼器輸出的數據流，以及根據用戶指定的語言選擇該語言對應的一路音頻數據，複製並發送該一路音頻數據和所述視頻數據。
所述系統還包括門戶網站，用於提供對所述流媒體伺服器中數據流的訪問路徑，用戶通過該訪問路徑訪問所述流媒體伺服器。
另外，所述系統還包括用戶屬性資料庫，用於存儲用戶指定的語言所對應的音軌的順序號或標籤，並提供給所述流媒體伺服器查詢。
本發明有益效果如下1、本發明通過一個直播編碼器將處理後的包含一路視頻數據和對應的多路音頻數據數據流發送到流媒體伺服器，由流媒體伺服器根據用戶指定的語言選擇該語言對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給用戶，無需使用視頻複製器和過多的直播編碼器即能實現用戶對數據流的正常接收、解壓和播放，節約了網絡資源，降低了成本，且設備維護相對簡單。
2、本發明的處理方法不受系統的限制，可以運用於GPRS、EDGE、WCDMA、CDMA2000、TD-SCDMA、DVB-H、DMB、ISDB-T等無線網絡的流媒體平臺系統，並且在行動網路中終端設備也可以通過單播或組播方式使用該方法，因此，本發明具有適應性強的優點。
圖1A為背景技術中處理一路視頻數據和一路音頻數據的流媒體處理系統的結構示意圖；圖1B為背景技術中處理一路視頻數據和多路音頻數據的流媒體處理系統的結構示意圖；圖2為本發明實施例一中流媒體平臺支持多音軌內容的處理系統結構示意圖；圖3為本發明實施例一中流媒體伺服器的結構示意圖；圖4為本發明實施例一中由用戶設置喜好語言時的系統處理流程圖；圖5為本發明實施例一中由流媒體伺服器讀取用戶設備的語言屬性時的系統處理流程圖；圖6為本發明實施例二中流媒體平臺支持多音軌內容的處理系統結構示意圖；圖7為本發明實施例二中流媒體平臺支持多音軌內容的處理流程圖。
具體實施例方式
本發明通過一個直播編碼器將處理後的包含一路視頻數據和對應的多路音頻數據數據流發送到流媒體伺服器，由流媒體伺服器根據用戶指定的語言選擇該語言對應的一路音頻數據輸出，以此支持多音軌內容。
實施例一本實施例以流媒體伺服器向用戶屬性資料庫查詢用戶指定的語言來選擇該語言所對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備為例進行說明。
參閱圖2所示，本實施例中的一種流媒體平臺支持多音軌內容的處理系統包括直播編碼器200、用戶屬性資料庫201、流媒體伺服器202、無線網絡203、終端設備204；所述處理系統還包括門戶網站，用於向終端設備發送流媒體內容的路徑URL，該門戶網站在圖2中未標出。
所述直播編碼器200，用於將輸入的模擬數據進行模/數轉換和壓縮，並將壓縮後的數據流實時的發送給流媒體伺服器202，以及生成SDP文件並發送給流媒體伺服器202；所述輸入的模擬數據包括一路視頻數據和多路音頻數據；所述SDP文件指示接收所述一路視頻數據的埠和接收所述多路音頻數據的多個埠，並包括該數據流的視音頻描述信息。
所述視音頻描述信息包括和音軌數目相同數量的音頻描述信息用以標識不同的音軌，如v＝0o＝-2631350701 1507213 IN IP4 192.168.18.101s＝b314c＝IN IP4236.130.128.182/1b＝RR:0t＝00m＝video8686RTP/AVP96b＝AS:1920a＝rtpmap:96 H264/90000a＝fmtp:96 profile-level-id＝4D3015；sprop-parameter-sets＝Z01AFZZWCwJNgyRAAAD6AAAYahgwADgnADqargAK，aO88gA＝；packetization-mode＝1a＝cliprect:0，0，576，352a＝framerate:25.a＝mpeg4-esid:201a＝x-envivio-verid:0002229Am＝audio 8688 RTP/AVP97b＝AS:32a＝rtpmap:97 mpeg4-generic/16000/2a＝fmtp:97 profile-level-id＝15；config＝1410；streamtype＝5；ObiectType＝64；mode＝AAC-hbr；SizeLength＝13；IndexLength＝3；IndexDeltaLength＝3 a＝mpeg4-esid:101a＝lang:eng//描述輸入語音的標識a＝x-envivio-verid0002229Am＝audio 8690RTP/AVP14b＝AS:48a＝rtpmap:14MPA/48000/2a＝mpeg4-esid:102a＝lang:fra//描述輸入語音的標識a＝x-envivio-verid:0002229A所述直播編碼器200預先指定語言和音軌的對應關係，該對應關係可通過音軌順序號來指定，如指定第一個音軌是英語，第二個音軌是中文，第三個音軌是粵語，第四個音軌是法語等，參閱表1所示，其中語言ID值為包含所對應的語言的音軌順序號；所述對應關係也可以通過直播編碼器200在編碼時為每個音軌增加不同的標籤來指定，參閱表2所示，標籤為English、Chinese、German、French，該標籤並不一定代表具體語言，可以根據需要用其他語言替換，如需要粵語時，可以用German的標籤代表粵語。
表1語言和音軌順序號的對應關係表
表2語言和音軌標籤的對應關係表
所述用戶屬性資料庫201，用於根據用戶身份標識分類存儲用戶喜好語言所對應的音軌的順序號或標籤，或根據用戶身份標識分類存儲用戶設備的語言屬性所對應的語言的音軌順序號或標籤；所述用戶身份標識可以為用戶的手機號碼、MSN(Message Switching Network，消息交換網)、ISDN(Integrated ServicesDigital Network，綜合業務數字網)號等；所述用戶喜好語言可以由用戶訪問門戶網站時設置，其所對應的音軌的順序號或標籤保存於所述用戶屬性資料庫中；所述用戶設備的語言屬性可以由流媒體伺服器從用戶設備獲取，其所對應的語言的音軌順序號或標籤保存於所述用戶屬性資料庫中；所述音軌的順序號或標籤為一個或多個，並指示不同的優先級；所述用戶屬性資料庫201可以是目前主流的資料庫，如Oracle(一種資料庫)、SQL Server(Structured QueryLanguage Server，結構化查詢語言伺服器)、DB2(DataBase 2，一種資料庫)等。
如表3所示為用戶喜好語言為3種的情況，並且語言1的優先級大於語言2的優先級，語言2的優先級大於語言3的優先級，在應用中，可根據實際情況對用戶喜好的語言數目及優先級進行調整。
表3用戶喜好的語言表
表3所示的用戶喜好語言表是以音軌的順序號來標識用戶喜好的語言，這裡也可以用音軌標籤來標識用戶喜好的語言。
所述流媒體伺服器202，用於接收直播編碼器的SDP文件和實時數據流，該實時數據流包括一路視頻數據和多路音頻數據；以及用於通過查詢用戶屬性資料庫來選擇用戶指定的語言所對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備。
所述流媒體伺服器202在接收到終端設備的訪問請求後，解析該訪問請求所對應的SDP文件以獲得接收直播編碼器實時數據流的埠，該埠為多個，對應於所述一路視頻數據和多路音頻數據；所述流媒體伺服器202通過監聽該多個埠，獲得直播編碼器200發送的實時數據流。
所述流媒體伺服器202從接收到的終端設備訪問請求中提取出用戶身份標識，並根據該用戶身份標識生成SQL(Structured Query Language，結構化查詢語言)；所述流媒體伺服器202通過與用戶屬性資料庫的接口使用所述結構化查詢語言SQL查詢用戶設定的喜好語言ID，所述流媒體伺服器202與用戶屬性資料庫的接口可以為ODBC(Open DataBase Connectivity開放資料庫互連)、ADO(Active Data Object，活動數據對象)、JDBC(Java DataBase ConnectivityJava，資料庫連接)等標準接口，該接口可根據流媒體伺服器202自身代碼的實現方式選定。
所述流媒體伺服器202根據查詢結果，選擇最高優先級的用戶喜好語言ID所對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備；若所述最高優先級的用戶喜好語言ID所對應的音軌不包含音頻數據，則由所述流媒體伺服器202將下一優先級的用戶喜好語言ID所對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備；若所有用戶喜好語言ID所對應的音軌均不包含音頻數據，則在接收到的多個音頻數據中任選一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備。
參閱圖3所示，所述流媒體伺服器202包括接收單元300、選擇單元301、複製單元302、發送單元303；所述接收單元300，用於接收所述直播編碼器輸出的數據流，該數據流包含一路視頻數據和對應的多路音頻數據；所述選擇單元301，用於通過查詢用戶屬性資料庫來選擇用戶指定的語言所對應的一路音頻數據；所述複製單元302，用於複製所述一路音頻數據和視頻數據；所述發送單元303，用於將複製後的所述一路音頻數據和視頻數據發送給用戶。
所述無線網絡203，用於終端設備204與門戶網站之間、終端設備204與流媒體伺服器202之間的無線連接。
所述終端設備204，用於設定用戶喜好語言列表，並向所述流媒體伺服器202請求實時數據流，該實時數據流包括一路視頻數據和一路音頻數據，以及在接收到該實時數據流後解壓播放。
用戶通過無線網絡203登陸到門戶網站後，設定喜好的語言所對應的語言ID的數目及優先級，並將喜好語言列表保存到所述用戶屬性資料庫201中；用戶通過訪問門戶網站獲得流媒體內容的路徑URL，並通過所述終端設備204根據該路徑向流媒體伺服器202發起訪問請求；所述終端設備204在接收到流媒體伺服器202通過查詢用戶屬性資料庫201得到的包含一路視頻數據和一路音頻數據的實時數據流後，將該數據流解壓並播放。
參閱圖4所示，以圖2所示的系統結構為例，流媒體平臺支持多音軌內容的處理流程如下步驟400、直播編碼器將接收到的模擬數據進行模/數轉換和壓縮，並將壓縮後的數據流實時的發送給流媒體伺服器；以及生成SDP文件並發送給流媒體伺服器；所述接收到的模擬數據包括一路視頻數據和多路音頻數據；所述SDP文件指示接收所述一路視頻數據的埠和接收所述多路音頻數據的多個埠，並包括該數據流的視音頻描述信息。
步驟401、終端設備訪問門戶網站時設置用戶喜好語言並將其保存到用戶屬性資料庫中。
步驟402、終端設備向門戶網站請求流媒體內容的路徑連結URL；門戶網站響應終端設備的請求，向終端設備返回流媒體內容的路徑連結URL。
步驟403、終端設備根據所述流媒體內容的路徑連結URL向流媒體伺服器發起訪問請求。
步驟404、流媒體伺服器根據所述訪問請求解析對應的SDP文件，獲得實時接收包含一路視頻數據和多路音頻數據的數據流的埠數據，並通過監聽對應的多個埠，獲得包含一路視頻數據和多路音頻數據的實時數據流。
步驟405、所述流媒體伺服器從終端設備的訪問請求中提取用戶身份標識以生成結構化查詢語言SQL，使用該語言向用戶屬性資料庫查詢用戶設定的喜好語言。
步驟406、所述流媒體伺服器根據所述喜好語言選擇一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備。
步驟407、終端設備接收所述數據流，並進行解壓和播放。
在圖4所示流程中，由用戶通過終端設備在訪問門戶網站時設定用戶喜好語言並將其保存到用戶屬性資料庫中，這裡也可以由流媒體伺服器從終端設備獲取終端設備的語言屬性並將其保存到用戶屬性資料庫中，參閱圖5所示，處理流程如下
步驟500、直播編碼器將接收到的模擬數據進行模/數轉換和壓縮，並將壓縮後的數據流實時的發送給流媒體伺服器；以及生成SDP文件並發送給流媒體伺服器；所述接收到的模擬數據包括一路視頻數據和多路音頻數據；所述SDP文件指示接收所述一路視頻數據的埠和接收所述多路音頻數據的多個埠，並包括該數據流的視音頻描述信息。
步驟501、流媒體伺服器獲取終端設備的語言屬性。
步驟502、流媒體伺服器將該語言屬性保存到用戶屬性資料庫中。
步驟503、終端設備向門戶網站請求流媒體內容的路徑連結URL；門戶網站響應終端設備的請求，向終端設備返回流媒體內容的路徑連結URL。
步驟504、終端設備根據所述流媒體內容的路徑連結URL向流媒體伺服器發起訪問請求。
步驟505、流媒體伺服器根據所述訪問請求解析對應的SDP文件，獲得實時接收包含一路視頻數據和多路音頻數據的數據流的埠數據，並通過監聽對應的多個埠，獲得包含一路視頻數據和多路音頻數據的實時數據流。
步驟506、所述流媒體伺服器從終端設備的訪問請求中提取用戶身份標識以生成結構化查詢語言SQL，使用該語言向用戶屬性資料庫查詢終端設備的語言屬性。
步驟507、所述流媒體伺服器根據所述語言屬性所對應的語言選擇一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備。
步驟508、終端設備接收所述數據流，並進行解壓和播放。
實施例二本實施例以在終端設備向流媒體伺服器發起的訪問請求URL路徑中增加語言參數來選擇用戶指定語言所對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備為例進行說明。
參閱圖6所示，本實施例中的一種流媒體平臺支持多音軌內容的處理系統包括直播編碼器600、流媒體伺服器601、無線網絡602、終端設備603；所述流媒體平臺多音軌處理系統還包括門戶網站，用於向終端設備發送流媒體內容的路徑URL，該門戶網站在圖6中未標出。
所述直播編碼器600，用於將輸入的模擬數據進行模/數轉換和壓縮，並將壓縮後的數據流實時的發送給流媒體伺服器601，以及生成SDP文件並發送給流媒體伺服器601；所述輸入的模擬數據包括一路視頻數據和多路音頻數據；所述SDP文件指示接收所述一路視頻數據的埠和接收所述多路音頻數據的多個埠，並包括該數據流的視音頻描述信息。
所述視音頻描述信息包括和音軌數目相同數量的音頻描述信息用以標識不同的音軌，同實施例一中所述；所述直播編碼器600預先指定語言和音軌的對應關係，該對應關係可通過音軌順序號來指定，也可以通過直播編碼器600在編碼時為每個音軌增加不同的標籤來指定，同實施例一中直播編碼器200所述。
所述流媒體伺服器601，用於接收直播編碼器的SDP文件和實時數據流，該實時數據流包括一路視頻數據和多路音頻數據；以及用於通過解析終端設備603的訪問請求URL路徑獲得語言參數，並根據該語言參數選擇用戶指定語言所對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備603。
所述流媒體伺服器601在接收到終端設備603的訪問請求後，解析該訪問請求所對應的SDP文件以獲得接收直播編碼器實時數據流的埠，該埠為多個，對應於所述一路視頻數據和多路音頻數據；所述流媒體伺服器601通過監聽該多個埠，獲得直播編碼器600發送的實時數據流。
用戶通過無線網絡602登陸到門戶網站後指定想要接收的語言，由URL路徑中的語言參數指示用戶指定語言所對應的的音軌順序號，參閱表4所示。
表4URL路徑中的語言參數指示不同音軌順序號
參閱表5所示，所述URL路徑中的語言參數也可以指示用戶指定語言所對應的音軌標籤。
表5URL路徑中的語言參數指示不同的音軌標籤
例如，若所述流媒體伺服器601接收到的終端設備603訪問請求URL路徑的格式為Rtsp://stream_ip/tv.sdp？audiotraceid＝3，則解析出用戶需要的是第三個音軌的音頻數據；若所述流媒體伺服器601接收到的終端設備603訪問請求URL路徑的格式為Rsp://stream_ip/tv.sdp？audiotraceid＝Chinese，則解析出用戶需要的是標籤為中文的音頻數據。
若所述流媒體伺服器601解析得到的用戶指定的音軌的順序號或標籤所對應的音軌不包含音頻數據，則所述流媒體伺服器從接收到的數據流中任選一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備603。
所述流媒體伺服器601的結構與實施例一中流媒體伺服器202的結構相同，此時，所述選擇單元301，用於通過解析終端設備603的訪問請求URL路徑獲得語言參數，並根據該語言參數選擇用戶指定語言所對應的一路音頻數據；所述接收單元300、複製單元302、發送單元303的功能與實施例一中相同。
所述無線網絡602，用於終端設備603與門戶網站之間、終端設備603與流媒體伺服器601之間的無線連接。
所述終端設備603，用於設定URL路徑中的語言參數，並向所述流媒體伺服器601請求實時數據流，該實時數據流包括一路視頻數據和一路音頻數據，以及在接收到該實時數據流後解壓播放。
用戶通過訪問門戶網站獲得流媒體內容的URL路徑，並通過終端設備603設定所述URL路徑中的語言參數，用以指示不同的音軌順序號或標籤，向流媒體伺服器601發起訪問請求；所述終端設備603在接收到流媒體伺服器601根據解析出的URL路徑中的語言參數得到的包含一路視頻數據和一路音頻數據的實時數據流後，將該數據流解壓並播放。
參閱圖7所示，以圖6所示的系統結構為例，流媒體平臺支持多音軌內容的處理流程如下步驟700、直播編碼器將接收到的模擬數據進行模/數轉換和壓縮，並將壓縮後的數據流實時的發送給流媒體伺服器；以及生成SDP文件並發送給流媒體伺服器；所述接收到的模擬數據包括一路視頻數據和多路音頻數據；所述SDP文件指示接收所述一路視頻數據的埠和接收所述多路音頻數據的多個埠，並包括該數據流的視音頻描述信息。
步驟701、終端設備向門戶網站請求流媒體內容的URL路徑；門戶網站響應終端設備的請求，向終端設備返回流媒體內容的URL路徑。
步驟702、終端設備設定所述流媒體內容的URL路徑中的語言參數用以指示不同的語言或音軌。
步驟703、終端設備根據所述流媒體內容的URL路徑向流媒體伺服器發起訪問請求。
步驟704、流媒體伺服器根據所述訪問請求解析對應的SDP文件，獲得實時接收包含一路視頻數據和多路音頻數據的數據流的埠數據，並通過監聽對應的多個埠，獲得包含一路視頻數據和多路音頻數據的實時數據流。
步驟705、所述流媒體伺服器從接收到的終端設備訪問請求中解析出URL路徑中的語言參數，根據該URL路徑中的語言參數選擇用戶指定語言所對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備。
步驟706、終端設備接收所述數據流，並進行解壓和播放。
在上述兩個實施例中，流媒體伺服器根據用戶指定的語言選擇該語言對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給一個終端設備，這裡也可以通過組播的方式，如DVB-H、DMB、MBMS(MultimediaBroadcast Multicast Service，多媒體廣播組播服務)、BCMCS(Broadcast andMulticast Services，廣播多播業務)等將所述音頻數據和視頻數據發送給多個終端用戶。
從上述實施例可知，本發明通過一個直播編碼器將處理後的包含一路視頻數據和對應的多路音頻數據數據流發送到流媒體伺服器，由流媒體伺服器根據用戶指定的語言選擇該語言對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給用戶，無需使用視頻複製器和過多的直播編碼器即能實現用戶對數據流的正常接收、解壓和播放，節約了網絡資源，降低了成本，且設備維護相對簡單；另外，本發明的處理方法不受系統的限制，可以運用於GPRS、EDGE、WCDMA、CDMA2000、TD-SCDMA、DVB-H、DMB、ISDB-T等無線網絡的流媒體平臺系統，並且在行動網路中終端設備也可以通過點到點(單播技術)方式或組播方式使用該方法，因此，本發明具有適應性強的優點。
顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。
權利要求
1.一種流媒體平臺支持多音軌內容的方法，其特徵在於，該方法包括步驟由一個直播編碼器將處理後的數據流發送到流媒體伺服器，該數據流包含一路視頻數據和對應的多路音頻數據；所述流媒體伺服器根據用戶指定的語言選擇該語言對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給用戶。
2.如權利要求1所述的方法，其特徵在於，所述直播編碼器在發送給流媒體伺服器的會話描述協議SDP文件中指示接收所述一路視頻數據的埠和接收所述多路音頻數據的多個埠，所述流媒體伺服器通過監聽這些埠接收所述數據流。
3.如權利要求1所述的方法，其特徵在於，所述直播編碼器在編碼時通過音軌的順序號或標籤指定音軌和語言的對應關係，所述流媒體伺服器通過用戶指定的語言所對應的音軌的順序號或標籤選擇音頻數據。
4.如權利要求3所述的方法，其特徵在於，所述流媒體伺服器通過用戶上報的用戶身份標識查詢用戶屬性資料庫以獲取用戶指定的語言所對應的音軌的順序號或標籤，並通過該音軌的順序號或標籤選擇音頻數據。
5.如權利要求4所述的方法，其特徵在於，所述用戶指定的語言由用戶設定其優先級；所述流媒體伺服器通過查詢優先級高的語言所對應的音軌的順序號或標籤選擇音頻數據。
6.如權利要求4所述的方法，其特徵在於，所述用戶指定的語言由用戶通過門戶網站設置或者由流媒體伺服器從用戶設備獲取，其所對應的音軌的順序號或標籤保存於所述用戶屬性資料庫中。
7.如權利要求3所述的方法，其特徵在於，所述用戶指定的語言所對應的音軌的順序號或標籤以語言參數的形式設置於終端設備對流媒體伺服器的訪問路徑中；所述流媒體伺服器通過解析該訪問路徑獲取用戶指定的語言所對應的音軌的順序號或標籤，並通過該音軌的順序號或標籤選擇音頻數據。
8.如權利要求3至7任一項所述的方法，其特徵在於，若所述用戶指定的語言所對應的音軌不包含音頻數據，則所述流媒體伺服器從接收到的數據流中任選一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給終端設備。
9.一種流媒體伺服器，其特徵在於，包括接收單元，用於接收直播編碼器輸出的一路視頻數據和對應的多路音頻數據；選擇單元，用於根據用戶指定的語言從所述多路音頻數據中選擇該語言對應的一路音頻數據；複製單元，用於複製所述一路音頻數據和視頻數據；發送單元，用於發送複製後的所述一路音頻數據和視頻數據。
10.一種流媒體平臺支持多音軌內容的處理系統，其特徵在於，包括直播編碼器，用於對輸入的一路模擬視頻信號和多路模擬音頻信號進行轉換和壓縮處理，並輸出包含一路視頻數據和對應的多路音頻數據的數據流；流媒體伺服器，與所述直播編碼器連接，用於接收所述直播編碼器輸出的數據流，以及根據用戶指定的語言選擇該語言對應的一路音頻數據，複製並發送該一路音頻數據和所述視頻數據。
11.如權利要求10所述的系統，其特徵在於，所述系統還包括門戶網站，用於提供對所述流媒體伺服器中數據流的訪問路徑，用戶通過該訪問路徑訪問所述流媒體伺服器。
12.如權利要求10或11所述的系統，其特徵在於，所述系統還包括用戶屬性資料庫，用於存儲用戶指定的語言所對應的音軌的順序號或標籤，並提供給所述流媒體伺服器查詢。
全文摘要
本發明公開了一種流媒體平臺支持多音軌內容的方法及系統，用以解決現有技術中存在由於使用多個編碼器處理多音軌內容造成的浪費嚴重以及維護困難的問題；該方法包括由一個直播編碼器將處理後的數據流發送到流媒體伺服器，該數據流包含一路視頻數據和對應的多路音頻數據；所述流媒體伺服器根據用戶指定的語言選擇該語言對應的一路音頻數據，複製該一路音頻數據和所述視頻數據並將其發送給用戶。本發明同時公開一種流媒體伺服器和流媒體平臺支持多音軌內容的處理系統。
文檔編號H04L12/28GK1937609SQ20061011208
公開日2007年3月28日 申請日期2006年8月29日 優先權日2006年8月29日
發明者劉維昱 申請人:華為技術有限公司