一種基於rtsp的網絡側音視頻流間失步測量方法及裝置製造方法
2023-07-02 12:00:16 2
一種基於rtsp的網絡側音視頻流間失步測量方法及裝置製造方法
【專利摘要】本發明提出了一種可以應用於網絡側的流媒體業務流間失步測量方法。在網絡節點處，僅需對大量音視頻流中的流媒體控制協議RTSP進行解析，利用相應埠號，實現同源視頻中各音視頻流的快速匹配。進一步地，本發明利用RTP協議的時間戳信息，可以對音視頻流間失步值進行較好地測量。另外，本發明中的方法無需對RTCP協議進行解析，很大程度地降低了音視頻流間失步測量的算法複雜度，能夠更好的適應網絡側的實際需求。
【專利說明】一種基於RTSP的網絡側音視頻流間失步測量方法及裝置
【技術領域】
[0001]本發明涉及網絡視頻業務客觀質量評價領域，更具體的，涉及該領域中應用在網絡側接收到大量音視頻流時，同源音視頻流的匹配技術及音視頻流間失步的測量。
【背景技術】
[0002]近年來，隨著網際網路網絡帶寬的飛速提升，流媒體視頻業務得到了很好的發展。在網絡側對流媒體業務進行客觀質量評價可以幫助服務提供商更加清晰地了解用戶對視頻質量的滿意程度，從而可以進一步地提高服務質量。在實際流媒體業務中，音視頻流通常是通過不同的RTP流傳輸的。因此，在網絡側視頻客觀質量評價中，如何在大量的數據流中快速匹配出來自同一視頻業務的音視頻流並測量流間失步是一項關鍵技術。
[0003]在流媒體業務中，建立在網絡傳輸層協議TCP上的RTSP協議用於實現伺服器與客戶端之間流媒體業務連接的協商與建立；建立在m)P上的RTP及RTCP協議分別用於實現音視頻流的傳輸及質量監測。現有的流媒體客戶端各音視頻流間同步是依據RTP協議標準(RFC3550)，通過對RTCP協議的解析來實現的。流媒體客戶端對伺服器周期性發送的Sender Report (發送者報告)中npt時間戳及rtp時間戳進行分析,來實現音視頻流間的同步與校準。但這種同步機制的第一次同步依賴於第一個Sender Report的到達時間,從而影響視頻的起始播放。因此，一些方法應用RTSP協議Play響應中range及rtptime域進行同步的初始化，同時利用RTCP協議在播放的過程中，進行音視頻流間同步的校準。
[0004]然而，在網絡側視頻客觀質量評價中，上述基於RTCP協議的流間同步存在一定的問題。第一，網絡節點上同時存在的音視頻流較多，需要首先在大量的音視頻流中快速分離出來自同一視頻的各音視頻流，才能進一步對音視頻流間的失步進行測量。第二，網絡側的數據通過量較大，對數據處理速度的要求較高。因此音視頻流間的失步測量方法不能過於複雜。第三，RTCP協議在流媒體業務中是可選項，因此在網絡側無法對未部署RTCP協議的流媒體業務進行視頻客觀質量評價，這在很大程度上限制了測量方法的使用範圍。第四，RTCP協議建立在UDP之上，即建立在不可靠連接之上，在網絡質量較差時，包含SenderReport的RTCP包可能發生丟失，導致測量方法無法對音視頻流間的失步進行測量。
[0005]本發明提出了一種可以應用於網絡側的流媒體業務流間失步的測量方法。在網絡節點處，僅需對大量音視頻流中的流媒體控制協議RTSP進行解析，利用相應埠號，實現同源業務中各音視頻流的快速匹配。進一步地，本發明利用RTP協議的時間戳信息，可以對音視頻流間失步進行較好地測量。另外，本發明中的方法無需對RTCP協議進行解析，很大程度地降低了音視頻流間失步測量的算法複雜度，能夠更好的適應網絡側的實際需求。
【發明內容】
[0006]本發明所要解決的技術問題是:克服現有技術中存在的音視頻流間同步依賴於對RTCP協議的解析、方法過於複雜、無法適用於網絡側音視頻流間失步測量的問題和缺陷。
[0007]為了解決上述技術問題，本發明提供一種在網絡側基於RTSP協議埠快速匹配的音視頻流間失步測量的方法，包括以下步驟:
[0008](a)在網絡側獲取流媒體業務的RTSP包。
[0009](b)對獲取的RTSP包進行解析，並記錄同源音視頻流的基本信息、網絡傳輸信息及初始同步信息。
[0010](C)根據記錄的同源音視頻流網絡傳輸信息中的埠號信息，在網絡側獲取流媒體業務的音、視頻流。
[0011](d)根據記錄的同源音視頻流的基本信息、初始同步信息以及RTP包的時間戳對同源音視頻流間失步進行測量。
[0012]進一步地，上述方法還可具有以下特點:在步驟(a)中，需要獲取同一 IP位址對及埠號的RTSP協議的DESCRIBE命令及響應，SETUP命令及響應，PLAY命令及響應和TEARDOWN命令及響應。這樣可以保證在(b)中可以解析出該視頻流媒體業務的所有音視頻流的網絡傳輸埠號及所需要的信息。
[0013]進一步地，上述對RTSP包獲取的考慮還可具有以下特點:由於RTSP協議在伺服器通常採用默認埠號554，因此在網絡側僅需在網絡傳輸層對TCP協議的埠號進行解析，即可獲取RTSP包。這樣保證了在網絡側大量數據流的情況下獲取RTSP包的實現簡單易行。
[0014]進一步地，上述對RTSP包解析的考慮還可具有以下特點:在步驟(b)中，對RTSP協議的DESCRIBE命令及其響應進行解析。分析響應中的SDP(Session DescriptionProtocol)報文，可以得到客戶端請求的視頻所包含的音視頻流信息，分別記錄音頻流的採樣頻率及軌道號trackID，和視頻流的採樣頻率、幀率及軌道號trackID。這些音視頻流的基本信息可以用於後續音視頻流間失步測量。
[0015]進一步地，上述對RTSP包解析的考慮還可具有以下特點:在步驟(b)中，對RTSP協議的SETUP命令及其響應進行解析。分析響應報文，根據軌道號trackID，可找到並記錄相應音視頻流的客戶端網絡傳輸埠號和任務號session。其中，客戶端網絡傳輸埠號用於(c)中獲取音視頻流的RTP包獲取。任務號session用於同源音視頻流的匹配。
[0016]進一步地，上述對RTSP包解析的考慮還可具有以下特點:在步驟(b)中，對RTSP協議的PLAY命令及其響應進行解析。分析響應報文，根據任務號session及軌道號trackID,找到並記錄音/視頻流首個RTP包的時間戳信息。由於各音視頻流起始時間戳是獨立隨機產生的。因此，要根據RTSP控制協議中傳輸的首個RTP包的時間戳信息來實現(d)中音視頻流間的同步。
[0017]進一步地，上述對RTSP包解析的考慮還可具有以下特點:在步驟(b)中，對RTSP協議的TEARDOWN命令及其響應進行解析。當連接斷開時，根據session刪除相應音視頻流的記錄。這樣可以避免對實際已中斷連接的埠號繼續監聽，浪費網絡側的計算資源。
[0018]進一步地，上述對RTSP包解析的考慮還可具有以下特點:方法中僅通過對流媒體業務建立連接過程中控制協議RTSP解析，即可完成對同源音視頻流的快速匹配。方法實現簡單快速，方法計算複雜度較低，可以更好的適應網絡側數據量較大的特點。
[0019]進一步地，上述對RTSP包解析的考慮還可具有以下特點:方法中僅利用RTSP協議的PLAY命令及其響應，就可以完成音視頻流間的同步。所以，無需在流媒體播放的過程中通過對RTCP協議進行監聽來實現音視頻流間的同步，這樣大大簡化了音視頻流間同步的過程，可以在網絡側節省大量的資源，從而可以快速給出流媒體業務流間失步的測量結果。[0020]進一步地，上述對同源音視頻流獲取的考慮還可具有以下特點:在步驟(C)中，根據(b)中記錄的音視頻流的網絡傳輸埠號，在網絡側獲取各音視頻流的RTP包，用於(d)中同源音視頻流間的失步的測量。
[0021]進一步地，上述對同源音視頻流同步的考慮還可具有以下特點:在步驟(d)中，根據(b)中記錄的音視頻流的基本信息，可以計算出音、視頻流的時間戳增量，用於後續音視頻流間失步測量。
[0022]進一步地，上述對同源音視頻流同步的考慮還可具有以下特點:在步驟(d)中，根據(b)中獲取的同源音視頻流的起始時間戳信息、音視頻流的時間戳增量和(C)中獲得的每個RTP包的時間戳信息，可以實現同源音視頻流間的同步。
[0023]進一步地，上述對同源音視頻流間失步測量的考慮還可具有以下特點:在同源音視頻流間失步測量的過程中，引入時間窗口的概念。在時間窗口內計算音視頻流間失步保證得到的測量值更加平滑，輸出結果更加穩定。
[0024]本發明還提供了一種可實現上述方法的網絡側裝置，包括RTSP包解析模塊、RTP音視頻流提取模塊、音視頻流間同步模塊及音視頻流間失步測量模塊。
[0025]進一步地，所述RTSP包解析模塊還可具有以下特點--從RTSP包中提取DESCRIBE命令及其響應、SETUP命令及其響應、PLAY命令及其響應和TEARDOWN命令及其響應。解析得到音視頻流基本信息、網絡傳輸信息和初始同步信息。
[0026]進一步地，所述RTSP包解析模塊還可具有以下特點:音視頻流基本信息包括音頻流的採樣頻率及軌道號，視頻流的採樣頻率、幀率及軌道號。
[0027]進一步地，所述RTSP包解析模塊還可具有以下特點:音視頻流網絡傳輸信息包括網絡傳輸埠號和任務號。`
[0028]進一步地，所述RTSP包解析模塊還可具有以下特點:初始同步信息包括音視頻流的首個RTP包的時間戳信息。
[0029]進一步地，所述RTP音視頻流提取模塊還可具有以下特點:根據記錄的網絡傳輸埠號，提取相關流媒體業務的RTP音視頻流，並解析頭部得到該RTP包的時間戳信息。
[0030]進一步地，所述音視頻流間同步模塊還可具有以下特點:根據記錄的任務號，可以快速匹配同源音視頻流。
[0031]進一步地，所述音視頻流同步模塊還可具有以下特點:根據音視頻流初始同步信息，可以實現音視頻流間的快速同步。
[0032]進一步地，所述音視頻流同步模塊還可具有以下特點:根據記錄的音視頻流基本信息，可以計算得出音視頻流的時間戳增量，用於音視頻流間的失步測量。
[0033]進一步地，所述音視頻流間失步測量模塊還可具有以下特點:在對每一幀的失步進行計算的基礎上，引入了時間窗口的概念。在時間窗口內，對每一幀的失步進行加權平均，從而得到更加平滑穩定的測量結果。
[0034]有益效果
[0035]本方法對流媒體業務中網絡側同源音視頻流間的失步進行測量。最終建立了一個簡單有效的網絡側流媒體業務流間失步測量方法。較現有的音視頻流間同步技術相比，本發明僅利用流媒體控制協議RTSP實現了在網絡側音視頻流中同源音視頻流的快速匹配和同步，方法簡單易行，可以更好地適應網絡側數據量大的特點。【專利附圖】
【附圖說明】
[0036]圖1為本發明實施例總體處理框圖。
[0037]圖2為本發明實施例RTSP包解析模塊框圖。
[0038]圖3為本發明實施例RTP音視頻流提取模塊框圖。
[0039]圖4為本發明實施例音視頻流間同步模塊框圖。
[0040]圖5為本發明實施例音視頻流間失步測量模塊框圖。
【具體實施方式】
[0041]圖1是本方法的總體流程。RTSP包解析模塊主要用於在網絡側提取RTSP包並解析RTSP控制信息。首先，根據RTSP網絡傳輸埠號，在網絡側提取RTSP包。繼而對RTSP包中的控制信息進行解析，得到音視頻流基本信息、網絡傳輸信息、流間同步初始化信息，用於後續步驟的音視頻流提取及流間失步測量。其中，音視頻流基本信息包括音頻流的採樣頻率和軌道號，及視頻流的採樣頻率、幀率和軌道號；網絡傳輸信息包括音視頻流的網絡傳輸埠號和任務號；流間同步初始化信息包括音、視頻流首個RTP包的時間戳信息。RTP音視頻流提取模塊負責按照RTSP包解析模塊記錄的網絡傳輸埠號，在網絡側進行音視頻流RTP包的獲取。音視頻流間同步模塊負責根據音、視頻流基本信息分別計算音視頻流時間戳增量，再依據流間同步初始化信息實現同源音視頻流的同步。最後，由音視頻流間失步測量模塊在時間窗口內計算同源音視頻流的失步值。
[0042]圖2是RTSP包解析模塊的具體描述，該模塊包含以下步驟:
[0043]步驟210，由於實際應用的大多數RTSP流媒體伺服器均使用默認埠號554作為RTSP協議的傳輸埠。因此，在本發明中，為實現簡便，根據默認埠號554，在網絡側提取RTSP包。RTSP協議建立在網絡傳輸層協議TCP之上，對RTSP包的提取可以通過對TCP包頭中的目的埠號和源埠號兩個域進行解析。若目的埠號為554，則為RTSP請求命令；若源埠號為554，則為RTSP響應命令。
[0044]步驟215，對RTSP命令進行解析，得到RTSP控制命令類型(DESCRIBE，SETUP, PLAY及TEARDOWN)，並分情況進行處理。
[0045]步驟220，若RTSP請求命令為DESCRIBE命令，則記錄該請求命令標誌信息的序列號CSeq，源IP位址及埠號和目的IP位址及埠號。
[0046]步驟225，對網絡流中的RTSP包繼續監聽，並根據步驟220中記錄的請求命令標誌信息，找到響應命令中下一個具有相同請求命令標誌信息的消息，即為該DESCRIBE命令的響應。
[0047]步驟230，解析DESCRIBE命令的響應中的SDP報文。對SDP報文進行解析，可以得到音視頻流的基本信息。
[0048]例如一個H264編碼的流媒體業務流的SDP報文如下:
[0049]
【權利要求】
1.一種基於RTSP的網絡側音視頻流間失步測量方法，其特徵在於，包括: (1)在網絡側獲取流媒體業務的RTSP包 (2)對獲取的RTSP 包進行解析，並記錄同源音視頻流的基本信息、網絡傳輸信息及初始同步信息。 (3)根據記錄的同源音視頻流基本信息、初始同步信息以及RTP包的時間戳對同源音視頻流間失步進行測量。
2.如權利要求1所述的方法，其特徵在於，獲取網絡側流媒體業務的RTSP包包括: 根據同一 IP位址對及默認埠號554在網絡側提取RTSP的控制命令及響應； 需要提取的網絡側RTSP包包括RTSP協議的DESCRIBE命令及響應，SETUP命令及響應，PLAY命令及響應和TEARDOWN命令及響應。
3.如權利要求1所述的方法，其特徵在於，對獲取的RTSP包進行解析，並記錄同源音視頻流的基本信息、網絡傳輸信息及初始同步信息包括: 解析RTSP協議的DESCRIBE命令及其響應，分析響應中的SDP (Session DescriptionProtocol)報文，可以得到音視頻流的基本信息，用於後續音視頻流間失步測量。其中，音視頻流基本信息包括音頻流的採樣頻率及軌道號，和視頻流的採樣頻率、幀率及軌道號。 解析RTSP協議的SETUP命令及其響應，分析響應報文，可以得到音視頻流的網絡傳輸信息，用於音視頻流的RTP包獲取及同源音視頻流的匹配。其中，音視頻流的網絡傳輸信息包括音視頻流的網絡傳輸埠號及任務號。 解析RTSP協議的PLAY命令及其響應，分析響應報文，可以得到音視頻流的初始同步信息，用於音視頻流間的同步。其中，音視頻流的初始同步信息包括待傳輸的音視頻流的首個RTP包的時間戳信息。 解析RTSP協議的TEARDOWN命令及其響應，當連接斷開時，根據任務號刪除相應音視頻流的記錄，避免對已中斷連接業務的埠號繼續監聽，浪費網絡側的計算資源。
4.如權利要求1所述的方法，其特徵在於，根據記錄的同源音視頻流基本信息、初始同步信息以及RTP包的時間戳對同源音視頻流間失步進行測量包括: 根據記錄的音視頻流基本信息，計算音、視頻流的時間戳增量，用於後續音視頻流間失步測量。 根據記錄的音視頻流初始同步信息，時間戳增量和每個RTP包的時間戳信息，計算每個RTP包的播放時間，實現同源音視頻流間的同步。
5.如權利要求3所述方法，其特徵在於，對RTSP請求命令與響應的匹配包括: 根據請求信息的序列號，源IP位址及埠號和目的IP位址及埠號，對同一流媒體業務的RTSP連接建立控制命令和響應進行匹配。
6.如權利要求5所述方法，其特徵在於，對同源音視頻流間失步值的測量包括: 在同源音視頻流間失步測量的過程中，引入時間窗口的概念。在時間窗口內計算音視頻流間失步值，保證得到的測量值更加平滑，輸出結果更加穩定。
7.一種基於RTSP的網絡側音視頻流間失步測量裝置，其特徵在於，所述裝置包括: (1)RTSP包解析模塊 (2)RTP音視頻流提取模塊 (3)音視頻流間同步模塊(4)音視頻流間失步測量模塊。
8.如權利要求7所述，其特徵在於，所述RTSP包解析模塊包括: RTSP包獲取子單元，用於在網絡側獲到RTSP請求命令及響應。 RTSP協議DESCRIBE命令及響應解析子單元，用於解析響應中的SDP報文，得到音視頻流的基本信息。 RTSP協議SETUP命令及響應解析子單元，用於得到音視頻流的網絡傳輸信息。 RTSP協議PLAY命令及響應解析子單元，用於得到同源音視頻流的初始同步信息。 RTSP協議TEARDOWN命令及響應解析子單元，用於在連接斷開時，刪除該業務流相關信息，避免網絡側計算資源的浪費。
9.如權利要求7所述，其特徵在於，所述RTP音視頻流提取模塊包括: 音視頻流RTP包獲取子單元，用於根據記錄的網絡傳輸信息，在網絡側獲取同源音視頻流的RTP包。 音視頻流RTP包解析子單元，用於解析RTP包包頭，得到每個RTP包的時間戳信息。
10.如權利要求7所述，其特徵在於，所述音視頻流間同步模塊包括: 音視頻流時間戳增量計算子單元，用於根據記錄的音視頻流基本信息，分別計算音視頻流的時間戳增量。 同源音視頻流匹配子單元，用於根據記錄的音視頻流任務號，進行同源音視頻流的匹配。 同源音視頻流同步子單元，用於根據音視頻流的時間戳增量，初始同步信息和每個RTP包時間戳信息，計算每個RTP包對應的音視頻的播放時間。
11.如權利要求7所述，其特徵在於，音視頻流間失步測量模塊包括: 單幀同源音視頻流間失步值計算子模塊，用於根據最後一個接收到的音、視頻流的RTP包對應的音、視頻的播放時間，計算單幀音視頻流間失步值。 平均失步值計算子模塊，用於根據單幀同源音視頻流間失步值，在時間窗口內加權平均，得到時間窗口內的平均失步值。
【文檔編號】H04N17/00GK103561260SQ201310529271
【公開日】2014年2月5日 申請日期:2013年10月31日 優先權日:2013年10月31日
【發明者】魏芳, 閆丹 申請人:北京郵電大學