單路視頻多路音頻的視頻監控方法及系統的製作方法
2023-12-04 23:35:46 2
單路視頻多路音頻的視頻監控方法及系統的製作方法
【專利摘要】本發明提供了一種單路視頻多路音頻的視頻監控方法及系統，所述方法包括：設備端為每路音頻分配一個固定的初始SSRC值；客戶端與設備端建立RTSP交互方式；客戶端向設備端請求單路視頻和多路音頻，設備端為每路音頻隨機生成對應的修正SSRC值並發送給客戶端；設備端採集單路視頻和多路音頻，向客戶端發送單路視頻的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端；客戶端根據多路音頻的RTP包中的修正SSRC值區分各路音頻，並根據用戶的需求播放視頻和/或相應路的音頻。本發明能夠實現具有多路音頻、單路視頻的音視頻採集，並供用戶自由選擇播放視頻和/或相應路的音頻。
【專利說明】單路視頻多路音頻的視頻監控方法及系統
【技術領域】
[0001]本發明涉及一種單路視頻多路音頻的視頻監控方法及系統。
【背景技術】
[0002]目前，在進行視頻監控時，通常一路模擬視頻採集點只能對應一路音頻，嵌入式設備通過採集、編碼、封裝等一系列操作，將音視頻信號合成為複合碼流，可用於本地存儲、中心遠程請求等音視頻應用。
[0003]然而，隨著視頻監控要求的提高，目前出現了一種將設置有網絡攝像機的監控區域中劃分有多個不同的功能區域(如幾個櫃檯)的監控場景，在這種監控場景中，進行視頻監控的管理中心不僅要求實現遠程實時視頻的採集和播放，而且要求能夠隨意選播其中一路音頻。針對這種監控場景，現有的一路模擬視頻採集點對應一路音頻的監控方式顯然不能滿足單路視頻配合多路音頻的應用需求。
【發明內容】
[0004]本發明的目的在於提供一種單路視頻多路音頻的視頻監控方法及系統，能夠實現具有多路音頻、單路視頻的音視頻採集，並供用戶自由選擇播放視頻和/或相應路的音頻。
[0005]為解決上述問題，本發明提供一種單路視頻多路音頻的視頻監控方法，包括:
[0006]設備端為每路音頻分配一個固定的初始SSRC值；
[0007]客戶端與設備端建立RTSP交互方式；
[0008]所述客戶端向所述設備端請求單路視頻和多路音頻，所述設備端為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值發送給所述客戶端；
[0009]所述設備端採集單路視頻和多路音頻，生成並向所述客戶端發送單路視頻的RTP包，生成每路音頻的包含初始SSRC值的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端，其中，每個RTP包包括一區分視頻和音頻的PT值；
[0010]所述客戶端接收單路視頻和多路音頻的RTP包，根據RTP包中的PT值區分視頻和音頻，根據多路音頻的RTP包中的修正SSRC值區分各路音頻，並根據用戶的需求播放視頻和/或相應路的首頻。
[0011]進一步的，在上述方法中，所述生成並向所述客戶端發送單路視頻的RTP包，生成每路音頻的包含初始SSRC值的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端的步驟包括:
[0012]將每路視頻或音頻分別獨立進行編碼和壓縮形成碼流、封裝所述碼流形成包含初始SSRC值的RTP包；將單路視頻的RTP包發送至所述客戶端；
[0013]將單路視頻的RTP包發送至所述客戶端；將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端。
[0014]進一步的，在上述方法中，所述客戶端根據RTP包中的PT值區分視頻和音頻，根據多路音頻的RTP包中的修正SSRC值區分各路音頻，並根據用戶的需求播放視頻和/或相應路的音頻的步驟包括:
[0015]對所述RTP包進行拆包，根據RTP包中的PT值區分視頻和音頻，並根據多路音頻的RTP包中的修正SSRC值區分各路音頻，對每路視頻或音頻的碼流進行解壓，並根據用戶的需求播放視頻和/或相應路的音頻的解壓後的碼流。
[0016]進一步的，在上述方法中，設備端為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值發送給所述客戶端的步驟中:
[0017]在RTSP交互過程中的DESCRIBE階段，所述設備端為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值攜帶在SDP信息中發送給所述客戶端。
[0018]根據本發明的另一面，提供一種單路視頻多路音頻的視頻監控系統，包括:
[0019]客戶端，用於通過RTSP方式與所述設備端進行交互，向所述設備端請求單路視頻和多路音頻，及接收單路視頻和多路音頻的RTP包，根據RTP包中的PT值區分視頻和音頻，根據多路音頻的RTP包中的修正SSRC值區分各路音頻，並根據用戶的需求播放視頻和/或相應路的首頻；
[0020]設備端，用於通過RTSP方式與所述客戶端進行交互，為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值發送給所述客戶端，及採集單路視頻和多路音頻，生成並向所述客戶端發送單路視頻的RTP包，生成每路音頻的包含初始SSRC值的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端，其中，每個RTP包包括一區分視頻和音頻的PT值。
[0021]進一步的，在上述系統中，所述設備端，用於將每路視頻或音頻分別獨立進行編碼和壓縮形成碼流、封裝所述碼流形成包含初始SSRC值的RTP包；將單路視頻的RTP包發送至所述客戶端；將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端。
[0022]進一步的，在上述系統中，所述客戶端，用於對所述RTP包進行拆包，根據RTP包中的PT值區分視頻和音頻，並根據多路音頻的RTP包中的修正SSRC值區分各路音頻，對每路視頻或音頻的碼流進行解壓，並根據用戶的需求播放視頻和/或相應路的音頻的解壓後的碼流。
[0023]與現有技術相比，本發明通過設備端為每路音頻分配一個固定的初始SSRC值；客戶端與設備端建立RTSP交互方式；所述客戶端向所述設備端請求單路視頻和多路音頻，所述設備端為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值發送給所述客戶端；所述設備端採集單路視頻和多路音頻，生成並向所述客戶端發送單路視頻的RTP包，生成每路音頻的包含初始SSRC值的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端，其中，每個RTP包包括一區分視頻和音頻的PT值；所述客戶端接收單路視頻和多路音頻的RTP包，根據RTP包中的PT值區分視頻和音頻，根據多路音頻的RTP包中的修正SSRC值區分各路音頻，並根據用戶的需求播放視頻和/或相應路的音頻，能夠實現具有多路音頻、單路視頻的音視頻採集，並供用戶自由選擇播放視頻和/或相應路的音頻。
【專利附圖】
【附圖說明】
[0024]圖1是本發明一實施例的客戶端和設備端交互原理圖；
[0025]圖2是本發明一實施例的單路視頻多路音頻的視頻監控方法的流程圖；
[0026]圖3是本發明一實施例的單路視頻多路音頻的視頻監控系統的模塊圖。
【具體實施方式】
[0027]為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和【具體實施方式】對本發明作進一步詳細的說明。
[0028]實施例一
[0029]如圖1和2所示，本發明提供一種單路視頻多路音頻的視頻監控方法，包括客戶端與設備端進行 RTSP (Real Time Streaming Protocol)交互:
[0030]步驟SI，設備端為每路音頻分配一個固定的初始SSRC值；
[0031]步驟S2，客戶端I與設備端2建立RTSP交互方式；
[0032]步驟S3，所述客戶端I向所述設備端2請求單路視頻和多路音頻，設備端2為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值通過SDP信息發送給所述客戶端I。這樣客戶端I就可以根據所述修正SSRC值的數量和順序得知有幾路音頻，每路音頻所對應的修正SSRC值。
[0033]具體的，RTSP為實時流傳輸協議，是TCP/IP協議體系中的一個應用層協議，是由哥倫比亞大學、網景和RealNetworks公司提交的IETF RFC標準。RTSP協議定義了一對多應用程式如何有效地通過IP網絡傳送多媒體數據。RTSP在體系結構上位於RTP(RealtimeTransport Protocol)實時傳輸協議和 RTCP (Realtime Transport Control Protocol)實時傳輸控制協議之上，RTSP使用TCP或RTP完成數據傳輸。HTTP與RTSP相比，HTTP傳送HTML，而RTSP傳送的是多媒體數據。HTTP請求由客戶端發出，設備端作出響應；使用RTSP時，客戶端I和設備端2都可以發出請求，即RTSP可以是雙向的。
[0034]優選的，步驟S2中，可在RTSP交互過程中的DESCRIBE階段，所述設備端2為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值攜帶在SDP信息中發送給所述客戶端I。具體的，RTSP交互大致可分為如下幾個階段:0PT10NS、SET_PARAMETER、DESCRIBE、SETUP、PLAY、PAUSE、HEARTBEAT、TEARD0WN。本實施例中，為了區分多路音頻，在DESCRIBE階段為多路音頻生成多個隨機的SSRC值如SSRC1、SSRC2...SSRCn,並攜帶在SDP信息裡返回給客戶端1，按照先後順序第一個SSRCl為第一路音頻的修正SSRC值，第η個SSRCn為第η路音頻的修正SSRC值。然後在後續發送RTP包到客戶端I時，將RTP包的報頭中的初始SSRC值修改為相應的修正SSRC值。例如，設備端2在發送碼流時根據音頻RTP包的初始SSRC值來判斷，若是音頻的初始SSRC值為si，則修改為第一路音頻的初始SSRC值為修正SSRC值為SSRC1，若是音頻的初始SSRC值為Sn，則修改為第η路音頻的修正SSRC值為SSRCn。
[0035]詳細的，SDP是會話描述協議，其目的就是在媒體會話中，傳遞媒體流信息，允許會話描述的接收者去參與會話。SDP基本上在internet上工作，SDP定義了繪畫描述的統一格式，但並不定義多播地址的分配和SDP消息的傳輸，也不支持媒體編碼方案的協商，這些功能均由下層會話傳送協議完成。典型的下層會話傳送協議包括:SAP (Sess1nAnnouncement Protocol 會話公告協議)、SIP、RTSP、HTTP 和使用 MME 的 E-Mail，其中，SAP只能包含一個會話描述，其它會話傳輸協議的SDP可包含多個繪畫描述，SDP繪畫描述的統一格式包括以下一些方面:
[0036]I)會話的名稱和目的；
[0037]2)會話存活時間；
[0038]3)包含在會話中的媒體信息，包括:媒體類型(video，aud1, etc)，傳輸協議(RTP/UDP/IP,H.320，etc)，媒體格式(H.261 video, MPEG video, etc)多播或遠端(單播)地址和埠 ；
[0039]4)為接收媒體而需的信息(addresses, ports, formats and so on)；
[0040]5)使用的帶寬信息；
[0041]6)可信賴的接洽信息(Contact informat1n)。
[0042]步驟S4，所述設備端2採集單路視頻和多路音頻，生成並向所述客戶端I發送單路視頻的RTP包，生成每路音頻的包含初始SSRC值的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端1，其中，每個RTP包包括一區分視頻和音頻的PT值。具體的，所述設備端2可通過一網絡攝像機採集所述單路視頻，網絡攝像機是一種結合傳統攝像機與網絡技術所產生的新一代攝像機，它可以將影像通過網絡傳至地球另一端，且遠端的瀏覽者不需用任何專業軟體，只要標準的網絡瀏覽器(如Microsoft IE或Netscape)或配套的客戶端軟體即可監視其影像。網絡攝像機內置一個嵌入式晶片，採用嵌入式實時作業系統。所述設備端接收網絡攝像機傳送來的視頻信號數位化後由高效壓縮晶片壓縮，通過網絡總線傳送給客戶端或管理伺服器。客戶端I的用戶可以直接用瀏覽器或客戶端軟體觀看監控視頻，另外，授權用戶還可以控制網絡攝像機雲臺鏡頭的動作或對所述設備端和網絡攝像機進行系統配置操作。設備端2可以採集一路模擬視頻源、多路模擬音頻源，生成並向所述客戶端I發送單路視頻的RTP包，生成每路音頻的包含初始SSRC值的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端，即通過網絡將單路視頻和多路音頻的RTP包發送給所述客戶端I。
[0043]優選的，步驟S4具體可包括:
[0044]所述設備端2將每路視頻或音頻分別獨立進行編碼和壓縮形成碼流、封裝所述碼流形成包含初始SSRC值的RTP包；
[0045]將單路視頻的RTP包發送至所述客戶端，
[0046]將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端。具體的，為了使客戶端I接收到多路音頻時，能夠正確有效的區分每一路音頻，這裡需要將RTP包的報頭中的初始SSRC值修改為相應的修正SSRC值，例如，將第一路音頻的SSRC置為修正SSRC值如SSRC1，將第二路音頻的SSRC置為修正SSRC值如SSRC2，將第η路音頻的SSRC置為修正SSRC值如SSRCn，當客戶端I接收到多路音頻時，能夠根據修正SSRC值對每一路音頻進行區別存儲和播放，所述設備端2可包括採集模塊、編碼模塊、封包模塊、網絡發送模塊，分別完成單路視頻和多路音頻編碼和壓縮形成碼流、封裝所述碼流形成RTP包及發送所述RTP包至所述客戶端的各種功能，RTP包報文由兩部分組成:報頭和有效載荷。RTP報頭格式如下表所示，
【權利要求】
1.一種單路視頻多路音頻的視頻監控方法，其特徵在於，包括: 設備端為每路音頻分配一個固定的初始SSRC值； 客戶端與設備端建立RTSP交互方式； 所述客戶端向所述設備端請求單路視頻和多路音頻，所述設備端為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值發送給所述客戶端； 所述設備端採集單路視頻和多路音頻，生成並向所述客戶端發送單路視頻的RTP包，生成每路音頻的包含初始SSRC值的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC 值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端，其中，每個RTP包包括一區分視頻和音頻的PT值； 所述客戶端接收單路視頻和多路音頻的RTP包，根據RTP包中的PT值區分視頻和音頻，根據多路音頻的RTP包中的修正SSRC值區分各路音頻，並根據用戶的需求播放視頻和/或相應路的音頻。
2.如權利要求1所述的單路視頻多路音頻的視頻監控方法，其特徵在於，所述生成並向所述客戶端發送單路視頻的RTP包，生成每路音頻的包含初始SSRC值的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端的步驟包括: 將每路視頻或音頻分別獨立進行編碼和壓縮形成碼流、封裝所述碼流形成包含初始SSRC值的RTP包； 將單路視頻的RTP包發送至所述客戶端； 將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端。
3.如權利要求2所述的單路視頻多路音頻的視頻監控方法，其特徵在於，所述客戶端根據RTP包中的PT值區分視頻和音頻，根據多路音頻的RTP包中的修正SSRC值區分各路音頻，並根據用戶的需求播放視頻和/或相應路的音頻的步驟包括: 對所述RTP包進行拆包，根據RTP包中的PT值區分視視頻和音頻，並根據多路音頻的RTP包中的修正SSRC值區分各路音頻，對視頻或每路音頻的碼流進行解壓，並根據用戶的需求播放視頻和/或相應路的音頻的解壓後的碼流。
4.如權利要求1所述的單路視頻多路音頻的視頻監控方法，其特徵在於，設備端為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值發送給所述客戶端的步驟中: 在RTSP交互過程中的DESCRIBE階段，所述設備端為每路音頻隨機生成對應的待寫入RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值攜帶在SDP信息中發送給所述客戶端。
5.一種單路視頻多路音頻的視頻監控系統，其特徵在於，包括: 客戶端，用於通過RTSP方式與所述設備端進行交互，向所述設備端請求單路視頻和多路音頻，及接收單路視頻和多路音頻的RTP包，根據RTP包中的PT值區分視頻和音頻，根據多路音頻的RTP包中的修正SSRC值區分各路音頻，並根據用戶的需求播放視頻和/或相應路的首頻； 設備端，用於通過RTSP方式與所述客戶端進行交互，為每路音頻隨機生成對應的待寫Λ RTP包的修正SSRC值，並將每路音頻對應的修正SSRC值發送給所述客戶端，及採集單路視頻和多路音頻，生成並向所述客戶端發送單路視頻的RTP包，生成每路音頻的包含初始SSRC值的RTP包，將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端，其中，每個RTP包包括一區分視頻和音頻的PT值。
6.如權利要求5所述的單路視頻多路音頻的視頻監控系統，其特徵在於，所述設備端，用於將每路視頻或音頻分別獨立進行編碼和壓縮形成碼流、封裝所述碼流形成包含初始SSRC值的RTP包；將單路視頻的RTP包發送至所述客戶端；將每路音頻的RTP包中的初始SSRC值修改為對應的修正SSRC值後，將每路音頻的包含修正SSRC值的RTP包發送到所述客戶端。
7.如權利 要求6所述的單路視頻多路音頻的視頻監控系統，其特徵在於，所述客戶端，用於對所述RTP包進行拆包，根據RTP包中的PT值區分視頻和音頻，並根據多路音頻的RTP包中的修正SSRC值區分各路音頻，對視頻或每路音頻的碼流進行解壓，並根據用戶的需求播放視頻和/或相應路的音頻的解壓後的碼流。
【文檔編號】H04N7/18GK104079870SQ201310109433
【公開日】2014年10月1日 申請日期:2013年3月29日 優先權日:2013年3月29日
【發明者】李奎, 蔡瑞青, 陳杰, 凌在龍, 金祥慶 申請人:杭州海康威視數位技術股份有限公司