基於流媒體技術的車載移動視頻監控系統的製作方法

2023-06-05 22:23:46

基於流媒體技術的車載移動視頻監控系統的製作方法
【專利摘要】本發明公開一種基於流媒體技術的車載移動視頻監控系統，包括移動車載終端、伺服器端和客戶端，伺服器端包括流媒體伺服器、資料庫、視頻存儲模塊、視頻轉發模塊和信令伺服器，客戶端包括視頻播放模塊、功能模塊和信令處理模塊，移動車載終端與所述伺服器端的信令伺服器信號連接，流媒體伺服器與視頻轉發模塊和視頻播放模塊信號連接，視頻存儲模塊與信令伺服器、資料庫及視頻轉發模塊信號連接，資料庫還與信令伺服器信號連接，視頻轉發模塊還與信令伺服器信號相連，信令伺服器還與所述客戶端的信令處理模塊信號連接，信令處理模塊還同時與視頻播放模塊和功能模塊信號相連，功能模塊還與視頻播放模塊信號相連。本系統視頻抖動、延時小，流暢、清晰。
【專利說明】基於流媒體技術的車載移動視頻監控系統

【技術領域】
[0001] 本發明屬於視頻監控【技術領域】，特別是一種基於流媒體技術的車載移動視頻監控 系統。

【背景技術】
[0002] 現有的車載移動視頻監控系統多為遠程網絡視頻監控，利用高速網絡為傳輸平 臺，基於數字視頻的壓縮、傳輸、存儲、播放核心技術，具有智能實用的圖像分析特色，並與 報警系統、集中存儲系統完美整合到一個平臺上。此類車載移動視頻監控系統是將傳統的 模擬視頻監控信號轉化為數位訊號，通過計算機網絡來傳輸，並通過智能化的計算機軟體 來處理。系統將傳統的視頻、音頻及控制信號數位化，以IP包的形式在網絡上傳輸，實現了 音頻/視頻的數位化、系統的網絡化、應用的多媒體化和管理的智能化。
[0003] 但是其存在如下問題：1、車載終端與流媒體伺服器的視頻傳輸經常出現明顯的抖 動和延時；2、由於採用單一碼率編碼視頻技術，現有視頻流的存儲管理方法很難解決視頻 流暢性和清晰度之間的矛盾。


【發明內容】

[0004] 本發明的目的在於提供一種基於流媒體技術的車載移動視頻監控系統，大幅減少 車載終端與流媒體伺服器之間視頻傳輸的抖動和延時，同時使視頻的流暢性和清晰度均取 得較好的效果。
[0005] 實現本發明目的的技術解決方案為：一種基於流媒體技術的車載移動視頻監控系 統，其包括：移動車載終端、伺服器端和客戶端，所述伺服器端包括流媒體伺服器、資料庫、 視頻存儲模塊、視頻轉發模塊和信令伺服器，所述客戶端包括視頻播放模塊、功能模塊和信 令處理|旲塊；
[0006] 所述移動車載終端與所述伺服器端的信令伺服器信號連接，接收信令伺服器的控 制信息，向信令伺服器發送車輛配置信息，並通過3G網絡向視頻轉發模塊傳輸視頻流；
[0007] 所述流媒體伺服器與視頻轉發模塊和視頻播放模塊信號連接，接收視頻轉發模塊 傳來的直播流，向視頻播放模塊傳輸視頻流；
[0008] 所述視頻存儲模塊與信令伺服器、資料庫及視頻轉發模塊信號連接，接收信令服 務器的存儲調度指令，將來自視頻轉發模塊的視頻存儲流封裝為流媒體伺服器支持的視頻 格式，並存入資料庫，供信令伺服器檢索；
[0009]所述資料庫還與信令伺服器信號連接，接收信令伺服器的視頻檢索指令，向信令 伺服器發送視頻信息；
[0010] 所述視頻轉發模塊還與信令伺服器信號相連，接收信令伺服器的直播調度指令， 向其返回直播地址，將通過3G網絡從移動車載終端得到的視頻流，一方面轉變成直播流， 發送給流媒體伺服器，另一方面以視頻存儲流發送給視頻存儲模塊；
[0011] 所述信令伺服器還與所述客戶端的信令處理模塊信號連接，接收信令處理模塊的 發送請求、向其發出應答信息；
[0012] 所述信令處理模塊還同時與視頻播放模塊和功能模塊信號相連，功能模塊還與視 頻播放模塊信號相連，信令處理模塊向信令伺服器轉發由功能模塊傳來的發送請求，向功 能模塊轉發由信令伺服器傳來的應答信息，向視頻播放模塊發出播放地址，視頻播放模塊 根據信令處理模塊傳來的播放地址和功能模塊傳來的視頻控制指令，播放流媒體伺服器傳 輸的視頻流。
[0013] 移動車載終端與視頻轉發模塊之間通過TCP協議傳輸視頻流。
[0014] 視頻轉發模塊與流媒體伺服器之間通過RTP或RTCP協議傳輸直播流。
[0015] 流媒體伺服器與視頻播放模塊之間通過RTSP協議傳輸視頻流。
[0016] 視頻存儲模塊封裝的視頻格式為MP4格式。
[0017] 本發明與現有技術相比，其顯著優點：
[0018] 1、與單純的下載方式相比，這種對多媒體文件邊下載邊播放的流式傳輸具有啟動 延時大幅度縮短，對系統緩存容量的需求大大降低；
[0019] 2、在視頻傳輸和監控環境中不會出現明顯的抖動和延時，不會出現明顯的斷播；
[0020] 3、系統的可靠性好，可以在網上方便地增加 Client或Server，增加一個Client不 會對Server造成更多開銷。
[0021] 下面結合附圖對本發明作進一步詳細描述。

【專利附圖】

【附圖說明】
[0022] 圖1是本發明基於流媒體技術的車載移動視頻監控系統的結構框圖。
[0023] 圖2是本發明基於流媒體技術的車載移動視頻監控系統的工作原理示意圖。
[0024] 圖3是客戶端視頻播放模塊結構框圖。
[0025] 圖4是實時視頻直播時序圖。
[0026] 圖中：1移動車載終端，2伺服器端，21流媒體伺服器，22資料庫，23視頻存儲模 塊，24視頻轉發模塊，25信令伺服器，3客戶端，31視頻播放模塊，32功能模塊，33信令處理 模塊。

【具體實施方式】
[0027] 如圖1所示，本發明基於流媒體技術的車載移動視頻監控系統，包括：移動車載終 端1、伺服器端2和客戶端3,伺服器端2包括流媒體伺服器21、資料庫22、視頻存儲模塊 23、視頻轉發模塊24和信令伺服器25,客戶端3包括視頻播放模塊31、功能模塊32和信令 處理模塊33 ;
[0028] 移動車載終端1與所述伺服器端2的信令伺服器25信號連接，移動車載終端1接 收信令伺服器25的控制信息，向信令伺服器25發送車輛配置信息，並通過3G網絡向視頻 轉發模塊24傳輸視頻流；
[0029] 流媒體伺服器21與視頻轉發模塊24和客戶端3的視頻播放模塊31信號連接，流 媒體伺服器21接收視頻轉發模塊24傳來的直播流，向視頻播放模塊31傳輸視頻流；
[0030] 視頻存儲模塊23與信令伺服器25、資料庫22及視頻轉發模塊24信號連接，視頻 存儲模塊23接收信令伺服器25的存儲調度指令，將來自視頻轉發模塊24的視頻存儲流封 裝為流媒體伺服器支持的視頻格式，並存入資料庫22,供信令伺服器25檢索；
[0031] 資料庫22還與信令伺服器25信號連接，資料庫22接收信令伺服器25的視頻檢 索指令，向信令伺服器25發送視頻信息；
[0032] 資料庫記錄存儲視頻的配置信息，主要維護一張視頻信息表，包括以下幾個欄位： 車輛號即多少路公交車；車輛ID，用於區分同屬一個路線的公交車，作為自有身份標識；日 期，記錄存儲的年月日；起始時間，記錄存儲的時間，精確到分鐘；封裝時間，記錄視頻封裝 時間，同樣精確到分鐘。
[0033] 視頻轉發模塊24還與信令伺服器25信號相連，視頻轉發模塊24接收信令伺服器 25的直播調度指令，向其返回直播地址，將通過3G網絡從移動車載終端1得到的視頻流，一 方面轉變成直播流，發送給流媒體伺服器21，另一方面以視頻存儲流發送給視頻存儲模塊 23 ；
[0034] 信令伺服器25還與所述客戶端3的信令處理模塊33信號連接，信令伺服器25接 收信令處理模塊33的發送請求、向其發出應答信息；
[0035] 信令伺服器作為服務端的主進程，控制服務端各模塊的工作運轉，並在整個車載 移動視頻監控服務系統中傳遞消息。其工作原理是通過分析接收的消息報文頭部標誌位， 判斷消息類型，調用相關模塊處理消息內容。同時，信令伺服器也負責將收到的請求和應答 組裝成消息發送給客戶端或車載終端。
[0036] 信令處理模塊33還同時與視頻播放模塊31和功能模塊32信號相連，功能模塊32 還與視頻播放模塊31信號相連，信令處理模塊33向信令伺服器25轉發由功能模塊32傳 來的發送請求，向功能模塊32轉發由信令伺服器25傳來的應答信息，向視頻播放模塊31 發出播放地址，視頻播放模塊31根據信令處理模塊33傳來的播放地址和功能模塊32傳來 的視頻控制指令，播放流媒體伺服器21傳輸的視頻流。
[0037] 視頻轉發模塊24與流媒體伺服器21之間通過RTP或RTCP協議傳輸直播流。
[0038] 流媒體伺服器21 (Darwin Streaming Server, DSS)與客戶端播放器之間的連接 使用的是RTSP協議，並且車載移動視頻監控系統中的車載終端採用的是TI公司的DM355 為主的視頻方案，其壓縮的視頻流為標準的MPEG-4格式，因此，視頻監控客戶端的播放模 塊不僅要支持RTSP協議，還要支持MPEG-4格式解碼，客戶端播放模塊結構如圖3。基於此 目標，同時基於模塊化的設計方式，視頻播放模塊採用基於ActiveX技術的VLC播放組件。
[0039] 客戶端作為用戶與車載視頻監控系統的直接交互工具，要為用戶提供直觀的顯 示，包括車輛信息的顯示，顯示車輛的在線、離線、可直播三種狀態；視頻檢索條件選擇，包 括車輛線路號、車輛ID、存儲日期、起始時間和終止時間，並顯示視頻檢索信息的反饋。功 能模塊32響應用戶在客戶端界面的操作，有播放控制操作，調用播放模塊31處理；視頻查 詢操作，組裝視頻檢索信息，與信令處理模塊33交互；同時接收信令處理模塊33送來的消 息，更新客戶端界面上的顯示信息。
[0040] 信令處理模塊33作為客戶端的外部接口，與伺服器進行信息交互。同服務端的信 令伺服器23 -樣，通過分析接收的報文頭，判斷消息類型，調用相關模塊處理消息內容，同 時，將收到的請求和應答組裝成消息發送給服務端。
[0041] 移動車載終端1與視頻轉發模塊24之間通過TCP協議傳輸視頻流。
[0042] 流媒體伺服器Darwin Streaming Server (DSS)與視頻轉發模塊24的連接方式 為：視頻轉發模塊24通過應用層協議RTSP/SDP與DSS建立連接以及會話描述SDP文件，然 後通過傳輸層協議RTP/RTCP傳輸壓縮視頻流。為保證系統的通用性和視頻數據的完整可 靠，與移動車載終端1的視頻傳輸採用TCP協議，通過視頻轉發模塊完成傳輸協議轉換。而 為避免複雜的視頻傳輸協議開發，使用Live555靜態庫完成模塊開發，來分析車載終端傳 輸的幀數據包（即每一個數據包為一幀)，並與DSS通過標準視頻傳輸協議建立連接，傳輸視 頻流。
[0043] 流媒體伺服器21與視頻播放模塊31之間通過RTSP協議傳輸視頻流。
[0044] 視頻存儲模塊23封裝的視頻格式為MP4格式。
[0045] DSS支持的視頻存儲格式有MP4、M0V、3GP等，其中MP4格式被國際標準化組織參 考，並針對MPEG-4標準進行修改和擴充，定義成用於存放符合MPEG-4規範的媒體內容的標 準格式。不僅如此DSS的很多特性都成為了流媒體界的工業事實標準，如Hint Track格式 己經被ISO等標準組織採納並成為正式標準。Hint Track是Darwin Streaming Server 的擴展，通過在媒體文件中增加 Hint Track軌道，存放了一些預先生成好的媒體描述信 息（SDP格式）和媒體數據打包的索引信息。通過標準多媒體傳輸協議進行傳輸時，可以 直接根據數據打包索引信息來打包發送，不需要對信息進行重複的分析格式組裝數據包的 處理過程。車載移動視頻監控系統的車載終端採用的DM355處理器採用的視頻壓縮標準 為MPEG-4,因此採用MP4格式作為視頻監控服務系統的視頻存儲格式，並利用開源媒體庫 FFmpeg開發封裝模塊。
[0046] 本發明基於流媒體技術的車載移動視頻監控系統的工作原理如圖2所示，其實時 視頻直播流程如圖4所示：
[0047] 信令伺服器23配置UDP埠和DSS網絡地址啟動後，進入偵聽狀態等待接收消 息：
[0048] (1)客戶端3啟動後，通過配置服務端的UDP埠和IP位址，通知信令伺服器23 其上線；
[0049] (2)信令伺服器23接收客戶端上線消息後記錄客戶端配置信息；
[0050] (3)移動車載終端1啟動後通知信令伺服器23車輛上線；
[0051] (4)信令伺服器23接收移動車載終端1上線消息，記錄其配置信息，並向已上線的 客戶端3發送移動車載終端1上線消息；
[0052] (5)客戶端3接到移動車載終端1上線消息後，更新車輛狀態顯示，用戶通過界面 顯示對在線車輛發送實時視頻直播請求；
[0053] (6)服務端2接收請求後啟動視頻轉發模塊24創建TCP Socket進行監聽，並將 TCP埠號發送給移動車載終端1，通知其傳輸視頻流；
[0054] (7)移動車載終端1收到請求後開始向要求的TCP埠傳輸視頻數據；
[0055] (8)服務端視頻轉發模塊24接收視頻數據後與流媒體伺服器21建立連接，將直播 地址通過信令伺服器23返回給客戶端3 ;
[0056] (9)客戶端3收到直播地址後，傳遞給視頻播放模塊3,並更新車輛狀態顯示。用 戶選擇可直播狀態的車輛進行播放，視頻播放模塊31通過RTSP協議直接與流媒體伺服器 DSS連接播放實時視頻流。
[0057] 本發明針對車載移動視頻監控系統，提出了一種基於現有流媒體伺服器軟體的移 動視頻監控服務系統解決方案，重點解決車載終端與流媒體伺服器的視頻傳輸問題以及視 頻流的存儲管理問題。與單純的下載方式相比，這種對多媒體文件邊下載邊播放的流式傳 輸具有啟動延時大幅度縮短，對系統緩存容量的需求大大降低；在視頻傳輸和監控環境中 不會出現明顯的抖動和延時，不會出現明顯的斷播；系統的可靠性好，可以在網上方便地增 加 Client或Server,增加一個Client不會對Server造成更多開銷。
【權利要求】
1. 一種基於流媒體技術的車載移動視頻監控系統，其特徵在於包括：移動車載終端 (1)、伺服器端（2)和客戶端（3)，所述伺服器端（2)包括流媒體伺服器（21)、資料庫（22)、視 頻存儲模塊（23)、視頻轉發模塊（24)和信令伺服器（25)，所述客戶端（3)包括視頻播放模 塊（31)、功能模塊（32 )和信令處理模塊（33 ); 所述移動車載終端（1)與所述伺服器端（2 )的信令伺服器（25 )信號連接，移動車載終 端（1)接收信令伺服器（25 )的控制信息，向信令伺服器（25 )發送車輛配置信息，並通過3G 網絡向視頻轉發模塊（24)傳輸視頻流； 所述流媒體伺服器（21)與視頻轉發模塊（24 )和視頻播放模塊（31)信號連接，流媒體 伺服器（21)接收視頻轉發模塊（24)傳來的直播流，向視頻播放模塊（31)傳輸視頻流； 所述視頻存儲模塊（23 )與信令伺服器（25 )、資料庫（22 )及視頻轉發模塊（24 )信號連 接，視頻存儲模塊（23 )接收信令伺服器（25 )的存儲調度指令，將來自視頻轉發模塊（24 )的 視頻存儲流封裝為流媒體伺服器支持的視頻格式，並存入資料庫（22 ); 所述資料庫（22 )還與信令伺服器（25 )信號連接，資料庫（22 )接收信令伺服器（25 )的 視頻檢索指令，向信令伺服器（25)發送視頻信息； 所述視頻轉發模塊（24)還與信令伺服器（25)信號相連，視頻轉發模塊（24)接收信令 伺服器（25)的直播調度指令，向其返回直播地址，將通過3G網絡從移動車載終端（1)得到 的視頻流，一方面轉變成直播流，發送給流媒體伺服器（21 )，另一方面以視頻存儲流發送給 視頻存儲模塊（23); 所述信令伺服器（25 )還與所述客戶端（3 )的信令處理模塊（33 )信號連接，信令伺服器 (25)接收信令處理模塊（33)的發送請求、向其發出應答信息； 所述信令處理模塊（33)還同時與視頻播放模塊（31)和功能模塊（32)信號相連，功能 模塊（32 )還與視頻播放模塊（31)信號相連，信令處理模塊（33 )向信令伺服器（25 )轉發由 功能模塊（32 )傳來的發送請求，向功能模塊（32 )轉發由信令伺服器（25 )傳來的應答信息， 向視頻播放模塊（31)發出播放地址，視頻播放模塊（31)根據信令處理模塊（33)傳來的播 放地址和功能模塊（32)傳來的視頻控制指令，播放流媒體伺服器（21)傳輸的視頻流。
2. 根據權利要求1所述的車載移動視頻監控系統，其特徵在於：所述移動車載終端（1) 與視頻轉發模塊（24)之間通過TCP協議傳輸視頻流。
3. 根據權利要求1所述的車載移動視頻監控系統，其特徵在於：所述視頻轉發模塊 (24)與流媒體伺服器（21)之間通過RTP或RTCP協議傳輸直播流。
4. 根據權利要求1所述的車載移動視頻監控系統，其特徵在於：所述流媒體伺服器 (21)與視頻播放模塊（31)之間通過RTSP協議傳輸視頻流。
5. 根據權利要求1所述的車載移動視頻監控系統，其特徵在於：所述視頻存儲模塊 (23)封裝的視頻格式為MP4格式。
【文檔編號】H04N7/18GK104144316SQ201310162927
【公開日】2014年11月12日 申請日期:2013年5月6日 優先權日:2013年5月6日
【發明者】李千目, 周建群, 侯君 申請人:南京理工大學連雲港研究院