一種船載視頻監控系統的多路視頻融合顯示系統的製作方法

2024-04-15 20:51:05

1.本發明涉及視頻融合技術領域，特別涉及一種船載視頻監控系統的多路視頻融合顯示系統。


背景技術：

2.近年來，隨著我國航運事業的快速發展，各種船舶視頻監控系統隨之興起，逐漸應用於水上運輸管理中。很多航運公司都在船上安裝了視頻監控系統，主要用於船舶防碰撞、船艙貨物監控、船舶管理等進行實時監控。
3.傳統的船舶監控方案採用若干攝像頭拍攝不同視角的場景，並將場景信息返回到客戶端的多個獨立窗口來實現監控。由於船舶的空間複雜性，尤其監控區域會存在部分重疊的情況，現有的監控技術需要監控人員監測多個窗口，視頻監控畫面零散、系統繁多不連續、整體缺乏空間感、事件追溯難等問題，已經無法滿足現代化船舶運輸的需求。


技術實現要素：

4.本發明提供一種船載視頻監控系統的多路視頻融合顯示系統，旨在解決現有船舶監控中存在畫面零散、空間感不強，不好追溯等問題。
5.本發明提供一種船載視頻監控系統的多路視頻融合顯示系統，包括：船載視頻監控系統，通過船載的監控設備採集船舶多個位置的視頻數據並編碼組成視頻流，通過通訊線路傳輸至後臺數據管理平臺進行數據存儲、視頻流管理、視頻數據顯示及交互；數據管理平臺包括視頻融合系統、顯示交互系統；視頻融合系統，通過對多個視頻數據的特徵點進行分析，得到每個視頻數據對應的空間位置及時間軸，提取同一時間軸的多個視頻畫面，並按照相鄰空間位置順序依次融合成多路視角的全景融合畫面，視頻流按照時間軸的先後順序依次輸送視頻幀；顯示交互系統，顯示多路視角的全景融合畫面，且用戶通過管理權限調取查閱視頻數據及進行多終端協同交互。
6.作為本發明的進一步改進，所述船載視頻監控系統的監控設備包括船舶專用的網絡錄像機、監控攝像機、監聽探頭。
7.作為本發明的進一步改進，所述船載視頻監控系統的通訊線路包括前端監控設備的移動傳送網絡和後臺數據管理平臺的乙太網或區域網網絡。
8.作為本發明的進一步改進，所述視頻融合系統包括：特徵獲取模塊，用於獲取多個監控設備的內外參數，提取內外參數中各個監控設備在船舶上對應的空間位置標記，對多個監控設備所形成的視頻畫面按空間位置標記的順序進行排列，以待拼接融合；獲取多個監控設備的視頻數據，提取各個視頻數據的時間軸，對同一時間軸範圍內的幀畫面作為同一組待拼接融合的視頻畫面。
9.作為本發明的進一步改進，所述視頻融合系統包括：
分析判斷模塊，用於通過設定時間軸偏差閾值，對各個視頻數據的時間軸賦值，若各個視頻數據的時間軸賦值的偏差小於或等於時間軸偏差閾值，則該各個視頻數據的時間軸位於同一時間軸範圍內；若兩個視頻數據的時間軸賦值的偏差大於時間軸偏差閾值，則丟棄對應時間軸的視頻數據。
10.作為本發明的進一步改進，所述視頻融合系統包括：融合模塊，用於通過預先標定的全景像素坐標系，將按照相鄰空間位置順序排列的視頻畫面映射到全景像素坐標系進行拼接融合，並對全景融合畫面進行濾波處理，平滑相鄰兩幀融合畫面之間的亮度。
11.作為本發明的進一步改進，所述數據管理平臺還包括：前端數據緩存單元，用於設置多個緩存分區，對應存儲各個監控設備採集的視頻流，匯總多個視頻流後，統一輸出到視頻融合系統統一訪問並獲取多個視頻數據。
12.作為本發明的進一步改進，所述數據管理平臺還包括：後端數據存儲單元，用於存儲全景融合畫面，和/或用於按照時間軸作為標記存儲各個監控設備對應的視頻畫面，以使顯示交互系統提取單個監控設備的視頻數據或同時提取各個監控設備組成的全景融合畫面。
13.作為本發明的進一步改進，所述顯示交互系統包括：顯示單元，用於對視頻融合系統數據的全景融合畫面進行顯示；用戶交互單元，用於接收用戶輸入的業務控制請求，並提供視頻融合顯示的控制功能。
14.本發明的有益效果是：將船載監控採集到的多路視頻進行融合，打破了傳統視頻監控系統單個攝像機及鏡頭割裂畫面顯示的局限，將孤立的多個攝像頭有機無縫地融合到全景圖像中，實現對整個船舶的全景實時監控，相比與單個攝像頭監控圖像的查看，融合後的圖像提高了監控查看和回放監視的效率。多路視頻融合顯示系統可以將攝像頭採集到的實時視頻進行實時的全景融合，實現跨攝像頭跟蹤，及時目標鎖定。
附圖說明
15.圖1是本發明一種船載視頻監控系統的多路視頻融合顯示系統的結構框圖。
具體實施方式
16.為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。
17.如圖1所示，本發明的一種船載視頻監控系統100的多路視頻融合顯示系統，包括：船載視頻監控系統100，通過船載的監控設備101採集船舶多個位置的視頻數據並編碼組成視頻流，通過通訊線路102傳輸至後臺數據管理平臺進行數據存儲、視頻流管理、視頻數據顯示及交互。
18.船載視頻監控系統100的監控設備101包括船舶專用的網絡錄像機、監控攝像機、監聽探頭。監控設備101可以為安裝在船舶外部，用於監視船體外側的情況，也可以是設置在船艙內部的監控設備101，對艙體內設施和貨物進行監視。為了對船體各個位置進行監控，位於艙外或艙內的監控設備101均為拍攝到船體的各個角度，從而形成多個視角地對艙
外或艙內進行環視監測。而這些監控畫面在傳統的顯示時，都是單一地顯示一個監控設備101所拍攝的影像，以網格狀的形式顯示，不便於整體查看。而本發明中會對根據監控設備101在船體上的空間位置，給監控設備101依次賦值對應的位置參數，對於所拍攝為空間相鄰圖像的監控設備101，會賦值上相鄰的參數，例如監控船頭的監控設備101賦值參數1，則對監控船頭鄰近側邊的夾板的監控設備101賦值2等，這便於後續各個監控視頻數據的合成提供參數的依據。
19.船載視頻監控系統100的通訊線路102包括前端監控設備101的移動傳送網絡和後臺數據管理平臺的乙太網或區域網網絡。監控設備101可以通過無線網絡或有線網絡完成與後臺的數據傳輸，實時地將視頻數據傳輸到後臺數據管理平臺。
20.數據管理平臺包括視頻融合系統200、顯示交互系統300；視頻融合系統200，通過對多個視頻數據的特徵點進行分析，得到每個視頻數據對應的空間位置及時間軸，提取同一時間軸的多個視頻畫面，並按照相鄰空間位置順序依次融合成多路視角的全景融合畫面，視頻流按照時間軸的先後順序依次輸送視頻幀。
21.視頻融合系統200包括：特徵獲取模塊201，用於獲取多個監控設備101的內外參數，提取內外參數中各個監控設備101在船舶上對應的空間位置標記，對多個監控設備101所形成的視頻畫面按空間位置標記的順序進行排列，以待拼接融合；獲取多個監控設備101的視頻數據，提取各個視頻數據的時間軸，對同一時間軸範圍內的幀畫面作為同一組待拼接融合的視頻畫面。
22.在進行圖像融合前，特徵獲取模塊201會先提取出同一時間軸範圍內的視頻數據，作為需要融合成同一全景圖像的依據，然後再根據監控設備101被賦值的位置參數，對這同一時間軸範圍內的視頻畫面進行排序，例如將賦值為1、2、3、4的監控視頻畫面依次排列好，而此時對應拍攝到也是船體在空間位置上的圖像，為後續對各相鄰圖像進行融合前的預處理。
23.分析判斷模塊202，用於通過設定時間軸偏差閾值，對各個視頻數據的時間軸賦值，若各個視頻數據的時間軸賦值的偏差小於或等於時間軸偏差閾值，則該各個視頻數據的時間軸位於同一時間軸範圍內；若兩個視頻數據的時間軸賦值的偏差大於時間軸偏差閾值，則丟棄對應時間軸的視頻數據。
24.將至少兩路視頻流發送給融合模塊203前，分析判斷模塊202會對至少兩路視頻流進行時間軸同步，監控設備101在編碼時會對碼流的時間軸賦值，碼流間的時間軸偏差需要保持在一定偏差範圍內，如果發生超過偏差閾值的情況，則會丟棄該時刻的視頻流，進行重新編碼，從而確保同一時刻產生的視頻流的時間軸幾乎是在同一時刻。
25.融合模塊203，用於通過預先標定的全景像素坐標系，將按照相鄰空間位置順序排列的視頻畫面映射到全景像素坐標系進行拼接融合，並對全景融合畫面進行濾波處理，平滑相鄰兩幀融合畫面之間的亮度。
26.融合模塊203的全景融合，即是將兩幅或多幅具有重疊區域的圖像，合併成一張大圖。本發明是基於特徵點的圖像配準方法，即通過匹配點對構建投影圖像之間的全景像素映射矩陣，完成多幅圖像之間的映射，進而將映射後的圖像通過融合，完成全景圖像拼接。本發明所述方法充分利用內河船舶上已經安裝的多個攝像機，根據實際情況全景拼接融合，可以節省設備資源，降低成本。同時，對拼接效果進行了檢測，摒棄了人眼主觀判斷帶來
的影響，在拼接效果不佳時，重新拼接計算，自動更新拼接參數，得到新的全景像素映射矩陣來重新拼接，可以相應提高拼接圖像的精度。
27.由於船舶晃動，可能會導致的攝像機相對位置偏移等細小變化。現有的一體機在拼接過程中無法實時檢測由於船舶晃動等外界因素影響導致的攝像機相對位置偏移，致使拼接效果不好。通過對拼接效果進行檢測，還能及時修正船舶晃動帶來的影響，對拼接效果加以修正。
28.由於相鄰照片一般會存在一些差別，所以在圖像拼接完成之後，還要作平滑處理，使整幅全景拼接圖像在亮度、色彩等方面看起來基本一致。由於是實時視頻拼接，各幅畫面前後幀之間亮度差異較大，本發明採用濾波器的形式，平滑當前幀與上一幀之間的亮度，減緩亮度梯度變化，調節整幅畫面使其亮度均衡。
29.顯示交互系統300，顯示多路視角的全景融合畫面，且用戶通過管理權限調取查閱視頻數據及進行多終端協同交互。具體的，顯示交互系統300包括：顯示單元301，用於對視頻融合系統200數據的全景融合畫面進行顯示；用戶交互單元302，用於接收用戶輸入的業務控制請求，並提供視頻融合顯示的控制功能。
30.顯示單元301可以為監控室的顯示屏幕，也可以是可攜式的移動終端屏幕，用戶可以通過屏幕內的虛擬按鍵，或者監控室的監控操作臺向用戶交互單元302發出控制指令，來調取不同角度的全景視頻畫面，根據需要調整各個監控設備101的拍攝角度，從多個角度全景的視角對船體的各個位置進行監控。
31.數據管理平臺還包括：前端數據緩存單元401，用於設置多個緩存分區，對應存儲各個監控設備101採集的視頻流，匯總多個視頻流後，統一輸出到視頻融合系統200統一訪問並獲取多個視頻數據。前端數據緩存單元401對各個監控設備101拍攝到圖像進行預緩存，在統一將數據傳輸到視頻融合系統200，這樣可以避免每個監控設備101單獨傳輸數據時，會出現個別監控設備101網絡延遲造成全景畫面查看時出現局部丟幀的情況。而通過視頻融合系統200同一訪問前端數據緩存單元401調取數據的方式，保證後臺顯示的全景圖像在進行操作和查看時，視頻流穩定畫面流暢。
32.後端數據存儲單元402，用於存儲全景融合畫面，和/或用於按照時間軸作為標記存儲各個監控設備101對應的視頻畫面，以使顯示交互系統300提取單個監控設備101的視頻數據或同時提取各個監控設備101組成的全景融合畫面。
33.對完成融合的歷史全景視頻數據，會轉移到後端數據存儲單元402進行存放，並對對每個畫面對應的時間軸做標記，這樣在後續調用視頻數據時，可以流暢地調取單一監控設備101的歷史視頻流，也可以在調用某一時間段的全景圖像時，系統可以直接讀取到已合成的全景視頻數據，也可以分別調用同一時間軸範圍內的各個監控設備101對應的視頻圖像，按照之前已融合的規則進行快速組合成所需要的全景視頻數據。
34.融合視頻在同一時間軸播放與歷史回放；多路攝像頭融合後，可以統一實時觀看與統一實時回播查驗，比傳統的單個攝像頭畫面回查的效益提高几十倍乃至幾百倍。對於可疑的人或物易事前發現，事前預警，以及事後快速追查，安全係數教傳統的視頻監控系統提高若干倍。
35.以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施只局限於這些說明。對於本發明所屬技術領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬於本發明的保護範圍。