一種拼牆多用戶互動控制和拼牆顯示信息回放裝置及方法
2023-11-09 02:47:22 4
專利名稱：一種拼牆多用戶互動控制和拼牆顯示信息回放裝置及方法
技術領域：
本發明涉及一種拼接牆互動的控制和拼牆顯示信息回放裝置及方法。特別是涉及一種利用拼接牆系統的集中顯示功能，整合計算機系統、網絡、視頻綜合調度和決策指揮等多種應用處理功能的多用戶互動控制和拼牆顯示信息回放裝置及方法。
背景技術：
拼接牆系統是以電子計算機為主，集實時信息收集、傳遞、處理、顯示於一體的高科技綜合性系統工程。多種綜合應用集中顯示和海量信息處理是其最大特點，利用拼接牆系統的集中顯示功能，整合計算機系統、網絡、實時視頻(如會議場景、遠程監控)等多種應用處理和集成功能，完全滿足信息集中顯示、大數據量處理、實時準確顯示的需要。但是在提供了專用於高清晰、高分辨的畫面顯示和窗口組合等等功能的同時，為迅速分析判斷、綜合調度和決策指揮等需求要求將所需的各類信息，實時迅速地匯集在同一綜合畫面，並且能在多個控制臺/控制PC上實現拼牆綜合顯示現場信息的回放和實現拼牆綜合顯示現場多個窗口的視頻回放或視頻窗口的預瀏覽等功能。
現有技術應用中，控制人員只能通過直接觀看來判斷拼牆顯示內容的正確與否，如視頻窗口是否正常顯示，RGB窗口的內容是否正確，避免信號切換錯誤或者切換失敗等，但是有些控制臺不在拼牆綜合顯示現場就無法完成對拼牆顯示內容的判斷；或者不在拼牆綜合顯示現場的領導需要分析判斷、綜合調度和決策指揮時就無法滿足對拼牆綜合顯示現場的操作控制；或者不在拼牆綜合顯示現場的控制臺要了解綜合顯示現場的大概信息內容，如視頻窗口的播放內容或RGB窗口的顯示信息等，如果利用大量的視頻捕獲卡和視頻矩陣實現拼牆綜合顯示現場信息的回放和多個窗口的視頻回放或視頻窗口的預瀏覽等功能存在數據傳輸量大、所需系統資源巨大，佔用計算機資源大、刷新速度慢、交互性能差等缺陷。
發明內容
本發明的目的是提供一種實現多個控制臺/控制PC機與拼接牆綜合顯示現場之間互動控制和拼牆顯示信息回放的裝置及其方法。該裝置可以在多個控制臺/控制PC上實現拼牆綜合顯示現場桌面信息的回放和實現拼牆綜合顯示現場多個窗口的視頻回放或視頻窗口的預瀏覽等功能。為高速、快捷、準確的實現控制臺/控制PC機與大型屏幕拼牆多用戶互動控制和拼牆顯示信息回放提供了物質條件和技術保障。
拼牆多用戶互動控制和拼牆顯示信息回放設備裝置，包括攝像頭、數據處理模塊、一個或多個控制臺/控制PC機、拼牆處理器、拼牆顯示屏。攝像頭與數據處理模塊通過數據線相連，數據處理模塊通過網絡與控制臺/控制PC機相連，控制臺/控制PC機通過網絡與拼牆處理器相連，拼牆處理器通過數據線與拼牆顯示屏相連。
為了實現上述目的，本發明採用如下技術方案在拼接牆前方安裝一個或多個攝像頭，攝像頭拍攝採集拼牆顯示信息或者分區拍攝一個或多個拼牆區域，攝像頭採集的圖像數據/視頻流按照標準或非標準的編碼方法進行編碼，根據需要將編碼後的數據傳送到一臺或多臺控制臺/控制PC上，在本機進行相應解碼並按照一定比例顯示、播放或拼接播放出來，或不進行編碼直接傳送到一臺或多臺控制臺/控制PC上並按照一定比例顯示、播放或拼接播放出來。
根據控制臺/控制PC要監測的內容將傳送的視頻數據流區分為桌面信息還是視頻窗口信息和/或RGB顯示窗口信息。
監測桌面信息的實現方法1一個攝像頭拍攝整個拼牆顯示信息或多個攝像頭分區拍攝拼牆綜合顯示現場的桌面信息，數據處理模塊將攝像頭採集的圖像數據/視頻流按照標準或非標準的編碼方式進行編碼，通過網絡將編碼數據傳送到控制臺/控制PC機上進行相應的解碼並在控制臺/控制PC上按照一定比例顯示或拼接顯示，或不進行編碼直接傳送到控制臺/控制PC上並按照一定比例顯示，這樣就實現了在一個或多個控制臺/控制PC上實現拼牆綜合顯示現場桌面信息的回放。
監測桌面信息的實現方法2通過現有的基於Internet的桌面信息抓取軟體來實現指定平臺之間的桌面信息的抓取，實現在多用戶自定義的規則下，多個控制臺/控制PC機上自動從網際網路上拼牆處理器(或其它應用伺服器)上抓取指定信息的功能，從而快速實現了在多個控制臺/控制PC上實現拼牆綜合顯示現場信息的的全面共享。此方法抓取的桌面信息更加清晰，更有利於控制臺/控制PC機與拼牆之間的互動控制的實現。
控制臺/控制PC機與拼牆之間的互動控制實現方法當控制臺/控制PC上看到全部或者部分拼牆現場顯示圖像時，可以實現滑鼠或者觸摸控制操作，將這種多用戶互動控制即滑鼠事件或者觸摸事件，轉換成拼牆的坐標，通知拼牆處理器或者應用伺服器執行相關動作，這樣就實現了多個控制臺/控制PC機與大型屏幕拼接牆之間的多用戶互動控制功能。
監測視頻窗口和/或RGB顯示窗口信息的實現方法由於窗口位置的任意性和活動性，可以由一個攝像頭拍攝一個或多個視頻窗口和/或RGB顯示窗口或者由多個攝像頭分區拍攝多個視頻窗口和/或RGB顯示窗口，數據處理模塊將攝像頭拍攝的圖像數據/視頻流按照標準或非標準的編碼方法進行編碼，通過網絡將編碼的數據傳送到控制臺/控制PC機上進行相應的解碼並按一定的比例播放或拼接播放出來，或不進行編碼直接傳送到控制臺/控制PC上並按照一定比例播放或拼接播放出來；還可以在一個或者多個攝像機拍攝到的圖像數據/視頻流中將非視頻窗口和非RGB顯示窗口的區域24填充單一顏色值，以便提高視頻編碼速度，進而提高刷新頻率，這樣就實現了拼牆綜合顯示現場單個或多個視頻窗口和/或RGB顯示窗口的信息回放。
視頻窗口預瀏覽功能的實現方法我們還可以從視頻矩陣輸出端連接一條或多條視頻輸出到控制臺/控制PC機上的視頻採集口，通過矩陣切換在控制臺/控制PC機的顯示器上預覽所需視頻，確定信號源信號正常後再在拼牆上打開該窗口，這樣就實現了在多個控制臺/控制PC機上增加視頻窗口的預瀏覽功能。
一種拼牆多用戶互動控制和拼牆顯示信息回放的方法，其原理示意圖如圖2所示，包括以下步驟(1)根據控制臺/控制PC機要監測的內容設置一個攝像頭拍攝拼牆顯示信息或多個攝像頭分區拍攝拼牆顯示信息，所述顯示信息可以只包括桌面信息(23)、視頻窗口信息(22)、RGB顯示窗口信息(21)其中之一種信息，或其中兩種信息的組合，或全部三種信息；(2)數據處理模塊將上述步驟(1)中攝像頭採集的圖像數據或視頻流通過網絡傳輸給控制臺/控制PC機；可以通過原端廣播方式發送圖像數據/視頻流，或終端監聽方式採集圖像數據/視頻流，以減輕網絡負擔；(3)按照一定的比例在控制臺/控制PC機上以全屏或非全屏的方式回放拼牆綜合顯示現場的全部或部分桌面信息、視頻窗口信息和/或RGB顯示窗口信息。
在進行以上所述步驟(2)之前，數據處理模塊還可對圖像數據/視頻流進行標準或非標準的編碼；相應地在進行以上所述步驟(3)之前，控制臺/控制PC機對圖像數據/視頻流的編碼流進行相應的解碼。
以上所述步驟還可進一步包括，用戶對控制臺/控制PC機上所回放的拼牆信息進行互動控制即滑鼠事件，然後根據函數關係，將這種多用戶互動控制轉換成拼牆的坐標，通知拼牆處理器或者應用伺服器執行相關動作以實現多用戶的互動控制操作。
為提高控制臺/控制PC機上顯示信息的清晰度可以把通過軟體抓取的桌面信息與視頻窗口顯示和/或RGB顯示窗口信息進行疊加。
為防止光學成像系統中非線性畸變帶來的拍攝圖像的變形問題，可以在系統啟動時進行初始校準，包括多個攝像頭的拼接校準。可採用由計算機處理的通用的校正方法對實際的非線性幾何畸變圖像進行校正。校正原理是利用拍攝的圖像與光軸對稱的徑向畸變建立數學模型，並根據數學模型求出光學鏡頭的校正係數，對畸變圖像進行校正。
多個控制臺/控制PC機可以通過網絡採集攝像頭的圖像數據/視頻流，也可以直接把攝像頭的視頻接口插到單路或者多路視頻採集卡上實現拼牆綜合顯示現場信息的回放和實現拼牆綜合顯示現場多個窗口的視頻回放或視頻窗口的預瀏覽等功能。
本發明可以在多個控制臺/控制PC機上實現拼牆綜合顯示現場桌面信息的回放和互動控制操作。本發明還可以在多個控制臺/控制PC機上實現拼牆綜合顯示現場單個或多個視頻窗口和/或RGB顯示窗口的信息回放。並且可以在多個控制臺/控制PC的顯示器上實現按照縮放比例顯示拼牆全部或者部分區域信息，可以隨時調整顯示比例或者變化顯示拼牆的任意區域。
本發明結構簡單、操作方便，為高速、快捷、準確的實現控制臺/控制PC機與大型屏幕拼牆多用戶互動控制提供了物質條件和技術保障。
下面結合附圖及具體實施方式
對本發明作進一步的描述。
圖1為本發明大型拼牆多用戶互動控制和拼牆顯示信息回放裝置的結構示意圖；圖2為本發明大型拼牆多用戶互動控制和拼牆顯示信息回放裝置原理示意圖；圖3為本發明多個攝像頭分區拍攝拼牆綜合顯示現場的整個桌面信息示意圖；圖4為本發明要監測的視頻窗口和RGB顯示窗口在整個拼牆綜合顯示現場的位置信息示意圖。
具體實施例方式
實施例1
請參考圖1，所述大型拼接牆多用戶互動裝置，包括攝像頭4、數據處理模塊5、多個控制臺/控制PC機7、拼牆處理器2、拼牆顯示屏1。所述攝像頭4完成桌面信息23、視頻窗口信息22和/或RGB顯示窗口信息21的拍攝，可以是模擬攝像頭或數字攝像頭，可以根據不同應用選用不同解析度的攝像頭，可以選用自動調焦或者通過控制臺/控制PC機7調焦；所述數據處理模塊5完成攝像頭4拍攝的視頻流的壓縮編碼、傳輸，壓縮編碼可以由專用功能的壓縮編碼晶片實現或DSP、FPGA等實現，所述數據處理模塊5帶有網絡收發器通過網絡6完成壓縮編碼流和控制信息的傳輸；所述網絡交換設備是指如交換機之類的網絡設備；所述控制臺/控制PC機7可以是具有顯示功能和相對編碼端的需要解碼功能的處理器或PC機，其中有一臺控制PC為運行拼牆管理系統軟體的拼牆伺服器；所述拼牆處理器2提供高解析度的圖形顯示環境，使活動視頻、RGB信號和來自網絡6的計算機桌面或窗口等各種類型的圖像信號均可以在顯示拼牆上清晰顯示；所述拼牆顯示屏1為DLP、LCOS、LCD等大屏幕組合顯示單元用來完成大屏幕拼接牆的綜合顯示。
一種實現大型拼牆多用戶互動控制和拼牆顯示信息回放的方法，包括以下步驟(1)可以根據實際應用如圖1所示將一個攝像頭4固定在能拍攝到整個拼牆顯示屏1的前方或如圖3所示將多個攝像頭4固定在能夠分區拍攝整個拼牆顯示屏1的多個位置，還可以安置在特別要監測的顯示單元的前方，攝像頭4可以選用自動調焦或通過控制臺/控制PC機7根據效果進行設置，根據控制臺/控制PC機7要監測的區域選擇一個或多個攝像頭4工作，攝像頭4拍攝拼牆綜合顯示現場的桌面信息23、視頻窗口信息22和/或RGB顯示窗口信息21；(2)數據處理模塊5可以根據需要選用多種比如個別控制臺/控制PC機7隻需監測拼牆綜合顯示現場的桌面信息23和提取桌面顯示圖標的相對坐標數據來實現滑鼠控制操作，所述數據處理模塊5可以採用標準或非標準的靜態圖像編碼方式壓縮攝像頭拍攝的圖像數據；又如個別控制臺/控制PC機7隻需監測視頻窗口信息22和/或RGB顯示窗口信息21，所述數據處理模塊5可以採用有運動補償的標準或非標準動態圖像編碼方式壓縮拍攝頭拍攝的視頻流數據；所述數據處理模塊5帶有乙太網收發器通過網絡6將編碼流傳輸給控制臺/控制PC機7，可以通過原端廣播方式發送編碼數據或終端監聽方式採集編碼數據，以減輕網絡負擔；(3)控制臺/控制PC7進行相應的解碼，所述控制臺/控制PC機7可以是具有顯示功能和相對編碼端的解碼功能的處理器或PC機；控制臺/控制PC機7按照一定的比例以全屏或非全屏的方式回放拼牆綜合顯示現場的全部或部分桌面信息23、視頻窗口信息22和/或RGB顯示窗口信息21；(4)控制臺/控制PC機7發送命令開啟攝像頭4實時的採集控制臺/控制PC機7將要監測的區域，攝像頭4拍攝的圖像數據或視頻流經數據處理模塊5實時的編碼和傳輸，再由控制臺/控制PC機7作相應的解碼和顯示，實現了控制臺/控制PC機7上顯示的信息與拼牆綜合顯示現場所顯示的信息同步；(5)根據函數關係，將這種多用戶互動控制即滑鼠事件轉換成拼牆的坐標，通知拼牆處理器2或者應用伺服器執行相關動作以實現多用戶的互動控制操作。
實施例2本實施例將說明如何快速監測視頻窗口信息22和/或RGB窗口信息21，如圖4所示，要監測一個視頻窗口22信息和一個RGB窗口21的信息，本實施例採用監測桌面信息23的實現方法2，通過現有的基於Internet的桌面信息抓取軟體來實現指定平臺之間的桌面信息23的抓取，用戶在自定義的規則下，控制臺/控制PC機7從網際網路上的拼牆伺服器上提取開窗位置坐標信息，確定開窗的坐標範圍後將非視頻窗口和非RGB顯示窗口的區域24填充單一顏色值，以便提高視頻編碼速度，進而提高刷新頻率，該方法包括以下步驟(1)桌面信息抓取軟體抓取拼牆綜合顯示現場的桌面信息到要監測的控制臺/控制PC機7，如圖4所示，控制臺/控制PC機7根據抓取桌面信息中RGB顯示窗口信息21和視頻窗口信息22開窗的位置信息確定適合的攝像頭4，開啟攝像頭4並調焦進行拍攝；(2)見圖4，控制臺/控制PC機7同時將抓取桌面信息23中開窗的位置信息傳送給數據處理模塊5，數據處理模塊5將拍攝到的視頻中非視頻窗口和非RGB顯示窗口的區域24填充單一顏色值，這樣提高了數據處理模塊5的編碼速率，數據處理模塊5通過網絡6將編碼流傳輸給控制臺/控制PC機7，可以通過原端廣播方式發送編碼數據或終端監聽方式採集編碼數據，以減輕網絡負擔；(3)控制臺/控制PC機7進行相應的解碼，按照一定的比例以全屏或非全屏的方式回放拼牆綜合顯示現場的視頻窗口信息22和RGB顯示窗口信息21；(4)控制臺/控制PC機7如果要對視頻窗口和RGB顯示窗口進行操作，可以將通過軟體抓取的桌面信息和攝像頭4拍攝的視頻窗口信息22和RGB顯示窗口信息23進行疊加，在控制臺/控制PC機7上對窗口的滑鼠操作和控制根據函數關係，轉換成拼牆處理器2或者應用伺服器執行相關動作，這樣就實現了控制臺/控制PC機7對視頻窗口和RGB顯示窗口的操作和控制功能。
以上所述僅為本發明的較佳實施例，本發明的保護範圍並不局限於此。本領域中的技術人員任何基於本發明技術方案上非實質性變更均包括在本發明保護範圍之內。
權利要求
1.一種拼牆多用戶互動控制和拼牆顯示信息回放裝置，其特徵在於包括攝像頭(4)、數據處理模塊(5)、一個或多個控制臺/控制PC機(7)、拼牆處理器(2)、拼牆顯示屏(1)；攝像頭(4)與數據處理模塊(5)通過數據線(10)相連；數據處理模塊(5)通過網絡(6)與控制臺/控制PC機(7)相連；控制臺/控制PC機(7)通過網絡(6)與拼牆處理器(2)相連；拼牆處理器(2)通過數據線(3)與拼牆顯示屏(1)相連。
2.如權利要求1所述的拼牆多用戶互動控制和拼牆顯示信息回放裝置，其特徵在於所述的攝像頭(4)為兩個或以上。
3.一種拼牆多用戶互動控制和拼牆顯示信息回放的方法，其特徵在於包括以下步驟(a)根據控制臺/控制PC機(7)要監測的內容設置一個攝像頭(4)拍攝拼牆顯示信息或多個攝像頭(4)分區拍攝拼牆顯示信息，所述顯示信息可以只包括桌面信息(23)、視頻窗口信息(22)、RGB顯示窗口信息(21)其中之一種信息，或其中兩種信息的組合，或全部三種信息；(b)數據處理模塊(5)將上述步驟(a)中攝像頭(4)採集的圖像數據或視頻流通過網絡(6)傳輸給控制臺/控制PC機(7)；(c)按照一定的比例在控制臺/控制PC機(7)上以全屏或非全屏的方式回放拼牆綜合顯示現場的全部或部分桌面信息(23)、視頻窗口信息(22)和/或RGB顯示窗口信息(21)。
4.如權利要求3所述的拼牆多用戶互動控制和拼牆顯示信息回放的方法，其特徵在於 在進行以上所述步驟(b)之前，數據處理模塊對圖像或視頻進行標準或非標準的編碼；在進行以上所述步驟(c)之前，控制臺/控制PC機(7)對圖像或視頻的編碼流進行相應的解碼。
5.如權利要求3或4所述的拼牆多用戶互動控制和拼牆顯示信息回放的方法，其特徵在於用戶對控制臺/控制PC機(7)上所回放的拼牆信息進行互動控制即滑鼠事件，然後根據函數關係，將這種多用戶互動控制轉換成拼牆的坐標，通知拼牆處理器(2)或者應用伺服器執行相關動作以實現多用戶的互動控制操作。
6.如權利要求3所述的拼牆多用戶互動控制和拼牆顯示信息回放的方法，其特徵在於在系統啟動時進行初始校準，包括多個攝像頭(4)的拼接校準；採用由計算機處理的通用的校正方法對實際的非線性幾何畸變圖像進行校正。
7.如權利要求3或4所述的拼牆多用戶互動控制和拼牆顯示信息回放的方法，其特徵在於所述步驟(b)可以通過原端廣播方式發送編碼數據或未經編碼的圖像數據/視頻流，或終端監聽方式採集編碼數據或未經編碼的圖像數據/視頻流。
8.如權利要求3所述的拼牆多用戶互動控制和拼牆顯示信息回放的方法，其特徵在於所述步驟(c)在控制臺/控制PC機(7)上回放時，可以把通過軟體抓取的桌面信息(23)與視頻窗口信息(22)和/或RGB顯示窗口信息(21)進行疊加。
9.如權利要求3所述的拼牆多用戶互動控制和拼牆顯示信息回放的方法，其特徵在於所述的控制臺/控制PC機(7)在兩個或以上，且通過網絡(6)採集圖像/視頻流數據，或直接把攝像頭(4)的視頻接口插到單路或者多路視頻採集卡上實現拼牆綜合顯示現場信息的回放和實現拼牆綜合顯示現場多個窗口的視頻回放或視頻窗口的預瀏覽等功能。
全文摘要
本發明公開了一種拼接牆互動的控制和拼牆顯示信息回放裝置及方法。本發明可以在多個控制臺/控制PC機上實現拼牆綜合顯示現場桌面信息的回放和互動控制操作。本發明還可以在多個控制臺/控制PC機上實現拼牆綜合顯示現場單個或多個視頻窗口和/或RGB顯示窗口的信息回放。並且可以在多個控制臺/控制PC的顯示器上實現按照縮放比例顯示拼牆全部或者部分區域信息，可以隨時調整顯示比例或者變化顯示拼牆的任意區域。
文檔編號H04N7/24GK101093653SQ20071002883
公開日2007年12月26日 申請日期2007年6月26日 優先權日2007年6月26日
發明者盧如西, 楊月, 張軍 申請人:廣東威創日新電子有限公司