一種基於拼接大屏幕的交互式協同系統及交互式協同方法
2023-06-08 17:45:56 2
專利名稱：一種基於拼接大屏幕的交互式協同系統及交互式協同方法
技術領域：
本發明涉及一種基於拼接大屏幕的交互式協同系統及交互式協同方法。
背景技術：
無論是在教育、科研領域還是企業工作環境下，為了能夠提高工作效率和質量，用戶需要信息共享，需要協同工作環境的支持。從簡單的文本、視頻到3D繪製圖形，用戶渴望及時地交流大量的複雜信息，從而幫助他們在激烈的競爭環境中做出正確的分析和判斷。 在諸如軍警系統、航空航天系統、電力水利調度、應急指揮系統、金融、醫療、氣象乃至生物研究以及工業製造業等領域中海量信息的獲取、處理以及顯示都需要搭建高性能的存儲、 計算和顯示系統。多通道、高解析度的拼接顯示系統通常能夠輔助本地的信息存儲、處理系統，向用戶呈現高精度的數據信息。清晰的輸出畫面和巨大的屏幕極大地拓寬了用戶的視野，使之能夠全面而準確地把握信息的核心。但用戶仍不能滿足於在大屏幕上只顯示本地的信息資源，他們還希望能夠同時遠程訪問異地的高性能系統。但是目前為止還沒有一種這樣的系統能夠滿足用戶的需求。
發明內容
本發明的目的是提供一種即能顯示本地的信息資源同時還能遠程訪問異地高性能系統的基於拼接大屏幕的交互式協同系統。為了達到上述目的，本發明的一個技術方案是提供了一種基於拼接大屏幕的交互式協同系統，其特徵在於，包括流伺服器，用於捕獲異地高性能系統的多通道顯示輸出，並將捕獲的信號分別壓縮成多條像素流；流轉發伺服器，該伺服器位於流伺服器的後端，用以收集來自各流伺服器的像素流，根據同步時間戳將每一楨重新打包形成一條新的比特流，然後將其通過區域網或專網轉發至客戶端系統；同時，流轉發伺服器接受並處理來自客戶端系統的調整可視像素區域的消息，該消息描述當前客戶端系統所顯示的區域大小以及縮放比例，流轉發伺服器以此消息來實時地調整前端流伺服器的圖像處理過程，並向客戶端系統發送數據；流轉發伺服器還通過接受客戶端系統的反饋信息動態地對前端流伺服器的捕獲速率和壓縮質量進行調控，負責轉發客戶端系統的交互命令至異地高性能系統；客戶端系統包括一臺大屏幕控制端和一套拼接大屏幕顯示系統，大屏幕控制端接收來自流轉發伺服器的比特流；同時，大屏幕控制端向流轉發伺服器發送調整可視像素區域的消息、反饋信息及交互命令。本發明的另一個技術方案是提供了一種基於上述系統的交互式協同方法，其特徵在於，步驟為步驟1、一組流伺服器捕獲異地高性能系統的多通道遠程顯示輸出的流媒體後將其分別壓縮成多條像素流；步驟2、流轉發伺服器收集來自流伺服器的壓縮數據，並同步得將數據每一幀重新打包形成一條新的比特流轉發至大屏幕控制端；步驟3、大屏幕控制端接收到流轉發伺服器比特流數據後將比特流數據以圖像形式顯示在拼接大屏幕顯示系統上，若用戶在大屏幕控制端上輸入了交互指令，則大屏幕控制端通過流轉發伺服器及流轉發伺服器將該交互指令轉發至異地高性能系統，若大屏幕顯示系統的圖像顯示需要調整，則大屏幕控制端發送調整可視像素區域RVP消息回流轉發伺服器，流轉發伺服器接受該消息並處理，同時將處理完成結果反饋給流伺服器進行優化，如此往復，形成交互。本發明的優點是系統中遠程繪製畫面的共享基於像素流，採用了多通道同步捕獲和異步編碼的操作，大幅度提高了服務端計算性能。依據按需的數據處理和傳輸方式降低了網絡帶寬的需求，客戶端的大屏幕能夠呈現給用戶更多的信息源。設計部署靈活的軟體系統，採用當前主流的主機硬體配置。本發明的另一個有益效果是為拼接大屏幕顯示系統直接採集流媒體信號提供了方法和依據。
圖1為本發明提供的一種基於拼接大屏幕的交互式協同系統的構架；圖2為幀率對比圖；圖3為網絡佔用率對比圖。
具體實施例方式以下結合實施例來具體說明本發明。實施例如圖1所示，為本發明提供的一種基於拼接大屏幕的交互式協同系統，系統是一種典型的C/S架構部署，系統由服務端和客戶端組成，服務端由圖形繪製系統、流伺服器、 流轉發伺服器組成；客戶端由拼接大屏幕顯示系統、大屏幕控制伺服器以及大屏幕控制客戶端組成。遠程多通道圖形繪製系統通常由一組集群機驅動，並且由一臺控制節點運行監控程序，通過發送命令的方式對整個系統進行操控。具體的，本發明提供的系統包括流伺服器，用於捕獲異地高性能系統的多通道顯示輸出，並將捕獲的信號分別壓縮成多條像素流；流轉發伺服器，該伺服器位於流伺服器的後端，用以收集來自各流伺服器的像素流，根據同步時間戳將每一楨重新打包形成一條新的比特流，然後將其通過區域網或專網轉發至客戶端系統；同時，流轉發伺服器接受並處理來自客戶端系統的調整可視像素區域的消息，該消息描述當前客戶端系統所顯示的區域大小以及縮放比例，流轉發伺服器以此消息來實時地調整前端流伺服器的圖像處理過程，並向客戶端系統發送數據；流轉發伺服器還通過接受客戶端系統的反饋信息動態地對前端流伺服器的捕獲速率和壓縮質量進行調控，負責轉發客戶端系統的交互命令至異地高性能系統；客戶端系統包括一臺大屏幕控制端和一套拼接大屏幕顯示系統，大屏幕控制端接
43/4頁
收來自流轉發伺服器的比特流；同時，大屏幕控制端向流轉發伺服器發送調整可視像素區域的消息、反饋信息及交互命令。用戶通過所述大屏幕控制端的滑鼠和鍵盤操作來發出交互命令，包括與遠程應用的交互以及大屏幕的布局管理，大屏幕控制端通過所述流轉發伺服器及所述流伺服器向所述異地高性能系統發送簡單的交互消息使異地高性能系統的顯示器與所述拼接大屏幕顯示系統的繪製行為保持一致，同時還能關閉預覽遠程內容以減少不必要的解碼負擔。本發明還提供了一種基於上述系統的交互式協同方法，步驟為步驟1、異地高性能系統的多通道的遠程顯示輸出被一組流轉發伺服器捕獲並分別壓縮成多條像素流，這些流媒體包括各種常見的圖像、視頻編碼器視頻、MPEG2、JPEG等， 伺服器甚至可以直接捕獲未經壓縮的像素流；步驟2、流伺服器設計成支持硬體、軟體兩組捕獲方式。當採用硬體捕獲時，捕獲同步信號能夠由硬體觸發；採用軟體捕獲時本系統使用消息傳遞接口(Message Passing Interface)來觸發同步信號；流伺服器除捕獲進行同步操作外其他如圖像分塊、重採樣、 壓縮以及數據傳輸過程都設計成異步進行；步驟3、流轉發伺服器收集來自流伺服器的壓縮數據，並同步將數據每一幀重新打包形成一條新的比特流轉發至客戶端；步驟4、客戶端由拼接大屏幕與其控制端組成，其承擔比特流的解碼以及大屏幕繪製系統任務，其同時可連接多個遠程圖形系統，大屏幕的控制端負責建立、維護和管理這些流媒體連結資源，通過專用的大屏幕拼接管理軟體，可實現多種顯示模式或寫入模式，並對這些模式進行預存管理等。控制端與服務端任意疊加、方便、同步的顯示效果；客戶端接收到流轉發伺服器比特流數據後，發送調整可視像素區域RVP(Regi0n of Visible Pixels)消息(該消息描述當前客戶端現實的區域大小、縮放比)回流轉發伺服器，流轉發伺服器接受該消息並處理，同時將處理完成結果反饋給流伺服器進行優化。如此往復，形成交互，流轉發伺服器還負責轉發客戶的交互命令至交互伺服器解析並執行交互指令。因此，流轉發伺服器在客戶端拼接大屏幕系統與流伺服器端之間起到中介傳輸處理和交互的作用；達到用戶遠程控制和管理的交互功能；下面幾個步驟具體詳細說明本發明實現的幾個關鍵點(1)按需的圖像處理與數據傳輸實現在本地拼接大屏幕上其實只需要觀察局部或縮小的區域，客戶端發送RVP消息來改善伺服器的運行效率，客戶端窗口的尺寸或者滾動條狀態的變化都會出發新的RVP消息；而流轉發伺服器根據服務端內部的配置自動分解RVP消息並要求相應的流伺服器調整圖像處理過程；流轉發伺服器根據RVP消息首先從捕獲圖像中裁剪出有效的區域，然後進行線性重採樣，最後執行編碼操作，由於RVP中的縱橫縮放比例一般不超過1. 0，流轉發伺服器會忽略放大原始圖像的請求，減少編碼開銷的同時不影響圖像精度；因此有效地提高了流伺服器的輸出幀率，減少視頻流的網絡帶寬佔用率；(2)多線程的軟體架構實現拼接大屏幕控制伺服器主要執行網絡數據的接收、視頻解碼、大屏幕繪製等任務； 應用程式內部包含了這三條主要的線程，線程之間通過信號或消息進行協同工作。以降低數據接收受到網絡帶寬和發送速率的影響，將解碼過程的CPU資源和繪製過程GPU資源分開；由圖4可見以大屏幕伺服器程序為例說明了多線程工作模式的多線程工作流程；拼接大屏幕的控制客戶端除了同樣的三條線程外還包含窗口應用程式的消息響應線程；流伺服器主要設計包含了視頻捕獲、圖像處理和數據發送線程；轉發伺服器主要設計包含了數據接收、轉發線程、客戶端命令接受、處理線程等。(3)自適應的速率控制與系統性能優化設計流伺服器與流轉發伺服器根據客戶端請求自動調節視頻處理速度，在客戶端沒有足夠CPU空閒時間或者網絡帶寬來處理高幀率實時畫面時它們將請求服務端適當降低發送幀率；反之，在客戶端空閒或者帶寬充足時請求適當提高幀率；流伺服器內部採用自適應的性能優化機制來協調捕獲線程與編碼線程的執行效率；設計了類似「生產者一消費者」的形式共享一個圖像緩存隊列以提升流伺服器的處理效率，其具體工作實施如下根據圖像緩存隊列的滿溢程度以及當前CPU的佔用率，流伺服器動態提高或降低線程的執行速度，避免緩存溢出而導致丟幀；在一組協同工作的流伺服器中，主節點將定期地監控其他子節點運行情況，動態地作出調整；設計的流伺服器的運行速度不會超過客戶端指定的最大值。下面給出本發明的一組測試數據幀率是衡量交互性能的主要指標，網絡帶寬是衡量系統伸縮性的重要指標。我們圍繞這兩個指標進行了測試，測試系統分別採用JPEG和MPEG2編碼器並使用了 Intel性能優化庫(IPP)進行了優化，我們將這些數據和採用傳遞原始像素流(RAW pixel stream)的方式進行對比。由圖2可見壓縮和按需處理像素流的方式比直接轉發原始數據具有更好的交互性能，能夠支持更多的遠程連接；同時，我們對極端情況即客戶端顯示完整的遠程圖像時的RVP進行了測試，此時客戶端和服務端運行的負擔是最重的MPEG2和JPEG編碼器使整個系統能夠達到實時交互性能，兩者在最壞的情況下都能運行在15fps以上，而RAW形式的原始像素流嚴重受到網絡帶寬的限制，只能穩定運行於 7. 5fps左右，由圖3可見顯示了網絡佔有率的巨大差距，理論上原始像素流至少需要超過 40倍的網絡寬度，同時也顯示了本發明在網絡帶寬限制方面的巨大優勢。
權利要求
1.一種基於拼接大屏幕的交互式協同系統，其特徵在於，包括流伺服器，用於捕獲異地高性能系統的多通道顯示輸出，並將捕獲的信號分別壓縮成多條像素流；流轉發伺服器，該伺服器位於流伺服器的後端，用以收集來自各流伺服器的像素流，根據同步時間戳將每一楨重新打包形成一條新的比特流，然後將其通過區域網或專網轉發至客戶端系統；同時，流轉發伺服器接受並處理來自客戶端系統的調整可視像素區域的消息， 該消息描述當前客戶端系統所顯示的區域大小以及縮放比例，流轉發伺服器以此消息來實時地調整前端流伺服器的圖像處理過程，並向客戶端系統發送數據；流轉發伺服器還通過接受客戶端系統的反饋信息動態地對前端流伺服器的捕獲速率和壓縮質量進行調控，負責轉發客戶端系統的交互命令至異地高性能系統；客戶端系統包括一臺大屏幕控制端和一套拼接大屏幕顯示系統，大屏幕控制端接收來自流轉發伺服器的比特流；同時，大屏幕控制端向流轉發伺服器發送調整可視像素區域的消息、反饋信息及交互命令。
2.如權利要求1所述的一種基於拼接大屏幕的交互式協同系統，其特徵在於，用戶通過所述大屏幕控制端的滑鼠和鍵盤操作來發出交互命令，包括與遠程應用的交互以及大屏幕的布局管理，大屏幕控制端通過所述流轉發伺服器及所述流伺服器向所述異地高性能系統發送簡單的交互消息使異地高性能系統的顯示器與所述拼接大屏幕顯示系統的繪製行為保持一致，同時還能關閉預覽遠程內容以減少不必要的解碼負擔。
3.一種基於權利要求1所述系統的交互式協同方法，其特徵在於，步驟為步驟1、一組流伺服器捕獲異地高性能系統的多通道遠程顯示輸出的流媒體後將其分別壓縮成多條像素流；步驟2、流轉發伺服器收集來自流伺服器的壓縮數據，並同步得將數據每一幀重新打包形成一條新的比特流轉發至大屏幕控制端；步驟3、大屏幕控制端接收到流轉發伺服器比特流數據後將比特流數據以圖像形式顯示在拼接大屏幕顯示系統上，若用戶在大屏幕控制端上輸入了交互指令，則大屏幕控制端通過流轉發伺服器及流轉發伺服器將該交互指令轉發至異地高性能系統，若大屏幕顯示系統的圖像顯示需要調整，則大屏幕控制端發送調整可視像素區域RVP消息回流轉發伺服器，流轉發伺服器接受該消息並處理，同時將處理完成結果反饋給流伺服器進行優化，如此往復，形成交互。
4.如權利要求3所述的一種交互式協同方法，其特徵在於，步驟1中所述流伺服器的捕獲方式為硬體捕獲方式或軟體捕獲方式，當採用硬體捕獲時，捕獲同步信號能夠由硬體觸發；當採用軟體捕獲時使用消息傳遞接口來觸發同步信號。
全文摘要
本發明涉及一種基於拼接大屏幕的交互式協同系統，包括流伺服器，用於捕獲異地高性能系統的多通道顯示輸出，並將捕獲的信號分別壓縮成多條像素流；流轉發伺服器，該伺服器位於流伺服器的後端，用以收集來自各流伺服器的像素流，然後將其通過區域網或專網轉發至客戶端系統；客戶端系統包括一臺大屏幕控制端和一套拼接大屏幕顯示系統，大屏幕控制端接收來自流轉發伺服器的比特流；同時，大屏幕控制端向流轉發伺服器發送調整可視像素區域的消息、反饋信息及交互命令。本發明還提供了一種基於上述系統的交互式協同方法。本發明的優點是即能顯示本地的信息資源同時還能遠程訪問異地高性能系統。
文檔編號H04N7/26GK102377745SQ201010256909
公開日2012年3月14日 申請日期2010年8月19日 優先權日2010年8月19日
發明者劉紅 申請人:上海濟麗信息技術有限公司