網絡3d視頻監控系統、方法和視頻處理平臺的製作方法
2023-10-08 10:42:29 2
專利名稱：網絡3d 視頻監控系統、方法和視頻處理平臺的製作方法
技術領域：
本發明涉及網絡3D視頻監控技術，尤其是指將網絡視頻傳輸技術、立體獲取與顯示技術用於視頻監控領域，其應用目標是視頻監控、展覽和實況轉播等應用領域。
背景技術：
立體電視將是繼高畫質電視之後的下一個市場趨勢，許多大公司、研究機構以及國際標準化組織都開始著手3D視頻技術的研究工作。目前，基於雙目的立體顯示技術已非常成熟，其在立體電影和遊戲等領域已獲得巨大成功，但是，在視頻監控領域還未實現實時網絡3D視頻監控。
發明內容
鑑於以上，本發明提出網絡3D視頻監控系統、方法和視頻處理平臺。本發明提出網絡3D視頻監控系統，其特徵在於，包括雙目立體攝像機，在同步控制模塊的控制下採集兩路立體場景的視頻信號，並將兩路立體視頻信號傳輸給視頻處理平臺；同步控制模塊，用於控制雙目立體攝像機中的兩路立體視頻同步；視頻處理平臺，向同步控制模塊發送控制指令，從雙目立體攝像機接收兩路立體視頻信號，將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並接入視頻監控平臺；視頻監控平臺，從視頻處理平臺接收PAL視頻信號。本發明還提出網絡3D視頻監控方法，其特徵在於，包括雙目立體攝像機在同步信號的控制下採集兩路立體場景的視頻信號，並將兩路立體視頻信號傳輸給視頻處理平臺；視頻處理平臺將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並傳送給視頻監控平臺。 本發明還提出視頻處理平臺，包括視頻輸入接口，從雙目立體攝像機接收兩路立體視頻信號；處理器，向同步控制模塊發送控制指令，以使所述視頻輸入接口接收到同步的兩路立體視頻信號；編碼協議模塊，將從所述視頻輸入接口接收的兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並接入視頻監控平臺。本發明將立體視頻獲取、顯示技術與網絡視頻傳輸技術相結合，實現網絡3D視頻監控。
此處所說明的附圖用來提供對本發明的進一步理解，構成本發明的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定。在附圖中圖1為本發明實施例中網絡3D視頻監控系統結構示意圖。圖2為本發明系統中的視頻處理平臺。圖3為本發明系統中的3D顯示平臺。圖4為本發明顯示視差與成像深度的關係示意圖。
圖5為本發明網絡3D視頻監控方法流程示意圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，並參照附圖，對本發明進一步詳細說明。本發明的網絡3D視頻監控系統，希望遠程服務端可通過公共網絡接口接收某一觀察點的立體視頻信號，並在PC 3D顯示平臺上顯示3D視頻。我們可通過現有視頻監控平臺實現立體視頻的遠程傳輸。但現有視頻監控平臺是用於交換單路的視頻監控系統，為實現立體視頻無縫接入視頻監控平臺，直接利用現有視頻監控平臺和接入設備，本發明提出了網絡3D視頻監控系統。下面將結合附圖進行說明。圖1為本發明實施例中網絡3D視頻監控系統結構示意圖，該系統包括雙目立體攝像機11、同步控制模塊12、視頻處理平臺13以及視頻監控平臺14，還可以進一步包括3D顯示平臺15。下面將對各個部分進行詳細說明。雙目立體攝像機11為標清PAL制(Phase Alternating Line,逐行倒相)攝像機或高清的千兆網攝像機，兼容標清和高清視頻模式，可採用雙機立體支架的拍攝方式，在同步控制模塊12的控制下採集兩路立體場景的視頻信號，並將兩路立體視頻信號傳輸給視頻處理平臺13。3D視頻的內容來自於立體或多視角視頻，以及有著深度信息的單視角或多視角視頻，其中深度信息可以從深度攝像機採集或從單視角或多視角視頻中估計而得。就目前而言，具有深度信息的單視角或多視角視頻應用在一些環境條件下，已具備了基本應用條件，如室內小範圍的應用。3D立體效果的原理在於同時呈現左右眼不同視角的畫面，當前立體視頻的典型應用模式是利用兩路有視差的普通平面視頻形成立體視頻，立體電視機等顯示產品將上述兩路視頻信號分別送入觀眾的左眼和右眼，人腦根據兩個視頻之間的視差產生立體感。本發明用於視頻監控，採用雙目立體視頻技術比較合適，其立體顯示技術也較為成熟。在實施例中，用雙機立體攝像機替代原有的監控攝像機。同步控制模塊12用於控制雙目立體攝像機11中的兩路立體視頻同步、進行視頻
處理等。視頻同步和視頻處理可以包括攝像機的視頻信號同步、通過外同步信號同步採集兩路立體視頻信號、發送數據的同步和數據封裝。通過外同步信號直接控制兩路攝像機的視頻的場、行同步，使之具有完全相同的場、行同步信號，以及相同的曝光時刻，實現同步採集兩路立體視頻信號。外同步信號採用複合的場、行同步信號或同步觸發脈衝或通過網絡的軟觸發，系統可採用以上的觸發類型
之一 O這種方案可直接利用現有視頻監控平臺和接入設備，即無需對現有視頻監控平臺架構及硬體設備做改動即可實現3D視頻監控，只需要升級視頻監控平臺的軟體版本使其能夠進來3D視頻流即可。 視頻處理平臺13向同步控制模塊12發送控制指令，從雙目立體攝像機11接收兩路立體視頻信號，將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並無縫接入視頻監控平臺14。每個觀察點可以採用嵌入式視頻處理平臺，嵌入式視頻處理平臺的結構將結合圖2進行說明。兩路立體視頻信號合成主要考慮的問題是拼接後圖像具有較好的空間相關性，這樣可以利用現有的編碼技術和現有的視頻監控平臺14，獲得較好的編碼效率；以及與現有的2D視頻兼容，可以方便地將3D視頻轉化為2D視頻，兼容現有的平臺。經過實際試驗，可採用以下具體方案對於標清模式，由於PAL是隔行掃描的，奇、偶場在時間上相差20ms,當合成一中貞圖像時會產生運動模糊，不適合於立體顯示。本發明將奇、偶場的上半幅放入左圖視頻中奇場圖，將奇、偶場的下半幅放入右圖視頻中奇場圖，將兩路立體視頻嵌入PAL視頻中。在顯示時，通過內插處理(是現有技術)恢復垂直方向的尺寸，這樣使得合成的PAL視頻具有很好的空間相關性，可以利用現有的編碼器，獲得較好的編碼效率。對於標清模式，這種方案保留了一個場的完整視頻，實際上並沒有降低圖像的垂直解析度，又完全地保留了圖像的水平解析度。由於在雙目立體視頻中，立體感是由左右兩幅圖像的視差確定的，該方案完整地保留了原始的視差信息。對於720p聞清,先將左右兩路聞清視頻拼接成一路2D聞清視頻(兩路視頻各降低一半解析度，可以是左右拼接、上下拼接或場拼接等，兼容2D視頻)，再按照正常的2D視頻進行編碼，其碼率相當於一路視頻，這樣的3D視頻碼率相當於一路高清視頻碼率(相當於兩路Dl碼率)，可以直接利用現有的編碼技術。視頻監控平臺14，可直接利用現有視頻監控平臺接口，從視頻處理平臺13接收PAL視頻信號。在本發明實施例中，視頻監控平臺14可以是中國電信全球眼視頻監控平臺。3D顯示平臺15在監控中心或客戶端，從視頻監控平臺14接收PAL視頻信號並進行顯示。`目前要實現3D顯示，最方便的方法就是直接用PC來實現，NVIDIA 3D Vision就是一種成熟的解決方案。市場上的NVIDIA 3DVision主要是針對遊戲軟體的，不能直接應用到本發明。遊戲的3D顯示相對比較簡單，因為遊戲的繪製本身就是基於3D模型的，可以很方便地在全屏模式下自動生成左、右視圖，並立體顯示，且調整顯示視差非常方便。本發明需要開發相應的立體顯示應用程式。通過立體渲染技術，PC 3D顯示平臺可通過相關參數控制物體是成像在顯示屏後還是顯示屏前，以及場景的深度。具體控制過程可通過現有技術實現。圖4是本發明實施例中立體顯示的觀察模型。雙目可以等效於基線距離為65mm、焦距為f的雙目攝像機，兩眼距離為B，顯示屏幕與雙目的距離為d。設雙目看到的某像點為P(Xp，Yp, Zp)，其在顯示屏幕上左右圖像的投影坐標分別為( , yL)、(xE,Yr)。本發明中立體視頻將採用JPS格式，從視頻監控平臺14讀入立體視頻數據，並用3D顯示，以及解決顯示視差的調整問題，用於提供理想的立體顯示效果。還必須兼容2D顯示，對2D平臺，可自動獲取左圖或右圖，兼容2D顯示。3D顯示平臺中顯卡與顯示器只要能夠支持3D播放即可，比如3D電視機。如圖3所示為本發明一個實施例，為3D顯卡和顯示器，保證有IG內存，對原有PC平臺基本上不需要做升級。圖2為本發明系統中的視頻處理平臺的結構示意圖。該視頻處理平臺包括視頻輸入接口、處理器以及編碼協議模塊。視頻輸入接口，從雙目立體攝像機11接收兩路立體視頻信號。處理器，向同步控制模塊12發送控制指令。編碼協議模塊，按與2D視頻兼容的模式，將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並無縫接入視頻監控平臺14。圖5為本發明網絡3D視頻監控方法流程，本發明在圖1所示的系統結構基礎上，開發系統應用軟體，包括立體視頻的獲取、顯示、存貯等系統操作和管理，實現3D視頻監控。該方法包括以下步驟 在步驟501、雙目立體攝像機在同步信號的控制下採集兩路立體場景的視頻信號，並將兩路立體視頻信號傳輸給視頻處理平臺。在步驟502、視頻處理平臺將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並傳送給視頻監控平臺。通過步驟501 步驟502，實現了網絡3D視頻監控。在步驟502，傳送給視頻監控平臺，即將PAL視頻信號傳送給視頻監控平臺之後，如圖5所示，還可以包括以下步驟在步驟503、視頻監控平臺將PAL視頻信號傳送給3D顯示平臺，在3D顯示平臺進行顯示。3D顯示平臺的3D顯卡以及顯示器可以支持2D的，顯卡能夠自動分辨播放的是3D視頻流還是2D視頻流，當傳輸進來的是3D視頻流後自動調用3D播放功能，在顯示器上顯目前不戴3D眼鏡時，顯示器上顯示的是帶有重影的視頻，不過可以進行自動識另IJ。當用戶選擇2D播放的時候，自動選取3D視頻流中的左路或右路視頻進行播放，這樣用戶看到的就是清晰的2D視頻，只不過視頻流的解析度較普通的2D視頻降低一半，這是前端採集時人為降低的，也是為了降低3D視頻流的碼率而作的處理。作為對詳細描述的結論，應該注意本領域的技術人員將會很清楚可對優選實施例做出許多變化和修改，而實質上不脫離本發明的原理。這種變化和修改包含在所附權利要求書所述的本發明的範圍之內。
權利要求
1.網絡3D視頻監控系統，其特徵在於，包括雙目立體攝像機，在同步控制模塊的控制下採集兩路立體場景的視頻信號，並將兩路立體視頻信號傳輸給視頻處理平臺；同步控制模塊，用於控制雙目立體攝像機中的兩路立體視頻同步；視頻處理平臺，向同步控制模塊發送控制指令，從雙目立體攝像機接收兩路立體視頻信號，將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並接入視頻監控平臺；視頻監控平臺，從視頻處理平臺接收PAL視頻信號。
2.根據權利要求1所述網絡3D視頻監控系統，其特徵在於，視頻處理平臺包括視頻輸入接口，從雙目立體攝像機接收兩路立體視頻信號；處理器，向同步控制模塊發送控制指令；編碼協議模塊，將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並接入視頻監控平臺。
3.根據權利要求1或2所述網絡3D視頻監控系統，其特徵在於，視頻處理平臺按與2D視頻兼容的模式將兩路視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，併兼容標清和高清兩種視頻模式。
4.根據權利要求3所述網絡3D視頻監控系統，其特徵在於對於標清模式，將左圖視頻中奇場圖放入奇、偶場的上半幅，將右圖視頻中奇場圖放入奇、偶場的下半幅，將兩路立體視頻嵌入PAL視頻中。
5.根據權利要求3所述網絡3D視頻監控系統，其特徵在於對於720p高清，各降低一半解析度將左右兩路高清視頻拼接成一路高清視頻。
6.根據權利要求5所述網絡3D視頻監控系統，其特徵在於兩路高清視頻進行左右拼接、上下拼接或場拼接。
7.根據權利要求1或2所述網絡3D視頻監控系統，其特徵在於，還包括3D顯示平臺，從視頻監控平臺接收PAL視頻信號並進行顯示。
8.根據權利要求7所述網絡3D視頻監控系統，其特徵在於3D顯示平臺的3D顯卡自動分辨播放的是3D視頻流還是2D視頻流，當傳輸進來的是3D視頻流後自動調用3D播放功能，在顯示器上顯示；當用戶選擇2D播放的時候，自動選取3D視頻流中的左路或右路視頻進彳丁顯不。
9.根據權利要求1或2所述網絡3D視頻監控系統，其特徵在於雙目立體攝像機為標清PAL制攝像機或高清的千兆網攝像機。
10.網絡3D視頻監控方法，其特徵在於，包括雙目立體攝像機在同步信號的控制下採集兩路立體場景的視頻信號，並將兩路立體視頻信號傳輸給視頻處理平臺；視頻處理平臺將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並傳送給視頻監控平臺。
11.根據權利要求10所述網絡3D視頻監控方法，視頻處理平臺將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，其特徵在於按與2D視頻兼容的模式合成，兼容標清和高清兩種視頻模式。
12.根據權利要求11所述網絡3D視頻監控方法，其特徵在於 對於標清模式，將左圖視頻中奇場圖放入奇、偶場的上半幅，右圖視頻中奇場圖放入奇、偶場的下半幅，將兩路立體視頻嵌入PAL視頻中。
13.根據權利要求11所述網絡3D視頻監控方法，其特徵在於 對於720p高清，各降低一半解析度將左右兩路高清視頻拼接成一路高清視頻。
14.根據權利要求13所述網絡3D視頻監控方法，其特徵在於 兩路立體視頻左右拼接、上下拼接或場拼接。
15.根據權利要求10所述網絡3D視頻監控方法，其特徵在於，傳送給視頻監控平臺之後,還包括 視頻監控平臺將PAL視頻信號傳送給3D顯示平臺，在3D顯示平臺進行顯示。
16.根據權利要求15所述網絡3D視頻監控方法，在3D顯示平臺進行顯示，其特徵在於 3D顯示平臺的3D顯卡自動分辨播放的是3D視頻流還是2D視頻流，當傳輸進來的是3D視頻流後自動調用3D播放功能，進行顯示； 當用戶選擇2D播放的時候，自動選取3D視頻流中的左路或右路視頻進行顯示。
17.視頻處理平臺，包括 視頻輸入接口，從雙目立體攝像機接收兩路立體視頻信號； 處理器，向同步控制模塊發送控制指令，以使所述視頻輸入接口接收到同步的兩路立體視頻信號； 編碼協議模塊，將從所述視頻輸入接口接收的兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並接入視頻監控平臺。
全文摘要
本發明提出網絡3D視頻監控系統、方法和視頻處理平臺。雙目立體攝像機在同步信號的控制下採集兩路立體場景的視頻信號，並將兩路視頻信號傳輸給視頻處理平臺；視頻處理平臺將兩路立體視頻信號合成為兼容立體視頻JPS格式的PAL視頻信號，並傳送給視頻監控平臺；視頻監控平臺將PAL視頻信號傳送給3D顯示平臺，在3D顯示平臺顯示視頻。本發明實現了網絡3D視頻監控。
文檔編號H04N7/18GK103051866SQ20111030704
公開日2013年4月17日 申請日期2011年10月12日 優先權日2011年10月12日
發明者李安民, 馮明, 梁篤國, 曹寧, 趙婧 申請人:中國電信股份有限公司