一種在視頻流中提供高質量字幕疊加的系統和方法
2023-05-31 07:24:46
專利名稱：一種在視頻流中提供高質量字幕疊加的系統和方法
技術領域：
本發明涉及視頻監控領域的一種圖像或視頻信號處理系統和方法，具體地 說，涉及在視頻監控領域中把字幕、日期、時間等內容疊加到視頻畫面中，且能 持續顯示高質量，高清晰度的字幕疊加內容的一種系統和方法。
背景技術：
目前在視頻監控領域，都需要把時間、日期和場景的一些信息疊加到視頻圖 像中。供監控人員監視，這些信息也需要保存下來，以便以後查閱。在中國專利 200610029649.1,中國專利200610029650.4,中國專利200710194751.1,中 國專利200610001243.2,中國專利01136295.2,都對字幕疊加做了說明，但 是這些都是僅僅說明了如何在視頻圖像上疊加字幕，而對字幕疊加後的效果，是 否清晰，沒有說明。
在視頻圖像上進行字幕疊加的第一種做法就是釆用專用字符疊加晶片設計 而成，這種做法需要在視頻編碼前端增加一個單獨的晶片如圖1所示，模擬視頻 信號輸入，經過AD轉換後變成數位訊號，再由字符疊加晶片來疊加字幕，疊加 字幕後的視頻圖像再經過視頻編碼壓縮後，又由視頻解碼器來把原來的視頻還 原，顯示字母疊加後的視頻圖像。這種做法不僅增加了成本，而且靈活性也很差， 字庫沒有辦法更改。第二種做法如圖2所示，模擬視頻信號輸入，經過AD轉換 後變成數位訊號，把所要疊加的字符從點陣字符中提取後轉換成YUV格式，再把 視頻圖像和轉換的字幕疊加，疊加字幕後的視頻圖像再經過視頻編碼壓縮後，又 由視頻解碼器來把原來的視頻還原，顯示字母疊加後的視頻圖像。第三種做法如 圖3所示，模擬視頻信號輸入，經過AD轉換後變成數位訊號，再經過視頻編碼， 然後解碼視頻，在後端疊加字幕，最後顯示字幕疊加後的視頻圖像。
針對第一、二種做法的主要缺點
1第一種做法不僅增加了成本，而且靈活性也很差，字庫的字體沒有辦法更
改；
42這兩種做法在視頻的解析度發生變化時，當從D1變成CIF，或QCIF,或 從CIF變成QCIF時，這是圖像實際上是做了縮放處理，這時疊加在視頻圖像上 的字幕也會隨著圖像一起縮放，使字幕會變小。
3這兩種做法在視頻的碼流發生變化後，會對在視頻數據中疊加的字幕產生 很大的影響，由於受到編碼算法的影響，字幕會和圖像一樣受到壓縮比率的影響。 當壓縮比率很大時，圖像的損失就會很多，圖像就會變的不是很清楚，疊加在圖 像上的字幕也會受到同樣的影響，特別是在當視頻出現大畫面運動時，在視頻圖 像上就會出現大量的方塊，這樣就會使疊加在視頻上的字幕變得無法辨認。雖然 在解析度為Dl,碼流為1M以上時，或CIF在265K以上時，這種碼率下不會對 視頻上疊加的字幕產生影響。但是當視頻圖像在網絡上傳輸時，常常受到網絡帶 寬的影響碼率都不會很大，這樣上述的問題就會發生。
第三種做法雖然總是能在視頻顯示時顯示很清晰的字幕，但是由於是在視頻 後端疊加的字母，當客戶需要看本地存儲下來的錄像文件時，即使是在網絡帶寬 能夠滿足顯示清晰字幕要求的時候都就看不到疊加在視頻圖像的字幕了。
因此，現有的方案都難以找到滿足同時滿足雙流方式的高清晰字幕產生方法。
發明內容
由於現在的數據傳輸一般在網絡差的時候都釆用的是雙流的方式，即在本地 錄像釆用的是D1的解析度，在網傳時採用的是CIF或QCIF的解析度，這樣保證
了本地存儲和網傳都能有好的效果。
因此，為了解決現有由於在視頻監控的視頻圖像上疊加字幕時，當解析度或 者碼流的改變對疊加的字幕產生的影響，本發明提供了一種適用於圖像或視頻內 容的字幕疊加系統和方法。該系統不僅解決字幕受視頻解析度和碼流的影響問 題，而且也滿足了網絡傳輸和本地存儲的要求。
本發明解決其技術問題所釆用的技術方案是提供一種在視頻流中提供高質 量字幕疊加的系統，其包括圖像和字幕混合模塊、圖像縮放模塊、控制模塊、圖 像壓縮編碼模塊、網絡傳輸模塊、網絡接收模塊、分析視頻頭數據模塊以及視頻 解碼顯示模塊、後端疊加字幕信息模塊。其中控制模塊主要根據視頻參數來選擇所使用的解析度的大小以及所使用的漢字庫的大小；圖像縮放模塊主要根據控制 模塊所設置的解析度來縮放圖像，字庫選擇和轉換模塊主要把所要顯示的漢字從
點陣漢字庫中提取出來，並轉換成YUV格式；圖像字幕混合模塊主要把轉換後的
漢字疊加到所要顯示的圖像中；圖像壓縮編碼模塊主要負責對圖像進行壓縮處 理；網絡傳輸模塊主要把圖像信息和視頻頭信息傳送解碼器；網絡接收模塊(解 碼器)將接收到的數據傳輸給分析視頻頭數據模塊，分析視頻頭數據模塊主要就
是把視頻信息和視頻頭信息進行分離，提取視頻頭信息，並且解析視頻頭信息， 根據信息看是否需要疊加字幕信息，在那個區域疊加，疊加的內容是什麼並把內 容信息轉換成YUV信息；視頻解碼顯示模塊主要把壓縮的視頻信息進行還原處理 轉換成YUV格式，進行顯示；後端疊加字幕信息模塊是將需要後端疊加的字幕信 息輸入到視頻解碼顯示模塊。其連接關係是控制模塊連接圖像縮放模塊、字庫 選擇和轉換模塊，圖像縮放模塊、字庫選擇和轉換模塊之間具有圖像和字幕混合 模塊，圖像和字幕混合模塊依次連接有圖像壓縮編碼模塊、網絡傳輸模塊、分析 視頻頭數據模塊及視頻解碼顯示模塊，在分析視頻頭數據模塊和視頻解碼顯示模 塊之間設置有後端疊加字幕信息模塊。
所述的在視頻流中提供高質量字幕疊加的系統，其還具有本地存儲模塊，本 地存儲模塊用以在本地存儲要播放的視頻數據，其與圖像壓縮編碼模塊連接，如 果不是直接播放，圖像壓縮編碼模塊將視頻數據壓縮後存儲到本地存儲模塊。
所述的在視頻流中提供高質量字幕疊加的系統，其圖像壓縮編碼模塊還連接 有圖像頭數據模塊，圖像頭數據模塊，把視頻的頭信息加到圖像數據的開始，用 以判斷是否需要解碼器(網絡接收模塊)來添加字幕。
一種在視頻流中提供高質量字幕疊加的方法，其包括如下步驟
1、 首先由控制模塊來判斷是否需要疊加字幕；
2、 如果需要，就根據所採用的解析度和碼流信息來判斷是在前端疊加字幕 還是在後端疊加字幕；
3 、如果在前端疊加字幕，根據解析度的大小或用戶信息選擇字庫的類型， 把字庫信息轉換成YUV422或者YUV420格式文件；
4、圖像縮放模塊將圖像進行縮放，圖像和字幕混合模塊把圖像縮放後的圖
6像信號和由字庫選擇和轉換模塊傳送的字幕信號相疊加，得到疊加信號；
5、 圖像壓縮編碼模塊把圖像字幕混合模塊傳送來的疊加信號進行編碼，
6、 編碼後形成的視頻數據選擇是否需要本地存儲或者通過網絡傳輸、或者 兩者同時進行；
7、 把視頻數據傳輸給遠端的解碼器，進行解碼；
8、 視頻數據解碼後，分析視頻頭數據模塊來解碼視頻頭信息，看視頻頭中 的是否需要解碼器在後端疊加字幕，如果需要就把字幕信息從視頻頭中提取出 來，否則不提取；
9、 顯示。
所述的在視頻流中提供高質量字幕疊加的方法，在第2步的疊加字幕前先判 斷圖像的解析度和碼流的大小，並根據所使用的解析度和視頻的碼流來決定採用 多大的點陣字庫和是否需要把字幕信息疊加在視頻數據頭中傳送給解碼器由解 碼器來顯示。
所述的在視頻流中提供高質量字幕疊加的方法，疊加信號進行編碼後，再通 過圖像頭數據模塊，把視頻的頭信息加到編碼後圖像數據的開始。頭信息中包括 是否需要解碼器來疊加字幕的判斷信號，如果需要解碼模塊來疊加字幕，那麼就
還有字幕信息，否則為空。
本發明解決了在解析度改變或者在較低碼流下時，在視頻圖像中疊加的字幕 顯示不清楚地的問題。使字幕的大小不會隨著視頻解析度的改變而改變，也不會 受到碼流的改變而改變，始終在視頻解碼圖像中顯示清晰的OSD字幕。
下面結合附圖和實施方式對本發明進一步說明。
圖i是現有技術方式一的結構框圖； 圖2是現有技術方式二的結構框圖； 圖3是現有技術方式三的結構框圖； 圖4是本發明的字幕疊加系統的方框圖； 圖5是本發明的字幕疊加系統的流程圖。
具體實施例方式
本發明的技術方案包括如下步驟
視圖4所示，本發明包括控制模塊、圖像縮放模塊、字庫選擇和轉換模塊、 圖像字幕混合模塊、圖像壓縮解碼模塊、圖像頭數據模塊、網絡傳輸模塊、網絡 接收模塊、視頻頭數據分析模塊、後端疊加字幕信息模塊、圖像解碼模塊。其中 控制模塊主要根據視頻參數來選擇所使用的解析度的大小以及所使用的漢字庫 的大小；圖像縮放模塊主要根據控制模塊所設置的解析度來縮放圖像，原始的圖 像是720x576 (P制式)，720x480 (N制式)，當解析度為Dl時縮放比率為1: 1， 當解析度為2CIF時縮放比率為1: 2，當解析度為和D1時縮放比率為1: 2,當 解析度為CIF時縮放比率為1: 4，當解析度為QCIF時縮放比率為1: 16;字庫 選擇和轉換模塊主要把所要顯示的漢字從點陣漢字庫中提取出來，並轉換成YUV 格式；圖像字幕混合模塊主要把轉換後的漢字疊加到所要顯示的圖像中；圖像壓 縮模塊主要負責對圖像進行壓縮處理；圖像頭數據模塊主要把是否需要後端疊加 字幕的一些信息，包括是否需要後端疊加字幕的判斷信息和需要疊加的字幕信 息；網絡傳輸模塊主要把圖像信息和視頻頭信息傳送到解碼器端，可以為TCP、 UDP、 RTP等方式傳送；網絡接收模塊主要用來接收從編碼器端傳送過來的視頻 數據；圖像頭數據分析模塊主要就是把視頻信息和視頻頭信息進行分離，提取視 頻頭信息，並且解析視頻頭信息，根據信息看是否需要疊加字幕信息，在那個區 域疊加，疊加的內容是什麼並把內容信息轉換成YUV信息；圖像解碼模塊主要把 壓縮的視頻信息進行還原處理轉換成YUV格式。
1首先圖像信號為YUV422或者YUV"0格式，由控制模塊來控制圖像的分辨 率，也就是縮放參數(如D1、 HD1、 2CIF、 CIF、 QCIF);
2字幕信號傳送給字庫選擇和轉換模塊，由控制模塊來判斷是否需要疊加字
3如果需要，就根據所採用的解析度和碼流信息來判斷是在前端疊加字幕還 是在後端疊加字幕；
4如果在前端疊加字幕，根據解析度的大小需用多大的字庫，根據用戶信息 選擇字庫的類型，把字庫信息轉換成YUV422或者Y群420格式文件；5圖像和字幕混合模塊把圖像縮放後的圖像信號和由字庫選擇和轉換模塊傳
送的字幕信號相疊加；
6圖像壓縮編碼模塊把圖像字幕混合模塊傳送來的圖像信號進行編碼，可以 選擇是否需要本地存儲或者通過網絡傳輸、或者兩者同時進行；
7圖像頭數據模塊，把視頻頭信息加到圖像數據的開始。頭信息中包括是否 需要解碼模塊來疊加字幕的判斷信號，如果需要解碼模塊來疊加字幕，那麼就還 有字幕信息，否則為空；
8網絡傳輸模塊把視頻數據傳輸給遠端的解碼器；
9解碼器通過網絡接收模塊來接收視頻數據；
10通過分析視頻頭數據模塊來解碼視頻頭信息，看視頻頭中的是否需要解 碼器在後端疊加字幕，如果需要就把字幕信息從視頻頭中提取出來，否則不提取；
11視頻解碼顯示模塊來解碼視頻數據，並進行顯示；
12如果需要由後端來疊加字幕就把字幕信息在後端疊加圖像上，並且在顯 示屏幕上顯示，如果不需要後端來疊加字幕就直接把圖像在顯示屏幕上顯示。
圖5所示中的視頻參數信息指的是視頻的解析度、碼流、幀率、字幕信息 以及是否在解碼端疊加字幕等信息。本發明根據這些信息來決定所採用的字庫的 大小，以及是否在解碼後端疊加字幕。本發明現在採用的是當解析度為Dl和2CIF 時採用24X24或者32X32字庫，HD1和CIF採用16X16的字庫，QCIF採用8X8的 字庫，對字庫的字體也可以任意選擇(包括楷書、宋體、黑體)。是否在解碼後 端疊加字幕是由用戶來選擇的， 一般當D1的解析度小於512K時、CIF在解析度 小於128K時，如果有運動圖像出現時就會在解碼顯示端出現馬賽克方塊裝，使 圖像很不清楚，疊加的字幕根本無法看清，這是就需要在解碼後端疊加字幕。
在網絡傳輸中，圖像質量受到網絡帶寬的影響。特別是在網絡採用ADSL或 無線時，網絡帶寬更小，所以在傳輸圖像時，所採用的解析度和碼率都比較小， 同時圖像也不是很清晰。在這樣的運用場合都採用雙流的方式，即在本地存儲採 用D1大小的解析度，在網傳時釆用CIF或QCIF大小的解析度。在這種應用場合 本發明的優勢就更為明顯，在本地存儲的時候，在前端疊加字幕，採用網絡傳輸 時，在後端疊加字幕。
由上面所述的實施過程可以進一步明確本發明所述方法能使字幕疊加信息
9不會受到視頻信號的影響，而始終在解碼端顯示清晰的圖像。本發明可以滿足用 戶對字幕信息的各種需求，包括是否顯示字幕，在視頻數據中疊加字幕(使本地 存儲的信息中也包括字幕信息)，在解碼後端疊加字幕(使本地存儲的信息中不 包括字幕信息)。這樣可以使對字幕的設置更靈活，由於字的大小和字體可以任 意原則使得字幕的顯示更清晰。
權利要求
1、一種在視頻流中提供高質量字幕疊加的系統，其特徵在於該系統包括圖像和字幕混合模塊、圖像縮放模塊、控制模塊、圖像壓縮編碼模塊、網絡傳輸模塊、解碼器分析視頻頭數據模塊以及視頻解碼顯示模塊、後端疊加字幕信息模塊；其中控制模塊主要根據視頻參數來選擇所使用的解析度的大小以及所使用的漢字庫的大小；圖像縮放模塊主要根據控制模塊所設置的解析度來縮放圖像，字庫選擇和轉換模塊主要把所要顯示的漢字從點陣漢字庫中提取出來，並轉換成YUV格式；圖像字幕混合模塊主要把轉換後的漢字疊加到所要顯示的圖像中；圖像壓縮編碼模塊主要負責對圖像進行壓縮處理；網絡傳輸模塊主要把圖像信息和視頻頭信息傳送解碼器；解碼器將接收到的數據傳輸給分析視頻頭數據模塊，分析視頻頭數據模塊主要就是把視頻信息和視頻頭信息進行分離，提取視頻頭信息，並且解析視頻頭信息，根據信息看是否需要疊加字幕信息，在那個區域疊加，疊加的內容是什麼並把內容信息轉換成YUV信息；視頻解碼顯示模塊主要把壓縮的視頻信息進行還原處理轉換成YUV格式，進行顯示；後端疊加字幕信息模塊是將需要後端疊加的字幕信息輸入到視頻解碼顯示模塊；連接關係是控制模塊連接圖像縮放模塊、字庫選擇和轉換模塊，圖像縮放模塊、字庫選擇和轉換模塊之間具有圖像和字幕混合模塊，圖像和字幕混合模塊依次連接有圖像壓縮編碼模塊、網絡傳輸模塊、分析視頻頭數據模塊及視頻解碼顯示模塊，在分析視頻頭數據模塊和視頻解碼顯示模塊之間設置有後端疊加字幕信息模塊。
2、 如權利要求1所述的在視頻流中提供高質量字幕疊加的系統，其特徵在 於該系統還具有本地存儲模塊，本地存儲模塊用以在本地存儲要播放的視頻數 據，其與圖像壓縮編碼模塊連接，如果不是直接播放，圖像壓縮編碼模塊將視頻 數據壓縮後存儲到本地存儲模塊。
3、 如權利要求1所述的在視頻流中提供高質量字幕疊加的系統，其特徵在 於圖像壓縮編碼模塊還連接有圖像頭數據模塊，圖像頭數據模塊，把視頻的頭信 息加到圖像數據的開始，用以判斷是否需要解碼器來添加字幕。
4、 一種在視頻流中提供高質量字幕疊加的方法，其包括如下步驟1) 、首先由控制模塊來判斷是否需要疊加字幕；2) 、如果需要，就根據所採用的解析度和碼流信息來判斷是在前端疊加字幕還是在後端疊加字幕；3) 、如果在前端疊加字幕，根據解析度的大小或用戶信息選擇字庫的類型，把字庫信息轉換成YUV422或者YUV420格式文件；4) 、圖像縮放模塊將圖像進行縮放，圖像和字幕混合模塊把圖像縮放後的圖 像信號和由字庫選擇和轉換模塊傳送的字幕信號相疊加，得到疊加信號；5) 、圖像壓縮編碼模塊把圖像字幕混合模塊傳送來的疊加信號進行編碼，6) 、編碼後形成的視頻數據選擇是否需要本地存儲或者通過網絡傳輸、或者 兩者同時進行；7) 、把視頻數據傳輸給遠端的解碼器，進行解碼；8) 、視頻數據解碼後，分析視頻頭數據模塊來解碼視頻頭信息，看視頻頭中 的是否需要解碼器在後端疊加字幕，如果需要就把字幕信息從視頻頭中提取出 來，否則不提取；9) 、顯示。
5、 如權利要求4所述的在視頻流中提供高質量字幕疊加的方法，其特徵在 於在第2)步的疊加字幕前先判斷圖像的解析度和碼流的大小，並根據所使用的 解析度和視頻的碼流來決定採用多大的點陣字庫和是否需要把字幕信息疊加在視頻數據頭中傳送給解碼器由解碼器來顯示。
6、 如權利要求4所述的在視頻流中提供高質量字幕疊加的方法，疊加信號 進行編碼後，再通過圖像頭數據模塊，把視頻的頭信息加到編碼後圖像數據的開 始。頭信息中包括是否需要解碼器來疊加字幕的判斷信號，如果需要解碼模塊來 疊加字幕，那麼就還有字幕信息，否則為空。
全文摘要
本發明是一種在視頻流中提供高質量字幕疊加的系統和方法，該系統包括圖像和字幕混合模塊、圖像縮放模塊、控制模塊、圖像壓縮編碼模塊、網絡傳輸模塊、解碼器分析視頻頭數據模塊以及視頻解碼顯示模塊、後端疊加字幕信息模塊。在進行視頻數據疊加前，首先由控制模塊來判斷是否需要疊加字幕；如果需要，就根據所採用的解析度和碼流信息來判斷是在前端疊加字幕還是在後端疊加字幕；再針對性地從前端或後端進行字幕的疊加。本發明解決了在解析度改變或者在較低碼流下時，在視頻圖像中疊加的字幕顯示不清楚的問題。使字幕的大小不會隨著視頻解析度的改變而改變，也不會受到碼流的改變而改變，始終在視頻解碼圖像中顯示清晰的OSD字幕。
文檔編號H04N7/08GK101478661SQ20081021752
公開日2009年7月8日 申請日期2008年11月4日 優先權日2008年11月4日
發明者吳貽剛, 周銳鵬, 唐李卉, 張雪林, 敏 易, 翟衛東 申請人:深圳中興力維技術有限公司