數字視頻信號低延時編解碼裝置的製作方法
2023-10-24 23:26:52 1
專利名稱：數字視頻信號低延時編解碼裝置的製作方法
技術領域：
本發明涉及數字視頻信號編解碼領域，具體來說是指一種以低延時方式採集並編碼數字視頻信號和解碼並顯示數字視頻信號的裝置。
背景技術：
隨著數位技術的發展，傳統的基於模擬的視頻信號處理方法正逐漸被基於數字的視頻信號處理方法所取代。在視頻監控技術領域這種情況更加明顯。相對於模擬視頻監控技術，數字視頻監控具有傳輸帶寬低、易於存儲和管理、便於加密與內容保護和實施成本低等諸多優點。但是，在視頻信號的數位化過程中也引入了一些缺陷，其中一個重要的缺陷是端到端延時的增加。在模擬視頻監控技術中，視頻信號從採集、發送、傳輸、接收和顯示都是以模擬信號的方式進行，整個處理環節引入的延時非常小，一般在10毫秒以下，在短距離傳輸下，甚至可以達到接近0毫秒的無延時狀態；但是在數字視頻監控技術中，從採集、編碼、發送、傳輸、接收、解碼和顯示都是以數位訊號的方式進行處理的，而數位化處理引入的延時要大於模擬化處理引入的延時。由於受編碼器裝置和解碼器裝置操作時間的限制，一個標準清晰度解析度的數字編碼/解碼裝置系統，其總體延時一般要大於150毫秒。延時的增大會帶來諸如實時監控響應速度、用戶雲臺調整手感等問題，進而影響用戶對數字視頻監控系統的認可。因此，減少數位化過程中額外引入的延時，正成為本技術領域工程人員非常關注的一個技術問題，本發明也將對系統中各個裝置工作原理及其延時情況進行詳細介紹。
數字視頻監控系統的一個關鍵部分就是對數字視頻信號的編碼壓縮和解碼解壓縮處理。採集得到的數字視頻信號要使用國際視頻編碼標準H.26X或者MPEG-X系列編碼方法進行編碼，編碼後的數據再通過網絡進行傳輸，接收端再對接收到的編碼數據進行解碼並顯示。實現編解碼算法的裝置，一般可以分為五種。具體包括通用處理器、嵌入式處理器、ASIC(Application Specific Integrated Circuit)晶片、FPGA(Field ProgrammableGate Array)和DSP(Digital Signal Processor)晶片。無論是那種裝置來實現編解碼算法，由於受限於目前集成電路技術水平，編解碼裝置的操作時間一般要在10毫秒這個數量級。數字視頻監控系統中的另外兩部分，採集器和顯示器，都是行業內公知的標準化配件，其延時也都在10毫秒這個數量級。而網絡收發器及其數據在網絡設備上傳輸的延時則受載波物理形式和網絡協議等因素影響。下面再對數字視頻監控系統的整個運行過程作進一步介紹。
採用傳統編解碼裝置的視頻監控系統其結構一般如圖1所示，依次由攝像器件110、採集器120、編碼器130、網絡發送器140、網絡設備150、網絡接收器160、解碼器170、顯示器180和顯示屏幕190構成，其完整的操作過程為攝像器件110輸出連續的視頻畫面，採集器120採集攝像器件110輸出的視頻畫面，並且存放在採集器120內部的物理存儲介質中，採集器120採集的視頻畫面是由大量的視頻像素點陣組成的。視頻像素點陣的採集或者顯示順序如圖2所示。圖2中的黑色圓點表示視頻像素，箭頭表示視頻像素點陣採集或者顯示的時間順序。編碼器130編碼採集器120採集得到的視頻畫面，並且把編碼後得到的編碼數據轉發給網絡發送器140，網絡發送器140再把編碼數據通過載波信號的方式發送給網絡設備150，在接收到網絡設備150發送過來的載波信號並轉換成已編碼數據後，網絡接收器160把已編碼數據發送給解碼器170，解碼器170解碼出視頻畫面並傳送給顯示器180，顯示器180最後把視頻畫面顯示到顯示屏幕190上。
以上運行方式可以由下面5個主要操作過程表示1)首先採集器採集一幅視頻畫面，採集完畢後，發送信號通知編碼器；2)編碼器接收到信號後，編碼壓縮這幅視頻畫面，得到編碼數據，編碼器再把編碼數據發送給網絡發送器；3)網絡發送器把編碼數據發送到網絡上，在接收端，網絡接收器接收到編碼數據，並把它轉發給解碼器；4)解碼器解碼已編碼數據，恢復出先前被壓縮的視頻畫面；5)視頻畫面被送給顯示器顯示到屏幕上。
在上述的操作過程中，若定義採集器開始採集視頻畫面的時刻為tb，定義解碼後的視頻畫面被顯示到屏幕上的時刻為te，則進一步定義此數字視頻編解碼裝置的總延時為td＝tb-te。數字視頻編解碼裝置的操作可以分為上述5個環節，每個操作環節都需要操作時間，所有的操作時間之和就為td，即td又可以表示成t1+t2+t3+t4+t5。在數字視頻編解碼裝置的這種公開的傳統運行方式中，總延時為上述5個主要環節的操作時間之和。本技術領域的技術人員都知道，操作環節1)和操作環節2)的操作時間t1、t2是相當的或者是在一個數據級的；操作環節4)和操作環節5)的操作時間t4、t5是相當的或者是在一個數據級的；操作時間t3取決於網絡狀態，在視頻監控系統一般使用的乙太網或者專網中，操作時間t3的數量級和其他操作環節相當。
發明內容
本發明提供了一種數字視頻信號低延時編解碼裝置。
一種數字視頻信號低延時編解碼裝置，包括用於採集視頻畫面並對採集到視頻畫面進行編碼的採集/編碼器；用於對編碼數據進行解碼並對解碼後的視頻畫面進行顯示的解碼/顯示器；採集/編碼器和解碼/顯示器通過網絡發送器、網絡設備、網絡接收器傳輸數據。
採用上述裝置對數字視頻信號進行編解碼的過程，包括以下步驟1)首先將要編碼的視頻畫面分為若干組視頻片段，每組片段由N行視頻像素點陣組成，採集/編碼器採集完畢預先指定的第一組視頻片段後開始進行編碼壓縮，編碼完畢上一組視頻畫面後，再判斷下一組視頻畫面是否採集完畢，若採集完畢，則繼續編碼下一組視頻片段，否則一直等待，直到可以編碼，至所有視頻片段編碼壓縮完成後，採集/編碼器將編碼數據發送給網絡發送器；2)解碼/顯示器接收到網絡接收器轉發過來的編碼數據後，進行解碼，並且將解碼出來的視頻畫面分為若干組視頻片段，每組片段由N行視頻像素點陣組成，解碼/顯示器解碼完畢預先指定的若干組視頻片段後就開始進行顯示。
其中N為16。
較傳統數字視頻信號編解碼裝置，本發明裝置的編碼裝置不是在採集器採集完畢一幅視頻畫面後再開始對視頻畫面進行編碼的，而是把視頻畫面分為L組，每組N行視頻像素點陣，在採集器採集完畢預先指定的第一組N行視頻像素點陣後就開始編碼壓縮的。在編碼完畢上一組N行視頻像素點陣後，再判斷下一組N行視頻像素點陣是否採集完畢，如果採集完畢，則繼續編碼下一組視頻像素點陣，否則一直等待，直到可以編碼。通過上述的操作方法，可以將傳統編碼裝置中的操作步驟1)和2)進行合併。若採集器採集N行視頻像素點陣的時間用t1N表示，編碼器編碼N行視頻像素點陣的時間用t2N表示。如果t1N＞t2N時，採集和編碼的總時間為t1+t2N，由於t2N遠小於t1，因此上述操作的總時間可以近似表示為t1；如果t1N＜t2N時，採集和編碼的總時間為t1N+t2，由於t1N遠小於t2，因此上述操作總時間可以近似表示為t2。綜合上面的表述，合併後的採集/編碼器操作的總時間可以表示為max(t1，t2)。
本發明裝置的解碼裝置也不是在解碼器解碼完畢一幅視頻畫面後再開始對視頻畫面進行顯示的，而是把視頻畫面分為L組，每組N行視頻像素點陣，在解碼器解碼完畢預先指定的m組N行視頻像素點陣後就開始顯示的。上述中m的取值範圍為大於等於1，但遠小於L。m的取值受解碼器解碼的操作時間和顯示器顯示的操作時間這兩個因素決定。必須合理設置m的值。如果m設置的過小，會出現顯示器要顯示下一組N行視頻像素點陣時，解碼器還沒有解碼完畢這一組N行視頻像素點陣的情況。本發明所涉及的解碼器裝置能保證解碼N行視頻像素點陣的時間小於顯示器裝置顯示N行視頻像素點陣的時間，所以設置m為1。本領域的技術人員知道，可以根據解碼器和顯示器兩個裝置的操作時間的大小比例關係，設置出一個合理的m值，使得顯示和解碼能正常地配合工作。通過上述的操作方法，可以把傳統解碼裝置中的操作步驟4)和5)進行合併。解碼器解碼N行視頻像素點陣的時間用t4N表示，而顯示器顯示N行視頻像素點陣的時間用t5N表示，並且t4N＜t5N。因為t4N＜t5N，解碼器解碼和顯示畫面的總時間表示為t5+t4N，由於t4N遠小於t5，因此上述操作的總時間可以近似表示為t5。
由於網絡收發器部分未作改動，其操作時間仍為t3。
綜上所述，本發明裝置編解碼的延時將減少為max(t1，t2)+t5，採用本發明裝置的視頻監控系統的總延時將減少為max(t1，t2)+t3+t5。
區別於傳統編解碼裝置以一幅完整的視頻畫面為操作單位進行編解碼，本發明裝置是以一幅視頻畫面中的N行視頻像素點陣作為操作單位進行編解碼的，實現採集和編碼同步，解碼和顯示同步，從而降低了數字視頻信號編解碼的延時。
圖1為採用傳統編解碼裝置的視頻監控系統結構示意圖；圖2為視頻畫面的像素點陣構成圖；圖3為採用本發明裝置的視頻監控系統結構示意圖；圖4為本發明編碼裝置的工作流程圖；圖5為本發明解碼裝置的工作流程圖；圖6為傳統編碼裝置的操作示意圖；圖7為本發明編碼裝置的操作示意圖；圖8為傳統解碼裝置的操作示意圖；圖9為本發明解碼裝置的操作示意圖。
具體實施例方式
圖3所示為一種採用本發明編解碼裝置的視頻監控系統，包括攝像器件310、用於採集視頻畫面並對採集到視頻畫面進行編碼的採集/編碼器320、網絡發送器330、網絡設備340、網絡接收器350、用於對編碼數據進行解碼並對解碼後的視頻畫面進行顯示的解碼/顯示器360和顯示屏幕370。本發明編解碼裝置將傳統數字視頻信號編解碼裝置的視頻採集器和編碼器在操作上合二為一成為採集/編碼器，將傳統數字視頻信號編解碼裝置的解碼器和顯示器在操作上合二為一成為解碼/顯示器。
圖4給出了本發明採集/編碼器的詳細操作流程圖。
如圖所示，首先將要編碼的視頻畫面分為L組視頻片段，每組片段由N行視頻像素點陣組成，採集/編碼器採集視頻畫面，當採集完畢預先指定的第一組視頻片段後開始進行編碼壓縮，而且，在編碼這一組N行視頻像素的同時，採集/編碼器還在後臺繼續採集剩餘的視頻像素點陣；編碼完畢上一組視頻片段後，再判斷下一組視頻片段是否採集完畢，若採集完畢，則繼續編碼下一組視頻片段，否則一直等待，直到可以編碼，至所有視頻片段編碼壓縮完成後，採集/編碼器將編碼數據發送給網絡發送器；採集/編碼器的操作時間由傳統採集器和編碼器獨立工作時需要的t1+t2減少到採集/編碼器並行工作時需要的max(t1，t2)。
圖5給出了本發明解碼/顯示器的詳細操作流程圖。
如圖所示，解碼/顯示器接收到編碼數據後，進行解碼。解碼/顯示器解碼完畢預先指定的m組視頻片段後，就開始進行顯示第一組N行視頻像素點陣，在啟動顯示後，解碼/顯示器繼續解碼剩餘的視頻像素點陣。在顯示完畢N行視頻像素點陣後，判斷是否還存在下一組視頻像素點陣需要顯示，如果沒有了，說明本幅視頻畫面已經顯示完畢，操作結束，否則的話，顯示器繼續顯示下一組視頻像素點陣。
由於本發明裝置解碼/顯示器能保證解碼N行視頻像素點陣的時間要小於顯示器顯示N行視頻像素的時間，所以系統參數m設置為1，並且顯示器要顯示下一組視頻像素點陣時，解碼器都已經解碼完畢這一組視頻像素點陣。
解碼/顯示器的操作時間由傳統解碼器和顯示器獨立工作時需要的t4+t5減少到解碼/顯示器並行工作時需要的t5。
在本發明編解碼裝置中，一個重要的系統參數需要被決定，它即為N行視頻像素中的N這個參數。本領域的技術人員知道，編解碼器內部的操作方法要遵守國際編碼標準H.26X或者MPEG-X。在這些編碼標準中都規定最小的編解碼處理單位為宏塊(MACROBLOCK)，宏塊由16×16的視頻像素點陣組成。所以在本發明編解碼裝置中，系統參數N設置為16。
通過圖6至圖8以及下面的文字進一步說明本發明所述編解碼裝置相對於傳統編解碼裝置在操作方式上的差別。
圖6所示為傳統編碼裝置對視頻畫面的操作方式。它是以一幅視頻畫面為操作單位在採集完畢一幅視頻畫面後，採集器通知編碼器開始編碼這幅視頻畫面，在編碼的同時，採集器繼續採集下一幅視頻畫面。圖7所示為本發明所述編碼裝置對視頻畫面的操作方式。它是以一段N行視頻像素點陣為操作單位在採集完畢一段N行視頻像素點陣後，編碼器就開始編碼這段視頻像素點陣，在編碼的同時，採集器繼續採集視頻畫面的剩餘視頻像素點陣。通過對比圖6和圖7的不同操作方式可以知道，本發明是通過把傳統採集器、編碼器以視頻畫面為操作單位的幀間串行處理方式，改進成採集/編碼器以一段N行視頻像素點陣為操作單位的幀內並行處理方式，從而減少了採集、編碼的處理延時。
圖8所示為傳統解碼裝置對視頻畫面的操作方式。它是以一幅視頻畫面為操作單位在解碼完畢一幅視頻畫面後，解碼器通知顯示器開始顯示這幅視頻畫面，在顯示的同時，解碼器繼續解碼下一幅視頻畫面。圖9所示為本發明所述解碼裝置對視頻畫面的操作方式。它是以一段N行視頻像素點陣為操作單位在解碼完畢一段N行視頻像素點陣後，顯示器就開始顯示這段視頻像素點陣，在顯示的同時，解碼器繼續解碼視頻畫面的剩餘視頻像素點陣。通過對比圖8和圖9的不同操作方式可以知道，本發明是通過把傳統解碼器、顯示器以視頻畫面為操作單位的幀間串行處理方式，改進成解碼/顯示器以一段N行視頻像素點陣為操作單位的幀內並行處理方式，從而減少了解碼、顯示的處理延時。
權利要求
1.一種數字視頻信號低延時編解碼裝置，包括用於採集視頻畫面並對採集到視頻畫面進行編碼的採集/編碼器(320)；用於對編碼數據進行解碼並對解碼後的視頻畫面進行顯示的解碼/顯示器(360)；採集/編碼器(320)和解碼/顯示器(360)通過網絡發送器(330)、網絡設備(340)、網絡接收器(350)傳輸數據。
2.如權利要求1所述的裝置，其特徵在於對數字視頻信號進行編解碼的過程包括以下步驟1)首先將要編碼的視頻畫面分為若干組視頻片段，每組片段由N行視頻像素點陣組成，採集/編碼器採集完畢預先指定的第一組視頻片段後開始進行編碼壓縮，編碼完畢上一組視頻片段後，再判斷下一組視頻片段是否採集完畢，若採集完畢，則繼續編碼下一組視頻片段，否則一直等待，直到可以編碼，至所有視頻片段編碼壓縮完成後，採集/編碼器將編碼數據發送給網絡發送器；2)解碼/顯示器接收網絡接收器傳送的編碼數據後，進行解碼，並且將解碼出來的視頻畫面分為若干組視頻片段，每組片段由N行視頻像素點陣組成，解碼/顯示器解碼完畢預先指定的若干組視頻片段後就開始進行顯示。3.如權利要求2所述的裝置，其特徵在於N為16。
全文摘要
本發明提供了一種數字視頻信號低延時編解碼裝置，包括用於採集視頻畫面並對採集到視頻畫面進行編碼的採集/編碼器和用於對編碼數據進行解碼並對解碼後的視頻畫面進行顯示的解碼/顯示器；採集/編碼器和解碼/顯示器通過網絡發送器、網絡設備、網絡接收器傳輸數據。區別於傳統編解碼裝置以一幅完整的視頻畫面為操作單位進行編解碼，本發明裝置是以一幅視頻畫面中的N行視頻像素點陣作為操作單位進行編解碼的，實現採集和編碼同步，解碼和顯示同步，從而降低了數字視頻信號編解碼的延時。
文檔編號H04N7/26GK1976464SQ20061015513
公開日2007年6月6日 申請日期2006年12月11日 優先權日2006年12月11日
發明者陳耀武 申請人:陳耀武