一種降低圖像傳輸系統時延的實現方法
2023-10-05 10:45:54
專利名稱：一種降低圖像傳輸系統時延的實現方法
技術領域：
本發明屬於圖像傳輸數據鏈領域，涉及一種降低圖像傳輸系統時延的實現方法。
背景技術：
圖像傳輸系統是一種集圖像的採集、處理和傳輸為一體的技術，隨著多媒體技術和無線傳輸技術的廣泛發展，圖像傳輸系統以其直觀方便、信息豐富的特點而廣泛應用於工程的許多領域，也因此成為一個研究熱點。而時延在航天工程應用尤其是圖像傳輸系統中，是一個重要的衡量系統好壞的指標，系統的端到端時延通常要求較低。時延越低，則用戶可以越可以再更短的時間內觀看到解碼圖像，從而以此為依據，做出指揮判斷。反之，若時延過高，則實時性就比較差，對於緊急情況尤其是用於精確制導控制的圖像傳輸系統就失去了意義。所以，研究降低系統時延的方法是很有必要。在圖像傳輸系統中，時延主要包括幾大部分圖像輸入輸出的傳輸時延、圖像編解碼處理時延、緩存時延和信道編解碼處理時延。可以看出，時延的產生主要是在圖像編解碼端產生。所以，系統時延的降低重點在於減少圖像編解碼的時延。目前已公開發表的關於減少圖像編解碼端時延的方法主要分為兩類，第一類是研究圖像編碼中使用的碼率控制算法，通過儘量使每幀編碼數據接近於目標碼率、減少編碼端緩衝數據的方法達到降低緩存時延的目的，但是這種策略只能實現一定時間內編碼數據的平穩，不能完全精確到每幀都恰好達到目標碼率，而且算法通常比較複雜、計算量大；第二類是研究圖像編解碼的快速算法，從而減少圖像編解碼的處理時延，但是速度的提升不可避免的會帶來一定質量的損耗。
發明內容
本發明的技術解決問題是克服現有技術的不足，提供了一種降低圖像傳輸系統時延的實現方法，通過對由圖像分割出的條帶數據的流水處理，降低了圖像傳輸系統的時延和實現資源。本發明的技術解決方案是—種降低圖像傳輸系統時延的實現方法，所述圖像傳輸系統包括圖像發送端和圖像接收端，其中，圖像發送端包括編碼單元；圖像接收端包括解碼單元，圖像發送端和圖像接收端根據以下步驟進行圖像數據的傳輸圖像發送端接收輸入的圖像數據並劃分為條帶數據後輸出到編碼單元；編碼單元圖像採用並行處理的方式進行條帶數據的接收，條帶數據的編碼和編碼後條帶數據的輸出；圖像發送端將編碼後條帶數據添加條帶頭後發送到圖像接收端；圖像接收端根據條帶頭提取出編碼後條帶數據，並將編碼後條帶數據輸出到解碼單元；所述解碼單元採用並行處理的方式進行編碼後條帶數據的接收，編碼後條帶數據的解碼和條帶數據的輸出；圖像接收端根據條帶頭將解碼後恢復出的條帶數據組織成圖像數據後輸出。進一步的，所述編碼單元採用至少兩個與條帶數據大小相同的緩存區對輸入的條帶數據進行緩存和編碼。進一步的，所述編碼單元的並行處理方式為對當前時刻的條帶數據進行編碼的同時，對前一時刻的編碼完成的編碼後條帶數據進行輸出，並對下一時刻到達的條帶數據進行接收。
進一步的，所述條帶頭包括條帶標誌頭、條帶號，圖像接收端根據條帶標誌頭確定一個完整的編碼後條帶數據，並根據條帶後將解碼後恢復出的條帶數據組織成圖像數據。進一步的，所述解碼單元採用至少兩個與編碼後條帶數據大小相同的緩存區對輸A的編碼後條帶數據進行緩存和編碼。進一步的，所述解碼單元的並行處理方式為對當前時刻的編碼後條帶數據進行解碼的同時，對前一時刻解碼後產生的條帶數據進行輸出，並對下一時刻到達的編碼後條帶數據進行接收。本發明與現有技術相比具有如下優點本發明將圖像發送端將圖像數據劃分為多個條帶，以條帶數據為單元，通過並行處理方法，使多部分的處理時間重疊，從而達到降低系統時延的目的。該方法適用於按塊(即本發明所述的條帶為塊的集合)進行圖像處理的視頻壓縮算法，如H. 264算法、MPEG4算法，易於工程化實現，且圖像質量沒有損耗。現有圖像傳輸系統圖像編碼端處理方式都是接收到一整幀圖像以後再啟動壓縮編碼處理。而本發明以條帶數據為單元進行圖像輸入與壓縮，輸入一個條帶數據以後就開始進行壓縮，在單幀圖像內就開啟了圖像輸入與編碼的並行處理，實現了圖像輸入時延與圖像壓縮編碼時延的重疊，有效降低了編碼端引起的系統時延。現有圖像傳輸系統圖像接收端都是接收到一整幀圖像的碼流數據以後再啟動解碼解壓縮處理，而本發明碼流結構以編碼後條帶數據為單元進行組織，所以圖像接收端在接收到一個編碼後條帶數據以後就可以啟動解碼解壓縮，實現了碼流輸入緩衝時延與圖像解碼解壓縮時延的重疊，有效降低了解碼端引起的系統時延。由於本發明是以條帶數據為基本單元進行處理，所以其耗用的內存大多是以條帶為基本單元進行分配。如對於本發明，其圖像編碼端的原始圖像輸入緩衝區至少可分配2個條帶大小，而對於現有技術，其原始圖像輸入緩衝區至少需分配2個整幀圖像大小，同理於圖像解碼端。因此，本發明具有耗用內存資源少，節省內存空間的特點。本發明對輸入圖像的複雜度沒有特定要求，無論是動態大的複雜圖像還是動態小的簡單圖像均可以達到降低圖像傳輸系統時延的目的，具有廣泛的適應性。而且算法實現簡單、實時性高，易於工程實現。
圖I為本發明流程2為發送端並行處理示意圖；圖3為接收端並行處理示意圖4為本發明圖像發送端流程示意圖；圖5為本發明圖像接收端流程示意圖。
具體實施例方式如圖I所示流程圖，本發明包括下列步驟(I)經過A/D採樣數位化後的原始數字圖像首先送入作為圖像發送端圖像採集單元的FPGA所構建的FIFO中進行緩衝，FPGA收集到一個條帶數據後向作為圖像發送端編碼單元的DSP發送一個中斷信號，DSP接收到此中 斷信號後觸發EDMA後臺操作快速接收FPGA發送過來一個條帶的圖像數據。(2)編碼單元DSP接收到一個條帶數據後就立即啟動圖像編碼操作，對接收到的該條帶數據進行編碼，並且使用EDMA對編碼後條帶碼流數據進行輸出。編碼單元並行處理的方式如圖2所示，一幀圖像數據平分為n個條帶數據，其中Smk表示一個條帶數據的輸入時間，m為圖像幀號，k為條帶號，條帶號範圍為(l，n) ;Cmk表示一個條帶的編碼時間；Tmk表示一個條帶的碼流數據傳輸時間。圖2中，由於實際各條帶數據的複雜度不同，所以每個條帶的編碼時間和碼流數據長度是不一致的，而傳輸速率是一定的，因此各個條帶的碼流數據傳輸時間也並不一樣，並且這個傳輸還涉及到碼率控制、數據緩存的過程，所以用圖2無法精確表示出其實際工作過程。圖2隻是簡單描述了發送端按條帶並行處理的一個過程。圖像發送端的所有工作，由於輸入一個條帶就開始編碼並傳輸，相當於圖像發送端的所有工作都提前了 n-1個條帶的時間，從而達到了降低圖像發送端時延的目的。(3)編碼單元以條帶數據為單元進行編碼，每生成一個條帶的碼流數據，就對其重新進行封裝，在條帶碼流數據前添加條帶頭信息。如表I所示，其中條帶標誌頭和條帶號用來識別區分一個完整條帶碼流數據，條帶編碼方式和與條帶量化值為圖像接收端的解碼單元所使用。表I
說明j條帶標誌頭~條帶號條帶編碼方式條帶量化值
長度 32bit6bitIbitIbit 到 7bit 之間(4)作為圖像接收端解碼單元的DSP通過EDMA在後臺進行碼流的接收搬移操作。每收到一定量的碼流數據，EDMA就觸發完成中斷通知DSP的CPU，CPU對接收到的碼流數據進行後續處理。同時，EDMA繼續對碼流數據進行接收，並且使用EDMA對條帶恢復數據進行輸出。(5)解碼單元DSP邊接收碼流數據邊對一個完整的條帶碼流數據進行搜索。搜索原則為搜索條帶頭中的條帶標誌頭，一旦搜索到一個條帶標誌頭，則繼續搜索下一個條帶標誌頭，待搜索到兩個條帶標誌頭以後，則意味著接收到一個完整的條帶碼流數據，提取出實際條帶碼流數據並根據條帶頭信息進行解碼處理，對解碼生成的條帶恢復數據進行輸出，解碼單元並行處理的方式如圖3所示。其中-!^表示一個條帶的碼流數據輸入時間，m為圖像幀號，k為條帶號，條帶號範圍為(1，n) ;Dmk表示一個條帶碼流數據的解碼時間；Rmk表示一個條帶恢復數據的輸出時間。與步驟⑵的分析同理，實際中，各條帶碼流數據長度不同，所以傳輸時間與解碼時間也不相同，因此用圖3無法精確表示出其實際工作過程。圖3隻是簡單描述了圖像接收端按條帶並行處理的過程。說明圖像接收端的所有工作，由於碼流數據是以條帶碼流數據為單元進行組織，所以可以接收到一個完整的條帶碼流數據後就開始進行解碼操作，從而達到了降低圖像接收端時延的目的。(6)對恢復出的條帶數據，根據條帶號將其存放到圖像接收端解碼圖像緩衝區，並根據條帶號判斷該條帶是否為最後一個條帶，如果是，則整幀解碼圖像恢復完成，可用於後續顯示等處理。這是由於圖像發送端是按照條帶號依 次按順序對原始條帶數據進行編碼和傳輸的，所以圖像接收端接收解碼恢復的條帶數據也是順序的。因此，待恢復出條帶號為最後一個條帶的條帶數據時，也意味著恢復出一整幀解碼圖像。實施例本實施例的實驗條件為(I)輸入為720x576x8bit大小的數字視頻圖像，幀率為25f/s ；(2)編碼輸出碼率為2Mbps ；(3)條帶數據解析度即條帶數據大小為720xl6x8bit。結合上面所述的試驗條件，根據圖4和圖5的流程示意圖。圖像發送端(I)FPGA對接收到的數字圖像數據進行緩存，當緩存數據達到720xl6x8bit大小以後，給DSP —個中斷信號觸發EDMA對輸入圖像數據進行搬移。EDMA搬移速率很高，其引起的搬移時延可忽略不計。根據幀率，FPGA接收緩存一個條帶數據的時間為
權利要求
1.一種降低圖像傳輸系統時延的實現方法，所述圖像傳輸系統包括圖像發送端和圖像接收端，其中，圖像發送端包括編碼單元；圖像接收端包括解碼單元， 其特徵在於，圖像發送端和圖像接收端根據以下步驟進行圖像數據的傳輸 圖像發送端接收輸入的圖像數據並劃分為條帶數據後輸出到編碼單元； 編碼單元圖像採用並行處理的方式進行條帶數據的接收，條帶數據的編碼和編碼後條帶數據的輸出； 圖像發送端將編碼後條帶數據添加條帶頭後發送到圖像接收端； 圖像接收端根據條帶頭提取出編碼後條帶數據，並將編碼後條帶數據輸出到解碼單元; 所述解碼單元採用並行處理的方式進行編碼後條帶數據的接收，編碼後條帶數據的解碼和條帶數據的輸出； 圖像接收端根據條帶頭將解碼後恢復出的條帶數據組織成圖像數據後輸出。
2.如權利要求I所述的一種降低圖像傳輸系統時延的實現方法，其特徵在於所述編碼單元採用至少兩個與條帶數據大小相同的緩存區對輸入的條帶數據進行緩存和編碼。
3.如權利要求I或2所述的一種降低圖像傳輸系統時延的實現方法，其特徵在於所述編碼單元的並行處理方式為對當前時刻的條帶數據進行編碼的同時，對前一時刻的編碼完成的編碼後條帶數據進行輸出，並對下一時刻到達的條帶數據進行接收。
4.如權利要求I所述的一種降低圖像傳輸系統時延的實現方法，其特徵在於所述條帶頭包括條帶標誌頭、條帶號，圖像接收端根據條帶標誌頭確定一個完整的編碼後條帶數據，並根據條帶後將解碼後恢復出的條帶數據組織成圖像數據。
5.如權利要求I所述的一種降低圖像傳輸系統時延的實現方法，其特徵在於所述解碼單元採用至少兩個與編碼後條帶數據大小相同的緩存區對輸入的編碼後條帶數據進行緩存和編碼。
6.如權利要求I或5所述的一種降低圖像傳輸系統時延的實現方法，其特徵在於所述解碼單元的並行處理方式為對當前時刻的編碼後條帶數據進行解碼的同時，對前一時刻解碼後產生的條帶數據進行輸出，並對下一時刻到達的編碼後條帶數據進行接收。
全文摘要
本發明公開了一種降低圖像傳輸系統時延的實現方法，圖像發送端接收輸入的圖像數據並劃分為條帶數據後輸出到編碼單元；編碼單元圖像採用並行的方式進行條帶數據的接收，條帶數據的編碼和編碼後條帶數據的輸出；圖像發送端將編碼後條帶數據添加條帶頭後發送到圖像接收端；圖像接收端根據條帶頭提取出編碼後條帶數據，並將編碼後條帶數據輸出到解碼單元；所述解碼單元採用並行的方式進行編碼後條帶數據的接收，編碼後條帶數據的解碼和條帶數據的輸出；圖像接收端根據條帶頭將解碼後恢復出的條帶數據組織成圖像數據後輸出。本發明通過對由圖像分割出的條帶數據的流水處理，降低了圖像傳輸系統的時延和圖像傳輸系統的實現資源。
文檔編號H04N7/26GK102752600SQ20121024380
公開日2012年10月24日 申請日期2012年7月13日 優先權日2012年7月13日
發明者國輝, 張寶薇, 王婷 申請人:航天恆星科技有限公司