一種面向異步視頻的嵌入式圖像處理方法
2023-05-05 14:16:21
專利名稱：一種面向異步視頻的嵌入式圖像處理方法
技術領域：
本發明屬於電子設計技術，具體涉及一種面向異步視頻的嵌入式圖像處理方法。
背景技術：
嵌入式圖像處理一般基於DSP+FPGA技術，接受視頻信息輸入，運行圖像處理算法，實現諸如目標跟蹤、檢測、識別等功能，同時輸出處理後的圖像信號。系統規定的輸入和輸出常常是不同的視頻格式，二者由於幀頻的不同，處於異步的狀態。目前處理異步視頻的方式有如下如果圖像處理系統的輸入為複合模擬視頻，幀頻25Hz ;輸出為XGA格式，幀頻60Hz 幅輸入畫面平均產生2. 4次輸出畫面，此時系統處理的就是異步視頻，有3種處理方法。
最直接的方式——幀內不同步，輸出以輸入的幀頻進行切換，當一幀輸入數據準備好後，輸出就切換到新一幀的視頻數據，不管此時輸出幀進行到了哪個時刻。這種模式中輸入和輸出處於幀內的不同步狀態，即輸出的畫面可能由非同一幅輸入畫面組成。當相鄰的兩幀圖像存在較大差異，輸出的畫面會出現明顯的分界。第二種是幀間不同步方式，即把不同步局限在幀間的狀態。當一幀輸入數據準備好後，輸出不會立即切換到新一幀的視頻數據，而是根據輸出自身的時序做出選擇。只有當前幀輸出完畢後，才會切換到新一幀的視頻數據，這樣就保證了輸出的每幅畫面都有一個對應的輸入畫面，不可能出現兩個輸入畫面拼接的狀況。如果一幅輸入畫面平均產生2. 4次輸出畫面，實際顯示狀況是某些輸入畫面顯示了 2次，而某些輸入畫面顯示了 3次。這樣，原來在時間上均勻顯示的輸入畫面，在輸出時不再一致。當畫面中出現勻速運動的目標時，理論上在輸出畫面中，目標會出現跳躍式的運動。這種顯示效果在大多數應用環境中肉眼難以覺察，是目前嵌入式圖像處理產品廣泛採用的處理不同步的方式。最後一種可以稱為準同步方式，即輸出幀和輸入幀在一段時間上基本對應，接近同步的效果。雖然輸入和輸出的幀頻不同，但系統根據相鄰的輸入幀圖像的變化特點，採用智能算法，人為地生成一些中間幀,加入到輸出幀序列中，更好地突出了輸出幀頻提高的顯示效果，還能夠保持畫面的連續性。這種方式多用於視聽娛樂的大屏幕影音設備。現在視頻格式轉換的圖像處理產品的功能流程如圖3所示，在實現異步視頻幀間不同步輸出效果時，大多在數據緩存或輸出顯存環節採用桌球切換的方法。這種方式下，DSP需要把視頻數據從緩存搬移到顯存，硬體上需要佔據2個數據埠，增加了數據傳輸的時間，O
發明內容
本發明的目的是提供一種面向異步視頻的嵌入式圖像處理方法，在不增加傳輸時間的前提下滿足不同幀頻的輸入和輸出的需要。為實現上述目的，本發明採用如下技術方案一種面向異步視頻的嵌入式圖像處理方法，該方法包括以下步驟1).定義四片幀存用於存放輸入視頻數據和輸出視頻數據之間不同狀態幀圖像，利用可編程邏輯器件FPGA將數位訊號處理器DSP、四片幀存以及輸入和輸出視頻數據流連接起來；
2).定義的四片幀存分別為寫入幀、處理幀、讀出幀和緩存幀/廢棄幀，使每一幀數據與一片幀存關聯，依次經歷寫入、處理、緩存、讀出和廢棄的狀態，其中緩存幀和廢棄幀不同時存在，寫入幀與視頻數據輸入流連接，用於存儲正在輸入的視頻數據，處理幀與DSP連接，用於作為DSP的數據緩存，讀出幀與視頻數據輸出流連接，用於將視頻數據讀出顯示，緩存幀用於等待被讀出顯示，處於孤立狀態，廢棄幀指的是視頻數據已經完成輸出，用於等待被新的數據寫入，處於孤立狀態；
3).根據輸入幀同步信號和輸出幀同步信號和相應的切換規則對四片幀存的狀態進行切換，實現異步視頻幀間不同步效果。所述步驟2)中的4片幀存有5種狀態，任一時刻4片幀存分別對應寫入、處理、讀 出、緩存/廢棄，幀存的寫入、處理、緩存狀態由輸入幀的同步信號觸發確定，幀存的讀出、廢棄狀態由輸出幀的同步信號觸發確定，所述切換規則是指在異步視頻的幀間不同步狀態下保證輸出幀的完整性，嵌入式圖像處理系統利用第4片幀存提供時間上的緩衝。所述步驟3)中的切換規則在輸入幀頻小於輸出幀頻的情況下，每一個輸入幀都會被讀出顯示，在每個輸入幀周期中，至少會發生I次輸出幀同步觸發事件，第一次輸出幀同步信號觸發之後，原緩存狀態的幀存切換到讀出狀態，原讀出狀態幀存轉換為廢棄狀態，然後保持不變，直到新的輸入幀同步信號到來。所述步驟3)中的切換規則在輸入幀頻大於輸出幀頻的情況下，一個輸入幀周期內，如果接收到輸出幀同步信號，緩存幀會轉換為讀出幀，否則會被重新寫入，沒有機會輸出顯示。所述單個幀存的狀態轉換過程如下某片幀存從寫入狀態開始，受輸入幀同步信號觸發後轉換為處理狀態，再次觸發後轉換為半緩存狀態，期間的輸出幀同步信號不會改變幀存狀態，只能確定輸出部分為無效狀態；半緩存狀態時受輸出幀同步信號觸發進入讀出狀態即半緩存/讀出，否則受輸入幀同步信號觸發返回寫入狀態，讀出狀態即半緩存/讀出，不會受輸出幀同步信號的觸發改變，但接受一次輸入幀同步信號後會成為新的讀出狀態即無效/讀出，此時系統有了新的緩存幀，當輸出幀同步信號來到後轉換為廢棄狀態，此時新的緩存幀進入讀出狀態，再次受輸入幀同步觸發後返回寫入狀態。本發明由FPGA、DSP和4片幀存構成，把數據緩存和輸出顯存融合在一起，節省了數據傳輸的時間。FPGA依據規則切換4片幀存，能夠實現異步視頻時幀間不同步狀態。採用更先進的存儲器、DSP、FPGA晶片能夠提高數據傳輸速度，擴充數據存儲空間，加強軟體處理能力，實現平臺整體性能指標的升級。本發明能夠實現圖像處理和視頻轉換兩部分功能圖像處理功能主要由DSP實現，軟體在一個輸入幀周期內讀入數據、執行處理算法、用新的數據覆蓋幀存；視頻轉換功能指FPGA對4片幀存的切換來實現異步視頻的幀間不同步效果O
圖I是本發明的功能架構圖；圖2是單個幀存的狀態轉換流程 圖3是傳統圖像處理產品常用方案的功能流程。
具體實施例方式如圖I所示為本發明的功能架構圖，FPGA將DSP、4片幀存以及輸入和輸出視頻數據流連接起來，依據功能狀態，幀存定義為寫入幀、處理幀、讀出幀、緩存幀、廢棄幀，其中緩存幀和廢棄幀不同時存在。寫入幀指該幀存與視頻數據輸入流連接，正在存儲輸入的視頻數據；處理幀指該幀存與DSP連接，作為DSP的數據緩存，供軟體讀寫；讀出幀指該幀存與視頻數據輸出流連接，視頻數據正在被讀出顯示；緩存幀指處理幀的下一個狀態，等待被讀出顯示，處於孤立狀態；廢棄幀指視頻數據已經完成輸出，等待被新的數據寫入，處於孤立狀態。每一幀視頻數據與一片幀存關聯，依次經歷寫入、處理、緩存、讀出、廢棄的狀態(不一定是全部的狀態)。FPGA依據規則切換4片幀存，循環往復。本發明實現圖像處理和視頻轉換兩部分功能。圖像處理功能主要由DSP實現，當 輸入的視頻數據成為處理幀時，DSP軟體要在一個輸入幀周期內讀入數據、執行處理算法、用新的數據覆蓋幀存(該幀存隨後會讀出顯示)。圖像處理結果可以從DSP的通訊接口上報，必要時，FPGA也可以完成部分圖像處理算法，減輕軟體負擔。視頻轉換功能指FPGA對4片幀存的切換來實現異步視頻的幀間不同步方法。本發明的切換規則如下在異步視頻的幀間不同步狀態下，輸出幀的完整性需要保證，幀存的切換不能只依據輸入幀的同步信號，還必須考慮輸出幀的同步信號，嵌入式圖像處理系統利用第4片幀存提供時間上的緩衝。幀存共有5種狀態，任一時刻4片幀存分別對應寫入、處理、讀出、緩存(廢棄)，幀存的寫入、處理、緩存狀態由輸入幀的同步信號觸發確定，幀存的讀出、廢棄狀態由輸出幀的同步信號觸發確定。本發明狀態轉換程序設計如下設定4片幀存的初始狀態見表I :
表I幀存的初始狀態
幀存I 幀存2 傾存3 幀存4初始狀態寫入讀出緩存處理
幀存的狀態由2種同步信號觸發轉換，因此設定為輸入和輸出兩部分狀態的組合。( I)輸入巾貞頻小於輸出巾貞頻在輸入巾貞頻小於輸出巾貞頻的情況下，每一個輸入巾貞都會被讀出顯示。在每個輸入幀周期中，至少會發生I次輸出幀同步觸發事件，第一次輸出幀同步信號觸發之後，原緩存狀態的幀存切換到讀出狀態，原讀出狀態幀存轉換為廢棄狀態，然後保持不變，直到新的輸入幀同步信號到來。從系統整體分析4片幀存的狀態轉換過程，得出表2的結果表2顯不系統狀態轉換的一個循環包含8種情況，由4種輸入和4種輸出組合而成，每種輸出狀態對應一個處於讀出狀態的幀存。表2系統狀態的轉換過程
權利要求
1.一種面向異步視頻的嵌入式圖像處理方法，其特徵在於該處理方法包括以下步驟 1).定義四片幀存用於存放輸入視頻數據和輸出視頻數據之間不同狀態幀圖像，利用可編程邏輯器件FPGA將數位訊號處理器DSP、四片幀存以及輸入和輸出視頻數據流連接起來； 2).定義的四片幀存分別為寫入幀、處理幀、讀出幀和緩存幀/廢棄幀，使每一幀數據與一片幀存關聯，依次經歷寫入、處理、緩存、讀出和廢棄的狀態，其中緩存幀和廢棄幀不同時存在，寫入幀與視頻數據輸入流連接，用於存儲正在輸入的視頻數據，處理幀與DSP連接，用於作為DSP的數據緩存，讀出幀與視頻數據輸出流連接，用於將視頻數據讀出顯示，緩存幀用於等待被讀出顯示，處於孤立狀態，廢棄幀指的是視頻數據已經完成輸出，用於等待被新的數據寫入，處於孤立狀態； 3).根據輸入幀同步信號和輸出幀同步信號和相應的切換規則對四片幀存的狀態進行切換，實現異步視頻幀間不同步效果。
2.根據權利要求I所述的面向異步視頻的嵌入式圖像處理方法，其特徵在於所述步驟2)中的4片幀存有5種狀態，任一時刻4片幀存分別對應寫入、處理、讀出、緩存/廢棄，幀存的寫入、處理、緩存狀態由輸入幀的同步信號觸發確定，幀存的讀出、廢棄狀態由輸出幀的同步信號觸發確定，所述切換規則是指在異步視頻的幀間不同步狀態下保證輸出幀的完整性，嵌入式圖像處理系統利用第4片幀存提供時間上的緩衝。
3.根據權利要求I所述的面向異步視頻的嵌入式圖像處理方法，其特徵在於所述步驟3)中的切換規則在輸入幀頻小於輸出幀頻的情況下，每一個輸入幀都會被讀出顯示，在每個輸入幀周期中，至少會發生I次輸出幀同步觸發事件，第一次輸出幀同步信號觸發之後，原緩存狀態的幀存切換到讀出狀態，原讀出狀態幀存轉換為廢棄狀態，然後保持不變，直到新的輸入幀同步信號到來。
4.根據權利要求I所述的面向異步視頻的嵌入式圖像處理方法，其特徵在於所述步驟3)中的切換規則在輸入幀頻大於輸出幀頻的情況下，一個輸入幀周期內，如果接收到輸出幀同步信號，緩存幀會轉換為讀出幀，否則會被重新寫入，沒有機會輸出顯示。
5.根據權利要求I所述的面向異步視頻的嵌入式圖像處理方法，其特徵在於所述單個幀存的狀態轉換過程如下某片幀存從寫入狀態開始，受輸入幀同步信號觸發後轉換為處理狀態，再次觸發後轉換為半緩存狀態，期間的輸出幀同步信號不會改變幀存狀態，只能確定輸出部分為無效狀態；半緩存狀態時受輸出幀同步信號觸發進入讀出狀態即半緩存/讀出，否則受輸入幀同步信號觸發返回寫入狀態，讀出狀態即半緩存/讀出，不會受輸出幀同步信號的觸發改變，但接受一次輸入幀同步信號後會成為新的讀出狀態即無效/讀出，此時系統有了新的緩存幀，當輸出幀同步信號來到後轉換為廢棄狀態，此時新的緩存幀進入讀出狀態，再次受輸入幀同步觸發後返回寫入狀態。
全文摘要
本發明涉及一種面向異步視頻的嵌入式圖像處理方法，包括由FPGA、DSP和４片幀存構成的嵌入式圖像處理系統，把數據緩存和輸出顯存融合在一起，節省了數據傳輸的時間。FPGA依據規則切換４片幀存，能夠實現異步視頻時幀間不同步狀態。採用更先進的存儲器、DSP、FPGA晶片能夠提高數據傳輸速度，擴充數據存儲空間，加強軟體處理能力，實現平臺整體性能指標的升級。本發明能夠實現圖像處理和視頻轉換兩部分功能圖像處理功能主要由DSP實現，軟體在一個輸入幀周期內讀入數據、執行處理算法、用新的數據覆蓋幀存；視頻轉換功能指FPGA對4片幀存的切換來實現異步視頻的幀間不同步效果。
文檔編號G09G5/00GK102881273SQ20121033177
公開日2013年1月16日 申請日期2012年9月10日 優先權日2012年9月10日
發明者鄭鑫 申請人:中國航空工業集團公司洛陽電光設備研究所