圖像處理方法及其相關裝置的製作方法

2023-06-08 05:46:36

專利名稱：圖像處理方法及其相關裝置的製作方法
技術領域：
本發明關於 一種圖像處理機制，尤其指一種能夠降低電路成本並減少運算複雜度的圖像處理方法及其相關裝置。
背景技術：
公知圖像處理機制在進行區塊對比操作(block matching operation)時考慮一先前圖像中的二維預定範圍內的多個圖像區塊，從該多個圖像區塊中找出與目前圖像內某一圖像區塊最相像的圖像區塊來決定出一移動向量。然而，實際上，執行該區塊對比操作時需要對大量的像素進行計算而其計算程序相當複雜，用以暫存像素數據的線緩衝器(1 ine buffer)則因為需要暫存大量的像素數據而造成需要使用較多的線緩沖器， 一般來說在此情況下實際需要約10-20個線緩衝器。是故公知圖像處理機制的整體電路成本會因使用較多的線緩衝器而提高，而在完成區塊對比操作之前亦需要較長的運算時間。

發明內容
因此本發明的目的的一在於提供一種能夠降低整體電路成本並同時減少運算複雜度的圖像處理方法及其相關裝置，以解決上述的問題。
依據本發明的實施例，其公開一種圖像處理方法。該圖像處理方法包含有僅依據水平方向的多個圖像區塊而不參考垂直或其他方向的圖像區塊來完成一 區塊對比操作以及依據該區塊對比操作的結果來執行一 圖像處理操作。
依據本發明的實施例，其另公開一種圖像處理裝置。該圖像處理裝置包含有一計算電路與一圖像處理電路，其中該計算電路用來僅依據水平方向的
多個圖像區塊而不參考垂直或其他方向的圖像區塊來完成一區塊對比操作，以及該圖像處理電路耦接於該計算電路並依據該區塊對比操作的結果來執行一圖像處理操作。 -


4圖1為本發明一實施例的圖像處理裝置的示意圖。
圖2為圖1所示的計算電路針對兩幀進行區塊對比的操作示意圖。
圖3為圖l所示的計算電路針對兩圖場(field )進行區塊對比的操作示意圖。
主要元件符號說明
100圖像處理裝置
105存儲器
110計算電路
115圖像處理電路
具體實施例方式
請參照圖1，圖1是本發明一實施例的圖像處理裝置100的示意圖。圖像處理裝置100包含有存儲器105、計算電路110與圖像處理電路115，其中計算電路110還包括有多個線緩衝器(未顯示於圖1中)。存儲器105用來存儲由外部所接收的輸入數據DATAin (多個幀(frame)或圖場(field)的像素數據)，而計算電路110耦接於存儲器105並〗又依據輸入數據DATA,n中水平方向的多個圖像區塊而不參考垂直或其他方向的圖像區塊來完成一區塊對比操作，圖像處理電路115則耦接於計算電路110並依據該區塊對比搡作的結果來執行一圖像處理操作(例如圖像插補運算(interpolation));計算電路110與圖像處理電路115在實際上可共同組成一移動估測/補償電路單元。如上所迷，由於計算電路110僅依據水平方向的多個圖像區塊來完成該區塊對比操作而不參考垂直或其他方向的圖像區塊，所以圖像處理裝置100與上述的公知圖像處理機制相比，可避免進行大量的像素運算並降低運算複雜度，同時亦可減少線緩沖器數目而使整體電路成本下降。可如此實現的原因是，統計上來說圖像畫面中發生水平移動的物件比發生垂直移動的物件來得較多，例如，當為了插補出某一時間點的幀/圖場中的圖像區塊時，進行區塊對比操作來找出前一時間點的幀/圖場中哪一圖像區塊與下一時間點的幀/圖場中哪一圖像區塊最相像以找出插補出此圖像區塊時所需要的移動向,，而有相當大的機率是所找出來的移動向量為一水平向量，亦即，該圖像區塊所對應到的物件此時發生水平移動。因此，本實施例僅參考水平方向上^圖像區塊來進行區塊對比操作以節省整體電路成本，同時避免浪費運算時間與減少運算複雜度；實際上，本實施例中的計算電路110僅利用2-3個線緩沖器即可達到參考水平方向上的圖像區塊來進行區塊對比操作的目的，與公知圖像處理機制一般所需要的線緩沖器數目相較來說減少相當多。
在本實施例中利用圖像插補運算的例子來加以說明，當然本發明並不以
此為限。計算電路110在進行區塊對比時會將存儲於存儲器105的輸入數據DATAi 中所需要的像素數據逐一地暫存於其內部的線緩衝器中，並累計每一相對應位置所計算後的像素差來得到一區塊對比差值(block matchingdifference )。請參照圖2，圖2是圖1所示的計算電路110針對兩幀進行區塊對比搡作的操作示意圖。如圖2所示，此時輸入數據DATA^為一連串的幀所構成，而在此種情況下若要儘量節省線緩衝器的數目，則計算電路110至少仍需包含兩線緩衝器，而計算電路110的操作在圖2中即以兩線緩沖器為例子來描述的。
如上所述，在此例中計算電路110包含有線緩衝器L,及L。舉例來說，當計算電路110欲針對幀F -的圖像區塊與幀Fn中的圖像區塊Bn計算一 區塊對比差值(例如像素的絕對差值總和(S咖of Absolute Differences, SAD ))時，由於線緩衝器L與"至多可各同時存儲幀R-與F。中對應同一水平位置
上的像素數據，例如，線緩衝器L可同時存儲與圖像區塊B。-,同一水平位置
的多個圖像區塊內的像素數據而線緩衝器L2則可同時存儲與圖像區塊Bn同一水平位置的多個圖像區塊內的像素數據(亦即計算電路110所參考的多個圖像區塊於線緩衝器L,及"中產生)，因此，計算電路110可逐一計算圖像區
塊B。—,與Bn中相對應位置的像素差值並將其累計的，最後即可算出圖像區塊B —,與Bn的區塊對比差值，請注意，圖像區塊B^與Bn的水平位置相同。如此
持續針對同一水平位置的圖像區塊進行區塊對比，必可算出一最小區塊對比
差值，而對應於此最小區塊對比差值的移動向量即有助於決定出對兩幀
與F。執行該圖像插補運算時一待插補位置所需要的圖像區塊，其中該待插補位置與圖像區塊B。-,/Bn同一水平位置。當然，亦可將線緩沖器L,與"設計為至多可各同時存儲幀F"與Fn中對應同一水平掃描線上的像素數據，換句話
說，若為了更節省電路成本，則可將線緩衝器L與L2分別設計成至多僅存儲同一掃描線上的像素數據，而因為計算電路110可通過累計像素差值的方式來算出區塊對比差值，所以計算電路110的操作不會受到影響。此外，本發
明並未限定上述圖像區塊B^與B。內的像素個數與其面積大小，例如，圖像
6區塊8 -與B。可以是具有l峭個像素的區塊(亦即由l條水平線與m條垂直線所交叉組成的圖像區域)，而非僅限定於如圖2所示具有nM個像素的圖像區塊(n與ra為大於1的整數，其分別表示出垂直方向與水平方向上的像素個數)；對於具有hm個像素的圖像區塊來說，仍僅需兩線緩沖器即可完成區塊對比運算，此時兩線緩衝器至多會同時存儲兩幀中對應於同 一水平掃描線位置上的像素數據，為了省略篇幅，其餘操作則不另贅述。
再者，若計算電路110的區塊對比操作的結果指示出依據水平方向的圖像區塊所計算出的多個區塊對比差值均大於一預定閾值Vth，則圖像處理電路115在決定上述待插補位置的圖像時會直接重複一先前圖像(亦即幀)中與該待插補位置相同位置的圖像區塊；反之，當該結果指示出該多個區塊對比差值中一最小區塊對比差值不大於預定閾值Vth時，圖像處理電路115會依據該最小區塊對比差值所對應的移動向量來對該待插補位置進行圖像插補，亦即參考前段說明中的移動向量來進行圖像插補。上述該多個區塊對比差值若均大於預定閾值Vth，則可能表示對應於該待插補位置的物件在前/後張圖像中應以垂直或其他方向進行移動而非以水平方向進行移動，由於在此一情況中直接利用該移動向量進行圖像插補將造成插補出的圖像畫面產生較大失真，因此，圖像處理電路115選擇直接重複一先前圖像中與該待插補位置相同位置的圖像區塊而不參考該移動向量。
在另一例子中，若輸入數據DATAin由一連串的圖場所組成，則除了線緩沖器L,與L2之外，計算電路110會還包含有一線緩沖器L3。其中線緩衝器L，至多同時存儲一第一圖像(為圖場數據)中第一水平線位置上的像素數據，線緩衝器L2至多同時存儲一第二圖像(亦為圖場數據)中第一水平線位置的上一相鄰水平線位置上的像素數據，而線緩衝器13則至多同時存儲該第二圖像中第一水平線位置的下一相鄰水平線位置上的像素數據。計算電路110會先計算線緩衝器"及L3中的像素數據來產生至少一暫時像素數據，而計算電路110所參考的水平方向上該多個圖像區塊則會根據該第一圖像中第一水平線位置上的像素數據以及此一暫時像素數據而得以產生。
舉例來說，請參閱圖3,圖3是圖1所示的計算電路110針，兩圖場進行區塊對比的操作示意圖。以下以至多僅可同時存儲同 一 水平掃描線上的像素數據的線緩衝器來說明，然而，此非本發明的限制。當然，可同時存儲同一水平位置多個掃描線上的像素數據的線緩衝器亦可實現，為避免篇幅過長，
7在此不另贅述。當計算電路110針對圖場FnV的圖像區塊BJ與圖場F/
中的圖像區塊B ，計算一區塊對比差值時，線緩衝器L,至多同時存儲圖場FnV中圖像區塊Bn-,，內水平掃描線SL位置上的像素數據，而線緩衝器L2與L3至
多分別同時存儲圖場Fn，中圖像區塊Bn，內水平掃描線SL，位置的上一相鄰水
平掃描線SL2位置上的像素數據以及下一相鄰水平掃描線SL3位置上的像素數
據。由於圖場Fn-，與Fn，分屬於偶圖場與奇圖場，因此，在本實施例中為了
能夠計算出該區塊對比差值，計算電路110會先對線緩沖器"及L3中的像素數據進行平均產生至少一暫時像素數據，然後計算電路110再依據該暫時像素數據以及存儲於線緩衝器L,中的水平掃描線SL,位置上的像素數據來產生
多個像素差值，當然該暫時像素數據亦可通過加權平均或是其他計算方式來
加以產生。接著為了計算出其他的像素差值，線緩衝器L2會改成存儲圖場F _,，
中圖像區塊B。V內水平掃描線SL4位置上的像素數據，計算電路則依據水平
掃描線SL,位置上的像素數據與水平掃描線SL位置上的像素數據進行平均所產生的至少一暫時像素數據以及存儲於線緩沖器L3中水平掃描線SLJ立置上
的像素數據來計算像素差值，如此交替地運算將可計算出所有的像素差值。
同樣地，通過累計像素差值的方式，最後計算電路110亦可算出圖像區塊BnV與B。，的區塊對比差值。另外，本發明並未限定圖像區塊BJ與Bn'內的像
素個數及其面積大小。例如，圖像區塊B。—i，與Bn，可以是由l條水平線與m條垂直線所組成的圖像區域，而非僅限定於如圖3所示由n條水平線與m條垂直線所組成的圖像區域。對於由1條水平線與m條垂直線所組成的圖像區
域來說，仍僅需三個線緩衝器即可完成區塊對比運算，而其餘運算過程則類似於上述例子中的運算過程，為了避免說明書過於冗長在此不另贅述。此外，上述針對奇偶圖場計算一像素差值亦可利用不同的方式來實現的，
例如，當圖像區塊B^，內水平掃描線SL，位置上的一像素數據P，落入圖像區
塊Bn，內水平掃描線SL2、SL3上對應於相同垂直位置的兩像素數據P2與P3之
間，其像素差值將為零，此因為一奇一偶所組成的兩連續圖場中，若該奇/偶圖場中一像素值落入另 一圖場中相對應垂直上下位置的兩像素值之間，則
可能表示對應於該像素值的圖像是靜止的，所以上述的像素差值應視為零；
反之，當像素數據P,未落入像素數據P2、 P3之間且像素數據P,、 P2的像素差值小於像素數據P,、 P3的像素差值，其像素差值則為像素數據P、P2的像素差值。
8另外，亦可通過額外增加多個存儲器來依序地存儲輸入數據DATA^中的幀/圖場而非僅使用單一存儲器105。其好處是，當計算電路110為了將某一存儲器內所存儲的像素數據讀取至其內部的線緩沖器而佔用該存儲器的頻寬時，另 一存儲器因為其頻寬閒置而可被用來接收輸入數據DATAin的幀/圖場，如此一來，接收輸入數據DATAin中的幀/圖場的操作以及計算電路110由存儲器中讀取其所需要的像素數據將不會同時佔用到同 一存儲器，故可加速圖像
處理裝置100的操作速度。
以上所述僅為本發明的較佳實施例，凡依本發明權利要求所進行的等效變化與修改，皆應屬本發明的涵蓋範圍。
9
權利要求
1. 一種圖像處理方法，包含有僅依據水平方向的多個圖像區塊而不參考垂直或其他方向的圖像區塊來完成一區塊對比操作；以及依據該區塊對比操作的一結果來執行一圖像處理操作。
2. 如權利要求1所述的圖像處理方法，其中該圖像處理操作為一圖像插 補運算，以及依據該區塊對比操作的該結果來執行該圖像插補運算的步驟包 含有當該結果指示出依據水平方向的該多個圖像區塊所計算出的多個區塊對 比差值均大於一預定閾值時，直接重複一先前圖像中對應一待插補位置的一 圖像區塊；以及當該結果指示出該多個區塊對比差值中一最小區塊對比差值不大於該預 定閾值時，依據該最小區塊對比差值所對應的一移動向量來對該待插補位置 進行圖像插補運算。
3. —種圖像處理裝置，包含有一計算電路，用來僅依據水平方向的多個圖像區塊而不參考垂直或其他 方向的圖像區塊來完成一區塊對比操作；以及一圖像處理電路，耦接於該計算電路，依據該區塊對比操作的一結果來 執行一圖像處理操作。
4. 如權利要求3所述的圖像處理裝置，其中該圖像處理操作系一圖像插 補運算；當該結杲指示出依據水平方向的該多個圖像區塊所計算出的多個區 塊對比差值均大於一預定閾值時，該圖像處理電路會直接重複一先前圖像中 對應 一待插補位置的 一圖像區塊；以及當該結果指示出該多個區塊對比差值 中一最小區塊對比差值不大於該預定閾值時，該圖像處理電路會依據該最小 區塊對比差值所對應的一移動向量來對該待插補位置進行圖像插補運算。
5. 如權利要求3所述的圖像處理裝置，其還包含有 一存儲器，耦接於該計算電路，用來存儲多個輸入幀/圖場數據。
6. 如權利要求3所述的圖像處理裝置，其中該計算電路包含有一第一線 緩衝器及一第二線緩沖器，該第一及第二線緩衝器至多各同時存儲兩圖像中 對應同一水平線位置上的像素數據，其中該兩圖像為幀數據，且該多個圖像區塊於該第 一線緩沖器及該第二線緩沖器中產生。
7.如權利要求3所述的圖像處理裝置，其中該計算電路包含 一第一線緩衝器，用來至多同時存儲一第一圖像的一第一水平線位置上 的像素數據；一第二線緩衝器，用來至多同時存儲一 第二圖像的該第 一 水平線位置的 上一相鄰水平線位置上的像素數據；以及一第三線緩衝器，用來至多同時存儲該第二圖像的該第 一水平線位置的 下一相鄰水平線位置上的像素數據；其中該計算電路先計算該第二線緩衝器及該第三線緩衝器中的像素數據來產生至少一暫時像素數據，該多個圖像區塊根據該第一圖像的該第一水平 線位置上的像素數據以及該暫時像素數據產生，且該第 一及第二圖像為圖場 數據。
全文摘要
本發明提供一種圖像處理方法。該圖像處理方法包含有僅依據水平方向的多個圖像區塊而不參考垂直或其他方向的圖像區塊來完成一區塊對比操作以及依據該區塊對比操作的一結果來執行一圖像處理操作。
文檔編號H04N5/14GK101459761SQ200710199449
公開日2009年6月17日 申請日期2007年12月13日 優先權日2007年12月13日
發明者吳振禧, 陳仲怡 申請人:晨星半導體股份有限公司