可調式圖像格式轉換系統的製作方法
2023-06-26 17:59:06
專利名稱：可調式圖像格式轉換系統的製作方法
技術領域：
本發明涉及一種可調式圖像格式轉換系統，特別是涉及一種可以依據系統資源的狀況，決定進行移動檢測時使用的視頻場數目的交錯轉循序圖像格式轉換系統。
背景技術：
一般的圖像訊號大致上可以分為循序式圖像訊號(progressive video signal)與交錯式圖像訊號(interlaced video signal)兩種，所謂循序式圖像訊號係指在每一個取樣的時間點上，每一個視頻幀(video frame)都包含有圖像中所有的點(或是像素，pixel)；至於交錯式圖像訊號，則是在任一個取樣的時間點上的視頻場(video field)中僅包含有圖像一半的點，在下一個取樣的時間點上的視頻場則包含有圖像中另一半的點。交錯式掃瞄的優點是可以達到高視頻場率(higf field rate)的優點，但是若要將一個交錯式圖像訊號在一個循序式播放媒體(例如一計算機顯示器)上播放，則必須對欲播放的交錯式圖像訊號進行「交錯至循序轉換」(interlaced to progressive conversion)的工作。
傳統使用一個單一功能的圖像格式轉換晶片來進行交錯至循序轉換的工作，這樣的晶片由於運算與存儲器頻寬以及容量的需求固定，因此在資源管理上並不需要太複雜的控制。但隨著計算機系統的日益進步，整合了視訊處理功能的晶片陸續被推出，由於系統需處理許多不同形式的數據流，使得整體系統資源的管理上越趨複雜，一般的解決方法是以整體資源需求最嚴格的情形來設計系統，但是這會造成一些缺點，例如為了合乎最嚴格的需求，系統成本會非常高；最嚴格的需求只有在少數情形下才會出現，使得資源利用率不經濟。
Wagner等人所提出的第6452639號美國專利提供了一個根據系統資源來決定內插理論(interpolation algorithm)的消除交錯(de-interlacing)方法，也就是說，在資源充裕的狀況下，系統可以使用較複雜的內插方式，以將交錯式圖像訊號轉換成循序式圖像訊號，在資源較少的狀況下，則是使用較簡單的內插方式。
然而在進行交錯至循序轉換的工作時，最有效率的方法是採用「移動適應消除交錯」(motion-adaptive de-interlacing)的方式，一般而言，在移動適應消除交錯的方式中，大致上可分為兩個步驟，第一個步驟是進行移動檢測(motion detection)，就是檢測交錯圖像訊號中固定數目的視頻場以判別圖像的移動狀況；第二個步驟則是依據所檢測出來的移動狀況，選擇適當的內插方式，以將交錯式圖像訊號轉換成循序式圖像訊號。
請參閱圖1，圖1為已知技術一圖像格式轉換系統的示意圖。在這個例子中，圖像格式轉換系統100是一個整合了MPEG編解碼(MPEGencode/decode)以及圖像格式轉換(video format convert)能力的單一晶片。在圖像格式轉換系統100中包含有用來處理MPEG編解碼的一MPEG處理單元120以及用來處理圖像格式轉換的圖像格式轉換單元140。圖像格式轉換系統100可以使用變動系統資源180(存儲器頻寬、存儲器容量等等)來進行MPEG編解碼及圖像格式轉換的工作。圖像格式轉換單元140中包含有一移動檢測器150以及一內插器160，移動檢測器150可以對檢測交錯圖像訊號中固定數目的視頻場以判別圖像的移動狀況；內插器160則用來依據移動檢測器的檢測結果選定內插方式，以將交錯式圖像訊號轉換成循序式圖像訊號。
事實上，移動檢測可分為各種不同視頻場數的移動檢測，視頻場數可以從兩視頻場到六視頻場甚至更多的視頻場，使用的視頻場越多，對移動的檢測結果就越精準，但視頻場數越多，所需使用越多的系統資源也就越多。圖2為三視頻場移動檢測的示意圖。在欲了解視頻場號T中的欲內插點X點的移動狀況時，三視頻場移動檢測對視頻場號T-1中的A點以及視頻場號T+1中的B點的像素值(pixel value)進行相減的操作，然後使用一閾值threshold作為動態或靜態的界定標準，若|A-B|＞threshold時，即視為動態，若|A-B|＜threshold時，則視為靜態，至於檢測的結果是動態或靜態則可決定系統所採用的內插方式。
圖3則為六視頻場移動檢測的示意圖。視頻場號T中的X點是欲內插點，當|A-B|＞threshold或|C-D|＞threshold或|E-F|＞threshold或|C-G|＞threshold或|E-H|＞threshold或|A-I|＞threshold時，即視為動態，反之則視為靜態。當然，視頻場號的選擇不見得要如圖3所示，六視頻場移動檢測選擇的視頻場可以由T-3至T+2，也可以是由T-2至T+3或是其它的選擇。
在進行移動檢測時，視頻場數越多，所需的系統資源就越多，然而在在已知技術中，例如圖1所示的圖像格式轉換系統100，移動檢測器150並不具備動態的依據變動系統資源180的狀況，決定用來進行移動檢測時擷取的視頻場數的能力。若無法依據系統資源的狀況動態決定移動檢測時所使用的視頻場數，則無法在系統資源允許的狀況下選擇出最適合的移動檢測方式，以使得移動適應消除交錯的方式達到最佳的效果。
發明內容
因此本發明的主要目的，在於提供一種可以動態依據系統資源的狀況，決定進行移動檢測時使用的檢測視頻場數目，以解決已知技術所面臨的問題根據本發明披露了一種可調式圖像格式轉換系統，可運用各種變動系統資源將一交錯圖像訊號轉換為一循序圖像訊號，該可調式圖像格式轉換系統包含有一可調式移動適應消除交錯系統，用來依據一圖像區域的移動狀況將該交錯圖像訊號轉換為該循序圖像訊號；以及一模式控制模塊，用來依據所述變動系統資源的可利用性及/或該可調式圖像格式轉換系統的狀態決定一檢測數量。該可調式移動適應消除交錯系統包含有一視頻場數可調移動檢測裝置，用來擷取數量等於該檢測數量的多個圖像視頻場以判別該圖像區域的移動狀況。
由於本發明的可調式圖像格式轉換系統中的視頻場數可調移動檢測裝置可以依據模式控制模塊動態決定出來的檢測數量，決定進行移動檢測時所使用的視頻場數，因此可以達到系統資源利用的最佳化，已在系統資源允許的情況下，達到最佳的圖像效果，因此可解決已知技術所面臨的問題。
圖1為已知技術一圖像格式轉換系統的示意圖；圖2為三視頻場移動檢測的示意圖；圖3為六視頻場移動檢測的示意圖；圖4為本發明可調式圖像格式轉換系統一較佳實施例的示意圖；
圖5為可調式移動適應消除交錯系統440的示意圖；圖6為依據存儲器頻寬的可利用性決定檢測數量的對照表的一例；圖7為依據使用者選擇的運作模式決定檢測數量的對照表的一例；圖8為本發明視頻場數可調移動檢測裝置第一實施例示意圖；和圖9為本發明視頻場數可調移動檢測裝置第二實施例示意圖。
附圖標號說明100 圖像格式轉換系統 120、420 MPEG處理單元140 圖像格式轉換單元 150移動檢測器160、460內插器180、480 變動系統資源400 可調式圖像格式轉 440可調式移動適應消換系統 除交錯系統450 視頻場數可調移動 455a-e 移動檢測器檢測裝置480 變動系統資源 800、900 視頻場數可調移動檢測裝置810a-f、910a-f 像素區別電路 820a-f、920a-f 減法器830a-f、930a-f 絕對值電路850a-f、950a-f 切換器860a-f、970 比較器870邏輯或電路890、990決定電路 960選擇器具體實施方式
請參閱圖4，圖4為本發明可調式圖像格式轉換系統一較佳實施例的示意圖。本實施例中的可調式圖像格式轉換系統400為一整合了MPEG編解碼以及圖像格式轉換能力的單一晶片，其可運用變動系統資源480(如存儲器、存儲器頻寬等等)以進行MPEG編解碼或圖像格式轉換的工作。可調式圖像格式轉換系統400包含有一模式控制模塊410，用來依據變動系統資源480的可利用性及/或可調式圖像格式轉換系統400的狀態決定一檢測數量；以及一可調式移動適應消除交錯系統440，用來依據一圖像區域的移動狀況將一交錯圖像訊號轉換為一循序圖像訊號。可調式移動適應消除交錯系統440中包含有一視頻場數可調移動檢測裝置450，用來擷取數量等於該檢測數量的多個圖像視頻場以判別該圖像區域的移動狀況；以及一內插器460。
請參閱圖5，圖5為可調式移動適應消除交錯系統440的示意圖。在本實施例中，視頻場數可調移動檢測裝置450中包含有五個移動檢測器455a-e，每個移動檢測器455a-e皆可用來執行不同視頻場數的移動檢測，至於使用哪一個移動檢測器來執行移動檢測的工作，則由模式控制模塊410所定出的檢測數量所決定，例如，當該檢測數量等於6時，視頻場數可調移動檢測裝置450使用移動檢測器455e來進行移動檢測的工作；當該檢測數量等於4時，視頻場數可調移動檢測裝置450使用移動檢測器455c來進行移動檢測的工作。內插器460可依據視頻場數可調移動檢測裝置450的移動檢測結果決定內插方式。請注意在本實施例中不同數目的移動檢測工作由不同的移動檢測器455a-e負責，在實施上亦可以使得視頻場數可調移動檢測裝置450本身即可具備有可執行多種不同視頻場數移動檢測的能力，而不用還包含有五個個別的移動檢測器455a-e。這樣的裝置在後文會有更詳細的說明。
如前所述，模式控制模塊410可依據變動系統資源480的可利用性及/或可調式圖像格式轉換系統400的狀態決定該檢測數量。其中變動系統資源410的可利用性可取決於可調式圖像格式轉換系統400或整體系統的運算能力，存儲器空間的可利用性、存儲器頻寬或功率消耗。當變動系統資源480的可利用性顯示出系統資源足夠時，模式控制模塊410即可以選擇較大的檢測數量；當變動系統資源410的可利用性顯示出系統資源不足時，模式控制模塊410即可以選擇較小的檢測數量。以存儲器頻寬而言，圖6為依據存儲器頻寬的可利用性決定檢測數量的對照表的一例。當然，圖6亦僅為舉例，系統設計者在設計時亦可依據實際狀況決定出最佳的參數配置。
至於可調式圖像格式轉換系統400的狀態則可取決於圖像及/或音訊數據流的數據量；圖像及/或音訊解碼器的數據量；圖像及/或音訊編碼器的數據量；編碼剖析器及/或解碼剖析器(parser)的工作量；子畫面控制器(sub-picture controller)的顯示及/或解碼的工作量；視控調整控制器(on-screen-display controller)的工作量；或使用者選擇的運作模式。整體來說，就是當模式控制模塊410檢測到的可調式圖像格式轉換系統400的狀態顯示出可調式移動適應消除交錯系統440所能分配到的系統資源較多時，模式控制模塊410即選擇大的檢測數量；當可調式圖像格式轉換系統400的狀態顯示出可調式移動適應消除交錯系統410所能分配到的系統資源較少時，模式控制模塊410即選擇小的檢測數量。
以上所謂的使用者選擇的運作模式，可以是寬屏幕顯示(Letterbox)、全屏幕顯示(Pan-scan)、歐規轉美規(PAL-to-NTSC conversion)、美規轉歐規(NTSC-to-PAL conversion)、放大(zoom in)或縮小(zoom out)等等，模式控制模塊410可以配合任一特定的模式選擇特定的檢測數量，圖7為依據使用者選擇的運作模式決定檢測數量的對照表的一例。請注意圖7僅為舉例，系統設計者在設計時可依據實際狀況決定出最佳的參數配置。
另外，模式控制模塊410亦可以設置於可調式圖像格式轉換系統400中的存儲器控制器(memory controller)中(未顯示於圖4)，以便能實時依據該存儲器控制器的存儲器頻寬的負擔來動態調整該檢測數量，當該存儲器控制器的存儲器頻寬的負擔越小，模式控制模塊410即可決定出越大的檢測數量；當該存儲器控制器的存儲器頻寬的負擔越大，模式控制模塊410則決定出越小的檢測數量。
如先前所述，圖4中的視頻場數可調移動檢測裝置450可以本身即具有執行不同視頻場數目移動檢測的能力，以下將介紹本發明所提出的裝置架構。請參閱圖8，圖8為本發明視頻場數可調移動檢測裝置第一實施例示意圖。視頻場數可調移動檢測裝置800用來對一交錯圖像訊號中的多個圖像視頻場執行移動檢測，以判別一圖像區域的移動狀況，視頻場數可調移動檢測裝置800包含有多個像素區別電路810a-f(在本實施例中有6個像素區別電路)，一決定電路890；以及一視頻場數調整器(在本實施例中，切換器850a-f即可視為該視頻場調整器)。任一個像素區別電路810a-f用來計算該圖像區域中一特定點在兩個不同圖像視頻場中像素值的差異狀況，以輸出一檢測值，配合圖3所示的六視頻場移動檢測的示意圖，在這個實施例中，輸入各個像素區別電路810a-f的輸入值A、B、C、D、E、F、G、H、I分別為圖3中A、B、C、D、E、F、G、H、I點的像素值。一個像素區別電路810a-f皆包含有一個減法器820a-f與一個絕對值電路830a-f，可以用來計算兩個像素值差異的絕對值。先不考慮切換器850a-f時，決定電路890中的比較器860a-f可以將每一個像素區別電路輸出的檢測值與一相對應閾值進行比較(這些相對應閾值可以是同一個值，也可以是各有各不同的值)，以產生一布爾值BLa-f，並對這些布爾值進行邏輯或(logic OR)運算，以得出移動檢測結果，這時候視頻場數可調移動檢測裝置800即可被視為是一個六視頻場移動檢測裝置。
但是不一定每一個時間點的系統資源都適合使用六視頻場移動檢測，所以視頻場數調整器的存在就是為了動態的調整用來檢測移動狀況的視頻場數，舉例來說，當系統資源適合使用五視頻場移動檢測時，視頻場數調整器可以利用切換器850f將輸入比較器860f的值強制設為零，如此一來，圖3中視頻場號T-3的視頻場就不會對檢測結果造成任何影響；當系統資源適合使用四視頻場移動檢測時，視頻場數調整器可以利用切換器850f、805e、805d將輸入比較器860f、860e、860d的值強制設為零，此時，圖3中視頻場號T-3以及T+2的視頻場就不會對檢測結果造成任何影響。因此，視頻場數可調移動檢測裝置800即可動態的依據系統資源的狀況，動態的調整用來作移動檢測的視頻場數目。當然，切換器850a-f不一定要將輸入比較器860f、860e、860d的值強制設為零，只要可以將個別的值強制設為小於相對應閾值的值即可。
圖8中的視頻場數調整器(即切換器850a-f)不一定要設置於像素區別電路810a-f與比較器860a-f之間，亦可以被設置在比較器860a-f與邏輯或電路870之間，以將布爾值BLa-f中的部分布爾值強制設為零；或者是設置在像素區別電路810a-f的輸入端，以將部分的像素區別電路的兩個輸入端的值強制設為相同的值。以上都是設置視頻場數調整器以達到動態調整進行移動檢測的視頻場數的效果的配置方法。
有時候在低視頻場數的移動檢測並無法檢測快速移動的物體，而會造成圖像呈現破碎的現象，為了解決這樣的問題，本發明的視頻場數可調移動檢測裝置800亦可以如圖8所示搭配鋸齒檢測器(sawtooth detector，亦可稱為mouse teeth detector)一同使用。
請參閱圖9，圖9為本發明視頻場數可調移動檢測裝置第二實施例示意圖。視頻場數可調移動檢測裝置900與800的主要不同在於決定電路990中的選擇器960會先從像素區別電路910a-f輸出的檢測值中，計算出最大的檢測值，比較器970再將這個最大的檢測值與一預設閾值進行比較，以得出最終的檢測結果。視頻場數調整器(在本實施例中即為切換器950a-f)，可用來將部分像素區別電路910a-f輸出的檢測值強制設為小於該預設閾值的固定值(在本實施例中是強制設為零)，即可達到動態調整視頻場數的目的；當然，與上述相同，圖9中的視頻場數調整器(即切換器950a-f)不一定要設置於像素區別電路910a-f與選擇器960之間，亦可以被設置在像素區別電路910a-f的輸入端，以將部分的像素區別電路的兩個輸入端的值強制設為相同的值，以達到動態調整進行移動檢測的視頻場數的效果。當然，圖9的視頻場數可調移動檢測裝置900亦可以搭配鋸齒檢測器一同使用。
以上所述僅為本發明的較佳實施例，凡依本發明權利要求所做的均等變化與修飾，皆應屬本發明專利的涵蓋範圍。
權利要求
1.一種可調式圖像格式轉換系統，可運用各種變動系統資源將一交錯圖像訊號轉換為一循序圖像訊號，該可調式圖像格式轉換系統包含有一可調式移動適應消除交錯系統，用來依據一圖像區域的移動狀況將該交錯圖像訊號轉換為該循序圖像訊號，該可調式移動適應消除交錯系統包含有一視頻場數可調移動檢測裝置，用來擷取數量等於一檢測數量的多個圖像視頻場以判別該圖像區域的移動狀況；以及一模式控制模塊，用來依據所述變動系統資源的可利用性及/或該可調式圖像格式轉換系統的狀態決定該檢測數量。
2.如權利要求1所述的可調式圖像格式轉換系統，其中該可調式移動適應消除交錯系統包含有至少一個移動檢測器，以及至少一個由該移動檢測器控制的內插器。
3.如權利要求1所述的可調式圖像格式轉換系統，其中所述變動系統資源的可利用性取決於該可調式圖像格式轉換系統或整體系統的運算能力，存儲器空間的可利用性、存儲器頻寬或功率消耗。
4.如權利要求1所述的可調式圖像格式轉換系統，其中該可調式圖像格式轉換系統的狀態取決於圖像及/或音訊數據流的數據量。
5.如權利要求1所述的可調式圖像格式轉換系統，其中該可調式圖像格式轉換系統的狀態取決於圖像及/或音訊解碼器的數據量。
6.如權利要求1所述的可調式圖像格式轉換系統，其中該可調式圖像格式轉換系統的狀態取決於圖像及/或音訊編碼器的數據量。
7.如權利要求1所述的可調式圖像格式轉換系統，其中該可調式圖像格式轉換系統的狀態取決於一編碼剖析器及/或一解碼剖析器的工作量。
8.如權利要求1所述的可調式圖像格式轉換系統，其中該可調式圖像格式轉換系統的狀態取決於一子畫面控制器的顯示及/或解碼的工作量。
9.如權利要求1所述的可調式圖像格式轉換系統，其中該可調式圖像格式轉換系統的狀態取決於一視控調整控制器的工作量。
10.如權利要求1所述的可調式圖像格式轉換系統，其中該可調式圖像格式轉換系統的狀態取決於一存儲器控制器的存儲器頻寬的負擔。
11.如權利要求1所述的可調式圖像格式轉換系統，其中該可調式圖像格式轉換系統的狀態取決於使用者選擇的運作模式，如寬屏幕顯示、全屏幕顯示、歐規轉美規、美規轉歐規、放大或縮小。
12.如權利要求1所述的可調式圖像格式轉換系統，其中該檢測數目介於二到六之間。
13.一種視頻場數可調移動檢測裝置，用來對一交錯圖像訊號中的多個圖像視頻場執行移動檢測，以判別一圖像區域的移動狀況，該視頻場數可調移動檢測裝置包含有多個像素區別電路，其中一像素區別電路用來計算該圖像區域中一特定點在兩個不同圖像視頻場中像素值的差異狀況，以輸出一檢測值；一決定電路，耦合於所述像素區別電路，用來對所述檢測值進行運算，以判別該圖像區域的改變狀況；以及一視頻場數調整器，用來依據一檢測數量，調整所述像素區別電路及/或該決定電路，以消除所述圖像視頻場中部份圖像視頻場對該決定電路的運算結果的影響。
14.如權利要求13所述的視頻場數可調移動檢測裝置，其中一像素區別電路包含有一減法器，用來計算一特定點在兩個不同圖像視頻場中的像素值的相差值；以及一絕對值電路，耦合於該減法器，用來將該減法器的運算結果取絕對值，以作為一檢測值。
15.如權利要求13所述的視頻場數可調移動檢測裝置，其中該決定電路用來將所述檢測值中的一檢測值與一相對應的閾值進行比較，以產生一布爾值，並對所述布爾值進行邏輯或運算，以判別該圖像區域的改變狀況。
16.如權利要求15所述的視頻場數可調移動檢測裝置，其中該視頻場數調整器用來依據該檢測數量，將所述檢測值中部分的檢測值強制設為小於相對應閾值的固定值。
17.如權利要求15所述的視頻場數可調移動檢測裝置，其中該視頻場數調整器用來依據該檢測數量，將所述布爾值中部分的布爾值強制設為零。
18.如權利要求13所述的視頻場數可調移動檢測裝置，其中該決定電路用來將所述像素區別電路輸出的所述檢測值進行比較，以得出一最大檢測值，並將該最大檢測值與一預設閾值進行比較，以判別該圖像區域的改變狀況。
19.如權利要求18所述的視頻場數可調移動檢測裝置，其中該視頻場數調整器用來將所述檢測值中部分檢測值設成小於該預設閾值的特定值。
20.如權利要求13所述的視頻場數可調移動檢測裝置，其中該視頻場數調整器用來依據該檢測數量，將所述像素區別電路中部分像素區別電路的兩個輸入值強制設為相等的值。
全文摘要
一種可調式圖像格式轉換系統，可運用各種變動系統資源將一交錯圖像訊號轉換為一循序圖像訊號，該可調式圖像格式轉換系統包含有一可調式移動適應消除交錯系統，用來依據一圖像區域的移動狀況將該交錯圖像訊號轉換為該循序圖像訊號；以及一模式控制模塊，用來依據所述變動系統資源的可利用性及/或該可調式圖像格式轉換系統的狀態決定一檢測數量。該可調式移動適應消除交錯系統包含有一視頻場數可調移動檢測裝置，用來擷取數量等於該檢測數量的多個圖像視頻場以判別該圖像區域的移動狀況。
文檔編號G06F11/27GK1585474SQ0315457
公開日2005年2月23日 申請日期2003年8月19日 優先權日2003年8月19日
發明者李元仲 申請人:聯發科技股份有限公司