圖幀速率轉換的方法及影像處理裝置的製作方法

2023-05-24 14:11:01 1

專利名稱：圖幀速率轉換的方法及影像處理裝置的製作方法
技術領域：
本發明有關於一種影像處理機制，尤指一種使用於圖幀速率轉換的方法及其影像
處理裝置。
背景技術：
目前來說，由於技術的成熟發展，目前的顯 示器已能夠支援到更高速率的圖幀顯示，例如，目前顯示器每秒已可輸出100張或200張的圖幀來顯示影像，然而，但在處理電影畫面(Film Mode)時，由於電影畫面是由每秒24/25張畫面所錄製而成，與視頻畫面以每秒50/60(或100/200)張畫面錄製及傳送不同。電影模式下圖幀拍攝的產生速率並非與顯示器的圖幀顯示速率相符，且電影模式下所拍攝的圖幀產生速率也隨不同的電影模式而有所不同，如果使用不恰當的圖幀轉換速率機制將電影模式所拍攝而得的圖幀轉換為於顯示器上顯示的圖幀，則人眼在影像觀賞將極易感知到顯示技術的缺陷以及影像的抖動，而造成不舒適。因此，發展出一種可彈性轉換多種電影模式所拍攝圖幀的圖幀速率，使之能夠於一顯示器上播放的影像處理機制顯然是極為重要。

發明內容
因此，本發明的目的之一在於提供一種使用於圖幀速率轉換的影像處理裝置及方法，該影像處理裝置及方法可適應性地判斷輸入圖幀的電影模式為何，並依據所判定的電影模式來決定相對應的影像內插技術，所以可正確處理不同電影模式所拍攝而得的圖幀。依據本發明的實施例，其揭示一種圖幀速率轉換的方法，該方法包含檢測多張輸入圖幀，適應性地決定該多張輸入圖幀所對應的影像模式；對該多張輸入圖幀進行移動估計，以產生一移動估計結果；依據所決定的該影像模式、該移動估計結果以及該多張輸入圖幀，內插出多張內插後圖幀，以產生多張轉換後的輸出圖幀，其中該些輸出圖幀的圖幀速率不同於該些輸入圖幀的圖幀速率。依據本發明的實施例，其另揭示露一種圖幀速率轉換的影像處理裝置，影像處理裝置包含有一模式決定電路及一影像產生電路，模式決定電路用以檢測多張輸入圖幀，適應性地決定該多張輸入圖幀所對應的影像模式，以及影像產生電路耦接至模式決定電路並用以對該多張輸入圖幀進行移動估計以產生一移動估計結果，以及依據所決定的該影像模式、該移動估計結果以及該多張輸入圖幀，內插出多張內插後圖幀以產生多張轉換後的輸出圖幀，其中該些輸出圖幀的圖幀速率不同於該些輸入圖幀的圖幀速率。


圖I為本發明一實施例的影像處理裝置的示意圖。圖2為圖I所示的影像處理裝置依據輸入圖幀F_IN產生輸出圖幀F_0UT的範例示意圖。圖3為圖I所示的影像處理裝置的操作流程圖。
主要元件符號說明100影像處理裝置105模式決定電路110儲存電路115影像產生電路1051模式檢測器1052控制單元1151移動估計器 1152影像產生單元
具體實施例方式請搭配參照圖1，圖I是本發明一實施例的影像處理裝置100的示意圖。影像處理裝置100用以依據多張輸入圖幀F_IN來產生多張輸出圖幀F_0UT，其中，輸出圖幀F_0UT的圖幀速率被設計為高於輸入圖幀F_IN的圖幀速率，然此並非本發明的限制，在另一實施例中，亦可將輸出圖幀F_0UT的圖幀速率設計為低於輸入圖幀F_IN的圖幀速率，換言之，輸出圖幀F_0UT的圖幀速率不同於輸入圖幀F_IN的圖幀速率，亦即，影像處理裝置100用以進行圖幀速率轉換的操作，就應用範圍來說，影像處理裝置100可應用於將以電影畫面的圖幀(對應於電影拍攝的圖幀產生速率)轉換為可於顯示器上所播放的圖幀(對應於顯示器本身的圖幀播放速率)，然此並非本發明的限制。如圖I所示，影像處理裝置100包含有一模式決定電路105、一儲存電路110以及一影像產生電路115，模式決定電路105用以檢測多張輸入圖幀F_IN的影像數據，以適應性地決定該多張輸入圖幀F_IN所對應的影像模式，而儲存電路110用以暫存該多張輸入圖幀F_IN的影像數據並提供該些圖幀中的像素數據至模式決定電路105，此外，儲存電路110亦用以將圖幀數據提供至影像產生電路115，以及影像產生電路115對該多張輸入圖幀F_IN進行移動估計，以產生一移動估計結果MV，並依據模式決定電路105所決定的該影像模式、所產生的移動估計結果MV以及該多張輸入圖幀F_IN，內插(Interpolation)出多張內插後圖幀，以產生多張轉換後的輸出圖幀F_0UT。換言之，本發明的實施例依據輸入圖幀F_IN來適應性地決定目前所對應的影像模式，之後依據所對應的影像模式來產生具有上述的輸出圖幀F_0UT，而影像模式可包含有多不同的電影模式，例如是3:2下拉電影模式(Pull Down Film Mode)及2:2下拉電影模式等,不同的電影模式對應於不同的圖幀拍攝產生速率，由於一顯示器的圖幀顯示速率是固定的，所以僅能將單一拍攝速率所產生的圖幀轉換為顯示於顯示器上的圖幀是不符合需求的，因此，本實施例的影像處理裝置100具有適應性決定電影模式(亦即可於兩不同電影模式之間作切換)的功能並依據所決定的電影模式的不同來選擇相對應的顯示圖幀產生機制，如此更能符合目前使用者的需求。實作上，模式決定電路105包含有一模式檢測器1051與一控制單兀1052,模式檢測器1051用以檢測該多張輸入圖幀F_IN，以產生該多張輸入圖幀？_爪所分別對應的多圖幀索引，控制單元1052則耦接至模式檢測器1051並用以依據該多圖幀索引，適應性地決定該多張輸入圖幀所對應的影像模式，其中該些圖幀索引用以標記出其相對應的一組連續圖幀是否為重複相同的圖幀，而模式檢測器1051在檢測出一組連續圖幀為重複相同圖幀時將該組圖幀所對應的圖幀索引設定為相同，亦即，不是重複相同的圖幀，其相對應的圖幀索引將不同，舉例來說，以3:2下拉電影模式所拍攝產生的輸入圖幀F_IN中，將具有一組3個連續重複相同的圖幀以及之後立即接續有一組2個連續重複相同的圖幀(此兩組圖幀並非互為重複的圖幀)，因此，模式檢測器1051依據上述的影像特性來產生一組3個連續相同的圖幀索引以及之後立即接續產生一組2個連續相同的圖幀索引，此種圖幀索引的排列信息即能指示相對應的輸入圖幀為3:2下拉電影模式所拍攝的，另外，以2:2下拉電影模式所拍攝產生的輸入圖幀F_IN為例來說，將具有一組2個連續重複相同的圖幀以及之後立即接續有一組2個連續重複相同的圖幀(此兩組圖幀並非互為重複的圖幀)，因此，模式檢測器1051依據上述的影像特性來產生一組2個連續相同的圖幀索引以及之後立即接續產生一組2個連續相同的圖幀索引，此種圖幀索引的排列信息即能指示相對應的輸入圖幀為2:2下拉電影模式所拍攝的，另外，如果輸入圖幀？_爪中某段影像A以3:2下拉電影模式所拍攝而另一段影像B則以2:2下拉電影模式所拍攝，則A段影像亦將具有一組3個連續重複相同圖幀以及下一組2個連續重複相同圖幀的影像特性，且B段影像具有一組2個連續重複相同圖幀以及下一組2個連續重複相同圖幀的影像特性，因此，模式檢測器1051於產生並 設定圖幀索引時，將A段影像所對應的圖幀索引設定為一組3個連續相同的圖幀索引以及下一組2個連續相同的圖幀索引，並將B段影像所對應的圖幀索引設定為一組2個連續相同的圖幀索引以及下一組2個連續相同的圖幀索引，所以，當影像處理裝置100正在接收並處理輸入圖幀F_IN中的A段影像時，控制單元1052可依據上述的模式檢測器1051所設定的圖幀索引排列方式及數目來決定目前圖幀於3:2下拉電影模式，而當影像處理裝置100處理完A段影像並正在接收及處理輸入圖幀F_IN中的B段影像時，控制單元1052則可依據上述的模式檢測器1051所設定的圖幀索引排列方式及數目來決定目前圖幀於2:2下拉電影模式，換句話說，控制單元1052將目前圖幀所對應的電影模式由第一電影模式(3:2下拉電影模式)切換至第二電影模式(2:2下拉電影模式)，而如果前述B段影像的時間順序早於A段影像的時間順序，則在電影模式切換時，控制單元1052將目前圖幀所對應的電影模式由第二電影模式(2:2下拉電影模式)切換至第一電影模式(3:2下拉電影模式)。需注意的是，第一電影模式可以是M:N下拉電影模式而非僅限於3:2下拉電影模式，第二電影模式可以是L:N下拉電影模式而非僅限於2:2下拉電影模式，其中L、M、N為正整數，L不同於M。此外，由於模式檢測器1051所產生的圖幀索引可被控制單元1052所參考而適應性地決定所相對應的電影模式，所以該些圖幀索引亦即是相對應圖幀的影像模式信息，利用該些圖幀索引來代表所檢測出的影像模式信息僅為一種實作方式，而並非是本發明的限制。此外，當模式檢測器1051於檢測是否一組連續圖幀為重複相同的圖幀時，可藉由進行像素數據的比對來完成，也就是說，可利用比較該組圖幀是否互為重複相同的圖幀來進行判斷，而需注意的是，在本發明的實施例中，當比較兩圖幀是否為重複相同的圖幀，只要兩圖幀的像素差並未超出一預定範圍，則判定為重複相同的圖幀(亦即本發明的實施例可容許部分的像素計算誤差)，而一旦超出預定範圍時，才會判定為並非是重複相同的圖幀，換言之，當兩圖幀雖然並非是完全相同的影像但具有相同的影像特性時(其彼此的像素間的差異小於預定範圍)，模式檢測器1051判定該兩圖幀為重複的圖幀。當控制單元1052決定出目前圖幀所對應的電影模式時，該電影模式的決定結果被輸出至影像產生電路115，以及影像產生電路115根據所決定出的電影模式為何來進行相對應的影像內插操作 ，以產生輸出圖幀？_0^\實作上，影像產生電路115包含有一移動估計器1151與一影像產生單元1152，移動估計器1151用以對該些輸入圖幀F_IN進行影像移動估計來產生相對應的移動估計結果(亦即移動向量)，而影像產生單元1152耦接至移動估計器1151並用以依據所產生的移動估計結果來產生內插的圖幀，以產生最後所輸出的輸出圖幀F_OUT。請參照圖2，圖2是圖I所示的影像處理裝置100依據輸入圖幀F_IN產生輸出圖幀F_OUT的範例示意圖。如圖2所示，輸入圖幀F_IN中包含有由3:2下拉電影模式所拍攝的影像A以及由2:2下拉電影模式所拍攝的影像B，其中影像A是由一組3個重複的圖幀(圖幀0-2)以及下一組2個重複的圖幀(圖幀3-4)所組成，而影像B由一組2個重複的圖幀(圖幀5-6)以及下一組另2個重複的圖幀(圖幀7-8)所組成。因此，當模式檢測器1051設定相對應的圖幀索引時，針對A段影像，所設定的圖幀索引將由一組3個相同的圖幀索引(亦即A)以及下一組2個相同的圖幀索引(亦即□)所組成，而針對B段影像，所設定的圖幀索引將由一組2個相同的圖幀索引(亦即〇)以及下一組2個相同的圖幀索引(亦即X)所組成，如圖2所示，圖幀索引以INDEX來表示，具有相同INDEX的圖幀則為重複圖幀。因此，當該些圖幀索引依續被輸入至控制單元1052時，控制單元1052可藉由參照圖幀索引的內容，來分析出A段影像由3:2下拉電影模式所拍攝的，而B段影像由2:2下拉電影模式所拍攝的。實作上，最後產生的輸出圖幀？_0爪的時間點顯示於圖2上(以多個虛線矩形表示)，也就是說，輸出圖幀F_0UT的圖幀速率兩倍於輸入圖幀F_IN的圖幀速率，換言之，輸出圖幀F_0UT的張數亦兩倍於輸入圖幀F_IN的張數，舉例來說，輸入圖幀F_IN的A段影像包含有五張圖幀H)-F4，輸出圖幀F_0UT中相對應的影像將包含有十張轉換後的輸出圖幀f0-f9。此外，本實施例中利用F_P與F_N來分別代表移動估計器1151產生移動估計結果所參考的圖幀以及影像產生單元1152進行影像內插時所需參考的前一張影像圖幀與後一張影像圖幀，舉例來說，當目前的影像模式為第一電影模式時(亦即影像處理裝置100接收並處理A段影像時)，針對產生第一張至第五張的輸出圖幀f0-f4，移動估計器1151參考圖幀與圖幀F3(亦即兩組重複輸入圖幀中的第一張)來計算移動估計結果(亦即初始得到的移動向量)，而影像產生單元1152進行影像內插時所需參考的前一張輸入圖幀與後一張輸入圖幀分別為圖幀與圖幀F3，因此，待移動估計器1151估測並輸出移動估計結果至影像產生單元1152後，影像產生單元1152即依據該移動估計結果(例如一初始的移動向量)來計算產生第一張至第五張的輸出圖幀f0_f4時所相對應的移動向量，請參照圖2所示的MI與RATE，MI與RATE的欄位分別代表是否進行影像內插來產生該時點的輸出圖幀以及進行影像內插時所使用的移動向量比例，當欄位MI為『0』指示產生該時間點的輸出圖幀時不進行影像內插而直接將前一張輸入圖幀F_P與後一張輸入圖幀F_N進行影像混合，而當欄位MI為『I』是指示出產生該時間點的輸出圖幀時進行影像內插，而欄位RATE所指示的移動向量比例為移動估計器1151所輸出的初始移動向量的比例，例如，第二張至第五張輸出圖幀H-f4皆對應於移動估計器1051所產生的相同移動估計結果(亦即相同的初始移動向量)，為了使第二張至第五張輸出圖幀fl-f4所顯示的內容可被人眼所區別，影像產生單元1152將欄位RATE所指示的相對應的移動向量比例設定為不同的比例值大小，在本實施例中，影像產生單元1152是將第二張至第五張輸出圖幀fl-f4所對應的欄位RATE分別設定為1/5、2/5、3/5以及4/5，之後即分別依據相對應的欄位RATE、移動估計結果所產生的初移動向量以及前後的影像圖幀F_P、F_N來產生內插出的圖幀，作為輸出圖幀f l_f4，反之，影像產生單元1152將前一張輸入圖幀與後一張圖幀F3進行影像混合來產生輸出圖幀fO。值得注意的是，由於在時間點上欄位RATE所指示的移動向量比例大小以固定大小作增加，所以，人眼在觀看所內插出的多張影像時，會感知到平滑移動的影像，而不會察覺到影像突然停止又再突然加速的異常現象。當目前的影像模式為第一電影模式時，針對產生第六張至第十張的輸出圖幀f5-f9，移動估計器1151參考輸入圖幀F3與F5(亦即各組重複圖幀中的第一張)來計算移動估計結果(亦即初始得到的移動向量)，而影像產生單元1152進行影像內插時所需參考的前一張影像圖幀與後一張影像圖幀分別為圖幀F3與圖幀F5，因此，在移動估計器1151估測並輸出移動估計結果至影像產生單元1152後，影像產生單元1152即依據該移動估計結果來計算產生第六張至第十張的輸出圖幀f5_f9時所相對應的移動向量，在產生第六張輸出圖幀f5時，MI欄位為『0』以指示產生第六張輸出圖幀f5時不進行影像內插，而在產生第七張至第十張輸出圖幀f6_f9時，MI欄位為『I』以指示產生第七張至第十張輸出圖幀 f6-f9時進行影像內插，因此，影像產生單元1152將前一張輸入圖幀F2與後一張輸入圖幀F5進行影像混合來產生輸出圖幀f5，而第七張至第十張輸出圖幀由於皆對應於移動估計器1051所產生的相同移動估計結果(亦即相同的初始移動向量)，所以為了使第七張至第十張輸出圖幀f6-f9所顯示的內容可被人眼區別出，影像產生單元1152將欄位RATE所指示的相對應的移動向量比例設定為不同的比例值大小，在本實施例中，影像產生單元1152將第七張至第十張輸出圖幀f6_f9所對應的欄位RATE分別設定為1/5、2/5、3/5以及4/5，之後即分別依據相對應的欄位RATE、移動估計結果所產生的初移動向量以及前後張的輸入圖幀F3、F5來產生內插出的圖幀，作為輸出圖幀f 6-f 9，由於在時間點上欄位RATE所指示的移動向量比例大小以固定大小作增加，所以，人眼在觀看所內插出的多張影像時，會感知到平滑移動的影像，而不會察覺到影像突然停止又再突然加速的異常現象。當目前的影像模式為第二電影模式時，針對產生第十一張至第十四張的輸出圖幀fl0-fl3，移動估計器1151參考輸入圖幀F5與F7(亦即各組重複圖幀中的第一張)來計算移動估計結果(亦即初始得到的移動向量)，而影像產生單元1152進行影像內插時所需參考的前一張輸入圖巾貞與後一張輸入圖巾貞分別為圖巾貞F5與圖巾貞F7,因此,在移動估計器1151估測並輸出移動估計結果至影像產生單元1152後，影像產生單元1152即依據該移動估計結果來計算產生第十一張至第十四張的輸出圖幀fl0_fl3時所相對應的移動向量，在產生第十一張輸出圖幀HO時，MI欄位為『0』以指示產生第十一張輸出圖幀HO時不進行影像內插，而在產生第十二張至第十四張輸出圖幀fll-f 13時，MI欄位為『I』以指示產生第十二張至第十四張輸出圖幀fll_fl3時進行影像內插，因此，影像產生單元1152將前一張輸入圖幀F5與後一張輸入圖幀F7進行影像混合來產生輸出圖幀HO，而第十二張至第十四張輸出圖幀fll-fl3由於皆對應於移動估計器1051所產生的相同移動估計結果(亦即相同的初始移動向量)，為了使第十二張至第十四張輸出圖幀fll_fl3所顯示的內容可被人眼區別出，影像產生單元1152將欄位RATE所指示的相對應的移動向量比例設定為不同的比例值大小，在本實施例中，影像產生單元1152將第十二張至第十四張輸出圖幀所對應的欄位RATE分別設定為1/4、2/4以及3/4，之後即分別依據相對應的欄位RATE、移動估計結果所產生的初移動向量以及前後張的輸入圖幀？_5、？_7來產生內插出的圖幀，以作為輸出圖幀fll-fl3。當目前的影像模式為第二電影模式時，針對產生第十五張至第十八張的輸出圖幀H4-f 17，移動估計器1151參考輸入圖幀F7與F9 (亦即各組重複圖幀中的第一張)來計算移動估計結果(亦即初始得到的移動向量)，而影像產生單元1152進行影像內插時所需參考的前一張輸入圖巾貞與後一張輸入圖巾貞分別為圖巾貞F7與圖巾貞F9,因此,在移動估計器1151估測並輸出移動估計結果至影像產生單元1152後，影像產生單元1152即依據該移動估計結果來計算產生第十五張至第十八張的輸出圖幀fl4_f 17時所相對應的移動向量，在產生第十五張輸出圖幀f 14時，MI欄位為『0』以指示產生第十五張輸出圖幀f 14時不進行影像內插，而在產生第十六張至第十八張輸出圖幀f 15-f 17時，MI欄位為『 I 』以指示產生第十六張至第十八張輸出圖幀f 15-f 17時進行影像內插，因此，影像產生單元1152將前一張輸入圖幀F7與後一張輸入圖幀F9進行影像混合來產生輸出圖幀fl4，而第十六張至第十八張輸 出圖幀fl5-fl7由於皆對應於移動估計器1051所產生的相同移動估計結果(亦即相同的初始移動向量)，為了使第十六張至第十八張輸出圖幀fl5_fl7所顯示的內容可被人眼區別出，影像產生單元1152將欄位RATE所指示的相對應的移動向量比例設定為不同的比例值大小，在本實施例中，影像產生單元1152將第十六張至第十八張輸出圖幀fl5-fl7所對應的欄位RATE分別設定為1/4、2/4以及3/4，之後即分別依據相對應的欄位RATE、移動估計結果所產生的初移動向量以及前後張的輸入圖幀F7、F9來產生內插出的圖幀，作為輸出圖幀 fl5-fl7。需注意的是，本實施例利用以3:2下拉電影模式所拍攝的A段影像以及以2:2下拉電影模式所拍攝的B段影像來進行影像內插的流程說明，然而，本發明並非只限於處理A段影像與B段影像，亦可用於處理不同下拉電影模式所拍攝的影像，或是處理包含較多圖幀的影像。此外，在另一實施例中，影像產生單元1152也可以利用其他機制來設定欄位RATE所示的比例值，換言之，在前述實施例中欄位RATE所示的移動向量比例大小(以固定大小作增加)僅為說明之用，而並非本發明的限制。此外，前述影像內插方法的精神在於，因原始模式中同一時間間隔內會存在不同數目的圖幀(例如輸入圖幀為3:2下拉電影模式時，同一時間間隔內會分別存在3張以及2張圖幀)，換言之，圖幀內移動物件的移動速度依據輸入圖幀比各自不同(舉例來說，如3:2下拉電影模式中，移動物體一共移動了 30個像素點的距離時，於3圖幀的狀況內，每一圖幀內移動物體的移動速度為5像素點/圖幀，而於2圖幀的狀況內，每一圖幀內移動物體的移動速度為7. 5像素點/圖幀)，因圖幀內移動物件的移動速度不同，人眼在觀看所內插出的多張影像時，會感知到移動物件突然停止又再突然加速的異常現象。在進一步產生一定倍數的輸出圖幀時，會於同一時間間隔內產生更多圖幀，每一張輸出圖幀所對應的時間間隔變的更短，將使得異常現象更加明顯。為解決此問題，本發明依據不同圖幀狀態平均移動向量(例如3圖幀的狀況內需插入5張圖幀時，將移動向量除以5，使每一圖幀分配到的移動距離一致，亦即移動速率/度一致)，使每一移動向量彼此相等。再依比例乘以前一圖幀以及後一圖幀後相加產生特定輸出圖幀(例如輸出圖幀fl，為4/5的輸入圖幀加上1/5的輸入圖幀F3，而輸出圖幀f2，為3/5的輸入圖幀加上2/5的輸入圖幀F3，其中R)所乘的比例與F3所乘的比例相加為I)。為使讀者更能明了本發明的技術精神，請參照圖3，圖I所示的影像處理裝置100的操作流程繪示於圖3中，步驟305中，影像處理裝置100檢測多輸入圖幀？_爪以產生多張輸入圖幀F_IN所分別對應的圖幀索引。步驟310中，影像處理裝置100依據所得到的圖幀索引，適應性地決定或切換輸入圖幀F_IN中不同影像所對應的電影模式。步驟315中，影像處理裝置100對輸入圖幀？_爪進行移動估計以產生移動估計結果MV。於步驟320中，影像處理裝置100依據所決定的電影模式與移動估計結果MV來產生多移動向量。於步驟320中，影像處理裝置100依據所決定的多移動向量來進行相對應的影像內插。以產生輸出圖幀？_0爪。另外，在其他實施例中，當移動估計器1151所產生的移動估計結果指示出靜態影像時，為了能夠有效地增加人眼觀賞影像時的鑑別度，影像產生單元1152在產生不同的內插圖幀時可分別參考不同的輸入圖幀，舉例來說，影像產生單元1152可參考輸入圖幀？_IN中對應於一影像模式的一第一圖巾貞來產生一第一內插後圖巾貞，以及可參考輸入圖巾貞F_IN中對應於相同影像模式的一第二圖巾貞來產生一第二內插後圖巾貞,第一圖巾貞與第二圖巾貞對應至相同的圖幀索引；如圖2所示，以A段影像為例，輸入圖幀RKFl對應於相同的圖幀索弓丨，在前述實施例中，影像產生單元1152參考輸入圖幀R)與F3(分別作為前後張的輸入影像)來進行影像內插以產生不同的輸出圖幀fl_f4，而如果A段影像被判定為靜態的影像，則影像產生單元1152在參考前一張影像時可改為參考輸入圖幀Fl而不參考輸入圖幀·來進行影像內插，此外，影像產生單元1152在參考後一張影像時也可改為參考輸入圖幀F3或F4而不參考輸入圖幀F2來進行影像內插，舉例來說，當產生輸出圖幀f I時，影像產生單元1152參考輸入圖幀與F3來進行影像內插以產生輸出圖幀H，而當產生輸出圖幀f2時，影像產生單元1152可參考輸入圖幀Fl與F3來進行影像內插以產生輸出圖幀f2，或者影像產生單元1152也可改為參考輸入圖幀Fl與F3來進行影像內插以產生輸出圖幀f2，就靜態影像來說，大部分的影像是並未移動的，亦即，相鄰兩張圖幀的影像內容仍有部分的細微不同，所以，當進行影像內插時，本發明的實施例適當地採用不同的輸入圖幀來進行影像內插以產生相鄰不同的輸出圖幀，使得人眼在觀看經過圖幀速率轉換處理後的影像時仍可感知到充分的影像訊息。需注意的是，本實施例中藉由參考不同輸入圖幀來產生不同輸出圖幀的操作並非僅限於操作在當某段影像被判定為靜態影像時，也就是說，當該段影像被判定為動態影像時，亦可藉由參考不同輸入圖幀來產生不同輸出圖幀，舉例來說，當A段影像被判定為動態影像時，影像產生單元1152可參考輸入圖幀Fl與F2來進行影像內插以產生輸出圖幀f2，或者也可改為參考輸入圖幀Fl與F3來進行影像內插以產生輸出圖幀f2。以上所述僅為本發明的較佳實施例，凡依本發明申請專利範圍所做的均等變化與修飾，皆應屬本發明的涵蓋範圍。
權利要求
1.一種圖幀速率轉換的方法，其包含有 檢測多張輸入圖幀的一影像模式； 對該多張輸入圖幀進行移動估計，以產生一移動估計結果；以及依據所決定的該影像模式、該移動估計結果以及該多張輸入圖幀，內插出多張內插後圖幀，以產生多張轉換後的輸出圖幀，其中該些輸出圖幀的一圖幀速率不同於該些輸入圖幀的一圖幀速率。
2.如權利要求I所述的方法，其特徵在於，適應性地決定該多張輸入圖幀所對應的該影像模式的步驟包含有 檢測該多張輸入圖幀，以產生該多張輸入圖幀所分別對應的多圖幀索引；以及 依據該多圖幀索引，適應性地決定該多張輸入圖幀所對應的影像模式。
3.如權利要求2所述的方法，其特徵在於，適應性地決定該多張輸入圖幀所對應的該影像模式的步驟包含有 依據該多圖幀索引所分別指示出的影像特性，適應性地決定該多張輸入圖幀所分別對應的影像模式。
4.如權利要求2所述的方法，其特徵在於，檢測該多張輸入圖幀以產生該多張輸入圖幀所分別對應的該多圖幀索引的步驟包含有 接收該多張輸入圖幀； 判斷該多張輸入圖幀中是否存在具有相同影像特性的連續的圖幀，當該多張輸入圖幀中具有連續多張相同的圖幀時，判定該連續多張相同的圖幀為具有相同影像特性的連續圖幀；以及 設定該連續的圖幀所對應的多圖幀索引為相同的索引。
5.如權利要求2所述的方法,其特徵在於，該影像模式包含有一第一電影模式與一第二電影模式，以及該方法另包含有 當該多圖幀索引中目前一第一組連續圖幀索引指示出一第一影像特性時，決定目前的影像模式為該第一電影模式；以及 當檢測到目前一第二組連續圖幀索引指示出一第二影像特性時，將目前的影像模式由該第一電影模式切換至該第二電影模式。
6.如權利要求I所述的方法，其特徵在於，適應性地決定該多張輸入圖幀所對應的影像模式的步驟包含有 適應性地將該多張輸入圖巾貞中一第一組圖巾貞所對應的一影像模式決定為一第一電影模式；以及 將該多張輸入圖幀中一第二組圖幀所對應的一影像模式決定為一第二電影模式，該第一電影模式是一 M:N電影模式，以及該第二電影模式為L:N電影模式，L、M、N為不同的正整數。
7.如權利要求I所述的方法，其特徵在於，適應性地決定該多張輸入圖幀所對應的影像模式的步驟包含有 對該多張輸入圖幀中具有相同影像特性的一組連續圖幀 依據該組連續圖幀的張數，判斷該組連續圖幀所對應的一影像模式為一第一電影模式或一第二電影模式。
8.如權利要求7所述的方法，其特徵在於，內插出該多張內插後圖幀的步驟包含有 當該影像模式為一第一電影模式時，依據該移動估計結果以及該多圖幀索引中該第一電影模式所對應的一第一組圖幀索引，計算多移動向量，該多移動向量分配的移動距離彼此相等； 依據所計算出的該多移動向量以及該多圖幀索引中該第一電影模式所對應的一第二組圖幀索引，將第一組圖幀索引的對應的圖幀乘以一第一比例，並將第二組圖幀索引的對應的圖幀乘以一第二比例，以分別產生該多張內插後圖幀，該第一比例以及該第二比例相加為I ;以及 依據該多張輸入圖幀以及該多張內插後圖幀，輸出該多張轉換後的輸出圖幀。
9.如權利要求11所述的方法，其特徵在於，內插出該多張內插後圖幀的步驟另包含有 當該影像模式為一第二電影模式時，依據該移動估計結果以及該多圖幀索引中該第二電影模式所對應的一第二組圖幀索引，計算該多移動向量。
10.如權利要求I所述的方法，其特徵在於，內插出該多張內插後圖幀以產生該多張轉換後的輸出圖幀的步驟包含有 當該移動估計結果指示出一靜態影像時 參考該多張輸入圖巾貞中對應於該影像模式的一第一圖巾貞，產生一第一內插後圖巾貞;以及 參考該多張輸入圖巾貞中對應於該影像模式的一第二圖巾貞，產生一第二內插後圖巾貞； 其中該第一圖幀與該第二圖幀對應至相同的圖幀索引。
11.一種圖幀速率轉換的影像處理裝置，包含有 一模式決定電路，用以檢測多張輸入圖幀的一影像模式；以及一影像產生電路，耦接至該模式決定電路，用以對該多張輸入圖幀進行移動估計，以產生一移動估計結果，以及依據所決定的該影像模式、該移動估計結果以及該多張輸入圖幀，內插出多張內插後圖幀，以產生多張轉換後的輸出圖幀，其中該些輸出圖幀的一圖幀速率不同於該些輸入圖巾貞的一圖巾貞速率。
12.如權利要求11所述的影像處理裝置，其特徵在於，該模式決定電路包含有 一模式檢測器，用以檢測該多張輸入圖幀，以產生該多張輸入圖幀所分別對應的多圖幀索引；以及 一控制單元，耦接至該模式檢測器，用以依據該多圖幀索引，適應性地決定該多張輸入圖幀所對應的影像模式。
13.如權利要求12所述的影像處理裝置，其特徵在於，該控制單元依據該多圖幀索引所分別指示出的影像特性，適應性地決定該多張輸入圖幀所分別對應的影像模式。
14.如權利要求12所述的影像處理裝置，其特徵在於，該模式檢測器接收該多張輸入圖幀、判斷該多張輸入圖幀中是否存在具有相同影像特性的連續的圖幀以及設定該連續的圖幀所對應的多圖幀索引為相同的索引，當該多張輸入圖幀中具有連續多張相同的圖幀時，該模式檢測器判定該連續多張相同的圖幀為具有相同影像特性的連續圖幀。
15.如權利要求12所述的影像處理裝置，其特徵在於，該影像模式包含有一第一電影模式與一第二電影模式當該多圖幀索引中目前一第一組連續圖幀索引指示出一第一影像特性時，該控制單元決定目前的影像模式為該第一電影模式；以及 當檢測到目前一第二組連續圖幀索引指示出一第二影像特性時，該控制單元將目前的影像模式由該第一電影模式切換至該第二電影模式。
16.如權利要求11所述的影像處理裝置，其特徵在於，該模式決定電路適應性地將該多張輸入圖巾貞中一第一組圖巾貞所對應的一影像模式決定為一第一電影模式，以及將該多張輸入圖幀中一第二組圖幀所對應的一影像模式決定為一第二電影模式，其中該模式決定電路將目前的影像模式由該第一電影模式切換至該第二電影模式，該第一電影模式一 M:N電影模式，以及該第二電影模式為L:N電影模式，L、M、N為不同的正整數。
17.如權利要求11所述的影像處理裝置，其特徵在於，對該多張輸入圖幀中具有相同影像特性圖幀一組連續圖幀，該模式決定電路依據該組連續圖幀的張數，判斷該組連續圖中貞所對應的一影像模式為一第一電影模式或一第二電影模式，當該影像模式為一第二電影模式時，該影像產生單元依據該移動估計結果以及該多圖幀索引中該第二電影模式所對應的一第二組圖幀索引，計算該多移動向量。
18.如權利要求11所述的影像處理裝置，其特徵在於，該影像產生電路包含有 一移動估計器，用以產生該移動估計結果；以及 一影像產生單元，耦接至該移動估計器，當該影像模式為一第一電影模式時，該影像產生單元依據該移動估計結果以及該多圖幀索引中該第一電影模式所對應的一第一組圖幀索引，計算多移動向量，並依據所計算出的該多移動向量分別產生該多張內插後圖幀，以及依據該多張輸入圖幀以及該多張內插後圖幀，輸出該多張轉換後的輸出圖幀。
19.如權利要求11所述的影像處理裝置，其特徵在於，當該移動估計結果指示出一靜態影像時，該影像產生電路參考該多張輸入圖幀中對應於該影像模式的一第一圖幀，產生一第一內插後圖巾貞，以及參考該多張輸入圖巾貞中對應於該影像模式的一第二圖巾貞，產生一第二內插後圖幀，其中該第一圖幀與該第二圖幀對應至相同的圖幀索引。
全文摘要
本發明提供一種圖幀速率轉換的方法及影像處理裝置，該方法包含檢測多張輸入圖幀，適應性地決定該多張輸入圖幀所對應的一影像模式；對該多張輸入圖幀進行移動估計，以產生一移動估計結果；以及依據所決定的該影像模式、該移動估計結果及該多張輸入圖幀，內插出多張內插後圖幀，以產生多張轉換後的輸出圖幀，其中該些輸出圖幀的圖幀速率不同於該些輸入圖幀的圖幀速率。
文檔編號H04N7/01GK102970509SQ20111027062
公開日2013年3月13日 申請日期2011年8月29日 優先權日2011年8月29日
發明者陳治瑋, 陳仲怡 申請人:晨星軟體研發(深圳)有限公司, 晨星半導體股份有限公司