具有增強的清晰度性能的圖像插補的製作方法
2023-10-10 12:54:59 4
具有增強的清晰度性能的圖像插補的製作方法
【專利摘要】本文涉及具有增強的清晰度性能的圖像插補，提供了一種插補器裝置，其用於在第一幀和第二幀之間增加頻率補償插補幀，其中，第一幀和第二幀在視頻圖像的原始序列中沿著時基彼此相鄰。該插補器裝置包括：插補器，該插補器用於接收第一幀、第二幀、以及頻率補償插補幀的相對位置信息，該相對位置信息表示第一幀和第二幀的時間位置之間的相對時間位置，並且該插補器根據該相對位置信息基於第一幀和第二幀生成插補幀；以及頻率補償器，用於通過對插補幀數據應用濾波器來生成頻率補償插補幀，其中，該濾波器被配置為比較低頻率範圍的幅度更多地增加較高頻率範圍的幅度，該濾波器的濾波器係數基於該相對位置信息被確定。
【專利說明】具有增強的清晰度性能的圖像插補
【技術領域】
[0001]本公開涉及一種插補裝置、方法、電腦程式、以及包括用於在第一幀和第二幀之間添加頻率補償插補幀的電腦程式的非暫時性計算機可讀介質，其中，第一幀和第二幀在視頻圖像的原始序列中沿著時基(time base (時間基線))彼此相鄰,並且其中，頻率補償插補幀取決於第一圖像和第二圖像之間的插補幀的相對位置。
【背景技術】
[0002]這裡提供的「背景」描述是為了大體介紹本公開的技術環境。當前被指明的發明人在【背景技術】部分所描述的程度上的工作、以及描述中可能無法作為申請時的現有技術的各個方面不應被明確地或者隱含地承認為與本發明相對的現有技術。
[0003]在視頻圖像的原始序列的幀之間添加附加幀是一種用於例如幀速率轉換的方法，其中，該幀速率轉換使得以第一幀速率記錄的視頻圖像的原始序列適應於特殊顯示的幀速率。添加這樣的附加的幀的另一個示例是將幀速率保持恆定的顯示器的慢動作功能。
[0004]當添加這樣的附加的幀時，該附加的幀可通過對兩個相鄰的幀(S卩，在視頻圖像序列中第二幀是關於第一幀的下一個幀)的圖像數據進行插補來產生。原始序列例如可以是諸如由攝影機所記錄的文件這樣的序列。
【發明內容】
[0005]本發明旨在提供一種用於例如電視機的幀速率轉換器或者慢動作轉換器這樣的圖像處理單元的插補器裝置、以及相應的方法、相應的電腦程式和包括具有通過插補產生的幀的增強的清晰度的電腦程式的相應的非暫時性計算機可讀介質。，其中該插補器裝置實施至少一次添加附加幀的插補。
[0006]根據一種實施方式的插補器裝置在第一幀和第二幀之間添加頻率補償插補幀，其中，第一幀和第二幀在視頻圖像的原始序列中沿著時基相鄰。該插補器裝置包括:插補器，該插補器用於接收第一幀、第二幀和頻率補償插補幀的相對位置信息，該相對位置信息表示第一幀與第二幀的時間位置之間的相對時間位置，並且該插補器還根據該相對位置信息基於第一幀和第二幀產生插補幀；以及頻率補償器，用於通過對插補幀的數據應用濾波器來產生頻率補償插補幀，其中，濾波器被配置為比較低頻率範圍的幅度更多地增加較高頻率範圍的幅度，濾波器的濾波器係數基於相對位置信息確定。
[0007]根據一種實施方式的方法可用於在第一巾貞和第二巾貞之間添加頻率補償插補巾貞，其中，第一幀和第二幀在視頻圖像的原始序列中沿著時基彼此相鄰。該方法包括接收第一幀、第二巾貞、和頻率補償插補巾貞的相對位置信息，該相對位置信息表不第一巾貞與第二巾貞的時間位置之間的相對時間位置，根據該相對位置信息基於第一幀和第二幀生成插補幀，並通過對插補幀的數據應用濾波器來生成頻率補償插補幀，其中，濾波器被配置為比較低頻率範圍的幅度更多地增加較高頻率範圍的幅度，濾波器的濾波器係數基於相對位置信息確定。
[0008]根據一種實施方式的電腦程式包括電腦程式指令，當該電腦程式指令由計算機執行時，使得計算機進行用於在第一幀和第二幀之間添加頻率補償插補幀的方法，其中，第一幀和第二幀在視頻圖像的原始序列中沿著時間軸彼此相鄰。電腦程式指令使得計算機接收第一幀、第二幀和頻率補償插補幀的相對位置信息，該相對位置信息表示第一幀和第二幀的時間位置之間的相對時間位置，根據相對位置信息基於第一幀和第二幀生成插補幀，並通過對插補幀數據應用濾波器來生成頻率補償插補幀，其中，濾波器被配置為比較低頻率範圍的幅度更多地增加較高頻率範圍的幅度，濾波器的濾波器係數基於相對位置信息確定。
[0009]此外，電腦程式可存儲在非暫時性計算機可讀介質中。
[0010]前述段落被以概述的方式提供，並不意味著限制所附權利要求的範圍。所描述的實施方式以及其他優勢將通過結合附圖參考以下詳細的描述而被更好地理解。附圖的元件不一定相對彼此成比例。
【專利附圖】
【附圖說明】
[0011]通過參照以下詳細的說明並結合附圖，對本公開更加完整的認識以及其伴隨的多個優勢可被容易地獲得，並同時變得更好理解，其中:
[0012]圖1示出在原始幀之間不同的相對位置處添加附加的幀的原理；
[0013]圖2示出插補導致的清晰度的損失；
[0014]圖3示出作為相對位置的函數的模糊度；
[0015]圖4示出用於補償由插補產生的模糊的增益度；
[0016]圖5示出用於生成頻率補償插補幀的方法的實施方式；
[0017]圖6示出用於生成頻率補償插補幀的插補器裝置的實施方式；
[0018]圖7至圖10示出不同的濾波器及其在插補幀頻譜幀中的效果；
[0019]圖11示出用於生成頻率補償插補幀的插補器裝置的實施方式，該插補幀包括用於查閱表的存儲器；
[0020]圖12示出用於基於模糊度測量生成頻率補償插補幀的方法的實施方式；
[0021]圖13示出用於生成頻率補償插補幀的插補器裝置的實施方式，該插補器裝置包括用於實施模糊度測量算法的處理器，
[0022]圖14示出用於生成頻率補償插補幀的插補器裝置的實施方式，該插補器裝置包括實施模糊度測量算法的處理器和用於查閱表的存儲器；
[0023]圖15和圖16示出模糊測量算法的實施方式；
[0024]圖17示出用於基於模糊度測量生成頻率補償插補幀的方法的實施方式；
[0025]圖18示出用於基於包括生成原始幀的頻譜的模糊度測量生成頻率補償插補幀的方法的實施方式；
[0026]圖19示出用於生成頻率補償插補幀且包括用於中止頻率補償的控制器的插補器裝置的實施方式；
[0027]圖20示出在模糊測量中可能作為頻譜被獲得的病態序列；
[0028]圖21示出用於生成頻率補償插補幀的包括延遲控制器和緩衝存儲器的插補器裝置的實施方式；以及
[0029]圖22示出被實現為計算機系統的插補器裝置的實施方式。【具體實施方式】
[0030]現在參考附圖，其中，相同的附圖標記標示在多個附圖中相同的或者對應的部分。圖1示出第一幀100和第二幀105之間的插補，其中，第一幀100和第二幀105是作為相鄰的幀被輸入至插補器中的幀，這些相鄰幀用於生成圖1中通過插補幀110、115、和120示出的插補幀。
[0031]插補器裝置可在第一幀100和第二幀105之間添加一個或多個插補幀。相應地，可添加一個或多個頻率補償插補幀。
[0032]例如，如果以60Hz (B卩，每秒60幀)拍攝視頻，且顯示裝置被配置為在每兩個連續的原始幀之間以120Hz顯示視頻，則可添加一個插補幀。相應地，如果顯示裝置在每兩個連續的原始幀之間以180Hz顯示視頻，則可添加兩個插補幀。同樣，在連續的原始幀的序列中可僅在每秒時間周期內添加一個或多個插補幀。幀數通過添加一個或多個增補幀而增加的因數(factor)可以是任何大於I的數,例如，1.5、2、3。僅在例如需要以慢動作顯示視頻的預定的連續原始幀之間添加插補幀。換句話說，使用者或者視頻提供者僅需要對整個視頻的一部分進行慢動作顯示，則在相應的連續原始幀中添加插補幀。
[0033]插補幀的相對位置是描述插補幀在第一幀100和第二幀105之間的線性時間軸上的時間位置。可以在任何位置添加插補幀，並且可在第一幀100與第二幀105之間添加任何數量的插補幀，例如，一個幀，兩個幀，三個幀。圖1示出第一幀100的相對位置是0，第二幀105的相對位置是1，插補幀110、115、和120分別被添加在相對位置0.25,0.5、和0.75處。
[0034]第一幀100和第二幀105可以是視頻圖像的原始序列的幀。原始序列可以是被輸入至下述的插補器中的圖像的序列。
[0035]區域125描述了由圖像數據所定義的區或者對象，該區或者對象從第一幀100中的第一位置移動至第二幀105中的第二位置，該移動可由動作矢量130描述。區域125在插補幀110、115、和120中的位置是通過識別區域125在相應的相對的位置處沿著動作矢量130的位置來確定的。這種解釋僅僅是為了示例的目的，第一幀100中的區域125到第二幀105中的區域125的轉移可以被不同於線性動作矢量130地進行描述。
[0036]動作矢量130可通過比較第一幀100中的區或者對象與第二幀105中的區或者對象並確定相似性來進行確定。例如，可使用4X4的像素塊作為用於比較的區。
[0037]實施計算來確定插補幀的插補器可在子像素級上確定區域125在插補幀中的位置。換句話說，可以與顯示器的像素的任意物理尺寸或者圖像的像素尺寸無關地實施用於確定插補巾貞的計算。因此，在插補計算中，插補巾貞110、115、120的數據不一定對應於其上顯示圖像的顯示裝置的原始幀100、105、或120的像素柵格。但是，為了在顯示器上生成插補幀的圖像，該插補幀必須轉變成顯示器的像素。這種轉變可導致模糊。在頻譜視圖中，該轉變對應於低通濾波的效果。
[0038]圖2中示意性地示出了用於關於如圖1中所示的第一幀100和第二幀105的三個插補幀110、115、和120的低通濾波效果。
[0039]圖2中示意性地示出的頻譜將幅度A的絕對值示出為作為在分別用於幀100、110、115、120、和105的相對位置0、0.25、0.5、0.75、和I處的角頻率ω的函數。角頻率ω。是用於說明低通濾波效果的任意的角頻率。插補幀從子像素解析度向像素解析度轉變的結果是，對於插補幀110，115和120來說，較高角頻率(例如，如圖2中所示的第一幀100和第二幀105中的大於GJci的角頻率)的幅度與較低角頻率的幅度相比會衰減或者削弱。如上所提及的，較高角頻率的幅度的衰減或削弱可能導致模糊，或者換句話說，導致圖像具有更不清晰地顯示的圖像對象。
[0040]可以確定每個相對位置的模糊度，即，代表模糊的強度的值。圖3將這樣的模糊度曲線300示出為相對位置的函數。該模糊度曲線300關於第一幀100的相對位置O與第二幀105的相對位置I之間的中間的相對位置是對稱的。
[0041]如圖3中所示，該模糊度對於不同的相對位置是不同的。相應地，插補幀中模糊度的增加可通過同樣隨相對位置發生變化的增益度進行補償。如圖4中所示，增益度400的曲線對應於模糊度曲線300，這在圖3中示出。
[0042]增益度400是用於描述如何修正插補幀的數據以增加插補幀的圖像的感知清晰度。
[0043]圖5中示出根據實施方式的方法。可在第一幀100和第二幀105之間添加通過該方法生成的頻率補償插補幀，其中，第一幀100和第二幀105在視頻圖像的原始序列中沿著時基彼此相鄰。根據該方法，可接收第一幀100、第二幀105、和頻率補償插補幀的相對位置信息(S500)，該相對位置信息表示第一幀100與第二幀105的時間位置之間的相對的時間位置。基於第一幀100和第二幀105，根據接收到的相位位置信息生成插補幀110、115、120(S505)，並通過對插補幀110、115、120的數據應用濾波器來生成頻率補償插補幀(S510)，其中，該濾波器配置為比較低頻率範圍的幅度更多地增加較高頻率範圍的幅度，該濾波器的濾波係數是基於用於生成插補幀110、115、120的相對位置信息而確定的。
[0044]可在第一幀100和第二幀105的相對位置處添加頻率補償插補幀。
[0045]如上所述，可在第一幀100和第二幀105之間添加一個或多個頻率補償插補幀。相應地，在步驟S500中接收相對位置信息，其中，該相對位置信息表徵要在相應的相對時間位置添加的每個幀，可對於要添加的每個頻率補償插補幀實施上述方法。例如，如圖1中所示，可接收相對位置0.25,0.5、和0.75，可生成插補幀110、115、120，基於這些插補幀生成頻率補償插補幀。
[0046]相對位置信息可以是允許能夠確定在原始輸入的幀的幀之間的哪個相對的時間位置處必須添加一個或多個幀的任何信息。根據該相對位置信息，插補器裝置可以確定相對位置。
[0047]根據一個實施方式，相對位置信息包括相對時間位置。根據一個實施方式，相對位置信息是指示相對時間位置的相對時間位置信息。
[0048]如上所述，將實現幀的目標顯示速率或者顯示慢動作，根據實施方式，插補器裝置僅可接收先前的和目標顯示速率或者放緩的係數作為相對位置信息，之後該插補器裝置確定插補幀的合適的數量以及相對位置。
[0049]相對位置信息可包括原始視頻已拍攝的速率和將顯示該視頻的速率的信息。相對位置信息可包括幀的原始序列中的幀的數量增加的因數的信息。相對位置信息可包括表徵在顯示器上顯示的移動減小的數量的慢動作因數的信息。相對位置信息可進一步包括表明將在哪個原始的連續幀之間添加一個或多個插補幀的信息。[0050]此外，由於相對位置信息預存儲在插補器裝置中，故插補器裝置可接收接收相對位置信息。例如，慢動作有可能以預定的不同的速率進行，如，雙倍速度，三倍速度或者任何其他值。相對位置信息則可已經預定並在幀被接收之前存儲在該插補器裝置中。
[0051]應用於插補幀的濾波器可描述為用於補償上述插補的至少部分低通濾波效果的反濾波器。
[0052]圖6示出根據實施方式的插補器裝置600。插補器裝置600可實施參考圖5所描述的方法。該插補器裝置600可用於在第一幀100與第二幀105之間添加頻率補償插補幀，其中，第一幀100與第二幀105在視頻圖像的原始序列中沿著時基彼此相鄰。插補器裝置600包括插補器605，該插補器605接收第一幀100、第二幀105、和頻率補償插補幀的相對位置信息，該相對位置信息表不第一巾貞100和第二巾貞105的時間位置之間的相對時間位置，該插補器605還根據相對位置信息基於第一巾貞100和第二巾貞105生成插補巾貞110、115、120。此外，該插補器裝置還包括通過對插補幀110、115、120的數據應用濾波器615來生成頻率補償插補幀的頻率補償器610。頻率補償器610可從插補器605處接收插補幀110、115、120。插補器605可包括用於將插補巾貞110、115、120發送至插補器615的發送器,插補器615可包括接收器。濾波器615被配置為比較低頻率範圍的幅度更多地增加較高頻率範圍的幅度，濾波器615的濾波器係數基於該相對位置信息確定。頻率補償器615可輸出頻率補償插補幀。
[0053]如上所述，模糊度取決於添加頻率補償插補幀的相對位置，頻率補償器610接收該相對位置。相對位置信息或者相對位置可由頻率補償器610從與插補器相同的源處接收或者從插補器605處接收。
[0054]在另一個實施方式中，頻率補償器610接收相對位置的濾波器係數、或根據由補償器605所接收的相對位置信息的濾波器係數。
[0055]在另一個實施方式中，頻率補償器610接收相對位置的模糊度、或者根據由補償器605所接收的相對位置信息的模糊度。
[0056]在圖7中示出了濾波器615的示例性增益函數700。濾波器615在較高角頻率範圍710中比在較低角頻率範圍715中更多地增加頻譜705的幅度，其中，較高角頻率範圍710是高於較低角頻率範圍715的角頻率的角頻率範圍。術語「增加」指的是幅度的相對變化。換句話說，只要滿足頻率範圍的相對改變的上述條件，增益函數700可位於在增益軸上的任何位置。在濾波器615的實施方式中，所有或僅部分角頻率增加的同時，其他角頻率幅度減少。如圖7中所示，濾波器615可不修改較低角頻率的範圍715的幅度，即，增益等於
I。濾波器615具有尖峰型補償響應。濾波器615可配置為增加較高角頻率範圍的高頻邊緣的陡度。
[0057]頻率補償插補幀的生成可通過僅對濾波器的增益函數不等於I的頻率應用濾波器來實現。
[0058]術語「角頻率」也包括術語「頻率」，反之亦然。應注意對實施方式的定性描述同時應用兩種表述，因為它們是相互成比例的。
[0059]通過應用濾波器615，獲得頻譜720，其中，較高角頻率範圍710的頻率比在原始頻譜705中具有更高的幅度。與頻譜705相比，根據頻譜720的圖像具有增強的清晰度。換句話說，可從插補幀110、115、120獲得頻譜705，並通過應用濾波器615，可生成與頻率補償插補幀對應的頻譜720。
[0060]濾波器615可以是數字濾波器。濾波器615可以是對特定頻率範圍進行放大而對放大頻率範圍之外的其他頻率不不做改變的帶通濾波器。圖7中示出了帶通的增益函數700。
[0061]圖8不出濾波器615的另一個實施方式,其中，濾波器615具有合併帶通濾波器與截止濾波器的增益函數800，截止較高圓頻率範圍710以上的頻率。
[0062]濾波器係數確定濾波器615的增益函數。例如，在圖7和8中示出了兩個不同的增益函數700和800。
[0063]圖9示出具有帶通濾波器的增益函數700的濾波器615可保持在生成插補幀時所生成的混置頻率範圍905的裳減。可保持混置頻率範圍905的最大幅度910。因此，從插補頻譜900可獲得頻率補償插補頻譜915。與頻率補償插補頻譜915對應的圖像不會示出與混疊頻率對應的圖像分量的增加。
[0064]如圖10中所示，具有與截止濾波器結合的帶通濾波器的增益函數800的濾波器615可保持在生成插補幀時所生成的混疊頻率範圍905消弱或者消失。混疊頻率範圍905的最大幅度910可被減小。因此，從插補頻譜900可獲得頻率補償插補頻譜1000。
[0065]如圖11中所示，插補器裝置還可包括用於在查閱表中存儲濾波器615的濾波器係數的存儲器1100。根據該實施方式，濾波器係數可由頻率補償器610通過在存儲器1100的查閱表中查閱濾波器615的濾波器係數來確定。
[0066]存儲器1100可存儲包含多組濾波器係數的查閱表，每組濾波器係數被分配給至少一個相對位置。根據該實施方式，用於由頻率補償器610所接收的相對位置的濾波器係數可由頻率補償器610通過在存儲器1100的查閱表中查閱濾波器615的濾波器係數而確定。
[0067]如上所述，頻率補償器610根據相對位置可接收模糊度，換句話說，模糊度可被分配給相對位置。在這個實施方式中，查閱表包括不同模糊度的多組濾波器係數。因此，在查閱表中每組濾波器係數被分配給一個模糊度。由於模糊度被分配給相對位置，因此，在這個實施方式中，查閱表中的每組濾波器係數也被分配給相對位置。
[0068]在另一個實施方式中，如圖12中所示，基於對插補幀中的模糊的模糊度測量來確定濾波器係數(S1200)。
[0069]如圖13中所示，插補器裝置600可包括處理器1300，該處理器1300通過應用使用第一幀的、第二幀的、由插補器605生成的插補幀的和相對位置的數據的模糊度測量算法來確定濾波器係數。處理器1300可向頻率補償器610提供濾波器係數。
[0070]在圖14中示出了另一個實施方式。插補器裝置600包括處理器1300，該處理器1300被適配於通過應用使用第一巾貞的、第二巾貞的、由插補器605生成的插補巾貞的和相對位置的數據的模糊度測量算法來確定模糊度，並且該插補器裝置600還包括存儲查閱表的存儲器1100，其中，多組濾波器係數被存儲分配給模糊度。頻率補償器610可在查閱表中查閱用於從處理器1300接收的模糊度的濾波器係數。
[0071]處理器1300被適配為接收第一幀、第二幀、由插補器605所生成的插補幀和相對
位置信息或者相對位置。
[0072]圖15和16示出處理器1300所使用的用於確定作為相對位置的函數的模糊度的模糊度測量算法。使用在第一幀100中的、第二幀105中的、插補幀110中的和插補幀110的相對位置中的區域125的數據作為用於計算的輸入。圖15和圖16中的示例使用的相對位置是0.5。但是，對於相對位置的每個值都可實施相同的計算。頻譜1500、1505、1600分別表示對第一幀100中的、第二幀105中的、和插補幀110中的區域125的快速傅立葉變換(FFT)。作為連續的傅立葉變換或者離散的傅立葉變換，可在FFT頻譜上整個頻譜範圍上實施模糊度測量算法。可通過應用戈澤爾算法(戈澤爾濾波器1510)來實施模糊度測量算法。應注意到，當應用戈澤爾濾波器1510時，之前不必在整個頻譜範圍內實施FFT，但是第一幀100中的、第二幀105中的、和插補幀110中的區域125的頻譜1515、1520、和1605可分別根據區域125的對應數據直接確定。
[0073]進一步地，如圖15和圖16中的圓圈1525所指示，在模糊度測量算法中，只考慮一個頻率範圍，即，為該頻率範圍確定頻譜。該頻率範圍可以是包括當生成插補幀110時幅度在其處會發生改變的頻率的頻率範圍。頻率範圍可以是較高頻率的範圍，其中該頻率的幅度小於該頻率範圍以下的頻率的平坦幅度水平。平坦的意思是幅度在10%或者20%的範圍變化。該頻率範圍可以是預定的頻率範圍。該頻率範圍可包括其幅度連續降低至零的頻率。該頻率範圍取決於插補方法，並可基於該插補方法進行選擇。例如，對於表現出較強的模糊效果的插補方法而言，可選擇較大的頻率範圍。
[0074]一旦幅度和用在模糊度測量中的頻率被確定，所獲得的第一幀100的頻譜中的每個頻率的幅度可乘以因數:(1-相對位置)，所獲得的第二幀105的頻譜中的每個頻率的幅度可乘以因數:(相對位置)，其中，這個因數中的相對位置是插補幀105的相對位置。在圖15和16所示的示例中,插補巾貞105的相對位置是0.5,以使在這個特定的示例中,第一巾貞頻譜的因數是(1-0.5) = 0.5，第二幀頻譜的因數是(0.5)。
[0075]進一步地，第一幀100的頻譜的所得幅度和第二幀105的頻譜的所得幅度相加並乘以0.5。換句話說，從第一幀100中和第二幀105中的區域125的原始頻譜開始，通過計算每個頻率的幅度確定一個新的頻譜，例如，使用方程(I):
[0076]A』 (ω) = (Al (ω).(1-relpos) +A2 (ω ).relpos).0.5
[0077]其中，Al是為第一幀100所獲得的頻率ω的幅度，Α2是為第二幀105所獲得的頻率ω的幅度，relpos是插補幀110的相對位置。
[0078]產生該新的頻譜包括計算第一幀100的頻譜和第二幀105的頻譜的加權平均值，其中，頻譜被加權越高，插補巾貞110被定位得就越接近該頻譜。
[0079]圖16中的新頻譜1605示出通過源自於頻譜1530和1535的方程I獲得的頻譜。
[0080]新頻譜1605可反映在沒有由在第一幀100和第二幀105之間插補以產生插補幀110而產生的模糊的相對位置處(relpos)的理論插補幀的理想的頻譜。可應用其他方法或者算法來確定新頻譜，該新頻譜可以以與新頻譜1605相同的方式用於模糊度測量算法。
[0081]以與第一幀100的頻譜1530和第二幀105的頻譜1535相同的方式獲得插補幀110的頻譜1610。插補幀110的頻譜1610反映區域125中的在生成插補幀110時被包括在插補幀110的圖像中的模糊。
[0082]可從新頻譜1605中減去插補幀的頻譜1610並獲得模糊度頻譜1615，該模糊度頻譜1615是對插補幀中的模糊度的測量，根據模糊度頻譜1615的結果可用於通過頻率補償器610控制頻率補償以生成頻率補償插補幀。[0083]模糊度頻譜1615的數據可用於確定濾波器615的濾波器係數以產生頻率補償插補幀。
[0084]選擇濾波器係數以使頻率的幅度放大與模糊度頻譜1615成正比，或者二者具有一種關係，根據該關係，如果模糊度較大時，濾波器的峰值幅度較大。
[0085]圖17不出用於確定模糊度的方法的實施方式。產生第一巾貞100中的、第二巾貞105中的和插補幀110中的區域125的頻譜(S1700)。之後確定在插補幀110的相對位置處的理想的頻譜1605並減去實際的頻譜1610 (S1705)。
[0086]圖18示出如何產生理想的頻譜1605的方法。第一幀100的頻譜1530和第二幀的頻譜1535的加權平均頻譜可確定為理想的頻譜1605 (S1800)。加權因數越大，插補幀110的相對位置越接近於第一幀100和第二幀105的相應幀的相對位置。
[0087]插補器裝置可具有用於切斷或者設定頻率補償為零的控制器1900。如果模糊度顯示頻率的病態序列時，該控制器可切斷或者將頻率補償設置為零。圖19中示出了頻率病態序列的示例。如果單獨的頻率的幅度比模糊度頻譜中的樣本頻率範圍中的所有其他的頻率的幅度都高得多，例如，是5倍或者10倍時，該控制器可確定病態序列的存在。例如當通過插補將第一幀中的黑白棋盤圖像(棋盤圖案)和第二幀中的相反的棋盤圖案均值化以獲得平坦灰色區域作為相對位置0.5處的插補幀時，會顯示出頻率的病態序列。在該頻譜表徵中，這樣的棋盤圖案的兩個原始幀在樣品頻率範圍中或者在樣品頻率附近具有非常高的峰值。對於插補幀而言該峰值可能不存在。圖20示出病態序列2000和正常的模糊度頻譜1615。
[0088]如圖21中所示，插補裝置可包括存儲頻率補償插補幀的緩衝存儲器2100和對包括第一幀、頻率補償插補幀、和第二幀的序列的輸出進行延遲的延遲控制器2105。
[0089]插補器裝置600可用作獨立的裝置或可被集成入圖像處理裝置，例如集成入電視機、視頻播放機、計算機、遊戲控制臺。
[0090]上面已經描述了插補器裝置600作為單獨的單元的組成。但是，處理單元可被集成入在一個或多個處理器中，不同於單獨的單元的處理，任務可在處理器之間被分開完成。
[0091]一種實施方式是包括電腦程式指令的電腦程式，當通過計算機執行該指令時，該指令使得計算機實施上述方法或者使得計算機作為插補器裝置600。
[0092]電腦程式可存儲在非暫時性計算機可讀介質中。
[0093]圖22是處理系統2200的硬體圖，該處理系統體現該公開的各個方面，包括涉及用於生成頻率補償插補幀的計算機的方面。處理、算法和本文所描述的電子驅動系統可經由分立的控制裝置或者與圖6、11、13、14、19、21中所示的結構相一致的計算系統實施。這樣的系統在本文中被描述為處理系統2200。
[0094]如圖22中，與本公開相一致的處理系統2200可通過使用微處理器或其等同物來實現，例如中央處理單元2205 (CPU)或者至少一個特定應用處理器ASP (未示出)。微處理器使用諸如存儲器2210 (如，R0M、EPR0M、EEPR0M、快閃記憶體、靜態存儲器、DRAM、SDRAM、以及其等同物)這樣的計算機可讀存儲介質，被配置為控制微處理器執行和/或控制本公開的處理和系統。其他的存儲介質可經由諸如磁碟控制器2215這樣的控制器來控制，該控制器可控制硬碟驅動或者光碟驅動。
[0095]在可選的實施方式中，微處理器或其各個方面可包括或者唯一包括擴大或者完全實現本公開的邏輯裝置。這樣的邏輯裝置包括但不局限於:專用集成電路(ASIC)、現場可編程門陣列(FPGA)、通用邏輯陣列(GAL)、及其等同物。該微處理器可以是獨立的裝置或者單個的處理機構。此外，本公開可得益於多核CPU的並行處理性能。
[0096]在另一個方面，根據本公開的處理結果或者數據輸入可經由顯示控制器2220顯示至監視器2225。為了改進的計算效率，該顯示控制器2220則優選包括至少一個圖形處理單元。
[0097]如圖22中所示，上面所提及的部件可經由用於數據的傳輸或接收的網絡接口耦合到諸如網際網路或者本地區域網這樣的網絡2230中，其中，該數據包括可控參數。此外，中央總線2235被設置為將上述硬體部件連接到一起並提供至少一條用於其間的數字通訊的路徑。
[0098]至此，已經描述了通過軟體控制的數據處理裝置至少部分實現的本發明的實施方式，應該理解的是，攜帶這樣的軟體的諸如光碟、磁碟、半導體存儲器等這樣的非暫時性機器可讀介質也被認為代表本發明的實施方式。
[0099]明顯地，根據上述教導，可對本公開進行多種的變形和改變。因此，應該理解的是，在所附權利要求的範圍內，可不同於本文具體描述地實踐本發明。
【權利要求】
1.一種用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置，其中，所述第一幀和所述第二幀在視頻圖像的原始序列中沿著時基彼此相鄰，所述插補器裝置包括: 插補器，接收所述第一幀、所述第二幀、以及所述頻率補償插補幀的相對位置信息，並根據所述相對位置信息基於所述第一幀和所述第二幀生成插補幀，所述相對位置信息表示所述第一幀的時間位置與所述第二幀的時間位置之間的相對時間位置，以及 頻率補償器，通過對所述插補幀的數據應用濾波器來生成所述頻率補償插補幀；其中 所述濾波器被配置為比較低頻率範圍幅度更多地增加較高頻率範圍幅度，以及 所述濾波器的濾波器係數基於所述相對位置信息被確定。
2.根據權利要求1所述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置，其中， 所述濾波器是帶通濾波器。
3.根據權利要求1或2所述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置，其中， 所述濾波器被配置為增加所述較高頻率範圍的高頻邊緣的陡度。
4.根據前述權利要求中的任一項所述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置，其中， 所述濾波器被配置為保持所述插補幀的混疊頻率的衰減。
5.根據權利要求1或2所 述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置，進一步包括: 存儲器，在查閱表中存儲所述濾波器係數；以及 其中，所述濾波器係數通過在所述查閱表中查閱所述濾波器係數來確定。
6.根據權利要求5所述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置， 其中，所述查閱表包括多組濾波器係數，每組濾波器係數被分配給至少一個相對位置。
7.根據前述權利要求中的任一項所述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置，還包括: 處理器，通過應用模糊度測量算法確定模糊度，所述模糊度測量算法使用所述第一幀的、所述第二幀的、所述插補幀的和所述相對位置信息的數據； 其中，所述濾波器係數基於由所述處理器確定的所述模糊度而確定。
8.根據權利要求7所述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置， 其中，確定所述模糊級包括使從所述插補幀的子像素數據獲得的第二頻譜減去從根據預定顯示設備的像素的像素數據中所獲得的第一頻譜。
9.根據權利要求8或9所述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置， 其中，獲得所述第二頻譜包括計算所述第一幀的頻譜與所述第二幀的頻譜的加權平均，其中所述頻譜加權越高，所述插補幀被定位得就越接近所述頻譜。
10.根據權利要求7到9中的任一項所述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置，其中，如果所述模糊度表明病態頻率序列時，通過所述頻率補償器將補償切斷或設置為零， 其中，所述頻率病態序列是指其中單個頻率具有至少是用於確定所述模糊度的取樣頻率範圍中的所有其他頻率5倍的幅度的頻率序列。
11.根據前述權利要求中的任一項所述的用於在第一幀與第二幀之間添加頻率補償插補幀的插補器裝置，還包括: 緩衝存儲器，存儲所述頻率補償插補幀；以及 延遲控制器，延遲包括所述第一幀、所述頻率補償插補幀和所述第二幀的序列的輸出。
12.—種用於在第一幀和第二幀之間生成頻率補償插補幀的方法,其中所述第一幀和所述第二幀在視頻圖像的原始序列中沿著時基彼此相鄰，所述方法包括: 接收所述第一幀、所述第二幀、和所述頻率補償插補幀的相對位置信息，所述相對位置信息表示所述第一幀的時間位置與所述第二幀的時間位置之間的相對時間位置， 根據所述相對位置信息基於所述第一幀和所述第二幀生成插補幀，以及 通過對所述插補幀的數據應用濾波器來生成所述頻率補償插補幀；其中， 所述濾波器被配置為比較低頻率範圍的幅度更多地增加較高頻率範圍的幅度，以及 所述濾波器的濾波器係數基於所述相對位置信息被確定。
13.根據權利要求12所述的方法， 其中，通過在查閱表中查閱`所述濾波器係數或當生成所述頻率補償插補幀時通過計算所述濾波器係數來確定所述濾波器係數。
14.根據權利要求12或13所述的方法， 其中，所述濾波器係數基於對由所述插補器產生的所述插補幀中的模糊的模糊度測量而確定。
15.一種包括電腦程式指令的電腦程式，其中，當通過計算機執行所述指令時，所述指令使所述計算機進行用於在第一幀和第二幀之間添加頻率補償插補幀的方法，其中，所述第一幀和所述第二幀在視頻圖像的原始序列中沿著時基彼此相鄰，所述電腦程式包括: 接收所述第一幀、所述第二幀、和所述頻率補償插補幀的相對位置信息，所述相對位置信息表示所述第一幀的時間位置與所述第二幀的時間位置之間的相對時間位置， 根據所述相對位置信息基於所述第一幀和所述第二幀生成插補幀，以及 通過對所述插補幀的數據應用濾波器來生成所述頻率補償插補幀；其中 所述濾波器被配置為比較低頻率範圍的幅度更多地增加較高頻率範圍的幅度，以及 所述濾波器的濾波器係數基於所述相對位置信息被確定。
16.一種包括權利要求15中所述的電腦程式的非暫時性計算機可讀介質。
【文檔編號】H04N5/14GK103685860SQ201310184978
【公開日】2014年3月26日 申請日期:2013年5月17日 優先權日:2012年9月11日
【發明者】麥可·埃嫩克爾 申請人:索尼公司