用於基於變換和反變換執行內插的方法和設備的製作方法
2024-03-05 01:49:15
專利名稱：用於基於變換和反變換執行內插的方法和設備的製作方法
技術領域：
與示例性實施例一致的設備和方法涉及對圖像進行內插，更具體地講，涉及在整數像素單元的像素值之間進行內插。
背景技術：
在現有技術的圖像編碼和解碼方法中，一幅畫面被劃分為多個宏塊以對圖像進行編碼。然後，通過對宏塊執行幀間預測或幀內預測來對所述多個宏塊中的每個宏塊執行預測編碼。幀間預測是一種通過去除畫面之間的時間冗餘性來壓縮圖像的方法。幀間預測的代表性示例是運動估計編碼。在運動估計編碼中，通過使用至少一個參考畫面來預測當前畫面的每個塊。通過使用預定的估計函數來在預定的搜索範圍內搜索與當前塊最相似的參考塊。基於參考塊預測當前塊，並通過從當前塊減去作為預測結果的預測的塊來獲得殘差塊，然後對所述殘差塊進行編碼。在這種情況下，為了精確地預測當前塊，通過在參考畫面的搜索範圍中執行內插來產生比整數像素單元更小的子像素，並基於子像素來執行幀間預測。
發明內容
技術方案一個或多個示例性實施例的多個方面提供了一種用於通過對整數像素單元的像素值進行內插來產生分數像素單元的像素值的方法和設備。—個或多個示例性實施例的多個方面還提供了一種其上記錄有用於執行所述方法的電腦程式的計算機可讀記錄介質。有益效果根據本申請，可更準確地產生分數像素單元。
通過參照附圖詳細描述示例性實施例，上述和其他特徵將變得更加清楚，其中圖I是根據示例性實施例的用於對圖像進行編碼的設備的框圖；圖2是根據示例性實施例的用於對圖像進行解碼的設備的框圖；圖3示出根據示例性實施例的分層編碼單元；圖4是根據示例性實施例的基於編碼單元的圖像編碼器的框圖；圖5是根據示例性實施例的基於編碼單元的圖像解碼器的框圖；圖6示出根據示例性實施例的最大編碼單元、子編碼單元和預測單元；圖7示出根據示例性實施例的編碼單元和變換單元；圖8a至圖8d示出根據示例性實施例的編碼單元、預測單元和變換單元的劃分形狀；圖9是根據示例性實施例的圖像內插設備的框圖；圖10是示出根據示例性實施例的由圖9的圖像內插設備執行的二維(2D)內插方 法的示圖；圖11是示出根據示例性實施例的內插區域的示圖；圖12是示出根據示例性實施例的一維(1D)內插方法的示圖；圖13是專門示出根據示例性實施例的由圖9的圖像內插設備執行的1D內插方法 的示圖；圖14是根據示例性實施例的圖像內插設備的框圖；圖15示出根據示例性實施例的2D內插濾波器；圖16a至圖16f示出根據示例性實施例的1D內插濾波器；圖17a至圖17y示出根據示例性實施例的優化的1D內插濾波器；圖18a和圖18b示出根據示例性實施例的通過使用1D內插濾波器沿各方向對像 素值進行內插的方法；圖19a示出根據示例性實施例的2D內插方法；圖19b示出根據另一示例性實施例的使用1D內插濾波器的2D內插方法；圖19c示出根據另一示例性實施例的使用1D內插濾波器的2D內插方法；圖20是示出根據示例性實施例的圖像內插方法的流程圖；圖21是示出根據另一示例性實施例的圖像內插方法的流程圖；圖22是示出根據另一示例性實施例的圖像內插方法的流程圖；圖23a至圖23e示出根據示例性實施例的執行與1D內插濾波器相關的縮放和四 舍五入的方法。最優實施方式根據示例性實施例的一方面，提供了一種對圖像進行內插的方法，所述方法包括 根據內插位置從多個不同的濾波器中選擇用於在整數像素單元的像素值之間進行內插的 第一濾波器；以及通過使用選擇的用於在整數像素單元的像素值之間進行內插的第一濾波 器，在整數像素單元的像素值之間進行內插來產生至少一個分數像素單元的至少一個像素 值。所述方法還可包括根據內插位置從多個不同的濾波器中選擇用於在產生的所述 至少一個分數像素單元的至少一個像素值之間進行內插的第二濾波器；以及通過使用選擇 的用於在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插的第二濾波 器，在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插。用於在整數像素單元的像素值之間進行內插的第一濾波器可以是下面的空間域 濾波器，其中，所述空間域濾波器通過使用具有不同頻率的多個基函數來對整數像素單元 的像素值進行變換，並通過使用相位被移動的所述多個基函數，對通過對整數像素單元的 像素值進行變換而獲得的多個係數進行反變換。用於在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插的第 二濾波器可以是下面空間域濾波器，其中，所述空間域濾波器通過使用具有不同頻率的多 個基函數來對產生的所述至少一個分數像素單元的至少一個像素值進行變換，並通過使用相位被移動的所述多個基函數，對通過對產生的所述至少一個分數像素單元的至少一個像素值進行變換而獲得的多個係數進行反變換。根據另一示例性實施例的一方面，提供了一種用於對圖像進行內插的設備，所述設備包括濾波器選擇器，根據內插位置從多個不同的濾波器中選擇用於在整數像素單元的像素值之間進行內插的第一濾波器；以及內插器，通過使用選擇的用於在整數像素單元的像素值之間進行內插的第一濾波器，在整數像素單元的像素值之間進行內插來產生至少一個分數像素單元的至少一個像素值。所述濾波器選擇器可根據內插位置從多個不同的濾波器中選擇用於在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插的第二濾波器，所述內插器可通過使用選擇的用於在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插的第二濾波器，在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插。根據另一示例性實施例的一方面，提供了一種其上包含有用於執行上述方法的電腦程式的計算機可讀記錄介質。根據另一示例性實施例的一方面，提供了一種用於對圖像進行內插的方法，所述方法包括通過使用具有不同頻率的多個基函數，在空間域中對像素值進行變換；移動所述多個基函數的相位；通過使用相位被移動的所述多個基函數，對通過對所述像素值進行變換而獲得的多個係數進行反變換。
具體實施例方式在下文中，將參照附圖更充分地描述一個或多個示例性實施例。當諸如「…中的至少一個」的表述在一列元件之後時，所述表述修飾整列元件而不是修飾列表的各個元件。在本說明書中，「圖像」可表示視頻的靜止圖像或運動圖像(即，視頻本身)。圖I是根據示例性實施例的用於對圖像進行編碼的設備100的框圖。參照圖1，用於對圖像進行編碼的設備100包括最大編碼單元劃分器110、編碼深度確定器120、圖像數據編碼器130以及編碼信息編碼器140。最大編碼單元劃分器110可基於作為最大尺寸的編碼單元的最大編碼單元對當前幀或條帶進行劃分。也就是說，最大編碼單元劃分器110可將當前幀或條帶劃分為至少一個最大編碼單元。根據示例性實施例，可使用最大編碼單元和深度來表示編碼單元。如上所述，最大編碼單元指示在當前幀的編碼單元中具有最大尺寸的編碼單元，深度指示分層地減小編碼單元的程度。隨著深度增大，編碼單元可從最大編碼單元減小到最小編碼單元，其中，最大編碼單元的深度被定義為最小深度，最小編碼單元的深度被定義為最大深度。由於編碼單元的尺寸隨著深度增大而從最大編碼單元減小，因此第k深度的子編碼單元可包括多個第(k+n)深度的子編碼單元(其中，k和η是等於或大於I的整數)。根據將被編碼的幀的尺寸的增加，按照更大的編碼單元對圖像進行編碼可造成更高的圖像壓縮率。然而，如果更大的編碼單元被固定，則可能不能通過反映連續改變的圖像特性來有效地對圖像進行編碼。例如，當對諸如海洋或天空的平滑區域進行編碼時，編碼單元越大，壓縮率會增加得越多。然而，當對諸如人或建築物的複雜區域進行編碼時，編碼單元越小，壓縮率會增加得越多。因此，根據示例性實施例，可針對每個幀或條帶設置不同的最大圖像編碼單元和不同的最大深度。由於最大深度表示編碼單元可減小的最大次數，因此包括在最大圖像編碼單元中的每個最小編碼單元的尺寸可根據最大深度而被可變地設置。可針對每個幀或條帶或者針對每個最大編碼單元來不同地確定最大深度。編碼深度確定器120確定最大編碼單元的劃分形狀。可基於率失真(RD)代價的計算來確定劃分形狀。確定的最大編碼單元的劃分形狀被提供給編碼信息編碼器140，根據最大編碼單元的圖像數據被提供給圖像數據編碼器130。可根據不同的深度將最大編碼單元劃分為具有不同尺寸的子編碼單元，可基於具有不同尺寸的處理單元對包括在最大編碼單元中的具有不同尺寸的子編碼單元進行預測或變換。換句話說，用於對圖像進行編碼的設備100可基於具有多種尺寸和多種形狀的處理單元來執行多個處理操作以進行圖像編碼。為了對圖像數據進行編碼，執行諸如預測、變換和熵編碼中的至少一種的處理操作，其中，具有相同尺寸或不同尺寸的處理單元可分別用於多個處理操作。例如，用於對圖像進行編碼的設備100可選擇與編碼單元不同的處理單元，以預測編碼單元。當編碼單元的尺寸是2NX2N (其中，N是正整數)時，用於預測的處理單元可以是2NX2N、2NXN、NX2N和NXN。換句話說，可基於具有以下形狀的處理單元來執行運動預測按照所述形狀，編碼單元的高度和寬度中的至少一個被二等分。在下文中，作為預測的基礎的處理單元被定義為「預測單元」。預測模式可以是幀內模式、幀間模式和跳過模式中的至少一個，並且可僅對具有特定尺寸或形狀的預測單元執行特定的預測模式。例如，可僅對尺寸為2NX2N和NXN的預測單元(其形狀為方形)執行幀內模式。此外，可僅對尺寸為2NX2N的預測單元執行跳過模式。如果在編碼單元中存在多個預測單元，則在對每個預測單元執行預測之後，可選擇具有最小編碼誤差的預測模式。可選擇地，用於對圖像進行編碼的設備100可基於具有與編碼單元不同尺寸的處理單元對圖像數據執行變換。對於編碼單元中的變換，可基於尺寸等於或小於編碼單元的尺寸的處理單元來執行變換。在下文中，作為變換的基礎的處理單元被定義為「變換單元」。所述變換可以是離散餘弦變換(DCT)或Karhunen Loeve變換(KLT)，或者是任何其他定點空間變換。編碼深度確定器120可通過使用基於拉格朗日乘子的RD最優化來確定包括在最大編碼單元中的子編碼單元。換句話說，編碼深度確定器120可確定從最大編碼單元劃分的多個子編碼單元具有哪種形狀，其中，所述多個子編碼單元根據子編碼單元的深度而具有不同尺寸。圖像數據編碼器130通過基於由編碼深度確定器120確定的劃分形狀對最大編碼單元進行編碼來輸出比特流。編碼信息編碼器140對關於由編碼深度確定器120確定的最大編碼單元的編碼模式的信息進行編碼。換句話說，編碼信息編碼器140通過對關於最大編碼單元的劃分形狀的信息、關於最大深度的信息以及關於每個深度的子編碼單元的編碼模式的信息進行編碼來輸出比特流。關於子編碼單元的編碼模式的信息可包括關於子編碼單元的預測單元的信息、關於用於每個預測單元的預測模式的信息以及關於子編碼單元的變換單元的信息。關於最大編碼單元的劃分形狀的信息可以是指示每個編碼單元是否被劃分的信息，例如，標記信息。例如，當最大編碼單元被劃分並被編碼時，指示最大編碼單元是否被劃分的信息被編碼。此外，當從最大編碼單元劃分的子編碼單元被劃分並被編碼時，指示子編碼單元是否被劃分的信息被編碼。由於對於每個最大編碼單元存在具有不同尺寸的子編碼單元，並且必須針對每個子編碼單元確定關於編碼模式的信息，所以可針對一個最大編碼單元確定關於至少一個編碼模式的信息。用於對圖像進行編碼的設備100可根據深度的增加，通過將最大編碼單元的高度和寬度兩者二等分來產生子編碼單元。也就是說，當第k深度的編碼單元的尺寸是2NX 2N時，第(k+Ι)深度的編碼單元的尺寸是NXN。因此，用於對圖像進行編碼的設備100可考慮圖像特性，基於最大編碼單元的尺寸和最大深度，確定每個最大編碼單元的最佳劃分形狀。通過考慮圖像特性來可變地調整最大編碼單元的尺寸，並通過將最大編碼單元劃分為不同深度的子編碼單元來對圖像進行編碼，具有各種解析度的圖像可以被更有效地編碼。圖2是根據示例性實施例的用於對圖像進行解碼的設備200的框圖。參照圖2，用於對圖像進行解碼的設備200包括圖像數據獲取單元210、編碼信息提取器220和圖像數據解碼器230。圖像數據獲取單元210通過解析由用於對圖像進行解碼的設備200接收的比特流獲取根據最大編碼單元的圖像數據，並將圖像數據輸出到圖像數據解碼器230。圖像數據獲取單元210可從當前幀或條帶的頭提取關於當前幀或條帶的最大編碼單元的信息。換句話說，圖像數據獲取單元210可根據最大編碼單元劃分比特流，從而圖像數據解碼器230可根據最大編碼單元來對圖像數據進行解碼。編碼信息提取器220通過解析由用於對圖像進行解碼的設備200接收的比特流，從當前幀的頭提取關於最大編碼單元、最大深度、最大編碼單元的劃分形狀和子編碼單元的編碼模式的信息。關於劃分形狀的信息和關於編碼模式的信息被提供給圖像數據解碼器230。關於最大編碼單元的劃分形狀的信息可包括關於根據深度具有不同尺寸的且被包括在最大編碼單元中的子編碼單元的信息，並且可以是指示每個編碼單元是否被劃分的信息(例如，標記信息)。關於編碼模式的信息可包括關於根據子編碼單元的預測單元的信息、關於預測模式的信息以及關於變換單元的信息。圖像數據解碼器230通過基於由編碼信息提取器220提取的信息，對每個最大編碼單元的圖像數據進行解碼來恢復當前幀。圖像數據解碼器230可基於關於最大編碼單元的劃分形狀的信息對包括在最大編碼單元中的子編碼單元進行解碼。解碼步驟可包括幀內預測、幀間預測(包括運動補償)以及反變換。圖像數據解碼器230可基於關於預測單元的信息和關於預測模式的信息執行幀內預測或幀間預測，以便預測出預測單元。圖像數據解碼器230還可基於關於子編碼單元的變換單元的信息對每個子編碼單元執行反變換。
8
圖3示出根據示例性實施例的分層編碼單元。參照圖3，分層編碼單元可包括寬度和高度為64X64、32X32、16X16、8X8和4X4的編碼單元。除了這些具有完美方形形狀的編碼單元以外，還可存在寬度和高度為64X32、32X64、32X16、16X32、16X8、8X16、8X4和4X8的編碼單元。參照圖3，對於解析度為1920 X 1080的圖像數據310，最大編碼單元的尺寸被設置為64 X 64，最大深度被設置為2。對於解析度為1920X1080的圖像數據320，最大編碼單元的尺寸被設置為64X64，最大深度被設置為3。對於解析度為352X288的圖像數據330，最大編碼單元的尺寸被設置為16X 16，最大深度被設置為I。當解析度高或者數據量大時，編碼單元的最大尺寸可相對大，以增加壓縮率並準確地反映圖像特性。因此，對於具有比圖像數據330更高解析度的圖像數據310和320，64 X 64可被選為最大編碼單元的尺寸。最大深度指示分層編碼單元中層的總數。由於圖像數據310的最大深度為2，因此圖像數據310的編碼單元315根據深度的增加可包括較長軸尺寸為64的最大編碼單元以及較長軸尺寸為32和16的子編碼單元。另一方面，由於圖像數據330的最大深度為1，因此圖像數據330的編碼單元335根據深度的增加可包括較長軸尺寸為16的最大編碼單元以及較長軸尺寸為8和4的編碼單元。然而，由於圖像數據320的最大深度為3，因此圖像數據320的編碼單元325根據深度的增加可包括較長軸尺寸為64的最大編碼單元以及較長軸尺寸為32、16、8和4的子編碼單元。由於隨著深度增加基於更小的子編碼單元來對圖像進行編碼，因此當前示例性實施例適合用於對包括更多小場景的圖像進行編碼。圖4是根據示例性實施例的基於編碼單元的圖像編碼器400的框圖。幀內預測單元410對當前幀405中的幀內模式的預測單元執行幀內預測，運動估計器420和運動補償器425通過使用當前幀405以及參考幀495對幀間模式的預測單元執行幀間預測和運動補
\-ΖΧ ο基於從幀內預測單元410、運動估計器420和運動補償器425輸出的預測單元產生殘差值，隨後所述殘差值經過變換器430和量化器440被輸出為量化的變換係數。量化的變換係數經過反量化器460和反變換器470被恢復為殘差值，經過去塊單元480和環路濾波單元490被後處理並隨後作為參考幀495被輸出。量化的變換係數經過熵編碼器450可被輸出為比特流455。 為了基於根據示例性實施例的編碼方法執行編碼，圖像編碼器400的組件(S卩，幀內預測單元410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、反量化器460、反變換器470、去塊單元480和環路濾波單元490)可基於最大編碼單元、根據深度的子編碼單元、預測單元和變換單元執行圖像編碼處理。圖5是示出根據示例性實施例的基於編碼單元的圖像解碼器500的框圖。參照圖5，比特流505被解析器510解析，從而獲得將被解碼的編碼的圖像數據和解碼所必要的編碼信息。編碼的圖像數據經過熵解碼器520和反量化器530被輸出為反量化的數據，並經過反變換器540被恢復為殘差值。通過將殘差值與幀內預測單元550的幀內預測結果或運
9動補償器560的運動補償結果相加，根據編碼單元來恢復殘差值。恢復的編碼單元經過去塊單元570和環路濾波單元580被用於預測下一編碼單元或下一幀。為了基於根據示例性實施例的解碼方法執行解碼，圖像解碼器500的組件(S卩，解析器510、熵解碼器520、反量化器530、反變換器540、幀內預測單元550、運動補償器560、去塊單元570和環路濾波單元580)可基於最大編碼單元、根據深度的子編碼單元、預測單元和變換單元執行圖像解碼處理。具體地講，幀內預測單元550和運動補償器560通過考慮最大編碼單元和深度來確定子編碼單元中的預測單元和預測模式，並且反變換器540通過考慮變換單元的尺寸來執行反變換。圖6示出根據示例性實施例的最大編碼單元、子編碼單元和預測單元。圖I中示出的的用於對圖像進行編碼的編碼設備100和圖2中示出的用於對圖像進行解碼的解碼設備200考慮到圖像特性，使用分層編碼單元來執行編碼和解碼。可根據圖像特性自適應地設置最大編碼單元和最大深度，或者可根據用戶的需求不同地設置最大編碼單元和最大深度。在圖6中，分層編碼單元結構600具有最大編碼單元610，其中，最大編碼單元610的高度和寬度為64並且最大深度為4。深度沿著分層編碼單元結構600的縱軸增加，並且隨著深度增加，子編碼單元620至650的高度和寬度減小。最大編碼單元610和子編碼單元620至650的預測單元沿著分層編碼單元結構600的橫軸被示出。最大編碼單元610深度為O且編碼單元的尺寸(即，高度和寬度)為64X64。深度沿著縱軸增加，並且存在尺寸為32X32且深度為I的子編碼單元620、尺寸為16X16且深度為2的子編碼單元630、尺寸為8 X 8且深度為3的子編碼單元640以及尺寸為4 X 4且深度為4的子編碼單元650。尺寸為4X4且深度為4的子編碼單元650是最小編碼單元，並且最小編碼單元可被劃分為預測單元，每個預測單元小於最小編碼單元。參照圖6，根據每個深度沿著橫軸示出預測單元的示例。也就是說，深度為O的最大編碼單元610的預測單元可以是尺寸等於編碼單元610 (S卩，64X64)的預測單元，或者可以是尺寸小於編碼單元610 (其尺寸為64X64)的尺寸為64X32的預測單元612、尺寸為32X64的預測單元614或尺寸為32X32的預測單元616。深度為I且尺寸為32X32的編碼單元620的預測單元可以是尺寸等於編碼單元620 (即，32X32)的預測單元，或者可以是尺寸小於編碼單元620 (其尺寸為32 X 32)的尺寸為32X16的預測單元622、尺寸為16X32的預測單元624或尺寸為16X16的預測單元626。深度為2且尺寸為16X16的編碼單元630的預測單元可以是尺寸等於編碼單元630 (即，16X16)的預測單元，或者可以是尺寸小於編碼單元630 (其尺寸為16X16)的尺寸為16X8的預測單元632、尺寸為8X16的預測單元634或尺寸為8X8的預測單元636。
深度為3且尺寸為8 X 8的編碼單元640的預測單元可以是尺寸等於編碼單元640(即，8 X 8 )的預測單元，或者可以是尺寸小於編碼單元640 (其尺寸為8X8)的尺寸為8 X 4的預測單元642、尺寸為4X8的預測單元644或尺寸為4X4的預測單元646。最後，深度為4且尺寸為4X4的編碼單兀650是最小編碼單兀和最大深度的編碼單元，編碼單元650的預測單元可以是尺寸為4X4的預測單元650、尺寸為4X2的預測單元652、尺寸為2X4的預測單元654或尺寸為2X2的預測單元656。圖7示出根據示例性實施例的編碼單元和變換單元。圖I中示出的用於對圖像進行編碼的設備100和圖2中示出的用於對圖像進行解碼的設備200使用最大編碼單元自身來執行編碼和解碼，或者使用從最大編碼單元劃分的等於或小於最大編碼單元的子編碼單元來執行編碼和解碼。在編碼和解碼處理中，用於變換的變換單元的尺寸可被選擇為不大於相應編碼單元的尺寸。例如，參照圖7，在當前編碼單元710的尺寸為64X64時，可使用尺寸為32X32的變換單元720來執行變換。圖8a至圖8d示出根據示例性實施例的編碼單元、預測單元和變換單元的劃分形狀。具體地講，圖8a和圖Sb示出根據示例性實施例的編碼單元和預測單元。圖8a示出由圖I中示出的用於對圖像進行編碼的設備100選擇的劃分形狀，以對最大編碼單元810進行編碼。用於對圖像進行編碼的設備100將最大編碼單元810劃分為各種形狀，對其執行編碼，並通過基於R-D代價將各種劃分形狀的編碼結果彼此進行比較來選擇最佳劃分形狀。當最大編碼單元810被原樣編碼最優時，可在沒有如圖8a至圖8d中所示劃分最大編碼單元810的情況下對最大編碼單元810進行編碼。參照圖8b，通過將深度為O的最大編碼單元810劃分為深度等於或大於I的子編碼單元來對最大編碼單元810進行編碼。也就是說，最大編碼單元810被劃分為四個深度為I的子編碼單元，所有或部分深度為I的子編碼單元被劃分為深度為2的子編碼單元。在深度為I的子編碼單元中位於右上方的子編碼單元和位於左下方的子編碼單元被劃分為深度等於或大於2的子編碼單元。一些深度等於或大於2的子編碼單元可被劃分為深度等於或大於3的子編碼單元。圖8b示出用於最大編碼單元810的預測單元的劃分形狀。參照圖8b，用於最大編碼單元810的預測單元860可以與最大編碼單元810不同地被劃分。換句話說，每個子編碼單元的預測單元可小於相應的子編碼單元。例如，在深度為I的子編碼單元中位於右下方的子編碼單元854的預測單元可小於子編碼單元854。此外，深度為2的子編碼單元814、816、818、828、850和852中的一些子編碼單元814、816、850和852的預測單元可分別小於子編碼單元814、816、850和852。此外，深度為3的子編碼單元822、832和848的預測單元可分別小於子編碼單元822,832和848。預測單元可具有以下形狀按照所述形狀，各個子編碼單元沿著高度或寬度的方向被二等分；或者預測單元可具有以下形狀按照所述形狀，各個子編碼單元沿著高度和寬度的方向被四等分。圖8c和圖8d示出根據示例性實施例的預測單元和變換單元。圖8c示出圖8b中示出的最大編碼單元810的預測單元的劃分形狀，圖8d示出最大編碼單元810的變換單元的劃分形狀。參照圖8d，變換單元870的劃分形狀可與預測單元860不同地被設置。例如，即使深度為I的編碼單元854的預測單元被選擇為具有以下形狀按照所述形狀，編碼單元854的高度被二等分，變換單元也可被選擇為具有與編碼單元854相同的尺寸。同樣地，即使深度為2的編碼單元814和850的預測單元被選擇為具有以下形狀按照所述形狀，編碼單元814和850中的每一個的高度被二等分，變換單元也可被選擇為具有與編碼單元814和850中的每一個的原始尺寸相同的尺寸。
變換單元可以被選擇為具有比預測單元更小的尺寸。例如，當深度為2的編碼單元852的預測單元被選擇為具有以下形狀時按照所述形狀，編碼單元852的寬度被二等分，變換單元可被選擇為具有比預測單元的形狀更小尺寸的以下形狀按照所述形狀，編碼單元852沿著高度和寬度的方向被四等分。圖9是根據示例性實施例的圖像內插設備900的框圖。圖像內插可被用於將具有低解析度的圖像轉換為具有高解析度的圖像。此外，圖像內插可被用於將隔行掃描的圖像轉換為漸進圖像，或者可被用於將具有低解析度的圖像上採樣到更高的解析度。當圖4的圖像編碼器400對圖像進行編碼時，運動估計器420和運動補償器425可通過使用經過內插的參考幀執行幀間預測。也就是說，參照圖4，可通過對參考幀495進行內插來產生具有高解析度的圖像，並可基於具有高解析度的圖像執行運動估計和補償，從而增加幀間預測的精確度。同樣，當圖5的圖像解碼器500對圖像進行解碼時，運動補償器550可通過使用經過內插的參考幀來執行運動補償，從而增加幀間預測的精確度。參照圖9，圖像內插設備900包括變換器910和反變換器920。變換器910通過使用具有不同頻率的多個基函數來對像素值進行變換。所述變換可以是將空間域中的像素值變換為頻域係數的各種處理之一，並且可以是例如如上所述的DCT0使用所述多個基函數來對整數像素單元的像素值進行變換。所述像素值可以是亮度分量的像素值或色度分量的像素值。所述多個基函數的類型不受限制，並且可以是用於將空間域中的像素值變換為頻域值的各種類型的函數之一。例如，所述多個基函數可以是用於執行DCT或反DCT的餘弦函數。此外，可使用各種類型的基函數，諸如正弦基函數或多項式基函數。DCT的示例可包括改進的DCT以及使用窗的改進的DCT。反變換器920對變換器910用於執行變換的多個基函數的相位進行移動，並通過使用相位被移動的所述多個基函數，對變換器910產生的多個係數(B卩，頻域值)進行反變換。現在將通過使用二維(2D)DCT和一維(1D)DCT來描述變換器910執行的變換以及反變換器920執行的反變換。〈2D DCT 和 2D 反 DCT>圖10是示出根據示例性實施例的由圖9的圖像內插設備900執行的2D內插方法的示圖。參照圖10，圖像內插設備900通過在空間域中的整數像素單元的像素值(例如，塊1000中的位置O上的像素值)之間進行內插來產生位置X (即，內插位置)上的像素值。位置X上的像素值是分數像素單元的像素值，其中，所述像素值的內插位置由「 α x」和「 a y」來確定。儘管圖10示出塊1000具有4X4的尺寸的情況，但塊1000的尺寸不限於4X4，對於本領域普通技術人員而言顯而易見的是，可通過對比塊1000更小或更大的塊執行2DDCT和2D反DCT來產生分數像素單元的像素值。首先，變換器910對整數像素單元的像素值執行2D DCT。可根據以下等式來執行2D DCT C=D (x)XREFXD (y)…(I),其中，「C」表示包括通過執行2D DCT而獲得的頻域係數的塊，「REF」表示對其執行T DCT的塊1000，「D (X)」是用於沿X軸的方向(即，水平方向)執行DCT的矩陣，「D (y)」表示用於沿Y軸的方向(即，垂直方向)執行DCT的矩陣。這裡，「D (X)」和「D (y)」可由以下等式(2)來限定
權利要求
1.一種對圖像進行內插的方法，所述方法包括根據內插位置從多個不同的濾波器中選擇用於在整數像素單元的像素值之間進行內插的第一濾波器；以及通過使用選擇的第一濾波器，在整數像素單元的像素值之間進行內插來產生至少一個分數像素單元的至少一個像素值。
2.如權利要求I所述的方法，還包括根據內插位置從多個不同的濾波器中選擇用於在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插的第二濾波器；以及通過使用選擇第二濾波器，在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插。
3.如權利要求2所述的方法，其中，用於在整數像素單元的像素值之間進行內插的第一濾波器是下面的空間域濾波器，其中，所述空間域濾波器通過使用具有不同頻率的多個基函數來對整數像素單元的像素值進行變換，並通過使用相位被移動的所述多個基函數，對通過對整數像素單元的像素值進行變換而獲得的多個係數進行反變換。
4.如權利要求3所述的方法，其中，用於在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插的第二濾波器是下面的空間域濾波器，其中，所述空間域濾波器通過使用具有不同頻率的多個基函數來對產生的所述至少一個分數像素單元的至少一個像素值進行變換，並通過使用相位被移動的所述多個基函數，對通過對產生的所述至少一個分數像素單元的至少一個像素值進行變換而獲得的多個係數進行反變換。
5.一種用於對圖像進行內插的設備，所述設備包括濾波器選擇器，根據內插位置從多個不同的濾波器中選擇用於在整數像素單元的像素值之間進行內插的第一濾波器；以及內插器，通過使用選擇的第一濾波器，在整數像素單元的像素值之間進行內插來產生至少一個分數像素單元的至少一個像素值。
6.如權利要求5所述的設備，其中所述濾波器選擇器根據內插位置從多個不同的濾波器中選擇用於在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插的第二濾波器；所述內插器通過使用選擇的第二濾波器，在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插。
7.如權利要求6所述的設備，其中，用於在整數像素單元的像素值之間進行內插的第一濾波器是下面的空間域濾波器，其中，所述空間域濾波器通過使用具有不同頻率的多個基函數來對整數像素單元的像素值進行變換，並通過使用相位被移動的所述多個基函數，對通過對整數像素單元的像素值進行變換而獲得的多個係數進行反變換。
8.如權利要求7所述的設備，其中，用於在產生的所述至少一個分數像素單元的至少一個像素值之間進行內插的第二濾波器是下面的空間域濾波器，其中，所述空間域濾波器通過使用具有不同頻率的多個基函數來對產生的所述至少一個分數像素單元的至少一個像素值進行變換，並通過使用相位被移動的所述多個基函數，對通過對產生的所述至少一個分數像素單元的至少一個像素值進行變換而獲得的多個係數進行反變換。
9.一種其上包含有用於執行權利要求I至4中的一項權利要求的方法的電腦程式的計算機可讀記錄介質。
10.如權利要求I所述的方法，其中通過將選擇的濾波器的係數乘以縮放因子來對選擇的濾波器進行縮放，產生所述至少一個分數像素單元的所述至少一個像素值的步驟包括通過使用經過縮放的選擇的濾波器來在整數像素單元的像素值之間進行內插。
11.如權利要求I所述的方法，其中，選擇第一濾波器的步驟包括根據包括整數像素單元的塊的尺寸和用於進行內插的濾波的方向中的至少一個以及內插位置來選擇第一濾波器。
全文摘要
本發明提供了一種用於對圖像進行內插的方法和設備。所述方法包括根據內插位置從多個不同的濾波器中選擇用於在整數像素單元的像素值之間進行內插的第一濾波器；以及通過使用選擇的第一濾波器，在整數像素單元的像素值之間進行內插來產生至少一個分數像素單元的至少一個像素值。
文檔編號H04N7/32GK102939760SQ201180027840
公開日2013年2月20日 申請日期2011年4月5日 優先權日2010年4月5日
發明者艾林娜·阿爾辛娜, 亞歷山大·阿爾辛, 尼古拉·斯利亞科夫, 崔秉鬥, 洪允美, 韓宇鎮, 李泰美 申請人:三星電子株式會社