一種幀內預測模式的選擇方法及裝置與流程
2023-07-13 00:38:16 4
本申請涉及視頻壓縮
技術領域：
，尤其涉及一種幀內預測模式的選擇方法及裝置。
背景技術：
：在資訊時代，視頻作為重要的信息載體，在通信中逐步佔據越來越重要的地位。然而，由於源視頻信息的數據量非常大，導致其難以滿足實際的存儲與傳輸應用，因此，對源視頻壓縮是非常必要的。在自然圖像中，相鄰像素間存在很強的相關性。一幅圖像的一小塊區域通常看上去很相似，去除這些信息的冗餘可以減小將要編碼的信息量，幀內預測正是利用相鄰像素的相關性來減少空間冗餘。HEVC(HighEfficiencyVideoCoding，高效視頻編碼)引入了比上一代國際標準H.264/AVC更複雜的幀內預測方法，該方法定義了多達35種的幀內預測模式(包括33種角度模式、DC模式和Planar模式)，並以RDO(rate-distortionoptimization，率失真優化)為準則對35種模式進行搜索，從而確定唯一的最優預測模式。由於RDO的計算非常耗時，直接對全部的35種預測模式進行RDO篩選在實現上並不可行。因此，HEVC設計了一種先粗選後細選(Rough-to-Fine)的模式選擇方案，即：對每一種大小的PU(predictionunit，預測單元)，先利用相對簡單的SATD(SumofAbsoluteTransformedDifference，絕對變換誤差和)遍歷計算35種預測模式，從中選擇出幾種代價比較小的模式作為候選模式。例如，設定64x64、32x32、16x16尺寸的PU候選模式為3個，8x8和4x4尺寸的PU的候選模式為8個。此外，根據相鄰PU的預測模式，計算當前PU的MPM(MostProbableModel，最有可能的預測模式)，如果MPM不在候選模式集合中，則將其添加進去。最後才利用SSE(SumofSquaredError，差值的平方和)代價函數為準則，對候選模式集做進一步RDO的篩選，從中選出率失真代價最小的候選模式，作為當前PU最終的幀內預測模式。可見即使如此，該部分的計算量也是很大，非常耗時。技術實現要素：為克服相關技術中存在的問題，本申請提供一種幀內預測模式的選擇方法及裝置。根據本申請實施例的第一方面，提供一種幀內預測模式的選擇方法，包括：利用GPU將原始圖像按照i種不同尺寸的預處理PU進行劃分，得到i個預處理PU集合；構建每一個預處理PU集合中每一個預處理PU的候選模式列表；利用CPU選擇與當前PU相匹配的預處理PU；讀取所述與當前PU相匹配的預處理PU的候選模式列表；根據所述候選模式列表中的候選模式確定當前PU的幀內預測模式。優選地，所述利用GPU將原始圖像按照i種不同尺寸的預處理PU進行劃分，得到i個預處理PU集合，包括：利用GPU將原始圖像縮放至1/N，其中N＝2k，k屬於自然數；對縮放後的圖像按照i種不同尺寸的預處理PU進行劃分，得到i個預處理PU集合。優選地，所述構建每一個預處理PU集合中每一個預處理PU的候選模式列表，包括：計算每一個預處理PU集合中每一個預處理PU在35種預測模式下的預測塊；將每一個預測塊與原始塊進行SATD計算，得到每一種預測模式相對應的代價值；選擇代價值最小的m個預測模式作為所述預處理PU的候選模式，組成所述預處理PU的候選模式列表。優選地，所述利用CPU選擇與當前PU相匹配的所述預處理PU，包括：利用CPU確定當前PU所在四叉樹的深度；根據所述當前PU所在四叉樹的深度確定與所述當前PU相匹配的預處理PU集合；在所述預處理PU集合中選擇與所述當前PU相匹配的預處理PU。優選地，根據所述候選模式列表中的候選模式確定當前PU的幀內預測模式，包括：利用所述候選模式列表中的候選模式對所述當前PU進行RDO計算，得到每種所述候選模式的代價值；選擇代價值最小的所述候選模式作為所述當前PU的幀內預測模式。根據本申請實施例的第一方面，提供一種幀內預測模式的選擇裝置，包括GPU和CPU；所述GPU包括：預處理PU劃分模塊，用於將原始圖像按照i種不同尺寸的預處理PU進行劃分，得到i個預處理PU集合；候選模式列表構建模塊，用於構建每一個預處理PU集合中每一個預處理PU的候選模式列表；所述CPU包括：預處理PU選擇模塊，用於選擇與當前PU相匹配的預處理PU；候選模式列表讀取模塊，用於讀取所述與當前PU相匹配的預處理PU的候選模式列表；幀內預測模式確定模塊，用於根據所述候選模式列表中的候選模式確定當前PU的幀內預測模式。優選地，所述預處理PU劃分模塊包括：縮放子模塊，用於將原始圖像縮放至1/N，其中N＝2k，k屬於自然數；預處理PU劃分子模塊，用於對縮放後的圖像按照i種不同尺寸的預處理PU進行劃分，得到i個預處理PU集合。優選地，所述候選模式列表構建模塊包括：預測塊計算子模塊，用於計算每一個預處理PU集合中每一個預處理PU在35種預測模式下的預測塊；SATD計算子模塊，用於將每一個預測塊與原始塊進行SATD計算，得到每一種預測模式相對應的代價值；候選模式選擇子模塊，用於選擇代價值最小的m個預測模式作為所述預處理PU的候選模式，組成所述預處理PU的候選模式列表。優選地，所述預處理PU選擇模塊包括：當前PU深度確定子模塊，用於確定當前PU所在四叉樹的深度；預處理PU集合確定子模塊，用於根據所述當前PU所在四叉樹的深度確定與所述當前PU相匹配的預處理PU集合；預處理PU選擇子模塊，用於在所述預處理PU集合中選擇與所述當前PU相匹配的預處理PU。優選地，所述幀內預測模式確定模塊包括：RDO計算子模塊，用於利用所述候選模式列表中的候選模式對所述當前PU進行RDO計算，得到每種所述候選模式的代價值；幀內預測模式選擇子模塊，用於選擇代價值最小的所述候選模式作為所述當前PU的幀內預測模式。採用本申請實施例所提供的技術方案，利用GPU對原始圖像進行預處理，構建預處理PU的候選模式列表，則CPU在執行幀內預測時，可以直接讀取已構建的候選模式列表進行RDO計算，減少了CPU的計算量。另外，由於GPU和CPU可以並行處理，因此可以減少幀內預測模式的選擇時間。應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本申請。附圖說明此處的附圖被併入說明書中並構成本說明書的一部分，示出了符合本發明的實施例，並與說明書一起用於解釋本發明的原理。為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，對於本領域普通技術人員而言，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本申請實施例提供的一種幀內預測模式的選擇方法的流程示意圖；圖2為本申請實施例提供的一種原始圖像的劃分示意圖；圖3為本申請實施例提供的一種預測模式示意圖；圖4A-4C為本申請實施例提供的一種幀內預測示意圖；圖5為本申請實施例提供的一種幀內預測模式的裝置示意圖。具體實施方式這裡將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本發明相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本發明的一些方面相一致的裝置和方法的例子。參見圖1，為本申請實施例提供的一種幀內預測模式的選擇方法的流程示意圖。其主要包括以下步驟：步驟S100：利用GPU將原始圖像按照i種不同尺寸的預處理PU進行劃分，得到i個預處理PU集合。GPU(GraphicsProcessingUnit，圖形處理器)是一種專門在個人電腦、工作站、遊戲機和一些行動裝置(如平板電腦、智慧型手機等)上進行圖像運算工作的微處理器。作為專用的圖形處理器，從單位面積和單位功耗的角度衡量，其相對CPU在圖形處理方面具有一定的優勢。因此，本申請實施例利用GPU對原始圖像進行預處理，可以減少CPU的數據處理量，提高幀內預測模式的選擇速度。在本申請實施例中，利用GPU將原始圖像按照i種不同尺寸的預處理PU進行劃分，由於HEVC允許的最大PU尺寸為64×64，因此預處理PU可以選擇的尺寸包括4×4、8×8、16×16、32×32和64×64。本領域技術人員可以在上述尺寸中選擇一種或一種以上尺寸對原始圖像進行劃分。例如，將原始圖像複製為3份，分別按照8×8、16×16和32×32的尺寸對預處理PU進行劃分，則得到3個預處理PU集合，尺寸分別為8×8、16×16和32×32預處理PU，如圖2所示。在本申請實施例中，本領域技術人員可以根據實際需要對PU的尺寸進行選擇以兼顧圖像的質量和系統的運算速度。另外，為了減小數據處理量，在構建預處理PU的候選模式列表前還可以先對原始圖像進行縮放。具體包括：利用GPU將原始圖像縮放至1/N，其中N＝2k，k屬於自然數；對縮放後的圖像按照i種不同尺寸的預處理PU進行劃分，得到i個預處理PU集合。例如，將原始圖像縮放為1/2、1/4或1/8等。其中，在對縮放後的圖像進行預處理PU劃分時，預處理PU的尺寸也應該對應縮放。例如，當原始圖像縮放為1/2時，縮放後的圖像和原始圖像中預處理PU的對應關係如表一所示。表一：原始圖像8×816×1632×3264×64縮放後的圖像4×48×816×1632×32也就是說，當原始圖像縮放為1/2時，縮放後的圖像中尺寸為4×4的預處理PU即相當於原始圖像中尺寸為8×8的預處理PU，則在由CPU執行幀內預測時，若當前PU的尺寸為8×8，則需要在尺寸為4×4的預處理PU中選擇相匹配的候選模式列表，關於本部分內容，在下文中進行詳細闡述。步驟S200：構建每一個預處理PU集合中每一個預處理PU的候選模式列表。在將原始圖像或縮放後的圖像劃分為預處理PU後，需要構建每一個預處理PU的候選模式列表，以便CPU利用候選模式列表執行幀內預測。參見圖3，為本申請實施例提供的一種預測模式示意圖，其包含33種角度模式，再加上DC模式和Planar模式，共35種預測模式。在本申請實施例中，需要在該35種預測模式中篩選出代價值最小的m種預測模式，組成預處理PU的候選模式列表。在本申請實施例中，可以根據實際需求設定候選模式列表中候選模式m的大小，如果m過小雖然可以提高運算速度，但同樣會導致圖像質量下降較多；如果m過大雖然可以保證較好的圖像質量，但運算速度會降低。因此，選擇合適的m值，可以兼顧圖像質量和運算速度。在本申請一種較優實施例中，m取值4。具體為：計算每一個預處理PU集合中每一個預處理PU在35種預測模式下的預測塊；將每一個預測塊與原始塊進行SATD計算，得到每一種預測模式相對應的代價值；選擇代價值最小的m個預測模式作為所述預處理PU的候選模式，組成所述預處理PU的候選模式列表。例如，在本申請一種可能的實施例中，m取值為4，即為每一種預處理PU選擇4個候選模式。在為每個預處理PU構建候選列表時，每計算一次預測模式的代價值，均要與當前候選模式列表中的代價值進行比較，直到遍歷完35種預測模式，從而保留4中代價值最小的預測模式作為候選模式。例如，在計算第25種預測模式前，候選模式列表中保存的預測模式和代價值如表二所示：表二：預測模式152520代價值8121623假如GPU計算該預處理PU在第25種預測模式下的代價值為25，將該代價值與候選模式列表中的代價值進行比較，大於候選模式列表中最大的預測模式的代價值，則無需對候選模式列表進行更新，繼續計算第26種預測模式的代價值。假如GPU計算該預處理PU在第25種預測模式下的代價值為13，將該代價值與候選模式列表中的代價值進行比較，小於候選模式列表中的第5中預測模式和第20中預測模式的代價值，則對候選模式列表進行更新，更新後的候選模式列表如表三所示：表三：預測模式152255代價值8121316對候選模式列表更新後，繼續計算第26中預測模式的代價值，直到遍歷完35種預測模式，在35種預測模式中篩選出4中代價值最小的候選模式，組成候選模式列表。採用上述相同的方式，為每個預處理PU構建單獨的候選模式列表。例如，當原始圖像分別按照4×4、8×8和16×16的尺寸劃分時，分別構建每一個4×4、8×8和16×16尺寸的預處理PU的候選模式列表。在本申請實施例中，在構建候選模式列表時，為了進一步減小計算量，可以選擇35種預測模式中的一部分進行篩選。例如，在構建候選模式列表時，只遍歷35種預測模式中的奇數角度方向、DC模式和Planar模式。當然，上述選擇僅是本申請實施例一種具體的實現方式，本領域技術人員可以在35中預測模式中選擇任意一部分預測模式構建候選模式列表，其均應當處於本申請的保護範圍之內。步驟S300：利用CPU選擇與當前PU相匹配的預處理PU。由於在上述步驟S100和步驟S200中已經構建了預處理PU的候選模式列表，因此在利用CPU執行幀內預測時，可以直接選擇相匹配的候選模式列表中的候選模式進行幀內預測。具體為：利用CPU確定當前PU所在四叉樹的深度；根據所述當前PU所在四叉樹的深度確定與所述當前PU相匹配的預處理PU集合；在所述預處理PU集合中選擇與所述當前PU相匹配的預處理PU。其中，確定當前PU所在四叉樹的深度即確定當前PU的尺寸，由於HEVC允許最大PU尺寸為64×64，因此可以將64×64的PU所在四叉樹的深度作為1，將32×32的PU所在四叉樹的深度作為2，依次類推。則根據四叉樹的深度即可確定與當前PU相匹配的預處理PU集合。例如，當前PU所在四叉樹的深度為2，即當前PU的大小為32×32，如果原始圖像沒有進行縮放，則與當前PU相匹配的預處理PU集合為尺寸為32×32的預處理PU集合；如果原始圖像縮放了1/2，則與當前PU相匹配的預處理PU集合為尺寸為16×16的預處理PU集合，進而在預處理PU集合中選擇與當前PU相匹配的預處理PU。步驟S400：讀取所述與當前PU相匹配的預處理PU的候選模式列表。在確定與當前PU相匹配的預處理PU後，可以直接讀取與當前PU相匹配的預處理PU的候選模式列表。例如，相匹配的預處理PU的候選模式列表中的預測模式為DC、5、16和27，則將預測模式DC、5、16和27作為當前PU的候選模式，省去了CPU對候選模式的計算過程，減小CPU的計算量。步驟S500：根據所述候選模式列表中的候選模式確定當前PU的幀內預測模式。在獲取到候選模式列表中的候選模式後，可以根據候選模式計算當前PU的幀內預測模式，具體為：利用所述候選模式列表中的候選模式對所述當前PU進行RDO計算，得到每種所述候選模式的代價值；選擇代價值最小的所述候選模式作為所述當前PU的幀內預測模式。在本申請實施例中，由於CPU在讀取候選模式列表後直接對候選模式列表中的預測模式進行RDO運算，得到最優的預測模式，省略了MPM的過程，進一步減小了整個系統的計算量。為了便於本領域技術人員更好地理解本技術方案，以下結合一具體實施例對本方案進行詳細說明。假如在本申請實施例中，通過GPU對原始圖像進行預處理的過程中，將原始圖像縮放為1/2，且將縮放後的圖像分別按照4×4、8×8和16×16尺寸進行劃分，並獲得每種尺寸的預處理PU的候選模式列表。參見圖4A-圖4C為本申請實施例提供的一種幀內預測示意圖，圖4A中包含4個64×64的PU，分別為PU1、PU2、PU3和PU4(如圖4A中的1、2、3、4所示)。按照圖4A中PU的順序，首先對PU1執行幀內預測，由於PU1的尺寸為64×64，且在構建候選模式列表時，將原始圖像縮小了1/2，因此與PU1相匹配的預處理PU的尺寸應該為32×32。但由於在預處理的過程中，沒有對縮放後的圖像按照32×32的尺寸進行劃分，因此需要CPU對PU1的候選模式進行初步篩選，然後對候選模式進行RDO計算，在候選模式中選擇代價值最小的預測模式，作為PU1的最優模式。圖4B中包含與PU1相對應的4個32×32的PU，分別為PU1-1、PU1-2、PU1-3和PU1-4，則依次計算PU1-1、PU1-2、PU1-3和PU1-4的最優模式。以PU1-1為例，其尺寸為32×32，則與PU1-1相匹配的預處理PU的尺寸為16×16。由於在預處理的過程中，包含尺寸為16×16的預處理PU，因此，可以直接讀取與PU1-1相匹配的候選模式列表中的候選模式進行RDO計算，在候選模式中選擇代價值最小的預測模式，作為PU1-1的最優模式，然後依次計算PU1-2、PU1-3和PU1-4的最優模式。圖4C中包含與PU1-1相對應的4個16×16的PU，分別為PU1-1-1、PU1-1-2、PU1-1-3和PU1-1-4，則依次計算PU1-1-1、PU1-1-2、PU1-1-3和PU1-1-4的最優模式。以PU1-1-1為例，其尺寸為16×16，則與PU1-1-1相匹配的預處理PU的尺寸為8×8。由於在預處理的過程中，包含尺寸為8×8的預處理PU，因此可以直接讀取與PU1-1-1相匹配的候選模式列表中的候選模式進行RDO計算，在候選模式中選擇代價值最小的預測模式，作為PU1-1-1的最優模式，然後依次計算PU1-1-2、PU1-1-3和PU1-1-4的最優模式。同樣的道理，再對PU1-1-1進行劃分，直到當前PU劃分為4×4大小，然後再比較不同四叉樹深度下PU的代價值，進而完成圖像的幀內預測。由以上方案可知，在本申請實施例中，在通過GPU對原始圖像進行預處理時可能只選擇部分尺寸的PU構建候選模式列表，則在CPU執行幀內預測時，根據當前PU所在四叉樹的深度，若存在候選模式列表則直接讀取候選模式列表中的候選模式進行RDO計算；若不存在候選模式列表，則通過CPU即時篩選當前PU的候選模式，計算方法靈活。基於同一發明構思，本申請實施例還提供了一種幀內預測模式的選擇裝置。圖5為本申請實施例提供的一種幀內預測模式的裝置示意圖，如圖5所示，該幀內預測模式的裝置包括：GPU和CPU。所述GPU包括：預處理PU劃分模塊100，用於將原始圖像按照i種不同尺寸的預處理PU進行劃分，得到i個預處理PU集合。在本申請實施例中，利用GPU將原始圖像按照i種不同尺寸的預處理PU進行劃分，由於HEVC允許的最大PU尺寸為64×64，因此預處理PU可以選擇的尺寸包括4×4、8×8、16×16、32×32和64×64。本領域技術人員可以在上述尺寸中選擇一種或一種以上尺寸對原始圖像進行劃分。另外，為了減小數據處理量，在構建預處理PU的候選模式列表前還可以先對原始圖像進行縮放。具體地，所述預處理PU劃分模塊包括：縮放子模塊，用於將原始圖像縮放至1/N，其中N＝2k，k屬於自然數；預處理PU劃分子模塊，用於對縮放後的圖像按照i種不同尺寸的預處理PU進行劃分，得到i個預處理PU集合。例如，將原始圖像縮放為1/2、1/4或1/8等。其中，在對縮放後的圖像進行預處理PU劃分時，預處理PU的尺寸也應該對應縮放。候選模式列表構建模塊200，用於構建每一個預處理PU集合中每一個預處理PU的候選模式列表。具體地，所述候選模式列表構建模塊包括：預測塊計算子模塊，用於計算每一個預處理PU集合中每一個預處理PU在35種預測模式下的預測塊；SATD計算子模塊，用於將每一個預測塊與原始塊進行SATD計算，得到每一種預測模式相對應的代價值；候選模式選擇子模塊，用於選擇代價值最小的m個預測模式作為所述預處理PU的候選模式，組成所述預處理PU的候選模式列表。例如，在本申請一種可能的實施例中，m取值為4，即為每一種預處理PU選擇4個候選模式。在為每個預處理PU構建候選列表時，每計算一次預測模式的代價值，均要與當前候選模式列表中的代價值進行比較，直到遍歷完35種預測模式，從而保留4中代價值最小的預測模式作為候選模式。所述CPU包括：預處理PU選擇模塊300，用於選擇與當前PU相匹配的預處理PU。具體地，所述預處理PU選擇模塊包括：當前PU深度確定子模塊，用於確定當前PU所在四叉樹的深度；預處理PU集合確定子模塊，用於根據所述當前PU所在四叉樹的深度確定與所述當前PU相匹配的預處理PU集合；預處理PU選擇子模塊，用於在所述預處理PU集合中選擇與所述當前PU相匹配的預處理PU。其中，確定當前PU所在四叉樹的深度即確定當前PU的尺寸，由於HEVC允許最大PU尺寸為64×64，因此可以將64×64的PU所在四叉樹的深度作為1，將32×32的PU所在四叉樹的深度作為2，依次類推。則根據四叉樹的深度即可確定與當前PU相匹配的預處理PU集合。例如，當前PU所在四叉樹的深度為2，即當前PU的大小為32×32，如果原始圖像沒有進行縮放，則與當前PU相匹配的預處理PU集合為尺寸為32×32的預處理PU集合；如果原始圖像縮放了1/2，則與當前PU相匹配的預處理PU集合為尺寸為16×16的預處理PU集合，進而在預處理PU集合中選擇與當前PU相匹配的預處理PU。候選模式列表讀取模塊400，用於讀取所述與當前PU相匹配的預處理PU的候選模式列表。在確定與當前PU相匹配的預處理PU後，可以直接讀取與當前PU相匹配的預處理PU的候選模式列表。例如，相匹配的預處理PU的候選模式列表中的預測模式為DC、5、16和27，則將預測模式DC、5、16和27作為當前PU的候選模式，省去了CPU對候選模式的計算過程，減小CPU的計算量。幀內預測模式確定模塊500，用於根據所述候選模式列表中的候選模式確定當前PU的幀內預測模式。具體地，所述幀內預測模式確定模塊包括：RDO計算子模塊，用於利用所述候選模式列表中的候選模式對所述當前PU進行RDO計算，得到每種所述候選模式的代價值；幀內預測模式選擇子模塊，用於選擇代價值最小的所述候選模式作為所述當前PU的幀內預測模式。採用本申請實施例所提供的技術方案，利用GPU對原始圖像進行預處理，構建預處理PU的候選模式列表，則CPU在執行幀內預測時，可以直接讀取已構建的候選模式列表進行RDO計算，減少了CPU的計算量。另外，由於GPU和CPU可以並行處理，因此可以減少幀內預測模式的選擇時間。需要指出的是，本申請實施例所提供的技術方案可以應用於本領域中的任何GPU平臺，例如即可以使用opencl，也可以使用cuda，本申請實施例對此並不做具體限定。以上所述僅是本申請的具體實施方式，使本領域技術人員能夠理解或實現本申請。對這些實施例的多種修改對本領域的技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本申請的精神或範圍的情況下，在其它實施例中實現。因此，本申請將不會被限制於本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的範圍。以上所述僅是本申請的具體實施方式，應當指出，對於本
技術領域：
的普通技術人員來說，在不脫離本申請原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本申請的保護範圍。當前第1頁1 2 3