圖像預測方法及相關裝置製造方法

2023-12-06 08:24:56

圖像預測方法及相關裝置製造方法
【專利摘要】本發明實施例公開了一種圖像預測方法和相關裝置。一種圖像預測方法包括：確定與當前模板的匹配度符合預設條件的N個模板，其中，所述當前模板為當前圖像塊對應的模板，所述N為正整數，所述N個模板從所述當前圖像塊的參考圖像中搜索得到；確定所述N個模板中的每個模板所對應圖像塊內像素區域的權重，所述N個模板中的至少1個模板所對應圖像塊內的至少兩個像素區域的權重不同；基於所述N個模板中的每個模板所對應圖像塊內像素區域的權重和像素值計算所述當前圖像塊內像素區域的預測像素值，其中，所述像素區域包括至少一個像素點。本發明實施例的技術方案有利於提高圖像預測的準確度。
【專利說明】圖像預測方法及相關裝置

【技術領域】
[0001] 本發明涉及圖像處理【技術領域】，具體涉及圖像預測方法和相關裝置。

【背景技術】
[0002] 隨著光電採集技術的發展及不斷增長的高清數字視頻需求，視頻數據量越來越 大，有限異構的傳輸帶寬、多樣化的視頻應用不斷地對視頻編碼效率提出了更高的需求，高 性能視頻編碼（英文：high efficient video coding,縮寫：HEVC)標準的制定工作因需啟 動。
[0003] 視頻編碼壓縮的基本原理是利用空域、時域和碼字之間的相關性，儘可能去除冗 餘。目前流行做法是採用基於塊的混合視頻編碼框架，通過預測（包括幀內預測和幀間預 測）、變換、量化、熵編碼等操作實現視頻編碼壓縮。幀內預測技術利用當前圖像塊的空間像 素信息去除當前圖像塊的冗餘信息以獲得殘差；幀間預測技術利用當前圖像鄰近的已編碼 或已解碼圖像像素信息去除當前圖像塊的冗餘信息以獲得殘差。這種編碼框架顯示了很強 生命力，HEVC也仍沿用這種基於塊的混合視頻編碼框架。
[0004] 現有技術提供了一種基於非局部均值濾波技術來對當前圖像塊進行像素值預測。 在從參考圖像中搜索到與當前模板匹配的所有模板之後，利用該多個模板對應的圖像塊的 像素值的平均值得到當前圖像塊預測像素值。然而測試和實踐過程中發現，現有預測技術 的預測準確度有時候較低，進而很可能影響到視頻編解碼質量。


【發明內容】

[0005] 本發明實施例提供一種圖像預測方法和相關裝置，以期提高圖像預測的準確度。
[0006] 本發明第一方面提供一種圖像預測方法，包括：
[0007] 確定與當前模板的匹配度符合預設條件的N個模板，其中，所述當前模板為當前 圖像塊對應的模板，所述N為正整數，所述N個模板從所述當前圖像塊的參考圖像中搜索得 到；
[0008] 確定所述N個模板中的每個模板所對應圖像塊內像素區域的權重，所述N個模板 中的至少1個模板所對應圖像塊內的至少兩個像素區域的權重不同；
[0009] 基於所述N個模板中的每個模板所對應圖像塊內像素區域的權重和像素值計算 所述當前圖像塊內像素區域的預測像素值，其中，所述像素區域包括至少一個像素點。
[0010] 結合第一方面，在第一方面的第一種可能的實施方式中，所述確定所述N個模板 中的每個模板所對應圖像塊內像素區域的權重，包括：
[0011] 根據所述N個模板中的每個模板與所述當前模板之間的匹配度確定所述N模板中 的每個模板的權重；
[0012] 基於所述N模板中的每個模板的權重以及所述N模板中的每個模板與對應圖像塊 內像素區域的相似性參數，確定所述N個模板中的每個模板所對應圖像塊內像素區域的權 重。
[0013] 結合第一方面的第一種可能的實施方式，在第一方面的第二種可能的實施方式 中，所述N模板中的每個模板與對應圖像塊內像素區域的相似性參數包括：所述N模板中的 每個模板中的確定像素區域與對應圖像塊內像素區域的距離，和/或，所述N模板中的每個 模板中的確定像素區域的像素值的均值或加權均值與對應圖像塊內像素區域的像素值的 比值或絕對差值。
[0014] 結合第一方面的第一種可能的實施方式或第一方面的第二種可能的實施方式，在 第一方面的第三種可能的實施方式中，所述根據所述N個模板中的每個模板與所述當前模 板之間的匹配度確定所述N模板中的每個模板的權重，包括：基於如下公式，根據所述N個 模板中的每個模板與所述當前模板之間的匹配度確定所述N模板中的每個模板的權重：

【權利要求】
1. 一種圖像預測方法，其特徵在於，包括： 確定與當前模板的匹配度符合預設條件的N個模板，其中，所述當前模板為當前圖像 塊對應的模板，所述N為正整數，所述N個模板從所述當前圖像塊的參考圖像中搜索得到； 確定所述N個模板中的每個模板所對應圖像塊內像素區域的權重，所述N個模板中的 至少1個模板所對應圖像塊內的至少兩個像素區域的權重不同； 基於所述N個模板中的每個模板所對應圖像塊內像素區域的權重和像素值計算所述 當前圖像塊內像素區域的預測像素值，其中，所述像素區域包括至少一個像素點。
2. 根據權利要求1所述的方法，其特徵在於，所述確定所述N個模板中的每個模板所對 應圖像塊內像素區域的權重，包括： 根據所述N個模板中的每個模板與所述當前模板之間的匹配度確定所述N模板中的每 個模板的權重； 基於所述N模板中的每個模板的權重以及所述N模板中的每個模板與對應圖像塊內像 素區域的相似性參數，確定所述N個模板中的每個模板所對應圖像塊內像素區域的權重。
3. 根據權利要求2所述的方法，其特徵在於，所述N模板中的每個模板與對應圖像塊內 像素區域的相似性參數包括：所述N模板中的每個模板中的確定像素區域與對應圖像塊內 像素區域的距離，和/或，所述N模板中的每個模板中的確定像素區域的像素值的均值或加 權均值與對應圖像塊內像素區域的像素值的比值或絕對差值。
4. 根據權利要求2至3任一項所述的方法，其特徵在於，所述根據所述N個模板中的每 個模板與所述當前模板之間的匹配度確定所述N模板中的每個模板的權重，包括：基於如 下公式，根據所述N個模板中的每個模板與所述當前模板之間的匹配度確定所述N模板中 的每個模板的權重：
其中，所述E (Tx，TJ表示所述當前模板Tx與所述N個模板中的模板Tm之間的失真，所 述S表示所述當前模板Tx內像素區域的數量，所述。表示模板縮放因子，所述a和所述〇 為大於〇的實數，所述wm表不模板Tm的權重，所述模板Tm為所述N個模板中的任意一個模 板。
5. 根據權利要求2至4任一項所述的方法，其特徵在於，所述基於所述N模板中的每個 模板的權重以及所述N模板中的每個模板與對應圖像塊內像素區域的相似性參數，確定所 述N個模板中的每個模板所對應圖像塊內像素區域的權重，包括：基於如下公式，基於所述 N模板中的每個模板的權重以及所述N模板中的每個模板與對應圖像塊內像素區域的相似 性參數，確定所述N個模板中的每個模板所對應圖像塊內像素區域的權重：
其中，所述Wni (i，j)表示所述N個模板中的模板T111所對應的圖像塊m中的坐標為（i，j) 的像素區域的權重，所述R(i，j)表示所述圖像塊m中的坐標為（i，j)的像素區域與所述模 板T111之間的相似性參數，所述價U))表示R(i，j)對應的像素區域縮放因子。
6. 根據權利要求5所述的方法，其特徵在於，所述d價i，」_))與R(i，j)之間具有線性關 系或非線性關係。
7. 根據權利要求6所述的方法，其特徵在於，所述與R(i，j)之間的線性關係 為：所述3叫、丨))=；^邱、1_)，其中，所述3為縮放係數，所述3為大於0的實數。
8. 根據權利要求6所述的方法，其特徵在於， 所述叩?(i，j))與R(i，j)之間的非線性關係為：所述3(i?(i，j))的取值基於所述R(i，j) 所落入的距離區間確定，其中，不同距離區間對應不同取值的像素區域縮放因子。
9. 根據權利要求8所述的方法，其特徵在於，所述CW(U))與R(i，j)之間的非線性關
其中，所述al小於所述a2，所述a2小於所述a3，所述b 1小於所述b2 ;所述al、a2、a3、 bl和b2為大於O的實數； 或者， 所述f(/?(i，j))與R(i，j)之間的非線性關係為：
其中，所述a4小於所述a5,所述a5小於所述a6,所述a6小於所述a7,所述b3小於所 述b4,所述b4小於所述b5 ;所述a4、a5、a6、b7、b3、b4和b5為大於O的實數； 或者， 所述C^(U))與R(i，j)之間的非線性關係為：
其中，所述a8小於所述a9,所述a8、a9和b6為大於O的實數。
10. 根據權利要求5至9任一項所述的方法，其特徵在於， 所述R(i, j)等於d(i, j)或e(i, j)，其中，所述d(i, j)表示所述圖像塊m中的坐標為 (i，j)的像素區域與所述模板Tm中的確定像素區域之間的距離，e(i，j)表示所述圖像塊m 中的坐標為（i，j)的像素區域的像素值與所述模板T111的平均像素值或加權平均像素值之 間的比值或絕對差值。
11. 根據權利要求10所述的方法，其特徵在於，所述d(i，j)表示所述圖像塊m中的坐 標為（i，j)的像素區域與所述模板Tm左上角像素點的距離，或所述d(i，j)表示所述圖像 塊m中的坐標為（i，j)的像素區域與所述模板Tni內的像素點y的距離，其中，所述圖像塊m 中的坐標為（i，j)的像素區域與所述模板Tni內的像素點y的距離，小於或等於所述圖像塊 m中的坐標為（i，j)的像素區域與所述模板Tni內的除所述像素點y之外的任意一個像素點 的距離。
12. 根據權利要求1至11任一項所述的方法，其特徵在於，所述基於所述N個模板中的 每個模板所對應圖像塊內像素區域的權重和像素值計算所述當前圖像塊內像素區域的預 測像素值包括：利用如下公式，基於所述N個模板中的每個模板所對應圖像塊內像素區域 的權重和像素值計算所述當前圖像塊內像素區域的預測像素值：
其中，所述Wni (i，j)表示所述N個模板中的模板T111所對應的圖像塊m中的坐標為（i，j) 的像素區域的權重，所述PniQ, j)表示所述圖像塊m中的坐標為（i，j)的像素區域的像素 值，所述pre(i，j)表示所述當前圖像塊中的坐標為（i，j)的像素區域的預測像素值。
13. 根據權利要求1至12任一項所述的方法，其特徵在於，所述確定與當前模板的匹配 度符合預設條件的N個模板包括： 確定與當前模板的匹配度最高的M個模板；從所述M個模板中確定符合預設條件的N 個模板，所述N小於所述M。
14. 根據權利要求13所述的方法，其特徵在於，所述從所述M個模板中確定符合預設條 件的N個模板，包括：從所述M個模板中確定像素值與所述當前模板的像素值之間的失真小 於或等於閾值的N個模板。
15. 根據權利要求14所述的方法，其特徵在於， 所述閾值等於所述當前模板的像素值與所述M個模板的像素值之間的平均失真，或 者，所述閾值等於所述當前模板的像素值與所述M個模板的像素值之間的平均失真的調整 值。
16. 根據權利要求1至15任一項所述的方法，其特徵在於， 所述圖像預測方法應用於視頻編碼過程中或所述圖像預測方法應用於視頻解碼過程 中。
17. -種圖像預測裝置，其特徵在於，包括： 第一確定單元，用於確定與當前模板的匹配度符合預設條件的N個模板，其中，所述當 前模板為當前圖像塊對應的模板，所述N為正整數，所述N個模板從所述當前圖像塊的參考 圖像中搜索得到； 第二確定單元，用於確定所述N個模板中的每個模板所對應圖像塊內像素區域的權 重，所述N個模板中的至少1個模板所對應圖像塊內的至少兩個像素區域的權重不同； 預測單元，用於基於所述N個模板中的每個模板所對應圖像塊內像素區域的權重和像 素值計算所述當前圖像塊內像素區域的預測像素值，其中，所述像素區域包括至少一個像 素點。
18. 根據權利要求17所述的裝置，其特徵在於， 所述第二確定單元包括： 第一確定子單元，用於根據所述N個模板中的每個模板與所述當前模板之間的匹配度 確定所述N模板中的每個模板的權重； 第二確定子單元，用於基於所述N模板中的每個模板的權重以及所述N模板中的每個 模板與對應圖像塊內像素區域的相似性參數，確定所述N個模板中的每個模板所對應圖像 塊內像素區域的權重。
19. 根據權利要求18所述的裝置，其特徵在於，所述N模板中的每個模板與對應圖像塊 內像素區域的相似性參數包括：所述N模板中的每個模板中的確定像素區域與對應圖像塊 內像素區域的距離，和/或，所述N模板中的每個模板中的確定像素區域的像素值的均值或 加權均值與對應圖像塊內像素區域的像素值的比值或絕對差值。
20. 根據權利要求18至19任一項所述的裝置，其特徵在於，所述第一確定子單元具體 用於：基於如下公式，根據所述N個模板中的每個模板與所述當前模板之間的匹配度確定 所述N模板中的每個模板的權重：
其中，所述￡\丁，丁 ；)表示所述當前模板Tx與所述N個模板中的模板Tm之間的失真， X in 所述S表示所述當前模板Tx內像素區域的數量，所述。表示模板縮放因子，所述a和所述 〇為大於〇的實數，所述I表示模板Tm的權重，所述模板Tm為所述N個模板中的任意一個 模板。
21. 根據權利要求18至20任一項所述的裝置，其特徵在於，所述第二確定單元具體用 於：基於如下公式，基於所述N模板中的每個模板的權重以及所述N模板中的每個模板與對 應圖像塊內像素區域的相似性參數，確定所述N個模板中的每個模板所對應圖像塊內像素 區域的權重：
其中，所述Wni (i，j)表示所述N個模板中的模板T111所對應的圖像塊m中的坐標為（i，j) 的像素區域的權重，所述R(i，j)表示所述圖像塊m中的坐標為（i，j)的像素區域與所述模 板Tm之間的相似性參數，所述j))表示R(i，j)對應的像素區域縮放因子。
22. 根據權利要求21所述的裝置，其特徵在於，所述與R(i，j)之間具有線性 關係或非線性關係。
23. 根據權利要求22所述的裝置，其特徵在於，所述與R(i，j)之間的線性關 係為：所述以叫、1_)) = /0邱、1_)，其中，所述3為縮放係數，所述3為大於〇的實數。
24. 根據權利要求22所述的裝置，其特徵在於， 所述5(i?(i，j))與R(i，j)之間的非線性關係為：所述3(i?(i，j))的取值基於所述R(i，j) 所落入的距離區間確定，其中，不同距離區間對應不同取值的像素區域縮放因子。
25. 根據權利要求24所述的裝置，其特徵在於，所述5(/?(iJ))與R(i，j)之間的非線性
其中，所述al小於所述a2，所述a2小於所述a3，所述b 1小於所述b2 ;所述al、a2、a3、 bl和b2為大於O的實數； 或者， 所述.C(/?(i,j))與R(i，j)之間的非線性關係為：
其中，所述a4小於所述a5,所述a5小於所述a6,所述a6小於所述a7,所述b3小於所 述b4,所述b4小於所述b5 ;所述a4、a5、a6、a7、b3、b4和b5為大於O的實數； 或者， 所述c)(/?(i，j))與R(i，j)之間的非線性關係為：
其中，所述a8小於所述a9,所述a8、a9和b6為大於O的實數。
26. 根據權利要求21至24任一項所述的裝置，其特徵在於， 所述R(i, j)等於d(i, j)或e(i, j)，其中，所述d(i, j)表示所述圖像塊m中的坐標為 (i，j)的像素區域與所述模板Tm中的確定像素區域之間的距離，e(i，j)表示所述圖像塊m 中的坐標為（i，j)的像素區域的像素值與所述模板T111的平均像素值或加權平均像素值之 間的比值或絕對差值。
27. 根據權利要求26所述的裝置，其特徵在於，所述d(i，j)表示所述圖像塊m中的坐 標為（i，j)的像素區域與所述模板Tm左上角像素點的距離，或所述d(i，j)表示所述圖像 塊m中的坐標為（i，j)的像素區域與所述模板Tni內的像素點y的距離，其中，所述圖像塊m 中的坐標為（i，j)的像素區域與所述模板Tni內的像素點y的距離，小於或等於所述圖像塊 m中的坐標為（i，j)的像素區域與所述模板Tni內的除所述像素點y之外的任意一個像素點 的距離。
28. 根據權利要求17至27任一項所述的裝置，其特徵在於，所述預測單元具體用於： 利用如下公式，基於所述N個模板中的每個模板所對應圖像塊內像素區域的權重和像素值 計算所述當前圖像塊內像素區域的預測像素值：
其中，所述Wni (i，j)表示所述N個模板中的模板T111所對應的圖像塊m中的坐標為（i，j) 的像素區域的權重，所述PniQ, j)表示所述圖像塊m中的坐標為（i，j)的像素區域的像素 值，所述pre(i，j)表示所述當前圖像塊中的坐標為（i，j)的像素區域的預測像素值。
29. 根據權利要求17至27任一項所述的裝置，其特徵在於，所述第一確定單元具體用 於：確定與當前模板的匹配度最高的M個模板；從所述M個模板中確定符合預設條件的N個 模板，所述N小於所述M。
30. 根據權利要求29所述的裝置，其特徵在於， 所述第一確定單元具體用於：確定與當前模板的匹配度最高的M個模板；從所述M個 模板中確定像素值與所述當前模板的像素值之間的失真小於或等於閾值的N個模板。
31. 根據權利要求30所述的裝置，其特徵在於， 所述閾值等於所述當前模板的像素值與所述M個模板的像素值之間的平均失真，或 者，所述閾值等於所述當前模板的像素值與所述M個模板的像素值之間的平均失真的調整 值。
32. 根據權利要求17至31任一項所述的裝置，其特徵在於， 所述圖像預測裝置應用於視頻編碼裝置中或所述圖像預測裝置應用於視頻解碼裝置 中。
【文檔編號】H04N19/523GK104363449SQ201410606914
【公開日】2015年2月18日 申請日期:2014年10月31日 優先權日:2014年10月31日
【發明者】黃鑫, 張紅, 楊海濤 申請人:華為技術有限公司