通過基於abt的最小可覺差模型進行視頻編碼的方法和裝置的製作方法

2023-05-16 04:47:21

專利名稱：：通過基於abt的最小可覺差模型進行視頻編碼的方法和裝置的製作方法通過基於ABT的最小可覺差模型進行視頻編碼的方法和裝CP方法
技術領域：
：本發明通常涉及數字視頻處理，特別涉及包括編碼和解碼的數字視頻編碼。
背景技術：
：由於攝像裝置的進步，無論何時何地都能夠產生越來越多的視頻(圖像序列，也被稱為運動圖像)。此外，為了追求更高的解析度，視頻尺寸不斷增加，從而涉及到大量數據需要處理。這給諸如顯示、傳輸和存儲視頻的過程帶來了巨大挑戰。所以，需要一種視頻編碼技術，使得視頻在不犧牲其質量的情況下能夠被壓縮。至於質量，期望發生較少的失真，傳統上失真通常是由量化度量如均方差(MSE)和峰值信噪比(PSNR)來衡量的。但是，這些量化度量並不能反映觀看者的感受以及失真在觀看者眼中的嚴重程度。因此，通過考慮人類如何視覺感受事物的特性，在不帶來額外視覺失真的前提下，需要進一步提高壓縮比。換言之，人類如何視覺感受圖像的主觀試驗非常重要。所以，需要保持用戶的視覺感受，同時更有效地進行視頻處理。此外，按照視頻標準的發展，越來越多的特徵被結合到當前和未來的視頻編準裡。其中一個特徵是允許視頻編碼過程裡有各種塊尺寸，例如，自適應塊尺寸變換(ABT)。通過考慮圖像內容，這有助於改善圖像質量。所以，需要在視頻編碼時能夠進行ABT，例如，與視頻標準如H.264/AVC兼容。發明概述基於空間內容信息和運動特性距離，本發明產生基於ABT的最小可覺差(JND)模型，其通過殘差濾波方法可以應用於視頻編碼系統。JND模型也被稱為JND方案。由於JND模型能夠以矩陣格式表示，JND模型也被稱為JND圖。本發明其中一個優點是通過使用基於ABT的JND模型進行視頻編碼能夠節省高達50%的比特率，而不會降低主觀視覺質量。本發明使用人類如何視覺感受事物的特性以降低比特率，而不會帶來可覺察的視覺失真。一個模擬人類視覺感受事物過程的系統被稱為視覺感受模型(VPM)。一個視覺感受模型的例子是最小可覺差(JND)模型。建立基於ABT的JND模型，並提供JND閾值給幀內的每個塊，如果非零殘差係數的數值小於JND閾值，非零殘差係數被濾波。如果非零殘差係數的數值大於相應的JND閾值，將從非零殘差係數中減去相應的JND閾值。就本發明JND模型的特性而言，不同於圖像域內的現有JND模型，或頻率域內產生的基於固定塊尺寸DCT的JND模型，本發明採用基於不同塊尺寸的基於ABT的JND模型。另夕卜，基於ABT的JND模型在不同塊尺寸變換時考慮人類如何視覺感受事物的特性。基於ABT的JND模型是根據空間內容信息(SCI)和運動特性距離(MCD)而確定的。就本發明JND模型的應用而言，不同於現有JND模型用於圖像/視頻水印和質量評估，本發明使用JND模型以增強視頻編碼效率並降低比特率。此外，依照一個預設的圖像質量度量，本發明使用基於ABT的JND模型進行視頻編碼，而不需要調整量化矩陣。本發明的一個方面是將固定尺寸的JND模型擴展到不同塊尺寸。不同塊尺寸的JND模型被用來描述人類對不同尺寸變換如何視覺感受事物的特性。本發明的另一個方面是確定空間內容信息(SCI)，其描述宏塊及其子塊之間的空間外觀相似性。本發明的另一個方面是確定運動特性距離(MCD)，其描述宏塊及其子塊之間的運動特性相似性。本發明的另一個方面是基於宏塊的SCI使用圖像或幀內的不同塊尺寸變換之間的平衡策略。本發明的另一個方面是基於宏塊的SCI和MCD使用幀間的不同塊尺寸變換之間的平衡策略。本發明的另一個方面是對不同尺寸變換進行殘差濾波以降低比特率並保持相同的視覺質量。本發明的其它方面也將披露，如以下所述的實施例。以下將參照附圖，詳細描述本發明的目的、方面和實施例，其中圖1顯示本發明一個視頻編碼的典型實施例的流程圖；圖2顯示一個產生基於ABT的JND模型的典型實施例的流程圖；圖3顯示一個基於ABT的JND濾波的典型實施例的流程圖；圖4顯示在一個實施例裡分別在一個16x16塊和一個4x4塊內分配測試DCT子帶。圖5描述宏塊及其相應子塊的運動矢量以解釋MCD—致性概念用於幀間的時間平衡策略。圖6描述一個視頻編碼裝置的典型實施例的模塊示意圖。發明詳述圖1顯示本發明提供的一個視頻編碼典型實施例的流程圖。在一個實施例裡，視頻編碼實在一個輸入視頻110上進行，輸入視頻110被編碼。為了編碼輸入視頻110，計算輸入視頻Iio裡每幀內不同塊尺寸的每個塊的JND模型。可能的塊尺寸的例子包括但不限於4x4,8x8和16x16。對每個宏塊，基於幀內預測121或幀間預測122，計算預測值。例如，當幀是P幀或B幀時，使用幀間預測122。幀內預測121是基於不同塊尺寸如4x4、8x8和16x16，並也被稱為不同塊尺寸的幀內預測。幀間預測122是基於不同塊尺寸如4x4、8x8和16x16，並也被稱為不同塊尺寸的幀間預測。差值塊(differenceblock)是由預測和塊之間的差異而產生。差值塊也被稱為殘差(residual)塊。根據殘差塊的塊尺寸，殘差塊被分割成不同構造的非重疊塊用於進行編碼。同時計算以下信息(1)塊類型，如幀間或幀內；(2)塊分類，如平面、邊緣或紋理；和(3)不同尺寸的塊的運動矢量。以上信息被用來計算最小可覺差(Just-NoticeableDifference,JND)模型140。依照其中一個實施例，根據Jia，Y.；Lin,W.；Kassim,Α.A.所著的EstimatingJust-NoticeableDistortionforVideo(IEEETransactionsonCircuitsandSystemsforVideoTechnology,Vol.16，No.7，pp.820-829，Jul.2006)一文中的Jia的模型，在此其披露通過引用結合到本發明，假設JND模型140最初是專為8x8離散餘弦變換(DCT)塊開發的。8x8DCT塊的JND模型140可以被擴展到以下所述的其它塊尺寸。以X表示將被編碼的塊，Xp是X的預測。如以下等式⑴所示，殘差塊&被變換、量化和編碼。Xr=X-Xp(1)殘差塊\通過自適應塊尺寸變換(ABT)130進行變換，也被稱為不同塊尺寸變換，如通過不同塊尺寸離散餘弦變換(DCT)以計算被變換的殘差塊Y。被變換的殘差塊Y在以下等式⑵定義Y=T(Xr)(2)其中T表示在殘差塊X,上的ABT。被量化的變換的殘差塊Yq在以下等式(3)定義Yq=Q(Y)(3)其中Q表示量化運算。對塊X，計算基於ABT的JND模型140。基於ABT的JND模型140，由Jx(u，ν)表示，是一個包括JND閾值的矩陣或圖，超過該JND閾值，觀察者就能注意到每個殘差係數的任何失真。JND閾值的計算將在以下討論。以Y(u，ν)表示殘差塊\的第(U，ν)位置的殘差係數。如果Y(U，ν)的幅值小於叉仏，力，則可以丟棄變換的殘差係數？㈨力。如果Υ(，ν)的幅值大於Jx(u，v)，變換的殘差係數Y(u，ν)減去Jx(u，ν)。變換的殘差係數Y(u，ν)的處理也被稱為一個濾波步驟150(基於ABT的JND濾波)。在一個實施例裡，基於ABT的JND濾波步驟150在量化之前實施，並且濾波計算如以下等式(4)定義；^…力^垣械八…「^乂丨八「，力卜心，力)if\Y(u,v)\>Jx(u,v),(4)1『E由以上等式(4)的Jx濾波，由以下等式⑶計算濾波E(uν)=I徹"(五("，v))x(I五…，v)Iif\E(u,v)\>Jx(u,v),⑶1'R=d+λL(10)其中λ是Lagrangian乘子，而L是利用預測模式對塊進行編碼的實際比特長度。例如，如果幀間預測的RD成本低於幀內預測，那麼就選擇幀間預測作為該塊的預測模式。基於ABT的JND濾波步驟150可以看作是一個自適應量化步驟，其中每個塊的量化裝置是由其空間和時間特性確定的。因為基於ABT的JND濾波的塊將經歷正常的編碼程序，比特流完全與H.264標準兼容，並且能夠通過任何解碼器準確地進行解碼。選擇的變換模式與被濾波的殘差係數一起，通過熵編碼170進行編碼。在進行不同塊尺寸變換和基於ABT的JND濾波之後，計算宏塊的總失真及其所需比特。根據宏塊的總失真及其所需比特，依照率失真優化而確定最佳變換模式(最佳變換尺寸)。基於ABT的JND模型140與變換模式有關，所以不需要編碼額外信息。圖2顯示一個典型實施例的產生基於ABT的JND模型的流程圖。為了產生基於ABT的JND模型，需要確定塊類型210。如果是一個幀間塊，一個根據空間和時間特性的平衡策略是合適的。如果是一個幀內塊，僅空間平衡策略就合適了。在一個實施例裡，使用8x8基於DCT的JND模型，並可以擴展到不同塊尺寸的基於DCT的JND模型，如16x16基於DCT的JND模型和4x4基於DCT的JND模型。圖像的自適應的基於塊尺寸變換(ABT)的最小可覺差(JND)模型的詳情在Ma，Lin;Ngan，KingN.所著的AdaptiveBlock-SizeTransformBasedJust-NoticeableDifferenceProfileforImages(Proceedingsofthe10thPacificRimConferenceonMultimedia:AdvancesinMultimediaInformationProcessing,Session13:AdvancedImageProcessingTechniques；Page1208-1218；2009)一文裡有描述，在此其披露通過引用結合到本發明。在圖像域或變換域內可以確定一個自動的JND模型，如DCT和離散小波變換(DWT)或這兩種方案的組合。為了準確地描述人類如何視覺感受事物，在變換域內產生的一個JND模型，其也被稱為基於子帶(subband-based)的JND，可以集合所有主要的影響因子。主要影響因子包括但不限於空間對比敏感度函數(CSF)、亮度適應效應和對比度掩蓋(contrastmasking)。ABT允許不同的變換尺寸。依照普通策略採用不同的變換尺寸，即較大變換會提供較好的能量壓縮和較好的細節保留，而較小變換可以避免壓縮期間的振鈴現象。如果使用不同的變換尺寸，本發明允許基於ABT的JND模型使用人類如何視覺感受事物的不同表現。在擴展期間，進行心理物理實驗來參數化空間CSF以考慮人類如何視覺感受事物的特性。圖像內容也被自適應地調整以確定採用哪一個變換尺寸來產生基於ABT的JND模型。對一個幀內塊，使用空間平衡策略220來確定空間內容信息(SCI)在塊內是否一致。根據空間平衡策略220，如果一個16X16塊的空間內容信息一致，DCT的塊尺寸被選擇為16X16。16X16DCT被用來產生基於ABT的JND模型。根據基於16X16塊尺寸的心理物理實驗221，產生的基於ABT的JND模型是基於16X16的塊尺寸。如果16X16塊的空間內容信息不一致，那麼16X16塊被分割成8X8塊。隨後，對每個8X8塊，根據空間平衡策略222，如果8X8塊的空間內容信息一致，就選擇DCT的塊尺寸為8X8。8X8DCT被用來產生基於ABT的JND模型。產生的基於ABT的JND模型是基於8X8的塊尺寸。如果8X8塊的空間內容信息不一致，就選擇DCT的塊尺寸為4X4，4X4DCT被用來產生基於ABT的JND模型。根據基於4X4塊尺寸的心理物理實驗223，產生的基於ABT的JND模型是基於4X4的塊尺寸。對一個幀間塊，使用空間和時間平衡策略230來確定16X16塊的空間內容信息(SCI)是否一致，以及16X16塊的運動特性距離(MCD)是否一致。依照空間和時間平衡策略230，如果SCI和MCD—致，就選擇DCT的塊尺寸為16X16。16X16DCT被用來產生基於ABT的JND模型。根據基於16X16塊尺寸的心理物理實驗231，產生的基於ABT的JND模型是基於16X16的塊尺寸。如果SCI和MCD不一致，16X16塊被分割成8X8區塊。隨後，對每個8X8塊，使用空間和時間平衡策略232來確定8X8塊的SCI是否一致以及8X8塊的MOT是否一致。依照空間和時間平衡策略232，如果SCI和MCD—致，就選擇DCT的塊尺寸為8X8。8X8DCT被用來產生基於ABT的JND模型。如果SCI和MCD不一致，就選擇DCT的塊尺寸為4X4。4X4DCT被用來產生基於ABT的JND模型。根據基於4X4塊尺寸的心理物理實驗233，產生的基於ABT的JND模型是基於4X4的塊尺寸。空間平衡策略在心理物理學中，最小可覺差(JND)是某一特定感官刺激所能察覺的最小差別。JND也被看作是差別閾限或差分閾值。通常，JND模型能夠以以下等式(11)表述Tjnd=TJNDsxTJNDi(11)其中:是空間JND，而是時間JND調製因子。在幀間幀，對於處理不適合運動估計的塊，也需要幀內預測。因為這些塊依賴於其空間鄰近塊多於時間幀。因此，這些塊被看作僅包含空間信息，並通過遵循空間平衡策略的空間JND模型進行模擬。在DCT域裡的空間JND模型是由以下等式(12)確定T(m，n，i，j)=Tbasic(i，j)alum(m,n)acm(m,n，i，j)(12)其中(m，n)表示圖像裡DCT塊的位置，(i，j)表示DCT子帶(i，j)，Tbasi。是由空間對比敏感度函數(CSF)產生的基本可視度閾值；alun是亮度適應性aCffl是對比度掩蓋；而T(m,n,i，j)是獲得的空間JND閾值。基本可視度閾值基本可視度閾值Tbasi。被定為空間頻率的對比敏感度的倒數，其是在空間頻率上人類視覺感受的敏感度，並通過以下等式(13)進行模擬H(w)=(a+bco)exp(_cw)(13)其中co是指定的空間頻率。由於JND閾值是由等式(13)模擬的敏感度的倒數，基本JND閾值由以下等式(14)模擬formulaseeoriginaldocumentpage914)其中s=0.25表示求和影響因子，並且小」小」是如以下等式(15)所定義的DCT正態因子formulaseeoriginaldocumentpage9N表示DCT塊的尺寸。約表示相應DCT係數的方向角度，如以下等式(16)所示(ptj=arcsin(2fj)(16)其中闢j是相應的DCT子帶(i，j)的空間頻率，由以下等式(17)定義=(1/(狄))>/氏)2+(_/凡)2(17)其中ey分別是水平和垂直視覺角度，由以下等式(18)提供ex=ey=2arctan(1/(2RdPh))(18)其中Rd表示觀看距離與圖像高度的比率，而Ph是圖像高度(像素)。參數(a，b，c)在以下段落進行定義和計算。亮度適應性亮度適應性aluffl，被用來表示對比不同亮度有多容易地察覺到差別。例如，在黑暗或明亮區域內有一個較高的可視度閾值，以表示要察覺到任何差別會更困難些，而在中等亮度區域內有一個較低的可視度閾值，以表示更容易察覺到任和差別。亮度適應性是基於DCT塊的平均強度I■，由以下等式(19)給定formulaseeoriginaldocumentpage9其中Iave是整個DCT塊的平均強度值。對比度掩蓋對比度掩蓋a。m被用來表示在出現另一個視覺分量時一個視覺分量可視度的降低。例如，在一個紋理區域內將較難見到噪聲，而在一個光滑區域或邊緣區域內將更容易見到噪聲。因此，a。^依塊分類的不同而不同，由以下等式(20)給定formulaseeoriginaldocumentpage9『1,平面和邊緣塊2.25,for(i2+/2)\6紋理塊在一個實施例裡，塊分類是在圖像域內實施的。首先，在圖像域內使用Canny邊緣探測器標記邊緣像素。其次，基於塊內的邊緣像素數目，塊可以被分類成三種類型，即分別是PLANE(平面)、EDGE(邊緣)、和TEXTURE(紋理)。例如，對一個16X16宏塊，依照以下formulaseeoriginaldocumentpage9等式(21)定義塊分類formulaseeoriginaldocumentpage10其中EEdge是在一個給定宏塊裡邊緣像素的數目。在一個實施例裡，時間JND模型由以下等式(20)確定(21)formulaseeoriginaldocumentpage10(22)其中ft=fsxvx+fsyVfsx，fsy分別是水平空間頻率和垂直空間頻率，而vx，vy分別是沿著水平方向和沿著垂直方向在視網膜平面上物體運動的速度。不同塊尺寸變換之間的JND方案的平衡策略在擴展8X8到16X16以及4X4之後，將獲得三個基於不同塊尺寸變換的JND方案。較小塊尺寸的DCT將產生較好的能量壓縮和細節信息保留，而較大塊尺寸的DCT能夠更有效地表示局部圖像塊的內容和特性。幀內的空間平衡策略tableseeoriginaldocumentpage10對幀內，圖像首先被分割成16X16宏塊。塊分類被採用作為平衡不同JND方案的基礎。如表格1所示，第一列表示16X16宏塊類型，而第二列表示8X8子塊分類。第三列是產生JND方案的決定。例如，如果16X16宏塊被標記為PLANE，而在宏塊內的所有8X8子塊也被標記為PLANE，則採用16X16基於DCT的JND模型，因為其具有能量壓縮和細節信息保留的優點。否則，JND方案確定過程將繼續，如以下表格2表格2(在16X16、8X8和4X4JND方案中間的平衡策略)tableseeoriginaldocumentpage11例如，如果8X8子塊被標記為PLANE，並且在8X8子塊內的所有4X4子塊也被標記為PLANE，根據8X8子塊的不同信息和特性，如塊類型是否是PLANE或EDGE或TEXTURE，則採用8X8基於DCT的JND模型用於16X16宏塊內的每個8X8子塊。否則，通過考慮4X4子塊的不同內容信息和特性，如區塊類型是否是PLANE或EDGE或TEXTURE，採用4X4基於DCT的JND模型用於每個4X4子塊。幀間的時間平衡策略塊及其子塊之間的時間特性被用於幀間的平衡策略。在一個實施例裡，運動矢量被用來表示物體的運動特性。運動特性距離(MOT)表示一個宏塊及其子塊之間的運動特性相似性。MCD由以下等式(23)確定formulaseeoriginaldocumentpage11其中MVS」是子塊的運動矢量，而MVm」是宏塊的運動矢量。如果MCD小於閾值，空間內容信息一致，那麼將使用一個較大的基於DCT的JND。否則，將採用較小的基於DCT的JND。圖5描述宏塊及其相應子塊的運動矢量以解釋MCD—致性概念用於幀間的時間平衡策略。圖5顯示一個當前幀520及其參考幀510。在當前幀520裡的宏塊521有一個運動矢量，指向參考幀510裡的相應宏塊511。當前幀520裡的宏塊522有一個運動矢量，指向參考幀510裡的相應宏塊512。圖中顯示，與宏塊522的子塊的那些運動矢量相比，宏塊521的子塊的運動矢量與宏塊521的運動矢量更加一致。宏塊522的MCD大於宏塊521的MCD，甚至大於閾值，都是可能的。心理物理實驗圖4顯示一個實施例裡分別在一個16X16塊和一個4X4塊內示例分配測試DCT子帶。在一個16X16塊410的實施例裡，測試DCT子帶是由陰影單元表示，如單元411，其分配如附圖所示。在一個4X4塊420的實施例裡，測試DCT子帶由陰影單元表示，如單元421，其分配如附圖所示。如圖4所示，測試DCT子帶被分配，使得至少一個測試DCT子帶安排在每行和每列上，測試DCT子帶覆蓋低頻、中頻和高頻，並且至少一個DCT子帶被安排在每個對角線上。噪聲被分別加到16X16和4X4DCT的某些空間頻率子帶上。對每個測試DCT子帶，基於預設的衡量，對每個子帶選擇多個幅度的噪聲。對是否能夠感受到噪聲，觀察者提供意見和看法。如果能察覺到噪聲，將降低噪聲幅度。相反，如果感受不到噪聲，將提高噪聲幅度。在實驗之後，能夠獲得所選擇DCT子帶的最小可覺差閾值。JND模型有方向性，其表示為對水平和垂直頻率分量的最大敏感度和對對角線分量的最小敏感度。在參數化期間，至少一個DCT子帶被安排在每行和每列上，至少一個DCT子帶被安排在每個對角線上，並且DCT子帶最好覆蓋低頻、中頻和高頻。採用最小均方誤差來擬合獲得的JND閾值，如以下等式(24)…，b,c)=minZ^-Tb—n，、J)f(24)<ij其中、y是從心理物理實驗獲得的JND閾值。圖3顯示一個基於ABT的JND濾波的典型實施例的流程圖。在一個實施例裡，依照不同變換尺寸的DCT，4X4殘差係數301、8X8殘差係數302、和16X16殘差係數303是從ABT300獲得。通過產生JND模型310，而產生選擇的JND模型311，其可以是4X4JND模型、8X8JND模型、或16X16JND模型。此外，每個變換尺寸有兩種類型的JND模型，即幀內宏塊的空間JND模型和幀間宏塊的時間JND模型。為了使JND模型與ABT變換兼容，選擇的JND模型通過JND擴展312被擴展到基於不同塊尺寸的JND模型。在JND擴展312裡，一些信息諸如不同塊的塊類型、塊分類和運動矢量被用來產生每個塊的基於不同塊尺寸的JND模型。因此，獲得了4X4JND模型321、8X8JND模型322、和16X16JND模型323用於濾波變換的殘差係數。^={°'z/Etyp<JND^typ1sigOilEJ-JNDJ,otherwise等式(25)表示濾波過程。「typ」表示用於DCT變換和JND模型的塊尺寸。Etyp是根據不同塊尺寸的變換的殘差係數，JNDtyp是產生的JND，其可以是4X4JND模型321、8X8JND模型322、或16X16JND模型323。i㈣是被濾波的係數。在濾波之後，獲得4X4被濾波的殘差係數331、8X8被濾波的殘差係數332、或16X16被濾波的殘差係數333。殘差係數與預測模式信息一起將由率失真優化(RD0)340進行處理以選擇最佳預測模式。因此，當率失真被激活時，選擇用於塊的預測模式即是最小化率失真成本的那個預測模式。在一個實施例裡，率失真成本被定義為R=d+入L。其中\是Lagrangian乘子，而L是對那個預測模式的塊進行編碼的實際比特長度。圖6描述本發明提供的一個視頻編碼裝置的典型實施例的模塊示意圖。以下所述的各個部件可以被實施為一個或多個處理器。預測模式確定單元601對輸入視頻數據進行運作，根據幀預測模式確定視頻信號裡的幀是幀間編碼幀還是幀內編碼幀。ABT單元603在輸入視頻數據上執行自適應塊變換以產生各種塊尺寸的DCT變換信號。另一方面，基於ABT的JND模型產生單元602基於以下上述信息產生一個基於ABT的JND模型(1)塊類型，如幀間或幀內；(2)塊分類，如平面、邊緣或紋理；和(3)不同尺寸塊的運動矢量。基於ABT的JND模型包括一個或多個JND閾值，這些閾值是由基於視覺感受模型的心理物理實驗確定的。根據上述空間平衡策略，基於ABT的JND模型產生單元602基於空間內容信息計算幀內編碼幀的基於ABT的JND模型。根據上述空間和時間平衡策略，基於ABT的JND模型產生單元602也基於空間內容信息和時間特性計算幀間編碼幀的基於ABT的JND模型。通過丟棄一個或多個低於基於ABT的JND模型的JND閾值的殘差係數，基於ABT的JND濾波單元604濾波一個或多個殘差係數，從而輸出一個被濾波的殘差係數的信號。基於被濾波的殘差係數，如果率失真優化單元激活時，通過降低率失真成本，率失真優化單元605確定率失真成本以選擇最佳預測模式。接著，在對被濾波的殘差係數進行編碼之後，熵編碼單元606計算被編碼的數據。本發明實施例能夠以軟體、硬體、應用邏輯的形式實施，或以軟體、硬體和應用邏輯的組合而實施。軟體、應用邏輯和/或硬體可以被安置在集成電路晶片、模塊或存儲器裡。如果期望的話，部分軟體、硬體和/或用用邏輯可以被安置在集成電路晶片裡，部分軟體、硬體和/或用用邏輯可以被安置在模塊裡，並且部分軟體、硬體和/或用用邏輯可以被安置在存儲器裡。在一個典型實施例裡，應用邏輯、軟體或指令集合保留在任何一種傳統的非臨時性計算機可讀媒質裡。在本說明書裡描述的過程和邏輯流程可以通過一個或多個可編程處理器運行一個或多個電腦程式，運行輸入數據並產生輸出，以執行以上功能。過程和邏輯流程也可以通過專用邏輯電路如FPGA(現場可編程柵極陣列)或ASIC(專用集成電路)來運行。在本說明書裡描述的裝置或設備可以通過可編程處理器、計算機、晶片系統或其組合來實施，運行輸入數據並產生輸出。裝置或設備可以包括專用邏輯電路如FPGA(現場可編程柵極陣列)或ASIC(專用集成電路)。裝置或設備也可以包括硬體、為電腦程式產生運行環境的代碼，如構成處理器固件、協議堆棧、資料庫管理系統、運行系統、跨平臺運行環境的代碼，如虛擬機或一個或多個虛擬機的組合。適合執行電腦程式的處理器包括諸如通用和專用微處理器，以及任何類型數字計算機的任何一個或多個處理器。通常，處理器從只讀存儲器和/或隨機存取存儲器接收指令和數據。計算機元件通常包括一個用來執行指令的處理器、以及一個或多個用來存儲指令和數據的存儲器裝置。在本說明書裡描述的計算機可讀媒質可以是任何與指令執行系統、裝置或設備如計算機一起連接以保留、存儲、通信、傳播或傳輸所用指令的任何媒質或裝置。計算機可讀媒質可以包括計算機可讀存儲媒質，其可以是任何與指令執行系統、裝置或設備如計算機一起連接以保留或存儲所用指令的媒質或裝置。計算機可讀媒質可以包括所有形式的非易失性存儲器、媒質和存儲器裝置，包括如半導體存儲器裝置，如EPR0M、EEPR0M、和快閃記憶體裝置，磁碟如內置硬碟或可移除碟、磁光碟、以及CD-ROM和DVD-ROM碟。電腦程式(也被稱為程序、軟體、軟體應用程式、腳本或代碼)可以任何編碼語言撰寫，包括可編譯或可解釋語言、可陳述或程序語言，並且能夠以任何形式運行，包括以一個單機程序或適合用於計算環境裡的一個模塊、組件、子程序、對象或其它單元。電腦程式可以在一個計算機或多個計算機上運行，計算機可以安置在單個地點或分布在多個地點，並通過通信網絡互連。在本說明書裡描述的實施例和/或特徵可以實施在一個計算系統裡，其包括一個後端部件如數據伺服器，或其包括一個中間件部件如應用程式伺服器，或其包括一個前端部件如具有用戶界面或Web瀏覽器的客戶計算機，由此用戶能夠與本說明書裡所述的實施例進行互動，或該計算機系統可以是一個或多個這種後端、中間或前端部件的任何組合。系統部件可以通過任何形式或通過數字數據通信的方法如通信網絡而進行互連。通信網絡的例子包括區域網(LAN)和廣域網(WAN)，如網際網路。計算系統可以包括客戶機和伺服器。客戶機和伺服器通常互相遠離，並通常通過一個通信網絡進行互動。客戶機和伺服器的關係憑藉各個計算機上運行的電腦程式發生聯繫，並互相有一個客戶機_伺服器的關係。整個說明書包括許多具體實施細節。這些具體實施細節並不意味著是對本發明範圍的限制，而是作為本發明特別實施例的具體特徵描述。在各個實施例上下文裡描述的某些特徵也可以被合併，並作為單個實施例。相反地，在單個實施例的上下文裡描述的各個特徵也可以單獨或以任何合適的亞合併方式實施在多個實施例裡。此外，儘管特徵可以被描述以某些方式合併，甚至初始作如此聲明，來自所述組合或聲明組合的一個或多個特徵在某些情況下可以被排除出組合，並且聲明組合可能涉及一個亞組合或一個亞組合的變化。儘管本發明各個方面在獨立權利要求裡有闡述，但本發明的其它方面還包括來自實施例和/或從屬權利要求的特徵以及獨立權利要求特徵的其他組合，且並不是僅僅在權利要求裡明確闡述的組合。在本說明書裡描述的某些功能可以以不同次序和/或互相同時執行。而且，如果期望的話，一個或多個上述功能可以是可選的或可以合併。以上描述提供了本發明的典型實施例，但不應該被看作是限制性的。此外，還有可能對其作出改變和修改，而不會脫離如在所附權利要求裡所定義的本發明範圍。權利要求一種視頻編碼裝置，包括一個提供視頻信號的單元；一個預測模式確定單元，其依照幀預測模式確定視頻信號裡的幀是幀間編碼幀還是幀內編碼幀；一個基於ABT的JND模型產生單元，其產生一個基於ABT的JND模型，該模型包括由基於視覺感受模型的心理物理實驗確定的一個或多個JND閾值；和一個基於ABT的JND濾波器，其通過去除一個或多個低於JND閾值的殘差係數並從一個或多個大於JND閾值的殘差係數中減去JND閾值來濾波一個或多個殘差係數，從而輸出一個含有被濾波的殘差係數的信號。2.根據權利要求1所述的視頻編碼裝置，其中基於空間內容信息，基於ABT的JND模型產生單元為幀內編碼幀計算基於ABT的JND模型。3.根據權利要求2所述的視頻編碼裝置，其中如果塊及其子塊之間的空間內容信息一致，就選擇一個較大塊尺寸的基於ABT的JND模型。4.根據權利要求2所述的視頻編碼裝置，其中空間內容信息是由塊類型確定，而塊類型是由幀的每個塊裡的邊緣像素數量決定的。5.根據權利要求1所述的視頻編碼裝置，其中基於空間內容信息和時間特性，基於ABT的JND模型產生單元為幀間編碼幀計算基於ABT的JND模型。6.根據權利要求5所述的視頻編碼裝置，其中如果空間內容信息一致並且時間特性一致，就選擇一個較大塊尺寸的基於ABT的JND模型。7.根據權利要求5所述的視頻編碼裝置，其中空間內容信息是由塊類型確定，而塊類型是由幀的每個塊裡的邊緣像素數量決定。8.根據權利要求5所述的視頻編碼裝置，其中時間特性是由塊及其子塊之間的運動特性距離確定。9.一種對視頻信號進行編碼的方法，包括使用權利要求1所述的視頻編碼裝置，處理視頻信號。10.一種對視頻信號進行編碼的方法，包括提供一個將被編碼的視頻信號；依照幀預測模式確定視頻信號裡的幀是幀間編碼幀還是幀內編碼幀；產生一個基於ABT的JND模型，其包括由基於視覺感受模型的心理物理實驗確定的一個或多個JND閾值；和通過去除一個或多個低於JND閾值的殘差係數並從一個或多個大於JND閾值的殘差係數減去JND閾值，濾波一個或多個殘差係數，從而輸出一個具有被濾波的殘差係數的信號。11.根據權利要求10所述的視頻信號編碼方法，還包括基於空間內容信息，計算幀內編碼幀的基於ABT的JND模型。12.根據權利要求11所述的視頻信號編碼方法，其中如果塊及其子塊之間的空間內容信息一致，就選擇一個較大塊尺寸的基於ABT的JND模型。13.根據權利要求11所述的視頻信號編碼方法，其中空間內容信息是由塊類型確定的，而塊類型是由幀的每個塊裡的邊緣像素數量決定。14.根據權利要求10所述的視頻信號編碼方法，還包括基於空間內容信息和時間特性，計算幀間編碼幀的基於ABT的JND模型。15.根據權利要求14所述的視頻信號編碼方法，其中如果空間內容信息一致並且時間特性一致，就選擇一個較大塊尺寸的基於ABT的JND模型。16.根據權利要求14所述的視頻信號編碼方法，其中空間內容信息是由塊類型確定的，而塊類型是由幀的每個塊裡的邊緣像素數量決定。17.根據權利要求14所述的視頻信號編碼方法，其中時間特性是由塊及其子塊之間的運動特性距離確定。全文摘要本發明涉及通過基於自適應塊尺寸變換(ABT)的最小可覺差(JND)模型對視頻編碼的方法和裝置。為了建立最小可覺差模型，使用空間內容信息(SCI)來表示宏塊及其子塊之間的空間外觀相似度，並且使用運動特性距離(MCD)來表示宏塊及其子塊之間的運動特性相似度。對幀內編碼幀，基於宏塊SCI的平衡策略被用來產生基於ABT的JND模型。對幀間編碼幀，基於宏塊SCI和MCD的平衡策略被用來產生基於ABT的JND模型。使用基於ABT的JND模型，幀內每個塊的殘差係數被濾波以獲得一組縮減的殘差係數用於傳輸，但不會降低視覺質量。文檔編號H04N7/26GK101835048SQ20101017414公開日2010年9月15日申請日期2010年4月30日優先權日2010年3月30日發明者劉雨,湛偉權,顏慶義,馬林申請人:香港應用科技研究院有限公司