自適應色度下採樣和色彩空間轉換技術的製作方法
2023-05-19 03:22:31
相關申請的交叉引用
本專利申請要求2015年3月10日提交的美國臨時專利申請62/131,052的根據35u.s.c.§119(e)的權益，該專利申請的內容全文以引用方式併入本文中。
背景技術：
本專利申請涉及數字圖像處理技術。
本發明涉及視頻編碼技術。視頻分發系統包括視頻源和至少一個接收設備。視頻內容可通過網絡或通過固定媒體分發。為了降低複雜性和成本，視頻內容通常被限制於動態範圍內，例如8-10位信號表示和4:2:0色彩格式。然而，顯示技術的最新進展已為更複雜內容(也稱為更高質量的內容)的使用提供了機會，包括以高動態範圍(hdr)和/或廣色域(wcg)為特點的內容以及具有增大的空間解析度和/或時間解析度的內容。通常使用傳遞函數(tf)，之後量化至特定的固定的位深精度(例如8位或10位)來將該更高質量的內容轉換至較低的範圍。該轉換還可包括在可更易於編碼的空間內的色彩空間轉換過程，以及色彩格式轉換，例如在使用視頻壓縮系統進行編碼以用於分發之前，將數據從4:4:4或4:2:2轉換至具有較少色度樣本(例如4:2:2和4:2:0)的表示。這些步驟可引入條帶效應和其他人工痕跡，其可在視頻內容被解碼和顯示時影響並顯著降低視頻內容的質量。
附圖說明
在下文中將參考附圖更充分地描述本公開的實施方案，其中：
圖1是視頻通信系統的示例的框圖。
圖2是示例性視頻編碼引擎的框圖。
圖3是用於編碼的示例性色彩格式轉換的框圖。
圖4是用於選擇下採樣濾波器的示例性過程的流程圖。
圖5是用於對下採樣濾波器的逐像素選擇的示例性過程的流程圖。
圖6是用於選擇下採樣濾波器的示例性過程的流程圖。
圖7是用於將r'g'b'轉換為y'crcb的示例性數據流圖表。
圖8是用於將r'g'b'轉換為ycrcb的示例性數據流圖表。
具體實施方式
描述了用於使用自適應色度下採樣來轉換數字圖像的方法、系統和計算機可讀介質。該方法包括：將圖像內容從源色彩格式轉換為第二色彩格式；對於多個候選下採樣濾波器，根據相應的下採樣濾波器來對轉換的圖像內容進行濾波，根據上採樣濾波器來對經下採樣濾波的內容進行濾波，以及估計來自經上採樣濾波的內容的與相應的濾波器對應的失真；以及根據所估計的失真選擇的下採樣濾波器來生成輸出圖像內容。
描述了用於從源色彩格式轉換為第二色彩格式的附加的方法系統和計算機可讀介質，包括：將圖像內容從rgb格式的r、g和b信號轉換為亮度信號；量化該亮度信號；通過對量化的亮度信號進行逆量化來重建亮度信號；將重建的亮度信號和r信號轉換為cr信號；以及將重建的亮度信號和b信號轉換為cb信號。
視頻和圖像壓縮系統通常在不同於捕獲色彩空間/表示和/或顯示色彩空間/表示的色彩空間/表示中操作。例如，視頻可被捕獲在rgb色彩空間中，但將被轉化至ycbcr色彩空間。這麼做是為了通過本質上利用冗餘並移動到具有更好的壓縮、均質性和誤差屏蔽屬性的色彩空間中來最大化視頻信號的壓縮屬性。
通常，解碼器和接收器傳統上具有有限數量或已知數量的濾波器，包括被實現用於對解碼數據進行上採樣以適配特定的顯示器的那些濾波器。然而，可包括色彩格式轉換器、預處理器和編碼器的發射器傳統上優化濾波器選擇，包括下採樣濾波器，而不考慮一個或多個目標設備。因此，本文提供了用於發射器和接收器濾波器選擇和色彩空間轉換的改進的技術，以在圖像/視頻處理鏈中執行。
因此，發明人感知到了本領域中對改進的編碼過程的需求，並且在一些情況下對與之相匹配的改進的解碼過程的需求。這些改進的過程可能夠處理更高質量的內容以及將所捕獲的內容和預期的解碼操作考慮在內，這與使用傳統編碼器相比改善了解碼器的輸出處的體驗(諸如更少的視覺失真)。
圖1是視頻通信系統的示例的框圖。源視頻102由接收器120通過通信信道110傳輸至接收器122以輸出為恢復視頻118。發射器120可包括將預處理的視頻數據輸出至編碼引擎108的預處理器104。控制器106可在適用的情況下管理預處理操作和編碼操作。在通過通信信道110進行傳輸之後，接收器122可在解碼器112處恢復並解碼所接收到的編碼視頻。後處理可在後處理器116處應用至解碼視頻。控制器114可在適用的情況下管理解碼操作和後處理操作。在後處理不固定的實施方案中，由預處理器104選擇的預處理參數可作為邊信息被包括在通過信道110傳輸的編碼比特流中。隨後，在接收器處，邊信息可從編碼比特流中被提取並被用於控制後處理器116。
編碼基本原理
在視頻編碼系統中，傳統的編碼器可將源視頻序列編碼為具有比源視頻小的比特率的編碼表示，從而實現數據壓縮。傳統的解碼器可隨後使由編碼器執行的編碼過程反轉以檢索源視頻。編碼引擎108可為傳統的編碼器，並且解碼器112可為傳統的解碼器。
視頻系統可包括經由網絡通信的終端。終端中的每個終端可在本地接收源視頻數據並對視頻數據進行編碼，以用於作為編碼視頻經由網絡中的信道傳輸至另一個終端。在雙工(雙向)通信系統中，每端處的終端將在本端處對視頻源進行編碼。每個終端可隨後從網絡接收另一個終端的編碼視頻數據，對編碼數據進行解碼並顯示或存儲恢復的視頻數據。視頻終端可包括個人計算機(臺式計算機和膝上型計算機兩者)、平板計算機、手持式計算設備、計算機伺服器、電視設備、媒體播放器和/或專用的視頻會議設備。
編碼器系統可將編碼視頻數據輸出至信道，該信道可為存儲設備，諸如光學存儲設備、磁性存儲設備或電氣存儲設備，或例如由計算機網絡或通信網絡諸如有線網絡或無線網絡形成的通信信道。
解碼器系統可從信道檢索編碼視頻數據、使由編碼器系統執行的編碼操作反轉以及將解碼視頻數據輸出至相關聯的顯示設備。
圖1是視頻通信系統的示例的框圖。再次參考圖1，單工(單向)終端可為發射器120。發射器120可從視頻源102接收圖像數據，該視頻源將視頻數據提供為視頻圖像序列。視頻源可為相機，該相機可包括用於捕獲光學圖像的圖像傳感器。應用於源視頻的預處理器104功能可包括轉換格式轉換以及圖像質量增強。例如，捕獲的圖像數據可被捕獲在rgb色彩域中。捕獲的圖像數據還可位於線性域中或位於可必須轉換至另一域(例如回域至線性域)的特定於傳感器/相機的傳遞函數中。鑑於圖像傳感器的特點，捕獲的數據還可需要應用去馬賽克算法，以便將其轉換為全解析度彩色圖像。視頻還可以由捕獲過程後的其他步驟處理，並且可包括自動或手動(導向)色彩分級過程，以及其他步驟，諸如裁剪、重調尺寸和轉換的幀速率和位深。視頻源可另選地為存儲設備，該存儲設備存儲從其他源(例如計算機圖形等)編著的視頻數據。儘管可由編碼引擎108使用其他色彩空間，但是在使用視頻編解碼進行壓縮操作之前，視頻數據將按照慣例被轉換為y'cbcr。
預處理器104接收源視頻數據序列並執行使源視頻適於後續編碼的預處理操作。可通過對視頻圖片執行視頻處理操作諸如空間去噪濾波或時間去噪濾波、雙邊濾波、重調尺寸或可提高由編碼器執行的編碼操作的效率的其他類型的處理操作來對源視頻數據執行視頻預處理，以更有效地呈現視頻編碼。
編碼引擎108對轉換的輸入信號執行編碼操作。編碼器可利用視頻數據中的時間冗餘和空間冗餘。編碼器可執行運動補償預測編碼。編碼引擎可根據預先確定的協議諸如h.263、h.264/avc、h.265/hevc、vp8、vp9或mpeg-2等等來操作。從編碼引擎輸出的編碼視頻數據可因此符合由所用協議指定的句法。圖2是示例性視頻壓縮系統的框圖，並且是編碼引擎108的一個示例。編碼引擎108可包括編碼流水線，該編碼流水線還包括變換206單元、量化器208單元、熵編碼器210，可包括幀間預測和運動補償預測的運動預測214單元以及減法器204。變換206單元可例如通過離散餘弦變換(dct)過程或小波過程將經處理的數據變換為變換係數陣列。變換係數可隨後被發送至量化器208單元，其中變換係數除以量化參數。來自運動預測214單元的信息以及量化的數據可隨後被發送至熵編碼器210，其中可通過運行值、運行長度或用於壓縮的其他熵編碼來對所述信息和數據極性編碼。
解碼單元220通過執行如在編碼引擎處執行的反轉操作來對來自編碼器的編碼視頻數據進行解碼。其還可包括環路後處理216單元，該環路後處理單元可包括試圖補償可已由預測過程、變換編碼過程和量化過程的特定引入的人工痕跡的過程。環路後處理可包括諸如環路解塊、樣本自適應偏移(sao)處理、自適應環路濾波(alf)過程等技術或其他技術諸如去條帶效應、銳化、抖動和去鳴振等等。在環路後處理之後，圖片通常被發送至參考圖片高速緩存216和/或顯示器。參考圖片高速緩存216存儲先前解碼的圖片和可由運動預測單元216用作供將來進行編碼操作的參考圖片的其他圖片。
信道編碼器(未示出)可對編碼視頻數據進行格式設置以用於在信道中傳輸，並且可增加誤差檢測或誤差糾正以識別或補償在通過信道傳輸期間誘發的誤差。信道自身可根據預先確定的通信協議來操作。發射器可根據適用於信道的協議來對編碼視頻數據進行格式設置，並可將編碼視頻數據輸出至信道。
色彩空間轉換優化
傳統上，被捕獲在rgb空間中的視頻將經由傳遞函數轉換為y'cbcr空間，或有時稱為ycbcr、yuv或y'uv。這可通常使用被表示為m[x,y]的3x3矩陣來實現。該m[x,y]矩陣涉及特定的r、g和b色彩空間所期望包含的基色和色彩容量。另選地，與m[x,y]中的一個行例如第一行對應的僅1x3矩陣可轉換第一分量(通常為y)，之後進行用於在給定先前轉換的情況下生成全部其他分量的後續步驟。例如，在如標準規範諸如itu-rbt.709和itu-rbt.2020等中指定的y'cbcr的非恆定亮度表示中，y』可被計算為m[l,l]*r'+m[l,2]*g'+m[l,3]*b』，其中r'、g』和b』是所捕獲的rgb圖像數據的非恆定亮度變換，並且m[l,l],m[l,2],m[l,3]是使r、g和b數據的轉換與xyz色彩空間中的亮度(y)信號相關的適當的變換係數(也稱為國際照明委員會或cie1976色彩空間)。應當指出的是，在非恆定亮度方法中的r、g和b數據可在該轉換之前就已使用適當的傳遞函數方法例如冪次定律伽瑪、st.2084/pq或某個其他傳遞函數而被轉換為非線性數據。
隨後，可使用y』信號和一些其他變換的分量，通常是用於cb的b』和用於cr的r』或使用僅r'、g』和b』值和適當定義的矩陣m係數值來計算圖像數據的cb和cr分量。在恆定亮度域中，y』被計算為y'＝(m[l,l]*r+m[l,2]*g+m[l,3]*b)』。這裡的單引號是指示應用傳遞函數的運算符。在該場景下，傳遞函數僅在從r、g和b到y的變換過程的結束處應用，其中現在這些色彩分量位於線性域中。在一些實施方案中，可將非恆定亮度情況中的y』稱為yncl'，並且將恆定亮度的y』稱為y_cl』，以區分這兩者。在其他情況下，兩者可仍使用y』並在需要時區分他們。通常，對於恆定亮度轉換，僅1x3矩陣用於創建y』分量。在將相同的傳遞函數應用至cb和cr之後，隨後基於該值和b和r的數量來計算cb和cr分量，從而得到b'和r』值。
根據實施方案，在非恆定亮度域中，cb可被計算為cb＝(b'-y')*sb，並且cr被計算為cr＝(r'-y')*sr。sb和sr涉及特定的r、g和b色彩空間所期望包含的基色。在恆定亮度域中，通常如果b'-y』小於或等於零，則cb被計算為cb＝(b'-y')*nb，否則cb被計算為cb＝(b'-y')*sb。類似地，如果r'-y'小於或等於零，則cr被計算為cr＝(r'-y')*nr，否則cr被計算為cr＝(r'-y')*sr。在這些公式中，可能設置nb＝sb並且nr＝sr，但是考慮到色彩空間的特點和轉換中涉及的傳遞函數，通常選擇這些值。具體地，在兩種情況下，即恆定亮度和非恆定亮度，意圖使cb和cr值總是在[-0.5,0.5]內。考慮到那個情況，可容易地計算可分別針對cb和cr的最小值和最大值並且可確定那些數量。例如，針對非恆定亮度情況，將針對cb具有如下計算：
b'-y'＝-m[l,l]*r'-m[l,2]*g'+(1-m[1,3])*b'
該推導的最大值是(1-m[1,3])，並且最小值是-(m[l,l]+m[l,2])。因此，在歸一化之前範圍是[-(1-m[1,3]):(1-m[1,3])]。考慮到這個情況，可計算sb＝l/(l-m[l,3])/2。可針對cr分量和sr應用類似的推導。
類似地，針對恆定亮度將具有：
b'-y'＝b'-(m[l,l]*r+m[l,2]*g+m[l,3]*b)'
在這種情況下，最大值將為1-(m[1,3])』並且最小值將為-(1-m[1,3])』。範圍為不對稱的並且取決於傳遞函數。考慮到這些值，可推導nb和sb數量，並且類似地還可計算針對cr的nr和sr數量。
在實施方案中並且針對恆定亮度情況，cb/cr分量可另選地根據以下來計算：
cb_temp＝(b-y)*sb
cr_temp＝(r-y)*sr
其中這裡的y位於線性空間中，並且還對應於信號的實際亮度信息。考慮到後續的量化過程，sb和sr是試圖儘可能多地保留色彩信息的數量。那麼：
cb＝sign(cb_temp)*tfcb(abs(cb_temp))
cr＝sign(cr_temp)*tfcr(abs(cr_temp))
其中tfcb/itfcb和tfcr/itfcr對應於特定的傳遞函數和應用至每個色彩分量的它的倒數。需注意，該傳遞函數不需要與用於生成y』分量的傳遞函數相同。可針對色彩信息更主觀地調整tf，或者可應用被應用在y上的相同的tf。
需如前所述應用用於推導sb和sr的類似的考慮因素，即需要確保在轉換之後cb和cr數量保持在[-0.5,0.5]範圍內。
在實施方案中並且針對非恆定亮度情況，cb/cr分量可根據以下來計算：
首先將y分量計算為y'＝m[l,l]*r'+m[l,2]*g'+m[l,3]*b』。y』隨後被轉換為反向變換形式y_ncl，y_ncl＝itf(y')。應當指出的是，通常，即除非tf是線性tf，否則y_ncl！＝y。那麼：
cb_temp＝(b-itf(y'))*sb
cr_temp＝(r-itf(y'))*sr
並且如上，
cb＝sign(cb_temp)*tfcb(abs(cb_temp))
cr＝sign(cr_temp)*tfcr(abs(cr_temp))
其中tfcb和tfcr為適當的傳遞函數。
需如前所述應用用於推導sb和sr的類似的考慮因素，即cb和cr數量需要保持在[-0.5,0.5]範圍內。
根據實施方案，sb和sr可被計算為：
和
圖3是用於編碼的示例性色彩格式轉換的框圖。一旦完成色彩空間轉換，在將圖像數據遞送至編碼器或預處理系統之前，通常在y'cbcr色彩空間中對圖像數據執行量化操作和上採樣操作。在圖3中，色彩空間轉換可如上所述在轉換器302中被執行，之後由量化器204和下採樣器306執行。根據實施方案，y'(yq)的量化值可被計算為qy(y')，其中qy表示量化函數。如果使用下採樣過程，例如從4:4:4到4:2:2或4:2:0，或從4:2:2到4:2:0，則cb和cr的下採樣版本需要使用特定的下採樣過程來生成。該過程可分別表示為down(qcb(cb))和down(qcb(cb))，其中down是下採樣函數。這些步驟通常在顯示或可為期望的一些其他處理之前被反轉。在完成這些過程之後，並且如果這些數據隨後被傳遞到編碼器中，則直接在此類數據上執行編碼過程。例如，下採樣器306的輸出可被輸入至預處理器104或直接輸入到編碼引擎108中，其中，可執行例如預測、dct或波形變換、量化和其他編碼過程。
類似的函數可相反地被執行，作為解碼操作的一部分，以生成重建的br'、rr』和gr』。例如，yr』可被計算為iqy(yqn)，其中iq是量化反函數。iqn實際上是iq+n，其中n是在數據的編碼或傳輸期間增加的噪聲(例如量化噪聲)。cbr和crr可被分別計算為iqcb(up(cbqn))和iqcr(up(crqn))，其中up是上採樣函數，並且cbqn和crqn是重建的色度數據，其中類似地，一些編碼噪聲也由於編碼過程而被引入其中。
隨後，對於傳統的方法，br』可被計算為cbr/sb+yr'，並且rr』可被計算為crr/sr+yr'。隨後，為了計算y』求得g』的值而求解上述公式，gr』可被計算為(yr'-m[l,l]*rr'-m[l,3]*br')/m[l,2]。
在上述方法中，所呈現的轉換和解碼操作在解碼器處被反轉。例如，在恆定亮度情況中，現在如下執行用於生成b、r和g分量的反轉過程：
cbr_temp＝sign(cbr)*itfcb(abs(cbr))
crr_temp＝sign(crr)*itfcr(abs(crr))
br＝cbr_temp/sb+y
rr＝crr_temp/sr+y
gr＝(yr-m[l,l]*rr-m[l,3]*br)/m[l,2]
類似地，對於非恆定亮度方法：
cbr_temp＝sign(cbr)*itfcb(abs(cbr))
crr_temp＝sign(crr)*itfcr(abs(crr))
br＝cbr_temp/sb+itf(y')
rr＝crr_temp/sr+itf(y')
gr＝(yr-m[l,l]*rr-m[l,3]*br)/m[l,2]
需如前所述應用用於推導sb和sr的類似的考慮因素，即需要確保cb和cr數量保持在[-0.5,0.5]範圍內。
自適應色度下採樣
如上所述，用於為壓縮準備內容的重要步驟為使用色度下採樣方法將可處於4:4:4或4:2:2布置中的原始視頻數據轉換為減小的色度解析度空間。考慮到色度信號的特點，此類步驟可改善壓縮，同時還可降低複雜性，因為在編碼期間較少的樣本需要被處理。描述了自適應色度下採樣方法，例如從4:4:4到4:2:2或4:2:0，該方法涉及對n個可能的下採樣濾波器的考慮，以及為每個樣本位置自適應地選擇「最佳」濾波器，從而得到改善的性能。
4:2:2格式是亮度-色度格式，其中色度信道在一個維度上被下採樣，包含針對每個像素的單個亮度值，但是兩個色度信道中的每個色度信道沿圖像的一個維度針對每隔一個像素僅包含一個值。這導致處於4:2:2格式的兩個色度信道中的每個色度信道沿圖像的一個(通常為水平的)維度針對每兩個亮度樣本僅包含一個值。4:2:0格式是亮度-色度格式，其中色度信道在兩個維度上被下採樣，兩個色度信道中的每個色度信道沿圖像的兩個維度針對每兩個亮度樣本僅包含一個值。這導致處於4:2:2格式的每個色度信道包含與亮度信道一樣多值的四分之一。4:4:4格式不被下採樣並且針對每個像素包括三個色彩分量值。
圖3是用於編碼的示例性色彩格式轉換的框圖。圖3的色彩格式轉換器可被結合作為圖1的預處理器104的一部分，並且可以適用於編碼引擎108的格式來輸出數據。在該示例中，源視頻102在色彩空間中例如從rgb被轉換為本文所述的4:4:4亮度-色度格式中的任一種格式。下採樣濾波器選擇器204從一組下採樣濾波器選項中選擇色度下採樣濾波器，如下文結合圖4所述。所選擇的下採樣濾波器305用於從所選擇的下採樣濾波器305生成預處理的數據202。
圖4是用於選擇下採樣濾波器的示例性過程的流程圖。根據實施方案，考慮到在解碼之後可能會使用的已知的上採樣濾波器，基於檢查每個濾波器的性能來決定針對每個樣本位置所使用的濾波器(例如在顯示之前，通過界面系統下發等)。評估每個濾波器，並且與原始信號相比產生最小失真，例如誤差項平方和(sse)、絕對差值和(sad)、結構類似度指標度量(ssim)或客觀失真的某個其他測量的濾波器可被選擇作為最佳濾波器。如圖4所示，圖像的兩個色度信道中的一個色度信道在402處被輸入。控制器410選擇n個可能的下採樣濾波器中的一個下採樣濾波器，以在404處應用至輸入色度信道。在404處濾波的結果隨後在406處立即使用已知的或假設的上採樣濾波器來進行上採樣，在408處對上採樣的結果與原始的輸入色度信道進行比較以在408處產生失真估計。失真估計被發送至所選擇的濾波器的控制器。該過程針對n個可能的下採樣濾波器中的每個下採樣濾波器重複以識別最小失真。對應於最小失真的濾波器隨後被輸出為濾波器選擇412。
根據實施方案，編碼器可以多個不同的下發系統例如不同的顯示器為目標。這些顯示器可具有不同的濾波器。來自這些顯示器的已知的濾波器可再次被考慮並評估，以選擇跨所有可用的上採樣器產生最佳平均性能的下採樣器。各種已知的顯示器上採樣器可以同樣的權重被考慮，或者可基於每個預期的上採樣器的流行率和重要性來進行加權。
可為幀/圖片選擇最佳濾波器。可通過整個圖片來評估可用的濾波器，並且最佳濾波器被選擇作為在該整個圖片上產生最佳性能的濾波器。此外，可考慮比圖片更小的單元。具體地，圖片可被分為片段，例如一條或多條線/一個或多個行或列、塊或窗口等。針對這些片段中的每個片段，可生成所有可能的下採樣版本，採用可用的上採樣器進行升頻以及獨立地選擇針對每個片段的濾波器。最終的經下採樣的圖像將是所有各個最優化區域的組合。在具體的實施方案中，可考慮重疊區域以用於優化。對於重疊區域，樣品的加權平均數可用於最終的重建。可基於距每個區域的邊界的距離或基於可包括對圖像的分析和濾波器的特點的某個其他標準來進行加權。例如，如果樣本對應於邊緣並且在一個區域中選擇了更尖銳的濾波器，而同時更多的邊緣樣本也位於那個區域中，則那個濾波器可被給與比另一區域中的具有較少邊緣樣本的濾波器更高的權重。如果樣本被視為對應於紋理或平坦區域，則類似的考慮因素可適用。
圖5是用於對下採樣濾波器的逐像素選擇的示例性過程的流程圖。根據實施方案，可針對每個單獨的樣本執行優化。這可提供比基於固定區域的方案更好的性能。如圖5所示：
a)對於特定的區域，例如整個或部分圖像線，默認選擇一個下採樣濾波器。在步驟510處，在所有樣本上應用默認濾波器以生成初始的經濾波的區域rf。
b)對於區域中的每個樣本，考慮所有另選的下採樣濾波器。
i)對於步驟520中的示例，針對當前位置，在給定所有另選的下採樣濾波器(例如n個濾波器)的情況下來對該位置樣本進行濾波，從而生成n個可能的另選的值。
ii)隨後，在給定將會考慮到的已知的上採樣濾波器的情況下，對圖像rf中的由這些上採樣器影響的(這基本上取決於上採樣濾波器的輕擊的次數)所有位置以及該特定的樣本位置進行下採樣和上採樣。對所有另選的替代方案執行相同的操作，同時考慮具有與區域rf相同濾波值的所有其他樣本。
iii)在步驟530處，針對每個應用的濾波器計算受影響區域的失真，並且找出最小失真。具有最小失真的版本被宣稱為用於該樣本的當前最佳濾波器。在步驟540中，在該經濾波版本中給定對應的經濾波樣本的情況下，圖像rf中的樣本被更新。
iv)在步驟550中，增加位置並重複濾波操作，直到已到達區域的盡頭。
v)如果已到達區域的盡頭，則可(基於失真閾值或迭代次數)終止或重複針對樣本的整個過程以進一步優化濾波器選擇。在了解了圖像的各方面的情況下，這將提供對所選擇的下採樣器的細化。
根據實施方案，可不僅考慮單個初始的經濾波的區域而且考慮給定的不同濾波器。隨後，針對這些另選的區域中的每個區域，可在給定濾波器的僅子集的情況下決定執行上述優化。具有一些重疊的相同區域或不同分區的區域可被視為用於該過程的另選的區域。在針對所有這些另選的替代方案完成該過程之後，可隨後將結果合併到一起。這可通過以各種方式合併來自另選的(或中間的)優化區域的每個共站樣本的結果。在一個實施方案中，中間結果可一起取平均值。在另選的實施方案中，這些另選的替代方案現在被視為另選的濾波器候選者，其可被考慮用於後續的優化步驟。在這種情況下，現在使用決策過程中的這些另選的替代方案來重複上述過程。在該場景下，可考慮新的區域分區，該新的區域分區可與所用的初始分區中的一個或多個分區相同或與所考慮的初始分區完全不同。實質上，現在這是分級優化過程，該過程可提供某種形式的平行化，然而，在現在所需要考慮的每個另選的子集區域中的濾波器的數量減少的情況下，複雜性最終會降低。
根據實施方案，通過信號預分析諸如邊緣和紋理/差異檢測來增加針對濾波器的決策。具體地，可首先分析圖像的邊緣或紋理，並據此對每個樣本進行分類。被分類為邊緣或靠近邊緣的每個樣本可僅考慮某些濾波器以用於下採樣，而平坦區域或紋理區域可考慮其他濾波器。樣本或像素的亮度或色彩特點也可被考慮。隨後，在給定樣本的模式的情況下，上述優化步驟將僅考慮適當的濾波器。
還可考慮與當前分量樣本相比較的其他色彩分量及其特點。如果特定的濾波器例如被選擇用於cb分量，則那個濾波器可能成為同樣用於cr分量濾波器決策的最佳濾波器。當評估針對相同位置的其他分量的樣本時，可忽略針對一個分量的樣本表現不佳的濾波器。此外，如果不同的色彩分量樣本的特點(例如邊緣或紋理分類)相匹配，則很可能會針對兩個分量使用相同的濾波器。這可大量地減少複雜性並加速下採樣過程。
上述過程可直接在傳遞函數域數據(冪次定律伽瑪或使用感知的基於量化器的伽瑪，例如st.2084/pq)上執行，或直接在線性數據上執行。
該過程可涉及4:4:4到4:2:2下採樣、4:2:2到4:2:0或4:4:4到4:2:0。針對後一種情況，可首先在一個方向上例如水平地執行自適應下採樣，之後在另一方向上例如垂直地進行自適應下採樣。還可能的是該過程可直接涉及2d下採樣，並且可針對兩個維度在單個步驟中進行轉換。
濾波器優化
編碼器可知道將用於對重建的圖像數據進行上採樣的濾波器和傳遞函數。隨後，利用已知的上採樣濾波器，下採樣濾波器可被設計為優化將由上採樣誘發的失真。如前所述，在實施方案中，編碼器可以多個不同的遞送系統例如可具有多個濾波器的不同顯示器為目標。用於這些顯示器的已知的濾波器可被考慮並評估，以選擇在可用的所有上採樣器中產生最佳平均性能的下採樣器。各種已知的顯示器上採樣器可以同樣的權重被考慮，或可基於每個預期的上採樣器的流行率和重要性來進行加權。
可通過基於原始源數據的cb/cr分量或原始源數據的一些其他色彩表示(例如r、g和b表示或x、y、z表示)選擇最佳濾波器來實現類優化。圖6是用於選擇下採樣濾波器的示例性過程的流程圖。在圖6的示例中，通過在cb/cr分量上執行量化和下採樣並隨後使用每個不同的可用濾波器執行用於重建cbr/crr分量的反函數620，原始cb/cr可與重建的cbr/crr數據進行比較以計算在處理期間增加的失真。數據可任選地被轉換回r、g和b或x、y、z，並且可替代地在那些空間中計算失真。使失真最小化最佳的濾波器可隨後被選擇用於編碼過程。
如圖6所示，初始地對於圖像數據的一部分，所述部分的cb和cr分量可使用可用的上採樣濾波器中的一個上採樣濾波器來進行編碼(框610)。隨後，所述部分的重建的crr和cbr分量使用對應的下採樣濾波器來創建(框620)。隨後，在編碼和重建過程引入的失真可通過將原始cr/cb分量與重建的crr/cbr分量進行比較來計算(框630)。一旦已考慮了所有可用的濾波器，則將選擇產生最小失真的濾波器(框640)。用於編碼決策過程的失真度量可例如為絕對差值平均或絕對差值和(mad或sad)、絕對變換差值和(satd)、均方差值/誤差或誤差項平方和(mse或sse)、峰值信噪比(psnr)、結構類似度指標(ssim)或其他合適的運算。
濾波器優化還可在不同域中接連發生。例如，在計算了cbr和crr之後，rgb和xyz色彩空間中的數據可基於原始ycbcr和重建yrcbrcrr中的一者來計算。隨後，可計算最小化失真xyz和xyzr的濾波器。該方法需要首先針對一個色彩分量例如cr作出初步決策，並且使用那個決策試圖優化另一個色彩分量，即cb。在對該色彩分量的優化完成之後，可回到cr，並在進一步給定了針對cb的初始聯合決策的情況下將其細化。該過程可迭代多次。迭代可重複，直到不再觀察到性能的進一步變化或直到可由用戶或應用程式決定的n個步驟之後。應用程式例如可自適應地基於例如總體複雜性預算來決定涉及下採樣/上採樣過程的步驟的數量。將還需在該過程中考慮y分量，而如本專利申請的其他章節中所述，y分量的特點和量化也可被考慮。該延伸的色彩空間中的失真可再次基於mad、sad、satd、sse或psnr。失真可在線性空間中或使用適當定義的傳遞函數來計算。來自該延伸空間中的每個色彩分量的失真可基於每個色彩分量的重要性使用平均數或加權平均數來組合，以生成單個失真測量。加權還可包括內容特點，諸如局部亮度或全局亮度、樣本是否與邊緣、紋理或平坦區域等對應或靠近。
可基於原始的與重建的序列、場景、圖像、片、塊、像素或圖像數據的其他部分之間的比較來選擇濾波器。
類似地，利用已知的濾波器，色彩變換矩陣(m)可以與如上所述類似的方式來優化以最小化失真。
利用已知的上採樣濾波器和下採樣濾波器並且當使用針對量化的固定位深時，在量化變換q中使用的量化參數可以與所述的類似方式來優化，以最小化失真。此類優化還可將量化邊界和量化死區考慮在內。
關於所選優化的信息可從編碼器發送至接收器或解碼器，作為與編碼數據一起傳輸的編碼提示數據的一部分。編碼提示可作為邊信息被傳輸並被包括在比特流諸如h.264中，作為補充增強信息(sei)消息。sei消息可包括後濾波提示sei消息或色度重採樣濾波提示sei消息。此類編碼提示數據可包括用於色彩變換的變換矩陣、用於量化變換的參數以及用於優化過程的濾波器的信息等。更複雜的過程還可包括實際視頻編碼和解碼的方面，即使用編解碼器諸如h.264或h.265通過初始編碼通道。此類信息可被反饋至濾波器優化階段以進一步細化下採樣過程。例如，如果已知編碼會以特定的比特率進行並且位於某個水平以下的色度精度將由於量化而丟失，則這在濾波過程期間可被考慮到，以降低複雜性或提高質量。信號的噪聲特點以及濾波器和/或編碼過程的去噪影響也可在優化和濾波過程中被考慮。
應當指出的是，以上所有操作可不僅應用於非恆定亮度y'cbcr數據而且可應用於恆定亮度y'cbcr數據、或其他色彩空間諸如y'u'v'(cie1976)、y'u"v"、ipt色彩空間或可適用於視頻編碼的其他色彩空間。
色度重採樣
傳統的色度轉換技術使用非線性傳遞函數(傳遞函數或傳遞域)。這麼做是為了使用某個主觀定義的過程(傳遞函數)執行將信號初始基本壓縮至固定位深。然而，考慮到傳遞函數的非線性，在傳遞域中在色彩分量上執行的操作可導致精度丟失和誤差。這些可通過在線性域中執行操作來補救。該過程之後還可進行附加的色彩格式轉換步驟，其旨在使色彩信號去相關以及通常使強度/亮度信息與色彩分離。
圖7是用於將r'g'b』轉換為y'crcb的示例性數據流圖表。為了執行此類操作，非恆定亮度情況中的y』可如上所述在框702處計算，即y'＝(m[l,l]*r'+m[l,2]*g'+m[l,3]*b')。隨後，(線性域中的)y_ncl、b、r和g分量可使用表示為itf的傳遞反函數而在框704a-704d中計算。例如，y_ncl可任選地被計算為y_ncl＝itf(y')，並且其他分量可被計算為y_ncl＝itf(y')、r＝itf(r')和g＝itf(g')。隨後，每個分量的下採樣版本可通過將下採樣濾波器down應用於線性分量而在框706a-706d處計算。隨後，每個下採樣分量的非線性版本可使用傳遞函數tf在框707a-707d處計算。使用色彩分量(β'、r』和g』)的下採樣非線性版本，傳遞域中的y、cb和cr分量可(如上)分別在框710、712和714處計算。另選地，可使用下採樣y_ncl數據而非下採樣g』數據來生成(如上的)cb和cr分量。應當指出的是，那個推導將不與使用下採樣g』數據相同，因為下採樣y_ncl直接從y』導出，該導出涉及傳遞函數的非線性。在該場景中，同樣考慮了下採樣y_ncl的適當的解碼器在推導最終信號的過程中是必要的。
根據實施方案，g分量的計算可為不必要的。在y轉換框處從r'、g』和b』分量初始計算的y』值可被輸出為y』分量。
根據實施方案，y』分量在階段704b之後可為不可用的。例如，y2』可不直接從下採樣的rgb值生成。隨後cr和cb可從r2、b2和g2生成。
在實施方案中，可確定最好使用用於生成一個分量的下採樣版本的線性方法以及用於另一分量的非線性方法。還可能選擇例如：非線性方法將用於兩者，或者可考慮兩者的組合。該決策可自適應地作出或基於一些預定義的條件作出。例如，這可通過在兩種情況下評估在每個場景中如在自適應濾波過程中引入的與原始cb和cr分量(未進行下採樣)相比而言的失真來確定。考慮到如前所述的適當的失真測量，還可針對該評估而考慮另選的色彩空間(例如rgb或xyz)。可考慮所有可能的組合或組合的子集，例如考慮非線性下採樣cb和線性下採樣cr的組合和/或反之亦然、線性的兩者、非線性的兩者等。決策過程可用於整個圖像、圖像的區域或甚至單個樣本。可通過對樣本一起取平均值來從轉換過程中的每個轉換過程生成附加組合。取平均值可以是基於信號的特點或基於失真性能的簡單平均數或加權平均數。
考慮到每個特定轉換的特點，在線性域中的下採樣的過程或自適應技術可在恆定亮度域和非恆定亮度域中實現，並且還可應用於另選的色彩空間，諸如y'u'v'、y'u"v"、ipt或其他色彩空間。在那些情況下，例如，可需要轉換至中間色彩空間而非rgb。具體地，可首先需要轉換至xyz或其他色彩空間，諸如例如針對ipt情況的lms。在那些空間中執行下採樣以生成下採樣版本，並且與色彩分量對應的適當的下採樣信號從這些圖像導出。
閉環轉換
傳統上，圖像數據的每個色彩分量彼此獨立地被量化並轉換。例如，在恆定亮度域或非恆定亮度域中，y'、cb和cr分量可被計算，並且隨後每個分量將通過應用量化函數q而被量化。然而，一旦yq分量被計算，則該值可用於生成cb/cr分量。可針對其他色彩空間作出相同的考慮，其中在色彩分量之間可能具有依賴關係。
圖8是用於將r'g'b』轉換為ycbcr的示例性數據流圖表。在該示例中，在非恆定亮度域，當接收到rgb輸入時，y』可在框802處(在傳遞域中)被如上(y'＝m[l,l]*r'+m[l,2]*g'+m[l,3]*b')計算。隨後，y』的量化值可在804處被計算，並且通過使用量化值，yr』可在框806處通過逆量化來重建。隨後，通過使用yr』的重建值，cb』和cr』可如上所述被計算為(在框810處為(cb'＝(β'-yr')*sb以及在框808處為cr'＝(r'-yr')*sr)。cr和cb的量化值可隨後使用量化函數分別在框812和814處來計算。下採樣過程，諸如在將數據轉換至4:2:2或4:2:0(未在圖8中示出)的情況中，以及該過程引入的失真也可在該步驟中被考慮，如先前章節所述。
類似地，在恆定亮度域，線性域中的y被首先計算為y＝m[l,l]*r+m[l,2]*g+m[l,3]*b，隨後傳遞域中的y』被計算為y'＝tf(y)。隨後，y'、cr』和cb』的量化值可如上所述針對非恆定亮度情況來計算。
解碼器或接收器可在必要時反轉這些過程以生成恢復的色彩分量。
如圖8所示，y分量可另外在框820處被編碼以及解碼，以解釋當計算cb/cr分量時由於有損壓縮器諸如圖1的編碼引擎108導致的壓縮損耗。
根據實施方案，在先前量化和處理的色彩分量中引入的任何誤差可被饋送至後續量化和處理的色彩分量中。通過改變分量計算的次序以首先計算不同的分量，隨後使用那個信息來計算其他分量：1)量化誤差、2)壓縮誤差和/或3)任何一個分量的色度上採樣誤差可在創建剩餘分量期間被考慮。
例如，cb可被計算為sb*m[l,l]*r-sb*m[l,2]*g+(sb-sb*m[l,3])*b。隨後，y被計算為y＝b-cb/sb，並且cr被計算為cr＝(sr-sr*m[l,l])*r-sr*m[l,2]*g-sr*m[l,3]*b。類似地，cr可首先被計算，其次是y再次是cb，或者cr可被其次計算，隨後是cb，然後是y等。
上述步驟可應用於其他色彩空間而非僅僅y'cbcr數據。其他空間可包括例如y'u』v』、y'u'v』和ipt色彩空間等。針對該轉換可需要中間轉換到其他色彩空間，諸如xyz或lms。這些步驟可使用本公開的所有其他章節中所述的所有其他方法來組合。
總則
上述過程中的每個過程可應用於另選的色彩空間，包括yuv、y'u'v'、xyz、y'dzdx、y'u"v"、ipt、lab等。
根據實施方案，編碼器可在由管理協議建立的針對帶外(邊信息)數據的邏輯信道中傳輸具有編碼視頻數據的信息。此類信息可包括濾波器選擇、量化參數和其他提示信息。作為一個示例，由h.264協議所用，編碼器200可在由h.264所指定的補充增強信息(sei)信道中傳輸累積統計數據。在此類實施方案中，過程將信息引入到與sei信道對應的邏輯信道中。當本發明將與不指定此類帶外信道的協議一起使用時，用於噪聲參數的獨立的邏輯信道可在輸出信道內建立。
儘管上述描述包括多個示例性實施方案，應當理解，已使用的字詞是描述和說明的字詞而非限制的字詞。如當前所陳述的和所修改的，可在所附權利要求的範圍內作出改變而不脫離本公開在其各方面的範圍和實質。儘管已結合特定的手段、材料和實施方案描述了本公開，但是本公開不旨在被限制於所公開的細節；相反，本公開延伸至諸如在所附權利要求的範圍內的所有功能等同的結構、方法和用途。例如，本發明的實施方案可提供編碼方案、存儲程序指令的非暫態計算機可讀介質、視頻編碼器等，該程序指令在由處理設備執行時使得設備執行本文所述的方法中的一個或多個方法。
如本文所用，術語「計算機可讀介質」可包括單個介質或多個介質諸如集中式資料庫或分布式資料庫、和/或存儲一個或多個指令集的相關聯的高速緩存和伺服器。該術語還應當包括能夠存儲、編碼或承載指令集的任何介質，該指令集由處理器執行且使得計算機系統執行本文所公開的實施方案中的任一個或多個實施方案。
計算機可讀介質可包括一個或多個非暫態計算機可讀介質和/或包括一個或多個暫態計算機可讀介質。在特定的非限制性示例性實施方案中，計算機可讀介質可包括固態存儲器，諸如存儲卡或容納一個或多個非易失性只讀存儲器的另一程序包。另外，計算機可讀介質可為隨機存取存儲器或其他易失性可重寫入存儲器。此外，計算機可讀介質可包括磁光介質或光學介質，諸如用於捕獲載波信號諸如通過傳輸介質傳送的信號的盤或帶或另一存儲設備。因此，本公開被視為包括任何計算機可讀介質或其他等同物以及後繼介質，數據或指令可存儲在所述介質中。
本說明書描述了可在特定的實施方案中實現的部件和功能，其可根據一個或多個特定的標準和協議來操作。然而，本公開不限於此類標準和協議。此類標準周期性地可被具有基本上相同功能的更快或更高效的等同物所取代。因此，具有相同或相似功能的替換標準和協議被視為其等同物。
本文所述的實施方案的說明旨在提供對各種實施方案的大體了解。該說明並非旨在用作對使用本文所述的結構和方法的裝置和系統的所有元件和特徵部的完整描述。在回顧本公開時，許多其他實施方案對於本領域的技術人員而言可為顯而易見的。其他實施方案可被使用並從本公開得出，使得可在不脫離本公開的範圍的情況下作出結構和邏輯替代以及變化。此外，該說明僅僅是代表性的並且可不按比例繪製。說明內的某些部分可為誇大的，而其他部分可為被最小化的。因此，本公開和附圖將被視為例示性的而不是限制性的。
例如，所公開的實施方案的操作已在伺服器和終端的上下文中被描述，該伺服器和終端實現視頻編碼應用程式中的編碼優化。這些系統可體現在電子設備或集成電路，諸如專用集成電路、現場可編程門陣列和/或數位訊號處理器中。另選地，它們可體現於在個人計算機、筆記本電腦、平板計算機、智慧型電話或計算機伺服器上執行的電腦程式中。此類電腦程式典型地存儲在物理存儲介質諸如電子、磁性和/或基於光學的存儲設備中，其中它們可在作業系統控制下被讀取到處理器並且被執行。並且，當然，這些部件可提供作為混合系統，根據需要混合系統在專用硬體部件和編程通用處理器上分發功能性。
此外，在上述描述中，各種特徵可被一起組合或描述以用於簡化本公開的目的。本公開不被解讀為反映以下意圖：需要所有此類特徵以提供可操作的實施方案，並且所要求保護的實施方案需要比每條權利要求中明確表述的特徵更多的特徵。相反，如以下權利要求書所反映，主題可涉及的特徵少於所公開實施方案中的任一實施方案的所有特徵。因此，以下權利要求書結合到說明書中，其中每條權利要求自身限定獨立地要求保護的主題。
同樣，在某些權利要求表述方法的情況下，在權利要求中對特定方法的表述的順序不要求該順序對可操作的權利要求而言是必不可少的。相反，特定的方法元素或步驟在不脫離本發明的範圍和實質的情況下可以不同次序被執行。