使運動場緻密的方法及裝置的製作方法
2023-08-06 16:29:01
專利名稱：使運動場緻密的方法及裝置的製作方法
技術領域：
本發明涉及把源圖像與目標圖像之間運動場緻密的方法及裝置。
更確切地說，本發明屬於圖像處理領域，其中，目標圖像像點應該與源圖像像點相關聯。
在數字圖像序列編碼範圍內的一些算法提出了兩個圖像間的像點關聯方案。
這些算法利用了通過離散子波分解進行運動補償的時間濾波。這些算法首先進行視頻圖像序列的圖像之間子波時間轉換，然後對得出的時間子波段進行空間分解。更具體地說，視頻圖像序列被分解成兩組圖像，偶數圖像及奇數圖像，運動場是在每個偶數圖像與子波時間變換所用的最鄰近的單個或多個奇數圖像之間估算的。偶數圖像及奇數圖像都彼此相對地反覆進行了運動補償以便得到時間子波段。可以重複進行這種形成圖像分組及運動補償的過程以便產生不同的子波變換水平。時間圖像接著利用子波分析濾波器進行空間濾波。
分解之後，會得到整全的時空子波段。運動場和時空子波段最後被編碼並且按各個相應的靶分辯率水平層傳輸。有些這類算法實現了時間濾波，所依據的技術是刊物中介紹的，W.Sweldens，SiamJ.Anal，Vol.29，Nr2，pp511-546，1997，並且其公知的英文術語為「Lifting」。
在這些算法中，已經在刊物裡，其標題為「3D subband video codingusing Barbell Lifting；MSRA Asia；Contribution SO5 au CFP MPEG-21SVC」，提出過，使偶數圖像像素與奇數圖像像素相對應以便更新偶數圖像像素，與此同時要重新利用由偶數圖像預測奇數圖像時所用的奇數圖像像素的加權權重，為的是實現利用這些權重的加權更新。偶數圖像的一個像點P(x，y)可向奇數圖像點Q』(x』，y』)提供權重W，它將利用W權重加權像點Q』(x』，y』)而得到更新。
這種解決方案並不令人滿意。實際上，還有多項問題未能用該算法得到解決。在那些偶數圖像中存在一些不相對應的像素。這種稱為孔洞的像素對應性缺失使得運動場更新不是完全反轉顯像的並且在用戶解碼器處圖像再現時會引起人為幹擾現象。此外，對於由一個偶數圖像的多個像素所更新的一些像素來說，其更新也不是標準化的。這種標準化的缺乏也引起一些人為幹擾現象，比如在用戶解碼器處圖像再現時可造成先回波和/或後回波圖像。總而言之，當包含在視頻圖像序列圖中的目標都處於比如是翻轉的運動狀態下時，例如在該刊物中所提出的對應性也不是最適宜的。
在專利申請WO 030859990中，已描述一種方法可以加快視頻圖像序列中向後運動的矢量計算，這些後移矢量是利用前移矢量從可處理的運動場導出的。在該申請中，一個信息組的運動矢量都可用鄰近信息組的運動矢量代替。這種方法也的確適合於如變焦距鏡頭圖像間的運動，但不適合處理翻轉運動。
本發明的目的是克服現有技術的一些缺點，與此同時提出了一種方法和裝置可以使源圖像與目標圖像間的運動場緻密，它們特別適合於處理比如可能出現在遮光區內的翻轉運動。
為此，根據第一種觀點，本發明提出一種自源圖像與目標圖像之間的運動場而使目標圖像與源圖像之間的運動場緻密的方法，其特徵在於，該方法包括以下步驟●確定在源圖像像素或子像素與目標圖像像素或子像素之間的連接。
●對於連接到源圖像像素或子像素的目標圖像的每個像素或子像素，確定像素或子像素的一個關聯空間，其中包括目標圖像的至少一個像素和/或子像素。
●使包含在關聯空間內的每個像素或子像素關聯到連接所述像素或子像素的源圖像像素或子像素以便在目標圖像與源圖像之間形成密集的運動場。
相應地，本發明還涉及從源圖像與目標圖像間運動場開始使目標圖像與源圖像之間的運動場緻密裝置，其特徵在於，該裝置包括●源圖像像素或子像素與目標圖像像素或子像素之間的連接確定裝置。
●對於連接到源圖像一個像素或子像素的目標圖像的每個像素或子像素，可確定像素或子像素的一個關聯空間的裝置，該關聯空間包含目標圖像的至少一個像素和/或子像素。
●一種關聯裝置可使含在關聯空間內的每個像素或子像素關聯到連接所述像素或子像素的源圖像像素或子像素以便在目標圖像與源圖像之間形成一種密集運動場。
因此，目標圖像的所有像素或子像素都關聯到源圖像的一個像素或子像素，運動場因此完全是反轉顯像的並且當用戶解碼器處再現圖像時不會引起人為幹擾現象。此外，目標圖象與源圖像之間的運動場緻密特別適合於當包含在視頻圖像序列圖像中的目標處在遮光中翻轉運動的狀態時。
根據本發明的另一觀點，確定關聯空間，與此同時要按照連接到源圖像像素或子像素的鄰近像素或子像素的一些像素或子像素來確定目標圖像中的工作空間，該源圖像像素或子像素連接到工作空間所關聯的像素或子像素，同時還要在已確定的工作空間中確定關聯空間，從工作空間所關聯的像素或子像素開始，也從連接到源圖像像素一些鄰近像素或子像素的那些像素或子像素開始，此源圖像像素連接到工作空間所關聯的像素或子像素。
因此，就有可能快速而有效地限定目標圖像的像素或子像素，這些像素或子像素未連接到被連接的像素或子像素附近。
根據本發明的另一個觀點，人們確定關聯空間，與此同時要在工作空間所關聯的像素或子像素及連接源圖像像素或子像素鄰近像素或子像素的那些像素或子像素中確定那些可根據其在目標圖像中的坐標限定工作空間的像素或子像素，該源圖像像素或子像素連接到工作空間所關聯的像素或子像素，同時也要根據工作空間所關聯的像素或子像素坐標以及可使工作空間所關聯的像素或子像素與限定工作空間的像素或子像素分開的間隔來確定關聯空間。
這樣，就快速地實現了運動場的緻密，與此同時還可以允許視頻圖像序列編碼和/或解碼的高質量運動場緻密。
根據本發明的另一觀點，那些可使工作空間所關聯的像素或子像素與限定工作空間的像素或子像素分開的間隔都利用二分之一階的係數加權。
這樣，就能夠控制關聯空間的緻密率和/或覆蓋率並因此減少了視頻圖像序列解碼時的模糊現象。二分之一階的係數值可以得到在運動場完全緻密與關聯空間最小覆蓋之間的最佳折衷。
本發明還涉及視頻圖像序列編碼器的運動補償時間濾波裝置，其特徵在於，它包括本發明運動場緻密裝置。
本發明也涉及視頻圖像序列解碼器運動補償反向時間濾波裝置，其特徵在於，它包括本發明的運動場緻密裝置。
本發明還涉及一種信號，它包含利用離散子波分解運動補償時間濾波所編碼的視頻圖像序列，該信號包含高、低頻圖像，低頻圖像是在從目標圖像與源圖像間的運動場開始，使源圖像組中一個源圖像與目標圖像組中一個目標圖像之間進行緻密的同時而得到的，其中實現緻密的同時要確定源圖像像素或子像素與目標圖像像素或子像素之間的連接，同時還要對連接到源圖像像素或子像素的目標圖像的每個像素或子像素，而確定像素或子像素的關聯空間，其中包含目標圖像的至少一個像素和/或子像素並且要同時使連接所述像素或子像素的源圖像像素或子像素關聯到包含在關聯空間內的每個像素或子像素以便在目標圖像與源圖像之間形成密集運動場。
本發明還涉及一種信號傳輸方法，該信號包含利用離散子波分解進行運動補償的時間濾波所編碼的視頻圖像序列，信號包含高、低頻圖像，低頻圖像的取得要同時對源圖像組的一個源圖像與目標圖像組的一個目標圖像之間的運動場進行緻密，從目標圖像與源圖像之間的運動場開始，並且其中實現緻密的同時要確定源圖像像素或子像素與目標圖像像素或子像素之間的連接，同時還要對連接到源圖像像素或子像素的目標圖像的每個像素或子像素來確定像素或子像素的關聯空間，其中包含目標圖像的至少一個像素和/或子像素並且要同時使連接所述像素或子像素的源圖像像素或子像素關聯到包含在關聯空間內的每個像素以便在目標圖像與源圖像之間形成密集運動場。
本發明還涉及一種信號的儲存方法，此信號包含利用離散子波分解進行運動補償的時間濾波所編碼的視頻圖像序列，信號包括高、低頻圖像，低頻圖像是在從目標圖像與源圖像間的運動場開始，使源圖像組中一個源圖像與目標圖像組中一個目標圖像之間進行緻密的同時而得到的，其中實現緻密的同時要確定源圖像像素或子像素與目標圖像像素或子像素之間的連接，同時還要對連接到源圖像像素或子像素的目標圖像的每個像素或子像素來確定像素或子像素的關聯空間，其中包含目標圖像的至少一個像素和/或子像素並且要同時使連接所述像素或子像素的源圖像像素或子像素關聯到包含在關聯空間內的每個像素或子像素以便在目標圖像與源圖像之間形成密集運動場。
編碼方法，解碼方法，編碼裝置，解碼裝置，傳輸或存儲到存儲設備上的含有視頻圖像序列的信號等，它們的優點都與運動場緻密的方法及裝置的優點相同。將不再回顧了。
本發明還涉及存儲在信息載體上的電腦程式，所述電腦程式包括一些指令，當由信息系統加載和執行時，可以實施前述方法。
上面所提到的本發明特徵，以及其它特徵可在閱讀了後面對實施例的說明時更清楚地顯示出來，所述說明聯繫了幾個附圖，其中有附
圖1表示採用本發明對應性的運動補償時間濾波視頻編碼器的方框示意圖；附圖2表示了在子波分解中使用Haar濾波器時，採用本發明對應性的附圖1中視頻編碼器的運動補償時間濾波模塊組件方框示意圖；附圖3表示能夠執行本發明對應性算法的信息和/或通信裝置方框示意圖；附圖4表示由信息和/或通信裝置處理器執行的本發明對應性算法；附圖5表示目標片段像素及子像素與源片段像素或子像素相對應性的簡化實施例；附圖6表示附圖5中目標片段的其它像素及子像素與源片段像素或子像素的相對應性簡化實施例；附圖7表示目標圖像像素及子像素與源圖像像素或子像素相對應的實例；附圖8表示利用本發明相對應性的運動補償時間濾波視頻解碼器的方框示意圖；附圖9表示了在子波分解中使用Haar濾波器時，可利用本發明相對應性的附圖8視頻解碼器的運動補償反向時間濾波模塊組件的方框示意圖。
附圖1表示採用本發明對應性運動補償時間濾波視頻編嗎器的方框示意圖。
運動補償時間濾波視頻編碼器10可使視頻圖像序列15編碼為分級數據流18。分級數據流是這樣一種數據流，其中數據的安排要使得其能夠傳輸按圖像解析度和/或質量根據接收數據的應用類型而變化的再現。包含在該分級數據流中的數據進行編碼以便保證以既按質量又按解析度的分級方式或按英文術語「scalable」方式傳輸視頻圖像序列而且這還不需要進行視頻圖像序列的不同編碼。因此有可能不在存儲設備上存儲和/或只向通信終端傳輸一部分分級數據流18，這是當通信網信息流量較低和/或當通信終端不需要高質量和/或高解析度時的情況。也有可能在存儲設備上存儲和/或傳輸全部的分級數據流18到通信終端，這是當通信網的信息流較大以及當通信終端要求高質量和/或高分辯率時的情況，而這都是從同一分級數據流18開始的。
運動補償時間濾波的視頻編碼器10包括一個運動補償時間濾波模塊組件100。運動補償時間濾波模塊組件100將一組N個圖像變換成兩組圖像，例如一組[N+1]/2個低頻圖像及一組N/2個高頻圖像並且變換這些圖像，從運動估算開始，這種估算是由運動補償時間濾波視頻編碼器10的運動估算模塊11所進行的。運動估算模塊11實現了在標為x2[m，n]的每個偶數圖像與標為x1[m，n]的先前奇數圖像之間的運動估算，甚至可能估算圖像序列隨後的奇數圖像對。運動補償時間濾波模塊組件100運動式補償了偶數圖像x2[m，n]以便使時間濾波儘可能有效。實際上，圖像預測與圖像之間的差越小，它就越能進行有效壓縮，也就是說具有更好的信息流/失真折衷或者等效地具有關於再現質量的良好壓縮比率。
運動估算模塊11對於每個偶數及奇數圖像像對進行計算，例如非限制性地採用從一個奇數圖像向一個偶數圖像的信息組對應性。這種技術是公知的，其英文術語為「block matching」。當然，可使用一些其它技術，例如網絡篩分運動估算技術。因此，源圖像的一些像素的對應性是利用奇數圖像像素實現的。在利用信息組估算的特定情況下，信息組的運動值可用到奇數圖像信息組的每個像素及每個子像素。換種說法，信息組的加權運動矢量以及鄰近信息組的加權運動矢量都根據稱為OBMC(Overlapped Block Motion Compensation)的公知技術被用到信息組的每個像素。
運動補償時間濾波模塊組件100進行已補償圖像的離散子波分解以便使視頻圖像序列分解成幾個按單一或多種分辯率水平分布的子波段。只要所希望的分解水平沒有達到，離散子波分解就被自動循環地應用到時間子波段的低頻子波段上。運動補償時間濾波視頻編碼器10的判定模塊12可確定是否所希望的分解水平已達到或未達到。
由運動補償時間濾波模塊組件100所得到的不同子波段都轉儲到分級信息流的發生模塊13。運動估算模塊11使運動估算轉儲到分級信息流的發生模塊13，它又利用不同的子波段以及運動估算而組成了分級數據流18。
附圖2表示附圖1視頻編碼器的運動補償時間濾波模塊的方框示意圖，其在子波分解中使用Haar濾波器時，可利用本發明的對應性。
運動補償時間濾波模塊組件100按照術語為「lifting」公知技術進行時間濾波。該技術可以進行單一濾波、撓性濾波以及等效於子波濾波的完全可逆的濾波。
偶數源圖像x2[m，n]是利用上採樣(Sur-échant)模塊110上採樣的，與此同時例如要進行離散子波變換合成或SDWT或者利用雙線性插值法，雙三次插值法或利用基點正弦法。因此，標為x2[m，n]的圖像由上採樣模塊110變換成例如具有四分之一像素分辯率的圖像x』2[m』，n』]。
對於由模塊110至114構成的運動補償時間濾波模塊組件部分來說，源圖像就成了偶數圖像x2[m，n]。
運動補償時間濾波模塊組件100還包括一個初始運動連接模塊121。初始運動連接模塊121形成圖像x』1[m」，n」]其中包含至少比圖像x1[m，n]多四倍以上的像素。圖像x』1[m」，n」]是利用x1[m，n]插值法或利用任何其它方法形成的並且使圖像x』1[m」，n」]的每個像素或子像素都關聯了例如含有這些像素的運動估算模塊11所估算的信息組運動矢量。對於由模塊110至114構成的運動補償時間濾波模塊組件100的部分來說，目標圖像就是奇數圖像x1[m，n]。
在此我們可把圖像x』2[m』，n』]的像素理解為具有與圖像x2[m，n]像素相同位置圖像x2』[m』，n』]的像素。這裡我們把圖像x2』[m』，n』]的子像理解為已由DWT合成法和/或插值法產生的圖像x』2[m』，n』]像素。這裡我們把圖像x1』[m」，n」]的像素理解為具有與圖像x1[m，n]像素相同位置的圖像x』1[m」，n」]像素。我們把圖像x』1[m」，n」]的子像素理解為已經由DWT合成法和/或插值法形成的圖像x1[m」，n」]像素。
運動補償時間濾波模塊組件100包括一個運動場緻密模塊111。運動場緻密模塊111，從初始運動連接模塊121所建立的連接開始，使至少一個源圖像x2』[m』，n』]像素關聯到目標圖像x』1[m」，n」]的各個像素及子像素。
當所有的關聯都已實現時，累加器模塊112產生累加圖像Xa』[m」，n」]。累加圖像Xa』[m」，n」]的各個像素及子像素的值等於與目標圖像x1』[m」，n」]中相應像素或子像素相關聯的源圖像x』2[m』，n』]像素及子像素值的和，這一總和可利用與圖像X1』[m」，n」]中對應像素或子像素相關聯的源圖像x』2[m』，n』]像素及子像素的數除分。這種區段劃分可以避免在圖像序列解碼時所出現的一些人為幹擾現象，比如回波超前和/或滯後現象。
在本發明的一種實施變型中，標註為Wconnex的權重被用到各個關聯。圖像Xa』[m』，n』]各個像素或子像素的更新值按下式計算Maj+(associationsWconnex*Valsrc)/Wconnex]]>式中Maj是圖像Xa』[m」，n」]的像素或子像素值，而Valsrc是與目標圖像x1』[m」，n」]像素或子像素相關聯的源圖像x2』[m』，n』]像素的值。
圖像Xa』[m」，n」]隨後利用子採樣(Sous-échant)模塊113濾波和子採樣使得該圖像的分辯率與圖像x1[m，n]相同。經子採樣的圖像Xa』[m」，n」]然後利用減法器114減去圖像x1[m，n]以便形成標註為H[m，n]的圖像其中含有高頻像素。圖像H[m，n]隨後在分級數據流發生模塊13及合成模塊130處加以變換。
對於由模塊130至134構成的運動補償時間濾波模塊組件100的部分來說，源圖像是圖像H[m，n]。
源圖像H[m，n]由合成模塊130進行上採樣，與此同時實現了合成SDWT以便產生圖像H』[m』，n』]。合成模塊130與合成模塊110相同，將不再描述。
運動補償時間濾波模塊組件100還包括一個運動場緻密模塊131。
運動場緻密模塊131使利用初始運動連接模塊所產生的x1』[m」，n」]與x2』[m」，n」]之間的連接反轉以便將它們應用到源圖像H』[m』，n』]與目標圖像x2[m，n]之間。對於由模塊130至134構成的運動襝時間濾波模塊組件100的部分來說，目標圖像是圖像x2[m，n]或圖像x2』[m」，n」]。
運動場緻密模塊131從初始運動連接模塊121所建立的連接開始使源圖像H』[m』，n』]的至少一個像素或子像素與目標圖像x2』[m」，n」]的各個像素及子像素關聯。該關聯將參照附圖4更詳細的加以描述。
當所有關聯都完成時，累加器模塊133產生一種累加圖像Xb』[m」，n」]。累加圖像Xb』[m」，n」]與目標圖像x2』[m」，n」]的尺寸細度相同並且其各個像素及子像素的值等於與圖像x2』[m」，n」]中對應像素或子像素相關聯的源圖像H』[m』，n』]像素和子像素值的和，這個總和用關聯到源圖像H』[m』，n』]中對應像素或子像素的像素及子像素的數除分。這種除分可以避免人為幹擾現象，比如當解碼圖像序列時所出現的回波超前和/或遲後的效應。
圖像Xb』[m」，n」]隨後由子採樣模塊133濾波和子採樣，使得該圖像的分辯率與圖像x2[m，n]相同。子採樣後的圖像Xb』[m」，n」]接著利用加法器134疊加圖像x2(m，n)的一半以便形成標註為L[m，n]的圖像，其包含低頻像素。之後，圖像L[m，n]轉儲到判定模塊12。
圖像L[m，n]隨後當達到了所希望的分辯率水平時就從運動補償時間濾波視頻編碼器的判定模塊12向分級數據流發生模塊13轉移，或者該圖像對於一次新分解來說要由運動補償時間濾波模塊100進行再處理。當一次新分解已完成時，圖像L[m，n]由運動補償時間濾波模塊100按前面所述相同的方式進行處理。
因此，運動補償時間濾波模塊組件100，例如當使用Haar濾波器時，就形成如下形式的高頻及低頻圖像H[m，n]＝x1[m，n]-(W2-＞1x2[m，n]L[m，n]＝(x2[m，n]+1/2(W1-＞2H[m，n])其中Wi-j表示圖像i對圖像j的運動補償。
附圖3描述了一個信息和/或通信裝置的方框示意圖，它能夠執行本發明的對應性算法。
該信息和/或通信裝置30適合於利用軟設備對圖像序列進行運動補償時間濾波。裝置30也能執行本發明的對應性算法。
例如裝置30是微處理機。它也可集成到視頻圖像序列可視性設備中比如電視機或任何其它可在接收終端目的地產生整全信息的裝置比如電視機、行動電話......
裝置30包括一個通信總線，與其連接的有中央處理機300，只讀存儲器302，隨機存儲器303，螢光屏304，控制盤305，硬碟308，數字式視頻盤的讀出器/記錄器或DVD309，與通信網相聯的接口306。
硬碟308存儲有可實施本發明的程序，以及存儲有可以進行本發明編碼和/或解碼的數據。
更一般而言，本發明的程序都存儲在存儲設備中。該存儲設備可用計算機或微處理器300讀出。該存儲設備集成或非集成到裝置中，並且是可拆卸的。
當裝置30接通電源時，本發明的程序都轉儲到隨機存儲器303中，它包含本發明的執行代碼以及實施本發明所必需的數據。
附圖4表示了信息和/或通信裝置處理器所執行的本發明的對應性算法。
附圖5和6將從附圖4算法的該說明中以對比方式加以描述。為了便於理解，該算法是在目標分段像素及子像素與源分段像素或子像素對應性的範圍內加以描述的。當然，該算法也可應用到目標圖像像素及子像素與源圖像像素或子像素的對應性方面。
在步驟E400，得到了源圖像及目標圖像。這些圖像都是在對應性範圍內，由附圖1視頻編碼器的運動補償時間濾波模塊組件100而得到的，是源圖像H』[m』，n』]及目標圖像x』2[m」，n」]。
在下一個步驟E401，得到了源圖像與目標圖像之間的運動場並且在步驟E402實現了在源圖像與目標圖像之間該運動場的投影。這種投影用附圖5及6的源圖像與目標圖像間的箭頭象徵性地表示出來了。
步驟E403形成了例如由附圖2中緻密模塊131所實現的運動場緻密過程的開始。
在該步驟，源圖像像素或子像素可應用附圖5和6中箭頭所表徵的運動場矢量投影到其上面的那些目標圖像像素或子像素都已連接到源圖像的像素或子像素。這樣，根據附圖5和6的實施例，目標圖像像素或子像素B，C』，E，F都分別連接到源圖像像素或子像素X11，X12，X111及X121。要指出的是，像素或子像素C』和E的連接是交叉的。這是由於在該圖像部分中的翻轉運動造成的。目標圖像像素或子像素B」及F」分別連接到源圖像像素或子像素X11和X121，同時還實現了通常的邊緣對稱。
附圖5和6的像素A，B，C，D，E，F和G是目標圖像像素。像素A』，B』，C』，D』，E』，和F』是目標圖像子像素。
在步驟E404，對源圖像像素和/或對源圖像子像素的迭代是初始化的並且考慮了源圖像的最初像素或子像素，標註為Ps的該像素或子像素是附圖5的源圖像像素X11。
在下一個步驟E405，確定了連接到像素或子像素Ps的標為Pd的目標圖像像素或子像素。像素或子像素Pd在附圖5中是像素B。
在下一個步驟E406，像素或子像素Ps的鄰近像素或子像素Ps1及Ps2被確定了。按照我們的實施例，處於分段邊沿的像素或子像素Ps只有唯一的鄰近像素，就是像素Ps2X111。在此情況下，鄰近像素Ps1是像素Ps。
在下一步驟E407，確定了連接像素Ps1及Ps2的目標圖像像素或子像素。這就是像素E和子像素B」它們是利用可使X11連接目標圖像像素或子像素的矢量投射對稱而得到的。這些像素或子像素標為Pd1和Pd2。
在步驟E408，確定了由像素Pd1，Pd及Pd2構成的整全信息中標為Pbas的低像素或子像素以及標為Phaut的高像素或子像素。根據附圖5，Phaut像素是子像素B」而Pbas像素是像素E。包括在Phout像素或子像素與Pbas像素或子像素之間的圖像部分那時被看作是工作空間。
在步驟E409，確定了大量像素或子像素的間隔，這可以分別隔開像素或子像素Pd與像素或子像素Pbas及Phaut。隔開Phaut與Pd的間隔標為Dhaut，隔開Pbas與Pd的間隔標為Dbas。
在下一個步驟E410，從步驟E408所確定的工作空間開始限定關聯空間的下邊界。標註為Fcb的下邊界等於由係數k加權的Dbas間隔的像素或子像素Pd的低估位置。
在下一個步驟E411，限定了關聯空間的上邊界。標註為Fch的上邊界等於由係數k加權的Dhaut間隔所增加的Pd像素或子像素的位置。
根據一種優選的實施方式，係數k等於常數1/2。在一種實施變型中，係數k等於另一個正數常數。
在步驟E412時，確定了附圖5中標註為Fen的由Fcb和Fch邊界所限定的關聯空間。
在下一個步驟E413，確定了包含在關聯空間Fen中的目標圖像像素和子像素。根據附圖5的實施例，像素和子像素A，A』，B，B』C和C』都包含在關聯空間Fen中。
在下一個步驟E414，使連接到像素或子像素Pd的源圖像像素或子像素關聯到包含在關聯空間中的每個像素和子像素。因此，根據附圖5的實施例，像素或子像素A，A』，B，B』，C和C』都關聯到像素或子像素X11。
完成關聯後，在步驟E415核對是否源圖像的所有像素和/或子像素都已被處理了。肯定了，該算法就停止。否定了，算法就進行到下一步驟E416，主要是選取源圖像接續的像素或子像素。根據附圖5的實施例，後面接續的像素或子像素是標註為X111的像素或子像素。
只要源圖像的所有像素或子像素未被全部處理，由E405至E415形成的循環步驟就反覆進行。
因此，正如附圖6所指出的那樣，連接到X111的像素或子像素Pd是像素E，X111的鄰近像素或子像素分別是連接到B和C』的X11和X12。被確定的像素Pbas是像素Pd2E而像素或子像素Phaut是子像素Pd1E，間隔Dbas為零因為E同時是連接X111的像素和Pbas像素，間隔Dhaut等於六個子像素。因此，在k等於1/2的情況下，關聯空間FenE包含在像素E與E以上的三個子像素之間。在那種情況下，像素和子像素C』，D，D』及E都關聯到子像素X111。
關於像素X12，連接X12的像素Pd是子像素C』，X12的鄰近像素或子像素分別是連接E和F的X111和X121。已確定的像素Pbas是像素Pd2C』並且像素Phaut是子像素Pd1C』，間隔Dhaut是零因為C』同時是連接X12的子像素和Phaut子像素，間隔Dbas等於5個子像素。因此在k等於1/2的情況下，關聯空間FenC』包含在子像素C』與C』以下兩個半子像素之間。像素和子像素C』，D和D』那時都關聯到像素X12。
關於像素或子像素X121，源圖像的最後像素或子像素，連接X121的像素Pd是像素F，X121的鄰近像素或子像素是連接C』的X12，像素F」是利用可使X121連接F的運動矢量對稱法得到的。
已確定的像素Pbas是像素Pd2E並且像素Phaut是像素或子像素Pd1F，間隔Dhaut等於5個子像素，而間隔Dbas等於4個子像素。因此，關聯空間FenF在k等於1/2的情況下，被包含在像素G與F之上兩個半子像素之間。像素和子像素E，E』，F，F』，和G那時關聯到像素或子像素X121。
這樣，目標圖像的所有像素和子像素都關聯到源圖像的至少一個個素或子像素。因此運動場就完全變成反轉顯象的了並且還同時考慮到了部分圖像的可能翻轉。
附圖7表示目標圖像像素和子像素與源圖像像素的對應性實施例。
附圖7表示在二維情況下附圖4中算法的一種應用。源圖像像素xs連接到目標圖像像素xd並且鄰近的像素或子像素xs1，xs2，xs3，xs4，xs5，xs6，xs7和xs8都連接到像素或子像素xd1，xd2，xd3，xd4，xd5，xd6，xd7和xd8。確定了一個工作空間它包括一些鄰近點，同時選取連接鄰近點像素或子像素的橫坐標及縱坐標的最大值和最小值。也以位似方式確定了一個關聯空間，如附圖4中先前所描述的那樣，中心點xs是位似中心。總之，以參照附圖4所描述的相同方式，包含在關聯空間中的所有像素或子像素都關聯到源像素xs。
本發明在使用Haar濾波器的範圍內作了介紹。其它一些濾波器，比如稱為濾波器5/3或濾波器9/7的公知濾波器也被用在了本發明中。這些濾波器使用了更多數量的源圖像以便預測目標圖像。
通常，視頻編碼器的運動補償時間濾波模塊組件的模塊110至114都是預測目標圖像的模塊，而視頻編碼器的運動補償時間濾波模塊組件的模塊130至134都是更新目標圖像用的模塊。
如本發明中所描述的編碼裝置按照前面所介紹的那樣，為每個由源圖像和目標圖像構成的像對形成一個累加圖像。各個累加圖像都考慮用於預測和/或更新目標圖像。
如此形成的累加圖像接著在進行與提升濾波係數相關的可能加權之後，被加到目標圖像或從中減去。
附圖8表示採用了本發明對應性的運動補償時間濾波視頻解碼器的方框示意圖。
運動補償時間濾波視頻解碼器60能夠使分級數據流解碼成視頻圖像序列65，包含在該分級數據流中的數據利用如附圖1中所描述的編碼器編碼。
運動補償時間濾波視頻解碼器60包括數據流18的分析模塊68。分析模塊68分析數據流18並且從中抽取各個分解水平的每個高頻圖像如同包含較低分解水平低頻像素的圖像一樣。分析模塊68使包含高頻像素66及低頻像素67的圖像轉儲到反向運動補償時間濾波模塊600。分析模塊68也從數據流18抽取附圖1中編碼器10所進行的不同的運動場估算並且把它們轉儲到運動場存儲模塊61。
反向運動補償時間濾波模塊組件600重複地變換高頻圖像和低頻圖像以便形成對應於高分解水平低頻圖像的偶數圖像和奇數圖像。反向運動補償時間濾波模塊600利用存諸在模塊61中的運動補償形成視頻圖像序列及高、低頻圖像。這些運動估算是按照本發明編碼器10所編碼的視頻圖像序列在各個偶數圖像與奇數圖像之間的估算。
反向運動補償時間濾波模塊組件600進行圖像L[m，n]與H[m，n]的離散子波合成以便形成視頻圖像序列。離散子波合成，只要未達到所希望的分解水平，就自動循環地應用到時間子波段低頻圖像上。反向運動補償時間濾波視頻解碼器600的判定模塊62確定是否已達到所希望的分解水平或沒有達到。
附圖9表示附圖8視頻解碼器的運動補償反向時間濾波模塊的方框示意圖，在子波分解中使用Haar濾波器時，採用了本發明的對應性。
反向運動補償時間濾波模塊600根據「lifting」技術進行時間濾波以便重新構成由本發明編碼器編碼的視頻圖像序列的不同圖像。
圖像H[m，n]或源圖像利用上採樣模塊610進行上採樣以便形成圖像H』[m』，n』]運動補償時間濾波模塊組件100還包括一個初始運動連接模塊621，與附圖2的初始運動連接模塊121相同，不再描述了。
反向運動補償時間濾波模塊組件600包括一個反向運動場緻密模塊612。反向運動場緻密模塊612與附圖2的運動場緻密模塊132相同，不再描述了。
反向運動補償時間濾波模塊組件600還包括一個累加模塊613它與附圖2的累加模塊133相同，將不再描述了。累加模塊613生成累加圖像X b』[m」，n」]。
反向運動補償時間濾波模塊組件600包括一個子採樣模塊614它與子採樣模塊133相同，不再另行描述。
反向運動補償時間濾波模塊組件600包括一個加法器616，可從圖像L[m，n]中減去已濾波並經子採樣的圖像Xb』[m」，n」]以便形成標註為x2[m，n]的偶數圖像。
圖像x2[m，n]或源圖像利用上採樣模塊630進行上採樣以便形成圖像x2』[m』，n』]。合成模塊630與附圖9的上採樣模塊610相同，不再描述了。
反向運動補償時間濾波模塊組件600包括一個運動場緻密模塊632。運動場緻密模塊632與附圖2的運動場緻密模塊111相同，就不再描述了。
反向運動補償時間濾波模塊組件600包括一個累加模塊633它與附圖2的累加模塊112相同，不再描述了。累加模塊633產生累加圖像Xa』[m」，n」]。
反向運動補償時間濾波模塊組件600包括一個子採樣模塊635，它與子採樣模塊614相同，不再描述。反向運動補償時間濾波模塊組件600包括一個加法器636它使經濾波和子採樣的圖像Xa』[m」，n」]加到圖像H[m，n]形成了標註為x1[m，n]的奇數圖像。該奇數圖像被轉儲到判定模塊62。圖像x1[m，n]和x2[m，n]根據所希望的分解水平隔行交錯以便產生一種與相同分解水平圖像H[m，n]一起或不一起重新引入的圖像L[m，n]，它是在反向運動補償時間濾波模塊組件600中分級數據流18內讀出的。
本發明的運動場緻密方法及裝置除了前面所述之外，可在一些領域中找到多種應用。
例如，並且是非限制性的，本發明的緻密方法及裝置也應用到視頻圖像序列編碼器範圍內，比如編碼器及解碼器MPEG4或者一些使用運動補償預測模式的編碼器。在這些編碼器中，雙定向圖像通常是從預解碼或內解碼視頻圖像序列的先前圖像預測的。在該範圍內使用緻密方法及裝置可以簡單地在視頻圖像序列的所有圖像之間配置正向和反向運動場。
本發明緻密方法及裝置的另一個應用實例是在以表面形式表示的目標合成示意圖範圍內的再現領域，其中再現必需投影到圖像平面上或者表現為一個出自彎曲面的多邊形。這種再現是根據本發明進行的，同時考慮了利用處於多邊形節點上大小可變的交叉點而再現，交叉點是在三維空間中的球面，它表示一個用於限定體積或面積的球體。根據本發明、交叉點的尺寸大小是由關聯空間的大小限定的。
當然，本發明絕不限制在這裡所述的實施方式，而正相反，它包括了專業技術人員所涉及範圍的各種變型。
權利要求
1.從源圖像與目標圖像間的運動場開始而使目標圖像與源圖像之間運動場緻密的方法，其特徵在於，該方法包括以下步驟確定在源圖像像素或子像素與目標圖像像素或子像素之間的連接，對於連接到源圖像像素或子像素的目標圖像的每個像素或子像素，確定包含至少一個目標圖像像素或子像素的像素或子像素關聯空間，使包含在關聯空間內的每個像素或子像素關聯到已連接所述像素或子像素的源圖像像素，以便在目標圖像與源圖像之間形成密集運動場。
2.根據權利要求1所述的方法，其特徵在於，關聯空間的確定可分成如下步驟按照連接到源圖像像素或子像素一些鄰近像素或子像素的像素或子像素，確定目標圖像中的工作空間，源圖像像素或子像素已連接到工作空間所關聯的像素或子像素，基於已經確定的工作空間開始、基於工作空間所關聯的像素或子像素以及基於連接到源圖像像素或子像素鄰近像素或子像素的像素或子像素來確定所述的關聯空間，其中的源圖像像素或子像素與工作空間所關聯的像素或子像素相連接。
3.根據權利要求2所述的方法，其特徵在於，關聯空間的確定分成以下步驟在工作空間所關聯的像素或子像素與連接到源圖像像素或子像素鄰近像素的像素或子像素之間，確定可按照其在目標圖像中的坐標來限定工作空間的那些像素或子像素，源圖像像素或子像素連接到工作空間所關聯的像素或子像素，基於工作空間所關聯的像素或子像素坐標以及基於可使工作空間所關聯的像素或子像素與限定工作空間的像素或子像素分隔開的間隔來確定所述關聯空間。
4.根據權利要求3所述的方法，其特徵在於，可使工作空間所關聯的像素或子像素與可限定工作空間的像素或子像素分隔開的間隔都用二分之一階的係數加權。
5.從源圖像與目標圖像間的運動場開始，使目標圖像與源圖像之間的運動場緻密裝置，其特徵在於，該裝置包括裝置，用於確定源圖像像素或子像素與目標圖像像素或子像素之間連接，裝置，用於對於連接源圖像一個像素或子像素的目標圖像的每個像素或子像素來確定像素或子像素關聯空間，所述關聯空間包含目標圖像的至少一個像素或子像素，裝置，使包含在關聯空間中的各個像素或子像素與連接所述像素或子像素的源圖像像素或子像素相關聯，以在目標圖像與源圖像之間形成密集運動場。
6.根據權利要求5所述的裝置，其特徵在於，確定關聯空間的裝置包括裝置，用於按照連接源圖像像素或子像素一些鄰近像素或子像素的像素或子像素來確定目標圖像中工作空間，源圖像像素或子像素連接工作空間所關聯的像素或子像素，裝置，用於基於工作空間關聯的像素或子像素以及基於連接到源圖像像素或子像素鄰近像素或子像素的那些像素或子像素，從已經確定的工作空間確定關聯空間，其中的源圖像像素或子像素與工作空間所關聯的像素或子像素連接。
7.根據權利要求6所述的裝置，其特徵在於，確定關聯空間的裝置包括裝置，用於在工作空間所關聯的像素或子像素與連接源圖像像素鄰近像素或子像素的那些像素或子像素之間，確定像素或子像素，這些像素或子像素可按照其在目標圖像中的坐標限定工作空間，源圖像像素連接到工作空間所關聯的像素或子像素，裝置，用於基於工作空間所關聯的像素或子像素坐標以及基於可使工作空間所關聯的像素或子像素與限定工作空間的像素或子像素分隔開的間隔來確定關聯空間。
8.根據權利要求7所述的裝置，其特徵在於，可使工作空間所關聯的像素或子像素與限定工作空間的像素或子像素分隔開的那些間隔都用二分之一階的係數加權。
9.視頻圖像序列編碼器的運動補償時間濾波裝置，其特徵在於，該裝置包括一個根據權利要求5至8之一所述的運動場緻密裝置。
10.視頻圖像序列解碼器的運動補償時間濾波裝置，其特徵在於，該裝置包括一個根據權利要求5至8之一所述的運動場緻密裝置。
11.存儲在信息載體上的電腦程式，當它被信息系統加載並運行時，所述包含指令的程序可以實施根據權利要求1至4之一所述的方法。
12.一種信號，所述信號包含利用離散子波分解進行運動補償時間濾波所編碼的視頻圖像序列，該信號包括高頻和低頻圖像，低頻圖像的取得要同時對源圖像組中源圖像與目標圖像組中目標圖像之間的運動場緻密，從目標圖像與源圖像之間的運動場開始，其中，進行緻密的同時要確定源圖像像素或子像素與目標圖像像素或子像素之間的連接，同時要對連接到源圖像像素或子像素的目標圖像各個像素或子像素確定一個包含目標圖像像素和/或子像素的像素或子像關聯空間，還要同時使連接所述像素或子像素的源圖像像素或子像素關聯到包含在關聯空間中的各個像素或子像素以便形成目標圖像與源圖像間的密集運動場。
13.包含利用離散子波分解進行運動補償時間濾波所編碼的視頻圖像序列的信號傳輸方法，該信號包含高頻圖像和低頻圖像，低頻圖像的取得要同時對源圖像組中源圖像與目標圖像組中目標圖像之間的運動場緻密，從目標圖像與源圖像之間的運動場開始，其中，進行緻密的同時要確定源圖像像素或子像素與目標圖像像素或子像素之間的連接，同時要對連接到源圖像像素或子像素的目標圖像各個像素或子像素確定一個包含目標圖像像素和/或子像素的像素或子像素關聯空間，還要同時使連接所述像素或子像素的源圖像像素或子像素關聯到包含在關聯空間中的各個像素或子像素，以便形成目標圖像與源圖像之間的密集運動場。
14.含有利用離散子波分解進行運動補償時間濾波所編碼的視步圖像序列的信號存儲方法，該信號包含高頻圖像和低頻圖像，低頻圖像的取得要同時使源圖像組中源圖像與目標圖像組中目標圖像之間的運動場緻密，從目標圖像與源圖像之間的運動場開始，其中，進行緻密的同時要確定源圖像像素或子像素與目標圖像像素或子像素之間的連接，同時要對連接到源圖像像素或子像素的目標圖像各個像素或子像素確定一個包含目標圖像像素和/或子像素的像素或子像素關聯空間，還要同時使連接所述像素或子像素的源圖像像素或子像素關聯到包含在關聯空間中的各個像素或子像素，以便形成目標圖像與源圖像之間的密集運動場。
全文摘要
本發明涉及從源圖像與目標圖像間運動場開始的目標圖像與源圖像之間運動場的緻密方法及裝置，其中主要是確定源圖像像素或子像素(X11，X111，X12，X121)與目標圖像像素或子像素(B，C』，E，F)之間的連接，對於連接到源圖像像素或子像素的目標圖像的每個像素或子像素，要確定一個像素或子像素的關聯空間(Fen)至少包含目標圖像的一個像素或子像素並且使包含在關聯空間(A，A』，B，B』，C，C』)中的各個像素或子像素與連接到所述像素或子像的源圖像像素(X11)相關聯以便在目標圖像與源圖像之間形成一種密集的運動場。
文檔編號H04N7/26GK101053257SQ200580023655
公開日2007年10月10日 申請日期2005年6月28日 優先權日2004年7月13日
發明者S·帕託伊克斯, S·克瓦德克, I·阿默諾 申請人:法國電訊公司