用於多視點視頻編碼的參考圖像列表管理語法的製作方法

2023-09-20 21:32:20

本申請是申請日為2007年10月12日、申請號為200780038178.3、發明名稱為「用於多視點視頻編碼的參考圖像列表管理語法」的專利申請的分案申請。

相關申請的交叉引用

本申請要求2006年10月13日提交的美國臨時申請60/851,863和2006年10月13日提交的美國臨時申請60/851,521的優先權，上述兩個臨時申請在此全文併入作為參考。

本發明涉及運動圖像(movingpictures)領域，更具體地，涉及參考圖像在用於編碼視頻圖像時的排序(ordering)課題。

背景技術：

許多幀間編碼系統使用參考圖像(referencepicture)，使用這種參考圖像有助於降低編碼比特流的大小。這樣的結果就是編碼效率比僅僅使用幀內編碼技術要高。因此，許多編碼標準既包含幀內也包含幀間編碼技術，以編碼一系列移動圖像的比特流。在現有技術中，不同類型的參考圖像用於編碼標準，例如「i」圖像，其只使用圖像自身內(幀內)的元素進行編碼，又例如「b」圖像，其通過使用來自圖像自身內部的元素和/或來自兩個先前參考圖像(幀間)的元素進行編碼，再例如「p」圖像，其通過使用來自圖像自身內部的元素和/或來自一個先前參考圖像(幀間)的元素進行編碼。

當「b」圖像或「p」圖像被編碼和/或解碼時，這種圖像因而取決於其他參考幀，從而這種圖像在解碼過程中可以被正確編碼或構建。編碼/解碼系統應當提供某種類型的存儲單元(memorylocation)，從而在其他圖像在由參考圖像被編碼或解碼時可以存儲這種參考圖像。這些圖像類型之間具有時間關係。

當考慮其中不同視頻圖像的多視點(multipleviews)需要考慮的視頻標準時，這種情況變得更為複雜。例如，圖1是多視點編碼系統中使用的參考圖像結構的示例性實施方式。具體而言，所示結構涉及根據多視點編碼(mvc)方案在時間(t0－t100)使用8個不同視點(s0－s7)，所述mvc方案在2006年7月奧地利klagenfurt的jvt-t208.doc的a.vetro、y.su、h.kimata、a.smolic的「jointmultiviewvideomodel(jmvm)1.0」中提出。此多視點編碼標準基於高級視頻編碼(avc)標準(g.sullivan、t.wiegand、a.luthra，「h.264/avc(itu推薦標準和iso/iec14496-10(mpeg-4第10部分)高級視頻編碼)」，palmademallorca，es18-22，2004年10月)。這兩個標準的最大的區別在於avc不解決對多視點圖像的編碼而mvc能夠解決。

請再參看圖1，例如可以看出，當編碼在時間t1與視點s1相關聯的圖像時，需要編碼的圖像與來自相同視點(時間t0的s1和時間t2的s1)的圖像(參考圖像)關聯，並且需要編碼的圖像與來自不同視點(時間t1的s0和時間t1的s2)的圖像關聯。因此，當編碼與s1關聯的圖像時，重要的是要在存儲裝置(例如可以由硬體、軟體或其組合實施的緩存器、寄存器、ram等)中保存參考圖像(時間t0的s1、時間t2的s1、時間t1的s0和時間t1的s2)。

用於存儲avc視頻標準中使用的參考圖像的編碼器和存儲裝置運算的通用實施方式示於圖2中。具體而言，在框圖200中公開了編碼器205、編碼緩存器210和解碼圖像緩存器(dpb)215。在編碼操作(編碼或者解碼)過程中，由編碼器205正在進行編碼的圖像存在於編碼緩存器210中，而先前編碼的參考圖像存儲在解碼圖像緩存器215中。

但是當需要編碼一個需要使用超過兩個的參考圖像的圖像時，當該圖像存儲在緩存器dpb215中時，就會產生問題。即dpb215必須為這種參考圖像提供某種類型的組織，以使它們在編碼運算過程中可以被編碼器205使用。還可以理解，當編碼第二圖像時，不同的參考圖像可能必須由編碼器205通過dpb215獲得。在時間的情況下(例如avc)，這種問題非常複雜，但是當編碼視頻標準(例如mvc)中的圖像時當必須考慮不同視點中的參考圖像時(如圖1所示)，這就變成了需要獲得參考圖像的問題。

技術實現要素：

本發明能夠解決現有技術的上述缺點和不足。本發明涉及一種用於再利用可用的運動信息作為運動估計預測器以進行視頻編碼的方法和裝置。

根據本發明原理的一個方面，提出了一種編碼器，其根據來自被解碼器解碼的圖像的信息對存儲在存儲器中的參考圖像進行存儲管理操作，其中這種信息與關聯於該參考圖像的視點信息相關。

根據本發明原理的另一方面，提供了一種用於基於多視點的視頻解碼操作的修改參考圖像列表的方法，在所述基於多視點的視頻解碼操作中，與多個視點相關聯的參考圖像被用來編碼視頻圖像，所述方法包括以下步驟：使用視頻編碼器確定第一參考圖像是否是需要編碼的所述視頻圖像的時間參考圖像，並且通過向所述第一參考圖像指定用於時間參考圖像列表的圖像號碼來修改參考圖像在所述時間參考圖像列表中的編碼順序，其中，所述圖像號碼取決於所述第一參考圖像是i圖像、b圖像還是p圖像，需要編碼的所述圖像是i圖像、b圖像還是p圖像，需要編碼的所述視頻圖像在所述多個編碼圖像中的解碼順序，以及需要編碼的所述視頻圖像在所述多個編碼圖像中的顯示順序；確定需要編碼的所述視頻圖像是否與所述多個視點中的不同視點中的視點相關聯；以及當表示交叉視點參考圖像列表中的第二參考圖像的視點的對應視點與需要編碼的所述視頻圖像所關聯的視點不同的視點相關聯時，修改所述第二參考圖像的編碼，從而向第二參考圖像指定所述交叉視點參考圖像列表的第二圖像號碼，其中，所述第二圖像號碼取決於所述第二參考圖像是i圖像、b圖像還是p圖像，需要編碼的所述圖像是i圖像、b圖像還是p圖像，需要編碼的所述視頻圖像在所述多個編碼圖像中的所述解碼順序，以及需要編碼的所述視頻圖像在所述多個編碼圖像中的所述顯示順序

通過下面結合附圖對本發明的實施方式進行的詳細說明，本發明的上述和其他方面以及特徵和優點將變得顯而易見。

附圖說明

根據參照下面附圖的詳細說明，本發明的原理將得到更好的理解。

圖1是根據本發明實施方式的不同時間的視頻圖像視點的多視點編碼，其中這種視頻圖像使用參考圖像按照圖中所示的方式進行編碼；

圖2是根據本發明原理的視頻編碼器的示例性實施方式；

圖3是在根據本發明實施方式所用的語法元素ref_pic_list_recording的偽代碼的實施方式；

圖4是在根據本發明實施方式所用的語法元素slice_shead_mvc_extension的偽代碼的實施方式；

圖5是在根據本發明實施方式所用的語法元素ref_pic_list_reordering_mvc_extension的偽代碼的實施方式；

圖6是在根據本發明實施方式所用的語法元素ref_pic_list_reordering_mvc_extension的偽代碼的實施方式；

圖7是在根據本發明實施方式的圖像參考序列重排序方法的框圖。

具體實施方式

本發明的原理可以適用於任何基於幀內和幀間的編碼標準。本說明書中使用的術語「圖像」是一個用於描述各種形式的視頻圖像信息的通用術語，所述視頻圖像信息在本領域中可以理解為「幀(frame)」、「場(field)」、「條(slice)」以及「圖像(picture)」本身。可以理解，雖然術語圖像用於表示各種元素視頻信息，avc指的是使用條，其中這種參考圖像可以使用來自相同圖像的條作為「參考圖像」而且不管圖像如何被子劃分，本發明的原理都適用。

並且，在對本發明的說明中，在附圖中詳細描述了使用c語言類型格式編寫的各種指令(語法元素/syntaxelement)，對這種指令中的描述符(descriptor)使用下列命名法。

u(n)：使用n比特的無符號整數。當n為語法表中的「v」時，比特數按照取決於其他語法元素的值的方式變化。對於此描述符的解析通過函數read_bits(n)的返回值(returnvalue)來確定，其被解釋為無符號整數的以最高有效位在先書寫(mostsignificantbitwrittenfirst)的二進位表示。

ue(v)：左位在先(leftbitfirst)的無符號整數exp-golomb編碼的語法元素。

se(v)：左位在先的帶符號整數exp-golomb編碼的語法元素。

c：表示語法元素所適用的類，即一個特定的場應當適用於那一級。

本說明書解釋了本發明的原理。雖然在本說明書中並未描述，但本領域普通技術人員在本發明的原理和範圍之內能夠設想出各種實施方式。

本說明書中所採用的示例性和條件性的語言的目的在於幫助閱讀者理解由發明人對現有技術進行改進的本發明的原理和概念，本發明並不局限於這種特定的實例和條件。

並且，對於本發明原理、方面和實施方式以及特定實例的所有陳述都意在包括等同的結構和功能。另外，這種等同結構和功能包括當前已知和以後開發出來的結構和功能、即不論結構如何而用來執行相同功能的任何元件。

請再次參看圖2，當(avc和mvc的)編碼器205執行對移動圖像進行編碼的編碼運算時，編碼的圖像與數個不同值相關聯，其中這種值被編碼器205放置在圖像頭部(例如條頭部)中。稱為pic_num(圖像號)的第一值指示被編碼圖像在編碼的視頻圖像序列中的順序。例如，該序列中的第一圖像具有值「1」，而被編碼的第四圖像具有值「4」。

圖像還具有被稱為圖像序列號(poc)的值，該值確定編碼圖像在最終解碼時被顯示的順序。這表示，編碼圖像具有的幀號可能不同於與該圖像相關聯的poc號。

多視點視頻編碼引入了第三值，該第三值可以與其他值結合用於圖像。view_id(視點id)值表示圖像所對應的視點。例如，與視點s3相關聯的圖像的view_id等於「3」，而對應於視點s5的圖像的view_id等於「5」。view_id號的用處的另一方面是因為使用這種值可以讓編碼器去耦不同視點之間的pic_num和poc，這使得dpb215能夠存儲具有相同pic_num和/或poc的參考圖像。因此這種(具有相同poc或pic_num)的圖像通過使用view_id值彼此區分。

可以理解，上述值可以通過不同方式執行(利用其他數字、變量名、哈希表等)。

當(如位於http://www.rgu.ac.uk/files/avc_picmanagement_draft1.pdf的作者為iaingrichardson的「frameandpicturemanagement」中所解釋的那樣)在dpb215中存儲參考圖像時，這種圖像被賦值有存儲狀態，該存儲狀態將參考圖像標記為短期參考圖像(通過picnum或picordercount引用)和長期參考圖像(通過longtermpicnum引用，longtermpicnum表示longtermpic索引中的號碼)。可以理解，參考圖像的狀態可以(例如通過使用avc中已知的存儲管理指令算子)在長期、短期以及甚至被稱為「非參考」的狀態之間改變，所述「非參考」表示參考圖像最終將被從dpb215中移除。

參考圖像的組織可以被排序為一個或兩個列表，他們在編碼圖像(條)之前使用。用於p圖像的參考將使用單一圖像列表(list0)，而用於b圖像的參考將使用兩個列表(list0和list1)。圖像列表中的圖像的預設組織當被編碼的當前圖像是p圖像時取決於解碼順序(picnum)，在被編碼的當前圖像是b圖像時取決於顯示順序。被指定為長期參考圖像的參考圖像通常分配了longtermpicnum並且放置在參考列表的某一位置，從而該圖像將比短期圖形被保留更長時間。

avc允許編碼器205在編碼圖像條時改變list0(以及對於b圖像(條)的list1)中的參考圖像的預設順序。即，編碼器可以識別(上述列表中的)參考圖像可以是比參考列表中的參考圖像更好的參考圖像。通過將與當前編碼圖像更相關的參考圖像標記為比與被編碼圖像不太相關的參考圖像佔據參考列表上索引中更低(更接近)的位置，可以提高編碼效率。因此，被稱為參考圖像列表重排序指令(rplr)的指令用於改變這種參考圖像的順序，這些指令示於圖3中。

圖3顯示了avc語法元素ref_pic_list_reordering(雖然結合條進行說明，但可以理解該原理可以針對圖像執行)提供用於重排序圖像列表的avc指令，其中將參照avc對這些指令的意義進行說明。

當考慮在mvc的範疇內使用參考圖像列表時，實際上有兩組圖像需要考慮，即時間參考(temporalreferences)和交叉視點參考(cross-viewreferences)，其與avc不同之處在於avc只考慮時間參考。

因此，在「k.muller、p.merkle、a.smolic、t.wiegand所著「multiviewcodingusingavc」、m12945、泰國曼谷、2006年一月」中，提議構造單一交織序列(其將所有視頻序列交織在一個序列中)，該交織序列然後可以通過有avc功能的編碼器進行編碼並生成兼容比特流。但是，該avc實施方式的缺點在於，無法識別某個圖像屬於哪個視點，因為用於pic_num和poc的惟一值必須分配給編碼的每個圖像以執行現有avc的rplr指令。

當前的mvc實施方式提出引入另外的語法，該語法被加入至序列參數集(sps)以標識交叉視點參考。下面示出的該語法元素用於指示用於錨圖像(anchorpicture)和非錨圖像的交叉視點參考。

應當進行下面的步驟以將來自不同於當前視點的視點的參考圖像放置在圖像預測列表中。

－對於從0到num_multiview_ref_for_listx-1的每個i值：

－獲得從時間上被賦值為當前圖像的視點reference_view_for_list_x[i]創建的圖像並將其插入值解碼預測緩衝器(dpb)中。

－將該圖像的索引插入至refpiclistx的下一空時隙中。

但是，這種實施方式具有一個問題，參考圖像列表的初始化(和重建)是通過固定的方式，無法改變。即，時間和交差視點的圖像的順序是不靈活的。另外，為每個錨圖像(即i圖像)和非錨圖像(b和p圖像)的指定的參考圖像的數量是相同的。

因此，本發明提出了一種用於在考慮多視點圖像的情況下重排序參考圖像列表的架構。可以理解，雖然在avc和mvc環境的範疇之內對本發明的實施方式進行說明，但本發明的原理也可以應用在其他視頻編碼表中中。

本發明提出了一種新的語法元素ref_pic_list_reordering_mvc_extension，在圖4中示於圖像頭部(條頭部)中。

首先，本發明提出對適用於avc的語法元素

num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1進行重新定義以反映它們只指示時間意義上的有效參考圖像數量的事實。

num_ref_idx_l0_active_minus1規定用於解碼條的時間參考圖像列表0的最大參考索引。num_ref_idx_l0_active_minus1的範圍規定如下：

－如果field_pic_flag等於0，num_ref_idx_l0_active_minus1的範圍是0至15，包括端點。當mbaffframeflag等於1，num_ref_idx_l0_active_minus1是用於幀宏塊解碼的最大索引值並且2*num_ref_idx_l0_active_minus1+1是用於場宏塊解碼的最大索引值。

－否則(field_pic_flag等於1)，num_ref_idx_l0_active_minus1的範圍是0至31，包括端點。

num_ref_idx_l1_active_minus1與num_ref_idx_l0_active_minus1具有相同的語義，其中l0和列表0分別被l1和列表1替換。

第二，提出了兩個新的語法元素來指示將用於交叉視點的有效參考圖像的數量：

num_ref_idx_l0_active_view_minus1規定用於解碼條的交叉視點參考圖像列表0的最大參考索引。num_ref_idx_l0_active_view_minus1的範圍規定如下：

－如果field_pic_flag等於0，num_ref_idx_l0_active_view_minus1的範圍是0至15，包括端點。當mbaffframeflag等於1，num_ref_idx_l0_active_view_minus1是用於幀宏塊解碼的最大索引值並且2*num_ref_idx_l0_active_view_minus1+1是用於場宏塊解碼的最大索引值。

－否則(field_pic_flag等於1)，num_ref_idx_l0_active_view_minus1的範圍是0至31，包括端點。

num_ref_idx_l1_active_view_minus1(提出的另一語法元素)與num_ref_idx_l0_active_view_minus1具有相同的語義，其中l0和列表0分別被l1和列表1替換。

這兩個語法的值滿足下列方程：

num_ref_idx_l0_active_minus1+num_ref_idx_l0_active_view_minus1<＝num_ref_frames

和

num_ref_idx_l1_active_minus1+num_ref_idx_l1_active_view_minus1<＝num_ref_frames。

如前面所述，需要限定用於mvc系統的預設初始化過程。因此，對於該過程提出了數個不同實施方式：

本發明原理的第一實施方式使當前視點的全部時間圖像按照mpeg－4avc規格書中的定義進行初始化。此初始化的列表然後分別由用於list_0和list_1的num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1中規定的值進行截斷(truncated)。

在這些圖像之後，在mvc規格書的sps中定義的交叉視點參考圖像被插入並由用於list_0和list_1的num_ref_idx_l0_active_view_minus1和num_ref_idx_l1_active_view_minus1中規定的值進行截斷。

為了能夠讓在當前mvc規格書中規定的參考圖像列表重排序指令正確運轉，本發明施加了限制，使得這些指令只能對於時間參考圖像起作用。rplr處理可以在緊隨時間圖像的初始化之後和交叉視點參考之前進行，也可以在時間和交叉視點參考唄初始化到其預設位置之後進行，後一種情況下只有時間參考圖像被重排序。

第一實施方式的一個缺點是交叉視點參考圖像不能被重排序。

在第二實施方式中，在mvc規格書的sps中定義的交叉視點參考圖像被插入並由分別用於list_0和list_1的num_ref_idx_l0_active_view_minus1和num_ref_idx_l1_active_view_minus1中規定的值進行截斷。

在這些圖像之後，按照mpeg－4avc規格書中的定義對當前視點的全部時間圖像進行初始化。然後該列表由分別用於list_0和list_1的num_ref_idx_l0_active_view_minus1和num_ref_idx_l1_active_view_minus1中規定的值進行截斷。

第三實施方式用於解決第一實施方式的上述問題。具體而言，請參看2007年10月12日提交的pct申請(申請號待定)，該申請要求2006年10月13日提交的美國臨時申請60/851，522和2006年10月13日提交的美國臨時申請60/851，589的優先權，語法元素long_term_frame_idx用於將長期索引(值)賦值給view_id不同於與當前編碼圖像相關聯的視點的圖像。通過將長期索引賦值給交叉視點圖像，然後這種圖像可以像被用作avc圖像那樣進行處理，這將使得rplr指令的使用能夠作用於長期圖像。因此，可以使用avc有效地重排序交叉視點圖像。

在第四實施方式中提出了新的rplr指令。這些指令與用於控制dpb215的存儲管理指令運算類似，但是這些新指令用於在與當前編碼圖像相關聯的視點之外的其他視點中的圖像上運行。這些新語法元素示於圖5中，圖5示出了本發明提出的mvc參考圖像列表重排序語法。

此實施方式的預設初始化是首先設置根據h.264/mpeg－4avc規範的限定在參考列表中規定的全部時間參考，在這些圖像之後跟著在h.264/mpeg－4avc的mvc擴展的sps中規定的交叉視點圖像。

此實施方式的部分運算是語法元素在ref_pic_list_reordering_mvc_extension之間分開，可以調用ref_pic_list_reordering。此調用的組織可以使得基於多視點的圖像在mvc環境中被處理並且該處理的結果可以使得基於多視點參考的圖像在avc環境中被處理。

與索引mvc_reordering_of_pic_nums_idc相關的各種狀態示於下面的表1中。

表1

另外，語法元素mvc_reordering_of_pic_nums_idc、abs_diff_pic_num_minus1和long_term_pic_num用於規定從初始參考圖像列表到將用於條解碼的參考圖像列表的改變。

mvc_ref_pic_list_reordering_flag_l0等於1規定語法元素mvc_reordering_of_pic_nums_idc出現以規定參考圖像列表0。mvc_ref_pic_list_reordering_flag_l0等於0表示此語法元素未出現。

當mvc_ref_pic_list_reordering_flag_l0等於1時，在mvc_ref_pic_list_reordering_flag_l0之後mvc_reordering_of_pic_nums_idc不等於3的次數應當不超過num_ref_idx_l0_active_minus1+1。

當根據h.264/mpeg－4avc規範規定生成的初始參考圖像列表中的refpiclist0[num_ref_idx_l0_active_minus1]等於「無參考圖像」，mvc_ref_pic_list_reordering_flag_l0應當等於1並且mvc_reordering_of_pic_nums_idc應當不等於3，直至根據h.264/mpeg－4avc規範規定生成的重排序參考圖像列表中的refpiclist0[num_ref_idx_l0_active_minus1]不等於「無參考圖像」。

mvc_ref_pic_list_reordering_flag_l1等於1表示語法元素mvc_reordering_of_pic_nums_idc出現以規定參考圖像列表1。mvc_ref_pic_list_reordering_flag_l1等於0表示此語法元素未出現。

當mvc_ref_pic_list_reordering_flag_l1等於1時，在mvc_ref_pic_list_reordering_flag_l1之後mvc_reordering_of_pic_nums_idc不等於3的次數應當不超過num_ref_idx_l1_active_minus1+1。

當解碼b條並且根據h.264/mpeg－4avc規範規定生成的初始參考圖像列表中的refpiclist1[num_ref_idx_l1_active_minus1]等於「無參考圖像」，mvc_ref_pic_list_reordering_flag_l1應當等於1並且mvc_reordering_of_pic_nums_idc應當不等於3，直至根據h.264/mpeg－4avc規範規定生成的重排序參考圖像列表中的refpiclist1[num_ref_idx_l1_active_minus1]不等於「無參考圖像」。

mvc_reordering_of_pic_nums_idc和difference_of_view_id以及abs_diff_pic_num_minus1或long_term_pic_num一起規定哪些參考圖像被重映射。mvc_reordering_of_pic_nums_idc的值規定在h.264/mpeg-4avc規格書中。緊隨mvc_ref_pic_list_reordering_flag_l0或mvc_ref_pic_list_reordering_flag_l1之後的第一mvc_reordering_of_pic_nums_idc的值不應等於3。

abs_diff_pic_num_minus1加1規定了被移動至列表中當前索引的圖像號與圖像號預測值之間的絕對差值。abs_diff_pic_num_minus1的範圍應當是0至maxpicnum–1。被移動的圖像必須具有與當前圖像的view_id不同的view_id。

long_term_pic_num規定了被移動至列表中當前索引的圖像的長期圖像號。當解碼編碼幀時，long_term_pic_num應當等於分配給標記為「用於長期參考」的參考幀或互補參考場對其中之一的longtermpicnum。當解碼編碼場時，long_term_pic_num應當等於分配給標記為「用於長期參考」的參考場其中之一的longtermpicnum。被移動的圖像必須具有與當前圖像的view_id不同的view_id。

difference_of_view_id規定了被移動至列表中當前索引的view_id與view_id預測值之間的絕對差值。

進行參考圖像重排序的過程基於預設列表，下面對其進行說明如下：

當mvc_ref_pic_list_reordering_flag_l0等於1，適用如下步驟。

－將refidxl0設為參考圖像列表refpiclist0中的索引。其初始被設為0。

－按照相應的語法元素mvc_reordering_of_pic_nums_idc在比特流中出現的順序對其進行處理。對於每個這些語法元素，使用如下步驟。

1)如果mvc_reordering_of_pic_nums_idc等於0或1，在下面i中規定的過程被調用，以refidxl0作為輸入，並且將輸出賦值給refidxl0。

2)否則，如果mvc_reordering_of_pic_nums_idc等於2，在下面ii中規定的過程被調用，以refidxl0作為輸入，並且將輸出賦值給refidxl0。

3)否則(mvc_reordering_of_pic_nums_idc等於3)，用於參考圖像列表refpiclist0的重排序操作結束。

當mvc_ref_pic_list_reordering_flag_l1等於1，適用如下步驟。

－將refidxl1設為參考圖像列表refpiclist1中的索引。其初始被設為0。

－按照相應的語法元素mvc_reordering_of_pic_nums_idc在比特流中出現的順序對其進行處理。對於每個這些語法元素，使用如下步驟。

4)如果mvc_reordering_of_pic_nums_idc等於0或1，在下面i中規定的過程被調用，以refidxl1作為輸入，並且將輸出賦值給refidxl1。

5)否則，如果mvc_reordering_of_pic_nums_idc等於2，在下面ii中規定的過程被調用，以refidxl1作為輸入，並且將輸出賦值給refidxl1。

6)否則(mvc_reordering_of_pic_nums_idc等於3)，用於參考圖像列表refpiclist1的重排序操作結束。

下面提出的方案用於對於具有不同於當前編碼的圖像的view_id的view_id的短期圖像列表進行重排序。

此過程的輸入是索引refidxlx(x為0或1)。

此過程的輸出是增量索引refidxlx。

viewidlx＝viewidlxpred+difference_of_view_id

如下獲得變量picnumlxnowrap：

－如果mvc_reordering_of_pic_nums_idc等於0

if(picnumlxpred–(abs_diff_pic_num_minus1+1)＝maxpicnum)

picnumlxnowrap＝picnumlxpred+(abs_diff_pic_num_minus1+1)maxpicnum

else

picnumlxnowrap＝picnumlxpred+(abs_diff_pic_num_minus1+1)

viewidlxpred是變量viewidlx的預測值。當此子項規定的過程對於條被第一次調用(即在ref_pic_list_reordering語法中等於0或1的mvc_reordering_of_pic_nums_idc第一次出現)，viewidl0pred和viewidl1pred初始地被設為currviewid。在viewidlx的每次賦值之後，viewidlx的值被賦值給viewidlxpred。

picnumlxpred是變量picnumlxnowrap的預測值。當此子項規定的過程對於條被第一次調用(即在ref_pic_list_reordering語法中等於0或1的mvc_reordering_of_pic_nums_idc第一次出現)，picnuml0pred和picnuml1pred初始地被設為currpicnum。在picnumlxnowrap每次賦值之後，picnumlxnowrap的值被賦值給picnumlxpred。

如下獲得變量picnumlx：

if(picnumlxnowrap>currpicnum)

picnumlx＝picnumlxnowrap–maxpicnum

else

picnumlx＝picnumlxnowrap

picnumlx和viewidlx應當等於被標記為「用於短期參考」的參考圖像的picnum和viewid並且不等於被標記為「不存在」的短期參考圖像的picnum。

執行下面的程序以將view_id等於viewidlx的具有短期圖像號picnumlx的圖像放置在索引位置refidxlx，將剩餘的其他圖像移動至列表的較後位置，並且增加refidxlx的值。

for(cidx＝num_ref_idx_lx_active_minus1+1；cidx>refidxlx；cidx--)

refpiclistx[cidx]＝refpiclistx[cidx–1]

refpiclistx[refidxlx++]＝short-termreferencepicturewithpicnumequaltopicnumlxandview_idequaltoviewidlx

nidx＝refidxlx

for(cidx＝refidxlx；cidx<＝num_ref_idx_lx_active_minus1+1；cidx++)

if((picnumf(refpiclistx[cidx])！＝picnumlx)&&viewidf(refpiclistx[cidx])！＝viewidlx)

refpiclistx[nidx++]＝refpiclistx[cidx]

其中如下推導函數picnumf(refpiclistx[cidx])：

－如果圖像refpiclistx[cidx]被標記為「用於短期參考」，picnumf(refpiclistx[cidx])為圖像refpiclistx[cidx]的picnum。

－否則(圖像refpiclistx[cidx]未被標記為「用於短期參考」)picnumf(refpiclistx[cidx])等於maxpicnum。

請注意，maxpicnum的值永遠不等於picnumlx。

其中如下推導函數viewidf(refpiclistx[cidx])：

－viewidf(refpiclistx[cidx])是圖像refpiclistx[cidx]的viewid。

還請注意，在此偽代碼程序中，列表refpiclistx被暫時設定為比最終列表所需長度長一個元素。在執行此程序之後，只有列表的元素0至num_ref_idx_lx_active_minus1需要被保留。

下面提出的方案用於對包含長期參考圖像的參考圖像列表的重排序。

此過程的輸入是索引refidxlx(x為0或1)。

此過程的輸出是增量索引refidxlx。

執行下面的程序以將出現在如上推導的viewidx指示的視點中具有長期圖像號long_term_pic_num的圖像放置在索引位置refidxlx，將剩餘的其他圖像移動至列表的較後位置，並且增加refidxlx的值。

for(cidx＝num_ref_idx_lx_active_minus1+1；cidx>refidxlx；cidx--)

refpiclistx[cidx]＝refpiclistx[cidx–1]

refpiclistx[refidxlx++]＝long-termreferencepicturewithlongtermpicnumequaltolong_term_pic_numandviewidequaltoviewidlx

nidx＝refidxlx

for(cidx＝refidxlx；cidx<＝num_ref_idx_lx_active_minus1+1；cidx++)

if((longtermpicnumf(refpiclistx[cidx])！＝long_term_pic_num)&&viewidf(refpiclistx[cidx]])！＝viewidlx)

refpiclistx[nidx++]＝refpiclistx[cidx]

其中如下推導函數longtermpicnumf(refpiclistx[cidx])：

－如果圖像refpiclistx[cidx]被標記為「用於長期參考」longtermpicnumf(refpiclistx[cidx])是圖像refpiclistx[cidx]的longtermpicnum。

－否則(圖像refpiclistx[cidx]未被標記為「用於長期參考」)，longtermpicnumf(refpiclistx[cidx])等於2*(maxlongtermframeidx+1)。

請注意，2*(maxlongtermframeidx+1)的值永遠不等於long_term_pic_num。

其中如下推導函數viewidf(refpiclistx[cidx])

－如果圖像refpiclistx[cidx]被標記為「用於短期參考」，viewidf(refpiclistx[cidx])為圖像refpiclistx[cidx]的viewid。

－否則(圖像refpiclistx[cidx]未被標記為「用於短期參考」)picnumf(refpiclistx[cidx])等於maxpicnum。

請注意，maxpicnum的值永遠不等於picnumlx。在此偽代碼程序中，列表refpiclistx被暫時設定為比最終列表所需長度長一個元素。在執行此程序之後，只有列表的元素0至num_ref_idx_lx_active_minus1被保留。

下面結合圖6所示的語法元素ref_pic_reordering_mvc_extension對本發明原理的另外一個結構進行說明和描述。此語法元素的運算與參照圖5所述的語法元素的區別在於，可以對於任何視點完成重排序列表，並且這種重排序列表只通過一個調用來完成，而不用調用單獨的rec_pic_list_reordering指令(如圖3所示)。

對於此另外結構下的第一實施方式，對num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1再次進行重新定義以指示時間意義上的有效參考圖像數量(請參看說明這些變量的前面部分)。

本實施方式定義了變量num_ref_idx_l0_active_view和num_ref_idx_l1_active_view，這兩個變量用於指示交叉視點中的有效圖像的數量。

num_ref_idx_l0_active_view規定用於解碼條的交叉視點參考圖像列表0的最大參考索引。num_ref_idx_l0_active_view範圍定義如下：

－如果field_pic_flag等於0，num_ref_idx_l0_active_view的範圍是0至16，包括端點。當mbaffframeflag等於1，num_ref_idx_l0_active_view是用於幀宏塊解碼的最大索引值並且2*num_ref_idx_l0_active_view是用於場宏塊解碼的最大索引值。

－否則(field_pic_flag等於1)，num_ref_idx_l0_active_view的範圍是0至32，包括端點。

num_ref_idx_l1_active_view與num_ref_idx_l0_active_view具有相同的語義，其中l0和列表0分別被l1和列表1替換。

這些語義的值滿足下列函數：

num_ref_idx_l0_active_minus1+num_ref_idx_l0_active_view<＝num_ref_frames

和

num_ref_idx_l1_active_minus1+num_ref_idx_l1_active_view<＝num_ref_frames

如之前所述，用於mvc系統的預設初始化過程需要清楚地定義。

首先，當前視點的全部時間圖像按照mpeg－4avc規格書中的定義進行初始化。此初始化的列表然後由分別用於list_0和list_1的num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1中規定的值進行截斷(truncated)。

在這些圖像之後，在mvc規格書的sps中定義的交叉視點參考圖像被插入並由分別用於list_0和list_1的num_ref_idx_l0_active_view和num_ref_idx_l1_active_view中規定的值進行截斷。

引入了與現有h.264/mpeg－4avcrplr指令類似的新rplr指令。這些指令取代h.264/mpeg－4avc中的現有rplr指令(請參看圖6)。

新rplr指令具有下列語義。用於指示重排序指令是否存在的指令示於上面的表1中。

語法元素mvc_reordering_of_pic_nums_idc、abs_diff_pic_num_minus1和long_term_pic_num用於規定從初始參考圖像列表到將用於解碼圖像信息(例如條)的參考圖像列表的改變。

mvc_ref_pic_list_reordering_flag_l0等於1規定語法元素mvc_reordering_of_pic_nums_idc出現以規定參考圖像列表0。mvc_ref_pic_list_reordering_flag_l0等於0表示此語法元素未出現。

當mvc_ref_pic_list_reordering_flag_l0等於1時，在mvc_ref_pic_list_reordering_flag_l0之後mvc_reordering_of_pic_nums_idc不等於3的次數應當不超過num_ref_idx_l0_active_minus1+1+num_ref_idx_l0_active_view。

當根據h.264/mpeg－4avc規範規定生成的初始參考圖像列表中的refpiclist0[num_ref_idx_l0_active_minus1+num_ref_idx_l0_active_view]等於「無參考圖像」，mvc_ref_pic_list_reordering_flag_l0應當等於1並且mvc_reordering_of_pic_nums_idc應當不等於3，直至根據h.264/mpeg－4avc規範規定生成的重排序參考圖像列表中的refpiclist0[num_ref_idx_l0_active_minus1+num_ref_idx_l0_active_view]不等於「無參考圖像」。

mvc_ref_pic_list_reordering_flag_l1等於1表示語法元素mvc_reordering_of_pic_nums_idc出現以規定參考圖像列表1。

mvc_ref_pic_list_reordering_flag_l1等於0表示此語法元素未出現。

當mvc_ref_pic_list_reordering_flag_l1等於1時，在mvc_ref_pic_list_reordering_flag_l1之後mvc_reordering_of_pic_nums_idc不等於3的次數應當不超過num_ref_idx_l1_active_minus1+1+num_ref_idx_l1_active_view。

當解碼b條並且根據h.264/mpeg－4avc規範規定生成的初始參考圖像列表中的refpiclist1[num_ref_idx_l1_active_minus1+num_ref_idx_l1_active_view]等於「無參考圖像」，mvc_ref_pic_list_reordering_flag_l1應當等於1並且mvc_reordering_of_pic_nums_idc應當不等於3，直至根據h.264/mpeg－4avc規範規定生成的重排序參考圖像列表中的refpiclist1[num_ref_idx_l1_active_minus1+num_ref_idx_l1_active_view]不等於「無參考圖像」。

mvc_reordering_of_pic_nums_idc和difference_of_view_id以及abs_diff_pic_num_minus1或long_term_pic_num一起規定哪些參考圖像被重映射。mvc_reordering_of_pic_nums_idc的值規定在h.264/mpeg-4avc規格書中。緊隨mvc_ref_pic_list_reordering_flag_l0或mvc_ref_pic_list_reordering_flag_l1之後的第一mvc_reordering_of_pic_nums_idc的值不應等於3。

abs_diff_pic_num_minus1加1規定了被移動至列表中當前索引的圖像號與圖像號預測值之間的絕對差值。abs_diff_pic_num_minus1的範圍應當是0至maxpicnum–1。

long_term_pic_num規定了被移動至列表中當前索引的圖像的長期圖像號。當解碼編碼幀時，long_term_pic_num應當等於分配給標記為「用於長期參考」的參考幀或互補參考場對其中之一的longtermpicnum。當解碼編碼場時，long_term_pic_num應當等於分配給標記為「用於長期參考」的參考場其中之一的longtermpicnum。

difference_of_view_id規定了被移動至列表中當前索引的view_id與view_id預測值之間的絕對差值。

進行參考圖像重排序的過程基於預設列表，下面對其進行說明如下：

當mvc_ref_pic_list_reordering_flag_l0等於1，適用如下步驟。

－將refidxl0設為參考圖像列表refpiclist0中的索引。其初始被設為0。

－按照相應的語法元素mvc_reordering_of_pic_nums_idc在比特流中出現的順序對其進行處理。對於每個這些語法元素，使用如下步驟。

1)如果mvc_reordering_of_pic_nums_idc等於0或1，在下面i中規定的過程被調用，以refidxl0作為輸入，並且將輸出賦值給refidxl0。

2)否則，如果mvc_reordering_of_pic_nums_idc等於2，在下面ii中規定的過程被調用，以refidxl0作為輸入，並且將輸出賦值給refidxl0。

3)否則(mvc_reordering_of_pic_nums_idc等於3)，用於參考圖像列表refpiclist0的重排序過程結束。

當mvc_ref_pic_list_reordering_flag_l1等於1，適用如下步驟。

－將refidxl1設為參考圖像列表refpiclist1中的索引。其初始被設為0。

－按照相應的語法元素mvc_reordering_of_pic_nums_idc在比特流中出現的順序對其進行處理。對於每個這些語法元素，使用如下步驟。

4)如果mvc_reordering_of_pic_nums_idc等於0或1，在下面i中規定的過程被調用，以refidxl1作為輸入，並且將輸出賦值給refidxl1。

5)否則，如果mvc_reordering_of_pic_nums_idc等於2，在下面ii中規定的過程被調用，以refidxl1作為輸入，並且將輸出賦值給refidxl1。

6)否則(mvc_reordering_of_pic_nums_idc等於3)，用於參考圖像列表refpiclist1的重排序過程結束。

下面提出的方案用於對於短期參考圖像的參考圖像進行重排序。

此過程的輸入是索引refidxlx(x為0或1)。

此過程的輸出是增量索引refidxlx。

viewidlx＝viewidlxpred+difference_of_view_id

如下推導變量picnumlxnowrap：

如果mvc_reordering_of_pic_nums_idc等於0

if(picnumlxpred–(abs_diff_pic_num_minus1+1)＝maxpicnum)

picnumlxnowrap＝picnumlxpred+(abs_diff_pic_num_minus1+1)–maxpicnum

else

picnumlxnowrap＝picnumlxpred+(abs_diff_pic_num_minus1+1)

viewidlxpred是變量viewidlx的預測值。當此子項規定的過程對於條被第一次調用(即在ref_pic_list_reordering語法中等於0或1的mvc_reordering_of_pic_nums_idc第一次出現)，viewidl0pred和viewidl1pred初始地被設為currviewid。在viewidlx的每次賦值之後，viewidlx的值被賦值給viewidlxpred。

picnumlxpred是變量picnumlxnowrap的預測值。當此子項規定的過程對於條被第一次調用(即在ref_pic_list_reordering語法中等於0或1的mvc_reordering_of_pic_nums_idc第一次出現)，picnuml0pred和picnuml1pred初始地被設為currpicnum。在picnumlxnowrap每次賦值之後，picnumlxnowrap的值被賦值給picnumlxpred。

如下獲得變量picnumlx：

if(picnumlxnowrap>currpicnum)

picnumlx＝picnumlxnowrap–maxpicnum

else

picnumlx＝picnumlxnowrap

picnumlx和viewidlx應當等於被標記為「用於短期參考」的參考圖像的picnum和viewid並且不等於被標記為「不存在」的短期參考圖像的picnum。

執行下面的程序以將view_id等於viewidlx的具有短期圖像號picnumlx的圖像放置在索引位置refidxlx，將剩餘的其他圖像移動至列表的較後位置，並且增加refidxlx的值。

for(cidx＝num_ref_idx_lx_active_minus1+1；cidx>refidxlx；cidx--)

refpiclistx[cidx]＝refpiclistx[cidx–1]

refpiclistx[refidxlx++]＝short-termreferencepicturewithpicnumequaltopicnumlxandview_idequaltoviewidlx

nidx＝refidxlx

for(cidx＝refidxlx；cidx<＝num_ref_idx_lx_active_minus1+1；cidx++)

if((picnumf(refpiclistx[cidx])！＝picnumlx)&&viewidf(refpiclistx[cidx])！＝viewidlx)

refpiclistx[nidx++]＝refpiclistx[cidx]

其中如下推導函數picnumf(refpiclistx[cidx])：

－如果圖像refpiclistx[cidx]被標記為「用於短期參考」，picnumf(refpiclistx[cidx])為圖像refpiclistx[cidx]的picnum。

－否則(圖像refpiclistx[cidx]未被標記為「用於短期參考」)picnumf(refpiclistx[cidx])等於maxpicnum。

請注意，maxpicnum的值永遠不等於picnumlx。

其中如下推導函數viewidf(refpiclistx[cidx])：

－viewidf(refpiclistx[cidx])是圖像refpiclistx[cidx]的viewid。

還請注意，在此偽代碼程序中，列表refpiclistx被暫時設定為比最終列表所需長度長一個元素。在執行此程序之後，只有列表的元素0至num_ref_idx_lx_active_minus1需要被保留。

下面提出的方案用於對包含長期參考圖像的參考圖像列表的重排序。

此過程的輸入是索引refidxlx(x為0或1)。

此過程的輸出是增量索引refidxlx。

執行下面的程序以將出現在如上推導的viewidx指示的視點中具有長期圖像號long_term_pic_num的圖像放置在索引位置refidxlx，將剩餘的其他圖像移動至列表的較後位置，並且增加refidxlx的值。

for(cidx＝num_ref_idx_lx_active_minus1+1；cidx>refidxlx；cidx--)

refpiclistx[cidx]＝refpiclistx[cidx–1]

refpiclistx[refidxlx++]＝long-termreferencepicturewithlongtermpicnumequaltolong_term_pic_numandviewidequaltoviewidlx

nidx＝refidxlx

for(cidx＝refidxlx；cidx<＝num_ref_idx_lx_active_minus1+1；cidx++)

if((longtermpicnumf(refpiclistx[cidx])！＝long_term_pic_num)&&viewidf(refpiclistx[cidx]])！＝viewidlx)

refpiclistx[nidx++]＝refpiclistx[cidx]

其中如下推導函數longtermpicnumf(refpiclistx[cidx])：

－如果圖像refpiclistx[cidx]被標記為「用於長期參考」longtermpicnumf(refpiclistx[cidx])是圖像refpiclistx[cidx]的longtermpicnum。

－否則(圖像refpiclistx[cidx]未被標記為「用於長期參考」)，longtermpicnumf(refpiclistx[cidx])等於2*(maxlongtermframeidx+1)。

請注意，2*(maxlongtermframeidx+1)的值永遠不等於long_term_pic_num。

其中如下推導函數viewidf(refpiclistx[cidx])

－如果圖像refpiclistx[cidx]被標記為「用於短期參考」，viewidf(refpiclistx[cidx])為圖像refpiclistx[cidx]的viewid。

－否則(圖像refpiclistx[cidx]未被標記為「用於短期參考」)picnumf(refpiclistx[cidx])等於maxpicnum。

maxpicnum的值永遠不等於picnumlx。

請注意，在此偽代碼程序中，列表refpiclistx被暫時設定為比最終列表所需長度長一個元素。在執行此程序之後，只有列表的元素0至num_ref_idx_lx_active_minus1需要被保留。

此另外結構下的本發明的第二實施方式考慮到交叉視點圖像的重排序最常發生於時間暫時分配的圖像，這意味著圖像號差值將為0。因此，本實施方式的著眼點在於交叉視點圖像的重排序的之一方面，其比上述其他實施方式效率更高。

此實施方式將變量abs_diff_pic_num_minus1變為abs_diff_pic_num並對其定義如下：

abs_diff_pic_num規定了被移動至列表中當前索引的圖像號與圖像號預測值之間的絕對差值。

abs_diff_pic_num的範圍規定如下：

－如果reordering_of_pic_nums_idc等於0，abs_diff_pic_num的範圍是0至maxpicnum/2。

－否則(reordering_of_pic_nums_idc等於1)，abs_diff_pic_num的範圍是0至maxpicnum/2－1。

通過上述方法，可以使abs_diff_pic_num取0值，這是交叉視點重排序最常見的情況。

此另外結構下的本發明的第三實施方式也考慮到交叉視點圖像的重排序最常發生於時間暫時分配的圖像，這意味著圖像號差值將為0。

在上述方法中，abs_diff_pic_num被編碼為無符號的exp-golomb碼，從而成為指示該插值是否代表正或負的插值的另外的語法，其在圖6中示為mvc_reordering_of_pic_nums_idc。

此實施例減少了語法元素能採用的值，如圖2所示，並傳輸用於圖像號差值的exp-golomb碼作為diff_pic_num，如圖7所示，其公開了一種rpplref_pic_list_reordering_mvc_extension的修正定義。

表2

diff_pic_num的語義定義如下：

diff_pic_num規定了被移動至列表中當前索引的圖像的圖像號與圖像號預測值之間的差值。

diff_pic_num的範圍規定如下：

-maxpicnum/2-1至maxpicnum/2

然後picnumlxnowrap推導如下

picnumlxnowrap＝picnumlxpred+diff_pic_num

圖7是本發明的原理應用於多視點編碼環境的參考圖像重排序的框圖700。為了此流程圖的運行，假設dpb215中已經具有參考圖像。但是參考圖像可以是不同視點的。

在步驟705，方法考慮需要編碼的當前圖像是否處於使用多視點圖像(mvc和avc)的環境中以及編碼環境是否是簡單的時間環境(即avc)。

如果在與本圖像的編碼相關的所用參考圖像與多視點編碼無關，運行步驟710以採用與例如avc的編碼標準相關的已知原理來重排序參考圖像列表。但是如果需要被編碼的圖像涉及多視點圖像，其中圖像之間的交叉視點需要被考慮，則選擇步驟715。

如上所述，具有數個不同程序來實際執行所述圖像的重排序。上述某些實施方式(應用於步驟715)描述的環境中，進行比較以考慮需要編碼的圖像與參考圖像是否具有任何交叉視點關係。在某些實施方式中，圖像列表的重排序將重排序與任何視點相關的參考圖像。在另外的實施方式中，首先對所有交叉視點進行參考圖像重排序，然後對與被編碼的圖像具有相同視點的參考圖像進行重排序。

步驟720考慮需要編碼的圖像是否與參考圖像具有時間關係。如上所述，「p」圖像利用一個參考列表而「b」圖像需要利用兩個參考列表。因此，對列表進行重排序的方式(如上文所述的各個實施方式)取決於這種時間關係。

步驟725是參考圖像列表的實際重排序。同樣地，進行這種操作的各種方式取決於步驟715和720的結果，並且根據上述實施方式的原理產生作用。

因此，例如，本領域普通技術人員可以理解，說明書中的框圖表示根據本發明原理的實施方式的示例性電路的概念性圖示。類似地，可以理解，任何流程圖、操作程序圖、狀態轉換圖、偽代碼等都表示能夠有計算機可讀介質表示並因而由計算機或處理器執行的各種過程步驟，這種計算機或處理器是否明確示出並無關係。

附圖中所示各種元件的功能可以與適當的軟體聯合通過使用專用硬體以及能夠執行軟體的硬體來提供。當通過處理器提供時，該功能可以通過單個專用處理器、單個共享處理器或者多個處理器(某些可以共享)來提供。並且，術語「處理器」或者「控制器」的明確使用不應當被理解為專指能夠執行軟體的硬體，還可以非限制性地包括數位訊號處理器(dsp)、用於存儲軟體的只讀存儲器(rom)、隨機訪問存儲器(ram)以及非易失性存儲器。

其他普通和/或定製硬體也可以包括進來。類似地，圖中所示的任何開關都是概念性的。其功能可以通過程序邏輯、專用邏輯、程序控制和專用邏輯的相互作用甚至手動操作來執行，實施者可以根據應用環境選擇特定的技術。

在權利要求中，任何被表達為用於執行特定功能的元件都包括執行該功能的任何方式，例如：a)執行該功能的電路元件的組合；b)任何形式的軟體，包括固件、微代碼等，與適當的電路結合以執行該軟體從而執行該功能。這些權利要求限定的本發明的原理基於的事實是，各個引用的裝置所提供的功能型以權利要求要求的方式結合在一起。因此可以認為任何能夠提供這些功能性的裝置都等同於所述裝置。

說明書中所提到的本發明原理的「一個實施方式」或「實施方式」表示特定結合該實施方式描述的特徵、結構、要素包括在本發明原理的至少一個實施方式中。因此，說明書各個地方出現的表述「在一個實施方式中」或「在實施方式中」不一定指同一實施方式。

最優選地，本發明的原理可以作為硬體和軟體的組合來實現。並且，軟體可以作為嵌入在程序存儲單元上地應用程式來實現。應用程式可以被上載至包含任何適當體系結構的機器並由其執行。優選地，該機器在具有硬體的計算極平臺上執行，所述硬體例如是一個或多個中央處理器(cpu)、隨機訪問存儲器(ram)、輸入輸出(i/o)接口。計算機平臺還可以包括作業系統和微指令代碼。本文所述各種處理和功能可以是能夠由cpu處理的微指令代碼的一部分或應用程式的一部分，或者它們的組合。另外，各種外圍設備可以連接至計算機平臺，例如附加數據存儲單元和列印單元。

可以進一步理解的是，因為附圖中描述的某些系統構成部件和方法優選由軟體實現，系統元件或者處理功能框之間的實際連接根據本發明的原理被編程的方式可能存在不同之處。基於本發明的原理，本領域普通技術人員可以設想到用來實現本發明原理的上述和其他方式或結構。

雖然結合目前優選實施例對本發明進行了說明，但是可以理解本發明並不局限於公開的實施例。而且，在本發明的原理和範圍之內，可以對本發明進行修改以引入本說明書未說明的任何變化、改變、替換或者等同設置。因此，本發明不應被視為由上述說明來限制，而是由所附權利要求的範圍來限定。