編碼裝置，編碼方法，解碼裝置，解碼方法，程序，程序記錄介質，數據記錄介質，數據結構...的製作方法
2023-04-27 08:07:46 2
專利名稱：編碼裝置，編碼方法，解碼裝置，解碼方法，程序，程序記錄介質，數據記錄介質，數據結構 ...的製作方法
技術領域：
本發明涉及編碼裝置、編碼方法、解碼裝置、解碼方法、程序、程序記錄介質、數據記錄介質、數據結構和再現裝置，更具體地說，涉及允許例如將顯示逐行掃描的圖像，而不降低其垂直分辯率的編碼裝置、編碼方法、解碼裝置、解碼方法、程序、程序記錄介質、數據記錄介質、數據結構和再現裝置。
背景技術：
近年來，處理數字數據，通過用於高效信息傳輸和存儲的圖像冗餘，壓縮和解碼圖像信號，以及使用基於例如運動圖像專家組(MPEG)標準的正交變換，諸如離散餘弦變換和運動補償的圖像處理裝置在分發信息的廣播電臺，以及接收信息的普通家庭中傳播。
隨著圖像處理裝置傳播，圖像處理裝置能處理的內容正在增加。這些內容例如是電影內容。
電影是記錄在膠片(影片)上的一系列靜態圖像。當電影廣播為例如電視廣播節目或出售為視頻包，圖像應當被轉換成圖像信號(視頻信號)，其是電視廣播電信號。換句話說，膠片的圖像需要光學地投影，然後電子地俘獲。此後，對電信號，需要執行其他過程，諸如圖像顯示率轉換。該技術通常稱為電視電影。
通常，圖像信號的每一秒顯示的幀數，即顯示率不同於影片。在許多電影片中，每秒顯示24幀圖像。相反，在國家電視系統委員會(NTSC)系統中，每秒顯示30幀圖像。因此，作為主要過程的一個，電視電影轉換這些顯示率。該顯示率轉換稱為2-3摺疊。
更精確地說，NTSC系統的圖像信號的轉換率為29.97Hz，而影片的顯示率為23.96Hz。
如圖1所示，能將幀圖像分離成所謂場的圖像。例如，幀的奇數行的像素(像素值)為前場，而幀的偶數行的像素稱為後場。
另外，有時將圖像分類成隔行掃描圖像和逐行掃描圖像。隔行掃描圖像的像素的採樣時間不同於逐行掃描圖像。換句話說，在隔行掃描圖像中，一幀的奇數行的採樣時間不同於一幀的偶數行。因此，前場的採樣時間不同於後場。另一方面，在逐行掃描圖像中，前場的採樣時間與後場的採樣時間相同。
影片的圖像是逐行掃描圖像，以及顯示為幀。NTSC系統的圖像是隔行掃描圖像以及顯示為場。換句話說，在逐行掃描中，連續地掃描幀。因此，顯示幀圖像。相反，在隔行掃描中，隔行掃描幀。換句話說，交替地掃描前場和後場。因此，交替地顯示幀的前場和後場的圖像。
因此，電視電影執行2-3摺疊來將以影片的24Hz的幀頻(在下文中稱為24Hz影片)轉換成以NTSC系統的60Hz(精確地說，59.94Hz)的場頻，或60Hz的幀頻的圖像(在下文中，有時稱為30Hz NTSC系統)。
換句話說，如圖1所示，在2-3摺疊中，將24Hz影片的幀分成前場和後場。此後，將前場和後場適當地分配給組成30Hz NTSC系統的幀的場。
具體地，假定按年月日次序，用A、B、C和D表示24Hz影片的四幀，以及分別用A(1)和A(2)表示幀A分離成的前場和後場。此時，如圖2所示，在2-3摺疊中，前場A(1)和後場A(2)組成30Hz NTSC系統的第一幀。前場B(1)和後場B(2)組成30Hz NTSC系統的第二幀。另外，前場B(1)和後場C(2)組成NTSC系統的第三帖。前場C(1)和後場D(2)組成30HzNTSC系統的第四幀。前場D(1)和後場D(2)組成30Hz NTSC系統的第五幀。
如上所述，在2-3摺疊中，組成24Hz影片的幀B的場B(1)分配給30HzNTSC系統的第二幀的前場和兩個更後前場(即，第三幀的前場)。另外，組成24Hz影片的幀D的場D(2)分配給30Hz NTSC系統的第四幀的後場和兩個更後後場(即，第五幀的後場)。因此，24Hz影片的每四幀轉換成30Hz NTSC系統的五幀。
因此，在2-3摺疊中，將影片的一幀轉換成NTSC系統的兩場。將影片的下一幀轉換成NTSC系統的後三場。將影片的下一幀轉換成NTSC系統的下二場。同樣地，將影片的每一幀交替地轉換成NTSC系統的兩場和三場。
近年來，電視會議圖像編碼標準已經確定為H.264或MPEG高級視頻編碼(AVC)(ITU-TQ6/16或ISO/IEC14496-10)，在下文中，簡寫為H.264/AVC。與傳統的編碼(解碼)系統，諸如MPEG2和MPEG4一樣，H.264/AVC提供使用正交變換和運動補償技術，壓縮/解碼圖像信號。另外，已知儘管H.264/AVC要求比傳統的編碼和解碼系統更多編碼和解碼計算量(amount？)，但H.264/AVC能實現比傳統系統更高的編碼效率。
圖3表示壓縮和編碼基於H.264/AVC標準，通過2-3摺疊，從影片的圖像獲得的NTSC系統的圖像的圖像編碼裝置的結構的例子。
將通過2-3摺疊獲得的NTSC系統的圖像(其圖像信號)逐場提供給A/D轉換部1。該A/D轉換部1將作為模擬信號提供的圖像轉換成數位訊號，以及將該數位訊號提供給2-3檢測部2。2-3檢測部2通過例如從A/D轉換部1提供的圖像的兩場間的場間差值信息，檢測2-3節奏。
換句話說，如上所述，在2-3摺疊中，由於影片的每一幀交替地轉換成NTSC系統的兩場和三場。因此，NTSC系統的圖像序列具有所謂的2-3節奏，交替地重複從NTSC系統的一個逐行掃描幀獲得的兩場集和從NTSC系統的一個逐行掃描幀獲得的三場集。2-3檢測部2檢測兩場集和三場集(檢測2-3節奏)。
另外，2-3檢測部2基於場間差值信息和2-3節奏的檢測結果，確定NTSC系統的每一場的圖像是逐行掃描圖像還是隔行掃描圖像。當通過影片的圖像的2-3摺疊獲得提供給圖3所示的圖像編碼裝置的圖像時，2-3檢測部2確定從影片的一幀獲得的兩場的圖像的集合或三場的圖像的集合是逐行掃描圖像。
此後，2-3檢測部2通過確定為逐行掃描圖像的二場的圖像集或三場的圖像集組成一幀的逐行掃描圖像。在這種情況下，2-3檢測部2組成24Hz影片的幀的圖像，即，未通過2-3摺疊轉換的圖像，以及將該圖像提供給圖像重排緩衝器3。
當2-3檢測部2已經確定組成特定幀的二場為隔行掃描圖像時，2-3檢測部2將作為這些場的圖像的二場的圖像或由二場組成的一幀的圖像提供給圖像重排緩衝器3。
由通過編碼場的圖像還是幀的圖像能獲得較高編碼效率而定，確定隔行掃描圖像(已經確定)的二場是場的圖像還是幀的圖像。換句話說，當通過場的圖像獲得較高編碼效率時，確定隔行掃描圖像是場的圖像。相反，當通過幀的圖像能獲得較高編碼效率時，確定隔行掃描圖像是場的圖像。
圖像重排緩衝器3臨時存儲由2-3檢測部提供的圖像，基於作為待編碼的假定圖像，在下文中，有時稱為編碼目標圖像的預定編碼順序，重排所存儲的圖像，以及將編碼目標圖像作為宏塊提供給加法器4。
當編碼目標圖像是內編碼圖像時，加法器4將編碼目標圖像提供給正交變換部5，而不執行任何處理。
當編碼目標圖像是間編碼圖像時，加法器4從編碼目標圖像，減去由運動估計/補償(ME/MC)部12提供的估計圖像，以及將合成圖像提供給正交變換部5。
換句話說，運動估計/補償部12檢測在圖像重排緩衝器3中存儲的圖像的運動矢量，從幀存儲器11讀取已經編碼，然後解碼，並變為編碼目標圖像的參考圖像的圖像，以及根據運動矢量，補償參考圖像的運動。因此，運動估計/補償部12在最佳估計模式(具有最高編碼效率的估計模式)，生成編碼目標圖像的估計圖像。運動估計/補償部12將所估計的圖像提供給加法器4。加法器4從編碼目標圖像減去由運動估計/補償部12提供的估計圖像，然後，將合成圖像提供給正交變換部5。
根據從編碼目標圖像減去估計圖像的減法結果，正交變換部5對由加法器4提供的編碼目標圖像或差值圖像執行正交變換，例如離散餘弦變換，獲得變換係數，以及將所獲得的變換係數提供給量化(Q)部6。
量化部6在速率控制部13的控制下，通過量化步驟，量化由正交變換部5提供的變換係數，如稍後所述，以及將所獲得的量化係數提供給可逆編碼(VLC ENC)部7和反量化(INV Q)部9。
可逆編碼部7對由量化部6提供的量化係數和由運動估計/補償部12檢測的運動矢量執行可逆編碼，諸如可變長度代碼編碼或算術編碼，以便多路傳輸它們。可逆編碼部7將所獲得的編碼數據(流)提供給存儲緩衝器8。
可逆編碼部7將在運動矢量等等插入(複合)編碼數據的所謂頭部部分。
存儲緩衝器8臨時存儲從可逆編碼部7提供的編碼數據以及以預定速率輸出它們。從存儲緩衝器8輸出的編碼數據記錄在例如數字通用盤(DVD0上。該DVD在例如非專利文獻1，「DVD Specification for Read-Only Disc Part3；Version 1.1，December 1997」中描述過。
另外，將存儲緩衝器8的編碼數據的存儲量提供給速率控制部13。速率控制部13根據存儲緩衝器8的存儲量，反饋控制從量化部6提供的量化步驟，以便存儲緩衝器8不溢出或下溢。
相反，反量化部9通過與量化部6的量化步驟相同的量化步驟，逆向量化由量化部6提供的變換係數，以及將所獲得的變換係數提供給反正交變換部10。反正交變換部10對由反量化部9提供的變換係數執行反正交變換處理。因此，反正交變換部10解碼初始內編碼圖像或解碼已經從初始間編碼圖像減去估計圖像的差值圖像，以及將解碼圖像提供給幀存儲器11。
幀存儲器11存儲內編碼圖像的解碼圖像。幀存儲器11從運動估計/補償部12獲得已經從間編碼圖像減去的估計圖像，以便差值圖像，以及使估計圖像與差值圖像的解碼圖像相加以便解碼間編碼圖像。幀存儲器11存儲間編碼圖像的解碼圖像。
運動估計/補償部12通過在幀存儲器11中，存儲為參考圖像的圖像，生成估計圖像。
接著，圖4表示解碼通過圖3所示的圖像編碼裝置獲得的編碼數據的圖像解碼裝置的結構的例子。
編碼數據提供給存儲緩衝器21。存儲緩衝器21臨時存儲編碼數據。可逆解碼(VLC DEC)部22正確地讀取在存儲緩衝器21中存儲的編碼數據，以及正確地分離包含在其中的信息以及對分離信息執行例如可變長度編碼解碼、算術解碼等等。另外，可逆解碼部22使用可變長度編碼解碼、算術解碼等等，獲得量化係數和運動矢量，以及將量化係數提供給反量化部23，以及將運動矢量提供給運動估計/補償部27。
反量化部23反量化由可逆解碼部22提供的量化係數，獲得變換係數，以及將變換係數提供給反正交變換部24。反正交變換部24對由反量化部23提供的變換係數，執行反正交變換處理，諸如反離散餘弦變換。反正交變換部24將內編碼圖像的解碼圖像或間編碼圖像的差值圖像的解碼結果作為宏塊提供給加法器24。
當反正交變換部24輸出間編碼圖像的解碼結果時，加法器25將解碼圖像提供給幀存儲器26和圖像重排緩衝器28。相反，當反正交變換部24輸出間編碼圖像的差值圖像的解碼結果時，加法器25將解碼結果與由運動估計/補償部27提供的估計圖像相加以便解碼間編碼圖像。加法器25將解碼圖像提供給幀存儲器26和圖像重排緩衝器28。
幀存儲器26將由加法器25提供的解碼圖像存儲為參考圖像。運動估計/補償部27根據由可逆解碼部22提供的運動矢量，對在幀存儲器26中存儲的參考圖像，執行運動補償，生成估計圖像，以及將它們提供給加法器25。
另一方面，圖像重排緩衝器28臨時存儲由加法器25提供的解碼圖像以及按顯示順序重排它們。由於在圖像重排緩衝器28中存儲的圖像是24Hz影片的圖像，根據稍後所述，基於H.264/AVC系統，複合(包含在)編碼數據(中)的pic_struct，圖像重排緩衝器28將24Hz影片的圖像轉換成30Hz NTSC系統的圖像，其與由2-3摺疊獲得的圖像相同，以及將所變換的圖像提供給數字/模擬(D/A)轉換部29。
D/A轉換部29將由圖像重排緩衝器28提供的圖像(作為數位訊號的圖像信號)轉換成模擬信號。顯示設備(未示出)根據模擬信號，顯示圖像。
30Hz NTSC系統的圖像，其中，已經對24Hz影片的圖像執行2-3摺疊，作為編碼目標圖像提供給圖3所示的圖像編碼裝置。
如果提供給圖像編碼裝置的圖像是滿足2-3節奏的30Hz NTSC系統的圖像，如在圖5的第二行中所示，其中，已經對如圖5的第一行中所示的24Hz影片的圖像執行2-3摺疊，2-3檢測部2(圖3)確定該圖像是逐行掃描圖像。
在圖5中(同時在圖13至圖15，圖22和圖23中，稍後所述)，矩形表示幀或場的圖像。未加水平條紋的矩形表示幀圖像，而加水平條紋的圖像表示場圖像。
然而，如果對滿足2-3節奏的30Hz NTSC系統的圖像執行剪輯操作，如圖5的第二行所示，圖像不滿足2-3節奏，如圖5的第三行所示。當將這些圖像提供給圖像編碼裝置時，2-3檢測部2雙重地確定該圖像是隔行掃描圖像和逐行掃描圖像。
換句話說，圖5的第一行中所示的24Hz影片的幀的圖像轉換成30Hz NTSC系統的三場、二場、三場等等，如圖5的第二行所示。另外，如圖5的第二行中所示，剪輯30Hz NTSC系統的圖像的第三和第四場。
在這種情況下，由於從影片的第一幀獲得30Hz NTSC系統的圖像的第一和第二場，即，以在第三行中所示的NTSC系統的30Hz的幀速率(以60Hz的場速率)的圖像，將它們確定為逐行掃描圖像。相反，由於從影片的第三和第四幀獲得第三行中所示的30Hz NTSC系統的的第三和第四場，將它們確定為隔行掃描圖像。另外，由於從影片的第三幀獲得第三行中所示的30Hz NTSC系統的圖像的第四至第六場，將它們確定為逐行掃描圖像。
如上所述，將第三行中所示的30Hz NTSC系統的圖像的第四場雙重地確定為隔行掃描圖像和逐行掃描圖像。
除這種剪輯操作外，由於當對影片的圖像執行2-3摺疊時執行的菲林膠捲改變，導致雙重確定的2-3節奏的不規則性也由2-3節奏的復位產生，由於在用於2-3摺疊目標的影片的圖像中包含的噪聲，錯誤地檢測2-3節奏。
如果解碼裝置端使用編碼方法，諸如不按照逐行掃描圖像或隔行掃描圖像，定義將原始圖像識別為編碼目標圖像的語法指明方法的H.264/AVC，由於編碼圖像不與表示該圖像的掃描系統是隔行掃描還是逐行掃描的標識信息相關，沒有方法來確定每一圖像是隔行掃描圖像還是逐行掃描圖像。因此，即使編碼目標圖像是逐行掃描圖像，解碼裝置端可以將其輸出為隔行掃描場。因此，用於一場的垂直分辯率損失。
發明內容
從這種情形的觀點做出了本發明。本發明的目的是允許顯示逐行掃描圖像，而不損失它們的垂直分辯率。
本發明為一種編碼設備，包括用於確定該圖像是隔行掃描圖像還是逐行掃描圖像的圖像確定裝置；標誌設置裝置，用於將該圖像確定裝置的確定結果設置到表示圖像的掃描系統的掃描標誌；信息設置裝置，用於將表示圖像的顯示系統的信息設置到指定圖像的顯示系統的顯示系統指定信息；以及複合裝置，用於將圖像的編碼結果與掃描標誌以及顯示系統指定信息複合，以及輸出該複合結果。
本發明為一種編碼方法，包括步驟確定該圖像是隔行掃描圖像還是逐行掃描圖像；將該圖像確定步驟的確定結果設置到表示圖像的掃描系統的掃描標誌；將表示圖像的顯示系統的信息設置到指定圖像的顯示系統的顯示系統指定信息；以及將圖像的編碼結果與掃描標誌以及顯示系統指定信息複合，以及輸出該複合結果。
本發明是一種使計算機執行編碼圖像的編碼過程的第一程序，該編碼過程包括步驟確定該圖像是隔行掃描圖像還是逐行掃描圖像；將該圖像確定步驟的確定結果設置到表示圖像的掃描系統的掃描標誌；將表示圖像的顯示系統的信息設置到指定圖像的顯示系統的顯示系統指定信息；以及將圖像的編碼結果與掃描標誌以及顯示系統指定信息複合，以及輸出該複合結果。
本發明是一種用於使計算機執行編碼圖像的編碼過程的程序的第一程序記錄介質，編碼過程包括步驟確定該圖像是隔行掃描圖像還是逐行掃描圖像；將該圖像確定步驟的確定結果設置到表示圖像的掃描系統的掃描標誌；將表示圖像的顯示系統的信息設置到指定圖像的顯示系統的顯示系統指定信息；以及將圖像的編碼結果與掃描標誌以及顯示系統指定信息複合，以及輸出該複合結果。
本發明是一種數據記錄介質，用於圖像的編碼數據，該編碼數據已經與該圖像的編碼結果；表示每一圖像的掃描系統的掃描標誌；以及指定每一圖像的顯示系統的顯示系統指定信息複合。
本發明是用於圖像的編碼數據的數據結構，該編碼數據已經與該圖像的編碼結果；表示每一圖像的掃描系統的掃描標誌；以及指定每一圖像的顯示系統的顯示系統指定信息複合。
本發明是一種解碼設備，包括解碼裝置，用於解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；識別裝置，用於基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；幀圖像輸出裝置，用於使圖像內插場，生成幀圖像，以及當該識別裝置的識別結果為隔行掃描圖像時，輸出它，以及當該識別裝置的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及重複輸出裝置，用於將從幀圖像輸出裝置輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
本發明是一種解碼方法，包括步驟解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；使圖像內插場，生成幀圖像，以及當該識別步驟的識別結果為隔行掃描圖像時，輸出它，以及當該識別步驟的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及將從幀圖像輸出步驟輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
本發明是一種使計算機執行解碼圖像的編碼數據的解碼過程的第二程序，該解碼過程包括步驟解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；使圖像內插場，生成幀圖像，以及當該識別步驟的識別結果為隔行掃描圖像時，輸出它，以及當該識別步驟的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及將從幀圖像輸出步驟輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
本發明是一種用於使計算機執行解碼圖像的編碼數據的解碼過程的程序的第二程序記錄介質，該解碼過程包括步驟解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；使圖像內插場，生成幀圖像，以及當該識別步驟的識別結果為隔行掃描圖像時，輸出它，以及當該識別步驟的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及將從幀圖像輸出步驟輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
本發明是一種再現設備，包括解碼裝置，用於解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；識別裝置，用於基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；幀圖像輸出裝置，用於使圖像內插場，生成幀圖像，以及當該識別裝置的識別結果為隔行掃描圖像時，輸出它，以及當該識別裝置的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及重複輸出裝置，用於將從幀圖像輸出裝置輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
在本發明的編碼裝置、編碼方法、第一程序和第一程序記錄介質中，確定圖像是隔行掃描圖像還是逐行掃描圖像。將確定結果設置到表示圖像的掃描系統的掃描標誌。表示該圖像的顯示系統的信息設置到指定圖像的顯示系統的顯示系統指定信息。圖像的編碼結果與掃描標誌和顯示系統指定信息複合，以及輸出複合結果。
在本發明的數據記錄介質和數據結構中，已經將編碼數據與該圖像的編碼結果、表示每一圖像的掃描系統的掃描標誌，以及指定每一圖像的顯示系統的顯示系統指定信息複合。
在本發明的解碼裝置、解碼方法、第二程序和第二程序記錄介質中，解碼已經與該圖像的編碼結果、表示圖像的掃描系統的掃描標誌以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據。基於該圖像掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像。將該圖像內插場。當識別結果為隔行掃描圖像時，生成幀圖像並輸出。當識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像。將該幀圖像重複輸出僅對應於顯示系統指定信息的次數。
在本發明的再現裝置中，解碼已經與該圖像的編碼結果、表示圖像的掃描系統的掃描標誌以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據。基於該圖像掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像。將該圖像內插場。當識別結果為隔行掃描圖像時，生成幀圖像並輸出。當識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像。將該幀圖像重複輸出僅對應於顯示系統指定信息的次數。
根據本發明，能顯示逐行掃描圖像，而不降低垂直分辯率。
圖1是描述影片的圖像和NTSC系統的圖像的示意圖；圖2是描述2-3摺疊的示意圖；圖3是表示傳統的圖像編碼裝置的結構的例子的框圖；圖4是表示傳統的圖像解碼裝置的結構的例子的框圖；圖5是描述雙重確定為隔行掃描圖像和逐行掃描圖像的編碼目標圖像的情形的示意圖；圖6是表示根據本發明的實施例的圖像處理系統的結構的例子的框圖；圖7是表示在H.264/AVC中定義的pic_struct的表的示意圖；圖8是表示在H.264/AVC中定義的pic_struct的表的示意圖；圖9是表示圖像編碼裝置101的結構的例子的框圖；圖10是描述圖像編碼裝置101的過程的流程圖；圖11是表示圖像解碼裝置102的結構的例子的框圖；圖12是描述圖像解碼裝置102的過程的流程圖；圖13是描述圖像編碼裝置101和圖像解碼裝置102的過程的示意圖；圖14是描述圖像編碼裝置101和圖像解碼裝置102的過程的示意圖；圖15是描述圖像編碼裝置101和圖像解碼裝置102的過程的示意圖；圖16是表示由在H.264/AVC中定義的「按ITU-T推薦T.35 SEI註冊的用戶數據」的語法的表；
圖17是表示在H.264/AVC中定義的「用戶數據未註冊SEI」，的語法的表；圖18是表示scan_information的語法的表；圖19是表示編碼和解碼24Hz逐行掃描圖像和顯示60Hz逐行掃描圖像的圖像處理系統的結構的例子的框圖；圖20是表示圖像編碼裝置201的結構的例子的框圖；圖21是表示圖像解碼裝置202的結構的例子的框圖；圖22是描述輸出控制部212如何控制顯示圖像輸出緩衝器211的示意圖；圖23是描述輸出控制部212如何控制顯示圖像輸出緩衝器211的示意圖；以及圖24是表示根據本發明的實施例的計算機的結構的例子的框圖。
具體實施例方式
接著，將描述本發明的實施例。權利要求的要素和實施例間的關係如下。關係表示在實施例中描述支持在權利要求中所闡述的本發明的具體例子。因此，即使一些具體例子在權利要求的要素中未描述，但不必然具體例子不對應於權利要求的要素。相反，即使具體例子描述為在該部分中的權利要求的要素的對應部分，也不必然這些具體例子不對應於除權利要求的要素外的其他要素。
在本部分中，不必須對應於在本發明的實施例中描述的具體例子的本發明的所有方面在權利要求書中闡述。換句話說，在本部分中的描述對應於在本發明的實施例中描述的具體例子。因此，本部分中的描述不否定存在在本專利申請的權利要求中未闡述的本發明的方面，以及可以提出分案專利申請和/或可以將本發明的其他方面添加為補正。
在本發明的權利要求1中所述的編碼裝置是編碼圖像的編碼裝置(例如圖9所示的圖像編碼裝置)，包括用於編碼圖像的編碼裝置(例如，圖9所示的加法器4、正交變換部5、量化部6、可逆編碼部7、反量化部9、反正交變換部10、幀存儲器11和運動估計/補償部12)；圖像確定裝置(例如執行圖10所示的步驟S11的過程的圖9所示的標識部11)，用於確定該圖像是隔行掃描圖像還是逐行掃描圖像；
標誌設置裝置(例如，圖9所示的標識部111，執行圖10所示的步驟S12或S15的處理)，用於將圖像確定裝置的確定結果設置成表示圖像的掃描系統的掃描標誌)；信息設置裝置(例如圖9中所示的標識部111，執行圖10所示的步驟S13、S17或S18的過程)，用於將表示圖像的顯示系統的信息設置成指定圖像的顯示系統的顯示系統指定信息；以及複合裝置(例如，圖9所示的可逆編碼部7)，用於將圖像的編碼結果與掃描標誌以及顯示系統指定信息複合，輸出複合結果。
在本發明的權利要求8中所述的編碼方法是編碼圖像的編碼方法，包括步驟編碼圖像(例如圖10中所示的步驟S1)；確定圖像是隔行掃描圖像還是逐行掃描圖像(例如圖10所示的步驟S11)；將圖像確定步驟的確定結果設置成表示圖像的掃描系統的掃描標誌(例如圖10中所示的步驟S12或S15)；將表示圖像的顯示系統的信息設置成指定圖像的顯示系統的顯示系統指定信息(例如圖10中所示的步驟S13、S17或S18)；以及將圖像的編碼結果與掃描標誌和顯示系統指定信息複合，以及輸出複合結果(例如圖10中所示的步驟S14)。
本發明的權利要求9中所述的程序以及如本發明的權利要求10中所述的在程序記錄介質上記錄的程序是使計算機執行編碼圖像的編碼過程的程序，該編碼過程包括步驟編碼圖像(例如圖10中所示的步驟S1)；確定圖像是隔行掃描圖像還是逐行掃描圖像(例如圖10所示的步驟S11)；將圖像確定步驟的確定結果設置成表示圖像的掃描系統的掃描標誌(例如圖10中所示的步驟S12或S15)；將表示圖像的顯示系統的信息設置成指定圖像的顯示系統的顯示系統指定信息(例如圖10中所示的步驟S13、S17或S18)；以及將圖像的編碼結果與掃描標誌和顯示系統指定信息複合，以及輸出複合結果(例如圖10中所示的步驟S14)。
如本發明的權利要求13所述的解碼裝置是解碼圖像的編碼數據的解碼裝置(例如圖11所示的圖像解碼裝置102)，包括解碼裝置(例如圖11中所示的可逆解碼部22、反量化部23、反正交變換部24、加法器25、幀存儲器26和運動估計/補償部27)，用於解碼與該圖像的編碼結果複合的編碼數據、表示圖像的掃描系統的掃描標誌，以及指定圖像的顯示系統的顯示系統指定信息；識別裝置(例如圖11所示的I/P轉換部122，執行圖12中所示的步驟S33或S37的過程)，用於基於該圖像的掃描標誌和顯示系統指定信息，將圖像識別為隔行掃描圖像或逐行掃描圖像；幀圖像輸出裝置(例如，圖11中所示的I/P轉換部122，執行圖12中所示的步驟S34或S38的過程)，用於使該圖像內插場，生成幀圖像，以及當識別裝置的識別結果為隔行掃描圖像時，輸出它，以及當識別裝置的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；重複輸出裝置(例如圖11中所示的顯示圖像輸出緩衝器123)，用於將從幀圖像輸出裝置輸出的幀圖像重複輸出僅對應於顯示系統指定信息的次數。
本發明的權利要求21中所述的解碼方法是解碼圖像的編碼數據的解碼方法，包括步驟解碼與該圖像的編碼結果複合的編碼數據、表示圖像的掃描系統的掃描標誌，以及指定圖像的顯示系統的顯示系統指定信息(例如圖12中所示的步驟S21)；基於該圖像的掃描標誌和顯示系統指定信息，將圖像識別為隔行掃描圖像或逐行掃描圖像(例如圖12中所示的步驟S33或S37)；使該圖像內插場，生成幀圖像，以及當識別步驟的識別結果為隔行掃描圖像時，輸出它，以及當識別步驟的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像(例如，圖12中所示的步驟S34或S38)；將從幀圖像輸出步驟輸出的幀圖像重複輸出僅對應於顯示系統指定信息的次數(例如圖12所示的步驟S35)。
本發明的權利要求22所述的程序和本發明的權利要求23中所述的記錄在程序記錄介質上的程序是使計算機執行解碼圖像的編碼數據的解碼過程的程序，解碼過程包括步驟
解碼與該圖像的編碼結果複合的編碼數據、表示圖像的掃描系統的掃描標誌，以及指定圖像的顯示系統的顯示系統指定信息(例如圖12中所示的步驟S21)；基於該圖像的掃描標誌和顯示系統指定信息，將圖像識別為隔行掃描圖像或逐行掃描圖像(例如圖12中所示的步驟S33或S37)；使該圖像內插場，生成幀圖像，以及當識別步驟的識別結果為隔行掃描圖像時，輸出它，以及當識別步驟的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像(例如，圖12中所示的步驟S34或S38)；將從幀圖像輸出步驟輸出的幀圖像重複輸出僅對應於顯示系統指定信息的次數(例如圖12所示的步驟S35)。
本發明的權利要求24所述的再現裝置是再現圖像的編碼數據的再現裝置(例如圖11中所示的圖像解碼裝置(再現裝置))，包括解碼裝置(例如圖11中所示的可逆解碼部22、反量化部23、反正交變換部24、加法器25、幀存儲器26和運動估計/補償部27)，用於解碼與該圖像的編碼結果複合的編碼數據、表示圖像的掃描系統的掃描標誌，以及指定圖像的顯示系統的顯示系統指定信息；識別裝置(例如圖11所示的I/P轉換部122，執行圖12中所示的步驟S33或S37的過程)，用於基於該圖像的掃描標誌和顯示系統指定信息，將圖像識別為隔行掃描圖像或逐行掃描圖像；幀圖像輸出裝置(例如，圖11中所示的I/P轉換部122，執行圖12中所示的步驟S34或S38的過程)，用於使該圖像內插場，生成幀圖像，以及當識別裝置的識別結果為隔行掃描圖像時，輸出它，以及當識別裝置的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；重複輸出裝置(例如圖11中所示的顯示圖像輸出緩衝器123)，用於將從幀圖像輸出裝置輸出的幀圖像重複輸出僅對應於顯示系統指定信息的次數。
接著，參考附圖，將描述本發明的實施例。
圖6表示根據本發明的實施例的圖像處理系統的結構的例子。
圖6所示的圖像處理系統由圖像編碼裝置101、圖像解碼裝置102(再現裝置102)和顯示設備103組成。
將例如已經對以影片的24Hz的幀頻的圖像(這些圖像有時稱為24Hz影片的圖像)執行2-3摺疊的、以NTSC的30Hz的幀頻的圖像(這些圖像有時稱為30Hz NTSC系統的圖像)提供給圖像編碼裝置101。圖像編碼裝置101基於例如H.264/AVC標準，編碼30Hz NTSC系統的圖像，以及輸出編碼數據。
換句話說，圖像編碼裝置101基於H.264/AVC標準編碼所提供的圖像。另外，圖像編碼裝置101確定編碼目標圖像是隔行掃描圖像還是逐行掃描圖像，以及將所確定的結果設置成表示圖像的掃描系統的掃描標誌。此外，圖像編碼裝置101將表示編碼目標圖像的顯示系統的信息設置成指定圖像的顯示系統的顯示系統指定信息，將圖像的編碼結果與掃描標誌以及圖像的顯示系統指定信息複合，以及將複合數據輸出為編碼數據。
將從圖像編碼裝置101輸出的編碼數據提供給記錄介質104，諸如光碟、磁光碟、磁碟(包括硬碟)，或半導體存儲器。將編碼數據記錄在記錄介質104上。相反，通過非無線或無線傳輸媒介105，諸如網際網路、電話線、非無線區域網(LAN)、電纜電視(CATV)、衛星電路、地波或無線LAN，傳送可以從圖像編碼裝置101輸出的編碼數據。
圖像解碼裝置102從記錄介質104讀取編碼數據，或從傳輸介質105接收它們並再現它們。換句話說，圖像解碼裝置102基本上基於H.264/AVC標準，解碼編碼數據。另外，圖像解碼裝置102將編碼數據的編碼圖像轉換成用於顯示設備103的圖像，以及將所轉換的圖像提供給顯示設備103。
換句話說，當顯示設備103是例如以與NTSC系統的顯示速率(場速率)相同的60Hz(準確地說，59.94Hz)的顯示速率(刷新速率)顯示逐行掃描圖像的顯示設備時，圖像解碼裝置102將解碼圖像轉換成以60Hz幀頻的逐行掃描圖像，以及將它們提供給顯示設備103。
具體地說，圖像解碼裝置102根據解碼圖像的掃描標誌和顯示系統指定信息，將解碼圖像識別為隔行掃描圖像或逐行掃描圖像。當圖像解碼裝置102已經將解碼圖像識別為隔行掃描圖像時，圖像解碼裝置102將場內插解碼圖像以及生成幀的圖像(幀圖像)。當圖像解碼裝置102已經將解碼圖像識別為逐行掃描圖像時，圖像解碼裝置102將解碼圖像視為幀的圖像。此後，當必要時，圖像解碼裝置102重複輸出幀圖像達對應於顯示系統指定信息的次數，獲得60Hz逐行掃描幀圖像，以及將它們提供給顯示設備103。
因此，顯示設備103顯示60Hz逐行掃描圖像。
接著，將更詳細地描述圖6中所示的圖像編碼裝置101和圖像解碼裝置102。在此之前，將描述在H.264/AVC中定義的幾個語法。
H.264/AVC(ISO/IEC14496-10)定義pic_struct和ct_type如下。
pic_struct表示根據表D-1，圖像應當顯示為幀還是一或多場。幀加倍(pic_struct等於7)表示應當連續地顯示該幀兩次，以及幀三倍(pic_struct等於8)表示應當連續顯示該幀三次。
注意-幀加倍便於在50p顯示器上顯示25p視頻，以及在59.94p顯示器上顯示29.97視頻。在每一其他幀上使用幀加倍和幀三倍能便於在59.94p顯示器上顯示23.98p視頻。
NumClockTS由在表D-1中指定的pic_struct確定。對圖像，可以達到ClockTimestamp信息的NumClockTS集，如對每一集合，由clock_timestamp_flag[i]指定。ClockTimestamp信息的集合應用於通過pic_struct，與該圖像關聯的場或幀。
ClockTimestamp語法要素的內容表示起始、俘獲或交替理想顯示的時間。該所示時間計算為ClockTimestamp＝((hH*60+mV)*60+sS)*time_scale+nFrames*(num_units_in_tick*(1+nuit_field_based_flag))+tOffset。
(D-1)以具有等於time_scale Hz的時鐘頻率的時鐘的時鐘報時為單位，相對於ClockTimestamp等於0的一些不定時間點。輸出順序和DPB輸出時序不受ClockTimestamp的值影響。當具有pic_struct等於0的兩個或多幀以輸出順序連續以及具有相同ClockTimestamp值時，表示這些幀表示相同內容，以及輸出順序中最後一個幀是最佳表示。注意-ClockTimestamp時間表示可以通過除與DPB輸出時間非常匹配的刷新速率，有助在設備上顯示。
clock_timestamp_flag[i]等於1表示多個ClockTimestamp語法要素存在，以有主立即如下。
clock_timestamp[i]等於0表示相關ClockTimestamp語法要素不存在。當NumClockTS大於1以及clock_timestamp[i]對不至一個i值等於1時，隨i值增加，clockTimestamp的值將不減小。
ct_type表示源材料的掃描類型如下(隔行或逐行)代碼幀的兩場可以具有ct_type的不同值。當對在輸出順序中連續的兩個相反奇偶性的場，ClockTimestamp相等，ct_type等於0(逐行)或ct_type等於2(未知)時，該兩場表示來自相同源逐行幀。當用於任一場的ct_type的值為1(隔行)時，輸出順序中的兩個連續場將具有不同clockTimestamp值。
圖7表示在H.264/AVC中定義的pic_struct的表。圖8表示ct_type的表。
圖7中所示的表pic_struct是在H.264/AVC中定義的表D-1。圖8中所示的表ct_type是在H.264/AVC中定義的ct_type的表。
H.264/AVC將定義為指定有關是否如何顯示圖像的顯示系統的信息。圖像編碼裝置101(圖6)將pic_struct用作顯示系統指定信息。
根據圖7所示的表pic_struct，當將一幀指定為待與圖像一起顯示時，將0設置到圖7中所示的最左欄位Value中的圖像的pic_struct。同樣地，當將前場或後場指定為待與圖像一起顯示時，將1或2設置到圖像的pic_struct。當將前場和後場指定為與圖像一起按順序顯示時，將3設置到該圖像的pic_struct。當將後場和前場指定為與圖像一起按順序顯示時，將4設置到圖像的pic_struct。當指定與圖像一起按順序待顯示的前場、後場和重複前場時，將5設置到圖像的pic_struct。當指定與圖像一起按順序待顯示的後場、前場和重複後場時，將6設置到該圖像的pic_struct。當將一幀指定為重複顯示二次或三次時，將7或8分別設置到該圖像的pic_struct。
因此，在H.264/AVC中，當編碼目標圖像為場圖像時，將該圖像的pic_struct的值限定到1或2。當編碼目標圖像是幀圖像時，將圖像的pic_struct值限定到0和3至8的任何一個。
相反，H.264/AVC將ct_type定義為用來計算clockTimestamp的信息。此外，ct_type是在H.264/AVC中定義的clock_timestamp_flag[i]的一個元素。將0或1設置到clock_timestamp_flag[i]。當clock_timestamp_flag[i]為0時，clock_timestamp_flag[i]不具有任何元素。當clock_timestamp_flag[i]為1時，clock_timestamp_flag[i]具有至少一個元素。
clock_timestamp_flag[i]的變量i是從0至NumClockTS範圍的任一整數值。H.264/AVC定義由如圖7的最右欄位所示的pic_struct的值而定的NumClockTS。
圖6中所示的圖像解碼裝置101將已經設置為1的clock_timestamp_flag
的元素的ct_type用於表示該圖像的掃描系統是隔行掃描還是逐行掃描的掃描標誌，而不是用於計算ClockTimestamp。
圖9表示圖6所示的圖像編碼裝置101的結構的例子。圖像編碼裝置101將pic_struct用於顯示系統指定信息，以及將ct_type用於掃描標誌。
在圖9中，用類似的參考數字表示與圖3中所示的圖像編碼裝置類似的元件以及將省略它們的描述。圖9中所示的圖像編碼裝置101基本上與圖3所示相同，除前者具有pic_struct和隔行/逐行標識部111(在該圖中表示為「標識部」以及在下文中，有時簡稱為標識部111)外。
將2-3節奏的檢測結果和場間確定信息從2-3檢測部2提供給標識部111。標識部111基於從與2-3檢測部同名的2-3檢測部2提供的2-3節奏的檢測結果和場間差值信息，確定從圖像重排緩衝器3輸出到加法器4的編碼目標圖像是隔行掃描圖像還是逐行掃描圖像。標識部111將確定結果設置到為掃描標誌的ct_type，以及將其提供給可逆編碼部7。
標識部111以與例如2-3檢測部2相同的方式，確定編碼目標圖像的掃描系統。因此，由於標識部111的確定結果變為與2-3檢測部2的確定結果相同，標識部111不需要確定編碼目標圖像的掃描系統，而是能使用2-3檢測部2的確定結果。
標識部111將表示編碼目標圖像的顯示系統的值(即在圖7中所示的Value欄位中的值)設置到pic_struct。
如上所述，在H.264/AVC中，當編碼目標圖像是場圖像時，將pic_struct的值限定到1或2。相反，當編碼目標圖像是幀圖像時，將pic_struct的值限制到0和3至8的一個。
標識部111將表示編碼目標圖像的顯示系統的值設置到pic_struct。
特別地，當標識部111已經確定編碼目標圖像是隔行掃描圖像時，標識部111將由編碼目標圖像的顯示系統而定的值設置到pic_struct，其中，當將前場指定為待與編碼目標圖像一起顯示時，該值為1；當將後場指定為待與編碼目標圖像一起顯示時，該值為2；當指定前場和後場與編碼目標圖像一起按順序顯示時，該值為3；以及當指定與編碼目標圖像一起後場和前場按順序顯示時，該值為4。在這種情況下，為隔行掃描圖像的編碼目標圖像為場圖像，將1或2設置到pic_struct。當為隔行掃描圖像的編碼目標圖像為幀圖像時，將3或4設置到pic_struct。
當標識部111確定編碼目標圖像為逐行掃描圖像時，標識部111根據編碼目標圖像的顯示系統，將值設置到pic_struct，其中，當將幀指定為待與編碼目標圖像一起顯示時，該值為0；當指定前場和後場與編碼目標圖像一起按順序顯示時，該值為1；當指定前場和後場與編碼目標圖像一起按順序顯示時，該值為3；當指定前場、後場以及前場與編碼目標圖像一起按順序顯示時，該值為4；當指定前場、後場和前場與編碼目標圖像一起按順序顯示時，該值為5，以及當指定後場、前場和後場與編碼目標圖像一起按順序顯示時，該值為6。
如上所述，標識部11將表示編碼目標圖像的顯示系統的值設置到編碼目標圖像的pic_struct，以及將其提供給可逆編碼部7。
在該例子中，假定通過編碼目標圖像，指定待顯示的2幀或3幀的7或8(圖7)未設置到pic_struct。然而，在H.264/AVC中定義的fixed_frame_flag為1以及編碼目標圖像序列滿足固定幀頻，當將逐行掃描圖像指定為重複顯示時，可以將7或8設置到pic_struct。
接著，參考圖10中的流程圖，描述圖9中所示的圖像編碼裝置的過程。
在步驟S1，圖像編碼裝置101將從圖像重排緩衝器3輸出到加法器4的圖像指定為編碼目標圖像。圖像編碼裝置101以與圖3所示的圖像編碼裝置相同的方式，編碼該編碼目標圖像。
如圖3所示，當2-3檢測部2已經確定從A/D轉換部1提供的兩場圖像的集合和三場圖像的集合是逐行掃描圖像時，2-3檢測部2形成具有兩場圖像集合或三場圖像集合的一幀逐行掃描圖像，以及將逐行掃描圖像提供給圖像重排緩衝器3。相反，當2-3檢測部2已經確定由幀組成的二場為隔行掃描圖像時，2-3檢測部2根據它們的編碼效率，將二場圖像作為場圖像或由兩場組成的一幀圖像提供給圖像重排緩衝器3。因此，從2-3檢測部2提供給圖像重排緩衝器3，然後提供給加法器4的圖像的速率是在從20Hz(當幀逐行掃描圖像由三場圖像的集合組成時)到30Hz的範圍中。
當圖像編碼裝置101正在步驟S1執行編碼處理，標識部111在步驟S11，根據從2-3檢測部2提供的2-3節奏的檢測結果和場間差值信息，確定從圖像重排緩衝器3輸出到加法器4的編碼目標圖像是隔行掃描圖像還是逐行掃描圖像。
當步驟S11的確定結果表示該編碼目標圖像是逐行掃描圖像時，流程前進到步驟S12。在步驟S12，標識部111將表示「逐行掃描」的值(例如0)設置到ct_type，作為編碼目標圖像的掃描標誌，以及將該掃描標誌提供給可逆編碼部7。此後，流程前進到步驟S13。
在步驟S13，標識部111將對應於編碼目標圖像的顯示系統、為0和3至6的一個的值設置到確定為逐行掃描圖像的編碼目標圖像的pic_struct，以及將該掃描標誌提供給可逆編碼部7。此後，流程前進到步驟S14。
在步驟S14，可逆編碼部7將編碼目標圖像的編碼結果與已經從標識部111提供的編碼目標圖像的ct_type和pic_struct複合，以及通過存儲緩衝器8，將編碼數據輸出為複合結果。此後，流程從步驟S14返回到步驟S11。在步驟S11，標識部111對下一編碼目標圖像，執行相同的過程。
在步驟S14，可逆編碼部7將1設置到編碼目標圖像的至少clock_timestamp_flag
，以及將作為clock_timestamp_flag
的元素，已經從標識部111提供的編碼目標圖像的ct_type與編碼目標圖像複合。
可逆編碼部7可以將在H.264/AVC中定義的信息設置到clock_timestamp_flag[k](其中，k是大於1的任何整數值)，而不是clock_timestamp_flag
。相反，可逆編碼部7可以不將任何信息設置到clock_timestamp_flag[k]，作為零。
相反，當步驟S1的確定結果表示編碼目標圖像為隔行掃描圖像時，流程前進到步驟S15。在步驟S15，標識部111將表示「隔行掃描」的值(例如1)設置到編碼目標圖像的ct_type，作為掃描標誌，以及將掃描標誌提供給可逆編碼部7。此後，流程前進到步驟S16。
在步驟S16，標識部111確定編碼目標圖像是場圖像還是幀圖像。
當步驟S16的確定結果表示該編碼目標圖像是場圖像時，該流程前進到步驟S17。在步驟S17，標識部111將對應於編碼目標圖像的顯示系統的1或2的值設置到確定為場隔行掃描圖像的編碼目標圖像的pic_struct。在步驟S17，標識部111將編碼目標圖像的pic_struct提供給可逆編碼部71。此後，流程前進到步驟S14。在步驟S14，可逆編碼部7執行相同的過程。
當步驟S16的確定結果表示該編碼目標圖像是幀圖像時，流程前進到步驟S18。在步驟S18，標識部111將對應於編碼目標圖像的顯示系統的3或4的值設置到確定為幀隔行掃描圖像的編碼目標圖像的pic_struct。在步驟S18，標識部111將編碼目標圖像的pic_struct提供給可逆編碼部7。此後，流程前進到步驟S14。在步驟S14，可逆編碼部7執行相同的過程。
如上所述，圖像編碼裝置101將編碼目標圖像的掃描系統的確定結果設置到ct_type以及將輸出該編碼目標圖像的編碼結果已經與ct_type和pic_struct複合的編碼數據。
接著，圖11表示圖6所示的圖像解碼裝置102的結構的例子。在圖11中，用類似的參考數字表示與圖4中的圖像解碼裝置類似的元件，以及將省略它們的描述。圖11中所示的圖像解碼裝置102具有圖像重排緩衝器121，而不是圖像重排緩衝器28。圖像解碼裝置102具有與圖4所示的圖像解碼裝置相同的結構，除前者具有位於圖像重排緩衝器121和D/A轉換部29間的隔行/逐行(I/P)轉換部122、顯示圖像輸出緩衝器123和圖像幀大小轉換部124外。
圖像重排緩衝器121臨時存儲由加法設備25提供的解碼圖像，按顯示順序重排它們，以及將重排圖像輸出到I/P轉換部122。
如上所述，圖4所示的圖像解碼裝置的圖像重排緩衝器28將已經按顯示順序排列的24Hz影片的圖像轉換成對應於pic_struct的30Hz NTSC系統的圖像。相反，圖像重排緩衝器121將按顯示順序，從加法器25提供的圖像簡單地輸出到I/P轉換部122。圖9中所示的圖像編碼裝置101將已經從圖像重排緩衝器121輸出到I/P轉換部122的圖像的速率從2-3檢測部2提供到圖像重排緩衝器3。圖像速率在從20Hz至30Hz的範圍中，與從圖像重排緩衝器3提供給加法器4的圖像的速率相同。
如上所述，將圖像(解碼圖像)從圖像重排緩衝器122提供給I/P轉換部122。另外，將圖像重排緩衝器121的每一圖像的ct_type和pic_struct從可逆解碼部22提供給I/P轉換部122。
I/P(隔行/逐行)轉換部122將從圖像重排緩衝器121提供的圖像指定為編碼目標圖像，以及根據已經從可逆解碼部22提供的編碼目標圖像的ct_type和pic_struct，將該編碼目標圖像識別為隔行掃描圖像還是逐行掃描圖像。當I/P轉換部122已經識別出編碼目標圖像是隔行掃描圖像時，I/P轉換部122將編碼目標圖像內插場，生成幀圖像，將幀圖像輸出到顯示圖像輸出緩衝器123，以及使其存儲幀圖像。當I/P轉換部122已經確定該編碼目標圖像是逐行掃描圖像時，I/P轉換部12將編碼目標圖像作為幀圖像輸出到顯示圖像輸出緩衝器123。
另外，I/P轉換部122根據編碼目標圖像的pic_struct，控制在顯示圖像輸出緩衝器123中存儲的幀圖像的輸出次數(在顯示圖像輸出緩衝器123中存儲的幀圖像的讀取次數)。
顯示圖像輸出緩衝器123存儲從I/P轉換部122提供的幀圖像。在I/P轉換部122的控制下，從顯示圖像輸出緩衝器123讀取幀圖像一次或多次，並提供給圖像幀大小轉換部124。
圖像幀大小轉換部124根據顯示設備103(圖6)的顯示屏，將從顯示圖像輸出緩衝器123提供的幀圖像的圖像幀大小轉換成圖像幀大小，以及將所獲得的幀圖像提供給D/A轉換部29。
接著，參考圖12所示的流程圖，將描述圖11所示的圖像解碼裝置102的過程。
在步驟S21，圖像解碼裝置102以與圖4所示的圖像解碼裝置相同的方式，解碼提供給它的編碼數據，以及將所解碼的圖像連續地存儲到圖像重排緩衝器121中。圖像重排緩衝器121重排所存儲的圖像以及將重排圖像連續地輸出到I/P轉換部122。
在步驟S21的解碼過程中，可逆解碼部22執行與圖4所示的圖像解碼裝置相同的過程。另外，可逆解碼(VLC DEC)部22將ct_type和pic_struct與每一圖像分離開來，以及將ct_type和pic_struct提供給I/P轉換部122。
可逆解碼部22分析與解碼數據複合的clock_timestamp_flag[i]。在該實施例中，可逆解碼部22分析為1的clock_timestamp_flag
，獲得為其元素的ct_type，以及將ct_type提供給I/P轉換部122。另外，可逆解碼部22可以或可以不分析clock_timestamp_flag[k](其中，k為1或更大的任何整數)，而不是clock_timestamp_flag
。然而，當可逆解碼部22分析clock_timestamp_flag[k]而不是clock_timestamp_flag
並獲得ct_type時，可逆解碼部22忽略它。
當圖像解碼裝置102在步驟S21正執行解碼過程，在步驟S31，圖像解碼裝置102將從圖像重排緩衝器121提供的圖像指定為解碼目標圖像，從已經由可逆解碼部22提供的每一圖像的ct_type和pic_struct，獲得編碼目標圖像的ct_type和pic_struct。此後，流程前進到步驟S32。
在步驟S32，I/P轉換部122確定編碼目標圖像的pic_struct的值。
當步驟S32的確定結果表示編碼目標圖像的pic_struct為0，通過該目標圖像，指定待顯示的幀，通過編碼目標圖像，指定前場、後場和前場按順序顯示，或為6，通過編碼目標圖像，指定後場、前場和後場按順序顯示時，流程前進到步驟S33。在步驟S33，I/P轉換部122意識到編碼目標圖像為逐行掃描圖像。此後，流程前進到步驟S34。
在步驟S34，I/P轉換部122將為逐行掃描圖像的編碼目標圖像指定為幀圖像，將編碼目標圖像提供給顯示圖像輸出緩衝器123，以及使其存儲編碼目標圖像。此後，流程前進到步驟S35。
在步驟S35，I/P轉換部122控制顯示圖像輸出緩衝器123重複地讀取在步驟S34存儲的幀圖像達對應於編碼目標圖像的pic_struct的次數。因此，在I/P轉換部122的控制下，重複讀取在顯示圖像輸出緩衝器123中存儲的幀圖像多次，並從顯示圖像輸出緩衝器123提供(輸出)到圖像幀大小轉換部124。
換句話說，在這種情況下，編碼目標圖像的pic_struct為0，5和6中的一個。當編碼目標圖像的pic_struct為0時，讀取一次在顯示圖像輸出緩衝器123中存儲的幀圖像，並提供給圖像幀大小轉換部124。當編碼目標圖像的pic_struct為5或6時，重複讀取三次在顯示圖像輸出緩衝器123中存儲的幀圖像並提供給圖像幀大小轉換部124。
編碼數據包含已經由圖9所示的圖像編碼裝置101編碼的NTSC系統的圖像的場頻的速率信息。以由速率信息表示的速率，將幀圖像從顯示圖像輸出緩衝器123輸出到圖像幀大小轉換部124。在該例子中，以NTSC系統的場頻，即60Hz，其也是顯示設備103的顯示速率，將幀圖像從顯示圖像輸出緩衝器123輸出到圖像幀大小轉換部124。
在步驟S35後，流程前進到步驟S36。在步驟S36，圖像幀大小轉換部124轉換由顯示圖像輸出緩衝器123提供的幀圖像的幀大小，以及通過D/A轉換部29，將所轉換的幀圖像提供給顯示設備103(圖6)，以及使其顯示所轉換的幀圖像。此後，流程從步驟S36返回到步驟S31。在步驟S31，I/P轉換部122將從圖像重排緩衝器121提供的圖像指定為下一編碼目標圖像，以及對下一編碼目標圖像執行相同的過程。
當步驟S32的確定結果表示編碼目標圖像的pic_struct為1或2時，通過該編碼目標圖像，指定前場或後場待顯示，流程前進到步驟S37。在步驟S37，I/P轉換部122將編碼目標圖像認可為隔行掃描圖像。此後，流程前進到步驟S38。
在步驟S38，I/P轉換部122使為隔行掃描圖像的編碼目標圖像內插場，生成幀圖像，將其提供給顯示圖像輸出緩衝器123，以及使其存儲幀圖像。此後，流程前進到步驟S39。
換句話說，在這種情況下，編碼目標圖像的pic_struct為1或2。由此，為隔行掃描圖像的編碼目標圖像為幀圖像。I/P轉換部1222使為幀圖像的編碼目標圖像內插場，生成幀圖像(即執行所謂的隔行-逐行轉換)，將逐行掃描圖像提供給顯示圖像輸出緩衝器123，以及使其存儲逐行掃描圖像。應注意到場內插方法是不受限制的。
在步驟S39，I/P轉換部122控制顯示圖像輸出緩衝器123一次讀取在步驟S38存儲的幀圖像。由此，在I/P轉換部122的控制下，一次讀取在顯示圖像輸出緩衝器123中存儲的幀圖像，並將其從顯示圖像輸出緩衝器123提供(輸出)到圖像幀大小轉換部124。
在步驟S39後，流程前進到步驟S36。在步驟S36，圖像幀大小轉換部124轉換從顯示圖像輸出緩衝器123提供的幀圖像的幀大小，通過D/A轉換部29，將所轉換的幀圖像提供給顯示設備103(圖6)，以及使顯示設備103顯示所轉換的幀圖像。此後，流程從步驟S36返回到步驟S31。I/P轉換部122將從圖像重排緩衝器121提供的圖像指定為編碼目標圖像，以及對下一編碼目標圖像執行相同的過程。
當步驟S32的確定結果表示編碼目標圖像的pic_struct為3，通過編碼目標圖像，指定前場和後場按順序顯示，或為4，通過編碼目標圖像，指定後場和前場按順序顯示時，流程前進到步驟S40。在步驟S40，I/P轉換部122根據編碼目標圖像的ct_type(掃描標誌)，確定編碼目標圖像為逐行掃描圖像還是隔行掃描圖像。
當步驟S40的確定結果表示編碼目標圖像為逐行掃描圖像時，即編碼目標圖像的ct_type表示「逐行掃描」，流程前進到步驟S33。在步驟S33，如上所述，I/P轉換部122將編碼目標圖像識別為逐行掃描圖像。此後，流程前進到步驟S34。
在步驟S34，I/P轉換部122將為逐行掃描圖像的編碼目標圖像指定為幀圖像，將編碼目標圖像提供給顯示圖像輸出緩衝器123，以及使它顯示該編碼目標圖像。
在步驟S35，I/P轉換部122控制顯示圖像輸出緩衝器123重複地讀取在步驟S34存儲的幀圖像達對應於編碼目標圖像的pic_struct的次數。因此，在I/P轉換部122的控制下，重複地讀取在顯示圖像輸出緩衝器123中存儲的幀圖像多次，以及將其從顯示圖像輸出緩衝器123提供(輸出)到圖像幀大小轉換部124。
換句話說，在這種情況下，編碼目標圖像的pic_struct為3或4。與pic_struct為3或4無關，僅重複地讀取在顯示圖像輸出緩衝器123中存儲的幀圖像二次，並將其提供給圖像幀大小轉換部124。
在步驟S35後，流程前進到步驟S36。在步驟S36，圖像幀大小轉換部124轉換從顯示圖像輸出緩衝器123提供的幀圖像的圖像幀大小，通過D/A轉換部29，將所轉換的幀圖像提供給顯示設備103(圖6)，以及使它顯示幀圖像。此後，流程從步驟S36返回到步驟S31。在步驟S31，I/P轉換部122執行相同的過程。
相反，當步驟S40的確定結果表示該編碼目標圖像為隔行掃描圖像時，即，編碼目標圖像的ct_type表示「隔行掃描」時，流程前進到步驟S37。在步驟S37，I/P轉換部122將該編碼目標圖像識別為隔行掃描圖像。此後，流程前進到步驟S38。
在步驟S38，I/P轉換部122使為隔行掃描圖像的編碼目標圖像內插場，生成幀圖像，以及將其提供給顯示圖像輸出緩衝器123，以及使其存儲幀圖像。此後，流程前進到步驟S39。
換句話說，在這種情況下，由於編碼目標圖像的pic_struct為3或4，為隔行掃描圖像的編碼目標圖像為幀圖像。通過該隔行掃描圖像，按順序顯示前場和後場。相反，通過該隔行掃描圖像，按順序顯示後場和前場。另一方面，在該實施例中，顯示設備103(圖6)顯示逐行掃描圖像。
因此，IP轉換部122使為幀圖像的編碼目標圖像的前場和後場內插場，以及生成幀圖像。當編碼目標圖像的pic_struct為3時，I/P轉換部122通過前場生成的幀圖像和通過後場生成的幀圖像接連地提供給顯示圖像輸出緩衝器123，以及使其存儲它們。當編碼目標圖像的pic_struct為4時，I/P轉換部122將通過後場生成的幀圖像和通過前場生成的幀圖像接連地提供給顯示圖像輸出緩衝器123，以及使它存儲它們。
在步驟S39，I/P轉換部122控制顯示圖像輸出緩衝器123每次讀取已經在步驟S38存儲的二幀圖像一個。因此，在I/P轉換部122的控制下，按存儲它們的順序，一次讀取在顯示圖像輸出緩衝器123中存儲的二幀圖像一個，以及從顯示圖像輸出緩衝器123提供(輸出)到圖像幀大小轉換部124。
在步驟S39後，流程前進到步驟S36。在步驟S36，圖像幀大小轉換部124轉換從顯示圖像輸出緩衝器123提供的幀圖像的圖像幀大小，通過D/A轉換部29，將所轉換的幀圖像提供給顯示設備103(圖6)，以及使顯示設備103顯示所轉換的幀圖像。此後，流程從步驟S36返回到步驟S31。在步驟S31，I/P轉換部122將從圖像重排緩衝器121提供的圖像指定為下一編碼目標圖像，以及對下一編碼目標圖像執行相同的過程。
如上所述，在圖像解碼裝置102中，I/P轉換部122根據編碼目標圖像的ct_type和pic_struct，將編碼目標圖像識別為隔行掃描圖像還是逐行掃描圖像。當識別結果表示編碼目標圖像為隔行掃描圖像時，I/P轉換部122使編碼目標圖像內插場，生成幀圖像，將其輸出到顯示圖像輸出緩衝器123，以及使它存儲幀圖像。相反，當所識別的結果表示該編碼目標圖像為逐行掃描圖像時，I/P轉換部122將編碼目標圖像指定為幀圖像，將幀圖像輸出到顯示圖像輸出緩衝器123，以及使它存儲幀圖像。另外，圖像解碼裝置102重複輸出在顯示圖像輸出緩衝器123中存儲的幀圖像達對應於pic_struct的次數。
因此，當逐行掃描圖像的pic_struct為3或4時，將逐行掃描圖像劃分成前場和後場，以及輸出為隔行掃描場。因此，防止損失用於一場的垂直分辯率。
H.264/AVC(圖7)對隔行掃描顯示設備的場的時間相位場，定義pic_struct的(值0至8中的)值3和4。然而，H.264/AVC不定義逐行掃描圖像的pic_struct的這些值。
相反，當為隔行掃描圖像的編碼目標圖像的pic_struct為3或4時，圖像解碼裝置102通過幀圖像的前場和後場，生成幀圖像，以及一次將二幀圖像的一個提供給顯示設備103。當為逐行掃描幀圖像的編碼目標圖像的pic_struct為3或4時，重複二次將幀圖像提供給顯示設備103。因此，為逐行掃描顯示設備的顯示設備103能顯示從圖像解碼裝置102提供的這些幀圖像。
在圖11所示的圖像解碼裝置中，可以由I/P轉換部122執行由圖像幀大小轉換部124執行的圖像幀大小轉換過程。在這種情況下，能組成圖像解碼裝置102，而不是圖像幀大小轉換部124。因此，能簡化圖像解碼裝置102的過程。
接著，參考圖13，將進一步描述圖9所示的圖像編碼裝置101和圖11所示的圖像編碼裝置102的過程。
假定通過2-3摺疊，轉換以影片的24Hz的幀頻的圖像後，獲得、編輯以NTSC系統的30的幀頻(以60Hz的場頻)的圖像，如圖13的第一行中所示，以及作為編碼目標圖像提供給圖像編碼裝置101。
圖13的第一行中所示的NTSC系統的場圖像的第m個最左場圖像稱為第m場。
在圖13的第一行所示的NTSC系統的場圖像中，在第二場和第三場間執行剪輯操作。另外，在第四場和第五場間，執行另一剪輯操作。
假定圖9所示的圖像編碼裝置101的2-3檢測部2(以及標識部111)已經確定第一場和第二場為一幀逐行掃描圖像，第三場和第四場為隔行掃描圖像，以及第五場和第七場為一幀逐行掃描圖像。
圖像編碼裝置101將逐行掃描圖像編碼為幀圖像，以及將隔行掃描圖像編碼為具有比其他更高編碼效率的幀圖像或場圖像。
因此，如圖13的第二行中所示，為逐行掃描圖像的第一場和第二場編碼為一幀圖像。類似地，如圖13的第二行中所示，為逐行掃描圖像的第五至第七場編碼為幀圖像。
圖像編碼裝置101的標識部111將「逐行掃描」設置到第一和第二場的一幀圖像和第五至第七場的一幀圖像的每一個的掃描標誌的ct_type。
另外，標識部111需要顯示為一幀圖像的第一和第二場。因此，將能設置成幀圖像的pic_struct的0和3至6中的3或4(圖7)設置到第一和第二場的一幀圖像的pic_struct。
另外，標識部111需要顯示均為一幀圖像的第五至第七場的三場。因此，能將設置到幀圖像的pic_struct的0和3至6的一個的5或6(圖7)設置到第五至第七場的一幀圖像的pic_struct。
相反，將為隔行掃描圖像的第三和第四場編碼為具有比其他更高編碼效率的幀圖像或場圖像。假定場圖像的編碼效率高於幀圖像，如圖13的第二行中所示，將第三和第四場編碼為場圖像。
圖像編碼裝置101的標識部111將「隔行掃描」設置到第三場和第四場的圖像的每一個、為掃描標誌的ct_type。
另外，標識部111需要顯示為場圖像的第三場。因此，能將設置到場圖像的pic_struct的1或2(圖7)設置到第三場的場圖像。同樣地，標識部111需要顯示為場圖像的第四場。因此，能將設置到用於場圖像的pic_struct的1或2(圖7)設置到第四場的場圖像的pic_struct在這種情況下，如圖13的第三行所示，圖11中所示的圖像解碼裝置102解碼圖像。
換句話說，儘管已經將3或4設置到第一和第二場的一幀圖像的pic_struct，由於已經將「逐行掃描」設置到ct_type，如圖12的流程圖所述，圖像解碼裝置102根據已經設置成3或4的幀圖像的pic_struct，重複地輸出第一和第二場的逐行掃描幀圖像僅二次，以及使顯示設備103(圖6)顯示幀圖像。
另一方面，由於已經將1或2設置到第三場的場圖像的pic_struct，如圖12的流程圖中所述，圖像解碼裝置102使第三場的場圖像內插場，以及生成幀圖像。圖像解碼裝置102僅將顯示設備103輸出幀圖像一次，使其顯示幀圖像。
與第三場的場圖像相同，由於已經將1或2設置到第四場的場圖像的pic_struct，圖像解碼裝置102通過場內插第四場的場圖像，獲得幀圖像，以及僅將輸出到顯示設備103一次，以及使其顯示幀圖像。
由於5或6已經設置成第五至第七場的一幀圖像的pic_struct，如圖12的流程圖中所述，圖像解碼裝置102根據已經設置5或6的幀圖像的pic_struct，向顯示設備103(圖6)重複地輸出第五至第七場的一個逐行掃描幀圖像三次，並使其顯示它們。
當將隔行掃描圖像的第三和第四場編碼為幀圖像時，如果它們的編碼效率高於場圖像，圖像編碼裝置101將第三和第四場編碼為幀圖像。
在這種情況下，圖像編碼裝置101的標識部111將「隔行掃描」設置到第三和第四場的幀圖像的每一個的為掃描標誌的ct_type。
另外，標識部111需要顯示為幀圖像的第三和第四場的二場。因此，將能設置到幀圖像的pic_struct的0和3至6(圖7)中的3或4設置到第三和第四場的幀圖像的每一個的pic_struct(圖13的第二行中所示)。
在這種情況下，圖11所示的圖像編碼裝置102以下述方式解碼第三和第四欄位的幀圖像。儘管已經將3或4設置到第三和第四場的幀圖像的每一個的pic_struct，由於已經將「隔行掃描」設置到ct_type，圖像解碼裝置102使第三和第四場的幀圖像的每一個的前場和後場內插場，生成兩個幀圖像，一次僅將它們中的一個輸出到顯示設備103，以及使其顯示它們。
因此，顯示設備103以60Hz的幀頻顯示逐行掃描圖像。
如圖5所述，2-3檢測部(由此標識部111)可以雙重地確定該圖像為隔行掃描圖像和逐行掃描圖像。在這種情況下，圖像編碼裝置101對該圖像是隔行掃描圖像和逐行掃描圖像的確定結果的一個列入優先。
圖14是描述當已經雙重確定圖像為隔行掃描圖像和逐行掃描圖像時，將隔行掃描圖像的確定結果列入優先的圖像編碼裝置101和圖像解碼裝置102的過程的示意圖。
例如，假定在由2-3摺疊轉換以影片的24Hz的幀頻的圖像後，如圖14的第一行所示，獲得、編輯以NTSC系統的30Hz的幀頻(60Hz的場頻)的圖像，然後作為編碼目標圖像提供給圖像編碼裝置101。
與圖13所示的情形相同，圖14的第一行中所示的NTSC系統的場圖像的第m最左圖像稱為第m場。
假定圖像編碼裝置101的2-3檢測部(以及標識部111)已經確定第一場和第二場為一幀逐行掃描圖像，第三和第四場為隔行掃描圖像，以及第四至第六場為一幀逐行掃描圖像。
在這種情況下，已經將第四場雙重地確定地隔行掃描圖像和逐行掃描圖像。在圖14所示的實施例中，如果已經雙重地確定圖像，使隔行掃描圖像的確定結果優先於逐行掃描圖像。因此，確定第一和第二場為一幀逐行掃描圖像，第三和第四場為隔行掃描圖像，以及第五和第六場為一幀逐行掃描圖像。
圖像編碼裝置101將為逐行掃描圖像的第一和第二場編碼為一幀圖像，如圖14的第二行中所示。同樣地，圖像編碼裝置101將為逐行掃描圖像的第五和第六場編碼為圖14的第二行中所示的一幀圖像。
圖像編碼裝置101的標識部111將「逐行掃描」設置到第一和第二場的一幀圖像和第五和第六場的一幀圖像的每一個的ct_type，其為掃描欄位。
另外，標識部111需要顯示為一幀圖像的第一和第二場的二場。因此，將能設置成幀圖像的pic_struct的0和3至6中的3或4(圖7)設置到第一和第二場的一幀圖像的pic_struct。
另外，標識部111需要顯示均為一幀圖像的第五和第六場的二場。因此，能將設置到幀圖像的pic_struct的0和3至6的一個的3或4(圖7)設置到第五和第六場的一幀圖像的pic_struct。
相反，將為隔行掃描圖像的第三和第四場編碼為具有比其他更高編碼效率的幀圖像或場圖像。假定場圖像的編碼效率高於幀圖像，如圖14的第二行中所示，將第三和第四場編碼為場圖像。
圖像編碼裝置101的標識部111將「隔行掃描」設置到第三場和第四場的圖像的每一個、為掃描標誌的ct_type。
另外，標識部111需要顯示為場圖像的第三場。因此，能將設置到場圖像的pic_struct的1或2(圖7)設置到第三場的場圖像。同樣地，標識部111需要顯示為場圖像的第四場。因此，能將設置到用於場圖像的pic_struct的1或2(圖7)設置到第四場的場圖像的pic_struct在這種情況下，如圖14的第三行所示，圖11中所示的圖像解碼裝置102解碼圖像。
換句話說，儘管已經將3或4設置到第一和第二場的一幀圖像的pic_struct，由於已經將「逐行掃描」設置到ct_type，如圖12的流程圖所述，圖像解碼裝置102根據已經設置成3或4的幀圖像的pic_struct，重複地輸出第一和第二場的逐行掃描幀圖像僅二次，以及使顯示設備103(圖6)顯示幀圖像。
另一方面，由於已經將1或2設置到第三場的場圖像的pic_struct，如圖12的流程圖中所述，圖像解碼裝置102使第三場的場圖像內插場，以及生成幀圖像。圖像解碼裝置102僅將顯示設備103輸出幀圖像一次，使其顯示幀圖像。
同樣地，由於已經將1或2設置到第四場的場圖像的pic_struct，圖像解碼裝置102使第四場的場圖像內插場，獲得幀圖像，僅一次將其輸入到顯示設備103，以及使它顯示幀圖像。
由於已經將3或4設置到第五和第六場的一幀圖像的pic_struct，與第一和第二場的一幀圖像相同，圖像解碼裝置102根據已經設置為3或4的幀圖像的pic_struct，向顯示設備103(圖6)重複地輸出第五和第六場的一個逐行掃描幀圖像僅二次，以及使其顯示幀圖像。
由此，顯示設備103以60Hz的幀頻，顯示逐行掃描圖像。
當將隔行掃描圖像的第三和第四場編碼為幀圖像時，如果它們的編碼效率高於場圖像，圖像編碼裝置101將第三和第四場編碼為幀圖像。
在這種情況下，圖像編碼裝置101的標識部111將「隔行掃描」設置到第三和第四場的幀圖像的每一個的為掃描標誌的ct_type。
另外，標識部111需要顯示為幀圖像的第三和第四場的二場。因此，將能設置到幀圖像的pic_struct的0和3至6(圖7)中的3或4設置到第三和第四場的幀圖像的每一個的pic_struct(圖14的第二行中所示)。
在這種情況下，儘管已經將3或4設置到第三和第四場的幀圖像的每一個的pic_struct，由於已經將「隔行掃描」設置到ct_type，如圖12的流程圖所述，圖像解碼裝置102通過場內插第三和第四場的幀圖像的每一個的前場和後場，生成兩個幀圖像，每次僅將它們的一個輸出到顯示設備103，以及使其顯示它們。
圖15是描述當已經雙重確定圖像為隔行掃描圖像和逐行掃描圖像時，將隔行掃描圖像的確定結果列入優先的圖像編碼裝置101和圖像解碼裝置102的過程的示意圖。
例如，假定在由2-3摺疊轉換以影片的24Hz的幀頻的圖像後，如圖15的第一行所示，獲得、編輯以NTSC系統的30Hz的幀頻(60Hz的場頻)的圖像，然後作為編碼目標圖像提供給圖像編碼裝置101。
與圖13和圖14所示的情形相同，圖15的第一行中所示的NTSC系統的場圖像的第m最左圖像稱為第m場。
圖15的第一行中所示的NTSC系統的場圖像與圖14的第一行中所示相同。因此，假定圖像編碼裝置101的2-3檢測部(以及標識部111)已經確定第一場和第二場為一幀逐行掃描圖像，第三和第四場為逐行(隔行？)掃描圖像，以及第四至第六場為一幀逐行掃描圖像。換句話說，已經將第四場雙重地確定地隔行掃描圖像和逐行掃描圖像。
在圖15所示的實施例中，如果已經雙重地確定圖像，使逐行掃描圖像的確定結果優先於隔行掃描圖像。因此，確定第一和第二場為一幀逐行掃描圖像，第三為隔行掃描圖像，以及第四至第六場為一幀逐行掃描圖像。
圖像編碼裝置101將為逐行掃描圖像的第一和第二場編碼為一幀圖像，如圖15的第二行中所示。同樣地，圖像編碼裝置101將為逐行掃描圖像的第四至第六場編碼為圖15的第二行中所示的一幀圖像。
圖像編碼裝置101的標識部111將「逐行掃描」設置到第一和第二場的一幀圖像和第四至第六場的一幀圖像的每一個的ct_type，其為掃描欄位。
另外，標識部111需要顯示為一幀圖像的第一和第二場的二場。因此，將能設置成幀圖像的pic_struct的0和3至6中的3或4(圖7)設置到第一和第二場的一幀圖像的pic_struct。
另外，標識部111需要顯示均為一幀圖像的第四至第六場的三場。因此，能將設置到幀圖像的pic_struct的0和3至6的一個的5或6(圖7)設置到第四至第六場的一幀圖像的pic_struct。
另一方面，由於不存在與為隔行掃描圖像的第三場一起，組成幀圖像的場，將第三場編碼為場圖像，如圖15的第二行中所示。
圖像編碼裝置101的標識部111將「隔行掃描」設置到第三場的場圖像的、為掃描標誌的ct_type。
另外，標識部111需要顯示為場圖像的第三場。因此，能將設置到場圖像的pic_struct的1或2(圖7)設置到第三場的場圖像。
在這種情況下，如圖15的第三行所示，圖像解碼裝置102解碼圖像。
換句話說，與圖14所示的情形相同，圖像解碼裝置102重複地輸出第一和第二場的逐行掃描幀圖像僅二次，以及使顯示設備103(圖6)顯示幀圖像。
另一方面，由於已經將1或2設置到第三場的場圖像的pic_struct，如圖12的流程圖中所述，圖像解碼裝置102使第三場的場圖像內插場，以及生成幀圖像。圖像解碼裝置102僅將顯示設備103輸出幀圖像一次，使其顯示幀圖像。
由於已經將5或6設置到第四至第六場的一幀圖像的pic_struct，圖像解碼裝置102根據已經設置為5或6的幀圖像的pic_struct，向顯示設備103(圖6)重複地輸出第四至第六場的一個逐行掃描幀圖像僅三次，以及使其顯示幀圖像。
在上述實施例中，使用已經設置為1的clock_timestamp_flag
的ct_type。相反，作為掃描標誌，可以使用例如在H.264/AVC中定義的「用戶數據SEI」中的用戶定義信息。
換句話說，H.264/AVC具有用戶能自由地定義語法的、稱為「用戶數據SEI」的語法。「用戶數據SEI」定義為兩種語法，「由ITU-T推薦T.35 SEI註冊的用戶數據」以及「用戶數據未註冊SEI」。圖16表示「按ITU-T推薦T.35 SEI註冊的用戶數據」的語法。
H.264/AVC定義「按ITU-T推薦T.35 SEI註冊的用戶數據」如下。
按ITU-T推薦T.35 SEI消息語義註冊的用戶數據該消息包含如根據由ITU-T推薦T.35指定註冊的用戶數據、未由該推薦指定的內容、國際標準。
itu_t_t35_country_code將是具有如由ITU-T推薦T.35附錄A的國家代碼指定的值的字節。
itu_t_t35_country_code_extension_byte將是具有如由ITU-T推薦T.35附錄B的國家代碼指定的值的字節。
itu_t_t35_payload_byte將是包含如由ITU-T推薦T.35指定註冊的數據的字節。
ITU-T T.35終端提供商代碼和終端提供商定向代碼將包含在itu_t_t35_payload_byte的第一或多個字節中，以由發布終端供應商代碼的管理局指定的格式。任何剩餘itu_t_t35_payload_byte將是具有如由ITU-TT.35國家代碼和終端供應商代碼標識的實體指定的語法和語義的數據。
另一方面，H.264/AVC定義「用戶數據未註冊SEI」如下用戶數據未註冊SEI消息語義該消息包含由UUID識別的未註冊用戶數據，其內容不由該推薦、國際標準指定。
UUID_iso_iec_11578將具有根據ISO/IEC 115781996附錄A的過程，指定為UUID的值。
user_data_payload_byte將是包含具有如由UUID生成器指定的語法和語義的數據的字節。
在如在圖16中所示的「按ITU-T推薦T.35 SEI註冊的用戶數據」中，由於用戶定義信息能描述為每一圖像中的itu_t_t35_payload_byte的元素，能將掃描標誌描述為用戶定義信息。當在itu_t_t35_payload_byte中描述掃描標誌時，終端(供應商)需要根據ITU-T T.35註冊。
在圖17所示的「用戶數據未註冊SEI」中，能將用戶定義信息描述為每一圖像中的user_data_payload_byte的元素。因此，能將掃描標誌描述為用戶定義信息。當在user_data_payload_byte中描述掃描標誌時，有必要指定UUID來識別「用戶數據SEI」。
圖18表示在itu_t_t35_payload_byte或user_data_payload中描述為掃描標誌的元素的語法的例子。
圖18表示為用戶定義元素itu_t_t35_payload_byte或user_data_payload的scan_information的語法。scan_information由作為掃描標誌的一位的prog_inter_flag，以及作為預留語句的15位的reserved_for_future_use組成。為掃描標誌的prog_inter_flag例如為0，表示「逐行掃描」，或為1，表示例如「隔行掃描」。prog_inter_flag的值由標識部111設置。
應注意到用作掃描標誌的語法不限於上述ct_type，「按ITU-T推薦T.35SEI註冊的用戶數據」和「未註冊的用戶數據」。另外，圖像編碼裝置101能與編碼數據一起，將掃描標誌記錄到記錄介質104上，或通過傳輸介質105，與編碼數據一起傳送掃描標誌。
在圖6所示的圖像處理系統中，圖像編碼裝置101編碼以NTSC系統的30Hz的幀頻(60Hz的場頻)的圖像，其中，已經通過2-3摺疊轉換以影片的24Hz的幀頻的圖像。圖像解碼裝置102解碼所編碼的圖像以及獲得以60Hz的場頻的逐行掃描圖像。此後，顯示設備103顯示以60Hz的場頻的逐行掃描圖像。
圖像編碼裝置101編碼30Hz NTSC系統的圖像，其中，已經通過2-3摺疊轉換以影片的24Hz幀頻的的圖像。這是因為已經傳播30Hz NTSC系統的圖像，其中，已經通過2-3摺疊轉換24Hz影片的圖像。然而，未來，期望將直接分發24Hz影片的圖像，而不通過2-3摺疊轉換。
在這種情況下，將24Hz影片的圖像輸入到圖像編碼裝置101。圖像解碼裝置102編碼這些圖像。圖像解碼裝置102解碼由圖像編碼裝置101提供的編碼數據，以及獲得24Hz影片的圖像。
另一方面，由於顯示設備103顯示以60Hz的場頻的逐行掃描圖像，其不能顯示由圖像解碼裝置102解碼的24Hz影片的圖像。
另外，在60p顯示設備103顯示24Hz影片的逐行掃描圖像的情況下，H.264/AVC不提供用於定義圖像的顯示間隔的手段。
圖19表示將24Hz逐行掃描圖像編碼為編碼目標圖像、解碼編碼圖像以及通過60Hz逐行掃描顯示設備顯示它們的圖像處理系統的結構的例子。
在圖19中，由類似參考數字表示與圖6類似的元件以及將省略它們的描述。
例如，24Hz逐行掃描圖像提供給圖像編碼裝置201。圖像編碼裝置201基於例如H.264/AVC標準，編碼24Hz逐行掃描圖像，以及輸出編碼數據。
從圖像編碼裝置201輸出的編碼數據提供給例如記錄介質104並記錄在其上。相反，可以通過傳輸介質105傳送編碼數據。
圖像解碼裝置202再現來自記錄介質104的編碼數據，或通過傳輸介質105接收編碼數據，基於例如H.264/AVC標準，解碼編碼數據，以及獲得24Hz逐行掃描圖像。圖像解碼裝置202控制用於顯示設備103的24Hz逐行掃描圖像的輸出次數，以便將60Hz逐行掃描圖像提供給顯示設備103。
因此，60Hz逐行掃描顯示設備103顯示由圖像解碼裝置202提供的60Hz逐行掃描圖像。
圖20表示圖19所示的圖像編碼裝置201的結構的例子。在圖20中，由類似參考數字表示與圖3或圖9類似的元件，以及將省略它們的描述。
圖像編碼裝置201基本上與圖3所示的圖像編碼裝置相同，除前者不具有2-3檢測部2外。將24Hz逐行掃描圖像提供給圖像編碼裝置201。圖像編碼裝置201以與圖3所示相同的方式編碼24Hz逐行掃描圖像。
圖21表示圖19中所示的圖像解碼裝置的結構的例子。在圖21中，由類似的參考數字表示與圖4或圖11類似的元件，以及將省略它們的描述。
圖像解碼裝置202具有圖11所示的圖像重排緩衝器121，代替圖像重排緩衝器28。編碼解碼裝置202基本上與圖4所示的圖像解碼裝置相同，除前者還具有顯示圖像輸出緩衝器211和輸出控制部212外。
顯示圖像輸出緩衝器211臨時存儲由圖像重排緩衝器121提供的圖像。圖19所示的圖像編碼裝置201將24Hz逐行掃描圖像編碼為編碼目標圖像。因此，在圖21所示的圖像解碼裝置202中，圖像編碼裝置201已經編碼為編碼目標圖像的24Hz逐行掃描圖像從加法器25提供給圖像重排緩衝器121並存儲在其上。顯示圖像輸出緩衝器211臨時存儲24Hz逐行掃描圖像。
在輸出控制部212的控制下，多次讀取在顯示圖像輸出緩衝器211中存儲的圖像，並通過D/A轉換部29，提供給顯示設備103(圖19)。
換句話說，輸出控制部212基於由加法器25提供給圖像重排緩衝器121的解碼圖像的幀頻，即作為編碼目標圖像的圖像的幀頻，以及逐行掃描顯示設備103的顯示速率，控制在顯示圖像輸出緩衝器211中存儲的圖像的輸出次數(從顯示圖像輸出緩衝器211讀取圖像的次數)。
因此，顯示圖像輸出緩衝器211以對應於顯示設備103的顯示速率的幀頻，輸出逐行掃描圖像。將逐行掃描圖像通過D/A轉換部29，提供給顯示設備103。
通過例如圖像編碼裝置201，將編碼目標圖像的幀頻信息與編碼數據複合。圖像解碼裝置202的輸出控制部212識別編碼目標圖像的幀頻。將編碼目標圖像的幀頻信息從顯示設備103提供給輸出控制部212。
接著，參考圖22，描述控制顯示圖像輸出緩衝器211的輸出控制部212。
如上所述，輸出控制部212基於編碼目標圖像的幀頻和顯示設備103的顯示速率，控制在顯示圖像輸出緩衝器211中存儲的圖像的輸出次數。
換句話說，編碼目標圖像的幀頻為24Hz。顯示設備103的顯示速率為60Hz。在這種情況下，如圖22所示，輸出控制部212控制顯示圖像輸出緩衝器211重複和交替地輸出24Hz幀的一個二次以及下一個三次。因此，從顯示圖像輸出緩衝器211讀取的逐行掃描圖像的幀頻變為60Hz。
編碼目標圖像的幀頻可以不是24Hz。同樣地，顯示設備103的顯示速率可以不是60Hz。
例如，當編碼目標圖像的幀頻為24Hz以及顯示設備103的顯示速率為30Hz時，輸出控制部212基於編碼目標圖像的幀頻和顯示設備103的顯示速率，控制在顯示圖像輸出緩衝器211中存儲的圖像的輸出次數，如圖23所示。
換句話說，輸出控制部212控制顯示圖像輸出緩衝器211以便重複和交替地輸出24Hz圖像的每四個連續圖像的第一至第三圖像僅一次以及其第四個圖像二次。因此，從顯示圖像輸出緩衝器211讀取的圖像的幀頻變為30Hz。
在圖23中，輸出每四個連續圖像的第一至第三圖像一次，而輸出第四圖像二次。然而，圖像的輸出模式不限於此。要點在於輸出每四個連續圖像的任何三個圖像一次以及重複輸出其另一圖像二次。
當編碼目標圖像的幀頻為24Hz以及逐行掃描顯示設備103的顯示速率為30Hz的整數倍，30×A[Hz](其中，A為1或更大的任何整數)，輸出控制部212能控制顯示圖像輸出緩衝器211以便重複地輸出在顯示圖像輸出緩衝器211中存儲的24Hz圖像的每四個連續圖像的任何三個圖像A次，以及重複地輸出另一圖像2×A次。因此，從顯示圖像輸出緩衝器211讀取的逐行掃描圖像的幀頻為30×A[Hz]。
通過硬體或軟體執行上述過程。當由軟體執行過程時，將組成軟體的程序安裝到通用計算機等等上。
圖24表示根據本發明的實施例的計算機的結構的例子，已經將用於上述處理的程序安裝到該計算機。
程序能預記錄到硬體305或作為計算機的內置記錄介質的ROM303上。
相反，可以將程序臨時或永久存儲(記錄)到可移動記錄介質311，諸如軟盤、緊密盤只讀存儲器(CD-ROM)、磁光(MO)盤、數字通用盤(DVD)、磁碟、半導體存儲器。可移動記錄介質311能提供為所謂軟體包。
儘管已經將程序從可移動記錄介質311安裝到計算機上，可以通過數字廣播衛星，將程序無線地從下載站點傳送到計算機。相反，可以通過網絡，諸如區域網(LAN)或網際網路，將程序非無線地傳送到計算機。在計算機中，已經傳送的程序可以由通信部308接收並安裝到內置硬碟305上。
計算機具有內置中央處理單元(CPU)302。輸入/輸出接口310通過總線301與CPU302相連。當根據由鍵盤、滑鼠、麥克風等等組成的輸入部307的用戶操作，通過輸入/輸出接口310，將命令輸入到CPU302時，執行記錄在只讀存儲器(ROM)303中的程序。相反，CPU302可以將在硬碟305中存儲的程序或從衛星或網絡傳送的、由通信部308接收，並安裝到硬碟305的程序下載到隨機存取存儲器(RAM)304並執行其上的程序。因此，CPU302執行根據上述流程圖的處理，或根據上述框圖的處理。當需要時，CPU302使處理結果通過輸入/輸出接口310、通信部308，從由液晶顯示器(LCD)、揚聲器等等組成的輸出部306輸出以便傳送處理結果，或硬碟305以便記錄處理結果。
在本說明書中，描述使計算機執行各種處理的程序的過程步驟不總是需要按流程圖的時間順序執行。相反，可以並行或離散地執行過程步驟(例如並行過程或對象過程)。
另外，可以由一個計算機處理程序。相反，可以由多個計算機分布式地處理程序。相反，可以將程序傳送到遠程計算機並執行。
另外，根據實施例，作為編碼目標圖像，使用以NTSC系統的30Hz的幀頻(60Hz的場頻)的圖像和以24Hz幀頻的逐行掃描圖像。相反，可以使用具有另一幀頻(場頻)的編碼目標圖像。
根據實施例，顯示設備103是以30Hz或60Hz的顯示速率的逐行掃描顯示。相反，顯示設備103可以具有另一顯示速率。
另外，根據上述實施例，基於H.264/AVC，編碼和解碼圖像。相反，可以將本發明應用於基於例如MPEG和H.26x編碼和解碼圖像的裝置，其使用正交變換，諸如離散餘弦變換或Karhunen-Loeve變換以及運動補償。
在圖12中，在確定pic_struct後，確定為掃描標誌的ct_type。相反，可以確定ct_type後，確定pic_struct。
權利要求
1.一種編碼圖像的編碼設備，包括用於編碼該圖像的編碼裝置；用於確定該圖像是隔行掃描圖像還是逐行掃描圖像的圖像確定裝置；標誌設置裝置，用於將該圖像確定裝置的確定結果設置到表示圖像的掃描系統的掃描標誌；信息設置裝置，用於將表示圖像的顯示系統的信息設置到指定圖像的顯示系統的顯示系統指定信息；以及複合裝置，用於將圖像的編碼結果與掃描標誌以及顯示系統指定信息複合，以及輸出該複合結果。
2.如權利要求1所述的編碼設備，其中，該編碼裝置基於MPEG4 AVC/H.264標準，編碼已經通過2-3摺疊轉換的圖像。
3.如權利要求1所述的編碼設備，其中，該顯示系統指定信息是在H.264/AVC標準中定義的pic_struct。
4.如權利要求1所述的編碼設備，其中，該掃描標誌是在H.264/AVC標準中定義的ct_type。
5.如權利要求4所述的編碼設備，其中，該掃描標誌是在H.264/AVC標準中定義的clock_timestamp_flag
的ct_type。
6.如權利要求4所述的編碼設備，其中，該掃描標誌是在H.264/AVC標準中定義的clock_timestamp_flag
的ct_type，已經將1設置到clock_timestamp_flag
。
7.如權利要求1所述的編碼設備，其中，該掃描標誌是在H.264/AVC中定義的用戶數據SEI的用戶定義信息。
8.一種編碼圖像的編碼方法，包括步驟編碼該圖像；確定該圖像是隔行掃描圖像還是逐行掃描圖像；將該圖像確定步驟的確定結果設置到表示圖像的掃描系統的掃描標誌；將表示圖像的顯示系統的信息設置到指定圖像的顯示系統的顯示系統指定信息；以及將圖像的編碼結果與掃描標誌以及顯示系統指定信息複合，以及輸出該複合結果。
9.一種使計算機執行編碼圖像的編碼過程的程序，該編碼過程包括步驟編碼該圖像；確定該圖像是隔行掃描圖像還是逐行掃描圖像；將該圖像確定步驟的確定結果設置到表示圖像的掃描系統的掃描標誌；將表示圖像的顯示系統的信息設置到指定圖像的顯示系統的顯示系統指定信息；以及將圖像的編碼結果與掃描標誌以及顯示系統指定信息複合，以及輸出該複合結果。
10.一種用於使計算機執行編碼圖像的編碼過程的程序的程序記錄介質，編碼過程包括步驟編碼該圖像；確定該圖像是隔行掃描圖像還是逐行掃描圖像；將該圖像確定步驟的確定結果設置到表示圖像的掃描系統的掃描標誌；將表示圖像的顯示系統的信息設置到指定圖像的顯示系統的顯示系統指定信息；以及將圖像的編碼結果與掃描標誌以及顯示系統指定信息複合，以及輸出該複合結果。
11.一種數據記錄介質，用於圖像的編碼數據，該編碼數據已經與下述複合該圖像的編碼結果；表示每一圖像的掃描系統的掃描標誌；以及指定每一圖像的顯示系統的顯示系統指定信息。
12.用於圖像的編碼數據的數據結構，該編碼數據已經與下述複合該圖像的編碼結果；表示每一圖像的掃描系統的掃描標誌；以及指定每一圖像的顯示系統的顯示系統指定信息。
13.一種解碼圖像的編碼數據的解碼設備，包括解碼裝置，用於解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；識別裝置，用於基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；幀圖像輸出裝置，用於使圖像內插場，生成幀圖像，以及當該識別裝置的識別結果為隔行掃描圖像時，輸出它，以及當該識別裝置的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及重複輸出裝置，用於將從幀圖像輸出裝置輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
14.如權利要求13所述的解碼設備，其中，基於H.264/AVC標準，編碼已經通過2-3摺疊的圖像。
15.如權利要求13所述的解碼設備，其中，該顯示系統指定信息是在H.264/AVC標準中定義的pic_struct。
16.如權利要求13所述的解碼設備，其中，該掃描標誌是在H.264/AVC標準中定義的ct_type。
17.如權利要求16所述的解碼設備，其中，該掃描標誌是在H.264/AVC標準中定義的clock_timestamp_flag
的ct_type。
18.如權利要求16所述的解碼設備，其中，該掃描標誌是在H.264/AVC標準中定義的clock_timestamp_flag
的ct_type，已經將1設置到clock_timestamp_flag
。
19.如權利要求13所述的解碼設備，其中，該掃描標誌是在H.264/AVC中定義的用戶數據SEI的用戶定義信息。
20.如權利要求13所述的解碼設備，其中，該識別裝置當該圖像的顯示系統指定信息將通過該圖像，指定待顯示的前場或後場時，將該圖像識別為隔行掃描圖像，當該圖像的顯示系統指定信息將幀指定為待與圖像一起顯示，指定與圖像一起按順序顯示的前場、後場和前場，或指定將與圖像一起按順序顯示的前場、後場和後場時，將該圖像識別為逐行掃描圖像；當該顯示系統指定信息指定後場，代替將與圖像一起顯示的後場，或指定前場，代替將與圖像一起顯示的後場時，基於掃描標誌，將圖像識別為隔行掃描圖像或逐行掃描圖像。
21.一種解碼圖像的編碼數據的解碼方法，包括步驟解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；使圖像內插場，生成幀圖像，以及當該識別步驟的識別結果為隔行掃描圖像時，輸出它，以及當該識別步驟的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及將從幀圖像輸出步驟輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
22.一種使計算機執行解碼圖像的編碼數據的解碼過程的程序，該解碼過程包括步驟解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；使圖像內插場，生成幀圖像，以及當該識別步驟的識別結果為隔行掃描圖像時，輸出它，以及當該識別步驟的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及將從幀圖像輸出步驟輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
23.一種用於使計算機執行解碼圖像的編碼數據的解碼過程的程序的程序記錄介質，該解碼過程包括步驟解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；使圖像內插場，生成幀圖像，以及當該識別步驟的識別結果為隔行掃描圖像時，輸出它，以及當該識別步驟的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及將從幀圖像輸出步驟輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
24.一種再現圖像的編碼數據的再現設備，包括解碼裝置，用於解碼已經與圖像的編碼結果、表示該圖像的掃描系統的掃描標誌，以及指定該圖像的顯示系統的顯示系統指定信息複合的編碼數據；識別裝置，用於基於該圖像的掃描標誌和顯示系統指定信息，將該圖像識別為隔行掃描圖像或逐行掃描圖像；幀圖像輸出裝置，用於使圖像內插場，生成幀圖像，以及當該識別裝置的識別結果為隔行掃描圖像時，輸出它，以及當該識別裝置的識別結果為逐行掃描圖像時，將該圖像輸出為幀圖像；以及重複輸出裝置，用於將從幀圖像輸出裝置輸出的幀圖像重複輸出僅對應於該顯示系統指定信息的次數。
25.如權利要求24所述的再現設備，其中，基於H.264/AVC標準，編碼已經通過2-3摺疊的圖像。
26.如權利要求24所述的再現設備，其中，該顯示系統指定信息是在H.264/AVC標準中定義的pic_struct。
27.如權利要求24所述的再現設備，其中，該掃描標誌是在H.264/AVC標準中定義的ct_type。
28.如權利要求27所述的再現設備，其中，該掃描標誌是在H.264/AVC標準中定義的clock_timestamp_flag
的ct_type。
29.如權利要求27所述的再現設備，其中，該掃描標誌是在H.264/AVC標準中定義的clock_timestamp_flag
的ct_type，已經將1設置到clock_timestamp_flag
。
30.如權利要求24所述的再現設備，其中，該掃描標誌是在H.264/AVC中定義的用戶數據SEI的用戶定義信息。
31.如權利要求24所述的再現設備，其中，該識別裝置當該圖像的顯示系統指定信息將通過該圖像，指定待顯示的前場或後場時，將該圖像識別為隔行掃描圖像，當該圖像的顯示系統指定信息將幀指定為待與圖像一起顯示，指定與圖像一起按順序顯示的前場、後場和前場，或指定將與圖像一起按順序顯示的前場、後場和後場時，將該圖像識別為逐行掃描圖像；當該顯示系統指定信息指定後場，代替將與圖像一起顯示的後場，或指定前場，代替將與圖像一起顯示的後場時，基於掃描標誌，將圖像識別為隔行掃描圖像或逐行掃描圖像。
全文摘要
在沒有其垂直解析度的損失的情況下，顯示逐行掃描圖像。在圖像編碼裝置101中，表示編碼目標圖像是隔行掃描圖像還是逐行掃描圖像的確定結果設置到掃描標誌。表示圖像的顯示系統的信息設置到顯示系統指定信息。輸出已經複合圖像、掃描標誌和顯示系統指定信息的編碼數據。圖像解碼裝置102基於編碼數據的掃描標誌和顯示系統指定信息，識別圖像。當圖像為隔行掃描圖像時，該圖像內插場。當該圖像是逐行掃描圖像時，該圖像識別為幀圖像以及重複輸出對應於顯示系統指定信息的次數。當基於H.264/AVC，編碼和解碼圖像時，也可適用本發明。
文檔編號H04N7/24GK1965581SQ20058001905
公開日2007年5月16日 申請日期2005年6月3日 優先權日2004年6月10日
發明者高橋邦明, 藤波靖 申請人:索尼計算機娛樂公司, 索尼株式會社