利用分類自適應處理的信息處理設備的製作方法

2023-09-15 05:45:05 2

專利名稱：利用分類自適應處理的信息處理設備的製作方法
技術領域：
本發明涉及利用分類(class-classification)自適應處理的信息處理設備。
可變長度編碼，典型的是熵編碼，已經用在很多數據傳輸壓縮方法中以提高壓縮比。熵編碼的特徵是根據將被壓縮的數據內容改變碼字的長度，實現壓縮。例如，將短碼字分配給頻繁使用的數據，將長碼字分配給不頻繁使用的數據。結果，減少了整個將傳輸的數據的信息量。
當接收側接收由於通信錯誤引起的錯誤數據時，由於總是根據數據內容改變每個碼字的長度，所以解碼中的錯誤持續到用作傳輸數據參考的一個點。這種現象稱為「錯誤傳播」。
在運動圖像壓縮方法中，典型的是運動圖像專家組方法(MPEG方法)，為了減少數據量，用離散餘弦變換降低空間冗餘度且僅傳輸幀之間的差別以降低時間冗餘度。
通過這種壓縮方法壓縮的運動圖像數據在接收側被解壓。當由於通信錯誤或某些原因而使傳輸的運動圖像數據部分缺失時，丟失的部分在空間和時間上得到擴展，其效果在更高壓縮比時是顯著的。
由於移動環境中的通信路徑比固定站或有線環境中的通信路徑差，所以稱為「包損失」的成組數據丟失相對出現得較頻繁。所以，在使用壓縮的圖像通信中採用增強糾錯碼，防止數據在這種移動環境下在通信路徑中被丟失。
如果有不能被糾錯碼恢復的丟失像素，則分析丟失像素及其周圍像素之間的相關性，將位於發現強相關的方向上的像素用於線性內插。可以簡單地用位於發現強相關的方向上的像素代替丟失的像素。或者，檢測周圍像素的運動量或運動向量，將位於發現強相關的方向上的像素用於線性內插。可以用中值濾波器隱藏丟失的像素。
但是，當用另一個像素代替丟失的像素或者將線性內插用於丟失的像素時，由於解析度下降且失去了與周圍像素的連續性，重現的圖像給出不同的印象(impression)。而且在使用中值濾波器的情況下，給出不調和的印象。
本發明是考慮到以上情況之後作出的。因此，本發明的目的是不管像素是否丟失都產生品質更高的像素。
在本發明的一個方面中，通過提供一種信息處理設備來實現以上目的，所述信息處理設備包括分類器，用於根據位於目標數據項周圍的多個數據項，將目標數據項分入預先規定的多個類中的其中一類中；存儲器，為每一類用於存儲關於目標數據項的轉換信息；轉換器，用於根據轉換信息將目標數據項轉換為品質更高的數據項，其中分類器根據目標數據項是否丟失將目標數據項分成不同的類。
信息處理設備可以配置成對於其中丟失了目標數據項的丟失類來說，轉換信息是用於根據位於目標數據項周圍的多個數據項產生目標數據項的信息，對於其中未丟失目標數據項的非丟失類來說，轉換信息是用於將目標數據項轉換成品質更高的數據項的信息。
在信息處理設備中，對於非丟失類來說，轉換信息可以是用於將目標數據項轉換成噪音降低了的數據項的信息。
在信息處理設備中，轉換信息可以是預先實現的通過學習獲得的信息。
在信息處理設備中，轉換信息可以是用於線性或非線性、一階或高階估計方程式的預測係數。
在信息處理設備中，分類器可以根據包括位於目標數據項周圍的多個數據項的類抽頭(tap)將目標數據項分入預先規定的多個類的其中一類中。
在信息處理設備中，轉換器可以根據與目標數據項所的屬類相對應的預測抽頭將目標數據項轉換成品質更高的數據項。
在信息處理設備中，分類器可以根據在空間上位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中。
在信息處理設備中，分類器可以根據沿時間軸位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中。
在信息處理設備中，目標數據項可以是圖像數據。
在本發明的另一方面中，通過提供一種信息處理方法來實現上述目的，所述信息處理方法包括以下步驟根據位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中；選擇與目標數據項所屬類相對應的轉換信息；根據轉換信息將目標數據項轉換為品質更高的數據項，其中，在對目標數據項進行分類的步驟中，根據目標數據項是否丟失將目標數據項分入不同的類。
信息處理方法可以配置成使得對於其中丟失了目標數據項的丟失類來說，轉換信息是用於根據位於目標數據項周圍的多個數據項產生目標數據項的信息，對於其中未丟失目標數據項的非丟失類來說，轉換信息是用於將目標數據項轉換成品質更高的數據項的信息。
在信息處理方法中，對於非丟失類來說，轉換信息可以是用於將目標數據項轉換成噪音降低了的數據項的信息。
在信息處理方法中，轉換信息可以是預先實現的通過學習獲得的信息。
在信息處理方法中，轉換信息可以是用於線性或非線性、一階或高階估計方程式的預測係數。
在信息處理方法中，在對目標數據項進行分類的步驟中，可以根據包括位於目標數據項周圍的多個數據項的類抽頭將目標數據項分入預先規定的多個類的其中一類中。
在信息處理方法中，在轉換目標數據項的步驟中，可以根據與目標數據項所屬的類相對應的預測抽頭將目標數據項轉換成品質更高的數據項。
在信息處理方法中，在對目標數據項進行分類的步驟中，可以根據在空間上位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中。
在信息處理方法中，在對目標數據項進行分類的步驟中，可以根據沿時間軸位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中。
在信息處理方法中，目標數據項是圖像數據。
在本發明的再一方面中，通過提供一種存儲計算機可讀程序的記錄介質實現上述目的，所述程序包括以下步驟根據位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中；選擇與目標數據項所屬的類相對應的轉換信息；根據轉換信息將目標數據項轉換為品質更高的數據項，其中，在對目標數據項進行分類的步驟中，根據目標數據項是否丟失將目標數據項分入不同的類。
在本發明的再一方面中，通過提供一種學習設備實現上述目的，所述學習設備包括分類器，根據位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中；轉換信息發生器，對於類來說，產生用於將目標數據項轉換為品質更高的數據項的轉換信息，其中，分類器根據目標數據項是否丟失將目標數據項分入不同的類。
在本發明的再一方面中，通過提供一種學習方法來實現上述目的，所述學習方法包括以下步驟根據位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中；對於類來說，產生用於將目標數據項轉換為品質更高的數據項的轉換信息，其中，根據目標數據項是否丟失將目標數據項分入不同的類。


圖1是用於發送圖像的圖像傳輸系統圖。
圖2是根據本發明一個實施例的發送設備的結構方框圖。
圖3是輸入到發送設備1中的圖像信號壓縮過程圖。
圖4是抽取(thinning-out)濾波器43的結構方框圖。
圖5示出了鎖存電路81的輸出。
圖6示出了鎖存電路84的輸出。
圖7是UV垂直1/2電路45的結構方框圖。
圖8示出了鎖存電路94的輸出。
圖9是編碼電路15的結構方框圖。
圖10示出了處理單元。
圖11示出了ADRC塊。
圖12是幀中像素和ADRC塊之間的關係圖。
圖13是幀中像素和ADRC塊之間的關係圖。
圖14是幀中像素和ADRC塊之間的關係圖。
圖15A和15B示出了Y數據的ADRC塊和段。
圖16A和16B示出了U數據或V數據的ADRC塊和段。
圖17A、17B、17C、17D、17E和17F示出了以ADRC塊為單位實現混洗(shuffle)的視圖。
圖18是段(segment)的視圖。
圖19是ADRC編碼電路103的結構圖。
圖20是信息量控制電路164的結構圖。
圖21是信息量控制電路164的結構圖。
圖22是在段間混洗電路104中實現混洗的視圖。
圖23是在段間混洗電路104中實現混洗的視圖。
圖24是在段間混洗電路104中實現混洗的視圖。
圖25是在段間混洗電路104中實現混洗的視圖。
圖26是包的結構圖。
圖27是在發送設備1中實現的圖像傳輸處理的視圖。
圖28是接收設備2的結構方框圖。
圖29是擴展圖像過程的視圖。
圖30是解碼電路304的方框圖。
圖31是q-位和MF恢復電路353的結構方框圖。
圖32是恢復像素值的動態範圍DR或最小值MIN的過程圖。
圖33是恢復像素值的動態範圍DR或最小值MIN的過程圖。
圖34A和34B是恢復像素值的動態範圍DR或最小值MIN的過程圖。
圖35是從段間混洗還原(deshuffle)電路352輸出的數據沒有丟失部分時通過解碼電路304實現的處理的示範性時序圖。
圖36是從段間混洗還原電路352輸出的數據有丟失部分時通過解碼電路304實現的過程的示範性時序圖。
圖37A和37B示出了傳統上如何存儲數據的視圖。
圖38A和38B示出了在塊混洗還原電路356中數據的輸出時序。
圖39是可恢復錯誤確定電路357的結構方框圖。
圖40是當可恢復錯誤確定電路357輸出的恢復確定標誌Fd為1時通過塊混洗還原電路356實現的過程圖。
圖41是當段間混洗還原電路353輸出連續錯誤信號時通過塊混洗還原電路356實現的過程圖。
圖42是在灰度模式下通過塊混洗還原電路356實現的過程圖。
圖43是在塊混洗還原電路356中實現的、與去恢復(recovery-off)輸入相對應的過程圖。
圖44是在塊混洗還原電路356中實現的、與去恢復輸入相對應的過程圖。
圖45是在塊混洗還原電路356中實現的、與逃逸(escape)信號相對應的過程圖。
圖46是從塊混洗還原電路356輸出解碼數據過程的流程圖。
圖47是從塊混洗還原電路356輸出解碼數據過程的流程圖。
圖48是當去恢復輸入為1時從塊混洗還原電路356輸出數據過程的流程圖。
圖49A和49B示出了用在丟失像素生成電路308處理過程中的像素的視圖。
圖50是丟失像素生成電路308的結構方框圖。
圖51是預處理電路501的處理過程的流程圖。
圖52A和52B示出了用於計算時間活度(time activity)的示範性像素的視圖。
圖53示出了用於計算空間活度的示範性像素的視圖。
圖54示出了在運動確定中使用的閾值。
圖55是在靜止/運動確定電路521中設置運動類代碼的過程的流程圖。
圖56示出了在大多數運動類代碼確定中使用的示範性像素。
圖57是在運動類生成電路503中設置運動類代碼的過程的流程圖。
圖58是通過可變抽頭選擇電路508選擇的預測抽頭數據串圖。
圖59是通過可變抽頭選擇電路508選擇的預測抽頭數據串圖。
圖60是通過可變抽頭選擇電路508選擇的預測抽頭數據串圖。
圖61是通過可變抽頭選擇電路508選擇的預測抽頭數據串圖。
圖62A、62B、62C和62D是在四倍密度解析度生成電路312處理過程中使用的像素位置圖。
圖63是四倍密度解析度生成電路312的結構方框圖。
圖64示出了在四倍密度解析度生成電路312以隔行掃描(interlace)方法輸出數據的情況下輸入到四倍密度解析度生成電路312中的像素位置和從四倍密度解析度生成電路312輸出的像素位置。
圖65示出了在四倍密度解析度生成電路312以逐行掃描方法輸出數據的情況下輸入到四倍密度解析度生成電路312中的像素位置和從四倍密度解析度生成電路312輸出的像素位置。
圖66是UV垂直倍頻電路333的結構方框圖。
圖67示出了鎖存電路704的輸出。
圖68是接收設備2的接收過程的流程圖。
圖69是學習設備的方框圖。
圖70是係數生成過程的流程圖。
圖71示出了示範性記錄介質和示範性計算機。
圖1示出了根據本發明的用於圖像通信的圖像通信系統。發送設備1通過本發明的方法壓縮輸入視頻信號，對該信號進行編碼，將其轉換為包格式，通過傳輸路徑發送到接收設備2。接收設備2接收通過傳輸路徑發送的包，通過本發明的方法對包含在包中的數據進行解碼，解壓縮數據並作為視頻信號輸出。在傳輸路徑中，包含在包中的數據會由於擁塞或某種原因而導致部分丟失。如果超過了構成傳輸路徑的ATM交換機(未示出)的處理能力，包本身就會丟失。
圖2示出了根據本發明一個實施例的發送設備1的結構方框圖。當Y/C-分離色度解碼器11接收模擬複合視頻信號或模擬分量信號(Y/C信號)例如亮度信號Y和色度信號C時，Y/C-分離色度解碼器11將信號轉換成分量信號(Y/U/V信號)，例如亮度信號Y和彩色信號U和V，並將它們發送到選擇器12。選擇器12選擇從Y/C-分離色度解碼器11發送的Y/U/V信號或以Y/U/V信號格式輸入的信號，發送到抽取(thinning-out)部分13。Y/U/V信號具有例如標準密度(SD)、4∶2∶2的格式，60Hz的半幀頻以及隔行掃描格式。
抽取部分13通過下述方法抽取從選擇器12發送的Y信號、U信號和V信號，然後將它們發送到格式轉換電路14。抽取部分13由預濾波器41、A/D轉換電路42、抽取濾波器43、外部存儲器44、UV垂直1/2電路45和外部存儲器46組成。
預濾波器41是低通濾波器，用於輸出具有輸入Y、U和V信號預定頻帶的部分。預濾波器41將其輸出送入A/D轉換電路42。
A/D轉換電路42對輸入Y、U和V進行採樣，以便將每個信號變成例如8位數據。對輸入A/D轉換電路42的模擬Y信號採樣並將其變成水平方向上有528個像素、垂直方向上有480個像素的Y數據，然後送入抽取濾波器43。
對輸入A/D轉換電路42的模擬U信號採樣並將其變成水平方向上有176個像素、垂直方向上有480個像素的U數據，然後送入抽取濾波器43。對輸入A/D轉換電路42的模擬V信號採樣並將其變成水平方向上有176個像素、垂直方向上有480個像素的V數據，然後送入抽取濾波器43。
所以，A/D轉換電路42的輸出信號具有3∶1∶1格式。
抽取濾波器43將輸入Y、U和V數據臨時存儲在外部存儲器44中，在水平方向和垂直方向上抽取一半臨時存儲的Y、U和V數據，然後送入UV垂直1/2電路45。
UV垂直1/2電路45將抽取濾波器43發送的Y、U和V數據臨時存儲在外部存儲器46中，使在垂直方向上抽取一半臨時存儲的Y、U和V數據，然後將Y、U和V數據送入格式轉換電路14。
所以，抽取部分13的輸出信號具有3.0∶0.5∶0.5的格式。
格式轉換電路14通過下述方法將抽取部分13發送的Y、U和V數據重新排列成具有塊結構，然後送入編碼電路15。
編碼電路15將格式轉換電路14發送的Y、U和V數據臨時存儲在外部存儲器16中；通過改變寫地址和讀地址混洗臨時存儲在外部存儲器16中的Y、U和V數據；通過自適應動態範圍編碼(ADRC)方法對數據進行編碼；再混洗數據；然後將數據發送到分包電路17。
ADRC方法是輸出適合於輸入圖像數據的動態範圍(DR)的可變長度代碼的可變長度編碼方法。圖像數據被分成具有多個像素的塊(下述的ADRC塊)，檢測每個塊的動態範圍，該範圍是塊中最大像素值與最小像素值之差。利用比初始量化所使用的位數(例如8位)少的位數，根據塊的動態範圍再次將每個像素值量化。動態範圍越小，再次量化所使用的位數就越少。通過抑制量化失真的增加，僅除去冗餘的像素的像素值，可以進一步減少數據量。
ADRC方法選擇與動態範圍幅度(magnitude)相對應的量化位數，該動態範圍是塊中所含像素的像素值的最大值與最小值之差。為了確定動態範圍的幅度，使用與運動相對應的閾值。當用2位、3位或4位進行再量化時，使用存儲在量化表中的用於每個運動或每個動態範圍的閾值T1和T2(T1＜T2)。接收側使用同一量化表。
在動態範圍等於或小於(T1-1)的塊中為像素值代碼分配2位。在動態範圍從T1到(T2-1)並包括兩端值的塊中為像素值代碼分配3位。在動態範圍等於或大於T2的塊中為像素值代碼分配4位。下文稱分配給像素值代碼的位數為「q」。
對作為一個單元的88個ADRC塊(稱為緩衝區)進行編碼，這通過用30劃分兩幀來產生。為每個緩衝區選擇存儲閾值T1和T2的一個量化表，使得為每個緩衝區產生的代碼具有16,104位或更少。通過TI表示的表索引指定所選擇的量化表。由於為一個緩衝區產生的代碼具有16,104位或更少，所以編碼圖像數據的信息對應於8Mbps的位速率。
當動態範圍大於2的q次冪時，按以下計算像素值代碼Q[(L-MIN+0.5)×2q/DR]其中[]表示對小數點四捨五入，L表示像素值，MIN表示塊中像素的像素值的最小值，DR表示塊的動態範圍。當動態範圍等於2的q次冪或更小時，像素值代碼Q為L-MIN。
編碼電路15輸出指定量化表的表索引TI、動態範圍DR、塊中像素的像素值的最小值MIN、表示運動的運動標誌MF和對應於像素值的代碼Q，作為編碼數據。將表索引TI、動態範圍DR、塊中像素的像素值的最小值MIN和表示運動的運動標誌MF的長度(位數)固定為8位長。相反，改變與像素值相對應的代碼Q的長度。
分包電路17將從編碼電路15發送的編碼數據臨時存儲在外部存儲器18中；以1.6千位為單位劃分臨時存儲的編碼數據；將附加了標題和其他元素的編碼數據分包；然後發送到發送電路19。發送電路19通過預定的傳輸方法調製從分包電路17發送的包，通過傳輸路徑將它們發送出去。
PLL電路20產生與圖像同步的參考信號，並將參考信號送入控制電路21。控制電路21將基於PLL電路20發送的參考信號的控制信號發送到抽取部分13、格式轉換電路14、編碼電路15、外部存儲器16、分包電路17、外部存儲器18和發送電路19以控制整個發送設備1的操作。
下面參考圖3描述輸入發送設備1的圖像信號的壓縮過程。通過A/D轉換電路42將半幀頻為60Hz的隔行掃描Y信號轉換為每個半幀(field)沿水平方向有528個像素、沿垂直方向有480個像素的Y數據。半幀頻為60Hz的隔行掃描U和V信號分別轉換為沿水平方向有176個像素、沿垂直方向有480個像素的U和V數據。輸入A/D轉換電路42的圖像信號的信息對應於166Mbps的位速率，從A/D轉換電路42輸出的圖像數據的信息對應於104Mbps的位速率。對數據量進行壓縮。
半幀頻為60Hz、每幀沿水平方向有528個像素、沿垂直方向有480個像素的隔行掃描Y數據通過抽取濾波器43被壓縮成半幀頻為30Hz、每幀沿水平方向有264個像素、沿垂直方向有240個像素的逐行掃描型數據。半幀頻為60Hz、每幀沿水平方向有176個像素、沿垂直方向有480個像素隔行掃描U和V數據通過抽取濾波器43被壓縮成半幀頻為30Hz、每幀沿水平方向有88個像素、沿垂直方向有240個像素的逐行掃描型數據。
每幀沿水平方向有88個像素、沿垂直方向有240個像素的U和V數據通過UV垂直1/2電路45被壓縮成沿水平方向有88個像素、沿垂直方向有120個像素的數據。從UV垂直1/2電路45輸出的圖像數據信息對應於21Mbps的位速率。與輸入發送設備1的信號信息的信息量相比，信息量得到壓縮。
如上所述，由於抽取部分13實現了抽取處理，所以簡化了後續各級中每個電路的結構，並能夠將傳輸路徑中的位速率設為實用的、足夠小的值。
將半幀頻為30Hz、每幀沿水平方向有88個像素、沿垂直方向有120個像素的逐行掃描型U和V數據通過格式轉換電路14轉換為通過將每組具有88像素×120像素的的兩組數據合併而成的數據。
通過編碼電路15編碼每幀沿水平方向有264個像素、沿垂直方向有240個像素的Y數據以及共同具有兩組88個像素×120個像素的U和V數據。編碼圖像數據的信息對應於8Mbps的位速率。使最後得到的數據的信息量比輸入到發送設備1的模擬信號的信息量小。
如上所述，發送設備1對圖像信號進行壓縮和編碼。
圖4是抽取濾波器43的結構方框圖。隔行掃描Y數據沿水平方向線送入水平1/2電路61。水平1/2電路61由延遲電路(寄存器)71-1至71-N、乘法電路72-1至72-N和加法器73組成。
順序輸入為半帶濾波器的水平1/2電路61的Y數據被每個延遲電路71-1至71-N在水平方向上延遲一個像素，然後順序輸出到後續各級。乘法電路72-1至72-N將輸入Y數據(像素)乘以1/N，並輸出到加法器73。加法器73將乘法電路72-1至72-N發送的數據相加，將和輸出到垂直1/2電路62。
垂直1/2電路62為半帶濾波器，由鎖存電路81、半幀先進先出(FIFO)82、加法器83和鎖存電路84組成。從水平1/2電路61輸出的數據送入鎖存電路81。當輸入時鐘信號時，鎖存電路81鎖存輸入數據，然後將鎖存的數據輸出。
下面參考圖5描述水平1/2電路61的操作。在幀的水平方向順序輸入的Y數據(圖5中白圈表示的像素)被延遲電路71-1至71-N保持住，由乘法電路72-1至72-N乘以係數。乘法電路72-1至72-N的輸出通過加法器73相加，輸出到鎖存電路81。鎖存電路81在與圖5所示的黑方塊相對應的時刻接收指令鎖存操作的時鐘信號。在圖5所示的情況下，由於每當傳輸兩個像素數據項時向鎖存電路81輸入一個時鐘，因此，例如，當N=2和每個係數的值為1/2時，相鄰兩個像素的平均像素值在圖5中黑方塊所指示的時刻被鎖存電路81鎖存。如上所述，被鎖存電路81鎖存的像素數是輸入抽取濾波器43的數據的像素數的一半。
被鎖存電路81鎖存的值送入半幀FIFO82和加法器83。半幀FIFO82存儲從鎖存電路81發送的，沿水平方向抽取一半的第一半幀中的像素數據，將其延遲一個半幀，然後輸出到加法器83。加法器83將鎖存電路81發送的數據加到半幀FIFO82發送的數據上，然後將和發送到鎖存電路84。當輸入啟動信號時，鎖存電路84鎖存輸入數據。
下面參考圖6描述垂直1/2電路62的操作。加法器83將第一半幀中像素(由圖6所示的第一半幀上黑方塊表示)的Y數據與在屏幕的水平方向上與第一半幀中的像素處於同一位置且位於比第一半幀低一行的第二半幀上的像素(如圖6所示，由第二半幀上的黑方塊表示，位於第一半幀中黑方塊的右下方)的數據相加，然後輸出到鎖存電路84。所以，鎖存電路84鎖存第一半幀和第二半幀中像素的平均值(對應於圖6所示的白方塊表示的像素)。
如上所述，鎖存電路84的輸出是通過在第一和第二半幀之間抽取一半鎖存電路81輸出的像素數據、再在第三和第四半幀之間抽取一半產生的、幀頻為30Hz的逐行掃描型Y數據。
U數據和V數據也是具有30Hz幀頻的、以同樣方式在水平方向和垂直方向上抽取一半的逐行掃描型數據。
如上所述，從抽取濾波器43輸出的圖像的Y數據、U數據和V數據是幀頻為30Hz的、逐行掃描型的抽取數據。
下面描述UV垂直1/2電路45。圖7是UV垂直1/2電路45的結構方框圖。UV垂直1/2電路45從抽取濾波器43接收幀頻為30Hz的、逐行掃描型的抽取U數據和V數據。輸入數據被行FIFO91-1至91-6的每一個順序延遲一行，然後送入後續級。乘法電路92-1將輸入數據乘以一個係數，將乘積輸出到加法器9 3。乘法電路92-2至92-7將從行FIFO91-1至91-6輸入的數據乘以係數並將乘積輸出到加法器93。
加法器93將乘法電路92-2至92-7發送的數據相加，將和送入鎖存電路94。當輸入時鐘信號時，鎖存電路94鎖存輸入數據。
下面參考圖8描述UV垂直1/2電路45的操作。將位於沿屏幕水平方向相同位置上的7條連續行上的像素數據(圖8中用白方塊表示)輸入乘法電路92-1至92-7。乘法電路92-1至92-7將輸入數據乘以係數。加法器93將乘法電路92-1至92-7的輸出相加，輸出和。鎖存電路94在每兩行一次的定時(由圖8中黑方塊表示)上接收鎖存信號。如上所述，UV垂直1/2電路45抽取U數據和V數據行數的一半，將結果輸出。
Y數據通過UV垂直1/2電路45。
下面描述編碼電路15。圖9是編碼電路15的結構方框圖。從控制電路21發送的控制信號輸入定時信號發生電路101。定時信號發生電路101根據輸入控制信號產生定時信號，並將其送入塊混洗電路102、ADRC編碼電路103和段間混洗電路104。
轉換後的Y數據、U數據和V數據從格式轉換電路14輸入塊混洗電路102。塊混洗電路102將發送的Y數據、U數據和V數據臨時存儲在外部存儲器16中。塊混洗電路102按如上所述重新排列以ADRC-塊格式存儲在外部存儲器16中的Y數據、U數據和V數據，以ADRC塊為單位在段的範圍內按如下所述混洗它們，然後將它們送入ADRC編碼電路103。
ADRC編碼電路103根據ADRC方法對塊混洗電路102發送的Y數據、U數據和V數據進行編碼，然後將它們送入段間混洗電路104。段間混洗電路104將發送的通過ADRC編碼的數據臨時存儲在外部存儲器22中。
段間混洗電路104通過改變寫和讀地址混洗存儲在外部存儲器22中的ADRC數據。該混洗在段間混洗電路104中完成以便即使在傳輸路徑中丟失數據也能提高在接收設備2處接收任何動態範圍DR、最小值MIN和運動標誌MF的可能性，以及即使在傳輸路徑中丟失數據，接收設備2也能容易地獨立提取每個代碼Q。
下面參考圖10描述在編碼電路15和分包電路17中實現的處理單元。從幀0和下一幀1，通過下述方法選擇像素以產生1320個偶數段的ADRC塊(每個具有4×16像素)和1320個奇數段的ADRC塊(每個具有4×16個像素)。塊混洗電路102從產生的偶數段和奇數段的ADRC塊中選擇88個ADRC塊。ADRC編碼電路103將每組選出的88個ADRC塊編碼成均是固定長度數據(FL)的動態範圍DR、最小值MIN、運動標誌MF和表索引TI，和編碼成為可變長度數據(VL)的代碼Q。
段間混洗電路104集合五組(下文稱為一段)與ADRC編碼電路103輸出的88個ADRC塊相對應的編碼數據(下文稱每組為一個緩衝區)。段間混洗電路104混洗段中的三個偶數段(由圖10中的段0、段2和段4表示)。段間混洗電路104混洗段中的三個奇數段(由圖10中的段1、段3和段5表示)。
以段0、段1、段2、段3、段4和段5的順序排列段間混洗的段。
分包電路17將以段0、段1、段2、段3、段4和段5的順序放在段中的編碼數據放入以對應於8個ADRC塊的數據組(動態範圍DR、最小值MIN、運動標誌MF、表索引TI和代碼Q)為單位的包中。
下面參考圖11至圖18描述塊混洗電路102的操作。圖11是ADRC塊的視圖。從每幀選擇具有由彼此相鄰的8個水平像素和8個垂直像素形成的64個像素的塊。位於塊的左上角、用作參考像素的像素(圖中用0-1或1-1表示)、從參考像素水平平移兩個像素的像素(圖中用0-3或1-3表示)、從參考像素垂直平移兩個像素的像素(圖中用0-17或1-17表示)、以及從參考像素水平平移一個像素且垂直平移一個像素的像素稱為偶數像素。用作為參考像素的所選像素進一步重複選擇位於與上述那些像素有相同位置關係的像素，並設為偶數像素。
每幀中剩下的像素稱為奇數像素。
如圖11所示，集合在偶數幀(幀0)中包含在8×8像素形成的塊「i」中的偶數像素(4×8像素)和在奇數幀(幀1)中包含在8×8像素形成的塊中的偶數像素(4×8)，形成偶數段ADRC塊。以同樣方式，集合在偶數幀(幀0)中包含在8×8像素形成的塊中的奇數像素(4×8像素)和在奇數幀(幀1)中包含在8×8像素形成的塊中的奇數像素(4×8)，形成奇數段ADRC塊。ADRC由交替位於兩幀的每幀中的像素形成。位於與構成偶數段ADRC塊的像素相鄰的初始幀中的像素形成相應的奇數段ADRC塊。
圖12至14示出了幀中像素與ADRC塊之間的關係。如圖12所示，幀0中的像素被分成每個有由8個水平像素和8個垂直像素形成的64個像素的塊。以同樣的方式，幀1(幀0的下一幀)中的像素被分成每個有由8個水平像素和8個垂直像素形成的64個像素的塊，如圖13所示。將位於幀0各塊的左上角上的64-像素塊(在圖12中由A1表示64-像素塊)中的偶數像素和位於幀1各塊的左上角上的64-像素塊(在圖13中由A1表示64-像素塊)中的偶數像素形成的偶數段ADRC塊定位在左上角作為段0，如圖14所示。
將由圖12中A1表示的64-像素塊中的奇數像素和圖13中A1表示的64-像素塊中的奇數像素形成的奇數段ADRC塊緊接著段0的偶數段ADRC塊定位在右方作為段3，如圖14所示。
將由圖12中A2表示的64-像素塊中的偶數像素和圖13中A2表示的64-像素塊中的偶數像素形成的偶數段ADRC塊作為段0緊接著由圖12中A1表示的64-像素塊中的奇數像素和圖13中A1表示的64-像素塊中的奇數像素形成的段-3 ADRC塊定位在右方，如圖14所示。將由圖12中A2表示的64-像素塊中的奇數像素和圖13中A2表示的64-像素塊中的奇數像素形成的奇數段ADRC塊作為段3緊接著由圖12中A2表示的64-像素塊中的偶數像素和圖13中A2表示的64-像素塊中的偶數像素形成的段-0 ADRC塊定位在右方，如圖14所示。
將由圖12中B1表示的64-像素塊中的偶數像素和圖13中B1表示的64-像素塊中的偶數像素形成的偶數段ADRC塊作為段4緊接著由圖12中A1表示的64-像素塊中的偶數像素和圖13中A1表示的64-像素塊中的偶數像素形成的段-0ADRC塊定位在下方，如圖14所示。將由圖12中B1表示的64-像素塊中的奇數像素和圖13中B1表示的64-像素塊中的奇數像素形成的奇數段ADRC塊作為段1緊接著由圖12中由A1表示的64-像素塊中的奇數像素和圖13中A1表示的64-像素塊中的奇數像素形成的段-3 ADRC塊定位在下方(緊接著右方的段-4 ADRC塊)，如圖14所示。
將由圖12中B2表示的64-像素塊中的偶數像素和圖13中B2表示的64-像素塊中的偶數像素形成的偶數段ADRC塊作為段4緊接著由圖12中B1表示的64-像素塊中的奇數像素和圖13中B1表示的64-像素塊中的奇數像素形成的段-1 ADRC塊定位在右方，如圖14所示。將由圖12中B2表示的64-像素塊中的奇數像素和圖13中B2表示的64-像素塊中的奇數像素形成的奇數段ADRC塊作為段1緊接著由圖12中由B2表示的64-像素塊中的偶數像素和圖13中B2表示的64-像素塊中的偶數像素形成的偶數段ADRC塊定位在右方，如圖14所示。
將由圖12中C1表示的64-像素塊中的偶數像素和圖13中C1表示的64-像素塊中的偶數像素形成的偶數段ADRC塊作為段2緊接著由圖12中B1表示的64-像素塊中的偶數像素和圖13中B1表示的64-像素塊中的偶數像素形成的段-4 ADRC塊定位在下方，如圖14所示。將由圖12中C1表示的64-像素塊中的奇數像素和圖13中C1表示的64-像素塊中的奇數像素形成的奇數段ADRC塊作為段5緊接著由圖12中B1表示的64-像素塊中的奇數像素和圖13中B1表示的64-像素塊中的奇數像素形成的段-1 ADRC塊定位在下方(緊接著右方的段-2ADRC塊)，如圖14所示。
將由圖12中C2表示的64-像素塊中的偶數像素和圖13中C2表示的64-像素塊中的偶數像素形成的偶數段ADRC塊作為段2緊接著由圖12中C1表示的64-像素塊中的奇數像素和圖13中C1表示的64-像素塊中的奇數像素形成的段-5 ADRC塊定位在右方，如圖14所示。將由圖12中C2表示的64-像素塊中的奇數像素和圖13中C2表示的64-像素塊中的奇數像素形成的奇數段的ADRC塊作為段5緊接著由圖12中C2表示的64-像素塊中的偶數像素和圖13中C2表示的64-像素塊中的偶數像素形成的偶數段ADRC塊定位在右方，如圖14所示。
對每幀中的33×30塊(264×240像素)重複上述操作，以從兩幀的Y數據中在水平和垂直方向上產生一組66×30 ADRC塊，如圖15A所示。將從Y數據產生的ADRC塊混洗以形成段，如圖15B所示。
對每個具有88×120像素的U數據和V數據實施同樣的處理過程。在水平和垂直方向上形成一組22×15的ADRC塊，如圖16A所示。以與對Y數據相同的方式，將從U數據和V數據產生的ADRC塊進行塊混洗以形成段，如圖16B所示。
在每個ADRC塊中，得到偶數幀和奇數幀中在屏幕上位於相同位置的像素(例如那些在圖11中由0-1和1-1表示的)的像素值之差的絕對值。當差的絕對值中的最大值小於閾值Th1時，ADRC塊被認為是靜止畫面塊。
當差的絕對值中的最大值大於閾值Th2(Th1＜Th2)時，ADRC塊被認為是運動畫面塊。
在靜止畫面ADRC塊中，得到偶數幀和奇數幀中在屏幕上位於相同位置的像素的像素值的平均值，用32個平均值作為ADRC塊的值，將附著到ADRC塊上的運動標誌MF設為0。
在運動畫面ADRC塊中，如在ADRC塊中那樣使用從偶數幀和奇數幀收集的64個像素，將附著到ADRC塊上的運動標誌MF設為1。
下面描述每段中以ADRC塊為單位實現的混洗。在分配了號碼0的、由Y數據ADRC塊形成的段中，將號碼y0-y329被順序分配給ADRC塊，如圖17A所示。混洗ADRC塊以如圖17B所示的那樣排列它們。
以同樣的方式，在分配了號碼0的、由U數據ADRC塊形成的段中，將號碼u0-u54順序分配給ADRC塊，如圖17C所示。以與圖17D所示相反的順序重新排列ADRC塊。
在分配了號碼0的、由V數據ADRC塊形成的段中，將號碼v0-v54順序分配給ADRC塊，如圖17E所示。以與圖17F所示相反的順序重新排列ADRC塊。
接著，如圖18所示，混洗Y數據ADRC塊、U數據ADRC塊和V數據ADRC塊。首先放置三個Y數據ADRC塊，然後放置一個U數據ADRC塊，隨後是三個Y數據ADRC塊，然後放置一個V數據ADRC塊。重複這種布局。例如，在段0中，ADRC塊的排列順序是順序號為y0的ADRC塊，順序號為y221的ADRC塊，順序號為y112的ADRC塊，順序號為u54的ADRC塊，順序號為y3的ADRC塊，順序號為y224的ADRC塊，順序號為y115的ADRC塊，順序號為v54的ADRC塊，順序號為y6的ADRC塊，等等。
在段1至段5中，以同樣方式混洗ADRC塊。
如上所述，塊混洗電路102以ADRC塊為單位混洗像素數據，ADRC編碼電路103對混洗後的ADRC塊進行編碼。當ADRC塊被適當混洗時，疏散了由於通信錯誤造成的像素丟失，使得丟失的像素在再現圖像中變得難以識別。此外，可以從丟失像素的周圍像素中為丟失像素生成像素。
下面參考圖19描述ADRC編碼電路103的結構。被塊混洗電路102混洗的圖像作為ADRC塊輸入延遲電路161、運動特徵量計算電路162、DR計算電路163和延遲電路166。
延遲電路161將雙幀塊(由4×16像素形成的ADRC塊)延遲相當於運動特徵量計算電路162處理時段的時間段，然後輸出到信息量控制電路164。運動特徵量計算電路162計算每個ADRC塊的運動特徵量、幀之差的絕對值的最大值，將其送入信息量控制電路164。DR計算電路163計算圖像被確定為靜止畫面圖像時得到的動態範圍DR和圖像被確定為運動畫面圖像時得到的動態範圍DR，然後將它們送入信息量控制電路164。
信息量控制電路164根據延遲電路161發送的雙幀塊、運動特徵量計算電路162發送的運動特徵量、DR計算電路163發送的圖像被確定為靜止畫面圖像時得到的動態範圍DR和圖像被確定為運動畫面圖像時得到的動態範圍DR以及閾值表165發送的閾值組Th1和Th2及閾值組T1和T2選擇由閾值Th1和Th2形成的MF選擇閾值，將它們輸出到靜止/運動確定電路169。
信息量控制電路164還根據雙幀塊、運動特徵量、圖像被確定為靜止畫面圖像時得到的動態範圍DR和圖像被確定為運動畫面圖像時得到的動態範圍DR以及閾值表165發送的閾值組Th1和Th2及閾值組T1和T2選擇Q-位選擇閾值，然後將其輸出到ADRC編碼器171。
例如，假設運動特徵量是4，圖像被確定為靜止畫面圖像時得到的動態範圍DR是14，圖像被確定為運動畫面圖像時得到的動態範圍DR是15；當表索引為0時，閾值T1為6，閾值T2為12，閾值Th1為3，閾值Th2為3；當表索引為1時，閾值T1為13，閾值T2為40，閾值Th1為5，閾值Th2為5。
由於其值為4的運動特徵量大於當表索引為0時得到的閾值組其值為3的閾值Th2，信息量控制電路164確定該圖像為運動畫面。圖像被確定為運動畫面時得到的其值為15的動態範圍DR大於其值為3的閾值T2。所以，ADRC塊的「q」為4。信息量控制電路164確定代碼Q具有(16*4)*4=256位。
以同樣的方式，由於運動特徵量小於當表索引為1時得到的閾值組的閾值Th1，信息量控制電路164確定圖像為靜止畫面。圖像被確定為靜止畫面時得到的動態範圍DR大於閾值T1小於閾值T2。所以，ADRC塊的「q」為3。信息量控制電路164確定代碼Q具有(8*4)* 3=96位。
如上所述，將閾值指定成信息量隨著表索引增大而減小。信息量控制電路164選擇與為一個緩衝區產生的代碼Q為16,104位或更少時得到的最大信息量相對應的表索引作為表索引TI，並將其送入延遲電路173。
信息量控制電路164可以並行計算與表索引相對應的代碼Q的位數，或者可以從最大(或較小)表索引開始一個接一個地計算與每個表索引相對應的代碼Q的位數。
下面參考圖20和圖21描述信息量控制電路164的示範性結構。圖20示出了信息量控制電路164的前級部分的結構，圖21示出了信息量控制電路164的後級部分。
如圖20所示，信息量控制電路164的前級部分配有比較電路181-1和181-2、加法器182-1和182-2、寄存器183-1和183-2、每種類型的電路數與動態範圍DR中閾值數相對應。動態範圍DR，其值可以是0-255，輸入到比較電路181-1和181-2的每一個的輸入端之一。
在圖20中，還從閾值表165中讀出，例如，閾值T1和閾值T2，然後送入比較電路181-1和181-2的另一個輸入端。具體地說，將閾值T1送入比較電路181-1的另一個輸入端，將閾值T2送入比較電路181-2的另一個輸入端。
當從輸入端5發送的動態範圍DR等於或大於每個閾值時，比較電路181-1和181-2輸出「1」。比較電路181-1和181-2的比較輸出送入與之連接的加法器182-1和182-2的輸入端。加法器182-1和182-2的加法輸出通過寄存器183-1和183-2送入加法器182-1和182-2的另一個輸入端。
所以，加法器182-1計算DR落T1-255包括T1和255的範圍內的累加次數，寄存器183-1保持得到的數據。加法器182-2計算DR落在T2-255包括T2和255的範圍內的累加次數，寄存器183-2保持得到的數據。
讀出被寄存器183-1和183-2保持的累加次數的數據並送入加法器191，如圖21所示。預先存儲在信息量控制電路164中的次數數據也送入加法器191。加法器191將DR落在T1-255(包括T1和255)範圍內的累加次數、DR落在T2-255(包括T2和255)範圍內的累加次數以及預先存儲的次數數據相加，計算和。
DR落在T1-T2-1(包括T1和T2-1)範圍內的次數稱為S3,DR落在T2-255(包括T2和255)範圍內的次數稱為S4。那麼，DR落在T2-255(包括T2和255)範圍內的次數等於S4+S3+S2(對應於「q」為4位的代碼Q),DR落在T1-255(包括T1和255)範圍內的次數等於S3+S2(對應於「q」為3位的代碼Q)。由於S2(對應於「q」為2位的代碼Q)出現在所有ADRC塊中，所以可以將其預先存儲在信息量控制電路164中。當這些值通過加法器191相加在一起時，得到的輸出為S4+2*S3+3*S2。該輸出的總量與所分配的位被相乘和相加時得到的量相同。
將加法器191計算的總量通過寄存器192送入比較電路193的其中一個輸入端。將最大緩衝值送入比較電路193的另一個輸入端12。將總量與最大緩衝值相比較。根據比較電路193的比較結果，確定閾值使得總量變成等於或小於最大緩衝值。換言之，多組閾值預先存儲在閾值表165中，這帶來單調遞增和單調遞減，指定閾值以使總量落在目標內。
信息量控制電路164根據比較電路193的比較結果選擇MF選擇閾值、Q-位選擇閾值和表索引TI，並將它們輸出。
返回圖19，延遲電路166將雙幀塊(由4×16像素形成的ADRC塊)延遲相當於延遲電路161和信息量控制電路164的處理時間間隔的時間段，然後輸出到靜止塊發生電路167、延遲電路168和靜止/運動確定電路169。從雙幀塊(4×16像素形成的ADRC塊)中，靜止塊發生電路167得到偶數幀和奇數幀中位於屏幕同一位置上的像素的像素值的平均值，用得到的32個平均值作為新的ADRC塊，將其作為單幀塊(具有4×8像素的ADRC塊)送入選擇電路170。
延遲電路168將雙幀塊(由4×16像素形成的ADRC塊)延遲相當於靜止塊發生電路167處理時間間隔的時間段，然後將其送入選擇電路170。
從雙幀塊(4×16像素形成的ADRC塊)和閾值Th1和Th2形成的MF選擇閾值中，靜止/運動確定電路169產生附著到ADRC塊上的運動標誌MF，並將其送入選擇電路170和延遲電路172。
當運動標誌MF為1時，即當ADRC塊對應於運動畫面時，選擇電路170將從延遲電路168輸入的雙幀塊送入ADRC編碼器171，當運動標誌MF為0時，即當ADRC塊對應於靜止畫面時，將從靜止塊發生電路167輸入的單幀塊送入ADRC編碼器171。
ADRC編碼器171根據Q-位選擇閾值對選擇電路170發送的雙幀塊或單幀塊進行編碼，輸出動態範圍DR、最小值MIN、「q」和代碼Q。
延遲電路172根據選擇電路170的處理時間和ADRC編碼器171的處理時間對從靜止/運動確定電路169發送的運動標誌MF進行延遲。
延遲電路173根據延遲電路168的處理時間、選擇電路170的處理時間和ADRC編碼器171的處理時間對信息量控制電路164發送的表索引TI進行延遲，然後將其輸出。
如上所述，ADRC編碼電路103為每個ADRC塊產生動態範圍DR、像素值的最小值MIN、運動標誌MF和代碼Q，將它們與量化表的索引TI一起送入段間混洗電路104。
圖22示出了在段間混洗電路104中實現的混洗方法。如圖22所示，有三種混洗方法，混洗0、混洗1和混洗2。在混洗0中，不完成混洗。在混洗1中，用段-0(段-1)數據代替段-4(段-5)數據，用段-2(段-3)數據代替段-0(段-1)數據，用段-4(段-5)數據代替段-2(段-3)數據。
在混洗2中，用段-0(段-1)數據代替段-2(段-3)數據，用段-2(段-3)數據代替段-4(段-5)數據，段-4(段-5)數據代替段-0(段-1)數據。
圖23示出了對段1、段3和段5實現的動態範圍DR混洗的視圖。一個段由5個緩衝區形成，一個緩衝區包括88個ADRC塊。所以，一個段有440個DR。號碼1至440順序分配給包括在每段中的DR。在圖23中，在段1中具有號碼1的DR例如由DR1-1表示。
以混洗0、混洗1和混洗2的順序對DR進行混洗，使得將混洗0(無替換)應用於每段中具有號碼1的DR，將混洗1應用於具有號碼2的DR，將混洗2應用於具有號碼3的DR，將混洗0應用於具有號碼4的DR，以此類推。
也以同樣的方式對代碼Q進行混洗。以混洗1、混洗2和混洗0的順序對像素值的最小值MIN進行混洗，如圖24所示。也以混洗2、混洗0和混洗1的順序對運動標誌MF進行混洗，如圖25所示。
下面描述對量化表索引TI進行的混洗。存儲在段0中的TI也存儲在段3中，存儲在段3中的TI也存儲在段0中。換言之，段0和段3的每一個都存儲其自己的TI和另一段的TI。以同樣的方式，段1和段4的每一個都存儲其自己的TI和另一段的TI，段2和段5的每一個都存儲其自己的TI和另一段的TI。
由於按如上所述對動態範圍DR、像素值的最小值MIN和運動標誌MF進行混洗，所以即使出現通信錯誤且包括一些數據的包遭受損失，接收設備2也能根據解碼預定的ADRC塊時接收的其它數據恢復損失的數據。此外，由於對代碼Q進行混洗，所以即使出現通信錯誤且包括代碼Q的包遭受損失，與損失代碼Q相對應的像素得到疏散，接收設備2容易提取代碼Q。當解碼預定的ADRC塊時，容易根據被解碼的像素值生成丟失像素的像素值。
由於數據按如上所述在段間被混洗，接收設備2容易恢復數據並且容易生成丟失像素。即使包在傳輸路徑中遭受損失，接收設備2也能在再現時保持圖像品質。
從編碼電路15的段間混洗電路104輸出的數據輸入到分包電路17中被分包。圖26示出了包的結構。圖26所示的包由201個字節形成，更具體地說，由具有A×8M位的DR、具有B×8M位的MIN、具有C×8M位的MF、具有D×(8M/D)位的TI和具有8×N位的代碼Q(VL-數據)形成。
如上所述，由於動態範圍DR、像素值的最小值MIN、運動標誌MF、表索引TI和代碼Q具有8的倍數位，容易通過同樣的體系結構以字節為單位實現上述混洗而與包括在每個數據中的位數無關。上述說明和下述說明適用於當使用圖26所示的包結構時。
下面參考圖27所示的流程圖描述發送設備1的圖像傳輸過程。在步驟S11中，抽取部分13的A/D轉換電路42以預定採樣率對半幀頻為60Hz的輸入隔行掃描圖像信號進行採樣，輸出每一種都具有預定數據速率的Y數據、U數據和V數據。在步驟S12中，抽取濾波器43在水平和垂直方向上抽取一半Y數據、U數據和V數據，形成幀頻為30Hz的逐行掃描型數據。
在步驟S13中，UV垂直1/2電路45在垂直方向上抽取一半U數據和V數據。在步驟S14中，格式轉換電路14將Y數據、U數據和V數據轉換為適於編碼電路15的格式。
在步驟S15中，編碼電路15對從格式轉換電路14發送的Y數據、U數據和V數據進行混洗，對它們進行編碼，進一步對它們進行混洗，然後輸出到分包電路17。在步驟S16中，分包電路17將從編碼電路15發送的數據分包，輸出到發送電路19。在步驟S17中，發送電路19通過預定方法發送分包電路17發送的包，然後終止該過程。
如上所述，發送設備1壓縮輸入圖像信號並輸出包。
下面描述接收設備2。圖28示出了接收設備2的結構方框圖。通過接收電路301接收的包送入包分解電路302。當在接收到的包中丟失數據時，接收電路301在包中以數據的位為單位設置丟失標誌。包分解電路302將發送的包臨時存儲在外部存儲器303中，分解臨時存儲在外部存儲器303中的包以取出包括在包中的數據，將其與丟失標誌一起送入解碼電路304中。可以增加丟失標誌以便使其以8位為單位附著到代碼Q上，並將其附著到動態範圍DR、像素值的最小值MIN和運動標誌MF的每一個上。
解碼電路304將從包分解電路302發送的數據臨時存儲在外部存儲器305中，解碼通過ADRC方法編碼且臨時存儲在外部存儲器305中的數據，然後送入格式轉換電路306中。如果解碼所需的數據例如動態範圍DR和最小值MIN丟失，則解碼電路304恢復丟失的數據並實現解碼。當成功完成解碼時，解碼電路304復位相應的丟失標誌。
格式轉換電路306將解碼電路304發送的數據臨時存儲在外部存儲器307中，將在格式轉換電路14中完成的過程的逆過程應用於臨時存儲在外部存儲器307中的數據，然後將數據送入丟失像素生成電路308。
丟失像素生成電路308根據格式轉換電路306發送的數據，對位於丟失像素周圍(即，空間上或沿時間軸在其附近)的像素的像素值作分類自適應處理，產生在傳輸過程中丟失的像素數據，然後將丟失像素的數據送入格式轉換電路310。當啟動接收設備2時，初始化電路309將係數組及其他送入丟失像素生成電路308。
格式轉換電路310將丟失像素生成電路308發送的數據臨時存儲在外部存儲器311中，將臨時存儲在外部存儲器311中的數據轉換為可以通過四倍密度解析度生成電路312進行處理的幀頻為30Hz的逐行掃描型3∶0.5∶0.5圖像數據，然後將轉換後的數據送入四倍密度解析度生成電路312。
四倍密度解析度生成電路312生成其密度是從格式轉換電路310發送的圖像數據密度的四倍的圖像數據，然後將其送入內插部分314。初始化電路313將係數組及其他送入四倍密度解析度生成電路312。
內插部分314由格式轉換電路331、外部存儲器332、UV垂直倍頻電路333、外部存儲器334、D/A轉換電路335和後置濾波器336形成。
格式轉換電路331接收四倍密度解析度生成電路312發送的數據，將其臨時存儲在外部存儲器332中，將臨時存儲在外部存儲器332中的數據轉換為可以通過UV垂直倍頻電路333進行處理的幀頻為30Hz的逐行掃描型3∶0.5∶0.5圖像數據，然後將轉換後的數據送入UV垂直倍頻電路333。
UV垂直倍頻電路333將格式轉換電路331發送的數據臨時存儲在外部存儲器334中，在垂直方向上內插臨時存儲在外部存儲器334中的數據的U數據和V數據中的數據以便具有兩倍的數據數，然後將Y數據、U數據和V數據送入D/A轉換電路335。
D/A轉換電路335將UV垂直倍頻電路333發送的Y數據、U數據和V數據轉換成模擬Y信號、模擬U信號和模擬V信號，然後將它們輸出到後置濾波器336。後置濾波器336用作僅讓從D/A轉換電路335輸出的模擬Y信號、模擬U信號和模擬V信號的有效分量通過的濾波器(所謂的sinX/X濾波器)。通過後置濾波器336的Y數據、U數據和V數據送入NTSC編碼器315，或者作為接收設備2的輸出被輸出。
NTSC編碼器315根據輸入Y、U和V信號產生分量信號(Y/C信號)和複合視頻信號，然後將它們輸出。
PLL電路316產生用作每個電路處理的參考的參考信號，將其送入控制電路317。控制電路317將產生的控制信號送入包分解電路302、解碼電路304、格式轉換電路306、丟失像素生成電路308、格式轉換電路310、四倍密度解析度生成電路312、內插電路314和NTSC編碼器315，以控制整個接收設備2的操作。
下面參考圖29描述在輸出隔行掃描信號的情況下通過接收設備2接收的圖像數據的擴展過程。通過解碼電路304解碼的圖像數據被轉換成每幀在水平方向上有264個像素、在垂直方向上有240個像素的逐行掃描型Y數據和每幀具有88像素×120像素的逐行掃描型U數據和V數據，所有數據的幀頻都為30Hz。
通過丟失像素生成電路308為從格式轉換電路306輸出、組成一幀的Y數據、U數據和V數據生成丟失像素。然後，通過四倍密度解析度生成電路312將Y數據、U數據和V數據轉換成半幀頻為60Hz的第一隔行掃描半幀和第二隔行掃描半幀。Y數據每半幀在水平方向有528個像素，在垂直方向有240個像素。U數據和V數據每半幀在水平方向有176個像素，在垂直方向有120個像素。
從四倍密度解析度生成電路312輸出的Y數據、U數據和V數據通過格式轉換電路331轉換成每幀在水平方向有528個像素、在垂直方向有480個像素的Y數據，以及每幀在水平方向有176個像素、在垂直方向有240個像素的U數據和V數據。
U數據和V數據通過UV垂直倍頻電路333進一步轉換為每幀在水平方向有176個像素、在垂直方向有480個像素的數據。D/A轉換電路335實現模數轉換，將Y數據轉換為模擬Y信號，將U數據和V數據轉換為模擬U信號和模擬V信號。
如上所述，內插部分314實現與抽取部分13的處理相對應的處理，從以降低到實用值的位速率傳輸的數據中重新生成具有足夠圖像品質的原始圖像。
如上所述，接收設備2擴展接收到的圖像數據並輸出隔行掃描Y、U和V信號。
下面描述解碼電路304。圖30示出了解碼電路304的結構方框圖。將從控制電路317發送的控制信號輸入定時信號發生電路351。定時信號發生電路351產生定時信號並將其送入段間混洗還原電路352、q-位和MF恢復電路353、DR和MIN恢復電路354、ADRC解碼電路355、塊混洗還原電路356和可恢復錯誤確定電路357。
從包分解電路302發送的數據輸入段間混洗還原電路352。段間混洗還原電路352執行與圖9所示的發送設備1的段間混洗電路104的過程相反的過程，從而將混洗數據的次序還原到原始的次序。當混洗還原後的數據沒有丟失部分時，段間混洗還原電路352將混洗還原後的數據送入ADRC解碼電路355。如果混洗還原後的數據有丟失部分，則段間混洗還原電路352將混洗還原後的數據送入q-位和MF恢復電路353以及DR和MIN恢復電路354。如果遍及數段的多個塊的數據有錯誤，則段間混洗還原電路352向塊混洗還原電路356輸出連續錯誤信號。
q-位和MF恢復電路353用其中保持相鄰像素之間的相關性的壓縮代碼Q，得到使在三個連續ADRC塊最大值中像素的像素值之間存在相關性的、「q」值和運動標誌MF的組合，將該值作為正確的「q」和正確的運動標誌MF輸出到DR和MIN恢復電路354。q-位和MF恢復電路353將用於確定運動標誌MF是否正確的emin1和emin2(相鄰像素之差的最小值和次最小值)送入可恢復錯誤確定電路357。
圖31示出了q-位和MF恢復電路353的結構方框圖。從段間混洗還原電路352發送的混洗還原後的數據送入q-位和MF取出電路371。
q-位和MF取出電路371從發送的數據中取出「q」和運動標誌MF，將它們送入三塊估計值計算電路372-1至372-6。如果「q」和運動標誌MF由於錯誤而丟失，則q-位和MF取出電路371將「q」和運動標誌MF的可能組合送入三塊估計值計算電路372-1至372-6。
例如，三塊估計值計算電路372-1接收的「q」為2、運動標誌MF為0，三塊估計值計算電路372-2接收的「q」為3、運動標誌MF為0，三塊估計值計算電路372-3接收的「q」為4、運動標誌MF為0。三塊估計值計算電路372-4接收的「q」為2、運動標誌MF為1，三塊估計值計算電路372-5接收的「q」為3、運動標誌MF為1，三塊估計值計算電路372-6接收的「q」為4、運動標誌MF為1。
三塊估計值計算電路372-1至372-6通過利用根據「q」和運動標誌MF從取出的代碼Q解碼的像素值，在彼此相鄰的像素的像素值之差的基礎上計算估計值(LE線性誤差)，然後將估計值與「q」和運動標誌MF一起送入選擇器373。當不必要獨立區分三塊估計值計算電路372-1至372-6時，將它們統稱為三塊估計值計算電路372。
每個估計值由表達式(1)計算。估計值越小，像素的相關度就越高。LE=j=02i=1Nj|offesetj+Qi,j24-qi,j-Qi,j24-qi,j|]]>其中，Qi,j表示包括在要恢復的ADRC塊中的無丟失代碼Q,Q′i,j表示包括在圖12和圖13中所示的64個像素形成的另一個ADRC塊中的代碼Q，包括組成其中包括Qi,j的ADRC塊的像素。例如，當Qi,j包括在圖15所示的號碼為0的偶數段ADRC塊中時，Q′i,j包括在號碼為3的奇數段ADRC塊中。當Qi,j包括在圖15所示的號碼為4的偶數段ADRC塊中時，Q′i,j包括在號碼為1的奇數段ADRC塊中。qi,j表示用於取出Qi,j的q,q′i,j表示用於取出Q′i,j的q。Nj表示包括在ADRC塊中的未丟失代碼Q的數量。「j」表示用於識別計算估計值的三個ADRC塊中每個塊的號碼。
offsetj用於消除三個ADRC塊中動態範圍與q之間的差，以計算更準確的估計值，並通過表達式(2)、(3)和(4)計算offsetj=(Xj24-qj-Yj24-qj)/128------(2)]]>Xj=i=1NjQi,j------(3)]]>Yj=i=1NjQi,j----(4)]]>選擇器373在三塊估計值計算電路372-1至372-6發送的估計值中選擇最小估計值和次最小估計值，將它們作為emin1和emin2送入可恢復錯誤確定電路357。
選擇器373讀出從三塊估計值計算電路372-1至372-6中輸出最小估計值的三塊估計值計算電路輸出的「q」和運動標誌MF，然後將它們作為q-位和MF恢復電路353的輸出送入DR和MIN恢復電路354。
如圖11所示，DR和MIN恢復電路354根據從q-位和MF恢復電路353發送的正確q和正確運動標誌MF以及根據從段間混洗還原電路352發送的相應ADRC塊，得到每個ADRC塊的正確動態範圍DR和每個ADRC塊的像素值的最小值MIN，然後將它們輸出到ADRC解碼電路355。
下面參考圖32、圖33、圖34A和圖34B描述DR和MIN恢復電路354為恢復動態範圍DR或像素值的最小值MIN實現的處理過程。根據ADRC方法，在表達式(5)表示的過程中，通過從代碼Q中解碼獲得像素值L。
L=DR/(2Q)*q+MIN(5)如圖32所示，「q」和像素值L之間的關係由斜率為DR/(2Q)、截距為像素值的最小值MIN的直線表示。
從ADRC塊中的幾組(q,L)中統計得到表達式(5)中的DR/(2Q)和像素值的最小值MIN。假設圖33所示的(q,L)的回歸直線與表達式(5)所表示的直線相同。
如果「b」已知，則通過表達式(6)計算「a」。
a=(B-nb)/A(6)如果「a」已知，通過表達式(7)計算「b」。
b=(B-Aa)/n(7)其中，n表示點(q,L)的數目，A表示∑x,B表示∑y。
通過表達式(8)計算動態範圍DR。
DR=(∑L′-N*MIN)/(∑q)*2Q=(((DR＇/2Q＇)*Y)+N*MIN＇-N*MIN)/X*2Q=(N*(MIN＇-MIN)*2Q＇+DR＇*Y)*2Q/(X*2Q＇)(8)如圖34A所示，當沒有丟失像素且與動態範圍DR或像素值的最小值MIN要恢復的塊相鄰的塊數稱為ni時，N等於∑ni。在圖34A和34B中，陰影線方塊表示動態範圍DR或像素值的最小值MIN要恢復的塊。在圖34A和34B中，無陰影線方塊表示沒有丟失數據的塊。當動態範圍DR或像素值的最小值MIN要恢復的塊缺少「q」時，如圖34B所示，ni為0。
DR＇表示沒有丟失像素且與要恢復的塊相鄰的塊的動態範圍。MIN＇表示沒有丟失像素且與要恢復的塊相鄰的塊的像素值的最小值。Q＇表示沒有丟失像素且與要恢復的塊相鄰的塊的代碼Q。
X由表達式(9)表示。X=Nqi------(9)]]>Y由表達式(10)表示。Y=Nqi----(10)]]>像素值的最小值MIN通過表達式(11)計算。
MIN=(∑L′-∑q*(DR/2Q))
=((DR＇/2Q＇)*Y+N*MIN＇-(DR/2Q)*X)/N=(N*MIN＇*2Q＇+Q+DR＇*Y*2Q-DR*X*2Q＇)/(N*2Q＇+Q)(11)當混洗還原的數據沒有丟失部分時，ADRC解碼電路355根據從段間混洗還原電路352發送的數據對代碼Q進行解碼，將作為解碼結果得到的Y數據、U數據和V數據送入塊混洗還原電路356。
當「q」或運動標誌MF丟失，和q-位和MF恢復電路353已經得到正確的「q」和正確的運動標誌MF時，ADRC解碼電路355根據經DR和MIN恢復電路發送的正確的「q」和正確的運動標誌MF、動態範圍DR、和每個塊中像素值的最小值MIN對DR和MIN恢復電路354發送的代碼Q進行解碼；將作為解碼結果得到的Y數據、U數據和V數據與值為0的對應於Y數據、U數據和V數據的錯誤標誌一起送入塊混洗還原電路356。
當「q」或運動標誌MF丟失，和q-位和MF恢復電路353不能得到正確的「q」和正確的運動標誌MF時，ADRC解碼電路355將對應於代碼Q的Y數據、U數據和V數據的錯誤標誌設為1，並將它們送入塊混洗還原電路356。
當動態範圍DR或像素值的最小值MIN丟失，和DR和MIN恢復電路354已經得到正確的動態範圍DR和正確的像素值最小值MIN時，ADRC解碼電路355根據經DR和MIN恢復電路發送的「q」和運動標誌MF、正確的動態範圍DR和正確的像素值最小值MIN對DR和MIN恢復電路354發送的代碼Q進行解碼；將作為解碼結果得到的Y數據、U數據和V數據與值為0的對應於Y數據、U數據和V數據的錯誤標誌一起送入塊混洗還原電路356。
當動態範圍DR或像素值的最小值MIN丟失，和q-位和MF恢復電路353不能得到正確的動態範圍DR或正確的像素值最小值MIN時，ADRC解碼電路355將對應於代碼Q的Y數據、U數據和V數據的錯誤標誌設為1並將它們送入塊混洗還原電路356。
可恢復錯誤確定電路357根據q-位和MF恢復電路353發送的emin1和emin2設置可恢復錯誤確定標誌Fd，將其輸出到塊混洗還原電路356，並停止更新存儲在外部存儲器305中、對應於前一幀的像素的Y數據、U數據和V數據。
當塊混洗還原電路356從ADRC解碼電路355接收設為0的錯誤標誌、Y數據、U數據和V數據時，塊混洗還原電路356將它們存儲起來。當塊混洗還原電路356從ADRC解碼電路355接收設為1的錯誤標誌、Y數據、U數據和V數據時，塊混洗還原電路356僅存儲錯誤標誌，不存儲Y數據、U數據和V數據。當塊混洗還原電路356從可恢復錯誤確定電路357或段間混洗還原電路352接收連續錯誤信號時，塊混洗還原電路356停止更新存儲在外部存儲器305中、對應於前一幀的像素的Y數據、U數據和V數據。
塊混洗還原電路356重新排列Y數據、U數據和V數據，使得它們通過與圖9所示的發送設備1的塊混洗電路102實現的處理過程相反的處理過程得到原始的順序。
如上所述，即使解碼所需的「q」、運動標誌MF、動態範圍DR或像素值的最小值MIN丟失，由於q-位和MF恢復電路353和DR和MIN恢復電路354恢復丟失的數據，因此解碼電路304能執行解碼。
如果出現可恢復錯誤，由於存儲在外部存儲器305中的像素值未得到更新且輸出四幀前存儲的像素值，當不發生運動時，輸出像素值不產生不調和的印象。
下面參考圖35和圖36所示的時序圖描述解碼電路304的處理時序。圖35示出了當從段間混洗還原電路352輸出的數據沒有丟失部分時使用的解碼電路304的示範性處理時序。段間混洗還原電路352實現混洗還原處理，在經過預定時間間隔(從圖35中輸入的起點開始362個時鐘)之後，將混洗還原的數據輸出到ADRC解碼電路355。ADRC解碼電路355對從段間混洗還原電路352發送的數據進行解碼，並將其輸出。
圖36示出了當從段間混洗還原電路352輸出的數據有丟失部分時使用的解碼電路304的示範性處理時序。段間混洗還原電路352實現混洗還原處理，在比如果數據沒有丟失部分而將數據送入ADRC解碼電路355的時候早的時刻(從圖36中輸入起點開始123個時鐘)將混洗還原的數據輸出到q-位和MF恢復電路353。q-位和MF恢復電路353在預定時刻將「q」和運動標誌MF送入DR和MIN恢復電路354。
在與當數據沒有丟失部分時段間混洗還原電路352將數據送入ADRC解碼電路355時相同的時刻，DR和MIN恢復電路354將動態範圍和像素值的最小值送入ADRC解碼電路355。
所以，即使「q」、運動標誌MF、動態範圍DR或像素值的最小值MIN得到恢復，解碼電路304也能在與段間混洗還原電路352輸出的數據沒有丟失部分時相同的時刻解碼和輸出數據。
如上所述，即使解碼所需的預定數據丟失了，由於q-位和MF恢復電路353以及DR和MIN恢復電路354恢復丟失的數據，因此解碼電路304仍能實現解碼。當輸入用於選擇在解碼電路304中不實現錯誤處理的模式(用戶可選模式)的信號時，q-位和MF恢復電路353或DR和MIN恢復電路354不執行數據恢復。
下面參考圖37A、圖37B、圖38A和圖38B描述塊混洗還原電路356的數據輸出時序。
傳統上，在圖37A和圖37B所示的方法中有兩個存儲兩幀圖像的存儲器單元；當向一個存儲器單元寫入數據時，如圖37A所示，從另一個存儲器單元讀出數據；當處理完兩幀圖像時，如圖37B所示，將數據寫入另一個存儲器單元並從一個存儲器單元讀出數據。
相反，在本發明中，外部存儲器305配置了每個存儲兩個幀的兩個存儲體(圖中為存儲體1和存儲體2)；當相應於三個ADRC塊的圖像數據從ADRC解碼電路355發送時，塊混洗還原電路356把它寫入存儲體1中，如圖38A所示；當不從ADRC解碼電路355發送圖像數據時(如在圖36中從輸入開始到第364塊的時段中)，塊混洗還原電路356指定地址來從存儲體2讀出塊混洗還原的數據。對於下面的兩個幀，當從ADRC解碼電路355發送相應於三個ADRC塊的圖像數據時，塊混洗還原電路356把它寫入存儲體2中；當不從ADRC解碼電路355發送圖像數據時，塊混洗還原電路356從存儲體1讀出塊混洗還原的數據。
藉助於上述操作，圖像數據在為塊混洗還原電路356提供一個外部存儲器305的結構中被塊混洗還原和輸出。
圖39是可恢復錯誤確定電路357的結構方框圖。從q-位和MF恢復電路353發送的最小估計值emin1和次最小估計值emin2輸入到差計算電路431。差計算電路431計算輸入的emin1和emin2的差，並輸出到延遲電路432。延遲電路432把差計算電路431發送來的數據延遲預定時間段，並輸出到加法器435和延遲電路433。
延遲電路433把延遲電路432發送來的數據延遲預定時間段，並輸出到加法器435和延遲電路434。
延遲電路434把延遲電路433發送來的數據延遲預定時間段，並輸出到加法器435和確定電路437。
加法器435把延遲電路432發送來的數據、延遲電路433發送來的數據和延遲電路434發送來的數據相加，並把和發送到確定電路436。
確定電路436確定加法器435發送來的數據是否等於或小於預先確定的閥值Te1。當確定電路436確定加法器435發送來的數據等於或小於閥值Te1時，確定電路436輸出值1到AND電路438。當確定電路436確定加法器435發送來的數據大於閥值Te1時，確定電路436輸出值0到AND電路438。
確定電路437確定加法器434發送來的數據是否等於或小於預先確定的閥值Te2。當確定電路437確定加法器434發送來的數據等於或小於閥值Te2時，確定電路437輸出值1到AND電路438。當確定電路437確定加法器434發送來的數據大於閥值Te2時，確定電路437輸出值0到AND電路438。
當確定電路436發送來的數據為1並且確定電路437發送來的數據為1時，AND電路438輸出值1到保持電路439。當確定電路436發送來的數據為0或確定電路437發送來的數據為0時AND電路438輸出值0到保持電路439。
保持電路439保持輸入數據直到輸入復位信號，並且輸出到延遲電路440。延遲電路440把保持電路439輸出的數據延遲預定時間段，發送到保持電路439，並輸出到塊混洗還原電路356，作為恢復確定標誌Fd。
如上所述，當三個ADRC塊的估計值emin1和估計值emin2之間的差的累加值等於或小於閥值Te1並且ADRC塊的估計值emin1和估計值emin2之間的差等於或小於閥值Te2時，也就是說，當估計值emin1和估計值emin2之間的差很小並且很有可能恢復的「q」和恢復的運動標誌MF不正確時，可恢復錯誤確定電路357把恢復確定標誌Fd設置成1。
接著說明在塊混洗還原電路356中臨時存儲ADRC解碼電路355解碼的數據並讀出數據的過程。當從包分解電路302發送的數據具有丟失部分時，段間混洗還原電路352把數據的錯誤標誌設置為1；當從包分解電路302發送的數據沒有丟失部分時，段間混洗還原電路352把數據的錯誤標誌設置為0；段間混洗還原電路352以ADRC塊為單位把代碼Q和錯誤標誌輸出到ADRC解碼電路355。ADRC解碼電路355解碼代碼Q並與把Y數據、U數據和V數據與錯誤標誌一起輸出到塊混洗還原電路356。
當錯誤標誌為0時，塊混洗還原電路356在外部存儲器305中存儲Y數據、U數據、V數據和錯誤標誌。當錯誤標誌為1時，塊混洗還原電路356在外部存儲器305中存儲錯誤標誌並不存儲Y數據、U數據或V數據。
外部存儲器305有兩個存儲體，每一個存儲兩幀的Y數據、U數據、V數據和錯誤標誌。每兩幀切換外部存儲器305的存儲體一次。因此，當錯誤標誌為1時，外部存儲器305存儲四幀前的幀的Y數據、U數據和V數據。
圖40是當可恢復錯誤確定電路357輸出的恢復確定標誌Fd為1時通過塊混洗還原電路356實現的過程圖。當從q-位和MF恢復電路353發送的最小估計值emin1和次最小估計值emin2之間的差等於或小於預定值並且包括ADRC塊的3個連續ADRC塊的emin1和emin2之差的和等於或小於預定值時，q-位和MF恢復電路353確定「q」恢復不成功，因此，確定數據取出也不成功。在這種情況下，可恢復錯誤確定電路357輸出1的恢復確定標誌Fd。
當可恢復錯誤確定電路357輸出1的恢復確定標誌Fd時，塊混洗還原電路356確定從後續緩衝區(每個緩衝區具有88個ADRC塊)取出數據不成功，把後面要發送的錯誤標誌設置為1，並在外部存儲器305中存儲錯誤標誌。在用戶可選擇的逃逸模式中，數據存儲在外部存儲器305中。
圖41是當段間混洗還原電路353輸出連續錯誤信號時通過塊混洗還原電路356實現的過程圖。當段間混洗還原電路353確定偶數ADRC塊和相應的奇數ADRC塊都丟失時，段間混洗還原電路353輸出連續錯誤信號。由於相鄰像素的像素值的相關性用於q-位和MF恢復電路353實現的「q」和運動標誌MF的恢復過程中，當偶數ADRC塊和相應的奇數ADRC塊都丟失時，q-位和MF恢復電路353不能執行恢復過程。當發送連續錯誤信號時，塊混洗還原電路356確定從後續緩衝區(每個緩衝區具有88個ADRC塊)取出數據不成功，把後面要發送的錯誤標誌設置為1，在外部存儲器305中存儲錯誤標誌，不在外部存儲器305中存儲後面接收到的解碼數據。
圖42是在用戶可選擇的灰度模式下通過塊混洗還原電路356實現的過程圖。在灰度模式，塊混洗還原電路356把錯誤標誌為1的數據設置成灰度(不把所有的Y,U和V數據設置成128而僅把相應的數據設置成128)並輸出該數據。
圖43和圖44是在塊混洗還原電路356中與用戶可選擇去恢復輸入(當用戶操作未示出的預定開關時要輸入的信號)相對應的過程圖。當發送去恢復輸入1時，如果ADRC解碼電路355不使用q-位和MF恢復電路353來解碼Y數據，U數據和V數據，塊混洗還原電路356在外部存儲器305中存儲解碼的Y數據，U數據和V數據，如圖43所示。如圖44所示，如果q-位和MF恢復電路353恢復「q」和運動標誌，塊混洗還原電路356不在外部存儲器305中存儲解碼的Y數據，U數據或V數據，而把所有的相應錯誤標誌設置為1。通過改變去恢復輸入容易確認q-位和MF恢復電路353所作的恢復效果。
圖45是在塊混洗還原電路356中與逃逸信號(當用戶操作未示出的預定開關時輸入的信號)相對應的過程圖。當發送逃逸信號時，即使把恢復確定標誌設置Fd為1，塊混洗還原電路356也不強行把後面要發送的錯誤標誌設置為1，把錯誤標誌存儲在存儲器中，並在該存儲器中存儲後面發送的解碼Y數據，U數據和V數據。通過改變逃逸信號容易確認塊混洗還原電路356的隱藏處理的效果。
圖46和圖47是在塊混洗還原電路356中執行解碼數據輸出過程的流程圖。在步驟S31，段間混洗還原電路352接收由接收電路301產生的錯誤標誌，並發送到ADRC解碼電路355。ADRC解碼電路355把從段間混洗還原電路352發送的錯誤標誌輸出到塊混洗還原電路356。塊混洗還原電路356接收錯誤標誌。
在步驟S32，塊混洗還原電路356選擇相應於緩衝區(預定88個ADRC塊)的、從ADRC解碼電路355發送來的第一錯誤標誌。在步驟S33，塊混洗還原電路356確定從段間混洗還原電路352發送的連續錯誤信號是否為0。當確定連續錯誤信號為0時，過程進行到步驟S34，並確定從可恢復錯誤確定電路357發送的恢復確定標誌Fd是否為0。當在步驟S34確定恢復確定標誌Fd為0時，過程進行到步驟S35，並且塊混洗還原電路356在外部存儲器305中存儲錯誤標誌。
當在步驟S33確定連續錯誤信號為1時，或當在步驟S34確定恢復確定標誌Fd為1時，由於取出數據失敗，過程進行到步驟S47，塊混洗還原電路確定逃逸信號是否斷開。當確定逃逸信號斷開時，過程進行到步驟S48，在步驟S32選擇的錯誤標誌被設置為1，過程進行到步驟S35，並且塊混洗還原電路356在外部存儲器305中存儲錯誤標誌。
當在步驟S47確定逃逸信號接通時，由於未設置錯誤標誌，過程跳過步驟S48並且進行到步驟S35，塊混洗還原電路356在外部存儲器305中存儲錯誤標誌。
在步驟S36中，塊混洗還原電路356確定對應於緩衝區的所有錯誤標誌是否得到了處理。當確定為所有錯誤標誌都得了處理時，過程進行到步驟S37，塊混洗還原電路356從ADRC解碼電路接收解碼的Y數據、U數據和V數據。
當在步驟S36確定還沒有處理完緩衝區的所有錯誤標誌時，過程進行到步驟S49，塊混洗還原電路356選擇下一個錯誤標誌，過程進行到步驟S33並且重複錯誤標誌設置。
在步驟S38中，塊混洗還原電路356選擇從ADRC解碼電路355發送來的緩衝區的第一解碼數據。
在步驟S39中，塊混洗還原電路356確定從段間混洗還原電路352發送的連續錯誤信號是否為0。當確定連續錯誤信號為0時，過程進行到步驟S40，並確定相應於所選解碼數據的錯誤標誌是否為0。當確定相應於所選解碼數據的錯誤標誌為0時，過程進行到步驟S41，並且塊混洗還原電路356在外部存儲器305中存儲所選解碼Y數據、U數據和V數據。接著，過程進行到步驟S42。
當在步驟S39確定連續錯誤信號為1時，或當在步驟S40確定相應於所選解碼數據的錯誤標誌為1時，由於數據丟失了，過程跳過步驟S41進行到步驟S42。
在步驟S42中，塊混洗還原電路356確定緩衝區的所有解碼數據是否都得到了處理。當確定為緩衝區的所有解碼數據都得到了處理時，過程進行到步驟S43。
在步驟S42中，當確定還沒有處理完緩衝區(88個ADRC塊)的所有解碼數據時，過程進行到步驟S50，塊混洗還原電路356選擇下一個數據。之後過程返回到步驟S39並重複存儲解碼數據。
在步驟S43中，塊混洗還原電路356選擇存儲在外部存儲器305中的第一數據。在步驟S44中，塊混洗還原電路356確定錯誤標誌是否為1並且模式是否為灰度模式。當確定錯誤標誌為0或模式不是灰度模式時，過程進行到步驟S45，並且把選擇的數據輸出到格式轉換電路306。
在步驟S44中，當確定確定錯誤標誌為1並且模式為灰度模式時，過程進行到步驟S51，並且塊混洗還原電路356把灰度數據輸出到格式轉換電路306。之後過程進行到步驟S46。
在步驟S46中，塊混洗還原電路356確定存儲在外部存儲器305的存儲體中的所有數據是否都得到了處理。當確定為存儲在外部存儲器305中的所有數據都已經得到了處理時，過程結束。
在步驟S46，當確定為存儲在外部存儲器305中的所有數據還沒有全部得到處理時，過程進行到步驟S52，並且塊混洗還原電路356選擇存儲在外部存儲器305的存儲體中的下一個數據。之後，過程返回到步驟S44，並且重複數據輸出。
如上所述，即使代碼Q丟失了，塊混洗還原電路356也輸出給出最小不調和印象的數據。
下面參考圖48所示的流程圖描述在未示出的用戶可選擇的去恢復開關為0(斷開)時由塊混洗還原電路356實現的輸出數據的過程。在步驟S71中，段間混洗還原電路352接收由接收電路301產生的錯誤標誌，並發送它們到ADRC解碼電路355。ADRC解碼電路355把從段間混洗還原電路352發送來的錯誤標誌輸出到塊混洗還原電路356，並且塊混洗還原電路356接收錯誤標誌。
在步驟S72中，塊混洗還原電路356確定「q」和運動標誌及其它是否已經被q-位和MF恢復電路353和其它電路恢復。當確定「q」和運動標誌及其它中沒有一個被恢復時，過程進行到步驟S73，並且錯誤標誌被存儲在外部存儲器305中。
在步驟S72中，當確定「q」和運動標誌以及其它的已經被恢復時，過程進行到步驟S78，並且塊混洗還原電路356設置所有恢復的錯誤標誌為1。之後，過程進行到步驟S73。
在步驟S74中，塊混洗還原電路356從ADRC解碼電路355接收解碼的Y數據、U數據和V數據。
在步驟S75中，塊混洗還原電路356確定「q」和運動標誌及其它是否已經被q-位和MF恢復電路353和其它電路恢復。當確定「q」和運動標誌及其它中沒有一個被恢復時，過程進行到步驟S76，並且存儲在步驟S74中接收到的Y數據、U數據和V數據。
在步驟S75中，當確定「q」和運動標誌及其它已經被恢復時，過程跳過步驟S76。不存儲Y數據、U數據和V數據，並且過程進行到步驟S77。
在步驟S77中，塊混洗還原電路356把存儲在外部存儲器305中的Y數據、U數據和V數據以及錯誤標誌輸出到格式轉換電路306，並且結束過程。
如上所述，當去恢復輸入為1時，塊混洗還原電路356不輸出恢復的數據。
如上所述，即使解碼需要的預定數據丟失了，由於q-位和MF恢復電路353和DR和MIN恢復電路354恢復丟失的數據，解碼電路304可實現解碼。另外，如果不能實現解碼，解碼電路304可輸出給出最小不調和印象的數據。而且，恢復效果可容易地通過設置去恢復輸入為1來確認。
下面描述丟失像素生成電路308。當丟失像素生成電路308再現逐行掃描型圖像時，丟失像素生成電路308根據位於同一幀(幀「t」)中、要生成像素值的像素周圍的像素的像素值，以及在水平方向和垂直方向上與要生成像素值的像素周圍的像素位於相同位置上的、一幀之前的幀(幀「t-1」)中的像素的像素值，通過分類自適應處理產生丟失像素的像素值及其它，如圖49A所示。丟失像素生成電路308還根據位於同一半幀(半幀「t」)中、要生成像素值的像素周圍的像素的像素值，在水平方向和垂直方向上與要生成像素值的像素周圍的像素位於相同位置上的、一個半幀之前的半幀(半幀「t-1」)中的像素的像素值，以及在水平方向和垂直方向上與要生成像素值的像素周圍的像素位於相同位置上的、二個半幀之前的半幀(半幀「t-2」)中的像素的像素值，通過分類自適應處理產生丟失像素的像素值及其它，如圖49B所示。
圖50是丟失像素生成電路308的結構方框圖。輸入到丟失像素生成電路308的數據，即像素值和代表像素丟失的錯誤標誌，發送到預處理電路501和抽頭結構電路502-1。
預處理電路501根據輸入像素值和代表像素丟失的錯誤標誌，通過線性內插濾波器產生丟失像素的值，把該值指定給丟失像素，並發送到抽頭結構電路502-2到502-5。像素值也被叫作抽頭數據。
下面參考圖51的流程圖描述預處理電路501的處理。在步驟S131中，預處理電路501根據錯誤標誌確定要處理的像素是否丟失。當確定為要處理的像素沒有丟失時，過程進行到S132，將要處理的像素的像素值指定給要處理的像素，並且結束過程。
當在步驟S131中確定要處理的像素丟失時，過程進行到步驟S133，並且預處理電路501根據錯誤標誌確定在水平方向上與要處理的像素相鄰的任何像素是否丟失。當在步驟S133確定在水平方向上與要處理的像素相鄰的任何像素沒有丟失時，過程進行到步驟S134，預處理電路501把要處理的像素的像素值設置為在水平方向上與要處理的像素相鄰的兩個像素的像素值的平均值，並且結束過程。
在步驟S133中，當確定在水平方向上與要處理的像素相鄰的一些像素丟失時，過程進行到步驟S135，預處理電路501確定在水平方向上與要處理的像素相鄰的兩個像素是否都丟失了。在步驟S135中，當確定在水平方向上與要處理的像素相鄰的兩個像素中有一個沒有丟失時，過程進行到步驟S136，預處理電路501把要處理的像素的像素值設置為在水平方向上與要處理的像素相鄰的沒有丟失的那個像素的像素值。
在步驟S135中，當確定在水平方向上與要處理的像素相鄰的兩個像素都丟失時，過程進行到步驟S137，預處理電路501根據錯誤標誌確定在垂直方向上與要處理的像素相鄰的一些像素是否丟失了。在步驟S137中，當確定在垂直方向上與要處理的像素相鄰的任何像素沒有丟失時，過程進行到步驟S138，預處理電路501把要處理的像素的像素值設置為在垂直方向上與要處理的像素相鄰的兩個像素的像素值的平均值，並且結束過程。
在步驟S137中，當確定在垂直方向上與要處理的像素相鄰的像素中有一些丟失時，過程進行到步驟S139，預處理電路501確定在垂直方向上與要處理的像素相鄰的所有像素都丟失了。在步驟S139中，當確定在垂直方向上與要處理的像素相鄰的像素中有一些沒有丟失時，過程進行到步驟S140，預處理電路501把要處理的像素的像素值設置為與要處理的像素相鄰的沒有丟失的像素的像素值，並且結束過程。
在步驟S139中，當確定與要處理的像素相鄰的所有像素都丟失時，過程進行到步驟S141，預處理電路501把要處理的像素的像素值設置為在前一幀中位於與要處理的像素相同位置上的像素的像素值，並且結束過程。
如上所述，預處理電路501通過使用其周圍像素的像素值線性內插要處理的像素的像素值。藉助於預處理電路501實現的這種內插處理，可在後續過程中使用的抽頭的範圍被擴展了。
抽頭結構電路502-1至502-5發送抽頭數據和其它到運動類發生電路503、DR類發生電路504、空間類發生電路505和丟失類發生電路506。
運動類發生電路503根據從初始化電路309發送來的參數和從抽頭結構電路502-1發送來的錯誤標誌和所選抽頭產生運動類代碼和靜態/運動標誌，並把它們輸出到抽頭結構電路502-2至502-5以及類合成電路507。運動類代碼具有2位，代表運動量，靜態/運動標誌具有1位，代表是否提供運動。
圖52A表示其中心位於要生成像素值的像素上的3×3像素的示例，該像素用於在運動類發生電路503中計算時間活度。在圖52A中，「錯誤」表示丟失像素。圖52B表示與圖52A中所示的像素對應的、一幀之前的幀中的3×3像素的示例。圖52A和圖52B所示的L1到L3代表行，在這種表示法中相同序號表示在垂直方向上的相同位置。圖52A和圖52B所示的H1到H3代表水平方向上的像素位置，在這種表示法中相同序號表示在水平方向上的相同位置。
在圖52A和圖52B所示的情況中，時間活度由下面表達式(12)計算時間活度=｜(q2)-(p2)｜+｜(q3)-(p3)｜+｜(q4)-(p4)｜+｜(q6)-(p6)｜+｜(q7)-(p7)｜+｜(q9)-(p9)｜(12)在表達式(12)中，表示像素的像素值，｜｜表示獲得絕對值的函數。
運動類發生電路503計算空間活度，它是要生成像素值的像素位於其中心的3×3像素的最大值與最小值之差加上1。
圖53表示其中心位於要生成像素值的丟失像素上的3×3像素的示例，用於在運動類發生電路503中計算空間活度。空間活度由下面表達式(13)計算空間活度=Max(qi)-Min(qi)+1(13)在表達式(13)中Max(qi)表示像素q1到q9的像素值的最大值，Min(qi)表示像素q1到q9的像素值的最小值。
運動類發生電路503根據空間活度選擇具有不同值的閥值。運動類發生電路503根據運動確定閥值和時間活度指定運動類代碼。
圖54表示運動確定閥值。根據空間活度的值使用不同的運動確定閥值。隨著空間活度變大，使用大的閥值。這是因為當空間活度大時，考慮到即使一點運動，時間活度也將變大。
在標準密度數據的處理中，無論空間活度如何運動類代碼都通過使用固定閥值來指定運動類代碼。
在運動類發生電路503中指定運動類代碼的過程將參考圖55所示的流程來描述。在步驟S151中，運動類發生電路503確定時間活度是否等於或小於閥值1。當確定時間活度等於或小於閥值1時，過程進行到步驟S152，運動類代碼被設置為0，過程結束。
在步驟S151中，當確定時間活度超過閥值1時，過程進行到步驟S153，運動類發生電路503確定時間活度是否等於或小於閥值2。當確定時間活度等於或小於閥值2時，過程進行到步驟S154，運動類代碼被設置為1，過程結束。
在步驟S153中，當確定時間活度超過閥值2時，過程進行到步驟S155，運動類發生電路503確定時間活度是否等於或小於閥值3。當確定時間活度等於或小於閥值3時，過程進行到步驟S156，運動類代碼被設置為2，過程結束。
在步驟S155中，當確定時間活度超過閥值3時，過程進行到步驟S157，運動類發生電路503把運動類代碼設置為3，過程結束。
如上所述，運動類發生電路503根據閥值和時間活度指定運動類代碼。
運動類發生電路503根據數個像素的運動類代碼再次設置運動標誌。例如，如圖56所示，運動類發生電路503根據要生成像素值的像素周圍的像素的運動類代碼設置要處理的像素的運動類代碼。
在運動類發生電路503中指定運動類代碼的過程將參考圖57所示的流程來說明。在步驟S171中，運動類發生電路503確定其值為3的運動類代碼的數目是否大於7個像素的類代碼中的閥值3。當確定其值為3的運動類代碼的數目大於閥值3時，過程進行到步驟S172，運動類代碼被設置為3，過程結束。
在步驟S171中，當確定其值為3的運動類代碼的數目等於或小於閥值3時，過程進行到步驟S173，運動類發生電路503確定其值為3的運動類代碼的數目與其值為2的運動類代碼的數目之和是否大於閥值2。當確定其值為3的運動類代碼的數目與其值為2的運動類代碼的數目之和大於閥值2時，過程進行到步驟S174，運動類代碼被設置為2，過程結束。
在步驟S173中，當確定其值為3的運動類代碼的數目與其值為2的運動類代碼的數目之和等於或小於閥值2時，過程進行到步驟S175，運動類發生電路503確定其值為3的運動類代碼的數目、其值為2的運動類代碼的數目與其值為1的運動類代碼的數目之和是否大於閥值1。當確定其值為3的運動類代碼的數目、其值為2的運動類代碼的數目與其值為1的運動類代碼的數目之和大於閥值1時，過程進行到步驟S176，運動類代碼被設置為1，過程結束。
在步驟S175中，當確定其值為3的運動類代碼的數目、其值為2的運動類代碼的數目與其值為1的運動類代碼的數目之和等於或小於閥值1時，過程進行到步驟S177，運動類發生電路503把運動類代碼設置為0，過程結束。
如上所述，運動類發生電路503根據數個像素的運動類代碼和預先存儲的閥值設置最終的運動類代碼。
如上所述，運動類發生電路503通過使用數個像素的像素值設置運動類代碼，並輸出它。運動類發生電路503根據運動類代碼設置靜止/運動標誌，並輸出它。例如，當運動類代碼為0或1時，靜止/運動標誌被設置為0。當運動類代碼為2或3時，靜止/運動標誌被設置為1。
抽頭結構電路502-2根據從運動類發生電路503發送來的運動類代碼和靜止/運動標誌，和丟失像素的位置，在包括所有類中的預測抽頭的預測抽頭可變選擇範圍內選擇抽頭，將預測抽頭可變選擇範圍內選擇的抽頭髮送到可變抽頭選擇電路508。
抽頭結構電路502-3根據從運動類發生電路503發送來的運動類代碼和靜止/運動標誌選擇類抽頭，並將選擇的類抽頭與代表所選抽頭的每一個是否丟失的錯誤標誌一起發送到DR類發生電路504。DR類發生電路504根據從抽頭結構電路502-3發送來的類抽頭和錯誤標誌，僅從沒有丟失的類抽頭中檢測動態範圍，產生相應於檢測到的動態範圍的DR類代碼，並把它輸出到類合成電路507。
抽頭結構電路502-4根據從運動類發生電路503發送來的運動類代碼和靜止/運動標誌選擇類抽頭，並將選擇的類抽頭與代表所選抽頭的每一個是否丟失的錯誤標誌一起發送到空間類發生電路505。空間類發生電路505根據從抽頭結構電路502-4發送來的類抽頭和錯誤標誌僅從沒有丟失的類抽頭產生空間類代碼，並把它輸出到類合成電路507。空間類發生電路505可從所有類抽頭中產生空間類代碼。
抽頭結構電路502-5根據從運動類發生電路503發送來的運動類代碼和靜止/運動標誌發送相應於丟失像素的錯誤標誌和相應於位於丟失像素周圍的像素的錯誤標誌到丟失類發生電路506。丟失類發生電路506根據從抽頭結構電路502-5發送來的、相應於丟失像素的錯誤標誌和相應於位於丟失像素周圍的像素的錯誤標誌產生丟失類代碼，並把它輸出到類合成電路507。
類合成電路507把運動類代碼、靜止/運動標誌、DR類代碼、空間類代碼和丟失類代碼合成為類代碼，以產生最終的類代碼，並把它輸出到係數保持和類代碼選擇電路509。
係數保持和類代碼選擇電路509使可變抽頭選擇電路508根據從初始化電路309發送來的係數組、預測結構和從類合成電路507發送來的類代碼選擇可變抽頭，並輸出預測係數串到估計預測計算電路510。
由可變抽頭選擇電路508選擇的預測抽頭數據串將參考圖58到61來描述。
圖58表示當運動類代碼為0時，抽頭結構電路502-2輸出到可變抽頭選擇電路508的預測抽頭可變選擇範圍的示例和可變抽頭選擇電路508選擇的預測抽頭數據串的示例。在圖58中，由實線包圍的抽頭代表從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍，虛線包圍的抽頭代表可變抽頭選擇電路508選擇的預測抽頭數據串。可變抽頭選擇電路508選擇的預測抽頭數據串由包括在從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍中的抽頭構成。
例如，當運動類代碼為0時，抽頭結構電路502-2選擇相鄰的抽頭。例如，當運動類代碼為0時，可變抽頭選擇電路508選擇全部的相鄰抽頭。
圖59表示當運動類代碼為1時，從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍和可變抽頭選擇電路508選擇的預測抽頭數據串。在圖59中，由實線包圍的抽頭代表從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍，虛線包圍的抽頭代表可變抽頭選擇電路508選擇的預測抽頭數據串。可變抽頭選擇電路508選擇的預測抽頭數據串由包括在從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍中的抽頭構成。
例如，當運動類代碼為1時，抽頭結構電路502-2選擇水平相鄰的抽頭和與水平相鄰抽頭不相鄰的抽頭。例如，當運動類代碼為0時，可變抽頭選擇電路508選擇5個相鄰的抽頭和與這5個相鄰抽頭分開的其它5個水平相鄰的抽頭。
圖60表示當丟失抽頭存在並且運動類代碼為0時，從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍和可變抽頭選擇電路508選擇的預測抽頭數據串。圖中黑圈代表丟失抽頭。在圖60中，由實線包圍的抽頭代表從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍，虛線包圍的抽頭代表可變抽頭選擇電路508選擇的預測抽頭數據串。可變抽頭選擇電路508選擇的預測抽頭數據串由包括在從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍中的抽頭構成。
例如，當丟失抽頭存在並且運動類代碼為0時，抽頭結構電路502-2選擇相鄰抽頭。例如，當丟失抽頭存在並且運動類代碼為0時，可變抽頭選擇電路508選擇與在丟失抽頭不存在時選擇的相鄰抽頭相同數目的相鄰抽頭(如與丟失抽頭相鄰的抽頭或與丟失抽頭位於相同行上的抽頭)。
圖61表示當丟失抽頭存在並且運動類代碼為1時，從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍和可變抽頭選擇電路508選擇的預測抽頭數據串。圖中黑圈代表丟失抽頭。在圖61中，由實線包圍的抽頭代表從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍，虛線包圍的抽頭代表可變抽頭選擇電路508選擇的預測抽頭數據串。可變抽頭選擇電路508選擇的預測抽頭數據串由包括在從抽頭結構電路502-2輸出的預測抽頭可變選擇範圍中的抽頭構成。
例如，當丟失抽頭存在並且運動類代碼為1時，抽頭結構電路502-2選擇水平相鄰抽頭和不與水平相鄰抽頭相鄰的抽頭。例如，當丟失抽頭存在並且運動類代碼為0時，可變抽頭選擇電路508選擇與在丟失抽頭不存在時選擇的相鄰抽頭相同數目的水平相鄰抽頭(如與丟失抽頭相鄰的抽頭或與丟失抽頭位於相同行上的抽頭)，並且選擇與在丟失抽頭不存在時選擇的相鄰抽頭相同數目的與上述相鄰抽頭分離開的水平相鄰抽頭。
估計預測計算電路510根據可變抽頭選擇電路508發送來的預測抽頭數據串和係數保持和類代碼選擇電路509發送來的預測係數串，以由初始化電路309指定的輸出模式，使用由線性估計表達式及其它構成的估計等式來計算丟失像素的像素值。
如上所述，丟失像素生成電路308通過使用動態範圍、運動、丟失像素和像素值的改變引起的分類，根據丟失像素的周圍像素的像素值計算丟失像素的像素值。
估計預測計算電路510可改善輸入圖像的圖像品質(如灰度等級的提高(用於Y數據、U數據和V數據的位數的增加)、噪音消除、量化失真的消除(包括時間方向上的消除)和四倍密度解析度的生成)。
下面說明四倍密度解析度生成電路312。當輸出隔行掃描圖像時，四倍密度解析度生成電路312使用分類自適應處理把在前兩個半幀與後兩個半幀之間生成的像素定位在沿垂直方向相對於在前幀和後幀中的像素的位置移動了四分之一的位置上，如圖62A和圖62B所示。
當輸出逐行掃描型圖像時，四倍密度解析度生成電路312使用分類自適應處理把在前兩個半幀與後兩個半幀之間生成的像素定位在沿垂直方向與前幀和後幀中的像素的位置相同的位置上，如圖62C和圖62D所示。
圖63表示四倍密度解析度生成電路312的結構框圖。從格式轉換電路310發送來的按Y數據、U數據和V數據發送到抽頭選擇電路601、抽頭選擇電路602和抽頭選擇電路603。抽頭選擇電路601通過使用存儲在寄存器609中的抽頭的位置信息，選擇要用於計算要生成四倍密度像素的像素值的像素。抽頭選擇電路601選擇的像素髮送到估計預測計算電路607。
抽頭選擇電路602通過使用存儲在寄存器610中的抽頭的位置信息，從位於在要生成的像素附近的像素中選擇要用於空間類分類的像素。抽頭選擇電路602選擇的像素髮送到空間類檢測電路604。空間類檢測電路604檢測空間類。檢測到的空間類發送到類合成電路606。
抽頭選擇電路603通過使用存儲在寄存器611中的抽頭的位置信息，根據位於要生成的像素附近的像素，選擇要用於與運動相對應的類的分類的像素。抽頭選擇電路603選擇的像素髮送到運動類檢測電路605。運動類檢測電路605檢測運動類。檢測到的運動類發送到類合成電路606和寄存器610。存儲在寄存器610中的抽頭的位置信息由從運動類檢測電路605發送的運動類轉換。
類合成電路606合成空間類和運動類以產生最終的類代碼。
這個類代碼發送到係數存儲器612中作為地址，相應於類代碼的係數組從係數存儲器612中讀出。係數組發送到估計預測計算電路607。估計預測計算電路607根據從抽頭選擇電路601發送來的像素的像素值和從係數存儲器612發送來的係數組，使用線性估計表達式計算要生成的像素的像素值。估計預測計算電路607的輸出發送到行順序轉換電路613，作為行數據L1和行數據L2。
每一類的係數組通過使用每一半幀在水平方向具有528像素和在垂直方向具有240像素的Y數據、每一半幀在水平方向具有176像素和在垂直方向具有120像素的U數據和V數據預先產生，所有這些都用作主(master)信號，存儲在初始化電路313中。
行順序轉換電路613具有行存儲器，並根據存儲在寄存器608中的輸出時序數據按行順序輸出從估計預測計算電路607輸出的行數據L1和行數據L2。行順序轉換電路613輸出其密度是所發送圖像數據的密度4倍的圖像數據。
當初始化信號發送到初始化電路313時，寄存器608、寄存器609、寄存器610、寄存器611和係數存儲器612存儲從初始化電路313發送來的係數組及其它。
圖64表示在四倍密度解析度生成電路312以隔行掃描方法產生並輸出四倍密度解析度像素的情況下，輸入到四倍密度解析度生成電路312的像素(在圖中以大圓圈表示)的位置和從四倍密度解析度生成電路312輸出的像素(在圖中以小圓圈表示)的位置。輸入到四倍密度解析度生成電路312的幀具有30Hz的頻率，從四倍密度解析度生成電路312輸出的幀具有60Hz的頻率。第一半幀中的輸出像素是在輸出屏幕上相對於輸入像素沿著垂直方向向上方移動一行，並且將每行的像素數目加倍得到的。第二半幀中的輸出像素是在輸出屏幕上相對於輸入像素沿著垂直方向上向下方移動一行，並且將每行的像素數目加倍得到的。
圖65表示在四倍密度解析度生成電路312以逐行掃描方法產生並輸出四倍密度解析度的像素的情況下，輸入到四倍密度解析度生成電路312中的像素(在圖中以大圓圈表示)的位置和從四倍密度解析度生成電路312輸出的像素(在圖中以小圓圈表示)的位置。輸入到四倍密度解析度生成電路312的幀具有30Hz的頻率，從四倍密度解析度生成電路312輸出的幀具有60Hz的頻率。幀中的輸出像素位於與輸入像素相同的行上並且每行的像素數目加倍。
如上所述，四倍密度解析度生成電路312以倍幀頻或倍半幀頻從輸入像素生成並輸出每行像素數目加倍的像素。
接著描述UV垂直倍頻電路333。圖66表示UV垂直倍頻電路333的結構方框圖。UV垂直倍頻電路333接收具有四倍密度解析度生成電路312處理的數目增加了的像素的U數據和V數據。輸入數據由行FIFO 701-1到701-6的每一個延遲一行，並順序輸出到後續各級。
乘法電路702-1把輸入數據乘以係數，並輸出積到加法器73。
乘法電路702-2到702-7把輸入數據乘以係數並輸出積到加法器73。
加法器73把從乘法電路702-1到702-7發送來的數據相加，把和發送到鎖存電路704。當輸入時鐘信號時，鎖存電路704鎖存輸入數據。
UV垂直倍頻電路333的操作將參考圖67來描述。行FIFO 701-1到701-6輸出位於從輸入行開始的六個連續行上沿屏幕的水平方向相同位置上的像素(在圖67中用圓圈表示)的數據。乘法電路702-1到702-7把輸入數據乘以係數並輸出積到加法器73。加法器73把輸出數據相加，把和發送到鎖存電路704。鎖存電路704在獲得加倍行數的定時(圖67中的黑色三角表示)上接收時鐘信號。因此，UV垂直倍頻電路333利用數目加倍了的行實現對輸入U數據和V數據的內插，並輸出數據。
接收設備2的接收過程將參考圖68的流程圖來描述。在步驟S201中，包分解電路302分解由接收電路301接收的包，並發送數據到解碼電路304。在步驟S202中，解碼電路304通過ADRC方法解碼從包分解電路302輸入的數據。當在傳輸過程中數據丟失時，在解碼電路304解碼期間恢復「q」、運動標誌MF、動態範圍DR或像素值的最小值MIN，並解碼Y數據、U數據和V數據。
在步驟S203中，格式轉換電路306轉換從解碼電路304發送來的Y數據、U數據和V數據以具有丟失像素生成電路308可管理的預定格式。在步驟S204中，丟失像素生成電路308通過分類處理在丟失像素中生成不能由解碼電路304解碼的像素。
在步驟S205中，格式轉換電路310轉換從丟失像素生成電路308發送來的Y數據、U數據和V數據以具有四倍密度解析度生成電路312可管理的預定格式。在步驟S206中，四倍密度解析度生成電路312根據輸入Y數據、U數據和V數據，通過分類處理生成像素以使像素密度變為四倍，並輸出數據到內插部分314。
在步驟S207中，格式轉換電路331轉換從四倍密度解析度生成電路312發送來的Y數據、U數據和V數據的數據類型以便實現預定的內插處理。在步驟S208中，UV垂直倍頻電路333在垂直方向上對U數據和V數據內插像素以便使得行數加倍。在步驟S209中，D/A轉換電路335以預定時鐘速率實現數模轉換以輸出模擬Y信號、模擬U信號和模擬V信號，並結束過程。
如上所述，如果像素丟失了，接收設備2生成丟失像素的像素。當像素沒有丟失時，接收設備2生成高品質的像素，如噪聲消除了的像素或解析度更高的像素，並輸出它。
接著將描述在丟失像素生成電路308中使用的預測係數的產生。
圖69表示產生在丟失像素生成電路308中使用的預測係數的學習設備的方框圖。輸入到學習設備中的圖像發送到噪聲附加電路801、選擇電路802和正態方程計算電路812。錯誤標誌輸入到選擇電路802、預處理電路803和抽頭結構電路804-1到804-5。錯誤標誌代表為了響應學習設備的學習內容得到的所需丟失像素。
噪聲附加電路801把噪聲附加於輸入圖像的像素，並把它們發送到選擇電路802。選擇電路802根據相應的錯誤標誌選擇輸入到學習設備的像素或從噪聲附加電路801傳送來的附加了噪聲的像素，並發送選擇的像素到預處理電路803和抽頭結構電路804-1。例如，當錯誤標誌代表丟失像素時，選擇電路802選擇輸入到學習設備的像素，並發送選擇的像素到預處理電路803和抽頭結構電路804-1。當錯誤標誌代表沒有丟失像素時，選擇電路802選擇附加了噪聲的像素，並發送選擇的像素到預處理電路803和抽頭結構電路804-1。
預處理電路803根據輸入像素值和代表像素丟失的錯誤標誌，通過線性內插濾波器產生丟失像素的值，把該值指定給丟失像素，並將其發送到抽頭結構電路804-2到804-5。由於預處理電路803執行與預處理電路501相同的過程，故省略其具體描述。
抽頭結構電路804-1到804-5發送抽頭數據及其它到運動類發生電路805、DR類發生電路806、空間類發生電路807和丟失類發生電路808。
運動類發生電路805根據從初始化電路814發送來的參數並根據從抽頭結構電路804-1發送來的錯誤標誌和所選抽頭，產生運動類代碼和靜止/運動標誌，並輸出它們到抽頭結構電路804-2到804-5和類合成電路809。由於運動類發生電路805執行與運動類發生電路503相同的過程，故省略其具體描述。
抽頭結構電路804-2根據運動類發生電路805發送來的運動類代碼和靜止/運動標誌並根據丟失像素的位置，選擇包括所有類中的預測抽頭的預測抽頭可變範圍中的抽頭，並發送預測抽頭可變範圍中選擇的抽頭到可變抽頭選擇電路810。
抽頭結構電路804-3根據運動類發生電路805發送來的運動類代碼和靜止/運動標誌選擇類抽頭，並將選擇的類抽頭與代表所選抽頭的每一個是否丟失的錯誤標誌一起發送到DR類發生電路806。DR類發生電路806根據從抽頭結構電路804-3發送來的類抽頭和錯誤標誌，僅從沒有丟失的類抽頭檢測動態範圍，產生相應於檢測到的動態範圍的DR類代碼，並把它輸出到類合成電路809。
抽頭結構電路804-4根據從運動類發生電路805發送來的運動類代碼和靜止/運動標誌選擇類抽頭，並將選擇的類抽頭與代表所選抽頭的每一個是否丟失的錯誤標誌發送到空間類發生電路807。空間類發生電路807根據從抽頭結構電路804-4發送來的類抽頭和錯誤標誌，僅從沒有丟失的類抽頭中產生空間類代碼，並把它輸出到類合成電路809。
抽頭結構電路804-5根據從運動類發生電路805發送來的運動類代碼和靜止/運動標誌，發送相應於丟失像素的錯誤標誌和相應於位於丟失像素周圍的像素的錯誤標誌到丟失類發生電路808。丟失類發生電路808根據從抽頭結構電路804-5發送來的、相應於丟失像素的錯誤標誌和相應於位於丟失像素周圍的像素的錯誤標誌，產生丟失類代碼，並把它輸出到類合成電路809。
類合成電路809把運動類代碼、靜止/運動標誌、DR類代碼、空間類代碼和丟失類代碼合成為類代碼，以產生最終的類代碼，並把它輸出到類代碼選擇電路811。
類代碼選擇電路811使可變抽頭選擇電路810根據從初始化電路309發送來的預測結構和從類合成電路809發送來的類代碼選擇可變抽頭，並輸出類代碼到正態方程計算電路812。
當正態方程計算電路812從可變抽頭選擇電路810接收用作主數據的、輸入到學習設備中的圖像和用作學習數據的預測抽頭數據串時，正態方程計算電路812利用它們，根據初始化電路814指定的輸出模式通過最小二乘法計算使錯誤最小的預測係數W。
對由正態方程計算電路812計算的預測係數W作如下簡要說明。
假設通過用作學習數據的、預測抽頭數據串的像素值x1,x2,...與預定預測係數w1,w2,...線性組合定義的一階線性組合模型得到用作主數據的、在輸入原始圖像中的像素的像素值「y」的預測值E[y]。在這種情況下，預測值E[y]可以用下式表達E[y]=w1x1+w2x2+...(14)為了概括表達式(14)，當由一組預測係數「w」構成的矩陣「W」、由一組學習數據構成的矩陣「X」和由一組預測值E[y]構成的矩陣「Y」按下面表達式定義時，X=x11x12x1nx21x22x2nxm1xm2xmn]]>W=W1W2Wn,Y=Ey1Ey2Eym]]>滿足下面的觀測方程(observation equation)。
XW=Y＇ (15)最小二乘法應用於這個觀測方程以獲得接近於原始圖像中的像素值「y」的預測值E[y]。在這種情況下，當由一組原始圖像的像素值「y」構成的矩陣「Y」、和由一組預測值E[y]對原始圖像的像素值「y」的殘差「e」構成的矩陣「E」按下面表達式定義時，E=e1e2em,Y=y1y2ym]]>根據表達式(15)，殘差方程(remaider equation)滿足XW=Y+E (16)在這種情況下，當使下列誤差的平方和最小時，得到用於獲得接近於原始圖像中的像素值「y」的預測值E[y]的預測係數Wii=1mei2]]>因此，當求上面誤差平方和關於預測係數Wi的微分所得到的結果為0時，換句話說，滿足下面表達式的預測係數Wi是獲得接近於原始圖像中的像素值「y」的預測值E[y]的最適當值e1e1wi+e2e2wi++ememwi=0(i=1,2,,n)------(17)]]>當求表達式(16)關於預測係數W1的微分時，滿足下面表達式eiw1=xi1,eiw2=xi2,,eiwn=xin,(i=1,2,,n)------(18)]]>從表達式(17)和(18)，得到表達式(19)i=1meixi1=0,i=1meiei2=0,,i=1meixin=0,------(19)]]>另外，當考慮殘差方程(16)中的學習數據「x」、預測係數「w」、主數據「y」和殘差「e」之間的關係時，從表達式(19)得到下面正態方程 可公式化成與要獲得的預測係數「w」相同數目的正態方程(20)。因此，通過求解方程(20)，獲得最適當的預測係數「w」。例如，可以使用消元(sweepoff)法(Gauss-Jordan刪除方法)求解方程(20)。
為通過用作學習數據的、預測抽頭數據串的像素值x1,x2,x3...與要獲得的預測係數w1,w2,w3...的一階線性組合模型得到用作主數據的像素的像素值「y」，預測係數w1,w2,w3...需要滿足下面表達式y=w1x1+w2x2+w3x3+...
因此，正態方程計算電路812用公式表示並解出上面所示的正態方程(20)，以從相同類的預測抽頭和相應主數據的像素中獲得使預測值w1x1+w2x2+w3x3+...相對於真正值「y」的誤差平方和為最小的預測係數w1,w2,w3...。
因此，通過對每類執行這一過程可以產生預測係數W。
由正態方程計算電路812得到的每一類的預測係數與類代碼一起發送到係數存儲器813。在係數存儲器813中，從正態方程計算電路812發送來的預測係數W存儲在與類代碼所表示的類相對應的地址上。
如上所述，學習設備可產生由丟失像素生成電路308使用的係數。
參考圖70的流程圖進一步說明在學習設備中產生預測係數W的過程。在步驟S301中，學習設備的丟失類發生電路808根據相應的錯誤標誌確定目標像素是否丟失。當確定為目標像素丟失時，過程進行到步驟S302，類合成電路809根據從運動類發生電路805發送來的運動類代碼、從DR類發生電路806發送來的DR類代碼、從空間類發生電路807發送來的空間類代碼和從丟失類發生電路808發送來的丟失類代碼，產生相應於丟失目標像素的類代碼。之後，過程進行到步驟S304。
當在步驟S301確定目標像素沒有丟失時，過程進行到步驟S303，類合成電路809根據從運動類發生電路805發送來的運動類代碼、從DR類發生電路806發送來的DR類代碼、從空間類發生電路807發送來的空間類代碼和從丟失類發生電路808發送來的丟失類代碼，產生相應於正常目標像素的類代碼。之後，過程進行到步驟S304。
在步驟S304中，可變抽頭選擇電路810選擇與類代碼所表示的類相對應的預測抽頭。
在步驟S305中，正態方程計算電路812產生相應於類代碼的正態方程。在步驟S306中，正態方程計算電路812在產生的正態方程中指定作為主數據的輸入原始像素和作為學習數據的預測抽頭，求解正態方程以獲得預測係數W。
在步驟S307中，正態方程計算電路812使係數存儲器813存儲相應於類代碼的預測係數W，過程結束。
存儲在係數存儲器813中的預測係數W存儲在丟失像素生成電路308的初始化電路309中。例如，當激活接收設備時，預測係數裝載到係數保持和類代碼選擇電路509中。
如上所述，通過使用學習設備產生的預測係數W，如果像素丟失了，接收設備2生成關於丟失像素的像素；當像素沒有丟失時，接收設備2生成品質更高的像素，譬如噪聲消除了的像素或解析度更高的像素，並輸出它。
在前面的描述中，圖像通信系統發送和接收圖像。要傳送的數據並不限於圖像。也可傳送諸如聲音之類的數據。
上述一系列過程不僅可以通過硬體來執行而且也可以通過軟體執行。當這一系列過程由軟體執行時，構成軟體的程序從記錄介質安裝到內置在特定硬體中的計算機或安裝到當安裝了各種程序時執行各種功能的通用個人計算機。
圖71表示示範性記錄介質和示範性計算機。中央處理單元(CPU)901實際執行各種應用程式和作業系統(OS)。只讀存儲器(ROM)902通常存儲在程序中使用的基本固定的數據和CPU 901使用的計算參數。隨機存取存儲器(RAM)903存儲CPU 901使用的程序和在執行程序期間按需要改變的參數。上面設備通過由CPU總線及其它構成的主機總線904彼此相連。
主機總線904通過橋路905連接到外部總線906，譬如外圍組件互聯/接口(PCI)總線。
用戶操作鍵盤908將各種指令輸入到CPU 901。用戶使用滑鼠909指定顯示器910的屏幕上的某一點或進行選擇。顯示器910由液晶顯示設備或陰極射線管(CRT)構成，並通過文本或圖像顯示各種類型的信息。硬碟驅動器(HDD)911驅動硬碟，並向或從硬碟記錄或再現要由CPU 901執行的程序和信息。
驅動器912讀出存儲在磁碟941、光碟942、磁光碟943或半導體存儲器944中的數據或程序，它們都安裝在驅動器912中，並經接口907、外部總線906、橋路905和主機總線904發送數據或程序到連接的RAM 903。
鍵盤908、滑鼠909、顯示器910、HDD 911和驅動器912都連接到接口907。接口907通過外部總線906、橋路905和主機總線904連接到CPU 901。
如圖71所示，記錄介質不僅包括用於存儲程序並為了提供程序給用戶與計算機分離地分配給用戶的插件型(package)介質，如磁碟941(包括軟盤)、光碟942(包括緻密光碟只讀存儲器(CD-ROM)和數字多功能盤(DVD))、磁光碟943(包括小型盤(MD))和半導體存儲器944，而且包括用於存儲程序並預先內置在計算機中提供給用戶的ROM 902和HDD 911。
在本說明書中，描述存儲在記錄介質中的程序的步驟不僅包括以所述的順序，以時間順序的方式執行的那些步驟，而且包括不必要以時間順序的方式執行的而是並行或獨立地執行的那些步驟。
在本說明書中，系統指的是由許多設備構成的整個設備(gear)。
根據本發明，目標數據項根據位於該目標數據項周圍的數個數據項被分入預先規定的多個類中的一類中；為每一類存儲關於目標數據項的轉換信息；根據轉換信息將目標數據項轉換為品質更高的數據項；根據目標數據項是否丟失將目標數據項分成不同的類。因此，無論目標數據項是否丟失都產生品質更高的數據項。
根據本發明，目標數據項還根據位於該目標數據項周圍的數個數據項被分入預先規定的多個類中的一類中；為每一類產生把目標數據項轉換為品質更高的數據項的轉換信息；根據目標數據項是否丟失將目標數據項分成不同的類。因此，無論目標數據項是否丟失都可通過使用產生的轉換信息產生品質更高的數據項。
權利要求
1．一種信息處理設備，所述信息處理設備包括分類器，用於根據位於目標數據項周圍的多個數據項，將目標數據項分入預先規定的多個類中的其中一類中；存儲器，用於為每一類存儲關於目標數據項的轉換信息；和轉換器，用於根據轉換信息將目標數據項轉換為品質更高的數據項，其中分類器根據目標數據項是否丟失將目標數據項分成不同的類。
2．根據權利要求1的信息處理設備，其中，對於其中丟失了目標數據項的丟失類來說，轉換信息是用於根據位於目標數據項周圍的多個數據項產生目標數據項的信息，對於其中未丟失目標數據項的非丟失類來說，轉換信息是用於將目標數據項轉換成品質更高的數據項的信息。
3．根據權利要求2的信息處理設備，其中，對於非丟失類來說，轉換信息是用於將目標數據項轉換成噪音降低了的數據項的信息。
4．根據權利要求1的信息處理設備，其中，轉換信息是預先實現的通過學習獲得的信息。
5．根據權利要求1的信息處理設備，其中，轉換信息是用於線性或非線性、一階或高階估計方程式的預測係數。
6．根據權利要求1的信息處理設備，其中，分類器根據包括位於目標數據項周圍的多個數據項的類抽頭(tap)將目標數據項分入預先規定的多個類的其中一類中。
7．根據權利要求1的信息處理設備，其中，轉換器根據與目標數據項所屬的類相對應的預測抽頭將目標數據項轉換成品質更高的數據項。
8．根據權利要求1的信息處理設備，其中，分類器根據在空間上位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中。
9．根據權利要求1的信息處理設備，其中，分類器根據沿時間軸位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中。
10．根據權利要求1的信息處理設備，其中，目標數據項是圖像數據。
11．一種信息處理方法，所述信息處理方法包括以下步驟根據位於目標數據項周圍的多個數據項，將目標數據項分入預先規定的多個類的其中一類中；選擇與目標數據項所屬的類相對應的轉換信息；和根據轉換信息將目標數據項轉換為品質更高的數據項，其中，在對目標數據項進行分類的步驟中，根據目標數據項是否丟失將目標數據項分入不同的類中。
12．根據權利11的信息處理方法，其中，對於其中丟失了目標數據項的丟失類來說，轉換信息是用於根據位於目標數據項周圍的多個數據項產生目標數據項的信息，對於其中未丟失目標數據項的非丟失類來說，轉換信息是用於將目標數據項轉換成品質更高的數據項的信息。
13．根據權利12的信息處理方法，其中，對於非丟失類來說，轉換信息是用於將目標數據項轉換成噪音降低了的數據項的信息。
14．根據權利11的信息處理方法，其中，轉換信息是預先實現的通過學習獲得的信息。
15．根據權利11的信息處理方法，其中，轉換信息是用於線性或非線性、一階或高階估計方程式的預測係數。
16．根據權利11的信息處理方法，其中，在對目標數據項進行分類的步驟中，根據包括位於目標數據項周圍的多個數據項的類抽頭將目標數據項分入預先規定的多個類的其中一類中。
17．根據權利11的信息處理方法，其中，在轉換目標數據項的步驟中，根據與目標數據項所屬的類相對應的預測抽頭將目標數據項轉換成品質更高的數據項。
18．根據權利11的信息處理方法，其中，在對目標數據項進行分類的步驟中，根據在空間上位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中。
19．根據權利11的信息處理方法，其中，在對目標數據項進行分類的步驟中，根據沿時間軸位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中。
20．根據權利11的信息處理方法，其中，目標數據項是圖像數據。
21．一種存儲計算機可讀程序的記錄介質，所述程序包括以下步驟根據位於目標數據項周圍的多個數據項，將目標數據項分入預先規定的多個類的其中一類中；選擇與目標數據項所屬的類相對應的轉換信息；和根據轉換信息將目標數據項轉換為品質更高的數據項，其中，在對目標數據項進行分類的步驟中，根據目標數據項是否丟失將目標數據項分入不同的類中。
22．一種學習設備，所述學習設備包括分類器，根據位於目標數據項周圍的多個數據項將目標數據項分入預先規定的多個類的其中一類中；和轉換信息發生器，對於類來說，產生用於將目標數據項轉換為品質更高的數據項的轉換信息，其中，分類器根據目標數據項是否丟失將目標數據項分入不同的類中。
23．一種學習方法，所述學習方法包括以下步驟根據位於目標數據項周圍的多個數據項，將目標數據項分入預先規定的多個類的其中一類中；和對於類來說，產生用於將目標數據項轉換為品質更高的數據項的轉換信息，其中，根據目標數據項是否丟失將目標數據項分入不同的類中。
全文摘要
類合成電路根據位於目標數據項周圍的多個數據項，將目標數據項分入預先規定的多個類中的其中一類中。係數保持和類代碼選擇電路為每一類存儲關於目標數據項的轉換信息。估計預測計算電路根據轉換信息將目標數據項轉換為品質更高的數據項。類合成電路根據目標數據項是否丟失將目標數據項分成不同的類。
文檔編號H04N7/68GK1316858SQ0111168
公開日2001年10月10日 申請日期2001年2月10日 優先權日2000年2月10日
發明者近藤哲二郎, 中屋秀雄, 渡邊勉, 大塚秀樹, 高橋康昭, 和田成司, 永野隆浩, 太田浩二, 白木壽一 申請人:索尼公司