圖像數據的處理裝置、處理方法、配送裝置以及傳送系統的製作方法

2023-05-26 03:28:51 2

專利名稱：圖像數據的處理裝置、處理方法、配送裝置以及傳送系統的製作方法
技術領域：
本發明涉及一種有關編碼圖像數據的處理裝置、處理方法、傳輸裝置以及傳送系統，特別涉及由編碼圖像數據生成該縮小圖像用的縮小圖像數據的技術。
背景技術：
近年來，由於網絡的高速化，以及個人電腦、數據電視接收機等向一般家庭的迅速普及，圖像信息供應服務被廣泛實用化。特別是，這樣的圖像信息，被作為數據化的圖像數據進行處理，數據量非常大。因此，圖像數據的存儲、傳送等要求高效率進行，在處理圖像數據的領域開始利用壓縮編碼圖像數據的技術。尤其在處理靜止圖像領域，一般周知有被稱為JPEG(Join Photographic Experts Group)的圖像壓縮編碼技術。
作為利用基於JPEG的圖像壓縮編碼技術的一個例子，一般有被稱為數位照相機的電子靜止照相機的領域。即，在該電子靜止照相機中，將拍攝的圖像以JPEG形式壓縮編碼，減少數據量後，記錄到存儲介質中。另外，作為另一個例子，由於網際網路等網絡技術的進步，將圖像數據壓縮編碼為JPEG格式進行傳送的圖像配送系統也正廣泛普及。
在電子靜止照相機領域，一般是採用照相機內JPEG形式保存的圖像數據(以下，稱為JPEG圖像)，記錄在SD卡等記錄介質上，同時，一般也作為列印參照用的縮小圖像製作多個JPEG圖像，並記錄在記錄介質上。這樣的縮小圖像被稱為縮略圖像，而且，將多個這樣的縮略圖像集中同時列印輸出被稱為索引列印。
索引列印需要將多個JPEG圖像復原後分別生成縮略圖像。即，需要與復原多個JPEG圖像相當的處理量，索引列印需要相當的處理時間。
為了解決該課題，由被壓縮編碼的圖像數據高速生成縮略圖像的圖像處理技術，被提案出來(例如，參照專利文獻1)。專利文獻1公開了一種將原圖像分割成被稱為微塊的塊，只利用包含在對各微塊的空間頻率成份編碼後的編碼數據中的直流成分係數，生成縮略圖像的技術。該現有技術(以下，稱為現有技術1)，因為僅利用直流成份係數生成縮略圖像，可以省去交流成份係數的處理時間等，這樣可以提高處理速度。
而且，如上所述，作為利用圖像壓縮編碼技術的另一個例子，已知有利用網際網路等網絡進行圖像傳送的圖像配送系統，其中之一，已知有利用縮略圖像的圖像配送系統。在利用縮略圖像的圖像配送系統中，配送側將與用戶希望的圖像尺寸對應的縮略圖像數據，作為圖像選擇用的索引圖像傳送，用戶根據該縮略圖像，選擇希望的圖像。而且，用戶選擇的圖像的配送請求，從用戶向配送側通知。這樣，配送側，開始發送與用戶選擇圖像對應的動態圖像等的請求內容。在圖像配送系統的領域中，這樣的圖像配送系統已經實用化。另外，尤其在該領域，用戶的要求也非常多樣，如縮略圖像那樣的縮小圖像，常以不同的大小進行傳送。這時，傳送的縮略圖像的尺寸越小，同時看到的圖像數越多，但是，如果圖像的尺寸過小，圖像的內容將不易分辨。
因此，能夠迅速確認縮略圖像，而且必要時，根據用戶希望的圖像尺寸傳送縮略圖像的技術，被提案出來(例，參照專利文獻2)。專利文獻2公開了一種將原圖像分割成微塊，按照與復原圖像尺寸的個數量選擇包含在對各微塊的空間頻率成份編碼後的編碼數據中的低頻成份係數並進行傳送，而在接收側生成希望大小的縮略圖像的技術。具體講，該方法首先將原圖像分割成微塊，用各微塊的多個的標本值對標本化後的原圖像信號進行編碼變換處理。對該編碼變換處理得到的多個的空間頻率係數，將比該多個要少，而且僅包含低頻成份的多個低頻成份係數，作為1個係數集進行選擇。配送側，對每個微塊，向接收側傳送該係數集。接收側，對該係數集實施適合與該係數的個數相對應的標本排列大小的解碼變換。這樣，可以再生比原圖像的標本值少的標本值圖像，即縮小圖像。因此，專利文獻2公開的現有技術(以下，稱現有技術2)，在圖像尺寸比較小即可的情況下，可節約傳送時間和處理時間。另外，現有技術2，隨著圖像縮小率增大到與1接近時，因為增加了更高空間頻率成份係數的個數，即使在需要圖像尺寸比較大的時候，也可防止因編碼係數不足而導致的圖像劣化。
然而，處理較大的縮略圖像時，所存在的問題是，在只利用包含在編碼數據內的直流成份係數的現有技術1中，圖像質量劣化比較明顯，而在將包含在編碼數據中的低頻成份係數的個數按照與圖像尺寸對應的個數量進行選擇的現有技術2，在處理時間和傳送速度方面與原圖像沒有太大改變。
也就是說，現有技術1，因為只利用相當於各微塊的像素平均值的直流成份係數，隨著圖像尺寸的增大，所謂的塊噪聲也將增大。另外，現有技術2隨著圖像尺寸的增大，變成處理與原圖像相近個數的係數，導致處理速度和傳送速度的下降。
而且，現有技術2，對原圖像，由於是根據每次傳送時的縮小率進行編碼後再配送的方式，需要對每次配送進行編碼。結果，當接收側的終端數增大時，編碼處理的負擔加重。也就是說，因為必須對每次傳送進行編碼，隨著編碼處理次數的增加，處理負擔也加重，這種處理負擔將導致從發送請求到傳送的時間延遲。另外，現有技術2以不壓縮編碼圖像的原圖像數據進行保存，與壓縮編碼後的圖像數據相比，需要比較大的存儲容量。
專利文獻1特開2000-59612號公報。
專利文獻2特開昭58-75390號公報。

發明內容
鑑於上述的課題，本發明的目的在於提供一種即使處理比較大的縮略圖像時也不會引起圖像質量劣化，可以高速顯示縮略圖像的圖像數據處理裝置、圖像數據處理方法、以及可傳送縮略圖像的圖像數據配送裝置以及圖像數據傳送系統。
為了解決上述課題，本發明的圖像數據處理裝置，是將原圖像分割成由多個像素構成的多個塊、在各個塊中根據以上述塊的空間頻率成份作為多個空間頻率係數進行編碼後的編碼圖像數據、生成按照給定縮小率縮小上述原圖像後的縮小圖像的作為編碼數據的縮小編碼圖像數據的圖像數據處理裝置，包括從上述多個塊中依次抽出作為處理對象塊的各塊的塊抽出裝置；從上述處理對象塊的上述多個空間頻率係數中抽出直流成份係數的DC係數抽出裝置；從上述多個塊中將在上述處理對象塊的水平方向、垂直方向、以及斜方向的任一方向上相鄰的至少一個相鄰塊的直流成份係數抽出作為至少一個相鄰直流成份係數的相鄰DC係數抽出裝置；對上述處理對象塊的上述直流成份係數、和上述至少一個相鄰直流成份係數進行比較、求出表示雙方之間的相異程度的、以上述直流成份係數和上述至少一個相鄰直流成份係數作為變量的、函數的值的DC係數比較裝置；當上述函數的值比給定值大時、對上述處理對象塊的上述多個空間頻率係數、按照上述縮小率從包含上述直流成份係數的低頻率的空間頻率係數中保留比上述多個少的個數的空間頻率係數、而將其它空間頻率係數設定為零的係數集設定裝置；和當上述函數的值小於上述給定值時、對上述處理對象塊的上述多個空間頻率係數、只保留上述直流成份係數、而將其它空間頻率係數設定為零的DC係數設定裝置。
依據這樣的構成，本發明的圖像數據處理裝置，對於原圖像的編碼圖像數據，在圖像的灰度或者顏色變化比較平緩的上述函數的值比較小的區域，只利用該塊的直流成份係數，而在圖像的輪廓等邊界區域的上述函數的值比較大的區域，只利用該塊中與圖像縮小率對應的個數的低頻端的係數，這樣可以生成縮小圖像用的縮小編碼圖像數據。即，本發明的圖像數據處理裝置，基於圖像的視覺特性，首先，對於塊噪聲等不太明顯的圖像灰度或者顏色變化平緩的區域，由於只利用直流成份係數，削減了有效係數的個數，實現了編碼量的減少。進一步，本發明的圖像數據處理裝置，基於圖像的視覺特性，對於因係數削減導致圖像質量明顯劣化的圖像輪廓等邊界領域，通過選擇與圖像縮小率對應的個數的低頻端的係數，在抑制由於係數削減引起的圖像質量劣化的同時，削減了有效係數的個數，達到了編碼量的減少。這樣，本發明的圖像數據處理裝置，由於根據圖像縮小率、以及是否是圖像邊界領域而能夠適當改變有效的空間頻率係數的個數，在降低從編碼量的減少到顯示縮小圖像的處理負擔的同時，可以顯示能抑制圖像質量劣化的縮小圖像。因此，通過利用由本發明的圖像數據處理裝置生成的縮小編碼圖像數據，即使處理比較大的縮小圖像時，也不會引起圖像質量的劣化，可以高速顯示縮小圖像。
優選上述至少一個相鄰塊，是一個相鄰塊；上述函數的值是上述直流成份係數和上述相鄰直流成份係數之間的差分值的絕對值。
或者，優選上述至少一個相鄰塊，是多個相鄰塊；上述函數的值是包含在上述多個相鄰塊中的多個相鄰直流成份係數的平均值、和上述處理對象塊的上述直流成份係數之間的差分值的絕對值。
或者，優選上述至少一個相鄰塊，是多個相鄰塊；上述函數的值是對包含在上述多個相鄰塊中的多個相鄰直流成份係數按照相鄰方向通過加權平均計算求出的平均值、和上述直流成份係數之間的差分值的絕對值。
或者，優選上述至少一個相鄰塊，是多個相鄰塊；上述函數的值是包含在上述多個相鄰塊中的各相鄰直流成份係數、和上述處理對象塊的上述直流成份係數之間的各差分值的絕對值中最大的值。
或者，優選上述至少一個相鄰塊，是多個相鄰塊；上述函數的值是包含在上述多個相鄰塊中的各相鄰直流成份係數、和上述處理對象塊的上述直流成份係數之間的各差分值的絕對值之和。
再有，優選以係數集設定裝置保存的比上述多個要少的上述空間頻率係數的個數與上述多個空間頻率係數的個數之間的比率作為係數削減率；上述係數集設定裝置、將上述縮小率分割成多段、根據上述各段縮小率設定上述係數削減率、同時當上述函數的值比上述給定值大時、根據上述係數削減率保留比上述多個要少的個數的上述空間頻率係數、而將上述其它空間頻率係數設定成零。
更優選上述圖像數據處理裝置進一步包括受理上述縮小率的輸入的輸入處理裝置；對所生成的上述縮小編碼圖像數據解碼的解碼裝置；縮小解碼後的上述縮小編碼圖像數據的圖像尺寸的圖像尺寸縮小裝置；在畫面上顯示縮小後的上述縮小編碼圖像數據的畫面顯示裝置。
再有，優選上述編碼圖像數據是彩色編碼圖像數據；上述給定值按各個顏色成份分別給出。
再有，優選上述編碼圖像數據是彩色編碼圖像數據；上述係數集設定裝置、按照每個顏色成份確定比上述多個要少的上述空間頻率係數的個數。
進一步，優選上述編碼圖像數據是彩色編碼圖像數據；上述塊抽出裝置、只針對給定的顏色成份抽出上述處理對象塊。
再有，優選上述編碼圖像數據是變長編碼數據；上述係數集設定裝置以及上述DC係數設定裝置、通過在應保留的上述空間頻率係數的所有之後添加表示塊結束的符號、並且刪除上述其它空間頻率係數、而將上述其它空間頻率係數設定成零。
本發明的圖像數據處理方法，是將原圖像分割成由多個像素構成的多個塊、在各個塊中根據以上述塊的空間頻率成份作為多個空間頻率係數進行編碼後的編碼圖像數據、生成按照給定縮小率縮小上述原圖像後的縮小圖像的作為編碼數據的縮小編碼圖像數據的圖像數據處理方法，包括從上述多個空間頻率係數中抽出直流成份係數的第一步驟；從上述抽出了直流成份係數的塊中將在水平方向、垂直方向、以及斜方向的任一方向上相鄰的至少一個相鄰塊的直流成份係數抽出作為至少一個相鄰直流成份係數的第二步驟；對上述直流成份係數、和上述至少一個相鄰直流成份係數進行比較、求出表示雙方之間的相異程度的、以上述直流成份係數和上述至少一個相鄰直流成份係數作為變量的、函數的值的第三步驟；當上述函數的值比給定值大時、對上述多個空間頻率係數、按照上述縮小率從包含上述直流成份係數的低頻率的空間頻率係數中保留比上述多個少的個數的空間頻率係數、而將其它空間頻率係數設定為零的第四步驟；和當上述函數的值小於上述給定值時、對上述多個空間頻率係數、只保留上述直流成份係數、而將其它空間頻率係數設定為零的第五步驟；通過對上述各塊執行上述各步驟，生成以上述縮小率縮小上述原圖像後的縮小圖像的、作為編碼數據的、上述縮小編碼圖像數據。
依據這樣的構成，本發明的圖像數據處理方法，對於原圖像的編碼圖像數據，在圖像的灰度或者顏色變化比較平緩的上述函數的值比較小的區域，只利用該塊的直流成份係數，而在圖像的輪廓等邊界區域的上述函數的值比較大的區域，只利用該塊中與圖像縮小率對應的個數的低頻端的係數，這樣可以生成縮小圖像用的縮小編碼圖像數據。即，本發明的圖像數據處理方法，基於圖像的視覺特性，首先，對於塊噪聲等不太明顯的圖像灰度或者顏色變化平緩的區域，由於只利用直流成份係數，削減了有效係數的個數，實現了編碼量的減少。進一步，本發明的圖像數據處理方法，基於圖像的視覺特性，對於因係數削減導致圖像質量明顯劣化的圖像輪廓等邊界領域，通過選擇與圖像縮小率對應的個數的低頻端的係數，在抑制由於係數削減引起的圖像質量劣化的同時，削減了有效係數的個數，達到了編碼量的減少。這樣，本發明的圖像數據處理方法，由於根據圖像縮小率、以及是否是圖像邊界領域而能夠適當改變有效的空間頻率係數的個數，在實現編碼量的減少的同時，可以生成能抑制圖像質量劣化的縮小圖像用的縮小編碼圖像數據。因此，通過利用由本發明的圖像數據處理方法生成的縮小編碼圖像數據，即使處理比較大的縮小圖像時，在降低到顯示縮小圖像的處理為止的負擔的同時，還可以降低圖像質量劣化狀況。
優選上述至少一個相鄰塊，是一個相鄰塊；上述函數的值是上述直流成份係數和上述相鄰直流成份係數之間的差分值的絕對值。
或者，優選上述至少一個相鄰塊，是多個相鄰塊；上述函數的值是包含在上述多個相鄰塊中的多個相鄰直流成份係數的平均值、和上述直流成份係數之間的差分值的絕對值。
或者，優選上述至少一個相鄰塊，是多個相鄰塊；上述函數的值是對包含在上述多個相鄰塊中的多個相鄰直流成份係數按照相鄰方向通過加權平均計算求出的平均值、和上述直流成份係數之間的差分值的絕對值。
或者，優選上述至少一個相鄰塊，是多個相鄰塊；上述函數的值是包含在上述多個相鄰塊中的各相鄰直流成份係數、和上述直流成份係數之間的各差分值的絕對值中最大的值。
或者，優選上述至少一個相鄰塊，是多個相鄰塊；上述函數的值是包含在上述多個相鄰塊中的各相鄰直流成份係數、和上述直流成份係數之間的各差分值的絕對值之和。
再有，優選以上述第四步驟保存的比上述多個要少的上述空間頻率係數的個數與上述多個空間頻率係數的個數之間的比率作為係數削減率；上述第四步驟、將上述縮小率分割成多段、根據上述各段縮小率設定上述係數削減率、同時當上述函數的值比上述給定值大時、根據上述係數削減率保留比上述多個要少的個數的上述空間頻率係數、而將上述其它空間頻率係數設定成零。
更優選上述圖像數據處理方法進一步包括受理上述縮小率的輸入的第六步驟；對所生成的上述縮小編碼圖像數據解碼的第七步驟；將解碼後的上述縮小編碼圖像數據的圖像尺寸縮小的第八步驟；和在畫面上顯示縮小後的上述縮小編碼圖像數據的第九步驟。
再有，優選上述編碼圖像數據是彩色編碼圖像數據；上述給定值按各個顏色成份分別給出。
再有，優選上述編碼圖像數據是彩色編碼圖像數據；上述第四步驟、按照每個顏色成份確定比上述多個要少的上述空間頻率係數的個數。
進一步，優選上述編碼圖像數據是彩色編碼圖像數據；上述圖像數據處理方法、只針對給定的顏色成份對上述各塊執行上述第一到第五步驟。
再有，優選上述編碼圖像數據是變長編碼數據；上述第四步驟以及上述第五步驟、通過在應保留的上述空間頻率係數的所有之後添加表示塊結束的符號、並且刪除上述其它空間頻率係數、而將上述其它空間頻率係數設定成零。
本發明的圖像數據配送裝置，是將原圖像分割成由多個像素構成的多個塊、在各個塊中根據以上述塊的空間頻率成份作為多個空間頻率係數進行編碼後的編碼圖像數據、生成按照給定縮小率縮小上述原圖像後的縮小圖像的作為編碼數據的縮小編碼圖像數據、經過網絡傳送上述縮小編碼圖像數據的圖像數據配送裝置，包括存儲多個上述編碼圖像數據的編碼圖像數據存儲裝置；從在上述編碼圖像數據存儲裝置中存儲的上述多個編碼圖像數據中讀取與一個圖像對應的編碼圖像數據的編碼圖像數據讀取裝置；和權利要求1到12中任一項上述的圖像數據處理裝置；上述圖像數據處理裝置，根據由上述編碼圖像數據讀取裝置所讀取的編碼圖像數據生成上述縮小編碼圖像數據；上述圖像數據配送裝置，進一步包括將由上述圖像數據處理裝置生成的上述縮小編碼圖像數據向上述網絡傳送的傳送裝置。
進一步，本發明的圖像數據傳送系統，是包括本發明的圖像數據配送裝置、通過上述網絡可以將上述圖像數據配送裝置與自己連接的終端裝置的圖像數據傳送系統，上述終端裝置包括接收由上述傳送裝置傳送來的上述縮小編碼圖像數據的縮小編碼圖像數據接收裝置；對所接收的上述縮小編碼圖像數據解碼的解碼裝置；對解碼後的上述縮小編碼圖像數據的圖像尺寸縮小的圖像尺寸縮小裝置；和在畫面上顯示縮小後的上述縮小編碼圖像數據的畫面顯示裝置。
依據這樣的構成，本發明的圖像數據配送裝置以及圖像數據傳送系統，對於原圖像的編碼圖像數據，在圖像的灰度或者顏色變化比較平緩的上述函數的值比較小的區域，只利用該塊的直流成份係數，而在圖像的輪廓等邊界區域的上述函數的值比較大的區域，只利用該塊中與圖像縮小率對應的個數的低頻端的係數，這樣可以生成縮小圖像用的縮小編碼圖像數據並進行傳送。即，本發明的圖像數據配送裝置以及圖像數據傳送系統，基於圖像的視覺特性，首先，對於塊噪聲等不太明顯的圖像灰度或者顏色變化平緩的區域，由於只利用直流成份係數，削減了有效係數的個數，實現了編碼量的減少。進一步，本發明的圖像數據配送裝置以及圖像數據傳送系統，基於圖像的視覺特性，對於因係數削減導致圖像質量明顯劣化的圖像輪廓等邊界領域，通過選擇與圖像縮小率對應的個數的低頻端的係數，在抑制由於係數削減引起的圖像質量劣化的同時，削減了有效係數的個數，達到了編碼量的減少。這樣，本發明的圖像數據配送裝置以及圖像數據傳送系統，由於根據圖像縮小率、以及是否是圖像邊界領域而能夠適當改變有效的空間頻率係數的個數，在降低從編碼量的減少到顯示縮小圖像的處理負擔的同時，可以傳送能抑制圖像質量劣化的縮小圖像。因此，通過利用由本發明的圖像數據配送裝置以及圖像數據傳送系統生成的縮小編碼圖像數據，即使處理比較大的縮小圖像時，也不會引起圖像質量的劣化，可以高速傳送縮小圖像，在終端裝置中，可以高速顯示能抑制圖像質量劣化的所希望縮小尺寸的縮小圖像。
優選，在上述圖像數據傳送系統中，上述終端裝置進一步包括受理從在上述編碼圖像數據存儲裝置中存儲的上述多個編碼圖像數據中指定與一個圖像對應的編碼圖像數據的請求的圖像請求輸入裝置；和將所受理的上述請求通過上述網絡向上述圖像數據配送裝置傳送的圖像請求傳送裝置；上述圖像數據配送裝置進一步包括接收傳送來的上述請求的圖像請求接收裝置；上述編碼圖像數據讀取裝置，從在上述編碼圖像數據存儲裝置中存儲的上述多個編碼圖像數據中讀取與上述請求對應的編碼圖像數據。
進一步優選，上述終端裝置進一步包括受理上述縮小率的輸入的縮小率輸入裝置；和通過網絡將所受理的上述縮小率向上述圖像數據配送裝置傳送的縮小率傳送裝置；上述圖像數據配送裝置進一步包括接收傳送來的上述縮小率的縮小率接收裝置；上述圖像數據處理裝置，以所接收的上述縮小率作為上述給出的縮小率生成上述縮小編碼圖像數據。
如上所述，本圖像數據處理裝置，在生成縮略圖像那樣的縮小圖像時，對於原圖像的編碼圖像數據，在圖像的灰度或者顏色變化比較平緩的區域，只利用該塊的直流成份係數，而在圖像的輪廓等邊界區域的區域，只利用該塊中與圖像縮小率對應的個數的低頻端的係數，生成縮小圖像用的縮小編碼圖像數據。即，本圖像數據處理裝置，基於圖像的視覺特性，由於根據圖像縮小率、以及是否是圖像邊界領域而能夠適當改變有效的空間頻率係數的個數，即使處理比較大的縮小圖像時，由於降低了編碼量而可以減輕到顯示縮小圖像為止的處理負擔，同時也可以抑制圖像質量的劣化。這樣，本圖像數據處理裝置，即使處理比較大的縮略圖像時，也不會引起圖像質量的劣化，可以高速顯示縮小圖像。
再有，本圖像數據處理方法，在生成縮略圖像那樣的縮小圖像時，對於原圖像的編碼圖像數據，在圖像的灰度或者顏色變化比較平緩的區域，只利用該塊的直流成份係數，而在圖像的輪廓等邊界區域的區域，只利用該塊中與圖像縮小率對應的個數的低頻端的係數，生成縮小圖像用的縮小編碼圖像數據。即，本圖像數據處理方法，基於圖像的視覺特性，由於根據圖像縮小率、以及是否是圖像邊界領域而能夠適當改變有效的空間頻率係數的個數，可以降低編碼量，同時可以生成能一種圖像質量劣化的縮小圖像用的縮小編碼圖像數據。進一步，通過利用這樣的縮小編碼圖像數據，即使處理比較大的縮小圖像時，可以減輕到顯示縮小圖像為止的處理負擔，可以減輕圖像質量劣化的狀況。
本圖像數據配送裝置以及本圖像數據傳送系統，在生成縮略圖像那樣的縮小圖像時，對於原圖像的編碼圖像數據，在圖像的灰度或者顏色變化比較平緩的區域，只利用該塊的直流成份係數，而在圖像的輪廓等邊界區域的區域，只利用該塊中與圖像縮小率對應的個數的低頻端的係數，生成縮小圖像用的縮小編碼圖像數據並傳送。即，本圖像數據配送裝置以及本圖像數據傳送系統，基於圖像的視覺特性，由於根據圖像縮小率、以及是否是圖像邊界領域而能夠適當改變有效的空間頻率係數的個數，即使傳送比較大的縮小圖像時，由於降低了編碼量而可以減輕傳送負擔，同時也可以抑制圖像質量的劣化。這樣，本圖像數據配送裝置以及本圖像數據傳送系統，即使處理比較大的縮略圖像時，也不會引起圖像質量的劣化，可以高速傳送縮小圖像。
因此，依據本發明，可以提供一種即使處理比較大的縮略圖像時，也不會導致圖像質量劣化，可以高速顯示縮略圖像的圖像數據處理裝置、圖像數據處理方法，同時提供一種可以高速傳送縮略圖像的圖像數據配送裝置以及圖像數據傳送系統。


圖1表示本發明實施方式1的圖像數據處理裝置的整體構成的方框圖。
圖2表示本發明實施方式1的圖像數據處理裝置的編碼圖像加工裝置的詳細方框圖。
圖3表示由編碼圖像數據加工裝置進行處理的微塊、以及各係數的情況圖。
圖4表示縮小率和係數削減率之間關係的一例的曲線圖。
圖5表示縮小率和係數削減率之間關係的另一例的曲線圖。
圖6表示微塊MBn和加工微塊KMBn之間的關係的示例說明圖。
圖7表示所輸入的編碼圖像數據的一例的圖。
圖8表示由編碼圖像數據加工裝置進行加工的編碼圖像數據的一例的圖。
圖9表示圖1的圖像數據處理裝置的動作順序的流程圖。
圖10表示圖9的步驟S2處理順序的一例的流程圖。
圖11表示圖9的步驟S2處理順序的另一例的流程圖。
圖12表示本發明實施方式2的圖像數據傳送系統的整體構成的方框圖。
圖13表示在監視器上顯示的縮小圖像的一例的圖。
圖14表示在監視器上顯示的縮小圖像的另一例的圖。
圖中1-圖像數據處理裝置，10-編碼圖像文件儲存裝置(編碼圖像數據儲存裝置；儲存裝置)，11-編碼圖像數據讀取裝置(編碼圖像數據讀取裝置；讀取裝置)，12-編碼圖像數據加工裝置(加工裝置)，13-解碼裝置，14-圖像尺寸縮小裝置(縮小裝置)，15-畫面顯示裝置，16-用戶指示判定裝置(判定裝置)，17-輸入處理裝置，18-輸入裝置，19-監視器，51-編碼圖像數據獲取裝置，52-解碼圖像數據儲存裝置，53、54-通信裝置，61-縮小圖像數據接收裝置，62-圖像請求輸入裝置，63-圖像請求傳送裝置，64-縮小率輸入裝置，65-縮小率傳送裝置，71-圖像請求接收裝置，72-縮小率接收裝置，73-傳送裝置，120-編碼圖像數據緩存器(緩存器)，121-微塊抽出部(MB抽出部)，122-係數集抽出部，123-DC係數抽出部，124-相鄰DC係數抽出部，125-DC係數比較部，126-選擇部，127-加工微塊生成部(加工MB生成部)，132-係數集設定裝置，133-DC係數設定裝置，501-圖像數據配送裝置(配送裝置)，502-終端裝置，503-網絡，600-圖像數據傳送系統。
具體實施例方式
以下參照

本發明的實施方式。
(實施方式1)圖1表示本發明實施方式1中的圖像數據處理裝置的整體構成方框圖。本圖像數據處理裝置1的特徵由儲存根據JPEG方式等進行壓縮編碼的圖像數據的儲存裝置，抽出用戶指定的圖像數據，進而按照用戶指定的縮小率的圖像尺寸顯示該圖像。
在圖1中，輸入裝置18是指鍵盤或者遙控器等，根據用戶對該輸入裝置18的操作，由用戶輸入各種指示。輸入處理裝置17，將用戶輸入的指示作為指示信息，通知用戶指示判定裝置16。用戶指示判定裝置(以下，稱為判定裝置)16，基於指示信息解析用戶指示的內容。進一步，判定裝置16，指令各部執行該解析結果對應的處理，通知為此的信息。例如，在用戶發出顯示縮小圖像的指示時，判定裝置16這時輸出用戶指定的圖像文件名以及圖像尺寸等信息。在圖1中，由於要進行作為圖像數據處理裝置1的特徵的縮小圖像的處理，判定裝置16構成為輸出用於檢索被指示的圖像文件的圖像識別信息，以及用於按指定的圖像尺寸進行顯示的圖像尺寸信息。
編碼圖像文件儲存裝置(以下，稱為儲存裝置)10，作為編碼圖像數據儲存裝置作用，例如，具有硬碟驅動器等那樣的記錄介質，將由JPEG方式進行壓縮編碼的圖像數據(以下，稱編碼圖像)作為圖像文件，儲存到該記錄介質中。儲存的圖像文件，根據用戶的操作，可以從網際網路、CD-ROM(Compact Disc-ROM)，DVD(Digital Video Disc)，或者電子靜止照相機中取得。這樣，在儲存裝置10中，作為原圖像的編碼圖像文件，儲存了多個圖像文件。編碼圖像數據讀取裝置(以下，稱讀取裝置)11，從儲存在儲存裝置10的多個圖像文件中，讀取對應於圖像識別信息的圖像文件。讀取的圖像文件，經過各項處理，由圖像顯示裝置15，在作為顯示裝置作用的監視器19上顯示。
這樣，用戶可以從在儲存裝置10內儲存的多個圖像文件中指定希望的圖像文件，進行圖像顯示。而且，當用戶從儲存裝置10存儲的多個圖像文件中檢索希望的圖像時，利用顯示多個縮略圖像的索引顯示，能夠容易尋找到希望的圖像。進一步，圖像數據處理裝置1的特點是也可以指定縮略圖像的顯示尺寸。也就是說，圖像數據處理裝置1的特點是具有按照用戶指定的縮小率的圖像尺寸生成縮略圖像的裝置。
編碼圖像數據加工裝置(以下，稱為加工裝置)12，是指將用讀取裝置11讀取的圖像文件，也就是對應於一個圖像的編碼圖像數據，轉換成縮略圖像(即縮小圖像)用的圖像數據進行加工的裝置。加工裝置12，基於從判定裝置16得到的圖像尺寸信息，將編碼圖像數據變換成作為對應於該縮小尺寸的編碼圖像數據的縮小編碼圖像。
解碼裝置13，對於該縮小編碼圖像數據，解碼該編碼圖像數據，恢復和原圖像相同尺寸的解碼圖像數據。圖像尺寸縮小裝置(以下，稱縮小裝置)14，對於由解碼裝置13恢復的解碼圖像數據，對應於用戶指定的圖像尺寸間取像素，生成縮小圖像數據。畫面顯示裝置15，為了將縮小圖像數據顯示在監視器19的畫面上，向監視器19輸出縮小圖像數據。
如上所述，本實施方式1的圖像數據處理裝置1，讀出記錄在儲存裝置10中的原圖像的編碼圖像數據，由加工裝置12生成對應於圖像尺寸信息的縮小圖像用的縮小編碼圖像數據，通過解碼、縮小該縮小編碼圖像數據，將原圖像的縮略圖像顯示在監視器19上。
圖2表示在本實施方式中，作為本圖像數據處理裝置的特點的加工裝置12的詳細構成方框圖。在圖2中，編碼圖像數據緩存器(下稱緩存器)120，臨時保存由讀取裝置11讀取的用戶指定的編碼圖像數據。
微塊抽出部(以下稱MB抽出部)121，從緩存器120依次抽出與各微塊對應的編碼圖像數據。圖2表示MB抽出部121抽出第n微塊MBn的情況。因為對於被抽出的微塊MBn要進行以下的處理，抽出的微塊MBn被稱為處理對象塊。另外，例如，當編碼方式是JPEG方式時，沒有編碼的原圖像數據，被分割成8×8像素的各塊，對各塊實施離散餘弦變換，結果得到對應於各塊的各空間頻率成份的空間頻率係數。另外，對於一個塊，作為空間頻率係數，從直流成份的係數的直流成份係數(以下稱DC係數)到作為交流成份係數的AC係數，直到空間頻率高的成份獲得8×8個係數。該8×8個係數，由作為一個塊的微塊構成。編碼圖像數據，由這樣的微塊多個組合構成。由此，MB抽出部121，在編碼圖像數據是JPEG方式時，在處理第n個微塊時，抽出微塊MBn的8×8個係數。
係數集抽出部122，從包含在微塊MBn的多個係數中，將與為縮小原圖像的縮小率對應的個數的係數，作為縮小係數集進行抽出。該縮小係數集，比包含在微塊MBn中的係數的個數少，從包含DC係數的低頻係數中抽出。係數集抽出部122，如上所述把抽出的縮小係數集作為縮小係數集SMBn進行輸出。
DC係數抽出部123，從包含在微塊MBn中的多個係數中只抽出DC係數，輸出作為直流成份係數的DC係數DCn。
相鄰DC係數抽出部124，抽出與處理對象塊的微塊MBn相鄰的微塊的相鄰直流成份係數(以下，稱相鄰DC係數)。這裡，表示了作為在圖像水平方向左右相鄰的微塊的相鄰DC係數，抽出相鄰DC係數DCn-1以及DCn-2的例子。另外，不只限於在水平方向相鄰的微塊，也可以利用在垂直方向或者在斜方向相鄰的微塊的相鄰DC係數。
DC係數比較部125，輸入從DC係數抽出部123得到的DC係數DCn、從相鄰DC係數抽出部124得到的相鄰DC係數DCn-1，以及DCn+1，對這些DC係數進行比較、判定。首先，DC係數比較部125，作為DC係數的比較，在處理對象塊的DC係數DCn、和作為比較對像的相鄰DC係數DCn-1以及DCn+1之間進行大小比較。另外，利用多個相鄰微塊時，作為一例，取各相鄰DC係數的平均值，和作為平均DC係數的該項DC係數DCn之間進行比較。而且，例如，也可以按相鄰方向改變加權值，將加權平均值作為平均DC係數。進一步，作為另一例，也可以對該項DC係數DCn和各相鄰DC係數之間分別進行大小比較，將其差的差分值的絕對值最大的值作為比較結果。或者也可以將該項DC係數DCn和各相鄰DC係數之差的差分值的絕對值之和作為比較結果。也可以只利用一個相鄰微塊。也可以將該項DC係數DCn和各相鄰DC係數之差的差分值的絕對值作為比較結果。這樣，DC係數比較部125，進行對象的DC係數DCn和相鄰DC係數之間的大小比較，檢測作為其比較結果的差分值。
作為加權平均值的一例，將在以處理對象的微塊MBn為中心的5×5塊內的微塊MBn的周圍配置的24塊作為相鄰塊，也可以根據距微塊MBn的距離進行加權。這時，距微塊MBn的距離越遠，加權可以設定越小。或者，也可以對於微塊MBn的上下左右相鄰的微塊加權作為1，斜方向相鄰的微塊的加權作為 另外，根據每幅圖像的特性，也可以增大特定方向的加權。例如，也可以按照在右下方向加重、而在左上方向減輕等進行加權。
DC係數比較部125，一般計算出表示DC係數DCn、和至少1個相鄰DC係數(例如DCn-1和DCn+1)之間的相異程度的函數(例如、DCn、DCn-1以及DCn+1的函數)的值。上述各種差分值的絕對值，相當於該函數的值的具體例。
然後，DC係數比較部125，對檢測出的差分值的絕對值和事先設定的判定值的大小進行比較。這時，該差分值比判定值大時，將作為檢測出邊界的邊界檢測結果，通知以下說明的選擇部126。另外，該差分值的絕對值比判定值小時，作為沒有檢測出邊界的邊界檢測結果，通知選擇部126。這樣，DC係數比較部125，通過將對象的DC係數DCn和相鄰的DC成份進行比較，判定對象的微塊MBn是否是輪廓線等圖像的邊界部分。也就是說，由於DC係數是表示一個微塊的各像素值的平均值，來判斷微塊間的像素平均值差大的微塊是圖像的邊界領域。這樣，圖像邊界領域的判斷結果，作為邊界檢測結果向選擇部126通知。
選擇部126，基於該邊界檢測結果，抽出從係數集抽出部122獲得的縮小率係數集SMBn，或者從DC係數抽出部123獲得的DC係數DCn。選擇部126，作為檢測出邊界的邊界檢測結果被通知時，選擇縮小係數集的SMBn。選擇部126，作為沒有檢測出邊界的邊界檢測結果被通知時，選擇DC係數DCn。選擇部126，將這樣選擇、抽出的係數向加工微塊生產部(以下，稱為加工MB生成部)127供給。
加工MB生成部127，在與微塊MBn內的像素數相同個數的係數中，將上述抽出的縮小係數集SMBn、或者DC係數DCn，作為相當於該頻率的係數進行設定，將對應於其它頻率的係數全部設定為零，作為加工微塊KMBn輸出。
另外，如圖2所示，係數集抽出部122，選擇部126以及加工MB生成部127，作為本發明的係數集設定裝置132作用。選擇部126以及加工MB127，作為本發明的DC係數設定裝置133作用。
關於以上構成的本實施方式1中的圖像數據處理裝置1的詳細動作，以下按順序進行說明。這裡，將以作為本圖像數據處理裝置特點的編碼圖像數據加工裝置12的功能為中心進行說明。
圖3表示在由圖2說明的加工裝置12處理的微塊，以及各係數的情況圖。在圖3中，編碼圖像數據300是在圖2的緩存器120中臨時儲存的編碼圖像數據的一例。這裡，作為原圖像，表示了32×32像素的圖像例。該圖像是分割成8×8像素的微塊，由4×4個微塊構成。進一步，各微塊，例如，由離散餘弦變換後變換成8×8個的空間頻率係數，作為64個的係數的集合，構成微塊MB。而且，在各微塊MB中，這些多個係數，由DC係數DC和與各頻率相對應的多個AC係數[AC](以下，多個的係數用括號「[]」表示)構成。另外，在圖3中，表示了作為處理對象的微塊MB是第n個微塊的微塊MBn的情況。以下，以微塊MBn為代表進行說明，但是同樣的處理也對各微塊進行。
這樣，即使在顯示如縮略圖像那樣的縮小圖像時，圖像數據處理裝置1也將對應於原圖像的編碼圖像數據300從儲存裝置10讀取，臨時儲存到緩存器120中。
以下，為了顯示用根據用戶指令的縮小率進行縮小的圖像，在加工裝置12中，對編碼圖像數據300的各微塊進行加工處理。MB抽出部121，從緩存器120中，依次抽出包含在各微塊裡的編碼圖像數據。圖3的處理對象微塊MBn301，是作為第n個微塊的當前處理對象的微塊。而且，在係數集抽出部122，為了生成對應於縮小圖像的縮小係數集SMBn，設定了縮小區域。該縮小區域，根據顯示圖像的縮小率進行設定。這裡，例如將圖像面積作為1/K縮小圖像時，表示了縮小區域也被設定為1/K的情況。更具體講，如果想將圖像縮小成縱橫各一半的尺寸時，縮小區域也被設定為縱橫各一半。這裡，縱是指圖像的垂直方向，橫是指水平方向。對於圖3，微塊中含有8×8個係數，該縮小區域是將縱橫一半的4×4個係數作為對象，DC係數方面依次將低空間頻率係數作為對象。係數集抽出部122，抽出成為該縮小區域內的對象的係數，如圖3所示，作為縮小係數集SMBn302輸出。
另外，將縮小圖像尺寸與原圖像尺寸的比率作為縮小率，對於包含在微塊中的多個的空間頻率係數的個數，將選擇的比該多個少的空間頻率係數的空間頻率係數個數的比率作為係數削減率時，如圖4所示，也可以將縮小率分割成多段，根據各段縮小率設定係數削減率。另外，如圖5所示，也可以進行非線形變換，例如，假定縮小率為1/4時，係數削減率也可以為25/64。這時，是將圖像分成縱橫一半尺寸的情況，如果在微塊含有8×8個係數時，縮小區域以5×5個係數為對象。這樣的變換，在想防止由於縮小而帶來的圖像質量劣化時有效。而且，相反，例如想將圖像變為縱橫一半尺寸時，對於含有8×8個係數的微塊，縮小區域，也可以以3×3個係數為對象。這樣的變換在比起圖像質量來更重視處理速度等的時候有效。
回到圖3，由DC係數抽出部123抽出的DC係數DCn，如上所述，由DC係數比較部125把與相鄰DC係數大小比較的對象，作為檢測出邊界的邊界檢測結果，通知選擇部126。進一步，選擇部126，根據該邊界檢測結果，在由係數集抽出部122得到的縮小率組合SMBn和與DC係數抽出部123得到的DC係數DCn之間進行選擇。進一步，由加工MB生成部127生成加工微塊KMBn，該加工微塊KMBn與微塊MBn的係數有相同的個數，但是將縮小係數集SMBn或者DC係數DCn以外的係數，全部設置為零。圖3所示加工微塊KMBn303，是按以上方式生成的加工微塊KMBn的一例。
如上所述，編碼圖像數加工裝置12，不是對編碼圖像數據解碼，而是將編碼圖像自身作為處理對象，生成縮小編碼圖像數據。因此，如果對MB抽出部121抽出的微塊MBn的編碼圖像數據、和加工MB生成部127輸出的加工微塊KMBn的編碼圖像數據進行例示，則成為圖6所示的比特列。也就是說，對於微塊MBn的編碼圖像數據，繼DC係數的比特列，從低頻端依次排列AC係數的比特列。從加工MB生成部127輸出的加工微塊KMBn的編碼圖像數據，在微塊KMBn的編碼圖像數據比特列中，把從先頭起的某些部分作為有效留下，其餘的全部捨棄。加工MB成部127，微塊MBn的比特列，如果是變長編碼(例如JPEG中的哈夫曼編碼)後的碼，在剩餘比特列的尾部，插入一個表示微塊比特列結束的符號EOB(End of Block，例如二進位的「1010」)，刪除剩餘的比特列。EOB表示刪除後的剩餘比特列為零、即縮小係數集SMBn之外的係數或者DC係數DCn之外的係數均設定成零。加工MB生成部127，如果微塊MBn的比特列是變長編碼後的碼，對於剩餘的比特列是用變長表示全部為零。無論如何，加工微塊KMBn的編碼圖像數據，與微塊MBn的編碼圖像數據相比，壓縮成了位數少的數據。因此，縮小編碼圖像數據，減輕了伴隨傳送的傳送介質的負擔，可以節減傳送所需的時間。
由以上說明的處理，加工裝置12，對應於圖像的視覺特性，對於編碼圖像數據300，加工出達到削減數據量目的的縮小編碼圖像數據。從人的視覺特性出發，在縮小圖像時，隨著圖像縮小率小到接近於0，圖像的細小部分將無法識別。也可以說，隨著圖像縮小率逐漸變小，在微塊的AC係數中，捨去了高頻成份。利用上述視覺特性，係數集抽出部122，隨著縮小率的變小，抽出的低頻端的係數的個數將會變少。進一步，在圖像中，在輪廓線那樣的圖像邊界部位，作為空間頻率成份的高頻成份包含很多，相反，在圖像的灰度或者顏色變化比較平緩的區域，空間頻率成份，集中在低頻端。也就是說，在圖像的灰度或者顏色變化比較平緩的區域，在微塊裡即使只有DC成份，也可以說圖像質量的劣化也比較少。
圖7表示輸入到加工裝置12的編碼圖像數據的說明圖。圖8表示將圖7的編碼圖像數據作為處理對象的結果，由加工裝置12輸出的被加工後的編碼圖像數據，也即是縮小編碼圖像數據的一例。圖7表示，在原圖像中輪廓線等的邊界領域400，存在於圖中對應的微塊位置的情況。另外，邊界領域400以外的微塊是灰度或者顏色變化比較平緩的區域。進一步，各微塊，也包括DC係數，設定了對應於用斜線區域表示的到高頻成份的各個AC係數(用[AC]表示)。如圖8所示，在圖像的灰度或者顏色變化比較平緩的區域，對於DC係數以外的各個係數設定為零(用
表示)。另外，如輪廓線那樣的圖像邊界部位，設定了對應於包含DC係數的縮小率的縮小係數集，縮小係數集以外全部設定為零。
以上，圖像數據處理裝置1，每當生成縮小圖像，利用上述那樣的圖像的視覺特性，在圖像的灰度或者顏色變化比較平緩的區域，只利用該微塊的DC係數，而且在圖像的輪廓等邊界區域，利用對應於圖像縮小率個數的低頻端的係數。另外，圖像數據處理裝置1，對於不被利用的高頻端的係數，作為無效係數全部設定為零(例如，如圖6所示插入EOB，削除後面的比特列)，作為加工微塊輸出，將這些加工微塊由解碼裝置13進行解碼。因此，由於圖8所示的各個加工微塊中不要係數都被設定為零，解碼處理量被減少，可以達到顯示縮小圖像時的高速化。而且，圖像數據處理裝置1，由於可以根據圖像的縮小率以及是否是圖像的邊界區域等適當改變有效係數的個數，能夠在不降低圖像質量的情況下顯示縮略圖像那樣的縮小圖像。另外，圖像數據處理裝置1，是由加工原圖像的編碼圖像數據，生成縮小圖像用的圖像數據，不需要事先保存縮小圖像用的圖像數據的儲存裝置等。
圖像數據處理裝置1，可以只由不需要程序的硬體構成，也可以由計算機、和作為程序保存了圖像數據處理裝置1實現的處理的各步驟的存儲器所構成。前一種情況，圖1以及圖2，意味著圖像數據處理裝置1的硬體構成圖，後一種情況，至少在圖1和圖2描述的方框的一部分，意味著基於圖像數據處理裝置1的功能的構成圖，也即功能圖。圖像數據處理裝置1包含微機時，該微機，通過從存儲器中讀出並執行程序，執行由該程序規定的圖像數據處理方法的各個步驟。上述程序，即可以由ROM(Read Only Memory)或者CD-ROM等記錄介質供給，也可以通過網絡等傳送介質供給。
圖9和圖10表示，根據圖像數據處理裝置1執行處理的順序，其流程的概略圖。對於各處理的詳細內容，由於已經進行了說明，在此不再重複說明。
如圖9所示，處理開始時，首先，由用戶輸入向輸入處理裝置17指定應縮小編碼的編碼圖像數據的請求、縮小率等信息(S1)。輸入處理裝置17，接收用戶輸入的各種指示。下一步，編碼圖像數據加工裝置12，根據用戶指示的編碼圖像數據，生成基於用戶指示的縮小率的縮小編碼圖像(S2)。然後，解碼裝置13，將生成的縮小編碼圖像數據進行解碼(S3)。然後，圖像尺寸縮小裝置14，縮小解碼後的縮小編碼圖像數據的圖像尺寸(S4)。最後，圖像顯示裝置15，將縮小後的縮小編碼圖像數據在顯示裝置19的畫面上顯示(S5)。
步驟S2的處理順序，由圖10的流程圖表示。步驟S2的處理開始時，例如MB抽出部121，將控制變量n復位成0(S11)。下一步，MB抽出部121，從在編碼圖像數據緩存器120中儲存的編碼圖像數據中抽出微塊MBn的編碼圖像數據(S12)。然後，DC抽出部123，抽出微塊MBn的DC係數(S13)。與此前後或者同時，相鄰DC係數抽出部124，抽出相鄰塊的DC係數(S14)。相鄰DC係數抽出部124，例如通過從MB抽出部121獲取控制變量n(參照圖2)，可以識別處理對象微塊MBn，能夠確定與此對應的相鄰塊。
然後，DC係數比較部125，計算出DC係數的差值(S15)，將計算出的差分值的絕對值和判定值進行比較(S16)。差分值的絕對值比判定值大時(S16為NO)，係數集設定裝置132，從微塊MBn的空間頻率係數中保存根據縮小率選擇的低頻端的空間頻率係數，將其它空間頻率係數設定為零(S17)。另一方面，差分值的絕對值比判定值小時(S16為YES)，DC係數設定裝置133，只保存微塊MBn的DC係數，將其它的空間頻率係數設定為零(S18)。也就是說，係數集設定裝置132以及DC係數設定裝置133，生成加工微塊KMBn。之後，係數集設定裝置132以及DC係數設定裝置133，輸出加工微塊KMBn(S19)。
然後，MB抽出部121，判定微塊MBn是否是最終的微塊(S20)。如果微塊MBn是最終的微塊(S20為YES)，編碼圖像數據加工裝置12結束處理，如果不是最終的微塊(S20為NO)，MB抽出部121增加控制變量n(S21)。步驟S21之後，編碼圖像數據加工裝置12，返回步驟S12的處理。
編碼圖像數據加工裝置12，在處理對象的編碼圖像數據是彩色編碼圖像數據時，編碼圖像數據加工裝置12，如圖11所示，對各微塊MBn，例如每3種顏色成份，可以實行與圖10步驟S12～S19同樣的處理即可。在圖11中，對與圖10相同的處理，採用相同的標號。圖11的處理步驟，對於各微塊MBn，對於對應於3種顏色成份的控制變量k＝0、1、2，反覆執行步驟S32～S39的處理。即，在每個控制變量k的步驟S32～S41的一個循環中，執行步驟S32～S39的處理。步驟S32～S39的處理，對於微塊MBn的第k色成份MBnk，和圖10的步驟S12～S17進行相同的處理。例如，步驟S32的處理，與步驟S12相同，由MB抽出部121進行處理。而且，控制變量k，也可以與控制變量n相同，由MB抽出部121設定。
這裡，在步驟S36的判定值，也可以對於每種顏色成份分別給出。而且，步驟S39的係數削減率，也可以對每種顏色成份分別給出。作為處理對象的編碼圖像數據，由Y(灰度)、U(色相)和V(色差)系表現時，對於Y成份，也可以將判定值設得比U成份和V成份低一些，削減率設得高一些(削減的比率減弱)。
另外，如圖11作為步驟S50記載的那樣，也可以根據對應於顏色成份的控制變量k，削減空間頻率係數(S50為NO)，或者不削減空間頻率係數(S50為YES)。只有削減空間頻率係數的時候，執行S33～S38的處理，而不削減的時候，微塊MBn的第k色成份MBnk原封不動作為加工微塊KMBn的第k色成份進行輸出(S39)。為了微塊MBn的第k色成份MBnk原封不動作為加工微塊KMBn的第k色成份進行輸出，對於控制變量k，也可以將步驟S36的判定值設定為負值，將步驟S37的係數削減率設定為1，進行步驟S33～S37的處理。對此，在圖2的框圖中，對於控制變量k，MB抽出部121，也可以將微塊MBn作為加工微塊KMBn進行輸出，直接向加工MB生成部127輸入。
(實施方式2)圖12表示本發明實施方式2的圖像數據傳送系統的整體構成方框圖。本圖像數據傳送系統600，將由JPEG方式等壓縮編碼的圖像數據(以下，稱為編碼圖像數據)，從作為圖像數據配送裝置的配送裝置501到用戶所在的終端裝置502，經過網際網路等網絡503進行傳送。進一步，其特點是，用戶可以指定對配送裝置501進行傳送的圖像的縮小尺寸，配送裝置501，配送對應於用戶指定的縮小尺寸的編碼圖像數據。
在圖12中，與圖1相同標號的構成要素具有相同的功能，省略對此的說明。
如圖12所示，本實施方式2的圖像數據傳送系統600，通過網際網路等網絡503將配送裝置501和對各個用戶設置的多個終端裝置連接而構成。在圖12中，代表性地表示了多個終端裝置中之一的終端裝置502。
在圖12中，提供圖像等服務的提供者擁有的配送裝置501，為了根據用戶要求提供圖像，將對應於各圖像的編碼圖像數據儲存在編碼圖像文件儲存裝置10中。配送裝置501，進一步通過網際網路等網絡503，將根據用戶要求的編碼圖像數據，向終端裝置502配送。
終端裝置502，根據用戶的操作向配送裝置501傳送用戶要求等信息，並且接收包含圖像數據等各種信息。例如，從終端裝置502向配送裝置501發送圖像的配送要求後，圖像數據即被從配送裝置501發送，終端裝置502接收發送的圖像數據，依次進行解碼、重放。
這樣，圖像數據傳送系統600，從配送裝置501經由網絡503向終端裝置502傳送的圖像數據，終端裝置502的用戶選擇所希望的圖像進行視聽。
進一步，本圖像數據傳送系統600的特點是，用戶從終端裝置502要求希望圖像的縮小圖像時，配送裝置501，將該圖像的縮小圖像數據作為縮小編碼圖像數據進行發送。例如，用戶想從多個圖像中選擇希望的圖像時，用戶首先需要對配送裝置501提出發送如縮略圖像那樣的縮小圖像的要求。進一步，用戶，例如從顯示包含多個縮略圖像的索引圖像中選擇希望的圖像。這樣，用戶可以用縮略圖像事先選擇希望的圖像，提高了使用的方便性。
以下，說明由圖像配送系統600進行處理的步驟。在圖12中，將用戶的各種指示輸入到輸入裝置18。輸入處理裝置17，接收這些指示。由此，輸入處理裝置17包括受理從儲存在編碼圖像文件儲存裝置10的多個編碼圖像數據中指定與一個圖像對應的編碼圖像數據的要求(例如通過指定圖像文件名進行要求)的圖像要求輸入裝置62、和受理縮小率的輸入(例如，通過輸入圖像尺寸進行)的縮小率輸入裝置64。
用戶從輸入裝置18輸入縮小圖像發送要求後，通過輸入處理裝置17，將用戶指定的圖像文件名、圖像尺寸等信息向通信裝置54通知。終端裝置502的通信裝置54，通過經由網絡503向配送裝置501傳送表示用戶的要求的請求信息，或者接收來自配送裝置501的圖像數據等，與配送裝置501之間進行通信。為此，通信裝置54，包含傳送編碼圖像數據請求的圖像請求傳送裝置63、傳送縮小率的縮小率傳送裝置65，以及接收縮小編碼圖像數據的縮小編碼圖像數據接收裝置61。
另外，配送裝置501的通信裝置53，通過網絡503與終端裝置502進行通信。也就是說，用戶指定的圖像文件名，以及圖像尺寸等信息，通過通信裝置54、網絡503、通信裝置53等，向配送裝置501的用戶指示判定裝置(以下，稱判定裝置)16通知。因此，通信裝置53，包含接收編碼圖像數據請求的圖像請求接收裝置71、接收縮小率的縮小率接收裝置72，以及傳送縮小編碼圖像數據的傳送方法73。
判定裝置16，輸出根據用戶指定的圖像文件名檢索圖像文件的圖像識別信息，以及為按用戶指定的圖像尺寸顯示的圖像尺寸信息。作為編碼圖像數據儲存裝置而動作的編碼圖像文件儲存裝置(以下，稱儲存裝置)10，將由JPEG方式等壓縮編碼後的編碼圖像數據作為多個圖像文件進行儲存。編碼圖像數據讀取裝置(以下，稱讀取裝置)11，從數個儲存裝置10儲存的多個圖像文件中，讀取對應於圖像識別信息的圖像文件。讀取的圖像文件的編碼圖像數據，由編碼圖像數據加工裝置(以下，稱加工裝置)12，向變換成對應於圖像尺寸信息的縮小率的縮略圖像，即縮小圖像用的縮小編碼圖像數據那樣進行加工。加工後的縮小圖像用的圖像數據，向作為傳送裝置73而動作的通信裝置53供給，經過網絡503向終端裝置502傳送。也就是說，被加工的縮小圖像用的圖像數據，如圖8所示被加工，然後作為縮小編碼圖像數據進行發送。
在終端裝置502中，接收由這樣加工生成的縮小編碼圖像數據，該縮小編碼圖像數據通過作為縮小編碼圖像數據接收裝置61而動作的通信裝置54，由讀入編碼圖像數據取得裝置(以下，稱取得裝置)51，暫時儲存。解碼裝置13，對縮小編碼圖像數據的編碼數據進行解碼，恢復到與原圖像相同大小的解碼圖像數據。解碼圖像數據存儲裝置52，包含復原後的與原圖像相同尺寸的解碼圖像數據。圖像尺寸縮小裝置(以下，稱為縮小裝置)14，對於由解碼裝置13解碼的解碼圖像數據，對應於用戶指定的縮小尺寸的縮小率，通過間取像素，生成縮小圖像數據。畫面顯示裝置15，為了在作為表示裝置而動作的監視器19的畫面上顯示，而將縮小圖像數據向監視器19輸出。
圖13以及圖14表示在監視器19的畫面上顯示的縮小圖像的例子。圖13表示在監視器19的畫面上將6個縮小圖像作為縮略圖像進行索引顯示的一例。圖14表示在監視器19的畫面上將4個縮小圖像作為縮略圖像進行索引顯示的一例。如上所述，在圖像數據傳送系統600中，用戶可以將縮小圖像的尺寸作為配送請求進行指定。這樣，如圖13和圖14所示，可以在監視器的畫面上顯示不同大小的縮小圖像，用戶可以利用希望大小的縮略圖像，選擇希望的圖像。
如上所述，對於從終端裝置502發送的縮小圖像的配送請求，配送裝置501，將對應於該請求的縮小編碼圖像數據向終端裝置502發送，終端裝置502，將該縮小編碼圖像數據進行解碼，作為縮略圖像進行再生。這時，圖像數據傳送系統600的特徵是，由如圖2所示構成的加工裝置12，將編碼圖像數據，加工成縮小圖像進行發送。
也就是說，如在實施方式1說明的那樣，由加工裝置12，各加工微塊如圖8所示，對應圖像的視覺特性，將不需要的係數設定為零。因此，編碼量可以減少，降低網絡503的傳送負擔，結果，可以實現通信速度的高速化。另外，圖像數據傳送系統600，由於可以根據圖像的縮小率，以及是否是圖像的邊界區域等，適當地改變有效係數的個數，所以可以在不導致圖像質量劣化的情況下傳送縮略圖像那樣的縮小圖像，在終端裝置502中，可以顯示圖像質量很少劣化的縮略圖像。由此，用戶可以利用縮略圖像，從網際網路等存有的多個圖像文件中，迅速檢索出自己希望的圖像。另外，因縮略圖像太小難以判斷的時候，用戶指示比較大的圖像尺寸，一邊進行比較詳細的確認，同時可選擇自己希望的圖像。而且，圖像數據傳送系統600，由於可以根據圖像尺寸適當改變編碼量，即使縮略圖像的尺寸比較大，也可以在防止圖像質量劣化的同時，降低編碼量，防止傳輸速度降低。
進一步，在配送裝置501中，將原圖像作為編碼後的編碼圖像數據進行保存，由於在發送該縮小圖像時，只將編碼圖像數據進行加工傳送即可，可以降低配送裝置501的處理負擔。例如，每當對原圖像進行傳送時，採用根據縮小率進行編碼、傳送方式時，需要對每次傳送進行編碼，這時在終端數增大時，該編碼處理的負擔將很重。而且，在利用將編碼圖像數據進行解碼、縮小後再進行編碼傳送的方式時，也會帶來解碼、再編碼處理負擔加重的問題。對此，具有圖像數據發送系統600的配送裝置501，首先，由於一般將為了發送的圖像數據作為編碼圖像數據進行保存，與非編碼的圖像數據相比，保存圖像數據的存儲容量可以比較小。另外，配送裝置501，在發送縮小圖像時，對於該編碼圖像數據，由於可以由加工裝置12隻進行簡單的加工處理，可以降低生成縮小圖像的處理負擔，即使終端數比較大的時候也完全可以適應。
(其它應用例)(1)本發明，可以應用於在手機、便攜終端那樣的畫面較小的裝置上顯示圖像的技術中。也就是說，不僅作為縮略圖像，即使在比一般監視器畫面要狹小的畫面上顯示圖像時，可以對利用本發明的圖像數據處理裝置、圖像數據處理方法、圖像數據配送裝置、以及圖像數據傳送系統所生成的縮小編碼圖像數據進行解碼以及縮小，然後在畫面上顯示。
(2)本發明，也可以用於網絡瀏覽器顯示靜止圖像的技術中。而且，用戶為了便於選擇動態圖像，將動態圖像中的一幀(在幀中進行編碼的幀)作為靜止圖像顯示時，也可以利用由本發明的技術生成的縮小編碼圖像數據。
(3)本發明，還可以應用於圖像編輯的情況。例如，在進行切取圖像一部分的處理、變更圖像尺寸的處理、圖像的馬賽克處理等時，在顯示處理後的最終圖像之前，為了在編輯途中臨時顯示圖像，也可以利用由本發明的技術生成的縮小編碼圖像數據。在採用編輯工具編輯包含動態圖像的多媒體要素(音頻、動態圖像、文字等)時，為了在編輯途中顯示圖像，同樣也可以利用本發明的技術。
本發明，因為即使在處理比較大的縮略圖像時，也不會導致圖像質量劣化，可以高速顯示縮略圖像，在產業上非常有用。
權利要求
1.一種圖像數據處理裝置，是將原圖像分割成由多個像素構成的多個塊、在各個塊中根據以所述塊的空間頻率成份作為多個空間頻率係數進行編碼後的編碼圖像數據、生成按照給定縮小率縮小所述原圖像後的縮小圖像的作為編碼數據的縮小編碼圖像數據的圖像數據處理裝置，其特徵在於包括從所述多個塊中依次抽出作為處理對象塊的各塊的塊抽出裝置；從所述處理對象塊的所述多個空間頻率係數中抽出直流成份係數的DC係數抽出裝置；從所述多個塊中將在所述處理對象塊的水平方向、垂直方向、以及斜方向的任一方向上相鄰的至少一個相鄰塊的直流成份係數抽出作為至少一個相鄰直流成份係數的相鄰DC係數抽出裝置；對所述處理對象塊的所述直流成份係數、和所述至少一個相鄰直流成份係數進行比較、求出表示雙方之間的相異程度的、以所述直流成份係數和所述至少一個相鄰直流成份係數作為變量的、函數的值的DC係數比較裝置；當所述函數的值比給定值大時、對所述處理對象塊的所述多個空間頻率係數、按照所述縮小率從包含所述直流成份係數的低頻率的空間頻率係數中保留比所述多個少的個數的空間頻率係數、而將其它空間頻率係數設定為零的係數集設定裝置；和當所述函數的值小於所述給定值時、對所述處理對象塊的所述多個空間頻率係數、只保留所述直流成份係數、而將其它空間頻率係數設定為零的DC係數設定裝置。
2.根據權利要求1所述的圖像數據處理裝置，其特徵在於所述至少一個相鄰塊，是一個相鄰塊；所述函數的值是所述直流成份係數和所述相鄰直流成份係數之間的差分值的絕對值。
3.根據權利要求1所述的圖像數據處理裝置，其特徵在於所述至少一個相鄰塊，是多個相鄰塊；所述函數的值是包含在所述多個相鄰塊中的多個相鄰直流成份係數的平均值、和所述處理對象塊的所述直流成份係數之間的差分值的絕對值。
4.根據權利要求1所述的圖像數據處理裝置，其特徵在於所述至少一個相鄰塊，是多個相鄰塊；所述函數的值是對包含在所述多個相鄰塊中的多個相鄰直流成份係數按照相鄰方向通過加權平均計算求出的平均值、和所述直流成份係數之間的差分值的絕對值。
5.根據權利要求1所述的圖像數據處理裝置，其特徵在於所述至少一個相鄰塊，是多個相鄰塊；所述函數的值是包含在所述多個相鄰塊中的各相鄰直流成份係數、和所述處理對象塊的所述直流成份係數之間的各差分值的絕對值中最大的值。
6.根據權利要求1所述的圖像數據處理裝置，其特徵在於所述至少一個相鄰塊，是多個相鄰塊；所述函數的值是包含在所述多個相鄰塊中的各相鄰直流成份係數、和所述處理對象塊的所述直流成份係數之間的各差分值的絕對值之和。
7.根據權利要求1～6中任一項所述的圖像數據處理裝置，其特徵在於以係數集設定裝置保存的比所述多個要少的所述空間頻率係數的個數與所述多個空間頻率係數的個數之間的比率作為係數削減率；所述係數集設定裝置，將所述縮小率分割成多段，根據所述各段縮小率設定所述係數削減率，同時當所述函數的值比所述給定值大時，根據所述係數削減率保留比所述多個要少的個數的所述空間頻率係數，而將所述其它空間頻率係數設定成零。
8.根據權利要求1～7中任一項所述的圖像數據處理裝置，其特徵在於進一步包括受理所述縮小率的輸入的輸入處理裝置；對所生成的所述縮小編碼圖像數據解碼的解碼裝置；縮小解碼後的所述縮小編碼圖像數據的圖像尺寸的圖像尺寸縮小裝置；和在畫面上顯示縮小後的所述縮小編碼圖像數據的畫面顯示裝置。
9.根據權利要求1～8中任一項所述的圖像數據處理裝置，其特徵在於所述編碼圖像數據是彩色編碼圖像數據；所述給定值按各個顏色成份分別給出。
10.根據權利要求1～9中任一項所述的圖像數據處理裝置，其特徵在於所述編碼圖像數據是彩色編碼圖像數據；所述係數集設定裝置，按照每個顏色成份確定比所述多個要少的所述空間頻率係數的個數。
11.根據權利要求1～10中任一項所述的圖像數據處理裝置，其特徵在於所述編碼圖像數據是彩色編碼圖像數據；所述塊抽出裝置，只針對給定的顏色成份抽出所述處理對象塊。
12.根據權利要求1～11中任一項所述的圖像數據處理裝置，其特徵在於所述編碼圖像數據是變長編碼數據；所述係數集設定裝置以及所述DC係數設定裝置，通過在應保留的所述空間頻率係數的所有之後添加表示塊結束的符號，並且刪除所述其它空間頻率係數，而將所述其它空間頻率係數設定成零。
13.一種圖像數據處理方法，是將原圖像分割成由多個像素構成的多個塊、在各個塊中根據以所述塊的空間頻率成份作為多個空間頻率係數進行編碼後的編碼圖像數據、生成按照給定縮小率縮小所述原圖像後的縮小圖像的作為編碼數據的縮小編碼圖像數據的圖像數據處理方法，其特徵在於包括從所述多個空間頻率係數中抽出直流成份係數的第一步驟；從所述抽出了直流成份係數的塊中將在水平方向、垂直方向、以及斜方向的任一方向上相鄰的至少一個相鄰塊的直流成份係數抽出作為至少一個相鄰直流成份係數的第二步驟；對所述直流成份係數、和所述至少一個相鄰直流成份係數進行比較、求出表示雙方之間的相異程度的、以所述直流成份係數和所述至少一個相鄰直流成份係數作為變量的、函數的值的第三步驟；當所述函數的值比給定值大時、對所述多個空間頻率係數、按照所述縮小率從包含所述直流成份係數的低頻率的空間頻率係數中保留比所述多個少的個數的空間頻率係數、而將其它空間頻率係數設定為零的第四步驟；和當所述函數的值小於所述給定值時、對所述多個空間頻率係數、只保留所述直流成份係數、而將其它空間頻率係數設定為零的第五步驟；通過對所述各塊執行所述各步驟，生成以所述縮小率縮小所述原圖像後的縮小圖像的、作為編碼數據的、所述縮小編碼圖像數據。
14.根據權利要求13所述的圖像數據處理方法，其特徵在於所述至少一個相鄰塊，是一個相鄰塊；所述函數的值是所述直流成份係數和所述相鄰直流成份係數之間的差分值的絕對值。
15.根據權利要求13所述的圖像數據處理方法，其特徵在於所述至少一個相鄰塊，是多個相鄰塊；所述函數的值是包含在所述多個相鄰塊中的多個相鄰直流成份係數的平均值、和所述直流成份係數之間的差分值的絕對值。
16.根據權利要求13所述的圖像數據處理方法，其特徵在於所述至少一個相鄰塊，是多個相鄰塊；所述函數的值是對包含在所述多個相鄰塊中的多個相鄰直流成份係數按照相鄰方向通過加權平均計算求出的平均值、和所述直流成份係數之間的差分值的絕對值。
17.根據權利要求13所述的圖像數據處理方法，其特徵在於所述至少一個相鄰塊，是多個相鄰塊；所述函數的值是包含在所述多個相鄰塊中的各相鄰直流成份係數、和所述直流成份係數之間的各差分值的絕對值中最大的值。
18.根據權利要求13所述的圖像數據處理方法，其特徵在於所述至少一個相鄰塊，是多個相鄰塊；所述函數的值是包含在所述多個相鄰塊中的各相鄰直流成份係數、和所述直流成份係數之間的各差分值的絕對值之和。
19.根據權利要求13～18中任一項所述的圖像數據處理方法，其特徵在於以所述第四步驟保存的比所述多個要少的所述空間頻率係數的個數與所述多個空間頻率係數的個數之間的比率作為係數削減率；所述第四步驟，將所述縮小率分割成多段，根據所述各段縮小率設定所述係數削減率，同時當所述函數的值比所述給定值大時，根據所述係數削減率保留比所述多個要少的個數的所述空間頻率係數，而將所述其它空間頻率係數設定成零。
20.根據權利要求13～19中任一項所述的圖像數據處理方法，其特徵在於進一步包括受理所述縮小率的輸入的第六步驟；對所生成的所述縮小編碼圖像數據解碼的第七步驟；將解碼後的所述縮小編碼圖像數據的圖像尺寸縮小的第八步驟；和在畫面上顯示縮小後的所述縮小編碼圖像數據的第九步驟。
21.根據權利要求13～20中任一項所述的圖像數據處理方法，其特徵在於所述編碼圖像數據是彩色編碼圖像數據；所述給定值按各個顏色成份分別給出。
22.根據權利要求13～21中任一項所述的圖像數據處理方法，其特徵在於所述編碼圖像數據是彩色編碼圖像數據；所述第四步驟，按照每個顏色成份確定比所述多個要少的所述空間頻率係數的個數。
23.根據權利要求13～22中任一項所述的圖像數據處理方法，其特徵在於所述編碼圖像數據是彩色編碼圖像數據；所述圖像數據處理方法，只針對給定的顏色成份對所述各塊執行所述第一到第五步驟。
24.根據權利要求13～23中任一項所述的圖像數據處理方法，其特徵在於所述編碼圖像數據是變長編碼數據；所述第四步驟以及所述第五步驟，通過在應保留的所述空間頻率係數的所有之後添加表示塊結束的符號，並且刪除所述其它空間頻率係數，而將所述其它空間頻率係數設定成零。
25.一種圖像數據配送裝置，是將原圖像分割成由多個像素構成的多個塊、在各個塊中根據以所述塊的空間頻率成份作為多個空間頻率係數進行編碼後的編碼圖像數據、生成按照給定縮小率縮小所述原圖像後的縮小圖像的作為編碼數據的縮小編碼圖像數據、經過網絡傳送所述縮小編碼圖像數據的圖像數據配送裝置，其特徵在於包括存儲多個所述編碼圖像數據的編碼圖像數據存儲裝置；從在所述編碼圖像數據存儲裝置中存儲的所述多個編碼圖像數據中讀取與一個圖像對應的編碼圖像數據的編碼圖像數據讀取裝置；和權利要求1到12中任一項所述的圖像數據處理裝置；所述圖像數據處理裝置，根據由所述編碼圖像數據讀取裝置所讀取的編碼圖像數據生成所述縮小編碼圖像數據；所述圖像數據配送裝置，進一步包括將由所述圖像數據處理裝置生成的所述縮小編碼圖像數據向所述網絡傳送的傳送裝置。
26.一種圖像數據傳送系統，是包括權利要求23所示的圖像數據配送裝置、通過所述網絡可以將所述圖像數據配送裝置與自己連接的終端裝置的圖像數據傳送系統，其特徵在於所述終端裝置包括接收由所述傳送裝置傳送來的所述縮小編碼圖像數據的縮小編碼圖像數據接收裝置；對所接收的所述縮小編碼圖像數據解碼的解碼裝置；對解碼後的所述縮小編碼圖像數據的圖像尺寸縮小的圖像尺寸縮小裝置；和在畫面上顯示縮小後的所述縮小編碼圖像數據的畫面顯示裝置。
27.根據權利要求26所述的圖像數據傳送系統，其特徵在於所述終端裝置進一步包括受理從在所述編碼圖像數據存儲裝置中存儲的所述多個編碼圖像數據中指定與一個圖像對應的編碼圖像數據的請求的圖像請求輸入裝置；和將所受理的所述請求通過所述網絡向所述圖像數據配送裝置傳送的圖像請求傳送裝置；所述圖像數據配送裝置進一步包括接收傳送來的所述請求的圖像請求接收裝置；所述編碼圖像數據讀取裝置，從在所述編碼圖像數據存儲裝置中存儲的所述多個編碼圖像數據中讀取與所述請求對應的編碼圖像數據。
28.根據權利要求26或者27所述的圖像數據傳送系統，其特徵在於所述終端裝置進一步包括受理所述縮小率的輸入的縮小率輸入裝置；和通過網絡將所受理的所述縮小率向所述圖像數據配送裝置傳送的縮小率傳送裝置；所述圖像數據配送裝置進一步包括接收傳送來的所述縮小率的縮小率接收裝置；所述圖像數據處理裝置，以所接收的所述縮小率作為所述給出的縮小率生成所述縮小編碼圖像數據。
全文摘要
一種圖像數據處理裝置，從保存在緩存器(120)的編碼圖像數據中，係數集抽出部(122)作為縮小係數集(SMBn)將與縮小圖像的縮小率對應的個數的低頻端係數抽出，DC係數抽出部(123)只抽出DC係數(DCn)。DC數比較部(125)，將DC係數(DCn)和與其相鄰的相鄰DC係數進行比較。加工MB生成部(127)，當比較結果為其差較大時設定縮小係數集(SMBn)，其差較小時設定DC係數(DCn)，將其他係數全部設定為零，由此生成加工微塊(KMBn)。這樣，在不導致圖像質量劣化的情況下，可以高速顯示縮小圖像。
文檔編號H04N7/26GK1518331SQ20041000129
公開日2004年8月4日 申請日期2004年1月6日 優先權日2003年1月6日
發明者倉內伸和 申請人:松下電器產業株式會社