用於高速壓縮圖像信息的方法和利用所述方法傳遞實時運動圖像的方法

2023-06-04 12:58:46

專利名稱：用於高速壓縮圖像信息的方法和利用所述方法傳遞實時運動圖像的方法
技術領域：
本發明涉及高速壓縮圖像信息的方法和利用所述方法傳遞實時運動圖像使得能夠產生動態壓縮並進行傳遞的方法。
一組被稱為「空間填充曲線」的例子是由D.希爾伯特在1891年提出的希爾伯特曲線，使用掃描與其類似的兩維Peano曲線用來壓縮圖像信息的方法也已經被提出了(見JP-B-7-22345)。


圖1表示常規的兩維希爾伯特曲線的例子，其中圖1(a)表示2×2個像素的情況；圖1(b)表示4×4個像素的情況；圖1(c)表示8×8個像素的情況。
這種曲線近來應用於各種研究，包括光譜圖像的分類，資料庫信息檢索，圖像壓縮，計算機全息圖等，這是因為，它們具有高的鄰近保持性能。在這種應用中，希爾伯特曲線被用於處理在兩維和三維空間中分布的數據。一般地說，在N維空間(N=2,3,…)中的網格點和一維點之間建立一對一的操作被稱為「掃描」，並且沿著希爾伯特曲線的掃描被稱為「希爾伯特掃描」。
關於和用於壓縮圖像信息有關的方法的現有技術的文章包括(1) T.Agui,T.Nagae and M.Nakajima,"Generalized PeanoScans for Arbitrary-sized Arrays",ITEJ Technical Report Vol.14,No.37,pp.25-30,July 1990(2)Y.Bandoh and S.Kamata,"A Method of computing aPseudo-Hilbert Scan Filling in a Rectangular parallelepipedRegion",IEICE Transactions (D-II),Vol.J80-D-II,No.10,pp.2864-2867,October,1997
(3)S.Kamata,A.Perez,E.Kawaguchi,"A Method ofComputing Hilbertcurves in Two-and Three-Dimensional Spaces",IEICE Transaction (D-II),Vol.J74-D-II,No.9,pp.1217-1226,September 1991.
(4)X.Liu,G.F.Schrack,"An Algorithm for Encoding andDecoding the 3-D Hilbert Order",IEEE Trans.Image Processing,IP-6,No.9,pp.1333-1337,September 1997不過，使用希爾伯特掃描存在的問題是，其應用範圍被局限於在N維空間中滿足 (m是自然數)的區域。
相反，垂直的希爾伯特掃描通常可以應用於正象，其中要掃描一些矩形。在這種環境下，隨著兩維的希爾伯特掃描的普遍化，提出了用於矩形的平行六面體區域的掃描方法(見上述的現有技術的文章(1)和(2))。按照現有技術的文章(1)的方法，仍然具有和計算時間有關並基於硬體實現的問題，因為它是一種基於遞歸處理的方法。
相反，按照由本發明人提出的現有技術的文章(2)的方法是一種高速掃描方法，其是不包括遞歸處理的關於現有技術中的文章(3)的一種擴展形式。按照關於現有技術的文章(2)和(3)，預先在表中形成用於產生希爾伯特曲線的規則，其被相繼地參考，從而消除遞歸。
這種推廣的希爾伯特掃描一直沒有考慮三維應用，這是因為其涉及複雜的計算。按照關於現有技術的文章(1)的方法是一種推廣的兩維希爾伯特掃描，沒有描述用於三維應用的專門的方法。按照關於現有技術的文章(4)的方法，仍然是一種在一個立體區域(2m×2m×2m)中的計算方法，沒有提及關於矩形的平行六面體的情況。因此，希爾伯特掃描對於三維空間的應用一直受到嚴格的限制。
不過，根據按照關於現有技術的文章(2)，在三維空間中的推廣的希爾伯特掃描可以用和兩維空間中的方式類似的方式進行。
在上述的環境下，本發明的目的在於提供一種用於高速壓縮圖像信息的方法和用於壓縮圖像信息的系統，其中作為三維希爾伯特掃描的擴展，在矩形平行六面體區域上進行掃描(不局限於三維的希爾伯特掃描)，從而改進輸出量和降低成本。利用希爾伯特曲線掃描矩形平行六面體區域被稱為「準希爾伯特掃描」。
在常規的用於傳遞和分配運動圖像的系統中，在分配伺服器預先被壓縮的運動圖像利用在伺服器確定的質量和速度被傳輸。
圖2表示在這種常規的系統中的處理流程的一個例子，其中來自電視攝像機的圖像信號藉助於視頻捕捉被裝入計算機中，並對裝入的圖像數據進行圖像壓縮，以便傳輸圖像數據。在接收端的個人計算機對壓縮的圖像解壓，以便在每次刷新時顯示圖像。
不過，常規的方法具有以下問題。
(1)在例如電視會議的系統中，因為預先給定每單位時間的圖像數而使圖像質量必然減少。在具有高的圖像質量的分配系統中，因為圖像在分配終端被預先壓縮之後再進行傳輸，將要被傳遞的圖像數據表示過去的情況，因此喪失了實時性質。
(2)常規的軟體壓縮技術不能足夠快地進行實時圖像壓縮。
(3)根據硬體進行的圖像壓縮成本高，因為這需要專用設備。
(4)因為沒有考慮客戶終端的性能和網絡條件，所以不能發送滿足客戶要求的最佳的運動圖像。
造成這種情況的一個原因是，在常規的壓縮和解壓技術中，和壓縮速度相比，向來優先考慮壓縮比和圖像質量，因為其旨在保持和再現，例如在DVD的情況下。這使得壓縮速度降低，因而需要以最大的速度發送。因此，當例如在電視會議系統中實時地傳輸運動圖像時，往往犧牲圖像質量而滿足速度要求。
因此，本發明的第二個目的在於通過壓縮和傳輸實時地裝入的數據實現實時裝入的圖像，從而傳輸最佳的圖像，以便根據圖像尺寸、圖像數量、圖像之間的間隔時間以及圖像質量滿足客戶要求和網絡條件，並對每個客戶產生一個壓縮和傳遞拖運器(sled)。這使得可以在不同條件下對多個客戶最佳地傳遞運動圖像，以便適用於在將來增加的計算機速度實現傳遞最佳運動圖像的性能，並實現和網絡速度同步地傳遞運動圖像。
為實現第一個目的，按照本發明，提供(1)一種用於以高的速度壓縮圖像信息的方法，其中包括三維信息的被拾取的運動圖像通過使用和在三維空間中的矩形平行六面體區域相關的查閱表逐個地被轉換成一維的串行信息，並且其中對所述轉換的數據進行數據壓縮。
(2)按照(1)所述的用於壓縮圖像信息的方法，其中可以通過三維準希爾伯特掃描把拾取的運動圖像轉換為一維的串行信息。
(3)按照(2)所述的用於壓縮圖像信息的方法，其中用於遞歸分割矩形平行六面體每一側的方塊作為用於所述三維準希爾伯特掃描的最小單位的規則被這樣規定，使得具有偶數長度的邊在最接近於中點的分割點被分割成具有偶數長度的邊；具有奇數長度的邊在最接近於中點的分割點被分割成具有奇數長度的邊；並相應地規定矩形平行六面體區域的地址，(4)按照(2)所述的用於壓縮圖像信息的方法，其中所述數據壓縮是使用一個門限分割通過三維準希爾伯特掃描解壓的一維數據的一種處理，
(5)按照(4)所述的用於壓縮圖像信息的方法，其中所述的分割處理把一維數據劃分成由所述一維數據得到最小方差的部分，並產生每個部分的線性近似的壓縮數據，(6)按照(1)到(5)所述的用於壓縮圖像信息的方法，其中在壓縮的數據和原始數據之間的微分波形被分割並被分類成為多個型式，以便製備誤差圖形；接近所述微分波形的誤差圖形的代碼在數據壓縮時被加於壓縮的數據；以及在數據解壓期間通過在解壓的數據上疊加和相關的誤差圖形代碼有關的誤差圖形的波形恢復所述數據，(7)一種用於壓縮圖像信息的系統，包括用於觀看運動圖像的圖像拾取裝置，用於把和矩形平行六面體區域相關的三維信息轉換成一維串行信息的三維準希爾伯特掃描裝置，用於存儲所述一維串行信息的運動圖像存儲裝置，以及用於壓縮從運動圖像存儲裝置讀出的數據的數據壓縮裝置，以及(8)一種用於壓縮圖像信息的系統，包括用於觀看運動圖像的圖像拾取裝置，用於把和矩形平行六面體區域相關的三維信息轉換成一維串行信息的三維準希爾伯特掃描裝置，用於存儲所述一維串行信息的運動圖像存儲裝置，用於壓縮從運動圖像存儲裝置讀出的數據的數據壓縮裝置，用於壓縮的數據的可逆編碼部分，用於來自可逆編碼部分的壓縮的數據的傳輸通路，用於被傳輸的壓縮數據的可逆解碼部分，用於從可逆解碼部分恢復數據的部分，用於存儲來自數據恢復部分的數據的第二運動圖像存儲裝置，用於掃描從運動圖像存儲裝置讀出的壓縮數據的和矩形平行六面體區域相關的三維準希爾伯特掃描裝置，以及用於顯示輸出的運動圖像的顯示裝置。
為了實現第二個目的，按照本發明，提供一種(9)一種用於把來自伺服器的觀看的運動圖像實時地傳遞給客戶的方法，其中包括三維信息的被觀看的運動圖像通過使用和三維空間中的矩形平行六面體區域相關的查閱表被逐個地轉換成一維的串行信息，並且使用軟體壓縮技術壓縮轉換的原始數據，並通過通信通路傳遞轉換的原始數據，(10)按照(9)所述的用於實時地傳遞運動圖像的方法，其中在壓縮的近似數據和原始數據之間的微分波形被分割並被分類成為多個型式，以便在每個伺服器和客戶製備誤差圖形；在伺服器進行數據壓縮時對接近所述微分波形的誤差圖形的代碼和壓縮數據一道被傳遞給客戶；以及在數據解壓期間在客戶通過在解壓的數據上疊加相關的誤差圖形的波形恢復所述數據，(11)按照(9)或(10)所述的用於實時地傳遞運動圖像的方法，其中按照來自客戶的請求動態地產生查閱表，(12)按照(11)所述的用於實時地傳遞運動圖像的方法，其中使用查閱表，在所述查閱表上按照客戶的請求可以列出任何尺寸的圖像，(13)按照(11)或(12)所述的用於實時地傳遞運動圖像的方法，其中使用查閱表，在所述查閱表上按照客戶的請求可以列出任何數量的圖像，(14)按照(9)所述的用於實時地傳遞運動圖像的方法，其中圖像的壓縮比按照客戶的請求被改變，(15)按照(9)到(14)任何一個所述的用於實時地傳遞運動圖像的方法，其中對於客戶的每個請求產生一個特定的壓縮和傳遞拖運器，(16)按照(9)到(15)任何一個所述的用於實時地傳遞運動圖像的方法，其中圖像之間的間隔按照客戶的請求被改變，以及(17)按照(9)到(16)任何一個所述的用於實時地傳遞運動圖像的方法，其中提供管理裝置用於同時處理來自多個客戶的每個客戶的請求。
圖1表示常規的二維希爾伯特曲線的一個例子；圖2是按照常規方法的處理流程的一個例子的方塊圖；圖3是按照本發明的用於壓縮圖像信息的系統的方塊圖4示意地表示作為本發明的第一實施例的三維矩形平行六面體的準希爾伯特掃描；圖5示意地表示作為本發明的第二實施例的三維矩形平行六面體的準希爾伯特掃描；圖6示意地表示作為本發明的第三實施例的三維矩形平行六面體的準希爾伯特掃描；圖7表示在被劃分的8個區域中的地址的分配；圖8表示在三維空間中的希爾伯特曲線；圖9表示在分割的區域中的掃描圖形；圖10表示原始圖像數據和壓縮的數據之間的關係；圖11表示利用誤差表實現高的圖像質量的系統配置的方塊圖；圖12表示原始一維數據和在上述用於壓縮的方法中使用的每個部分中的平均值的關係；圖13表示近似的誤差數據；圖14是表示利用誤差表達到高的圖像質量的系統配置的方塊圖；圖15是由網絡構成的按照本發明的系統的配置圖；圖16表示按照本發明的方法的處理流程圖；圖17是表示在發送圖像的伺服器和客戶之間連接時的初始化處理的方塊圖；圖18是表示在圖像發送伺服器開始發送運動圖像之後設置變更處理的方塊圖；圖19是表示在圖像發送伺服器開始發送運動圖像之後設置變更處理的方塊圖；圖20是表示接收圖像的客戶的配置的方塊圖；圖21是表示在圖像接收客戶的處理的流程圖；圖22是表示在伺服器的壓縮處理的流程圖；圖23是表示在客戶的解壓處理的流程圖。
下面詳細說明用於實施本發明的方式。
圖3是按照本發明的用於壓縮圖像信息的系統的方塊圖，圖4是作為本發明的第一實施例的表示4×5×6個像素的情況下的三維準希爾伯特掃描的示意圖。圖5是作為本發明的第二實施例的表示8×8×14個像素的的情況下的三維準希爾伯特掃描的示意圖。圖6是作為本發明的第三實施例的表示8×8×14個像素的情況下的三維準希爾伯特掃描的示意圖。
在圖3中，1表示視頻攝像機；2表示運動圖像輸入部分；3表示矩形平行六面體填充掃描部分；4表示運動圖像存儲器；5表示控制電路；6表示數據壓縮部分；7表示積累誤差計算部分；8表示分割部分檢測部分；9表示可逆編碼部分；10表示傳輸通路；11表示可逆解碼部分；12表示數據恢復部分；13表示分割部分恢復部分；14表示濾波處理部分；15表示控制電路；16表示運動圖像存儲器；17表示矩形平行六面體填充掃描部分；18表示運動圖像輸出部分；19表示顯示器。
按照本發明的用於壓縮圖像信息的方法，從視頻攝像機1輸入的運動圖像在運動圖像輸入部分2在控制電路5的集中控制下由矩形平行六面體填充掃描部分3進行三維準希爾伯特掃描，並從三維信息被轉換為要被存儲在運動圖像存儲器4中的一維串行信息。來自運動圖像存儲器4中的一維串行信息被數據壓縮部分6發送給可逆編碼部分9，在所述數據壓縮部分6中，積累誤差計算部分7和分割部分檢測部分8協同操作。
來自可逆編碼部分9的壓縮數據通過壓縮通路10被發送給可逆解碼部分11，並在控制電路15的集中控制下在由分割部分恢復部分13和濾波處理部分14構成的數據恢復部分12被恢復，並被存儲在運動圖像存儲器16中。被存儲在數據由矩形平行六面體填充掃描部分17進行三維準希爾伯特掃描，以便通過運動圖像輸出部分18作為運動圖像在顯示器19上被顯示。
例如，由矩形平行六面體填充掃描部分17進行的三維準希爾伯特掃描在4×5×6個像素的情況下如圖4所示，在8×8×14個像素的情況下如圖5所示，在8×8×14個像素的情況下如圖6所示。
下面逐一詳細說明本發明的原理。
首先說明希爾伯特掃描在三維空間中的推廣。
(1)用於填充的矩形平行六面體區域的希爾伯特掃描下面簡要說明在三維空間中利用兩種表(終止表和引入表)(關於現有技術的文章(3))在立方體區域上進行希爾伯特掃描的方法。
這種三維的Hibert掃描旨在用於X-Y-Z迪卡爾坐標系統中的滿足0≤X＜2m,0≤Y＜2m,0≤Z＜2m(m:1,2,…)的立方體區域，並且所述區域包括2m×2m×2m個格點。
下面說明每個像素的地址。
圖7表示對於劃分的8個區域的地址分配。
如圖7a所示，一個立方體區域被分成8個部分，並對分割的每個區域賦予一個地址，如圖7b所示。接著，以類似方式對每個分割區域的被進一步劃分的8個區域的每個區域賦予地址，並且這些區域的每一個用附加有3個最低位的6位表示。
因此，具有1×1×1的尺寸的區域在進行m分割之後的地址z可以表示為具有m位的二進位符號，如下所示 其中zi(i=1,2…,m)是具有3位的二進位數，並且X1,1…Xm,3取0或1的值(圖1以二維為例表示地址的分配)。
下面討論圖7所示的8個分割區域的掃描(traverse)，其中每個區域用一個代表性的點表示。在這種情況下，對於8個起點的每一個具有3個終點，當起點和終點被簡單地反向所得的組合被刪除時，具有12個(=8×3/2)起點和終點的組合。
因此，在本發明中使用的希爾伯特曲線共有12種，如圖8所示。每個字母代表一種類型的曲線。由進一步劃分每個分割的區域而獲得的8個分割區域的每一個也沿著A到M12條曲線的任何一個被穿越。
例如，在曲線A的情況下，圖7a所示的8個區域按照順序000,010,011,001,101,111,110和100被穿越，並在每個區域之間，按照順序B,B,C,J,J,I,I,E改變希爾伯特曲線的類型，如圖9所示。
根據曲線的類型和它被穿越的順序，兩類信息即地址信息和曲線類型的信息被分別存儲在終止表Ttrm[γj][ij]和引入表Tind[γj][ij]中。其中γj(=A,B,…,K,M)表示在j次分割之後曲線的類型，並且ij(=1,2,…8)表示在j次分割之後8個分割區域的掃描順序。例如，對於由曲線γ0=A掃描的第8個區域，查閱Z1=Ttrm[A][8]=100，和γ1=Tind[A][8]=E。
用於查閱地址的終止表(Ttrm)和用於查閱曲線類型的引入表被表示如下Ttrm[A]=
Ttrm[B]=
Ttrm[C]=
Ttrm[D]=[110,100,101,111,011,001,000,010]Ttrm[E]=[110,111,011,010,000,001,101,100]Ttrm[F]=[110,010,000,100,101,001,011,111]Ttrm[G]=[101,111,110,100,000,010,011,001]Ttrm[H]=[101,100,000,001,011,010,110,111]Ttrm[I]=[101,001,011,111,110,010,000,100]Ttrm[J]=
Ttrm[K]=
Ttrm[M]=
Tind[A]=[B,C,C,J,J,I,I,E]Tind[B]=[C,A,A,H,H,D,D,M]Tind[C]=[A,B,B,F,F,K,K,G]Tind[D]=[E,F,F,G,G,M,M,B]Tind[E]=[F,D,D,K,K,A,A,I]Tind[F]=[D,E,E,C,C,H,H,J]Tind[G]=[H,I,I,D,D,C,C,K]Tind[H]=[I,G,G,B,B,J,J,F]Tind[I]=[G,H,H,M,M,E,E,A]Tind[J]=[K,M,M,A,A,F,F,H]Tind[K]=[M,J,J,E,E,G,G,C]Tind[M]=[J,K,K,I,I,B,B,D]通過省略算法1的括號中的處理，設iM+1為1到8，並用Ttrm代替地址參考表可以提供一種專用的算法。
(2)用於填充的矩形平行六面體區域的希爾伯特掃描按照本發明，上述的對於立方體(2m×2m×2m)的三維希爾伯特掃描被擴展成為可以處理矩形平行六面體區域的一種掃描方法。
希爾伯特掃描通常用於掃描立方體區域，並具有有限的應用範圍。本發明採用一種對矩形平行六面體區域進行三維準希爾伯特掃描的方法，該方法基於利用兩種表進行順序處理的技術。因此，在計算次數和硬體實現方面，比根據遞歸處理的方法具有許多優點。
由立方體實現到矩形平行六面體實現的擴展涉及到兩點，即，把在遞歸分割期間邊劃分的規則改變為8個部分，並改變地址的3個最低有效位的指定。
在遞歸分割期間，按照以下規則將每個邊劃分成8個部分。
(1)具有偶數長度的邊在最接近於中點的分割點被分割成具有偶數長度的邊。
(2)具有奇數長度的邊在最接近於中點的分割點被分割成具有奇數長度的邊。
按照所述的劃分規則，在經過m次劃分成為兩部分之後，具有長度2m的一個線段被劃分成具有長度「a」的2m個線段，因此，當長度為l的線段滿足2×2m≤1＜4×2m時，在經過m次劃分為兩部分之後，1被劃分為2m個線段，其是線段長度2,3,和4的組合。因此，在的邊長度為1x,1y,1z的矩形平行六面體區域滿足2×2m≤1x＜4×2m,2×2m≤1y＜4×2m,2×2m≤1z＜4×2m…(1)的情況下，在m次分割8個部分之後，產生具有長度為2,3和4的組合的邊的矩形平行六面體(以後這種作為最小單位的矩形平行六面體被稱為「塊」)。
在滿足公式(1)的矩形平行六面體的情況下，滿足掃描條件(1)起點和終點必須在塊的同一個邊出去和(2)要被進行的向地址之間的孤峰(humming)距離是1的格點的運動的塊的邊長當用(1x,1y,1z)表示時具有12種組合(2×2×2),(2×3×2),(2×2×4),(2×4×2),(4×2×2),(2×3×4),(4×3×2),(2×4×4),(4×2×4),(4×4×2),(4×3×4)，和(4×4×4)。
在立方體(2m×2m×2m)的情況下，通過分割該立方體只產生塊(2×2×2)。
需要對矩形平行六面體的地址的最低有效位重新賦值，因為作為分割的結果而產生的塊和由立方體產生的塊不同。
每個塊的地址被存儲在終止表[p][γ][i]中，其中p(=1,2,…,12)是對每個塊指定的數，γ和i和Ttrm中的相同。例如，對於塊(2×2×4)，查閱P Ttrm[3][A][16]=1000。
作為表的第一個參數的數3是代表塊(2×2×4)的數。
因此，對於滿足公式1的矩形平行六面體的和在立方體的情況下一樣對分割成的8個部分進行m次掃描，並且此後可以通過在和每個塊相關的終止表P Ttrm上查閱地址對矩形平行六面體區域指定地址。
根據這種思路，獲得用於計算基於遞歸的滿足公式1的矩形平行六面體區域(1x0×1y0×1z0)的所有地址的算法。其中，1xk×1yk×1zk表示分割k次之後的每個邊的長度。
下面說明對於一個希爾伯特地址(γ1,1x0,1y0,1z0,m)的算法1。
對於i1=1,2,…,8z1=Ttrm[γ1][i1]:γ2=Tind[γ1][i1]；{按照劃分規則分割區域(1x0×1y0×1z0)，從而確定和z1相關的分割區域的邊長(1x1×1y1×1z1)}對於im=1,2,…,8zm=Ttrm[γm][im]:γm+1=Tind[γm][im]；{按照劃分規則分割區域(1xm-1×1ym-1×1zm-1)，從而確定和zm相關的分割區域的邊長(1xm×1ym×1zm)}{確定和1xm×1ym×1zm相關的塊(p)}
對於im+1=1,…1xm×1ym×1zmzm+1=P Ttrm[γm+1][im+1]；輸出z1,…zmzm+1
此處我們假定在掃描區域內的格點的總數是1x0×1y0×1z0=LN。此時，所述算法需要的計算量O(LN)大約只是LN的兩倍。
雖然本發明和利用遞歸處理的希爾伯特掃描的推廣(關於現有技術的文章(1))相比，因為希爾伯特掃描的推廣是第一種用於三維的專門的方法，但是，這種方法比本發明的方法佔用的計算時間長得多，因為其中涉及包括遞歸處理的複雜的處理，像在二維應用中那樣。
在由希爾伯特掃描獲得的一維序列的順序和在三維空間中的格點的地址之間具有一一對應的關係，因此可以彼此從對方導出。此處不對特定的方法進行說明，因為這和關於現有技術的文章(2)中披露的相同。
本發明的方法限制於上述的下列條件。
(1)(最短邊的長度)≤(最長邊的長度)≤2×(最短邊的長度)。
(2)起點扣終點所在邊的長度和在正交方向上不包括起點和終點的平面的邊的長度是奇數長度。
在由上述(1)確定的範圍之外的尺寸可以通過在滿足(1)的尺寸中連續地排列矩形平行六面體被基本上覆蓋。
雖然必須規定上面的項(2)，以便在將來擴展到不受限制的任意尺寸的應用，但是這個問題可以通過在圖像的邊沿增加一行掃描來解決。
按照本發明的方法，通過使用兩種表消除了遞歸處理。
表1總結了這些表的存儲容量。
表1
用於立方體填充掃描所需的表是在「用於填充立方體區域的希爾伯特掃描」一節中所述的表(終止表和引入表)。雖然需要增加三維準希爾伯特掃描的每個方塊的地址信息表，但是利用圖8所示的曲線的對稱性使得可以大大減少用於存儲表所需的容量。表1表示，當利用對稱性時，存儲容量的增加可以被抑制到1/5。因而，即使在矩形平行六面體的情況下，所述的表也可以被配置相當小的存儲容量。由上述的兩種表產生的表示三維準希爾伯特掃描的順序的表被叫做「查閱表」。
下面說明按照本發明的用於壓縮信息的方法。
在運動圖像中，具有X×Y個像素的z幀圖像當以三維方式觀看時形成一個矩形平行六面體。此處利用根據上述的查閱表通過矩形平行六面體填充掃描部分6進行的三維準希爾伯特掃描提供一種以高的圖像質量和高的速度壓縮運動圖像的技術。對於由X×Y×Z三維準希爾伯特掃描解壓的一維數據進行基於門限的分割處理。
下面說明分割處理。
一維數據{xi,i=1,2,…,SIZE}的第i個到第(N-1)個N個像素值的平均值Xi如下x-=1Nj=0N-1xi+j]]>其中N不是一個預定的值，並參考下述的誤差被確定。在平均值X和初始一維數據{xi,i=0,1,…,(N-1)}的一部分之間的累積的方差e1(N)如下e1(N)=j=0N-1xi+j-x]]>
由直到ei預先給定的門限THRE的第(N-1)個像素確定一部分。這種處理從一維數據的開頭按順序進行。這種壓縮算法如下子程序GROUPING根據計算的值確定分割點。SIZE表示總的像素數，THRE表示判據ei的門限。Main {通過平行六面體填充掃描得到一維數據{xi,i=1,2…,SIZE}k=1:i=1:
while(i≤SIZE){Grouping(i,N,x):
1k=N:ck=x:k++:
i=i+N:
}K=k-1；編碼和輸出{1k}和{Ck}(k=1,2…,K)；}subgrouping(i,N,x){
for(j=1:j≤SIZE；j++){計算{xi,xi+1,…,xi+j}的平均值x；el(N)=m=0j(Xi+mX-);]]>if(ei(N)＞THRE)break；}N=j；}可以使用其它的距離，例如市街區距(絕對值)。
圖10表示這樣獲得的壓縮數據和初始圖像之間的關係。壓縮數據由亮度值ck和亮度值持續的長度1k表示。
壓縮數據可以沿著由矩形平行六面體填充掃描部分17進行的三維準希爾伯特掃描，通過在被看作矩形平行六面體的運動圖像中{lk}和{ck}的隱藏數據的簡單處理被恢復。用於恢復運動圖像數據的算法如下。在濾波處理14進行的濾波處理是一種常規技術。例如，其中使用平滑濾波器。Main{解碼{1k}和{Ck}(k=1,2…,K):
通過平行六面體填充掃描部分17執行的三維偽希爾伯特掃描，在長度{1k}上進行解壓縮{Ck}執行濾波處理}下面參照圖12說明在數據壓縮部分6的分割部分檢測部分8進行的分割部分的檢測。
假定THRE=10。首先，按照順序從點1檢查累積的誤差，以便確定一個第一部分。
(1)因為x1=5，所以當j=1，即當包括點x2=7時，在x=6和e=2計算平均值x和累積誤差e。然後，因為此時e＜THRE，所以檢查下一個點。
(2)當j=2，即當包括點x3=9時，在x=7和e=8計算平均值x和累積誤差e。然後，因為此時e＜THRE，所以檢查下一個點。
(3)當j=3，即當包括點x4=7時，在x=7和e=8計算平均值x和累積誤差e。然後，因為此時e＜THRE，所以檢查下一個點。
(4)當j=4，即當包括點x5=2時，在x=6和e=28計算平均值x和累積誤差e。因為此時e＞THRE，所以點x1,x2,x3,x4在同一部分。
因為這樣便確定了第一部分，所以從點5確定第二部分。
(1)因為x5=2，當j=1，即當包括點x6=4時，在x=3和e=2計算平均值x和累積誤差e。然後，因為此時e＜THRE，所以檢查下一個點。
(2)當j=2，即當包括點x7=3時，在x=3和e=2計算平均值x和累積誤差e。然後，因為此時e＜THRE，所以檢查下一個點。
(3)以類似方式對j=3,4,…,計算平均值x和累積誤差e。然後e＞THRE的點確定同一部分。點x5,x6,x7,x8在同一部分。
這樣，便確定了第二部分。
重複上述的處理，直到覆蓋所有的數據。
按照本發明的用於高速壓縮圖像信息的方法使得能夠改善圖像信息的壓縮效率，如圖11所示。圖中所示的圖像只是利用0.19位/像素的壓縮比(只對亮度)進行壓縮的Miss America(360×288像素/幀)。
具體地說，圖11的水平軸和垂直軸分別表示幀數和處理時間(秒)；曲線「a」表示按照本發明進行的圖像信息壓縮；曲線「b」表示按照現有技術(MPEG運動圖像專家組，運動圖像圖像編碼專家組，它們是關於運動圖像壓縮的國際標準系統)進行的圖像信息壓縮。
由圖可見，按照本發明，處理時間大約為2.5秒，而按照現有技術，則大約為28秒，因而處理時間被大約縮短到原來的1/10。
根據在數據壓縮期間使用的平均值門限THRE的大小，可能發生圖像質量的降低。具體地說，大的門限THRE引起圖像質量的降低，儘管其增加了壓縮比。小的門限THRE減少壓縮比，從而增加傳遞時間，雖然其改善了圖像質量。下面說明能夠滿足壓縮比和圖像質量兩者的要求同時能夠抑制和門限THRE有關的圖像質量的任何降低的一種技術。
圖12表示在上述的壓縮方法中使用的原始的一維數據和每個部分的平均值的關係。
這是一個如圖13所示的逼近的誤差數據{yi,i=1,2,…,SIZE}。在伺服器和客戶製備多個這種逼近的誤差圖形或誤差圖形。在伺服器和壓縮數據一道向客戶傳遞在數據壓縮期間接近一個微分波形的誤差圖形的代碼。在數據解壓期間，相關的誤差圖形的波形在客戶被疊加在解壓的數據上，以便恢復所述數據。圖14表示用於實現這種方法的配置。圖14a表示在伺服器的壓縮操作，圖14b表示在客戶的恢復操作。
這使得可以提供具有高的圖像質量的運動圖像。
雖然上述的實施例說明了參照有關三維準希爾伯特掃描方法把觀看的運動圖像轉換為一維的串行信息，但是所述的轉換也可以使用其它方法進行。
下面說明利用按照本發明的高速壓縮圖像信息的方法進行傳遞實時的動態圖像的方法。圖15是由網絡N例如LAN(內聯網)或網際網路構成的按照本發明的系統的配置圖，圖16表示按照本發明的方法的處理流程的一個例子。按照本發明，使多個計算機通過網絡N相連。其中至少一個計算機是運動圖像傳遞端(以後稱為「伺服器S」)，在其中設置視頻捕捉卡和視頻攝像機V。其它的計算機是客戶機C。按照本發明，通過以下處理傳遞運動圖像。
(1)在伺服器S執行伺服器程序。
(2)在客戶C執行客戶程序。
(3)從客戶C到任何伺服器S建立連接(可能有多個伺服器)。
(4)客戶C請求伺服器S提供標準規範的圖像。
(5)伺服器S向客戶C連續地發送請求的運動圖像。
(6)客戶C根據需要改變請求的內容。
(7)伺服器S相應地產生、轉換或刪除一個壓縮和傳遞拖運器。
具體地說，如圖16所示，客戶C向伺服器S發送關於傳遞速度、圖像尺寸、圖像數量等的信息，並取回傳遞速度信息，將其設置為控制顯示間隔t1。接著，伺服器S例如藉助於視頻捕捉以上述的顯示間隔t1獲取來自電視攝像機的圖像信號，並使用查閱表LUT對獲取的圖像進行壓縮，以便按照顯示間隔t1實現壓縮速度、圖像尺寸和圖像數量，並和獲取的間隔信息t1一道向客戶發送圖像數據。客戶C的計算機使用查閱表LUT對壓縮的圖像進行解壓，並以獲取間隔t1在顯示器上顯示圖像。當它們收到圖像數據時，它們還測量傳遞速度，並向伺服器S發送傳遞速度的信息。伺服器S利用和傳遞速度信息相應的值更新顯示間隔t1，以便按照客戶C的特徵例如圖像處理速度獲取圖像。
下面參照實施例詳細說明本發明。
圖17是表示在圖像發送伺服器和客戶連接時進行的初始化處理的方塊圖。所述的處理如下從客戶接收速度設置。
(2)將設置的內容通知管理拖運器。
(3)從管理表中檢索和設置的內容一致的拖運器。
(4)如果存在具有相同設置的拖運器，則指定現有的拖運器。如果不存在，則產生一個新的壓縮拖運器，並指定該拖運器。
(5)產生包括速度信息的壓縮數據。
(6)在指定的壓縮拖運器上向客戶傳遞壓縮數據。
圖18是表示在發送運動圖像之後在圖像發送伺服器改變設置的處理的方塊圖。圖19是上述處理的流程圖，所述的處理如下。
(1)從客戶接收速度設置。
(2)把設置的內容通知管理拖運器。
(3)從管理表中檢索和設置的內容一致的拖運器。
(4)如果存在具有相同設置的拖運器，則指定現有的拖運器。如果不存在，則產生一個新的壓縮拖運器，並指定該拖運器。
(4』)同時刪除不使用的壓縮拖運器。
(5)產生包括速度信息的壓縮數據。
(6)在指定的壓縮拖運器上向客戶傳遞壓縮數據。
圖20是表示接收圖像的客戶的配置的方塊圖，圖21是表示下述處理的流程圖。
(1)從設置菜單輸入速度。
(2)把設置的內容通知管理拖運器。
(3)把設置的內容發送給伺服器。
(4)發送請求壓縮數據的下一個請求。
(5)接收壓縮的數據。
(6)從壓縮數據中檢索速度信息。
(7)在下述拖運器中設置所述速度信息。
(8)按照速度信息顯示圖像。
圖22是在伺服器進行的壓縮處理的流程圖。在所述壓縮處理中，同時進行壓縮圖像信號的處理和用於增加傳遞速度的處理。通過產生包括速度信息和圖像尺寸的圖像信息並壓縮每個亮度信號、紅色偏差信號和藍色偏差信號使圖像被壓縮。在用於增加傳遞速度的壓縮處理中，多個圖像被組合成三維圖像，然後把圖像轉換成一維數據，進行分割處理，並被編碼，以便發送給客戶。
圖23是在客戶進行的解壓處理的流程圖。在解壓處理中，同時進行解壓壓縮的圖像信號的處理和解壓壓縮的傳輸信號的處理。通過提取包括圖像尺寸和速度信息的圖像信息並解壓每個亮度信號、紅色偏差信號和藍色偏差信號使壓縮數據被解壓。解壓壓縮的傳輸信號的處理涉及合成處理，綜合處理，將其轉換為三維數據的處理和將其分割為多個圖像以便在顯示器上顯示原始圖像的處理。
如上所述，按照本發明的用於高速壓縮圖像信息的方法具有如下效果。
因為使用基於利用和三維空間中的矩形平行六面體區域有關的查閱表的順序處理的技術，所以可以避免由普通的遞歸計算引起的輸出量的減少和成本的增加。
特別是，可以用低的成本提供用於以高的速度和質量壓縮運動圖像信息的技術。運動圖像信息是一種數量巨大的信息，把這種大量的信息通過三維矩形平行六面體填充掃描將三維信息轉換成具有高的鄰近保持特性的一維串行信息。此外，可以合適地消除運動圖像的重複。
因而，可以建立一種更實際的處理，用於壓縮和在三維空間中的矩形平行六面體區域有關的運動圖像信息。特別是，使用快速單獨壓縮和恢復處理，利用層次和與圖像具有小的依賴性的壓縮參數進行的轉換處理可以大大地促進數字圖像壓縮技術的發展。
按照本發明的用於傳遞實時運動圖像的方法，使用表示由兩種表產生的掃描順序的查閱表，使得可以大大減少壓縮速度，從而可以進行圖像的實時壓縮。藉助於對不同的圖像尺寸和圖像數量動態地產生任意的壓縮和傳遞拖運器，可以滿足不同的要求。通過自動地產生用於在不同的時基上選擇、壓縮和傳遞任意圖像的拖運器，可以使以不同的時間間隔傳遞圖像的要求和網絡的速度匹配。因為該方法是完全基於軟體的，其中反映了CPU的性能，因而，CPU的處理速度的增加使得能夠相應地增加圖像尺寸和圖像數量。
按照本發明的高速壓縮圖像信息的方法不限於上述的實施例，不脫離本發明的構思根據本發明的原理可以作出各種改變和改型。
本發明可以應用於圖像壓縮和實時的運動圖像的傳輸領域。
權利要求書按照條約第19條的修改1．一種用於以高的速度壓縮圖像信息的方法，其特徵在於，包括三維信息的拍攝運動圖像通過使用表示掃描三維空間中的矩形平行六面體區域的順序的查閱表逐個地被轉換成一維的串行信息，並且其中對所述轉換的數據進行數據壓縮。
2．按照權利要求1所述的用於壓縮圖像信息的方法，其特徵在於，可以通過矩形平行六面體填充掃描把拍攝運動圖像轉換為一維的串行信息。
3．按照權利要求2所述的用於壓縮圖像信息的方法，其特徵在於，用於遞歸分割矩形平行六面體塊每一邊作為所述矩形平行六面體填充掃描的最小單位的規則被這樣規定，使得具有偶數長度的邊在最接近於中點的分割點被分割成具有偶數長度的邊；具有奇數長度的邊在最接近於中點的分割點被分割成具有奇數長度的邊和具有偶數長度的邊；並相應地規定矩形平行六面體區域的地址。
4．按照權利要求2所述的用於壓縮圖像信息的方法，其特徵在於，所述數據壓縮是使用一個門限分割通過所述矩形平行六面體填充掃描解壓的一維數據的一種處理。
5．按照權利要求4所述的用於壓縮圖像信息的方法，其特徵在於，所述的分割處理把一維數據劃分成由所述一維數據得到最小方差的部分，並產生每個部分的線性近似的壓縮數據，6．按照權利要求1到5任何一個所述的用於壓縮圖像信息的方法，其特徵在於在壓縮的數據和原始數據之間的微分波形被分割並被分類成為多個型式，以便製備誤差圖形；接近所述微分波形的誤差圖形的代碼在數據壓縮時被加於壓縮的數據；以及在數據解壓期間通過在解壓的數據上疊加和相關的誤差圖形代碼有關的誤差圖形的波形恢復所述數據。
7．(刪除)8．一種用於壓縮圖像信息的系統，其特徵在於其包括
(a)用於拍攝運動圖像的拍攝裝置；(b)矩形平行六面體填充掃描裝置，用於掃描所述拍攝運動圖像，並用於使用表示在三維空間中掃描矩形平行六面體區域的順序的查閱表把三維信息轉換成一維串行信息；(c)用於存儲所述一維串行信息的第一運動圖像存儲裝置；(d)用於壓縮從所述第一運動圖像存儲裝置讀出的數據的數據壓縮裝置；(e)用於所述壓縮的數據的可逆編碼部分；(f)用於來自所述可逆編碼部分的壓縮的數據的傳輸通路；(g)用於所述被傳輸的壓縮數據的可逆解碼部分；(h)用於從所述可逆解碼部分恢復數據的部分；(i)用於存儲來自數據恢復部分的數據的第二運動圖像存儲裝置；(j)用於掃描從所述第二運動圖像存儲裝置讀出的壓縮數據並和矩形平行六面體區域相關的矩形平行六面體填充掃描裝置；以及(k)用於顯示輸出的運動圖像的顯示裝置。
9．一種用於把來自伺服器的拍攝的運動圖像實時地傳遞給客戶的方法，其特徵在於包括三維信息的拍攝的運動圖像通過使用表示掃描三維空間中的矩形平行六面體區域的順序的查閱表逐個地被轉換成一維的串行信息，並且其中對所述轉換的原始數據使用軟體壓縮技術進行壓縮，並通過通信通路被傳輸。
10．如權利要求9所述的用於實時地傳遞運動圖像的方法，其特徵在於在壓縮的近似數據和原始數據之間的微分波形被分割並被分類成為多個型式，以便在每個伺服器和客戶製備誤差圖形；在伺服器進行數據壓縮時對接近所述微分波形的誤差圖形的代碼和壓縮數據一道被傳遞給客戶；以及在數據解壓期間在客戶通過在解壓的數據上疊加相關的誤差圖形的波形恢復所述數據。
11．如權利要求9或10所述的用於實時地傳遞運動圖像的方法，其特徵在於按照來自客戶的請求動態地產生查閱表。
12．如權利要求11所述的用於實時地傳遞運動圖像的方法，其特徵在於使用查閱表，在所述查閱表上按照客戶的請求可以列出任何尺寸的圖像。
13．如權利要求11或12所述的用於實時地傳遞運動圖像的方法，其特徵在於使用查閱表，在所述查閱表上按照客戶的請求可以列出任何數量的圖像。
14．如權利要求9所述的用於實時地傳遞運動圖像的方法，其特徵在於圖像的壓縮比按照客戶的請求被改變。
15．如權利要求9到14任何一個所述的用於實時地傳遞運動圖像的方法，其特徵在於對於客戶的每個請求產生一個特定的壓縮和傳遞拖運器。
16．如權利要求9到15任何一個所述的用於實時地傳遞運動圖像的方法，其特徵在於圖像之間的間隔按照客戶的請求被改變。
17．如權利要求9到16任何一個所述的用於實時地傳遞運動圖像的方法，其特徵在於提供管理裝置用於同時處理來自多個客戶的每個客戶的請求。
權利要求
1．一種用於以高的速度壓縮圖像信息的方法，其特徵在於，包括三維信息的被觀看的運動圖像通過使用和在三維空間中的矩形平行六面體區域相關的查閱表逐個地被轉換成一維的串行信息，並且其中對所述轉換的數據進行數據壓縮。
2．按照權利要求1所述的用於壓縮圖像信息的方法，其特徵在於，可以通過三維準希爾伯特掃描把觀看的運動圖像轉換為一維的串行信息。
3．按照權利要求2所述的用於壓縮圖像信息的方法，其特徵在於，用於遞歸分割矩形平行六面體每一邊的方塊作為用於所述三維準希爾伯特掃描的最小單位的規則被這樣規定，使得具有偶數長度的邊在最接近於中點的分割點被分割成具有偶數長度的邊；具有奇數長度的邊在最接近於中點的分割點被分割成具有奇數長度的邊；並相應地規定矩形平行六面體區域的地址。
4．按照權利要求2所述的用於壓縮圖像信息的方法，其特徵在於，所述數據壓縮是使用一個門限分割通過三維準希爾伯特掃描解壓的一維數據的一種處理，
5．按照權利要求4所述的用於壓縮圖像信息的方法，其特徵在於，所述的分割處理把一維數據劃分成由所述一維數據得到最小方差的部分，並產生每個部分的線性近似的壓縮數據，
6．按照權利要求1到5任何一個所述的用於壓縮圖像信息的方法，其特徵在於在壓縮的數據和原始數據之間的微分波形被分割並被分類成為多個型式，以便製備誤差圖形；接近所述微分波形的誤差圖形的代碼在數據壓縮時被加於壓縮的數據；以及在數據解壓期間通過在解壓的數據上疊加和相關的誤差圖形代碼有關的誤差圖形的波形恢復所述數據。
7．一種用於壓縮圖像信息的系統，其特徵在於其包括(a)用於觀看運動圖像的圖像拾取裝置；(b)用於把和矩形平行六面體區域相關的三維信息轉換成一維串行信息的三維準希爾伯特掃描裝置；(c)用於存儲所述一維串行信息的運動圖像存儲裝置；以及(d)用於壓縮從運動圖像存儲裝置讀出的數據的數據壓縮裝置。
8．一種用於壓縮圖像信息的系統，其特徵在於其包括(a)用於觀看運動圖像的圖像拾取裝置；(b)用於把和矩形平行六面體區域相關的三維信息轉換成一維串行信息的三維準希爾伯特掃描裝置；(c)用於存儲所述一維串行信息的運動圖像存儲裝置；以及(d)用於壓縮從所述運動圖像存儲裝置讀出的數據的數據壓縮裝置；(e)用於所述壓縮的數據的可逆編碼部分；(f)用於來自所述可逆編碼部分的壓縮的數據的傳輸通路；(g)用於被傳輸的壓縮數據的可逆解碼部分；(h)用於從所述可逆解碼部分恢復數據的部分；(i)用於存儲來自數據恢復部分的數據的第二運動圖像存儲裝置；(j)用於掃描從運動圖像存儲裝置讀出的壓縮數據的和矩形平行六面體區域相關的三維準希爾伯特掃描裝置；以及(k)用於顯示輸出的運動圖像的顯示裝置。
9．一種用於把來自伺服器的觀看的運動圖像實時地傳遞給客戶的方法，其特徵在於包括三維信息的被觀看的運動圖像通過使用和三維空間中的矩形平行六面體區域相關的查閱表被逐個地轉換成一維的串行信息，並且使用軟體壓縮技術壓縮轉換的原始數據，並通過通信通路傳遞轉換的原始數據。
10．如權利要求9所述的用於實時地傳遞運動圖像的方法，其特徵在於在壓縮的近似數據和原始數據之間的微分波形被分割並被分類成為多個型式，以便在每個伺服器和客戶製備誤差圖形；在伺服器進行數據壓縮時對接近所述微分波形的誤差圖形的代碼和壓縮數據一道被傳遞給客戶；以及在數據解壓期間在客戶通過在解壓的數據上疊加相關的誤差圖形的波形恢復所述數據。
11．如權利要求9或10所述的用於實時地傳遞運動圖像的方法，其特徵在於按照來自客戶的請求動態地產生查閱表。
12．如權利要求11所述的用於實時地傳遞運動圖像的方法，其特徵在於使用查閱表，在所述查閱表上按照客戶的請求可以列出任何尺寸的圖像。
13．如權利要求11或12所述的用於實時地傳遞運動圖像的方法，其特徵在於使用查閱表，在所述查閱表上按照客戶的請求可以列出任何數量的圖像。
14．如權利要求9所述的用於實時地傳遞運動圖像的方法，其特徵在於圖像的壓縮比按照客戶的請求被改變。
15．如權利要求9到14任何一個所述的用於實時地傳遞運動圖像的方法，其特徵在於對於客戶的每個請求產生一個特定的壓縮和傳遞拖運器。
16．如權利要求9到15任何一個所述的用於實時地傳遞運動圖像的方法，其特徵在於圖像之間的間隔按照客戶的請求被改變。
17．如權利要求9到16任何一個所述的用於實時地傳遞運動圖像的方法，其特徵在於提供管理裝置用於同時處理來自多個客戶的每個客戶的請求。
全文摘要
本發明提供了一種用於以高的速度壓縮圖像信息的方法和利用所述方法傳遞實時運動圖像的方法,其中作為三維希爾伯特掃描(本發明不限於三維希爾伯特掃描)的擴展進行矩形平行六面體區域的掃描,從而改善輸出量和降低成本。在按照本發明的用於以高的速度壓縮圖像信息的方法中,包括三維信息的被觀看的運動圖像通過使用和在三維空間中的矩形平行六面體區域相關的查閱表逐個地被轉換成一維的串行信息,並且其中對所述轉換的數據進行數據壓縮。在從伺服器向客戶實時地傳遞觀看的運動圖像的方法中,按照所述方法壓縮的數據通過通信通路被傳遞,並在客戶被解壓。
文檔編號H04N13/00GK1303570SQ99806840
公開日2001年7月11日 申請日期1999年4月12日 優先權日1999年3月1日
發明者松尾勝憲, 鐮田清一郎 申請人:株式會社九州電器系統