小波變換設備和方法、小波逆變換設備和方法、程序及記錄介質的製作方法

2023-04-24 14:51:46

專利名稱：小波變換設備和方法、小波逆變換設備和方法、程序及記錄介質的製作方法
技術領域：
本發明涉及一種小波變換設備和方法、小波逆變換設備和方法、 程序及記錄介質，尤其涉及支持通過與小容量的內部存儲器交換數據 來執行高速小波變換的小波變換設備和方法、小波逆變換設備和方 法、程序及記錄介質。
背景技術：
已知方法中代表性的圖像壓縮方法是已經由ISO (國際標準組 織)標準化的JPEG (聯合圖像專家組)方法。已知在使用DCT (離 散餘弦變換)和佔有(appropriate)相對大量的位(bit)的情況下， 提供優質的編碼圖像和解碼圖像。然而，減少編碼位超過一定水平就 導致DCT的明顯的塊失真特徵，並且可以主觀地觀察到劣化。另一方面，近年來，已經對其中圖像由被稱為濾波器組的濾波器 分成多個帶(子帶)的方法進行了大量研究，其中將高通濾波器和低 通濾波器組合，並對每個帶執行編碼。特別地，將小波變換編碼視為 可能代替DCT的新技術，因為它沒有DCT所具有的問題，即高壓縮 率時顯著的塊失真。JPEG 2000的國際標準在2001年1月完成。JPEG 2000組合了 小波變換和高效熵編碼(基於位面的位建模和算術編碼bit-plane based bit modeling and arithmetic encoding )， 並在編碼效率方面相
對於JPEG實現了顯著提高。小波變換使用這樣的技術，其中基本上，圖像數據作為輸入，對 輸入進行水平方向濾波和垂直方向濾波，其中低頻帶分量(low band component)被分級地劃分。這時，需要以高的頻率執行向和從存儲 器讀和寫數據，諸如讀出圖像數據、寫入濾波所產生的頻率係數 (frequency coefficient)、再次讀出頻率係數等等。由於圖像信號具有大的數據量，因此人們已經認識到需要一種用於高速地執行小波變換的技術。而且，已經提出了大量用於外部地將 頻率係數寫入存儲器已經再次讀入它們的技術(見日本未審專利申請公開No. 10-283342 )。 發明內容然而，由於數據在外部存儲器和小波變換單元之間交換，因此其 中頻率係數被寫出至外部存儲器和再次讀入的技術存在著不能獲得 充足帶寬的問題，所以難以高速地執行小波變換。而且，提高時鐘(運行頻率)在提高外部存儲器和小波變換單元 之間數據速度時是有效的，但是單純增加時鐘不僅導致能耗增加的問 題，而且這難以由諸如FPGA (現場可編程門陣列)和PLD (可編程 邏輯設備)的硬體來處理。人們已經認識到需要能夠在不需要外部存儲器的情況下實現高 速小波變換。根據本發明 一個實施例的小波變換設備，用於以多個級別對圖像 信號進行小波變換，包括第一緩存器，用於對於每個級別獨立地存 儲在水平方向對圖像信號進行分析濾波所得到的部分係數；第二緩存 器，用於對於每個級別獨立地存儲在垂直方向對圖像信號進行分析濾 波的計算處理中所產生的部分係數；垂直濾波單元，用於通過使用從 第一和第二緩存器所讀出的係數，執行垂直方向的分析濾波；和水平濾波單元，用於除最後一個級別之外，通過將所述垂直方向分析濾波 所產生的係數用作為下一級別的水平方向分析濾波的輸入，執行水平
方向的分析濾波。水平濾波單元和垂直濾波單元可以由小波變換的提升格式(lifting scheme )實現。提升格式可以是這樣的格式，其中水平方向分析濾波被劃分成多 級計算而被執行，其中水平濾波單元以提升格式為預定數量的列執行 水平方向分析濾波。水平濾波單元還可以包括保存單元，用於保存在以提升格式的這 多級計算的處理中所獲得的部分係數，並通過執行到最後一級的多級計算來產生高頻帶分量和低頻帶分量；其中，在執行下一級的水平方 向分析濾波的情況下，只有必需的那麼多的列是來自垂直濾波單元的 垂直方向分析濾波結果的係數的輸入，並且讀出在前一提升格式的這 多級計算處理中存儲在保存單元中的係數，並且執行以提升格式的這多級計算。水平濾波單元可以以提升格式執行水平方向分析濾波，直到水平 方向中的列數都已經進行。一次輸入至提升格式的列數可以是3列，並且保存在保存單元中 的係數的數量可以是3。水平濾波單元可以將通過執行以提升格式的這多級計算到最後 一級而產生的高頻帶分量和低頻帶分量存儲在對應於該級別的第一 緩存器中。提升格式可以是用於以多級計算執行垂直方向分析濾波的格式， 其中垂直濾波單元以提升格式執行預定數量行的垂直方向分析濾波。垂直濾波單元可以通過將在以提升格式的這多級計算的處理中 所獲得的部分係數存儲在第二緩存器中、並執行至最後一級的多級計 算，產生高頻帶分量和低頻帶分量，其中在執行下一級的垂直方向分 析濾波時，只從第 一緩存器讀出來自水平濾波單元的水平方向分析濾 波結果的係數所必需的那麼多的行，並且讀出在以前一提升格式的這 多級計算的處理中存儲在第二緩存器中的係數，並且執行以提升格式 的這多級計算。 垂直濾波單元可以以提升格式執行垂直方向分析濾波，直到垂直 方向中的行數都已經過。從第 一緩存器所讀出的行數可以是3行，並且存儲在第二緩存器 中的係數的數量可以是3。第一緩存器可以被配置為在其自身內部具有對於執行垂直方向 分析濾波所必需的那麼多的行的獨立緩存器。第二緩存器可以被配置為在其自身內部具有對於執行這多級計算所必需的那麼多係數的獨立緩存器。水平濾波單元可以在行遞增(increment)中輸入圖像信號，並 在每次水平方向的樣本數量達到預定數量時執行水平方向分析濾波， 其中垂直濾波單元在每次垂直濾波單元所執行的垂直方向分析濾波 結果中頻率分量垂直方向上的行數達到預定數量時執行垂直方向分 才斤濾波。水平濾波單元和垂直濾波單元可以以分級方式對最低頻率分量 執行分析濾波。圖像信號可以是包括多個畫面的視頻信號，其中小波變換設備還 包括檢測單元，用於通過檢測視頻信號的垂直同步信號來檢測每個畫 面的結束，並且水平濾波單元和垂直濾波單元對每個畫面執行分析濾 波。根據本發明的一個實施例， 一種小波變換設備的小波變換方法， 用於以多個級別對圖像信號執行小波變換，包括下列步驟將水平方 向的分析濾波所產生的部分係數存儲在對於每個級別獨立的第 一緩 存器中；將垂直方向的分析濾波的計算處理中所產生的部分係數存儲 在對於每個級別獨立的第二緩存器中；使用從第一和第二緩存器所讀 出的係數，執行垂直方向分析濾波；除最後一個級別之外，將垂直方 向分析濾波所產生的係數用作下一級別的水平方向分析濾波的輸入。根據本發明的 一個實施例，具有一種用於使計算機以多個級別對 圖像信號執行小波變換處理的程序，所述處理包括下列步驟將水平 方向分析濾波所產生的部分係數存儲在對於每個級別獨立的第一緩
存器中；將圖像信號的垂直方向分析濾波處理中所產生的部分係數存 儲在對於每個級別獨立的第二緩存器中；使用從第一和笫二緩存器所 讀出的係數，執行垂直方向分析濾波；和除最後一個級別之外，將垂 直方向分析濾波所產生的係數作為下一級別的水平方向分析濾波的 輸入。根據本發明的一個實施例， 一種存儲用於使計算機以多個級別對 圖像信號執行小波變換處理的程序的記錄介質，所述處理包括下列步 驟將水平方向分析濾波所產生的部分係數存儲在對於每個級別獨立 的第一緩存器中；將圖像信號的垂直方向分析濾波的計算處理中所產 生的部分係數存儲在對於每個級別獨立的第二緩存器中；使用從第一 和第二緩存器所讀出的係數，執行垂直方向分析濾波；和除最後一個 級別之外，將垂直方向分析濾波所產生的係數作為下一級別的水平方 向分析濾波的輸入。根據上述設置，水平方向分析濾波所產生的部分係數被存儲在對 於每個級別獨立的第一緩存器中，並且圖像信號的垂直方向分析濾波 的處理中所產生的部分係數被存儲在對於每個級別獨立的笫二緩存 器中。通過使用從第一和第二緩存器所讀出的係數，執行垂直方向分 析濾波，並且除最後一個級別之外，將垂直方向分析濾波所得到的系 數作為下一級別的水平方向分析濾波的輸入。因此，對於用於存儲系 數的存儲器，只需要小配置。從而，可以執行高速小波變換，而無需 外部存儲器。根據本發明一個實施例， 一種小波逆變換設備，用於以多個級別 對由已經對圖像信號執行小波變換所產生的頻率分量執行小波逆變 換，包括第一緩存器，用於除最低頻帶之外對於每個級別獨立地存 儲頻率分量的水平方向合成濾波所得到的部分係數；第二緩存器，用 於對於每個級別獨立地存儲對於頻率分量的垂直方向合成濾波的計算處理中所產生的部分係數；垂直濾波單元，用於通過使用從第一和 第二緩存器所讀出的係數執行垂直方向合成濾波；和水平濾波單元， 用於除最後一個級別之外，通過將垂直方向合成濾波所得到的係數用
作為下一級別的水平方向合成濾波的輸入，執行水平方向的合成濾 波。水平濾波單元和垂直濾波單元可以由小波逆變換的提升格式實現。提升格式可以是這樣的格式，其中垂直方向合成濾波被劃分成多 級計算而執行，其中垂直濾波單元以提升格式為預定數量的行執行垂直方向合成濾波。垂直濾波單元可以將在以提升格式的這多級計算的處理中所得 到的部分係數存儲在第二緩存器中，並通過執行至最後一級的這多級 計算來產生圖像，其中，在執行下一級的垂直方向合成濾波時，從來 自水平濾波單元的水平方向合成濾波結果的係數中只讀出必要的那 麼多的行，並且讀出在這多級計算的處理中被存儲在第二緩存器中的 係數，並且執行以提升格式的這多級計算。垂直濾波單元可以以提升格式執行垂直方向合成濾波，直到垂直 方向中的行數都已經過。從第 一緩存器所讀出的行數可以是3行，並且存儲在第二緩存器 中的係數的數量可以是3。第一緩存器可以被配置為在其自身內部具有對於執行垂直方向 合成濾波所必需的那麼多的行的獨立緩存器。第二緩存器可以被配置為在其自身內部具有對於執行這多級計 算所必需的那麼多的係數的獨立緩存器。提升格式可以是用於以多級計算執行水平方向合成濾波的格式， 其中水平濾波單元以提升格式執行預定數量列的水平方向合成濾波。水平濾波單元還可以包括保存單元，用於保存在以提升格式的這 多級計算的處理中所獲得的部分係數，並通過執行至最後一級的這多 級計算來產生圖像，其中當執行下一級的水平方向合成濾波時，只輸 入來自垂直濾波單元的垂直方向合成濾波結果的係數所必需的那麼 多的列，並且讀出在以前一提升格式的這多級計算的處理中存儲誇保 存單元中的係數，並且執行以提升格式的這多級計算。
水平濾波單元可以以提升格式執行水平方向合成濾波，直到水平 方向中的列數都已經過。可以一次輸入至提升格式的列數可以是3列，並且保存在保存單 元中的係數的數量可以是3。水平濾波單元可以將通過執行以提升格式的這多級計算至最後 一級而產生的高頻帶分量和低頻帶分量係數存儲在對應於該級別的第一緩存器中。水平濾波單元可以在行遞增中輸入頻率分量，並在每次水平方向 的樣本數量達到預定數量時執行水平方向低頻帶合成濾波和高頻帶 合成濾波，其中垂直濾波單元在每次由水平濾波單元所執行的水平方 向合成濾波的結果中頻率分量的垂直方向上的行數達到預定數量時 執行垂直方向低頻帶合成濾波和高頻帶合成濾波。圖像信號可以是包括多個畫面的視頻信號，其通過以分級方式對 最低頻率分量執行分析濾波而被劃分為多個頻率分量，其中垂直濾波 單元和水平濾波單元以分級方式對多個頻率分量中包括最低頻率分 量的預定數量的頻率分量執行合成濾波，最終產生畫面。小波逆變換設備還可以包括垂直同步信號插入單元，用於在垂直 濾波單元和水平濾波單元所產生的畫面之間插入垂直同步信號。根據本發明一個實施例， 一種小波逆變換方法，用於以多個級別 對通過已經對圖像信號執行小波變換而產生的頻率分量執行小波逆 變換，從而重構圖像，包括下列步驟將水平方向的合成濾波所得到 的部分係數存儲在對於除最低頻帶之外的每個級別獨立的第一緩存 器中；將在垂直方向的合成濾波的處理中所產生的部分係數存儲在對 於每個級別獨立的第二緩存器中；通過使用從第 一和第二緩存器所讀 出的係數，執行垂直方向合成濾波；和除最後一個級別之外，將垂直 方向合成濾波所得到的係數作為下 一級別的水平方向合成濾波的輸 入。根據本發明的一個實施例，具有一種用於使計算機以多個級別對 通過已經對圖像信號執行小波變換而產生的頻率分量執行小波k變
換處理從而重構圖像的程序，所述處理包括下列步驟除最後一個級 別之外，將水平方向的合成濾波所產生的部分係數存儲在對於每個級 別獨立的第一緩存器中；將垂直方向的合成濾波的處理中所產生的部 分係數存儲在對於每個級別獨立的第二緩存器中；通過使用從第 一和 第二緩存器所讀出的係數，執行垂直方向合成濾波；和將垂直方向合成濾波所得到的係數作為下一級別的水平方向合成濾波的輸入。根據本發明的 一個實施例， 一種存儲用於使計算機以多個級別對 通過已經對圖像信號執行小波變換而產生的頻率分量執行小波逆變 換處理從而重構圖像的程序的記錄介質，所述處理包括下列步驟將 水平方向合成濾波所產生的部分係數存儲在對於每個級別獨立的第 一緩存器中；將垂直方向合成濾波的處理中所產生的部分係數存儲在 對於每個級別獨立的第二緩存器中；通過使用從第一和笫二緩存器所 讀出的係數，執行垂直方向合成濾波；和除最後一個級別之外，將垂 直方向合成濾波所產生的係數作為下一級別的水平方向合成濾波的 輸入。根據上述設置，除最後一個級別之外，水平方向合成濾波所產生 的部分係數被存儲在對於每個級別獨立的第 一緩存器中，並且垂直方 向的合成濾波的處理中所產生的部分係數被存儲在對於每個級別獨 立的第二緩存器中。通過使用從第一和第二緩存器所讀出的係數，執 行垂直方向合成濾波，並且將垂直方向合成濾波所產生的係數作為下 一級別的水平方向合成濾波的輸入。因此，對於用於存儲係數的存儲 器，只需要小配置。從而，可以執行高速小波變換，而無需外部存儲


圖1是說明應用了本發明一個實施例的小波變換設備的一個實 施例的配置示例的示圖；圖2是用於描述利用圖l所示小波變換設備進行的小波變換處理 的流程圖3是用於描述圖像信號的水平分析濾波示例的示圖；圖4是用於描述垂直分析濾波示例的示圖；圖5是說明執行分級1的分析濾波的結果的示圖；圖6是描述具有9x7分析濾波器的提升格式的示例的示圖；圖7是用於描述以圖6所示的提升格式在水平方向對係數組執行水平分析濾波的情況的示圖；圖8是用於描述執行以提升格式的水平分析濾波、然後從頂部向下輸入係數行的操作的示圖；圖9是用於描述在垂直方向對係數組執行具有垂直分析濾波的圖6所示提升格式的情況的示圖；圖10是說明圖1所示的級別1緩存器到級別4緩存器的配置示例的方框圖；圖ll是說明圖l所示係數緩存器的配置示例的方框圖； 圖12是說明具有HDTV標準的亮度和色差信號的數據陣列的示 例的示圖；圖13是用於描述行遞增中分析濾波的示圖；圖14是用於描述分級1分析濾波中垂直濾波的示圖；圖15是說明執行至分級2的分析濾波的結果的示圖；圖16是說明對實際圖像執行至分級3的分析濾波的結果的示圖；圖17是用於描述視頻信號中垂直合成信號的示圖；圖18是說明關於對應於圖l所示小波變換設備的小波逆變換設備的配置示例的示圖；圖19是用於描述圖18所示小波逆變換設備的小波逆變換處理的流程圖；圖20是描述具有9x7分析濾波器的提升格式的另一示例的示圖； 圖21是用於描述以圖20所示提升格式在垂直方向對係數組執行垂直合成濾波的情況的示圖；圖22是用於描述以圖20所示提升格式在水平方向對系冬組執行水平合成濾波的情況的示圖23是說明應用了本發明一個實施例的圖像編碼設備的一個實 施例的配置示例的示圖；圖24是用於描述利用圖23所示圖像編碼設備進行圖像編碼處理 的流程圖；圖25是說明對應於圖23所示圖像編碼設備的圖像解碼設備的一 個實施例的配置示例的示圖；圖26是用於描述利用圖25所示圖像解碼設備進行圖像解碼處理 的流程圖；圖27是說明應用了本發明一個實施例的數字三軸系統(digital triax system)的配置示例的方;^匡圖；圖28是說明應用了本發明 一個實施例的無線傳輸系統的配置示 例的方框圖；圖29是說明將圖28所示無線傳輸系統應用於家庭遊戲控制臺 (home gaining console )的酉己置示例的示意圖；和圖30是說明應用了本發明一個實施例的計算機的一個實施例的 配置示例的方框圖。
具體實施方式
在描述本發明的實施例之前，以下參考或不參考附圖介紹權利要 求的特徵和本發明實施例所公開的特定元件之間的對應關係。本說明 書旨在確保在本說明書中描述支持所要求的發明的實施例。因此，即 使下列實施例中的某元件沒有被描述為與本發明的某特徵相關，這並 不必然意味著該元件與權利要求的那個特徵無關。反之，即使某元件 在這裡被描述為與本發明的某特徵相關，但是這並不必然意味著該元 件與權利要求的其它特徵無關。根據本發明一個實施例的小波變換設備是一種用於以多個級別 對圖像信號進行小波變換的小波變換設備(例如，圖1所示的小波變 換設備)，包括笫一緩存器(例如，圖1中所示的級別l緩存器12 到級別4緩存器15),用於對於每個級別獨立地存儲圖像信號的'水平
方向分析濾波所產生的部分係數；第二緩存器(例如，圖l中所示的 係數緩存器17)，用於對於每個級別獨立地存儲圖像信號的垂直方向 分析濾波的計算處理中所產生的部分係數；垂直濾波單元(例如，圖 1中所示的垂直分析濾波器單元18)，用於利用從第一和第二緩存器 所讀出的係數，執行垂直方向分析濾波；和水平濾波單元(例如，圖 1中所示的水平分析濾波器單元11或水平分析濾波器單元19),用 於除最後一個級別之外，通過使用垂直方向分析濾波所產生的係數作 為下一級別的水平方向分析濾波的輸入，執行水平方向的分析濾波。水平濾波單元和垂直濾波單元可以由小波變換的提升格式(例如 圖6所示的提升格式)實現。提升格式(例如圖7所示的提升格式)可以是這樣的格式，其中 水平方向分析濾波劃分成多級計算而執行，其中水平濾波單元為預定 數量的列執行水平方向分析濾波。水平濾波單元還可以包括保存單元(例如觸發器)，用於保存在 以提升格式的這多級計算的處理中所獲得的部分係數，並通過執行這 多級計算至最後一級來產生高頻帶分量和低頻帶分量的係數；其中， 在執行下一級的水平方向分析濾波的情況下，只有所必要那麼多的列 是來自垂直濾波單元的垂直方向分析濾波結果的輸入，並且在通過前 一提升格式的這多級計算的處理中存儲在保存單元中的係數被讀出， 並且執行以提升格式的這多級計算。提升格式(例如圖9所示的提升格式)可以是用於以多級計算執 行垂直方向分析濾波的格式，其中垂直濾波單元以提升格式執行預定 數量行的垂直方向分析濾波。第一緩存器(例如圖10中所示的級別1緩存器12到級別4緩存 器15 )可以被配置為在其自身內部具有對於執行垂直方向分析濾波所 必需的那麼多的行的獨立緩存器。第二緩存器(例如圖11中所示的係數緩存器17)可以被配置為 在其自身內部具有對於執行這多級計算所必需的那麼多的係數約獨 立緩存器。
圖像信號可以是包括多個畫面的視頻信號，其中小波變換設備還包括檢測單元(例如圖17所示的用於檢測垂直同步信號的垂直同步 信號檢測單元)，用於通過檢測視頻信號的垂直同步信號來檢測每個 畫面的結束，並且水平濾波單元和垂直濾波單元對每個畫面執行分析根據本發明的一個實施例， 一種小波變換設備的小波變換方法， 用於以多個級別對圖像信號執行小波變換，和一種程序，包括下列步 驟將水平方向分析濾波所產生的部分係數存儲在對於每個級別獨立 的第一緩存器中(例如圖2中的步驟S12);將垂直方向分析濾波的 計算處理中所產生的部分係數存儲在對於每個級別獨立的第二緩存 器中(例如圖2中的步驟S16);利用從第一和第二緩存器所讀出的 係數，執行垂直方向分析濾波(例如圖2中的步驟S15);和除最後 一個級別之外，將垂直方向分析濾波所產生的係數作為下一級別的水 平方向分析濾波的輸入(例如圖2中的步驟S19)。根據本發明 一個實施例的小波逆變換設備是一種用於以多個級 別對通過已經對圖像信號執行小波變換而產生的頻率分量執行小波 逆變換從而重構圖像的小波逆變換設備(例如圖18所示的小波逆變 換設備51)，包括第一緩存器(例如圖18中所示的級別3緩存器 61到級別1緩存器63)，用於除最低頻帶之外，對於每個級別獨立 地存儲頻率分量的水平方向合成濾波所產生的部分係數；第二緩存器 (例如圖18中所示的係數緩存器66)，用於對於每個級別獨立地存 儲對頻率分量的垂直方向合成濾波的計算處理中所產生的部分係數； 垂直濾波單元(例如圖18中所示的垂直合成濾波器單元65)，用於 利用從第一和第二緩存器所讀出的係數，執行垂直方向合成濾波；和 水平濾波單元(例如圖18中所示的水平合成濾波器單元67),用於 除最後一個級別之外，將垂直方向合成濾波所產生的係數作為下一級 別的水平方向合成濾波的輸入，來執行水平方向的合成濾波。垂直濾波單元和水平濾波單元可以由小波逆變換的提升格式(刺 如圖20所示的提升格式)實現。 提升格式(例如圖21所示的提升格式)可以是這樣的格式，其 中垂直方向合成濾波劃分成多級計算而執行，其中垂直濾波單元為預 定數量的行執行垂直方向合成濾波。提升格式(例如圖22所示的提升格式)可以是用於以多級計算 執行水平方向合成濾波的格式，其中水平濾波單元以提升格式執行預 定數量列的水平方向合成濾波。水平濾波單元還可以包括保存單元(例如觸發器)，用於保存在 以提升格式的這多級計算的處理中所獲得的部分係數，並通過執行這 多級計算至最後一級來產生圖像；其中，當執行下一級的水平方向合 成濾波時，只輸入來自垂直濾波單元的垂直方向合成濾波結果的係數 的必需的那麼多的列，並且讀出在以前一提升格式的這多級計算的處 理中存儲在保存單元中的係數，並且執行以提升格式的這多級計算。小波逆變換設備還可以包括垂直同步信號插入單元(例如圖17 所示的用於插入垂直同步信號的垂直同步信號插入單元)，用於在垂 直濾波單元和水平濾波單元所產生的畫面之間插入垂直同步信號。根據本發明一個實施例， 一種小波逆變換方法，用於以多個級別 對通過已經對圖像信號執行小波變換而產生的頻率分量執行小波逆 變換，從而重構圖像，以及一種程序，包括下列步驟除最低頻帶之 外，將水平方向合成濾波所產生的部分係數存儲在對於每個級別獨立 的第一緩存器中(例如圖19中的步驟S67);將垂直方向合成濾波的 計算處理中所產生的部分係數存儲在對於每個級別獨立的第二緩存 器(例如圖19中的步驟S64);利用從第一和第二緩存器所讀出的系 數，執行垂直方向合成濾波(例如圖19中的步驟S63);和除最後一 個級別之外，將垂直方向合成濾波所產生的係數作為下一級別的水平方向合成濾波的輸入(例如圖19中的步驟S65)。 現在將參考附圖闡述本發明的一個實施例。圖1是說明已經應用了本發明一個實施例的小波變換設備的一 個實施例的配置實例的示圖。小波變換設備l是頻帶分析i殳備，其將 圖像數據作為輸入，並執行水平方向濾波和垂直方向濾波，其中低頻
帶分量按等級劃分為預定分級(圖l的示例中為分級4)。圖1所示的小波變換設備1配置有水平分析濾波器單元11、級 別1緩存器12、級別2緩存器13、級別3緩存器14、級別4緩存器 15、選擇器16、係數緩存器17、垂直分析濾波器單元18、水平分析 濾波器單元19、和控制單元20。圖像信號D10被輸入至水平分析濾波器單元11。水平分析濾波 器單元11對圖像信號D10進行分級1的水平方向中的低頻帶分析濾 波和高頻帶分析濾波，並產生由水平分析濾波所獲得的低頻帶分量系 數和高頻帶分量係數所構成的頻率分量係數(此後也適當地稱為低頻 帶分量、高頻帶分量和頻率分量)。
現在，水平分析濾波器單元11在水平方向執行低頻帶分析濾波 和高頻帶分析濾波，同時讀出在未示出的內部存儲器(或寄存器)處 所呈現的基帶上相鄰位置處的像素的數據。
級別1緩存器12存儲和保存分級1水平分析濾波的結果。也就 是說，級別1緩存器12存儲和保存作為水平分析濾波器單元11所獲 得的分級1水平分析濾波的結果的頻率分量(低頻帶分量和高頻帶分 量)的係數Dll。 一旦已經在級別1緩存器12中累積了支持垂直方 向分析濾波的預定數量的垂直行的數據(係數)，就經由選擇器16 讀出這預定數量垂直行的係數D12。
級別2緩存器13存儲和保存分級2水平分析濾波的結果。也就 是說，級別2緩存器13存儲和保存作為水平分析濾波器單元19所獲 得的分級2水平分析濾波結果的頻率分量(低頻帶分量和高頻帶分量) 的係數D20。 一旦已經在級別2緩存器13中累積了支持垂直方向分 析濾波的預定數量的垂直行的數據(係數)，就經由選擇器16讀出 這預定數量的垂直行的係數D13。
級別3緩存器14存儲和保存分級3水平分析濾波的結果。也就 是說，級別3緩存器14存儲和保存作為水平分析濾波器單元19所獲 得的分級3水平分析濾波結果的頻率分量(低頻帶分量和高頻帶分量) 的係數D21。 一旦在級別3緩存器14中已經累積了支持垂直方向分 析濾波的預定數量的垂直行的數據(係數)，就經由選擇器16讀出 這預定數量的垂直行的係數D14。級別4緩存器15存儲和保存分級4水平分析濾波的結果。也就 是說，級別4緩存器15存儲和保存作為水平分析濾波器單元19所獲 得的分級4水平分析濾波結果的頻率分量(低頻帶分量和高頻帶分量) 的係數D22。 一旦已經在級別4緩存器15中累積了支持垂直方向分 析濾波的預定數量的垂直行的數據(係數)，就經由選擇器16讀出 這預定數量的垂直行的係數D15。在垂直分析濾波器單元18的控制下，選擇器16從級別1緩存器 12到級別4緩存器15中選擇相應分級緩存器的輸出，並將所選擇的 輸出作為係數D16輸出至垂直分析濾波器單元18。係數緩存器17存儲和保存在垂直分析濾波期間所中間產生的部 分係數。也就是說，在垂直分析濾波器單元18所執行的垂直分析濾 波期間所中間產生的係數中，係數緩存器17存儲和保存下一垂直分 析濾波處理所必需的係數，作為用於中間計算的係數。它們由垂直分 析濾波器單元18在下一垂直分析濾波時讀出。在這預定數量的垂直行的係數D16被輸入時，垂直分析濾波器 單元18從係數緩存器17讀出用於中間計算的係數D18 (即對於當前 垂直分析濾波所必需的係數)，並利用係數D16和係數D18執行垂 直分析濾波。然後，垂直分析濾波器單元18隻將垂直分析濾波結果 的頻率分量中在水平方向和垂直方向上都是低頻帶的低頻帶分量系 數D19輸出至水平分析濾波器單元19，並將其它高頻帶分量D23輸 出到小波變換設備l外面(圖1中未示出，此後簡稱為"外部")。水平分析濾波器單元19與水平分析濾波器單元11的配置基本上 相同，只有待處理的頻率分量的分級不同。也就是說，利用水平分析 濾波器單元19,讀出在未示出的內部存儲器(或寄存器)處所呈現的 基帶上相鄰位置處的係數D19,其中對係數D19執行水平方向低頻帶 分析濾波和高頻帶分析濾波。然後，水平分析濾波器單元19將水平分析濾波所得到的頻率分 量(低頻帶分量和高頻帶分量)D20到D22中任何一個存儲和保存在 相應級別緩存器中(級別2緩存器13到級別4緩存器15之一 ) 控制單元20由包括例如CPU (中央處理單元)、ROM (只讀 存儲器)和RAM (隨機存取存儲器)的微計算機等構成，並通過執 行各種程序控制小波變換設備1的單元的處理。注意，下面將參考圖10描述級別1緩存器12到級別4緩存器 15的詳細配置。而且，將參考圖11描述係數緩存器17的詳細配置。下面，將參考圖2中的流程圖描述圖1所示的小波變換設備1 的操作。也就是說，圖2說明由小波變換設備1所執行的小波變換處 理。圖像信號D10被外部地(例如從後面將描述的圖27所示的視頻 攝像機單元303 )輸入至水平分析濾波器單元11。在步驟S12,水平 分析濾波器單元11對圖像信號D10執行分級1水平分析濾波。也就是說，水平分析濾波器單元11具有未示出的內部存儲器(或 寄存器)，並且以圖3所示的數字順序在內部存儲器中呈現輸入圖像 信號的像素。注意，對於圖3中的示例，以方形表示的作為像素結果 所獲得的基帶圖像按順序呈現。水平分析濾波器單元ll讀出預定數量的內部存儲器中所呈現的 基帶上相鄰位置處的像素的數據(在圖3的情況下，該數量為5列(樣本))，同時移位，其中按順序執行水平方向低頻帶分析濾波和高頻 帶分析濾波。水平方向數據易於被提供給存儲器地址。因此，水平分析濾波器 單元11按順序執行水平分析濾波，同時從存儲器讀出數據。注意， 後面將參考圖7詳細描述水平方向低頻帶分析濾波和高頻帶分析濾 波。在步驟S12,水平分析濾波器單元11將作為分級1水平分析濾 波結果所獲得的頻率分量的係數Dll存儲到相應級別緩存器中(此情 況下，級別l緩存器12) 。 f此時，如圖4所示，水平分析濾波器單元ll將作為水平分析濾 波結果的高頻帶分量(H)和低頻帶分量(L)交錯，並存儲在級別1 緩存器12中。根據已知的設置，水平分析濾波結果被劃分為高頻帶分量和低頻 帶分量，並從而存儲在緩存器中。然而，如已知設置那樣將高頻帶分 量和低頻帶分量映射至緩存器中不同地址需要用於其分配的單獨控 制器。相反地，利用根據本發明的圖4所示的示例，高頻帶分量(H) 和低頻帶分量(L)被交替地存儲在級別l緩存器12中。也就是說， 作為水平分析濾波結果的高頻帶分量(H)和低頻帶分量(L)由水 平分析濾波器單元11以交錯方式存儲在級別1緩存器12中，因此在 讀出存儲在級別1緩存器12中的係數時，所有必要的係數都要從級 別1緩存器12的前面被讀出，從而簡化控制。現在，參考圖2，例如，當對於預定數量的垂直行中(圖4示出 的情況下為3行)，作為水平分析濾波結果而獲得的頻率分量的係數 被累積在圖4所示的級別1緩存器12中，從而可以執行垂直分析濾 波時，在步驟S13，通過控制選擇器16以選擇級別1緩存器12的輸 出，垂直分析濾波器單元18從級別1緩存器12讀出必要數量的垂直 行的頻率分量的係數。所讀出的頻率分量係數作為係數D16經由選擇 器16被輸入至垂直分析濾波器單元18。在步驟S14，垂直分析濾波器單元18在用於獲取上一步頻率分 量的處理中讀出存儲在係數緩存器17中的用於中間計算的係數D18， 並在步驟S15中使用3行的頻率分量係數D16和中間計算係數D18， 以執行相應分級的垂直分析濾波(當前情況下，為分級1)。後面將 參考圖9詳細描述垂直方向低頻帶分析濾波和高頻帶分析濾波。在步驟S15，垂直分析濾波器單元18將在分級1垂直分析濾波 期間(在垂直分析濾波的計算處理中)所中間產生的部分係數，即對 於下一垂直分析濾波所必需的係數，作為用於中間計算的係數D17存 儲在係數緩存器17中。如圖5所示，作為分級1垂直分析濾波的結果(即分級1分析濾 波的結果)，產生4個頻率分量的係數，包括低頻帶分量(ILL)系 數和高頻帶分量(1HH、 1LH、 1HL)係數。注意，在圖5所示的示 例中，每個方形表示一個係數，"L"和"H"的順序按該順序表示作為 先前執行水平分析濾波的結果的帶寬(低頻帶或高頻帶)、和作為執 行垂直分析濾波的結果的帶寬(低頻帶或高頻帶)。此外，"L"或"H，， 前面的數字表示分級。這是分級1分析濾波，從而在垂直分析濾波器單元18產生低頻 帶分量(ILL) D19和高頻帶分量(1HH、 1LH、 1HL ) D23作為結 果。當然，只再次分析低頻帶分量(ILL)以設定分級(最後一級)， 而不再分析高頻帶分量。也就是說，低頻帶分量被進一步劃分至最後 一級，因此最後一級也可以被稱為是輸出最低頻帶的最低頻帶級別。在步驟S17，垂直分析濾波器單元18確定分析濾波是否已經被 計算至所設定分級的最後一級(圖1所示的情況下，為分級4)。在 分級l的情況下，流程還未到達最後一級，因此處理繼續進行到步驟 S18。在步驟S18，垂直分析濾波器單元18向外部輸出高頻帶分量 (1HH、 1LH、 1HL) D23 (例如向後面闡述的圖23所示的量化單元 112)。另一方面，低頻帶分量(ILL) D19被輸出至水平分析濾波器單 元19。在步驟S19，水平分析濾波器單元19對提供給內部存儲器的 低頻帶分量D19執行相應分級(當前情況下，為分級2)的水平分析 濾波(水平方向低頻帶分量濾波和高頻帶分量濾波)，並產生作為水 平分析濾波結果的低頻帶分量和高頻帶分量。注意，步驟S19中的處 理基本上與上述步驟S13中的處理相同，只是待處理的頻率分量的分 級不同。在步驟S19之後，流程返回至步驟S12，並重複後續處理。也就 是說，在步驟S12，水平分析濾波器單元19將作為水平分析濾波結果 的頻率分量(低頻帶和高頻帶分量)的係數D20存儲和保存在;fejL級 別的緩存器中(此情況下，為級別2緩存器13)。
當作為水平分析濾波結果而獲得的頻率分量的係數在級別2緩 存器13中累積預定數量的垂直行，由此可以執行垂直分析濾波時， 在步驟S13，經由選擇器16,從級別2緩存器13讀出必要數量的垂 直行的頻率分量的係數D16，並輸入至垂直分析濾波器單元18。在步 驟S14，從係數緩存器17讀出中間計算係數D18，並在步驟S15，利 用預定數量的垂直行的係數D16和中間計算係數D18執行分級2垂 直分析濾波。在步驟S16，分級2垂直分析濾波的中間係數D17的一部分被存 儲在係數緩存器17中，由於分級2垂直分析濾波，產生4個頻率分 量的係數，包括低頻帶分量(2LL)係數和高頻帶分量(2HH、 2LH、 2HL)係數。在步驟S17，確定流程還未到達最後一級，因此在步驟 S18,高頻帶分量(2HH、 2LH、 2HL ) D23被輸出至外部。在步驟S19，對低頻帶分量(2LL) D19執行相應分級的水平分 析濾波，產生作為水平分析濾波結果的低頻帶分量和高頻帶分量D21， 流程再次返回至S12，所產生的低頻帶分量和高頻帶分量D21被存儲 和保存在級別3緩存器14中，並重複後續處理，直到預定分級的最 後一級。以相同方式執行上述一連串的處理，直到存儲預定分級的最後一 級(分級4)的垂直分析濾波的中間係數。接著，在步驟S17,確定 已經完成最後一級，並且流程進行至步驟S20。在步驟S20，垂直分析濾波器單元18向外部輸出最後一級頻率 分量(4LL、 4HL、 4LH、 4 HH) D23。因此，分級4圖像信號小波 變換結束。如上所述，圖1所示的小波變換設備1具有用於從級別1到預定 數量級別的每個分級的緩存器，並在執行水平分析濾波的同時將水平 分析濾波結果存儲在每個分級的緩存器中。因此，可以在從每個分級 的緩存器讀出水平分析濾波結果的同時執行垂直方向濾波。也就是 i兌，水平方向和垂直方向分析濾波可以被同時並行執行。因此，也可以對運動圖像以及具有高解析度的圖像以高速執行小
波變換。而且，由圖l所示小波變換設備l，同用於從級別l到預定數量 級別的每個分級的緩存器一起還提供係數緩存器，並且當執行垂直方 向分析濾波時保存下一處理所必需的係數，並且在下一垂直分析濾波時讀出係數，因此不需要如日本未審專利申請公開No. 10-283342中所述的^:置那樣配置外部存儲器。因此，不需要與外部存儲器交換數據，並可以以高速執行小波變 換。從而，不需要提高時鐘頻率，以便提高外部存儲器和小波變換設 備之間的數據速度，從而節約電能。接下來，將詳細闡述上述分析濾波的計算方法。分析濾波計算方 法中最常用的計算方法是被稱為巻積計算的方法。該巻積計算是實現 數字濾波器的最基本的方法，其中根據濾波器分支係數(filter tap coefficient)對實際輸入數據執行巻積乘法。但是，利用巻積計算， 如果分支長度(tap length)很大，則存在其中計算負擔相應增加的情 況。在論文"W. Swelden， 'The lifting scheme: A custom-design construction of biorthogonal wavelets', Appl. Comput. Harmon. Anal" Vol 3， No. 2， pp. 186-200, 1996"中所介紹的小波變換提升是一種用於 處理該情況的已知技術。圖6說明與JPEG (聯合圖像專家組)2000標準一起使用的9x7 分析濾波器的提升格式。將闡述將提升技術應用於該9x7分析濾波器 的情況下的分析濾波。在圖6所示的示例中，第一層(tier)(最高層)說明輸入圖像 的樣本組(像素行)，第二和第三層說明分別在步驟Al和步驟A2 所產生的分量(係數)。而且，第四層說明在步驟A3的處理中所產 生的高頻帶分量輸出，第五層說明在步驟A4的處理中所產生的低頻 帶分量輸出。頂層不局限於輸入圖像的樣本組，可以是從前一分析濾 波所獲得的係數。注意，這裡，頂層是輸入圖像的樣本組，其中實心 方塊代表偶數樣本或行，實心圓圍代表奇數樣本或行。 通過將提升技術應用於9x7分析濾波器的分析濾波，由步驟A3 的處理獲得高頻帶分量，並通過步驟A4的處理獲得的低頻帶分量。 步驟Al到步驟A4的處理可以由下列表達式表示。步驟A1: (1卩=di。+a(Si。+Sw。) (1)步驟A2: s/= Si。+卩(diV+di1) (2)步驟A3:山2= d卩+Y(s卩+Sw1) (3)步驟A4: Sis= s卩+8(di國？+di2) (4)其中a=-1.586134342， p=-0.05298011857, y=0.88291 10755，且 8=0.4435068520。因此，通過採用提升技術的分析濾波，執行步驟Al和步驟A2 的處理，在步驟A3產生高頻帶分量係數，然後在步驟A4產生低頻 帶分量係數。由表達式(l) 一 U)可見，此時所使用的濾波器組可 以僅由相加和移位(shift)計算來實現。因此，可以顯著地減少計算 量。從而，如下面所述，該提升技術將通過小波變換設備l被應用於 水平分析濾波和垂直分析濾波。首先，將詳細闡述由水平分析濾波器單元11和19執行的水平分 析濾波。圖7說明以圖6所示提升格式對以上參考圖2所述那樣在水 平方向對係數組執行水平分析濾波的示例。圖7所示的示例示出對作為輸入的水平方向係數進行參考圖6 所述的四個步驟(步驟A1到步驟A4)的處理，從而產生高頻帶分量 係數(後面也稱為"高頻帶係數")和低頻帶分量係數(後面也稱為"低 頻帶係數，，)的示例，其中提升步驟的方向在圖中是從上到下。而且， 水平方向上係數上面示出的數字是列的序數。此外，在頂部的笫一層處的圓圏和方塊分別表示輸入高頻帶係數和低頻帶係數，後續層處的圓團和方塊分別表示在提升計算處理中所 產生的高頻帶係數和低頻帶係數。特別地，帶陰影的圓團和方塊分別 表示作為提升計算結果的高頻帶係數和低頻帶係數。下面是按照從頂部開始的順序對操作的描述。圖7中的頂層說明 這樣一種情況，其中輸入水平方向上三列係數，列4-6,並且執行水 平方向上以提升格式的計算(此後稱之為"水平提升計算，，)。為了在水平提升計算的步驟A3中獲得第一高頻帶係數和在步驟 A4中獲得第一低頻帶係數，需要輸入列0-3這4列係數。然後，為了獲得第二高頻帶係數和低頻帶係數，需要由粗實線 (heavy solid line )所表示的三個係數和由被圍住的數字所表示的第5 和6列兩列係數，而且，為了在步驟A2計算由Pl表示的係數，由被 團住的數字所表示的第4列的係數也是必需的。由粗實線所表示的三個係數是在用於獲得第一高頻帶係數和低 頻帶係數的水平提升計算處理(此後也被稱為"第一水平提升計算") 中所產生的係數的一部分。也就是說，為了獲得第二高頻帶係數和低頻帶係數，最終需要輸 入第4到6列三列係數，並且鎖存由粗實線所表示的、在第一水平提 升計算過程中所產生的三個係數作為中間計算係數。實際上，由於不 多於三個係數，可以將通常用作鎖存器的觸發器內置到水平分析濾波 器單元11或水平分析濾波器單元19中。因此，使用由粗實線所表示的、已經在第一水平提升計算中被鎖 存的三個係數以及已經被輸入的第4到6列三列係數執行水平提升計 算就在其計算處理結束時產生四個係數(由粗虛線(heavy dotted line ) 表示)，包括第二高頻帶係數和低頻帶係數。其中，由點劃線(single-dot broken line)所表示的三個係數是對於獲得笫三高頻帶係數和低頻帶 係數所必需的係數，並且因此在內置的觸發器處被鎖存為中間計算系 數。在圖7的下半部分中示出了這樣一種情況的示例，其中在輸入第 6列的係數後，水平方向上的兩列被附加地輸入，即水平方向中輸入 第6到第8列三列的係數被輸入，並且執行水平提升計算。以與第二種情況相同的方式，為了獲得第三高頻帶係數和低頻帶係數，需要由粗實線所表示的三個係數和由被團住的數字所表示的第 7和8列兩列的係數，而且，為了在步驟A2中計算由P2表示的係數， 被團住的數字所表示的第6列的係數也是必需的。
注意，如在圖的上半部分由點劃線所表示的，下半部分中由粗實 線所表示的三個係數已經在第二水平提升計算中被鎖存在觸發器處。 因此，使用由粗實線所表示的、已經在第二水平提升計算中被鎖存的三個係數以及已經被輸入的第6到8列三列係數執行水平提升計 算就產生四個係數(由粗虛線表示)，包括第三高頻帶係數和低頻帶 係數。其中，由點劃線所表示的三個係數是對於獲得第四高頻帶係數 和低頻帶係數所必需的係數，並且因此被鎖存在內置觸發器處。因此，在連續輸入三列係數，並保存三個中間計算係數的同時執 行水平提升計算至屏幕最右列，從而完成水平方向分析濾波。注意，雖然上面已經描述了使用提升格式的水平分析濾波一行的 示例，但是將參考圖8闡述使用上述操作由提升格式執行水平分析濾 波、同時連續從上向下輸入係數行的操作。對應於圖6和7中的係數 在圖8中以相同的方式被表示，對其描述是多餘的，因此將其省略。圖8在其左側示意地說明對每個輸入行執行水平提升計算的示 例，而在其右側示意地說明對作為每個輸入行的水平提升計算結果而 獲得的、順序地在垂直方向從上到下呈現的係數執行垂直提升計算的 示例。按順序描述該圖，第一輸入線O處的係數經歷四個步驟的水平提 升計算，由此產生由1到11所表示的低頻帶係數和高頻帶係數。其 中，分配奇數(l、 3、 5、 7、 9、 11)的係數是低頻帶係數，分配偶 數(2、 4、 6、 8、 10)的係數是高頻帶係數。雖然只示出輸入線l，但是其適用於輸入線l到輸入線n。也就 是說，輸入線l處的係數經歷四個步驟的水平提升計算，由此產生由 l到ll所表示的高頻帶係數和低頻帶係數，其中，分配奇數(l、 3、 5、 7、 9、 11)的係數是低頻帶係數，分配偶數(2、 4、 6、 8、 10) 的係數是高頻帶係數。如圖8右側所示，在從上部開始的第一層中，在水平方向中從近 側到遠側地呈現作為輸入線0的水平濾波結果被分配1到11的係數。 在從上部開始第二層中，在水平方向中從近側到遠側地呈現作為輸入
線1的水平濾波結果被分配1到11的係數。在從上部算第三層中， 配1到11的係數。如上所述，如圖8右側所示，作為輸入線0到輸入線n的水平濾 波結果而獲得的係數在垂直方向中從上到下依次呈現。注意，實際上， 作為輸入線的水平濾波結果被分配1到11的係數從近側到遠側具有 交替排列的低頻帶和高頻帶。只有已經累積了預定數量的垂直方向係數，即只要累積了預定數 量的行，就從左到右執行垂直方向的提升格式計算(即垂直提升計 算)，如圖8右側的提升步驟的方向所示。接下來，將詳細描述由垂直分析濾波器單元18所執行的垂直分 析濾波。圖9說明如參考圖3所述在垂直方向中排列由水平分析濾波 所獲得的係數、並以圖6所示提升格式執行垂直分析濾波的情況。注意，如圖8右側概念地所示，該圖只側重在水平方向呈現和排 列的係數之一，而且很顯然，在實際的二維小波變換中，垂直方向分 析濾波需要被執行的次數與在小波變換處理中所產生的頻率分量(子 帶)水平方向係數的數量一樣多。圖9所示的示例說明這樣的示例，其中垂直方向中的係數經歷圖 6所示的四個步驟(步驟A1到步驟A4)，由此產生低頻帶係數和高 頻帶係數，其中提升步驟的方向在圖中是從左到右。而且，垂直方向 中係數左面所示出的數字是行的序數。此外，左起第一列處的圃圍和方塊分別表示輸入高頻帶係數和低 頻帶係數，第二列和後續列處的圓團和方塊分別表示在提升計算處理 中所產生的高頻帶係數和低頻帶係數，並且特別地，帶陰影的圓圍和 方塊分別表示作為提升計算結果的高頻帶係數和低頻帶係數。下面將按照從左到右的順序描述操作。圖9左側說明這樣一個示 例，其中在垂直方向中輸入三行係數，行4-6，並且執行垂直提升計 算。為了在垂直提升計算的步驟A3中獲得第一高頻帶係數並在步驟A4中獲得第一低頻帶係數，需要行0-3這4行的係數。隨後，為了獲得第二高頻帶係數和低頻帶係數，需要由粗實線所表示的三個係數和由被團住的數字所表示的第5和6行兩行的係數，而且，為了在步驟A2中計算由Pl表示的係數，由被團住的數字所表示的第4行的係數也是必需的。由粗實線所表示的三個係數是在用於獲得第一高頻帶係數和低頻帶係數的垂直提升計算處理(此後也稱之為"第一垂直提升計算，，) 中所產生的係數的一部分。也就是說，為了獲得第二高頻帶係數和低頻帶係數，最終需要輸 入第4到6行三行的係數，並且將由粗實線所表示的、在第一垂直提 升計算處理中所產生的三個係數作為中間計算係數存儲在圖1所示的 係數緩存器17中。此時，為每個級別從圖1所示的相應級別的緩存 器讀出垂直方向上這三行的係數。也就是說，在當前小波變換分級為 2的情況下，從級別2緩存器13讀出係數。因此，使用由粗實線所表示的、已經在第一垂直提升計算中存儲 在係數緩存器17中的三個係數以及已經被輸入的第4到6行三行系 數執行水平提升計算就在其計算處理結束時獲得四個係數(由粗虛線 表示)，包括第二高頻帶係數和低頻帶係數。其中，由點劃線所表示 的三個係數是對於獲得第三高頻帶係數和低頻帶係數所必需的係數， 並且因此被存儲在係數緩存器17中。在圖9右側示於一種情況的示例，其中在輸入笫6行的係數後， 垂直方向中的兩行淨皮附加地讀出，即水平方向中第6到第8行三行的 係數被輸入，並且執行水平提升計算，。以與第二種情況相同的方式，為了獲得第三高頻帶係數和低頻帶係數，需要由粗實線所表示的三個係數和由被團住的數字所表示的第 7和8兩行的係數，而且，為了在步驟A2中計算由P2表示的係數， 由被圍住的數字表示的第6行的係數也是必需的。注意，如在圖的左側由點劃線所表示的，在下半部分中由粗實線 所表示的三個係數已經在第二垂直提升計算中被鎖存在係數緩存器17中。因此，使用由粗實線所表示的、已經被存儲在第二垂直提升計算 中的三個係數以及已經從相應級別緩存器讀出並被輸入的第6到8行 三行的係數執行垂直提升計算就獲得四個係數(由粗虛線表示)，包 括第三高頻帶係數和低頻帶係數。其中，由點劃線表示的三個係數是 對於獲得第四高頻帶係數和低頻帶係數所必需的係數，並且因此被存 儲在係數緩存器17中。因此，在順序輸入三行係數並保存三個中間計算係數的同時執行 垂直提升計算至屏幕底行，從而完成垂直方向分析濾波。圖10說明圖1所示的級別1緩存器12到級別4緩存器15的配 置示例，其中存儲來自水平分析濾波結果的係數。級別1緩存器12由級別1緩存器12 — 1和級別1緩存器12-2 配置，其中存儲從垂直分析濾波器單元18所讀出的一行係數。也就是說，級別1緩存器12-2存儲來自水平分析濾波器單元 ll的一行係數，並且在輸入下一行的時候，將已經存儲在其中的一行 係數轉移到級別1緩存器12-1。級別1緩存器12存儲從級別1緩存 器12-2所轉移來的這一行係數。注意，對於級別l緩存器12-1， 已經存儲在其中的 一行係數在輸入下 一行的時候被覆寫。級別2緩存器13由級別2緩存器13 — 1和級別2緩存器13-2 配置，其中存儲從水平分析濾波器單元19輸入以及從垂直分析濾波 器單元18讀出的一行係數。也就是說，級別2緩存器13-3存儲從水平分析濾波器單元19 所讀出的一行係數，並且在輸入下一行的時候，將已經存儲在其中的 一行係數轉移到級別2緩存器13 — 2。級別2緩存器13-2存儲從級 別2緩存器13-3所讀出的一行係數，並在輸入下一行的時候，將已 經存儲在其中的一行係數轉移到級別2緩存器13-1。級別2緩存器 13-1存儲從級別2緩存器13-2轉移來的一行係數。注意，對於級 別2緩存器13-1，已經存儲在其中的一行係數在輸入下一行的時候 被覆寫。 f
級別3緩存器14由級別3緩存器14 — 1和級別3緩存器14 - 3 配置，其中存儲從水平分析濾波器單元19輸入以及從垂直分析濾波 器單元18讀出的一行係數。也就是說，級別3緩存器14-3存儲來自水平分析濾波器單元 19的一行係數，並且在輸入下一行的時候，將已經存儲在其中的一行 係數轉移到級別3緩存器14 — 2。級別3緩存器14-2存儲從級別3 緩存器14-3讀出的一行係數，並在輸入下一行的時候，將已經存儲 在其中的一行係數轉移到級別3緩存器14-1。級別3緩存器14-l 存儲從級別3緩存器14-2轉移的一行係數。注意，對於級別3緩存 器14 - 1 ，已經存儲在其中的一行係數在輸入下一行的時候被覆寫。級別4緩存器15由級別4緩存器15 — 1到級別4緩存器15 - 3 配置，其中存儲從水平分析濾波器單元19輸入以及從垂直分析濾波 器單元18讀出的一行係數。也就是說，級別4緩存器15-3存儲從水平分析濾波器單元19 讀出的一行係數，並且在輸入下一行的時候，將已經存儲在其中的一 行係數轉移到級別4緩存器15 — 2。級別4緩存器15-2存儲從水平 分析濾波器單元11讀出的一行係數，並在輸入下一行的時候，將已 經存儲在其中的一行係數轉移到級別4緩存器15-1。級別4緩存器 15存儲從級別4緩存器15-2轉移的一行係數。注意，對於級別4緩 存器15 - 1 ，已經存儲在其中的 一行係數在輸入下一行的時候被覆寫。將詳細闡述這些緩存器配置。如上參考圖9所述，9x7小波變換 濾波器的提升格式被用於垂直分析濾波，因此需要能夠存儲三行係數 的緩存器(例如級別2緩存器13 — 1到級別2緩存器13 - 3 )作為相 應分級的緩存器。但是，應當注意，級別l緩存器12可以採取這樣的配置，其中 第一行不被累積在緩存器中，而是水平方向分析濾波的結果立即被輸 出至垂直分析濾波器單元18，因此對於兩行，級別1緩存器12-1和 級別l緩存器12-2就足夠了。而且，例如為了在圖9中的Pl和P2獲得係數，所有行(中所用 的係數對於下一垂直提升計算處的垂直提升計算都是必需的。因此， 如上所述，在相應級別的緩存器裡，存儲在用於一行係數的緩存器中 的係數被連續地轉移至用於相鄰行的係數的緩存器。如上所述，對於每個級別的緩存器，存儲三行係數(對於級別1緩存器12，兩行的係數)就足夠了。因此，例如對於其中輸入圖像的 解析度為1920x1080 (也被稱為"全規格HDTV ( full-spec HDTV )") 的情況，對於每個級別的緩存器所必需的存儲容量可以如下地計算。 注意，下面中，N表示係數的位精度(bit precision)(例如16)。(1) 級別l緩存器12的情況級別1緩存器12 — 1所必需的存儲容量=1920xN位 級別1緩存器12-2所必需的存儲容量=1920xN位(2) 級別2緩存器13的情況級別2緩存器13 — 1所必需的存儲容量=960xN位 級別2緩存器13-2所必需的存儲容量=960xN位 級別2緩存器13-3所必需的存儲容量=960xN位(3) 級別3緩存器14的情況級別3緩存器14 — 1所必需的存儲容量=480xN位 級別3緩存器14-2所必需的存儲容量=480xN位 級別3緩存器14-3所必需的存儲容量=480xN位(4) 級別4緩存器15的情況級別4緩存器15 - 1所必需的存儲容量=240xN位 級別4緩存器15-2所必需的存儲容量=240xN位 級別4緩存器15-3所必需的存儲容量=240xN位 現在利用N-16和12位的原始圖像的位精度計算得到 原始圖l象的數據量=1920x1080x12位=24，883，200位 上述數據容量總和=(1920x2 + 960x3 + 480x3 + 240x3 ) xl6位 =142,080位因此，142，080/24，883，200-0.0057，大約為1/175。 從上面可以看出，具有遠小於(1/175)原始圖像的數據尺寸的 存儲容量的緩存器對於每個級別的緩存器來說是足夠的，因此可以將級別1緩存器12到級別4緩存器15配置為小波變換設備1的內部存 儲器，而無需使用外部存儲器。圖ll說明圖1所示係數緩存器17的配置示例，其中存儲在垂直 分析濾波處理中所產生的一部分係數。係數緩存器17由級別1緩存器31 — 1到31 — 3、級別2緩存器 32 — 1到32 — 3、級另'J 3緩存器33 — 1到33 — 3、級另'J 4緩存器34 — 1 到34-3、和選擇器35-l到35-3配置，並且如前面參考圖9所述， 其中存儲在垂直提升處理過程中所產生的三個中間計算係數(即對於 下一垂直提升處理所必需的三個係數)。級別1緩存器31 - 1到31 - 3存儲在級別1垂直提升計算處理中 所產生的相應三個係數。級別2緩存器32 - 1到32 - 3存儲在級別2 垂直提升計算處理中所產生的相應三個係數。級別3緩存器33-l到 33-3存儲在級別3垂直提升計算處理中所產生的相應三個係數。級 別4緩存器34 - 1到34 - 3存儲在級別4垂直提升計算處理中所產生 的相應係數。在垂直分析濾波器單元18的控制下，選擇器35 - 1從級別1緩 存器31 — 1、級別2緩存器32-1、級別3緩存器33 — 1和級別4緩 存器34-l中選擇相應分級的緩存器，並從所選擇的緩存器中讀出相 應分級的係數。在垂直分析濾波器單元18的控制下，選擇器35-2從級別1緩 存器31 - 2、級別2緩存器32 — 2、級別3緩存器33-2和級別4緩 存器34-2中選擇相應分級的緩存器，並從所選擇的緩存器中讀出相 應分級的係數。在垂直分析濾波器單元18的控制下，選擇器35-3從級別1緩 存器31 — 3、級別2緩存器32 一 3、級別3緩存器33-3和級別4緩 存器34-3中選擇相應分級的緩存器，並從所選擇的緩存器中讀出相 應分級的係數。來自選擇器35 - 1到35 - 3的三個係數被輸入至垂直分析濾波器
單元18作為係數D18。注意，圖9的上半部分中，由點劃線表示的存儲在第二垂直提升 計算中的三個係數不同於圖9下半部分中由點劃線表示的存儲在第三 垂直提升計算中的三個係數。因此，不需要如圖10中每個級別的緩 存器那樣轉移係數，並且構成係數緩存器17的緩存器使得新係數被 簡單地覆寫在過去的係數上。如上所述，不需要在係數緩存器17中對每個級別存儲任何多於 三個的係數，並且因此係數緩存器17可以被配備以相對小的存儲器。 注意，如上所述，每個級別的緩存器可以被配備以相對小的存儲容量。 因此，級別1緩存器12到級別4緩存器15以及係數緩存器17可以 被配置為小波變換設備l的內部存儲器，而不使用外部存儲器。因而，不需要在外部配置存儲器，從而不需要與外部存儲器交換 數據，並且可以高速執行小波變換。進而，不需要提高時鐘頻率，以 便提高外部存儲器和小波變換設備之間的數據速度，從而節約電能。現在，雖然上面已經使用普通圖像信號描述了圖1所示的小波變 換設備l的配置和操作；下面，將描述的情況中，作為運動圖像的視 頻信號被輸入至小波變換設備1。視頻信號通常由標準進行規定，並且在日本、美國和其它一些國 家中通常所使用的電視廣播信號是NTSC (國家電視標準委員會)信 號。而且，HDTV信號由美國標準實體SMPTE (運動圖像和電視工 程師協會The Society of Motion Picture and Television Engineers ) 在被稱為SMPTE274M的標準下標準化。這裡針對HDTV信號(分 辨率為1920x1080)進行描述。圖12說明HDTV視頻信號數據的分量。在視頻信號中，亮度分 量Y的實樣本數據(real sample data )的數量是每行1920個樣本， 其中EAV (有效視頻的結束Endof Active Video) 、 SAV (有效視 頻的開始Startof Active Video)位於Y實樣本數據之前。它們由總 共280個樣本構成。該配置同樣適用於差分量Cb和Cr，但是格式 (format)為4: 2: 2，其中每個Cb和Cr的實樣本數據的數量是Y
的一半，因此Cb和Cr的總和與Y相等。Y與Cb、 Cr的復用(multiplexing )產生總共560個用於EAV 和SAV的樣本的數據，以及用於Y、 Cb和Cr的總共3840的樣本的 數據。因此，在向小波變換設備1輸入HDTVSMPTE274M標準(通 常被稱為"HD-SDI (高清晰度串行數據接口 High Definition Serial Data Interface)標準")視頻信號的情況下，圖1所示示例中的圖像 信號D10是復用的樣本數據。下面將假設這樣的情況而進行闡述。在視頻信號作為圖像信號被輸入到小波變換設備1的情況下，以 每秒輸入60個欄位或每個畫面以1/60秒輸入來輸入視頻信號，所以 前面參照圖2所述的小波變換必須在這個短的時間內完成。也就是說， 必須高速完成小波變換。解決它的方法之一是在水平分析濾波器單元11輸入視頻信號 (圖4象信號D10)，並在水平方向的列數(樣本數量)達到預定數量 時立即執行水平方向低頻帶分析濾波和高頻帶分析濾波。例如，水平分析濾波器單元11待機，直到M列圖像信號D10 被輸入並呈現給未示出的內置存儲器。M的值對應於水平分析濾波的 分支的數量，並且分支數量越大，M的值越大。在M列圖像信號累積在內置存儲器中時，水平分析濾波器單元 11立即執行水平分析濾波。也就是說，水平分析濾波器單元11連續 地從內置存儲器讀出M列(例如圖3的情況下M-3)，並且執行水 平方向低頻帶分析濾波和高頻帶分析濾波。作為水平分析濾波結果的 低頻帶分量和高頻帶分量被交錯，並被存儲在級別1緩存器12中。 在行數達到N行時，存儲在級別1緩存器12中的低頻帶分量和高頻 帶分量被讀出並輸入至垂直分析濾波器單元18。在N (例如圖4的情況下N = 3 )行的低頻帶分量和高頻帶分量 被累積的時候，垂直分析濾波器單元18立即執行垂直方向低頻帶分 析濾波和高頻帶分析濾波。N的值對應於垂直分析濾波的分支數量， 並且因此分支數量越大，N的值越大。如圖13和14所示，作為垂直 分析濾波的結果，該垂直分析濾波產生低頻帶分量(ILL) D19和高
頻帶分量(1HL、 1LH、 1HH) D23。在垂直分析濾波之後，當在內部存儲器中，低頻帶分量D19被 累積到支持水平方向分析濾波的列數時，水平分析濾波器單元19立 即執行分級2水平分析濾波。以此方式重複分析低頻帶分量的原因是 圖像信號的大部分能量集中在低頻帶分量中。也就是說，水平分析濾波器單元19連續從內部存儲器讀出M列， 並執行水平方向低頻帶分析濾波和高頻帶分析濾波，如分級2水平分 析濾波。作為水平分析濾波結果的低頻帶分量和高頻帶分量被交錯， 並被存儲在級別2緩存器13中。在N/2行低頻帶分量和高頻帶分量被累積在級別2緩存器13中 的時候，垂直分析濾波器單元18立即執行垂直方向低頻帶分析濾波 和高頻帶分析濾波，如圖14所示。如圖15所示，該垂直分析濾波產 生低頻帶分量(2LL)和高頻帶分量(2HL、 2LH、 2HH)。也就是 說，在圖15所示的示例中，分級l的頻率分量被劃分為四個頻率分 量2IX、 2HL、 2LH和2HH。如上所述，被重複執行直到預定分級的小波變換被重複執行，而 隨後輸入視頻信號至視頻信號一個畫面結束，從而一個圖像被帶劃分 到預定分級。在進一步增加分級數量的情況下，可以對低頻帶分量重複執行分 析濾波。圖16是說明實際圖像已經被分析濾波劃分至分級3的示例 的示圖，其中N = 4。也就是說，對於該圖像，在分級l垂直分析濾波中，只要泉積四 行頻率分量，就執行垂直分析濾波；在分級2垂直分析濾波中，只要 累積兩行頻率分量，就執行垂直分析濾波；在分級3垂直分析濾波中， 只要累積一行頻率分量，就執行垂直分析濾波；從而可以理解已經執 行劃分至分級3。如上所述，只要累積預定數量的列或預定數量的行的頻率分量， 就執行分析濾波，所以可以有效執行一個畫面的視頻畫面的分析濾 波。也就是說，可以高速執行小波變換。
而且，為整個屏幕的所有行的級中多次執行用於獲得至少一行低 頻帶分量的係數數據的分析濾波就使得能夠在其中例如編碼和轉移 以及解碼後小波變換頻率分量的系統中以很小的延遲獲得被解碼圖像，如下面參考圖27所述。而且，在構成視頻信號的畫面(欄位或幀)的遞增中執行上述對 視頻信號所執行的分析濾波，所以需要檢測畫面的結束，並停止和重 設分析濾波操作。在此情況下，雖然將忽略圖中的說明，但是小波變 換設備1被配置為具有內置的垂直同步信號檢測單元，用於檢測視頻 信號中的垂直同步信號，例如在水平分析濾波器單元11的上遊。圖17是SMPTE274M標準交錯信號的信號分布圖。上半部分示 出第一欄位，下半部分示出第二欄位。在第一欄位的前面有22行垂 直同步信號，在第二欄位的前面有23行垂直同步信號。因此，小波變換設備l具有用於檢測視頻信號中垂直同步信號的 垂直同步信號檢測單元，例如內置在水平分析濾波器單元11的上遊， 並利用內置的垂直同步信號檢測單元檢測垂直同步信號。因此，可以容易地檢測畫面的結束，並可以在檢測後停止分析濾 波操作。也就是說，可以在構成視頻信號的畫面(欄位或幀)的遞增 中執行對視頻信號的分析濾波。圖18是說明對應於圖l所示小波變換設備的小波逆變換設備的 一個實施例的配置示例的示圖。小波逆變換設備51是帶合成設備， 其接受通過圖像信號被圖1所示小波變換設備l進行小波變換並被分 成預定級別(在圖18所示的情況下，分級4)而獲得的頻率分量。當 然，如果小波變換分級數量不同，則對應於分級數量執行小波逆變換。圖18所示的小波逆變換設備51由級別3緩存器61、級別2緩 存器62、級別1緩存器63、選擇器64、垂直合成濾波器單元65、系 數緩存器66、水平合成濾波器單元67、選擇器68和控制單元69配 置。也就是說，小波逆變換設備51具有對於除最低頻帶級別(分級4 ) 之外的每個級別獨立的緩存器(級別3緩存器61到級別1緩存器63 )。分級4低頻帶分量係數(4LL) D61和高頻帶分量係數(4HL、
4LH、 4HH) D62被從未示出的外部(例如從圖27所示的數字解碼 單元313，下面將對其闡述)輸入到選擇器64。分級3高頻帶分量系 數(3HL、 3LH、 3HH) D63被輸入到級別3緩存器61。分級2高頻 帶分量係數(2HL、 2LH、 2HH) D64被輸入到級別2緩存器62。分 級l高頻帶分量係數(1HL、 1LH、 1HH) D65被輸入到級別1緩存 器63。對於分級4的垂直合成濾波結果，級別3緩存器61存儲和保存 作為水平合成濾波結果而獲得的分級3低頻帶分量的係數(3LL )D74 ， 以及外部獲得的分級3高頻帶分量係數(3HL、 3LH、 3HH) D63。 分級3低頻帶分量係數(3LL) D74和分級3高頻帶分量係數(3HL、 3LH、 3HH) D63在級別3緩存器61被復用，並被從級別3緩存器 61輸出作為分級3頻率分量係數(3HL、 3HL， 3LH、 3HH)D66。對於分級3的垂直合成濾波結果，級別2緩存器62存儲和保存 作為水平合成濾波結果而獲得的分級2低頻帶分量的係數(2LL )D75 ， 以及外部獲得的分級2高頻帶分量係數(2HL、 2LH、 2HH) D64。 分級2低頻帶分量係數(2LL ) D75和分級2高頻帶分量係數(2HL、 2LH、 2HH ) D64在級別2緩存器62被復用，並從級別2緩存器62 輸出作為分級2頻率分量係數(2HL、 2HL， 2LH、 2HH)D67。對於分級2的垂直合成濾波結果，級別1緩存器63存儲和保存 作為水平合成濾波結果而獲得的分級1低頻帶分量的係數(ILL )D76, 以及外部獲得的分級1高頻帶分量係數(1HL、 1LH、 1HH) D65。 分級l低頻帶分量係數(ILL) D76和分級l高頻帶分量係數(1HL、 1LH、 1HH) D64在級別1緩存器63被復用，並從級別1緩存器63 輸出作為分級l頻率分量係數(ILL, 1HL、 1LH、 1HH) D68。注意，級別3緩存器61到級別1緩存器63與圖15所示的級別 2緩存器13到級別4緩存器15的配置基本相同。也就是說，如前面 參考圖10所述，對應於待處理的級別，級別3緩存器61到級別1緩 存器63中每一個由用於存儲由垂直分析濾波器單元18所讀出的一行 係數的三個緩存器配置。
在垂直合成濾波器單元65的控制下，選擇器64從外部資源以及 從級別3緩存器61到級別1緩存器63中選擇外部資源或相應分級緩 存器的輸出，並將所選擇的輸出輸出至垂直合成濾波器單元65作為 係數D69。垂直合成濾波器單元65經由選擇器64從外部資源或相應分級緩 存器讀出頻率分量係數，讀出存儲在係數緩存器66中的中間計算系 數D70，利用來自選擇器64的係數D69和係數D70執行垂直合成濾 波，並在執行垂直合成濾波的同時將在垂直合成濾波期間所中間產生 的係數的一部分(對於下一計算過程所必需的係數)存儲在係數緩存 器66中作為中間計算係數D71。係數緩存器66存儲和保存在垂直合成濾波期間所中間產生的部 分係數。也就是說，在垂直合成濾波器單元65所執行的垂直合成濾 波期間所中間產生的係數中，係數緩存器66存儲和保存對於下一垂 直合成濾波處理所必需的係數作為中間計算係數。它們由垂直合成濾 波器單元65在下一垂直合成濾波時被讀出。注意，例如，係數緩存器66與第 一 係數緩存器17配置基本相同。 也就是說，如參考圖ll所述，係數緩存器66由用於存儲在每個級別 的垂直提升計算處理中所產生的三個中間計算係數的三個緩存器配 置。水平合成濾波器單元67在水平方向對作為垂直合成濾波結果而 產生的係數D72執行水平合成濾波排列。因此，以從圖像頂行開始的 順序產生低頻帶分量行，並將所產生的低頻帶分量(或圖像)D73輸 出至選擇器68。在水平合成濾波器單元67的控制下，如果進行至下一分級，則 選擇器68向對應於下一分級的級別的緩存器側輸出低頻帶分量D74 到D76之一，以存儲在對應於下一分級的級別的緩存器中，並且如果 小波逆變換已經完成最後一級(即作為小波變換中初始分級的分級 1)，則基帶圖像D77被向外輸出。控制單元69由例如包括CPU、 ROM和RAM的微計算機等配
置，並通過執行各種程序來控制小波逆變換設備51的單元的處理。下面，將參考圖19中的流程圖描述圖18所示的小波逆變換設備 51的操作。也就是說，圖19說明由小波逆變換設備51所執行的小波 逆變換處理，其中從具有最小解析度的低頻帶分量開始按順序向高頻 帶分量地執行處理逆變換的小波逆變換。根據分級，這以級別4、級 別3、級別2和級別1的順序被實現。在步驟S61，選擇器64外部地輸入分級4低頻帶分量係數(4LL ) D61和高頻帶分量係數(4HL、 4LH、 4HH) D62。然後，在垂直合 成濾波器單元65的控制下，選擇器64選擇來自外部資源的輸出，並 將所選擇的輸出(低頻帶分量係數(4LL) D61和高頻帶分量係數 (4HL、 4LH、 4HH) D62)作為頻率分量係數D69輸出至垂直合成 濾波器單元65。在步驟S62，垂直合成濾波器單元65讀出在前一用於獲得頻率 分量的處理中存儲在係數緩存器66中的中間計算係數D70。注意， 這些係數已經在前面的垂直合成濾波處理中產生，並在前面的步驟 S65中被存儲。在步驟S63,垂直合成濾波器單元65使用頻率分量係數D69並 讀出係數D70以執行分級4垂直合成濾波。下面將參考圖21描述該 垂直合成濾波的細節。在步驟S64，垂直合成濾波器單元65將在垂直合成濾波期間所 中間產生的係數的一部分(即中間計算係數)D71存儲在係數緩存器 66中。而且，作為垂直合成濾波結果而產生的係數D72被輸入至水 平合成濾波器單元67。在步驟S65,水平合成濾波器單元67在水平方向對作為垂直合 成濾波結果而產生的係數D72執行水平合成濾波排列，並執行分級4 水平合成濾波。下面將參考圖22描述該水平合成濾波的細節。在水 平合成濾波期間所中間產生的係數的一部分被存儲在未示出的內置 觸發器中。由於水平合成濾波，完成分級4低頻帶和高頻帶分量的小波逆變 換，從而產生分級3低頻帶分量係數(3LL) D73。在步驟S66,控制單元69確定小波逆變換是否已經進行至作為 小波變換的初始級別(即小波逆變換的最後一級)的分級1，並且如 果確定分級1未結束，則處理前進至步驟S67。在步驟S67，控制單元69控制選擇器68，以選擇至級別3緩存 器61的輸出，並將作為水平合成濾波結果而獲得的分級3低頻帶分 量係數(3LL) D73作為低頻帶分量係數(3LL) D74存儲在相應級 別緩存器中(此情況為級別3緩存器61)。在步驟S68，控制單元69將分級3高頻帶分量係數(3HL、 3LH、 3HH)從外部資源轉移至級別3緩存器61，以將其存儲。在步驟S69,垂直合成濾波器單元65控制選擇器64，以選擇來 自級別3緩存器61的輸出，從而從級別3緩存器61讀出頻率分量系 數D66，並且已經讀出的頻率分量係數被輸入作為頻率分量係數D65 。也就是說，在級別3緩存器61，分級3低頻帶分量係數(3LL) D74和分級3高頻帶分量係數(3HL、 3LH、 3HH ) D63被復用，並 作為分級3頻率分量係數(3HL、 3HL， 3LH、 3HH ) D66被從級別 3緩存器61輸出。因此，分級3頻率分量係數(3HL、 3HL， 3LH、 3HH) D66作為來自選擇器64的頻率分量係數D69被輸出至垂直合 成濾波器單元65。然後，處理返回至步驟S62，並重複後續處理。也就是說，在步 驟S62，從係數緩存器66讀出係數，在步驟S63執行分級3垂直合成 濾波。在步驟S64，計算過程中所獲得的係數被存儲在係數緩存器66 中，並在步驟S65中，執行分級3水平合成濾波，並產生分級2低頻 帶分量(2LL )。在此情況下，在步驟S66，確定分級l還未結束，因此作為水平 合成濾波結果而獲得的分級2低頻帶分量(2LL) D75被存儲在相應 級別緩存器中(此情況為級別2緩存器62)。以相同的方式，來自外 部資源的分級2高頻帶分量係數(2HL， 2LH, 2HH) D64被轉移到 級別2緩存器62。
此時，以與級別3緩存器61相同的方式，在級別2緩存器62， 分級2低頻帶分量係數(2LL ) D75和分級2高頻帶分量係數(2HL、 2LH、 2HH)D64被復用，並作為分級2頻率分量係數(2LL， 2HL、 2LH、 2HH ) D67從級別2緩存器62輸出。執行上述一連串的處理，直到分級1頻率分量被存儲在級別1 緩存器63中並被讀出。然後，在步驟S62,從係數緩存器66讀出系 數，並在步驟S63執行分級1垂直合成濾波。在步驟S64,在計算過 程中所獲得的係數被存儲在係數緩存器66中，並在步驟S65中，執 行分級1水平合成濾波，並從而產生其中已經對分級1進行合成濾波 的基帶圖像。在步驟S66，確定分級l已經結束。因此，流程進行至步驟S70，並且在步驟S70,經由選擇器68 向外(例如向鎖存器-圖25所示的逆量化單元162)輸出來自水平 合成濾波器單元67的基帶圖像D77。如上所述，圖18所示的小波逆變換設備51也被配置為能夠利用 內部存儲器負責除最低頻帶級別的每個分級的緩存器，因此可以在執 行水平合成濾波的同時將水平合成濾波結果存儲在每個分級的緩存 器中。因此，可以在從每個分級的緩存器讀出水平合成濾波結果的同 時，執行垂直合成濾波。也就是說，水平方向和垂直方向濾波可以被 同時並行執行。因此，可以對運動圖像以及具有高解析度的圖<象以高速執行小波變換。而且，通過圖18所示小波逆變換設備51，同用於除最低頻帶級 別的每個分級的緩存器一起還提供係數緩存器，並且當執行垂直方向 合成濾波時保存對於下一處理所必需的係數，並在下一垂直分析濾波 時讀出係數，因此不需要如已知裝置那樣設置外部存儲器。因此，不需要與外部存儲器交換數據，並可以以高速執行小波逆變換。接下來，將詳細闡述上述合成濾波的計算方法。可以對應於應用 以上參考圖6所述的提升技術的分析濾波，執行有效濾波，因此可以
以同樣方法將提升技術用於小波逆變換合成濾波。
圖20說明與JPEG 2000標準一起使用的9x7合成濾波器的提升 格式。將闡述將提升技術應用於該9x7合成濾波器的情況下的合成濾 波。
在圖20所示的示例中，第一層(最高層)是由小波變換所產生 的係數，其中實心圓圏代表高頻帶分量係數，實心方塊代表低頻帶分 量係數。笫二和第三層表示分別在步驟B1和步驟B2所產生的分量(系 數)。而且，第四層表示在步驟B3的處理中所產生的偶數分量輸出， 第五層表示在步驟B4的處理中所產生的奇數分量輸出。
通過將提升技術應用於9x7合成濾波器的合成濾波，通過步驟 B3的處理中獲得偶數編號的分量，並通過步驟B4的處理獲得奇數編 號的分量。步驟B1到步驟B4的處理可以由下列表達式表示。
步驟B1: Si"2-8(di +di2) (5)
步驟B2: a!1-di2國y (s，+Si+ ) (6)步驟B3: Si0= s卩-p (diY+di1) (7)
步驟B4: di°= d卩-a(Si°+si+1°) (8)
其中a=-1.586134342， p=-0.05298011857， ".8829110755，且 8=0.4435068520。
因此，通過應用提升技術的合成濾波，執行步驟Bl和步驟B2 的處理，在步驟B3產生偶數編號的分量係數，然後在步驟B4產生奇 數編號的分量係數。由表達式(5) — (8)可見，可以單獨以減法和 移位計算實現此時所使用的濾波器組。因此，可以顯著地減少計算量。
從而，如下面所述，該提升技術將通過小波逆變換設備51被應 用於水平合成濾波和垂直合成濾波。注意，只是所使用的表達式不同， 並且垂直合成濾波執行與參考圖9所述的垂直分析濾波基本相同的操 作，並且水平合成濾波執行與參考圖7所述的水平分析濾波基本相同 的操作。
首先，將詳細闡述由垂直合成濾波器單元65所執行的垂直合成 濾波。圖21說明以圖20所示的提升格式在垂直方向對係數組執行垂
直合成濾波的示例。
圖21所示的示例示出垂直方向係數經歷以上參考圖20所述的四 個步驟(步驟B1到步驟B4)的處理、由此產生奇數編號的分量係數 (後面也稱為"奇數編號係數")和偶數編號的分量係數(後面也稱為 "偶數編號係數")的示例，其中垂直提升步驟的方向在圖中是從左到 右。
而且，垂直方向中係數左邊示出的數字表示行的序數，其中左起 第一列的帶陰影的圓圏和方塊分別表示高頻帶輸入和低頻帶輸入，並 且後續列處的圓圏和方塊分別表示在提升計算處理中所產生的高頻 帶係數和低頻帶係數。特別地，實心圓圍和實心方塊分別代表作為提 升計算結果的奇數編號係數和偶數編號係數。
下面按照從左邊開始的順序描述操作。圖21的左側說明這樣一 種情況，其中垂直方向中的三行係數行4-6被輸入，並且執行垂直 方向上以提升格式的計算(此後稱之為"垂直提升計算")。注意，在 此情況下，最高層的偶數係數並不與奇數係數成對，因此省略對其的 描述。
為了在垂直提升計算的步驟B3中獲得第一偶數係數和在步驟 B4中獲得第一奇數係數，需要輸入0-5這6行的係數。
隨後，為了獲得第二偶數編號係數和奇數編號係數，需要由粗實 線所表示的三個係數和由被圏住的數字所表示的笫6和7行兩行的系 數，而且，為了在步驟B2計算由Ql表示的係數，由被團住的數字 所表示的第5行的係數也是必需的。
由粗實線所表示的三個係數是在用於獲得第一偶數係數和奇數
係數的垂直提升計算處理(此後也稱之為"第一垂直提升計算，，)中所 產生的一部分係數。
因此，為了獲得第二偶數編號係數和奇數編號係數，最終需要輸 入第5到7行三行的係數，並且將由粗實線所表示的、在為了獲得第 一偶數編號係數和奇數編號係數而執行的第 一垂直提升計算處理中 所產生的三個係數存儲在圖18中所示的係數緩存器66中。此時，為
每個級別，從圖18中相應級別緩存器讀出垂直方向中的三行係數。 也就是說，如果當前小波變換的分級為2，則從級別2緩存器62讀出 係數。
因此，使用由粗實線所表示的、已經在第一垂直提升計算中存儲 的三個係數以及已經從相應級別緩存器讀出的第5到7行三行的係數 執行垂直提升計算就產生四個係數(由粗虛線表示)，包括第二偶數 係數和奇數係數。其中，由點劃線所表示的三個係數是對於獲得第三 偶數係數和奇數係數所必需的係數，並且因此被存儲在係數緩存器66 中。
在圖21的右側示出了這樣一種情況的示例，其中在讀出第7行 的係數後，附加地輸入垂直方向中的兩行，即垂直方向中第7到第9 行三行的係數被輸入，並且執行垂直提升計算。
以與第二種情況相同的方式，為了獲得第三偶數係數和奇數系 數，需要由粗實線所表示的三個係數和由被圏住的數字所表示的第8 和9兩行的係數，而且，為了在步驟B2計算由Q2所表示的係數， 由被圏住的數字所表示的第7行的係數也是必需的。
注意，如圖的左半部分由點劃線所表示的那樣，右半部分中由粗 實線所表示的三個係數已經在第二垂直提升計算中被存儲在係數緩 存器66中。
因此，使用由粗實線所表示的、已經在第二垂直提升計算中被存 儲的三個係數以及已經從相應級別的緩存器讀出並輸入的第7到9行 三行的係數執行垂直提升計算就產生四個係數(由粗虛線表示)，包 括第三偶數係數和奇數係數。其中，由點劃線所表示的三個係數是對 於用於獲得第三偶數係數和奇數係數所必需的係數，並且因此被存儲 在係數緩存器66中。
因此，在連續輸入三行係數、並保存三個中間計算係數的同時執 行垂直提升計算至屏幕底行，從而完成垂直方向合成濾波。
接下來，將詳細描述由水平合成濾波器單元67所執行的水,合 成濾波。圖22說明在水平方向排列由垂直方向合成濾波所獲得的系
列、並以圖20所示的提升格式執行水平合成濾波的示例。
圖22所示的示例示出水平方向係數經歷以上參考圖20所述的四 個步驟(步驟B1到步驟B4)的處理、由此產生奇數編號分量係數和 偶數編號分量係數的示例，其中提升步驟的方向在圖中是從上到下。
而且，水平方向上係數上方所示出的數字是列的序數，其中頂部 第一層處帶陰影的圓圏和方塊分別表示高頻帶輸入和低頻帶輸入，後 續層處的圓團和方塊分別表示在提升計算處理中所產生的高頻帶系 數和低頻帶係數。特別地，實心圓圏和實心方塊分別表示作為提升計 算結果的奇數係數和偶數係數。
下面按照從頂部開始的順序描述操作。圖22中的上側說明這樣 一種情況，其中水平方向中笫5-7列三列的係數被輸入，並且水平 方向中以提升格式的計算(即"水平提升計算，，)被執行。注意，在此 情況下，最左側的偶數係數並不與奇數係數成對，因此省略對其的描 述。
為了在水平提升計算的步驟B3中獲得第一偶數係數和在步驟 B4中獲得第一奇數係數，需要輸入第0-5列6列係數。
隨後，為了獲得第二偶數係數和奇數係數，需要由粗實線所表示 的三個係數和由被圏住的數字所表示的第6和7列兩列的係數，而且， 為了在步驟B2中計算由Ql所表示的係數，由被團住的數字所表示 的第5列的係數也是必需的。
由粗實線所表示的三個係數是在用於獲得第一偶數係數和奇數 係數的水平提升計算處理(此後也稱之為"第一水平提升計算")中所 產生的係數的一部分。
也就是說，為了獲得第二偶數係數和奇數係數，最終需要輸入由 被圍住的數字所表示的第5到7列三列係數，並且鎖存由粗實線所表 示的、在第一水平提升計算處理中所產生的三個係數作為中間計算系 數。實際上，由於這不多於三個係數，可以將通常用作鎖存器的觸發 器內置到水平分析濾波器單元67中。
因此，使用由粗實線所表示的、已經在第一水平提升計算中鎖存200710129134.3
說明書第43/64頁
的三個係數以及已經被輸入的第5到7列三列係數執行水平提升計算 就在其計算處理結束時產生四個係數(由粗虛線表示)，包括第二偶 數係數和奇數係數。其中，由點劃線所表示的三個係數是對於獲得第 三偶數係數和奇數係數所必需的係數，並且因此在內置觸發器處被鎖 存為中間計算係數。
在圖22的下半部分中示出一種情況的示例，其中在輸入第7列 的係數後，水平方向中的兩列被附加地輸入，即水平方向中的第7到 第9列三列係數被輸入，並且執行水平提升計算。
以與笫二種情況相同的方式，為了獲得第三偶數係數和奇數系 數，需要由粗實線所表示的三個係數和由被團住的數字所表示的第8 和9兩列係數，而且，為了在步驟B2中計算由Q2所表示的係數， 由被團住的數字所表示的第7列的係數也是必需的。
注意，如圖的上半部分中由點劃線所表示的那樣，下半部分中由 粗實線所表示的三個係數已經在第二水平提升計算中被鎖存。
因此，使用由粗實線所表示的、已經在第二水平提升計算中鎖存 的三個係數以及已經重新被輸入的第7到9列三列係數執行水平提升 計算就產生四個係數(由粗虛線表示)，包括第三奇數係數和偶數系 數。其中，由點劃線所表示的三個係數是對於獲得笫四高頻帶係數和 低頻帶係數所必需的係數，並且因此在觸發器處被鎖存。
因此，在連續輸入三列係數、並保存三個中間計算係數的同時執 行水平提升計算至屏幕的最右側列，從而完成水平方向分析濾波。
如上所述，如前面參考圖IO所述，9x7小波變換濾波器的提升 格式被用於垂直合成濾波以及水平合成濾波，因此作為相應分級的緩 存器，能夠存儲三行係數的緩存器是必要的，並且為了獲得圖21中 的Ql和Q2,已經用於垂直提升計算的行的係數對於下一垂直提升計 算是必要的。
因此，如上所述，在相應級別的緩存器中，存儲在用於一行係數 的緩存器中的係數被連續轉移至用於相鄰行的係數的緩存器。也就是 說，圖18所示的級別3緩存器61到級別1緩存器63與圖10所示的
52
級別2緩存器13到級別4緩存器15的配置基本相同。
而且，在垂直合成濾波中，9x7小波變換濾波器的提升格式也被 用於圖18中的係數緩存器66，因此需要存儲在每個級別的垂直提升 計算過程中所產生的三個係數中的每一個。因此，圖18所示的係數 緩存器66與圖11所示的係數緩存器17的配置基本相同。
如上所述，圖18所示的級別3緩存器61到級別1緩存器63以 及係數緩存器66都可以被配備以相對小的存儲容量。因此，級別3 緩存器61到級別1緩存器63以及係數緩存器66可以被配置為圖18 所示的小波變換設備51的內部存儲器，而無需提供外部存儲器。
因而，不需要與外部存儲器交換數據，並且可以高速執行小波變 換。從而，不需要提高時鐘頻率，以便提高外部存儲器和小波變換設 備之間的數據速度，從而節約電能。
現在，雖然上面已經參考圖12-16描述了對作為運動圖像的視 頻信號執行小波變換的示例，但是在對構成視頻信號的畫面的遞增中 小波變換所產生(劃分)的頻率分量係數執行小波逆變換的情況下， 還需要以高速執行小波逆變換。
因此，如小波變換設備1中垂直分析濾波器單元18的情況，在 垂直方向上累積預定數量的頻率分量係數(即對於執行垂直合成濾波 所必需的那麼多)的時候，小波逆變換設備51的垂直合成濾波器單 元65也立即執行垂直方向合成濾波。
而且，如小波變換設備1中水平分析濾波器單元11的情況，在 水平方向累積預定數量的頻率分量係數(即對於執行水平合成濾波所 必要的那麼)的時候，小波逆變換設備51的水平合成濾波器單元67 也立即執行水平方向合成濾波。
如上所述，一旦在垂直方向和水平方向中累積了預定數量的頻率 分量係數，就執行合成濾波，因此可以有效地執行視頻信號的一個畫 面的合成濾波。也就是說，可以高速執行小波逆變換。
而且，上面已經參考圖17描述了這樣的情況，其中在利用圖1 所示的小波變換設備1對作為運動圖像的視頻信號執行小波變換時，
通過用於檢測視頻信號的垂直同步信號的設置，檢測畫面的結束。
在如圖17所示檢測到畫面的結束、並執行構成視頻信號的畫面 的遞增中小波變換所產生的頻率分量的小波逆變換的情況下，圖中未 示出的裝置被設置在小波逆變換設備51的選擇器68的下遊，作為用 於在由小波逆變換所產生的畫面信號之後插入視頻垂直同步信號的
垂直同步信號插入部分(即上述基帶圖像D77)。
也就是說，垂直同步信號插入部分被設置在小波逆變換設備51 的選擇器68的下遊，以便在畫面信號之後、即在來自選擇器68的基 帶圖像D77之後，插入視頻垂直同步信號，並且所產生的視頻信號被 向外輸出。
因此，對於後續畫面同樣連續插入視頻垂直同步信號就使得所產 生的視頻信號能夠被順序輸出。從而，可以再現運動圖像。
如上所述，對於根據本發明一個實施例的小波變換設備，為從級 別l到預定數量級別的每個分級提供緩存器，並且在執行水平分析濾 波的同時，水平分析濾波結果被存儲在每個分級緩存器中，因此可以 在從每個分級的緩存器讀出水平分析濾波結果的同時執行垂直方向 濾波。也就是說，水平方向和垂直方向濾波可以被同時並行執行。
因此，可以對運動圖像以及具有高解析度的圖像以高速執行小波變換.
而且，每種分析濾波被設置為通過提升(lifting)執行，因此用 於存儲水平分析濾波結果的每個級別的緩存器和用於存儲一部分中
間垂直分析濾波係數的係數緩存器可以被配備以小容量。因此，這些 緩存器可以被內置到小波變換設備中，並且因此不需要配置外部存儲 器。
因此，不需要與外部存儲器交換數據，並可以以高速執行小波變 換。從而，不需要提高時鐘頻率，以便提高外部存儲器和小波變換設 備之間的數據速度，從而節約電能。
另一方面，對於本發明一個實施例的小波逆變換設備，為除最低 級別之外的每個分級提供緩存器，並且在執行水平合成濾波的同時，
水平合成濾波結果被存儲在每個分級緩存器中，因此可以在從每個分 級的緩存器讀出水平合成濾波結果的同時執行垂直方向濾波。也就是 說，水平方向和垂直方向濾波可以被同時並行執行。
因此，可以對運動圖像以及具有高解析度的圖像以高速執行小波變換。
而且，每種合成濾波被設置為通過提升執行，因此用於存儲水平 合成濾波結果的每個級別的緩存器和用於存儲一部分中間垂直合成 濾波係數的係數緩存器可以被配備以小容量。因此，這些緩存器可以 被內置在小波逆變換設備中，並且因此不需要配置外部存儲器。
因此，不需要與外部存儲器交換數據，並可以以高速執行小波變 換。從而，不需要提高時鐘頻率，以便提高外部存儲器和小波變換設 備之間的數據速度，從而節約電能。
而且，通過根據本發明 一個實施例的小波變換設備和小波逆變換 設備， 一旦累積預定數量的頻率分量係數，就執行分析濾波和合成濾 波，因此可以有效地執行分析濾波和合成濾波。也就是說，可以高速
執行小波變換和小波逆變換，以便能夠處理以每秒60位元組輸入(即 每個畫面以1/60秒被輸入)的視頻信號的小波變換和小波逆變換。
因此，在下面描述的包括使用小波變換的編碼處理和使用小波逆 變換的解碼處理的傳輸系統中支持每行並行處理，從而獲得幾乎沒有 延遲的解碼圖像。
而且，根據本發明一個實施例，垂直同步信號檢測裝置被提供給 小波變換設備，並且根據本發明一個實施例，垂直同步信號插入裝置 被提供給小波逆變換設備，因此可以在構成視頻信號的畫面(欄位或 幀)的遞增中對視頻信號執行分析濾波。
上述的本發明實施例涉及用於執行圖像或視頻信號的小波變換 的設備或方法，並且還涉及用於執行小波逆變換的設備或方法，其中 執行帶分(band divided)信息的合成濾波，以恢復為圖像或視頻信 號。對於這樣的設備或方法，可以想到多種應用。
也就是說，上面已經描述了執行圖像或視頻信號的小波變換以將
圖像信號和視頻信號分成多個頻率分量的小波變換設備1，以及用於 執行由小波變換設備1所產生的頻率分量的小波逆變換的小波逆變換
設備51，但是小波變換被廣泛用作圖像壓縮的預處理。因此，現在將 描述一種圖像編碼設備，用於執行由小波變換所產生的頻率分量(此 後也稱為"係數數據")的壓縮編碼，和一種用於將由圖像編碼設備壓 縮編碼的係數數據解碼的圖像解碼設備。
圖23是說明應用了本發明一個實施例的圖像編碼設備的一個實 施例的配置示例的示圖。利用該圖像編碼設備，根據本發明一個實施 例的小波變換被執行作為壓縮的預處理。
在圖23所示的示例中，圖像編碼設備101配置有小波變換單元 111、量化單元112、熵編碼單元113和比率控制單元(rate control unit) 114。
小波變換單元111與圖1所示的小波變換設備1的配置基本相 同。也就是說，小波變換單元111具有用於每個分級的獨立緩存器(級 別1緩存器12到級別4緩存器15 )、以及用於存儲通過垂直分析濾 波而中間產生的係數的係數緩存器17,其中在輸入視頻信號D110(等 同於圖像信號D10)累積到預定數量的列時，立即對視頻信號D110 執行水平分析濾波，並且作為水平分析濾波結果的係數數據(頻率分 量)被存儲在對應於每個級別的緩存器中。在作為水平分析濾波而結 果的係數數據累積到對應於每個級別的緩存器的預定數量的行時，利 用結果係數數據和係數緩存器17中的係數數據執行垂直分析濾波， 並且在垂直分析濾波期間所中間獲得的係數的一部分被存儲在係數 緩存器17中，垂直分析濾波結果被作為水平分析濾波的輸入，並且 重複該處理至預定分級，其中分析後係數數據Dill被提供給量化單 元112。
例如，通過分級2分析濾波，如圖16所示，對由分級l分析濾 波所產生的四行1LL執行小波變換，從而產生兩行2LL、 2HL、 2LH 和2HH。在分級3分析濾波，兩行2LL經歷小波變換，從而產生一 行3LL、 3HL、 3LH和3HH。在分級3是最後的分析濾波的情況下，
3LL是最低頻帶。
注意，如以上參考圖17所述，當輸入視頻信號時，在視頻信號 中檢測垂直同步信號(即畫面結束)就在畫面結束時停止分析濾波操 作，其中對每個畫面執行小波變換。
例如通過由量化步長大小(quantization st印size)來劃分，量 化單元112將由小波變換單元111所產生的係數數據Dill量化，從 而產生量化係數數據D112。
此時，量化單元112將所產生的一行最低頻帶頻率分量(圖16 中的情況為3LL )和對於產生這一行所必需的多行其它頻率分量所構 成的遞增作為行塊(line block)，並可以為每個這樣的行塊設定量化 步長大小。該行塊包括某圖像區域的所有頻率分量的係數(在圖16 中的情況下，3LL到1HH的十個頻率分量)，因此對每個行塊執行 量化就使得可以使用小波變換的特性，這是多解析度分析的優點。而 且，對於整個屏幕，只需要確定行塊的數量，從而減小了圖像編碼設 備101的負擔。
此外，圖像信號的能量通常集中在低頻帶分量上，並且低頻帶分 量上的劣化對於人眼視覺感知更明顯，因此，量化可以被有利地加權， 使得低頻帶分量子帶的量化步長大小最終更小。該加權將佔用相對更 大量的信息給低頻帶分量，從而提高圖像質量的整體印象。
熵編碼單元113對在量化單元112所產生的量化係數數據D112 執行源編碼，從而產生壓縮的編碼的碼流數據D113。至於源編碼， 可以使用JPEG或MPEG (運動圖像專家組)所使用的霍夫曼 (Huffman)編碼，或甚至是JPEG2000所採用的高效算術編碼。
現在，應用熵編碼的範圍(range)的係數是非常重要的問題， 直接與壓縮效率有關。例如，通過JPEG和MPEG方法，對8x8塊 上執行DCT (離散餘弦變換)，並且對所產生的64 DCT係數執行霍 夫曼編碼，從而壓縮信息。也就是說，64DCT係數是熵編碼的範圍。
利用小波變換單元lll，與對8x8塊執行的DCT不同，在行遞 增中執行小波變換，因此在熵編碼單元113，對於每個頻帶和每個頻
帶內的每P行獨立地執行源編碼。
P的最小值為一行，但是行數越小，需要的參考信息越少，從而 意味著存儲容量可以相應減少。反之，行越多，存在的信息量也就越 大，因此可以提高編碼效率。然而，在P超過頻帶內行塊的行數的情 況下，這將需要下一行塊的行。因此，處理將需要等待通過小波變換 和量化產生該行塊的量化係數數據，並且該等候時間將成為延遲時 間。
因此，如果期望減少延遲時間，則需要將P保存在行塊的行的
數量內。例如，對於圖16所示的情況，對於頻帶3LL、 3HL、 3LH 和3HH，行塊的行數為1，因此P-1。而且，對於子帶2HL、 2LH 和2HH，行塊的行數為2，因此P-1或2。
比率控制單元114執行對於目標比特率或壓縮率的最終匹配的 控制，並向外輸出比率控制後的編碼的碼流D114。例如，比率控制 單元114將控制信號D115傳輸至量化單元112，以便在提高比特率 的情況下減少量化步長大小，並在降低比特率的情況下增加量化步長 大小。
下面將參考圖24的流程圖描述圖23所示的圖像編碼設備101 的圖像編碼處理。
視頻信號D110從外部(例如從下面將描述的圖27所示的視頻 攝像機單元303)被輸入至小波變換單元111。在步驟Slll，小波變 換單元111對圖像信號D110執行小波變換處理。注意，該小波變換 處理是在行遞增中對於形成視頻信號D110的從其中檢測垂直同步信 號的每個畫面執行的處理，但是該處理通常與上面參考圖2所述的小 波變換處理相同，因此省略對其的描述。
通過步驟Slll的小波變換處理，在輸入視頻信號D110(等同於 圖像信號D10)累積到預定數量的列的時候，立即對視頻信號D110 執行水平分析濾波，並且作為水平分析濾波結果而獲得的係數數據 (頻率分量)被存儲在對應於每個級別的緩存器中。在作為水平分析 濾波結果而獲得的係數數據累積到對應於每個級別的緩存器的預定
數量的行時，利用結果的係數數據和係數緩存器17中的係數數據執 行垂直分析濾波，垂直分析濾波期間所中間產生的一部分係數被存儲 在係數緩存器17中，垂直分析濾波結果被作為水平分析濾波的輸入， 並且重複該處理至預定分級，其中分析後的係數數據Dill被提供給 量化單元112。
也就是說，如上面參考圖13至16所述，小波變換單元111在整 個屏幕的所有行的階段中多次執行濾波處理，從而可以獲得一行最低 頻帶的係數數據。
在步驟S112,例如通過由量化步長大小劃分，量化單元112將 由小波變換單元111所產生的係數數據Dill量化，從而產生量化系 數數據D112。
此時，量化單元112將由所產生的一行最低頻帶頻率分量(在圖 16中的情況下為3LL)和對於產生該一行所必需的多行其它頻率分量 而構成的遞增作為行塊，並為每個這樣的行塊設定量化步長大小。也 就是說，在累積預定數量的行後，量化單元112還為每個行塊立即執 行量化。
在步驟S113，熵編碼單元113對在量化單元112所產生的量化 係數數據D112執行熵編碼(源編碼)，並產生壓縮的編碼的碼流數 據D113。
現在，在小波變換單元lll，在行遞增中執行小波變換，因此熵 編碼單元113還為每個頻帶和每個頻帶內的每P行獨立地執行源編 碼。也就是說，在累積P行(在行塊中的行數之內)之後，熵編碼單 元113還為每個行塊立即執行源編碼。
在步驟S114，比率控制單元114執行比率控制(即對於目標比 特率或壓縮率的最終匹配的控制)，並向外輸出比率控制後編碼的碼 流D114。
如上所述，利用圖像編碼設備，在行遞增中執行小波變換，在行 塊遞增中執行量化，並對作為行塊中行數之內的數字的每P行執行源 編碼，並且向外輸出已經為每P行編碼的編碼碼流D114。
因此，例如在傳輸被信息編碼設備編碼的編碼數據的情況下，每 P行編碼的數據被連續傳輸，因此可以幾乎沒有延遲地在接收和解碼
編碼數據的圖像編碼設備處獲得解碼圖像(圖25中的圖像解碼設備 151)。
圖25是說明對應於圖像編碼設備的圖像解碼設備的一個實施例 的配置示例的示圖。
在圖25所示的示例中，圖像解碼設備151配置有熵解碼單元 161、逆量化單元162、和小波逆變換單元163。
熵解碼單元161對輸入的編碼碼流D160執行源解碼，並產生量 化係數數據D161。對於源解碼，對應於圖像編碼設備101所執行的 源編碼，可以採用霍夫曼編碼或甚至高效算術編碼。在已經在圖像編 碼設備101對於每P行獨立地執行源編碼的情況下，熵解碼單元161 還對於每個頻帶和對於每個頻帶內每P行獨立地執行源解碼。
通過以量化步長大小乘以量化係數數據D161,逆量化單元162 執行逆量化，從而產生係數數據D162。該量化步長大小通常在編碼 碼流等的首標中描述。注意，在如以上參考圖23所述，在圖像編碼 設備101為每個行塊設定量化步長大小的情況下，逆量化單元162相 應地為每個行塊設定逆量化步長大小，並執行逆量化。
小波逆變換單元163與圖18所示的小波逆變換設備51的配置基 本相同。也就是說，小波逆變換單元163具有用於每個分級的獨立緩 存器(級別3緩存器61到級別1緩存器63 )，以及用於存儲通過垂 直合成濾波而中間獲得的一部分係數的係數緩存器66，其中對係數數 據D162執行垂直合成濾波和水平合成濾波，在垂直分析濾波期間所 中間獲得的係數的一部分被存儲在係數緩存器66中，並且作為水平 合成濾波結果而獲得的係數數據被存儲在對應於每個級別的緩存器 中。在對應於每個級別的緩存器中係數數據累積到預定數量後，小波 逆變換設備163立即利用結果的係數數據和係數緩存器66中的係數 數據執行垂直合成濾波和水平合成濾波，其被重複至級別1，從而產 生基帶圖像。而且，小波逆變換設備163將垂直同步信號插入基帶圖
像中，以便產生視頻信號D163，並且視頻信號D163被向外輸出。 下面將參考圖26的流程圖描述圖25所示的圖像解碼設備151
的圖像解碼處理。
已經通過圖24所示的圖像編碼處理編碼的編碼碼流D160從外
部源(例如，從下面將描述的圖27所示的數字解碼單元313)被輸入
至熵解碼單元161。在步驟S161，熵解碼單元161執行輸入的編碼碼
流D160的熵解碼(源解碼)，從而產生量化係數數據D161。
此時，已經在圖像編碼設備101為每P行執行了源編碼，因此
熵解碼單元161也為每個頻帶，並為每個子帶內每P行獨立地執行源解碼。
通過用量化步長大小乘以量化係數數據D161，逆量化單元162 執行逆量化，從而產生係數數據D162。
在圖像編碼設備101為每個行塊設定量化步長大小，因此逆量化 單元162相應地為每個行塊設定逆量化步長大小，並執行逆量化。
在步驟S163,小波逆變換設備163對係數數據D162執行小波逆 變換處理。注意，該小波逆變換處理是在行遞增中執行的處理，其中 在產生圖像之後插入垂直同步信號，但是該處理通常與上面參考圖l9 所述的小波逆變換處理相同，因此省略對其的描述。
通過步驟S163的小波逆變換處理，對係數數據D162執行垂直 合成濾波和水平合成濾波，在垂直分析濾波期間所中間獲得的一部分 係數被存儲在係數緩存器66中，並且作為水平合成濾波結果而獲得 的係數數據被存儲在對應於每個級別的緩存器中，其中，在對應於每 個級別的緩存器中所存儲的係數數據累積到預定數量後，小波逆變換 設備163立即利用結果的係數數據和係數緩存器66中的係數數據執 行垂直合成濾波和水平合成濾波，其被重複至級別1，從而產生基帶 圖像。而且，小波逆變換設備163將垂直同步信號插入基帶圖像中， 以便產生視頻信號D163,並且視頻信號D163被向外輸出(例如輸出 到圖27所示的視頻攝像機單元303，後面將有所闡述)。
也就是說，圖像編碼設備101在行遞增中執行小波變換，因此以
相同的方式，圖像解碼設備163在行遞增中執行小波逆變換。如上所述，利用圖像解碼設備151，對於每P行對輸入的編碼碼流進行源解碼，在行塊的遞增中執行逆量化，並且在行的遞增中執行小波逆變換，從而產生基帶圖像。而且，垂直同步信號被插入基帶圖像中，以便產生向外輸出的視頻信號D163。也就是說，可以在行的預定遞增中並行操作小波逆變換處理。因此，在傳輸編碼數據的情況下，連續傳輸的編碼數據被每P行地解碼，並在行的遞增中被產生，因此可以幾乎沒有延遲地獲得解碼圖像。如上所述，可以在行的遞增中並行操作如圖23和25所示的圖像 編碼設備101和圖像解碼設備151中每一個的處理，從而可以幾乎沒 有延遲地執行圖像壓縮編碼和解碼處理。下面，將描述將參考圖23和25所述的圖像編碼設備101和圖像 解碼設備151應用於各種系統的示例。圖27說明可以應用根據本發明一個實施例的包括小波變換的圖 像編碼和包括小波逆變換的圖像解碼的數字三軸系統的配置示例。三軸系統是一種在電視廣播電臺、攝影場等中使用的系統。利用 這樣的系統，當在攝影場中記錄或從遠處位置直播時，連接視頻攝像 機和攝像機控制單元或開關的單個三軸線纜被用於傳輸多路信號，諸 如畫面信號、音頻信號、返回畫面信號(return picture signal)、同 步信號等，並提供電源。許多公知的三軸系統被設置為以模擬信號的方式傳輸上述信號。 另一方面，近些年來，整個系統變得數位化，並且因此用在電視廣播 電臺中的三軸系統也變得數位化。利用已知的數字三軸系統，在三軸線纜上傳輸的數字視頻信號已 經是未壓縮的視頻信號。原因在於所要求的關於信號延遲時間的規格 對於電視廣播電臺特別嚴格；基本上，例如要求從發射到監視器輸出 的延遲時間在一個欄位中(16.67毫秒)。諸如MPEG2和M;PEG4 的已經實現高壓縮比和高圖像質量的壓縮編碼系統還未被用在三軸 系統中，因為對於視頻信號壓縮和編碼以及解碼壓縮的視頻信號，需 要等於若干幀的時間，這意味著延遲時間巨大。根據本發明 一個實施例的包括小波變換的圖像編碼和包括小波逆變換的圖像解碼能夠如參考圖2和19所述那樣為水平濾波和垂直 濾波並行操作，並且還能夠由於在行遞增中執行操作而並行操作，如 圖24和26所示；因此，從圖像數據輸入到獲得輸出圖像的延遲時間 可被減少，使得可應用於數字三軸系統。圖27所示的數字三軸系統配置有經由三軸線纜(三同軸線纜) 301連接的傳輸單元300和攝像機控制單元302。被實際廣播或被用 作內容的從傳輸單元300到攝像機控制單元302的數字視頻信號和數 字音頻信號(此後稱為"主行信號")和從攝像機控制單元302到傳輸 單元300的對講(intercom)音頻信號和返回數字視頻信號在三軸線 纜301上傳輸。例如，傳輸單元300被內置到未示出的視頻攝像機設備中。當然， 可以進行其它設置，諸如傳輸單元300被連接至視頻攝像機設備作為 視頻攝像機設備的外部設備。例如，攝像機控制單元302可以是通常 稱為CCU (攝^4Mt制單元)的設備。數字音頻信號與本發明的本質關係不大，因此為了簡化說明書， 省略對其的描述。例如，視頻攝像機單元303被設置在未示出的視頻攝像機設備 中，並利用諸如CCD (電荷耦合裝置)的未示出的圖像採集設備對來 自已經經由包括透鏡、聚焦機構、縮放機構、光圏調節機構等的光學 系統350採集的對象的光執行感光(photoreception )。圖像採集設 備通過光電轉換將所接收的光轉換為電信號，並進一步執行預定的信 號處理，以便輸出基帶數字視頻信號。這些數字視頻信號例如被映射 到HD-SDI (高清晰度串行數據接口 )格式，並被輸出。用作監視器的顯示單元351和用於外部交換音頻的對講電話設 備352也連接至視頻攝像機單元303。傳輸單元300具有視頻信號編碼單元310和音頻信號解碼卑元 311、數字調製單元312和數字解調單元313、放大器314和315、以 及視頻分割/合成單元316。基帶數字視頻信號例如被映射到HD — SDI格式，並從視頻攝像 機單元303提供到傳輸單元300。數字視頻信號在視頻信號編碼單元 310處被壓縮和編碼，以便成為被提供給數字調製單元312的碼流。 數字調製單元312將所供給的碼流調製為適於在三軸線纜301上傳輸 的格式，並輸出。從數字調製單元312所輸出的信號經由放大器314 被提供到視頻分割/合成單元316。視頻分割/合成單元316將所供給的 信號發送至三軸線纜301。這些信號經由三軸線纜301在攝像機控制 單元302被接收。從攝像機控制單元302所輸出的信號經由三軸線纜301在傳輸單 元300被接收。所接收的信號被提供到視頻分割/合成單元316，並且 數字視頻信號部分和其它信號部分被分開。所接收的信號中，數字視 頻信號部分經由放大器315被提供給數字解調單元313，被調製為適 於在三軸線纜301上傳輸的格式的信號在攝像機控制單元302側被解調，並恢復碼流。碼流被提供到視頻數據解碼單元311，壓縮碼被解碼，並獲得基 帶數字視頻信號。解碼的數字視頻信號被映射到HD-SDI格式，並 被輸出，並作為返回數字視頻信號被提供給視頻攝像機單元3(U。返 回數字視頻信號被提供到連接至視頻攝像機單元303的顯示單元351,並用於攝像機操作者的監視。攝像機控制單元302具有視頻分割/合成單元320、放大器321 和322、前端單元323、數字解調單元324和數字調製單元325、以及 視頻信號解碼單元326和視頻信號編碼單元327。在攝像機控制單元302，經由三軸線纜301接收從傳輸單元300 所輸出的信號。所接收的信號被提供到視頻分割/合成單元320。視頻 分割/合成單元320將提供給它的信號經由放大器321和前端單元323 提供到數字解調單元324。注意，前端單元323具有用於調整輸入信 號增益的增益控制單元、用於對輸入信號執行預定濾波的濾逸器單元 等等。數字解調單元324在傳輸單元300側解調被調製為適於在三軸線 纜301上傳輸的格式的信號，並恢復碼流。碼流被提供到在其中解碼 壓縮編碼的視頻信號解碼單元326，以便獲得基帶數字視頻信號。解 碼的數字視頻信號被映射到HD-SDI格式並被輸出，並作為主行信 號向外輸出。返回數字視頻信號和數字音頻信號被向外提供到攝像機控制單 元302。數字音頻信號被提供到例如攝像機操作者的對講電話設備 352,以用於向攝像機操作者傳輸外部音頻指令。返回數字視頻信號被提供到視頻信號編碼單元327並被壓縮編 碼，並且被提供到數字調製單元325。數字調製單元325將所提供的 碼流調製為適於在三軸線纜301上傳輸的格式，並輸出。從數字調製 單元325所輸出的信號經由前端單元323和放大器322被提供到視頻 分割/合成單元320。視頻分割/合成單元320將這些信號與其它信號復 用，並發出至三軸線纜301。在傳輸單元300，信號經由三軸線纜301 被接收。在圖27所示的示例中，圖23中的圖像編碼設備IOI和圖25中 所示的圖像解碼設備151分別被應用於視頻信號編碼單元310和327、 以及視頻信號解碼單元311和326。也就是說，視頻信號編碼單元310 和327與圖23中的圖像編碼設備101的配置基本相同，視頻信號解 碼單元311和326與圖25中的圖像解碼設備151的配置基本相同。也就是說，在傳輸單元300側，視頻信號編碼單元310對提供給 其的數字視頻信號執行以上參考圖24所述的小波變換和熵編碼，並 輸入碼流。如上面參考圖13到16所述，在輸入對應於用於小波變換 的濾波器的分支數量並根據小波變換的分級的數量的行數時，視頻信 號編碼單元310開始小波變換。而且，如上面參考圖24和26所述， 當在圖像編碼設備和圖像解碼設備累積對於部件所必需的係數數據 後，由部件順序執行處理。在處理完到一個幀或一個欄位的底行時， 開始處理下一幀或欄位。
如上所述，通過圖23和25所示的圖像編碼設備101和圖像解碼 設備151，其部件並行執行處理，從而圖像編碼設備101和圖像解碼 設備151可以抑止視頻攝像機單元303從攝像機控制單元302所獲取 的畫面的輸出延遲、以及外部提供並從攝像機控制單元302傳輸至視 頻攝像機單元303的返回數字視頻信號的延遲，並因此有利地用於圖 27所示的數字三軸系統中。這也適用於從攝像機控制單元302側向傳輸單元300側傳輸返回 數字視頻信號。也就是說，視頻信號編碼單元327對外部供給的返回 數字視頻信號執行上述圖24中的小波變換和熵編碼，並輸出碼流。現在，存在多種情況，其中可以允許返回數字視頻信號具有比主 行信號的數字視頻信號低的圖像質量。在此情況下，可以降低在視頻 信號編碼單元327處編碼時的比特率。例如，視頻信號編碼單元327利用比率控制單元114執行控制， 使得熵編碼單元113處的熵編碼處理的比特率更低。而且，可以想到 這樣的設備，其中例如在攝像機控制單元302側，在視頻信號編碼單 元327處以小波變換單元111執行變換處理到更高分級，並在傳輸單 元300側，在更低分級停止視頻信號編碼單元311的小波逆變換單元 163處的小波逆變換。攝像機控制單元302的視頻信號編碼單元327 處的處理不限於本示例；可以想到其它各種處理，諸如將小波變換的 分級保持為低，以便減輕變換處理的負載。圖28說明可以應用根據本發明一個實施例的包括小波變換的圖 像編碼和包括小波逆變換的圖像解碼的無線傳輸系統的示例的配置。 也就是說，通過圖28所示的示例，無線地執行將在根據本發明一個 實施例的包括小波變換的圖像編碼設備處所編碼的編碼數據傳輸到 圖像解碼設備側。注意，在圖28的示例中，視頻信號從視頻攝像機或傳輸單元400 側(此後簡稱為"傳輸單元400")被單向地傳輸到接收設備401側。 可以為音頻信號和其它信號執行傳輸單元400和接收單元401之間的 雙向通信。
例如，傳輸單元400被內置到未示出的具有視頻攝像機單元402 的視頻攝像機設備中。當然，可以進行其它設置，例如，傳輸單元400備的外部設備。視頻攝像機單元402例如具有預定的光學系統、諸如CCD的圖 像釆集設備和用於將從圖像採集設備所輸出的信號作為數字視頻信 號輸出的信號處理單元。這些數字視頻信號例如被映射到HD-SDI 格式，並例如從視頻攝像機單元402被輸出。當然，從視頻攝像機單 元402所輸出的數字視頻信號不限於本示例，也可以有其它格式。傳輸單元400具有視頻信號編碼單元410、數字調製單元411和 無線模塊單元412。視頻信號編碼單元410與圖23所示的圖像編碼設 備IOI的配置基本相同。在傳輸單元400，基帶數字視頻信號例如被映射到HD - SDI格 式，並被輸出。在視頻信號編碼單元410，對數字視頻信號進行通過 以上參考圖24所述的熵編碼的壓縮編碼和小波變換，以成為被提供 到數字調製單元411的碼流。數字調製單元411將所供給的碼流數字 調製為適於無線通信的格式的信號，並輸出。而且，數字音頻信號和其它信號，諸如例如預定命令和數據，也 被提供到數字調製單元411。例如，視頻攝像機單元402具有麥克風， 由此將所收集的聲音轉換為音頻信號，而且音頻信號經歷A/D轉換， 並作為數字音頻信號輸出。此外，視頻攝像機單元402能夠輸出某些 命令和數據。命令和數據可以在視頻攝像機單元402內產生，或者視 頻攝像機單元402可以具有操作單元，其中響應於用戶在操作單元處 的操作而產生命令和數據。而且，可以進行這樣的設置，其中用於輸 入命令和數據的輸入設備被連接至視頻攝像機單元402。數字調製單元411對這些數字音頻信號和其它信號執行數字調 制，並輸出。從數字調製單元411所輸出的數字調製信號被提供到無 線模塊單元412，並作為無線電波(airwave)從天線413被無線傳輸。在從接收單元401側接收到ARQ (自動重傳請求)之後，無線模塊單元412將此ARQ通知給數字調製單元411，以便請求數據重 發。從天線413所傳輸的無線電波在接收設備401側的天線420處被 接收，並被提供到無線模塊單元412。接收設備401具有無線模塊單 元421、前端單元422、數字解調單元423和視頻信號解碼單元424。 視頻信號解碼單元424與圖25所示的圖像解碼設備151的配置基本 相同。無線模塊單元421基於所接收的無線電波將數字調製信號提供 到前端單元422。前端單元422執行預定信號處理，諸如對所供給的 數字調製信號的增益控制，並被提供到數字解調單元423。數字解調 單元423將所供給的數字調製信號解調，並恢復碼流。將在數字解調單元423處所恢復的碼流提供到視頻信號解碼單 元424，利用以上參考圖26所述的解碼方法解碼壓縮編碼，並獲得基 帶數字視頻信號。解碼的數字視頻信號被映射到例如HD — SDI格式， 並被輸出。數字解調單元423還被提供以在傳輸單元400側經過數字調製並 被傳輸的數字音頻信號和其它信號。數字解調單元423解調該信號， 其中這些數字音頻信號和其它信號已經經過數字調製，並恢復和輸出 數字音頻信號和其它信號。而且，根據預定方法，前端單元422對從無線模塊單元421所提 供的被接收信號執行錯誤檢測，並且在檢測到錯誤，例如已經接收錯 誤幀的情況下，輸出ARQ。 ARQ被提供到無線模塊單元421，並從 天線420傳輸。通過這樣的配置，傳輸單元400被內置到例如具有視頻攝像機單 元402的相對小尺寸的視頻攝像機設備中，監視器設備被連接至接收 設備401，並且從視頻信號解碼單元424所輸出的數字視頻信號被提 供到監視器設備。只要接收設備401處於從具有內置傳輸單元400的 視頻攝像機設備所傳輸的無線電波的無線電波範圍裡，就可以幾乎沒 有延遲地地，例如以一個欄位或一個幀內的延遲，在監視器設備上觀
看視頻攝像機設備所獲得的畫面。注意，在圖28所示的示例中，利用無線通信執行傳輸單元400 和接收設備401之間的通信，以便經由無線通信傳輸視頻信號，但是 該設置不限於本示例。例如，傳輸單元400和接收設備401可以經由 諸如網際網路的網絡連接。在此情況下，傳輸單元400側的無線模塊單 元412和接收設備401側的無線模塊單元421每個都是能夠利用IP (網際協議)通信的通信接口。對於圖28所示的無線傳輸系統，可以想到各種應用。例如，該 無線傳輸系統可以應用於視頻會議系統。 一個設置示例是將能夠進行 USB (通用串行總線)連接的簡單視頻攝像機設備連接至諸如個人計 算機的計算機設備，其中計算機設備側實現視頻信號編碼單元410和 視頻信號解碼單元424。在計算機設備處所實現的視頻信號編碼單元 410和視頻信號解碼單元424可以是硬體配置，或者可以由計算機設 備上運行的軟體實現。例如，每一個參與視頻會議的成員會配備有計算機設備和連接至 計算機設備的視頻攝像機設備，其中計算機設備通過纜線或無線網絡 連接至用於提供視頻會議系統業務的伺服器設備。從視頻攝像機設備 所輸出的視頻信號經由USB纜線被提供到計算機設備，並且在計算 機設備內的視頻信號編碼單元410處執行上面參考圖24所述的編碼 處理。經由網絡，計算機設備將其中視頻信號已經被編碼的碼流傳輸 至伺服器設備等。經由網絡，伺服器設備將所接收的碼流傳輸至每個參與成員的計 算機設備。該碼流在每個參與成員的計算機設備處被接收，並在上面 參考圖26所述的計算機設備內的視頻信號解碼單元424處經歷解碼 處理。從視頻信號解碼單元424所輸出的圖像數據作為畫面被顯示在 計算機設備的顯示單元上。也就是說，由其它參與成員的視頻攝像機設備所獲得的視頻逸面 被顯示在每個參與成員的計算機設備的顯示單元上。因此，將本發明 的一個實施例應用於無線傳輸系統就意味著從對由視頻攝像機設備
所獲得的視頻信號進行編碼到在其它參與成員的計算機設備處對其 解碼的延遲時間很短，因此可以減少被顯示在參與成員的計算機設備 的顯示單元上的其它參與成員的畫面延遲的不自然感。而且，可以想到這樣的設置，其中在視頻攝像機設備處安裝視頻信號編碼單元410。例如，傳輸單元400被內置到視頻攝像機設備中。 這樣的配置不再需要將視頻攝像機設備連接至諸如計算機設備等的 另一設備。除上述視頻會議系統之外，這樣的由內置有傳輸單元400的視頻 攝像機設備和接收設備401構成的系統可用於各種應用。例如，如圖 29所示意地示出的，該系統可用於家庭遊戲控制臺。在圖29中，圖 28中所示的傳輸單元400被內置到視頻攝像機設備500中。在家庭遊戲控制臺的主單元501中，總線例如連接CPU、 RAM、 ROM、與CD-ROM (壓縮光碟只讀存儲器)和DVD-ROM (數字多 用盤-ROM)兼容的盤驅動設備、用於將CPU所產生的顯示控制信號 轉換為視頻信號並輸出的圖形控制單元、用於播放音頻信號的音頻再 現單元等等，即具有與計算機i殳備基本類似的配置。CPU根據預先存儲在ROM中的程序或記錄在安裝到盤驅動設 備的CD-ROM或DVD-ROM中的程序全面控制家庭遊戲控制臺的主 單元501。 RAM被用作CPU的工作存儲器。家庭遊戲控制臺的主單 元501已經設置在接收設備401中。例如，從接收設備401所輸出的 數字視頻信號和其它信號經由總線被提供到CPU。可以說，通過這樣的系統，例如家庭遊戲控制臺的主單元501，像的二件。、例二，該遊戲軟^T能夠使^外;1斤提供的數字視頻信號形式的圖像作為遊戲中圖像，並且還識別圖像中人物(遊戲者)的運動， 並對應於所識別的運動執行操作。視頻攝像機設備500利用上面參考圖24所述的編碼方法在內置 傳輸單元400內的視頻信號編碼單元410處對數字視頻信號進行編 碼，由數字調製單元411調製碼流，並提供給無線模塊單元412，以
便從天線413傳輸。所傳輸的無線電波在內置到家庭遊戲控制臺的主 單元501中的接收設備401的天線420處被接收，所接收的信號經由 無線模塊單元421和前端單元422被提供到數字解調單元423。在數字解調單元423處，所接收的信號被解調為碼流，並被提供 到視頻信號解碼單元424。視頻信號解碼單元424利用上面參考圖26 所述的解碼方法對所供給的碼流解調，並輸出基帶數字視頻信號。從視頻信號解碼單元424所輸出的基帶數字視頻信號在家庭遊 戲控制臺的主單元501中的總線上被發送，並例如被臨時存儲在RAM 中。在根據預定程序讀出存儲在RAM中的數字視頻信號後，CPU可 以檢測數字視頻信號所提供的圖像內人的運動，並使用遊戲中的圖 像。由於從由視頻攝像機設備500拍攝圖像並且所獲得的數字視頻 信號被編碼到在家庭遊戲控制臺的主單元501處解碼碼流並在那裡獲 得圖像的延遲時間很短，所以在家庭遊戲控制臺的主單元501上運行 的遊戲軟體對於遊戲者的運動的響應度提高了，從而提高了遊戲的操 作性。注意，這樣的家庭遊戲控制臺所使用的視頻攝像機設備500由於 價格、尺寸等的限制而通常具有簡單的配置，並且必須假定具有高處 理性能和大容量存儲器的CPU可能是負擔不起的。因此，使用包括 根據本發明一個實施例的小波變換處理的編碼處理實現了利用小存 儲容量的操作，因為不需要大容量外部存儲器。而且，可以想到這樣 的設置，其中在內置到視頻攝像機設備500中的傳輸單元400的視頻 信號編碼單元410處以低分級執行小波變換。這進一步降低了對存儲 容量的要求。注意，上面已經將視頻攝像機設備500和家庭遊戲控制臺的主單 元501描述為由無線通信連接，但是該設置不限於此示例。也就是說， 視頻攝像機設備500和家庭遊戲控制臺的主單元501可以經由諸如 USB、 IEEE 1394等而通過纜線連接。已經通過實施例描述了本發明，由此可以看出，可以進行廣泛的應用，只要屬於用於執行圖像或視頻信號的小波變換的設備或方法， 以及用於執行對帶分析信息的合成濾波的小波逆變換以恢復圖像或 視頻信號的設備或方法。也就是說，本發明的實施例有利地應用於設備或系統，其中通過設置在小波變換下遊的編碼裝置，如圖23所示的圖像編碼設備101 那樣，圖像信號或視頻信號的圖像被壓縮、傳輸接收、解壓縮和輸出， 如上面參考圖27到29所述。本發明的實施例特別有利地是這樣的設 備或系統，其中要求從壓縮編碼到解碼和輸出圖像的短的延遲。另 一應用是在觀看例如利用視頻攝像機所拍攝的圖像的同時，使 用可遠程操作的裝置或設備的遠程醫療診斷和治療。另一個應用是在例如用在廣播電臺等中的系統中數字視頻信號 的壓縮編碼和傳輸，以及經過壓縮編碼的數字視頻信號的解碼。另 一個應用是用於發布現場報導視頻的系統。另一個應用是遠程教育系統，其中學生和教師可以交互通信。其它的應用包括但不局限於用於傳輸由具有圖像採集功能的運 動終端、諸如具有攝像機功能的手提電話所獲得的圖像數據的系統； 視頻會議系統；用於利用記錄器記錄由監視攝像機所採集的圖像的監 控系統；無線圖像傳輸系統；交互遊戲應用；等等。如圖29所示的情況那樣，在這些各種應用中的一系列處理可以 由硬體或由軟體實現。在由軟體實現這一系列處理的情況下，構成軟體的程序從程序記 錄介質被安裝在內置有專有硬體的計算機中或被安裝在例如能夠通 過安裝在其中的各種程序執行各種功能的通用計算機中。圖30是說明用於利用軟體程序執行上述一連串處理的個人電腦 701的配置示例的方框圖。CPU 711根據存儲在ROM 712或存儲單 元718中的程序執行各種程序。RAM 713存儲CPU 711所必須使用 的程序和數據。CPU 711、 ROM712和RAM713由總熟714互聯。輸入/輸出接口 715也經由總線714連接至CPU 711。連接至輸 入/輸出接口 715的是包括鍵盤、滑鼠、麥克風等的輸入單元716和包 括顯示器、揚聲器等的輸出單元717。 CPU 711響應於從輸入單元716 所輸入的命令執行各種處理。CPU 711將處理結果輸出至輸出單元 717,連接至輸入/輸出接口 715的存儲單元718被配置有例如硬碟， 並存儲CPU 711執行或使用的各種程序和數據。通信單元719經由諸 如網際網路、區域網等的網絡與外部設備通信。程序還可以經由通信單元719被獲得，並被存儲在存儲單元718中。連接至輸入/輸出接口 715的驅動器720驅動安裝到其的可拆卸 介質721，諸如磁碟、光碟、磁光碟、半導體存儲器等，以便獲得其 中記錄的程序或數據。所獲得的程序和數據必須被傳遞至存儲單元 718並被存儲。用於存儲以計算機可執行形式被安裝在計算機中的程序的程序 記錄介質包括作為包括磁碟(包括軟盤)、光碟(包括CD-ROM和 DVD)、磁光碟、半導體存儲器等的封裝介質的圖30所示的可拆卸 介質721，其中臨時或永久存儲程序的ROM712、構成存儲單元718 的硬碟等等。也可以經由用作與路由器、數據機等接口的通信單 元719，利用諸如區域網、網際網路、數字衛星廣播等的有線或無線通 信介質執行將程序存儲於程序記錄介質。雖然在本說明書中所描述的存儲在程序記錄介質中的程序的步 驟當然以所描述的時間順序執行，但是並不局限於該時間順序，而是 可以並行或獨立地執行。而且，本說明書中所使用的術語"系統"是指配置有多個設備的裝 置的整體。本領域技術人員應該明了 ，可以根據設計要求和其它因素進行各 種修改、合併、子合併和變換，只要不脫離權利要求或其等價物的範 圍。
權利要求
1、一種小波變換設備，用於以多個級別對圖像信號進行小波變換，所述小波變換設備包括第一緩存器，用於對於每個級別獨立地存儲來自所述圖像信號的水平方向分析濾波的結果的一部分係數；第二緩存器，用於對於每個級別獨立地存儲在所述圖像信號的垂直方向分析濾波的計算處理中所產生的一部分係數；垂直濾波裝置，用於利用從所述第一和第二緩存器所讀出的係數，執行所述垂直方向分析濾波；和水平濾波裝置，用於除所述級別中最後一個級別之外，利用來自所述垂直方向分析濾波的結果的係數作為下一級別的水平方向分析濾波的輸入，來執行所述水平方向分析濾波。
2、 根據權利要求1的小波變換設備，其中所述水平濾波裝置和 所述垂直濾波裝置由所述小波變換的提升格式實現。
3、 根據權利要求2的小波變換設備，其中所述提升格式是這樣 的格式，其中水平方向分析濾波劃分成多級計算而被執行，並且所述水平濾波裝置以所述提升格式為預定數量的列執行水平方 向分析濾波。
4、 根據權利要求3的小波變換設備，其中 所述水平濾波裝置還包括保存裝置，用於保存在以提升格式的所述多級計算的處理 中所獲得的係數的一部分，並且通過執行所述多級計算至最後一級，產生高頻帶分量和低頻帶分 量的係數；並且，在執行下一級的水平方向分析濾波的情況下，只有必要的 那麼多的列是來自垂直濾波裝置的垂直方向分析濾波結果的係數的 輸入，並且讀出在通過前一提升格式的所述多級計算的處理中保存在 所述保存裝置中的係數，並且執行以所述提升格式的所述多級計算。
5、 根據權利要求4的小波變換設備，其中所述水平濾波裝置以 提升格式執行水平方向分析濾波，直到水平方向上的列數都已經過。
6、 根據權利要求4的小波變換設備，其中一次輸入至所述提升 格式的列數是3列，並且保存在所述保存裝置中的係數的數量是3。
7、 根據權利要求4的小波變換設備，其中所述水平濾波裝置將 通過執行以所述提升格式的所述多級計算至最後一級而產生的高頻 帶分量和低頻帶分量係數存儲在對應於所述級別的所述第 一緩存器 中。
8、 根據權利要求2的小波變換設備，其中所述提升格式是用於 在多級計算中執行垂直方向分析濾波的格式；並且所述垂直濾波裝置以所述提升格式對預定數量的行執行垂 直方向分析濾波。
9、 根據權利要求8的小波變換設備，其中所述垂直濾波裝置通 過將在以所述提升格式的所述多級計算的處理中所獲得的係數的一 部分存儲在所述第二緩存器中，並執行所述多級計算至最後一級，來 產生高頻帶分量和低頻帶分量係數；並且在執行下一級的垂直方向分析濾波時，只從所述第一緩存器 讀出來自水平濾波裝置的水平方向分析濾波結果的係數的必要的那 麼多的行，並且還讀出在以前一提升格式的所述多級計算的處理中被 存儲在所述第二緩存器中的係數，並且執行以所述提升格式的所述多級計算。
10、 根據權利要求9的小波變換設備，其中所述垂直濾波裝置以 所述提升格式執行垂直方向分析濾波，直到垂直方向中的行數都已經 過。
11、 根據權利要求9的小波變換設備，其中從所述第一緩存器所 讀出的行數是3行，並且被存儲在所述第二緩存器中的係數的數量是 3。
12、 根據權利要求9的小波變換設備，其中所述第一緩存器被配 置為在其自身內部具有對於執行所述垂直方向分析濾波所必需的那麼多的行的獨立緩存器。
13、 根據權利要求9的小波變換設備，其中所述第二緩存器被配 置為在其自身內部具有對於執行所述多級計算所必需的那麼多的系 數的獨立緩存器。
14、 根據權利要求l的小波變換設備，其中所述水平濾波裝置在 行遞增中輸入所述圖像信號，並在每次水平方向中的樣本數量達到預 定數量時執行水平方向分析濾波；並且在每次所述水平濾波裝置所執行的所述水平方向分析濾波的結 果中頻率分量的垂直方向上的行數達到預定數量時，所述垂直濾波裝 置執行所述垂直方向分析濾波。
15、 根據權利要求1的小波變換設備，其中所迷水平濾波裝置和 所述垂直濾波裝置以分級方式對最低頻率分量執行分析濾波。
16、 根據權利要求l的小波變換設備，其中所述圖像信號是包括 多個畫面的視頻信號；並且所述小波變換設備還包括檢測裝置，用於通過檢測所述視頻信號 的垂直同步信號來檢測每個畫面的結束；並且所述水平濾波裝置和所述垂直濾波裝置對每個畫面執行分 析濾波。
17、 一種小波變換設備的小波變換方法，用於以多個級別對圖像 信號執行小波變換，所述方法包括下列步驟將來自水平方向分析濾波的結果的係數的一部分存儲在對於每 個級別獨立的第一緩存器中；將在垂直方向分析濾波的計算處理中所產生的係數的一部分存 儲在對於每個級別獨立的第二緩存器中；利用從所述第一和第二緩存器所讀出的係數，執行垂直方向分析 濾波；和除所述級別中最後一個級別之外，使用來自所述垂直方向分析濾 波的結果的係數作為下一級別的水平方向分析濾波的輸入。
18、 一種用於使計算機以多個級別對圖像信號執行小波變換處理 的程序，所述處理包括下列步驟將來自水平方向分析濾波的結果的係數的一部分存儲在對於每 個級別獨立的第一緩存器中；將在所述圖像信號的垂直方向分析濾波的處理中所產生的係數的 一部分存儲在對於每個級別獨立的第二緩存器中；利用從所述第 一和第二緩存器所讀出的係數，執行垂直方向分析 濾波；和除所述級別中最後一個級別之外，使用來自所述垂直方向分析濾 波的結果的係數作為下一級別的水平方向分析濾波的輸入。
19、 一種用於存儲根據權利要求18的程序的記錄介質。
20、 一種小波逆變換設備，用於以多個級別對通過已經對圖像信 號執行小波變換而產生的頻率分量執行小波逆變換，從而重構圖像， 所述小波逆變換設備包括第一緩存器，用於除最低頻帶之外，對於每個級別獨立地存儲來 自所述頻率分量的水平方向合成濾波的結果的係數的一部分；第二緩存器，用於對於每個級別獨立地存儲在對所述頻率分量的 垂直方向合成濾波的計算處理中所產生的係數的一部分；垂直濾波裝置，用於利用從所述第一和第二緩存器所讀出的系 數，執行所述垂直方向合成濾波；和水平濾波裝置，用於除所述級別中最後一個級別之外，通過利用 來自所述垂直方向合成濾波的結果的係數作為下一級別的水平方向 合成濾波的輸入，執行所述水平方向的合成濾波。
21、 根據權利要求20的小波逆變換設備，其中所述垂直濾波裝 置和所述水平濾波裝置由所述小波逆變換的提升格式實現。
22、 根據權利要求21的小波逆變換設備，其中所述提升格式是 這樣的格式，其中垂直方向合成濾波劃分成多級計算而被執行；並且所述垂直濾波裝置以所述提升格式為預定數量的行執行垂直方 向合成濾波。
23、 根據權利要求22的小波逆變換設備，其中 所述垂直濾波裝置將在以所述提升格式的所述多級計算的處理 中所獲得的係數的一部分存儲在所述第二緩存器中，並通過執行所述多級計算至最後一級來產生所述圖像；並且在執行下一級垂直方向合成濾波的時候，只從來自水平濾波裝置 的水平方向合成濾波結果的係數中讀出所必需的那麼多的行，並且讀出在以提升格式的所述多級計算的處理中被存儲在所述第二緩存器 中的係數，並且執行以所述提升格式的所述多級計算。
24、 根據權利要求23的小波逆變換設備，其中所述垂直濾波裝 置以所述提升格式執行垂直方向合成濾波，直到水平方向中的行數都 已經過。
25、 根據權利要求23的小波逆變換設備，其中從所述笫一緣存 器所讀出的行的數量是3行，並且存儲在所述第二緩存器中的係數的 數量是3。
26、 根據權利要求23的小波逆變換設備，其中所述第一緩存器 被配置為在其自身內部具有對於執行所述垂直方向合成濾波所必需 的那麼多的行的獨立緩存器。
27、 根據權利要求23的小波逆變換設備，其中所述第二緩存器 被配置為在其自身內部具有對於執行所述多級計算所必需的那麼多 的係數的獨立緩存器。
28、 根據權利要求21的小波逆變換設備，其中所述提升格式是 用於以多級計算執行水平方向合成濾波的格式；並且所述水平濾波裝置以所述提升格式對預定數量的列執行水平方 向合成濾波。
29、 根據權利要求28的小波逆變換設備，其中所述水平濾波裝置還包括保存裝置，用於保存在以所述提升格式的所述多級計算的 處理中所獲得的係數的一部分，並且通過執行所述多級計算至最後一級來產生所述圖像；並且，當執行下一級的水平方向合成濾波時，只輸入來自垂直濾波裝置的垂直方向合成濾波結果的係數的必需的那麼多的列，並且讀 出在以前一提升格式的所述多級計算的處理中被存儲在所述保存裝置中的係數，以及執行以所述提升格式的所述多級計算。
30、 根據權利要求29的小波逆變換設備，其中所述水平濾波裝 置可以以所述提升格式執行水平方向合成濾波，直到水平方向中的列 數都已經過。
31、 根據權利要求29的小波逆變換設備，其中可以一次被輸入 至所述提升格式的列數是3列，並且保存在所述保存裝置中的係數的 數量是3。
32、 根據權利要求29的小波逆變換設備，其中所述水平濾波裝 置將通過執行以所述提升格式的所述多級計算至最後一級而產生的 高頻帶分量和低頻帶分量係數存儲在對應於所述級別的所述第 一緩 存器中。
33、 根據權利要求20的小波逆變換設備，其中所述水平濾波裝 置在行遞增中輸入所述頻率分量，並在每次水平方向中的樣本數量達 到預定數量時執行所述水平方向低頻帶合成濾波和高頻帶合成濾波；並且，在每次由所述水平濾波裝置所執行的水平方向合成濾波的 結果中頻率分量的垂直方向中的行數達到預定數量時，所述垂直濾波 裝置執行所述垂直方向低頻帶合成濾波和高頻帶合成濾波。
34、 根據權利要求20的小波逆變換設備，其中所述圖像信號是 包括多個畫面的視頻信號，通過以分級方式對最低頻率分量執行分析 濾波而被劃分為多個頻率分量；並且，所述垂直濾波裝置和所述水平濾波裝置以分級方式對多個 頻率分量中包括最低頻率分量的預定數量的頻率分量執行合成濾波， 最終產生畫面。
35、 根據權利要求34的小波逆變換設備，還包括垂直同步信號 插入裝置，用於在由所述垂直濾波裝置和所述水平濾波裝置所產生的 畫面之間插入垂直同步信號。
36、 一種小波逆變換方法，用於以多個級別對通過已經對圖像信號執行小波變換而產生的頻率分量執行小波逆變換，從而重構圖像，所述方法包括下列步驟將來自所述水平方向合成濾波的結果的係數的一部分存儲在對 於除最低頻帶之外的每個級別獨立的第 一緩存器中；將在所述垂直方向合成濾波的處理中所產生的係數的一部分存 儲在對於每個級別獨立的第二緩存器中；利用從所述第一和第二緩存器所讀出的係數，執行所述垂直方向 合成濾波；和除所述級別中最後一個級別之外，將來自所述垂直方向合成濾波 的結果的係數作為下一級別的水平方向合成濾波的輸入。
37、 一種用於使計算機以多個級別對通過已經對圖像信號執行的 小波變換而產生的頻率分量執行小波逆變換處理從而重構圖像的程 序，所述處理包括下列步驟將來自所述水平方向合成濾波的結果的係數的一部分存儲在對 於每個級別獨立的第 一緩存器中；將在所述垂直方向合成濾波的處理中所產生的係數的一部分存 儲在對於每個級別獨立的第二緩存器中；利用從所述第一和第二緩存器所讀出的係數，執行垂直方向合成 濾波；和除所述級別中最後一個級別之外，將來自所述垂直方向合成濾波 的結果的係數作為下一級別的水平方向合成濾波的輸入。
38、 一種用於存儲根據權利要求37的程序的記錄介質。
39、 一種小波變換設備，用於以多個級別對圖像信號進行小波變 換，所述小波變換設備包括第一緩存器，用於對於每個級別獨立地存儲來自所述圖像信號的 水平方向分析濾波的結果的係數的一部分；第二緩存器，用於對於每個級別獨立地存儲在所述圖像信號的垂直方向分析濾波的計算處理中所產生的係數的一部分；垂直濾波裝置，用於利用從所述第一和第二緩存器所讀出的系 數，執行所述垂直方向分析濾波；和水平濾波裝置，用於除所述級別中最後一個級別之外，通過利用 來自所述垂直方向分析濾波的結果的係數作為下一級別的水平方向 分析濾波的輸入，來執行所述水平方向分析濾波。
40、 一種小波逆變換設備，用於以多個級別對通過已經對圖像信 號執行小波變換而產生的頻率分量執行小波逆變換，從而重構圖像， 所述小波逆變換設備包括第一緩存器，用於除最低頻帶之外對於每個級別獨立地存儲來自 所述頻率分量的水平方向合成濾波的結果的係數的一部分；笫二緩存器，用於對於每個級別獨立地存儲在對所述頻率分量的 垂直方向合成濾波的計算處理中所產生的係數的一部分；垂直濾波裝置，用於利用從所述第一和第二緩存器所讀出的系 數，執行所述垂直方向合成濾波；和水平濾波裝置，用於除所述級別中最後一個級別之外，通過使用 來自所述垂直方向合成濾波的結果的係數作為下一級別的水平方向 合成濾波的輸入，執行所述水平方向合成濾波。
全文摘要
一種小波變換設備，用於以多個級別對圖像信號進行小波變換，包括第一緩存器，用於對於每個級別獨立地存儲以水平方向對圖像信號進行分析濾波所產生的一部分係數；第二緩存器，用於對於每個級別獨立地存儲在以垂直方向對圖像信號進行分析濾波的計算處理中所產生的一部分係數；垂直濾波單元，用於使用從第一和第二緩存器讀出的係數執行垂直方向的分析濾波；和水平濾波單元，用於通過使用由垂直方向分析濾波產生的係數作為除最後級別之外的下一級別的水平方向分析濾波的輸入，來執行水平方向的分析濾波。
文檔編號H03M7/30GK101132179SQ20071012913
公開日2008年2月27日 申請日期2007年7月13日 優先權日2006年7月14日
發明者安藤勝俊, 田中祐樹, 福原隆浩, 西村直人 申請人:索尼株式會社