圖像處理裝置、圖像處理方法、以及程序的製作方法

2023-06-13 23:44:11 4

專利名稱：圖像處理裝置、圖像處理方法、以及程序的製作方法
技術領域：
本發明涉及圖像處理裝置、圖像處理方法、以及程序，本發明具體涉及用於處理圖 像的圖像處理裝置、圖像處理方法、以及程序。如果可應用的話，將以下申請的內容通過參考而編入本申請2008年3月25日申 請的日本專利申請2008-078636、2008年3月25日申請的日本專利申請2008-078641、2008 年3月31日申請的日本專利申請2008-091562以及2008年4月4日申請的日本專利申請 2008-098600。另外，本申請要求2007年9月10日申請的日本專利申請2007-234758以及 2008年6月26日申請的日本專利申請2008-167827的優先權，同時將這些申請通過參考而 編入本申請。
背景技術：
在特開2005-142654號公報中公開了進行以下處理的圖像發送裝置對通過壓縮 高解析度的輸入圖像而得到的低解析度的基本層進行編碼；計算出表示編碼時的分割區域 的區域劃分圖；以及對基本層的輸入圖像和編碼圖像進行解碼。該圖像發送裝置然後按照 區域劃分圖對擴大層進行分割，並對各分割區域分別進行幀內編碼，其中，所述擴大層是輸 入圖像與在對基本層編碼圖像進行解碼後將解析度擴大到輸入圖像的解析度而得到的圖 像之間的差分影像。特開2007-96709號公報中公開了一種圖像處理方法，該方法涉及得 到第一低解析度圖像與第二低解析度圖像的運動量，通過利用運動量對第二高解析度圖像 進行補償來生成運動補償圖像，並將該運動補償圖像設置為與第一低解析度圖像對應的第 一高解析度圖像。

發明內容
本發明要解決問題根據特開2005-142654號公報中公開的發明，由於是在發送關注區域的圖像數據 時對該數據進行分割，因此為了顯示編碼的圖像，需要與分割處理對應的特殊的圖像處理 裝置。另外，根據特開2007-96709號公報中公開的發明，無法針對關注區域設置適當的解析度。解決問題的方案在本發明的第一方面提供了一種圖像處理裝置，包括從輸入圖像中檢測出特徵 區域的特徵區域檢測部；圖像生成部，從輸入圖像中生成降低了畫質的低畫質圖像、以及至 少在特徵區域中具有比所述低畫質圖像更高畫質的特徵區域圖像；差分處理部，生成表示 特徵區域圖像中的特徵區域的圖像與低畫質圖像中的特徵區域的圖像之間的差分圖像的 特徵區域差分圖像；以及對特徵區域差分圖像和低畫質圖像進行編碼的編碼部。圖像生成部可生成具有從輸入圖像降低的解析度的低畫質圖像，差分處理部可生 成特徵區域圖像中的特徵區域的圖像與低畫質圖像中的特徵區域的擴大後的圖像之間的 特徵區域差分圖像。差分處理部可生成特徵區域差分圖像，所述特徵區域差分圖像是在特徵區域中具有將特徵區域圖像與擴大後的圖像之間的差分轉換為空間頻域的空間頻率分量、而在特徵區域以外的區域中具有降低了所述空間頻率分量的數據量的特徵區域差分圖像。特徵區域檢測部可從輸入圖像中檢測出具有不同特徵類型的多個特徵區域，圖像生成部可通過降低包含一種類型的特徵的特徵區域中的解析度來從輸入圖像中生成一個 特徵區域圖像，並生成包含另一種類型的特徵的另一特徵區域圖像，該另一特徵區域圖像 比特徵區域處的所述一個特徵區域圖像具有更高解析度。差分處理部可生成(i)特徵區域 差分圖像，其中包含一種類型的特徵的特徵區域具有空間頻率分量，而在包含一種類型的 特徵的特徵區域以外的區域具有降低了數據量的空間頻率分量，該空間頻率分量是通過將 擴大後的圖像與所述一個特徵區域圖像之間的差分變換至空間頻域而得到的；以及(ii) 特徵區域間差分圖像，其中包含另一種類型的特徵的特徵區域具有空間頻率分量，而包含 所述另一種類型的特徵的特徵區域以外的區域具有降低了數據量的空間頻率分量，該空間 頻率分量是通過將所述另一特徵區域圖像與其中擴大了特徵區域的所述另一特徵區域圖 像中的擴大圖像之間的差分變換至空間頻域而得到的。編碼部可對特徵區域差分圖像、特 徵區域間差分圖像、以及低畫質圖像進行編碼。特徵區域檢測部可從充當輸入圖像的動畫中包含的多個動畫構成圖像當中檢測出不同類型的特徵的多個特徵區域，圖像生成部可從每個動畫構成圖像中，(i)通過在包含 一種類型的特徵的特徵區域處降低解析度來生成一個特徵區域圖像，以及(ii)在包含另 一種類型的特徵的特徵區域處生成比所述一個特徵區域具有更高解析度的另一特徵區域 圖像。差分處理部可從由圖像生成部從所述多個動畫構成圖像中生成的多個特徵區域圖 像中，生成多個特徵區域差分圖像以及多個特徵區域間差分圖像。編碼部可對包括多個特 徵區域差分圖像的特徵區域差分動畫、包括多個特徵區域間差分圖像的特徵區域間差分動 畫、以及包括多個低畫質圖像的低畫質動畫進行編碼。本發明的第二方面提供了一種圖像處理方法，包括以下步驟從輸入圖像中檢測出特徵區域；從輸入圖像中生成降低了畫質的低畫質圖像、以及至少在特徵區域具有比所 述低畫質圖像更高畫質的特徵區域圖像；生成表示所述特徵區域圖像中的特徵區域的圖像 與低畫質圖像中的特徵區域的圖像之間的差分圖像的特徵區域差分圖像；以及對特徵區域 差分圖像和低畫質圖像進行編碼。本發明的第三方面提供了一種供圖像處理裝置之用的程序，該程序使圖像處理裝置用作從輸入圖像中檢測出特徵區域的特徵區域檢測部；圖像生成部，從輸入圖像中生 成降低了畫質的低畫質圖像、以及至少在特徵區域具有比所述低畫質圖像更高畫質的特徵 區域圖像；差分處理部，生成表示特徵區域圖像中的特徵區域的圖像與低畫質圖像中的特 徵區域的圖像之間的差分圖像的特徵區域差分圖像；以及對特徵區域差分圖像和低畫質圖 像進行編碼的編碼部。上述發明的概要，並未列舉出本發明的必要的技術特徵的全部，這些的特徵群的輔助結合也能夠成本發明。本發明的上述特徵及優點以及其他特徵及優點，可通過附圖以 及一下的實施例記載得以明確。


圖1是表示一實施例涉及的圖像處理系統10的一例示圖。圖2是表示圖像處理裝置120的方塊構成圖的一例示圖。圖3是表示階層間(inter-grade)差分壓縮部282a以及282b的方塊構成的一例示圖。圖4是表示圖像處理裝置120輸出的動畫的一例示圖。圖5是表示階層間差分壓縮部282輸出的動畫中所包括的動畫構成圖像的圖像內容的一例示圖。圖6是表示其他的實施例涉及的圖像處理系統20的一例示圖。圖7是表示圖像處理裝置120的硬體構成的一例示圖。
具體實施例方式以下，說明本發明的幾個實施方式。不過，以下的實施方式並不限定權利要求範圍 所涉及的發明，另外，在實施方式中說明的特徵組合併非全部都是發明的解決手段所必須的。圖1表示一實施例涉及的圖像處理系統10的一例示圖。圖像處理系統10的目的 是在保持特徵物體高畫質的同時降低圖像的數據量。圖像處理系統10包括用於採集被監視區域150的圖像的多個圖像採集裝置 IOOa-C (以下總稱圖像採集裝置100)、用於處理圖像的多個圖像處理裝置120a_c(以下總 稱圖像處理裝置120)、圖像處理裝置170、通信網絡110以及多個顯示裝置180a-c (以下總 稱顯示裝置180)。圖像處理裝置120a與圖像採集裝置IOOa連接。另外，圖像處理裝置120b與圖像 採集裝置IOOb連接。另外，圖像處理裝置120c與圖像採集裝置IOOc連接。另外，圖像處 理裝置170和顯示裝置180設置在與被監視區域150不同的區域160中。在以下解說圖像採集裝置100a、圖像處理裝置120a、圖像處理裝置170以及表示 裝置180a的操作。圖像採集裝置IOOa將採集被監視區域150的圖像，對所取得的採集圖 像進行MPEG編碼，以生成採集動畫數據，並向圖像採集裝置IOOa連接的圖像處理裝置120a 輸出該數據。具體地，圖像採集裝置IOOa包括圖像採集部102a以及採集動畫壓縮部104a。圖 像採集部102a採集被監視區域150的圖像，並生成在所採集的動畫中包括的多個動畫構成 圖像。另外，圖像採集部102a可以生成RAW格式的動畫構成圖像。採集動畫壓縮部104a 針對由圖像採集部102a生成的RAW格式的動畫構成圖像進行顏色估計(同步化處理)，然 後通過根據MPEG編碼等，將包括顏色估計(同步化處理)所得到的多個動畫構成圖像的採 集動畫進行壓縮，而生成採集動畫數據。圖像處理裝置120a取得圖像採集裝置IOOa生成的採集動畫數據。圖像處理裝置 120通過對從圖像採集裝置100中取得的採集動畫數據進行解碼，生成採集動畫，並從生成 的採集動畫中檢測出包括彼此不同種類的特徵的多個特徵區域，包括例如人物130、如車輛 之類的移動物體140等。圖像處理裝置120a通過生成多個動畫(在每個動畫中，相應種類 的特徵的特徵區域的畫質高於該動畫中的其他區域的畫質)，從採集動畫中生成多個特徵 區域動畫。圖像處理裝置120a生成低畫質動畫，該低畫質動畫包括特徵區域以外的區域，具有比特徵區域動畫的畫質低的畫質。圖像處理裝置120a分別對多個生成的特徵區域動畫以及生成的低畫質動畫進行 編碼，來生成多個特徵區域數據以及低畫質動畫數據。同時，圖像處理裝置120a將通過編 碼而取得的多個特徵區域動畫數據置於同樣通過編碼而取得的低畫質動畫數據之上，並通 過通信網絡110將每個關聯數據傳送給圖像處理裝置170。圖像處理裝置170對從圖像處理裝置120a發送的多 個特徵區域動畫數據以及低 畫質動畫數據中的每個進行解碼，以取得多個特徵區域動畫及低畫質動畫。圖像處理裝置 170將多個特徵區域動畫以及低畫質動畫組合，以生成合成動畫，並將生成的合成動畫提供 給顯示裝置180a。顯示裝置180a顯示從圖像處理裝置170提供的動畫。圖像處理裝置170可以在圖像DB175中記錄所生成的合成動畫、或從圖像處理裝 置120a中取得的採集動畫數據。圖像處理裝置170可以針對來自顯示裝置180a的請求， 將圖像DB175中記錄的合成動畫提供給顯示裝置180a。圖像處理裝置170可以按照上述解 碼方式，對圖像DB175中記錄的採集動畫數據進行解碼，並針對來自顯示裝置180a的請求 而提供給顯示裝置180a。例如，圖像DB175可以包括如硬碟等的非易失性記錄介質，並可以 在該記錄介質中記錄從圖像處理裝置170供給的合成動畫。圖像採集裝置IOOb和圖像採集裝置IOOc包括與圖像採集部102a所包括的組件 同樣的功能的組件。圖像採集裝置IOOb和圖像採集裝置IOOc的功能及操作，除了向各自 的圖像處理裝置120b和圖像處理裝置120c提供採集動畫數據之外，和圖像採集裝置IOOa 的功能及操作一樣，所以省略其說明。同時，圖像處理裝置120b和圖像處理裝置120c的功 能及操作，除了從各自的圖像採集裝置IOOb和圖像採集裝置IOOc中取得採集動畫數據外， 因為和圖像處理裝置120a的功能及操作一樣，所以省略其說明。應注意，在以下的說明中， 有時將圖像採集部102a c總稱為圖像採集部102，有時將採集動畫壓縮部104a c總稱 為採集動畫壓縮部104。圖像處理裝置170從分別由圖像採集裝置IOOb或圖像採集裝置IOOc中取得的、 彼此相關聯的多個特徵區域動畫數據和低畫質動畫數據中生成一動畫，並提供給顯示裝置 180b或顯示裝置180c。顯示裝置180b和顯示裝置180c顯示從圖像處理裝置170提供的 動畫。通過使用根據本實施例的圖像處理系統10，可以提供取得顯著的任何適合的監視 目標物體(如人物，移動物體等)的高畫質圖像的監視系統。而且，圖像處理系統10能降 低動畫的數據量。圖2表示圖像處理裝置120的方塊構成的一個例子。圖像處理裝置120具有壓縮 動畫取得部201，壓縮動畫解壓縮部202，輸入動畫畫質控制部280，畫質降低部281，階層間 差分壓縮部282a-d(以下，總稱階層間差分壓縮部282)，及輸出部207。壓縮動畫取得部201取得被壓縮的動畫。具體，壓縮動畫取得部201取得圖像採 集裝置100生成的被編碼的採集動畫數據。壓縮動畫解壓縮部202從通過壓縮動畫取得部 201取得的數據中恢復動畫，來生成動畫中包括的多個動畫構成圖像。具體，壓縮動畫解壓縮部202對通過壓縮動畫取得部201取得的採集動畫數據進 行解碼，生成動畫中包括的多個動畫構成圖像。動畫構成圖像包括幀圖像及場圖像。動畫 構成圖像是根據本發明的輸入圖像的一個例子。
特徵區域檢測部203從動畫所包括的多個動畫構成圖像中檢測出特徵區域。輸入 動畫畫質控制部280按照通過壓縮動畫解壓縮部202生成的多個動畫構成圖像中包括的特 徵區域的特徵量，控制特徵區域的畫質及特徵區域以外的區域的畫質。將參照圖5，對輸入 動畫畫質控制部280的功能及操作進行更詳細地說明。
畫質降低部281通過降低動畫的畫質，生成具有彼此不同的預定畫質的多個動 畫。畫質降低部281向階層間差分壓縮部282提供所生成的具有不同畫質的動畫。具體， 畫質降低部281通過降低動畫的幀速率，或通過降低動畫中包括的動畫構成圖像的解析度 或灰度等級，生成具有不同畫質的動畫。階層間差分壓縮部282從畫質降低部281中取得 具有預定畫質的動畫，並壓縮取得的動畫。每個階層間差分壓縮部282壓縮具有不同畫質 的動畫中的不同動畫。畫質降低部281供給階層間差分壓縮部282a的動畫所包括的動畫構成圖像可以 是本發明中低畫質圖像的一個例子。畫質降低部281或輸入動畫畫質控制部280供給階層 間差分壓縮部282b-d的動畫所包括的動畫構成圖像可以是本發明中的特徵區域圖像的一 個例子。這種情況下，畫質降低部281及輸入動畫畫質控制部280作為在本發明中的圖像 生成部而發揮作用。階層間差分壓縮部282a從畫質降低部281取得具有比要由階層間差分壓縮部 282b-d中的任何一個接收的動畫構成圖像的解析度低的解析度的動畫構成圖像，並對所取 得的圖像進行壓縮。階層間差分壓縮部282b、階層間差分壓縮部282c、和階層間差分壓縮 部282d從畫質降低部281或輸入動畫畫質控制部280取得解析度依次增加的動畫構成圖 像，並對所取得的圖像分別進行壓縮。階層間差分壓縮部282b對階層間差分壓縮部282a壓縮後的動畫構成圖像進行解 壓縮，將解壓縮後得到的動畫構成圖像擴大為和從畫質降低部281取得的動畫構成圖像的 解析度相同的解析度。階層間差分壓縮部282b對包括在擴大的動畫構成圖像和從畫質降 低部281取得的動畫構成圖像之間的任何差分的差分圖像進行壓縮。注意，階層間差分壓 縮部282b生成在特徵區域中具有差分值但在特徵區域以外的區域中不具有差分值的差分 圖像，並進行壓縮。階層間差分壓縮部282c對通過階層間差分壓縮部282b壓縮的動畫構成圖像進行 解壓縮，並將解壓縮得到的動畫構成圖像擴大為和從畫質降低部281取得的動畫構成圖像 的解析度相同的解析度。階層間差分壓縮部282c壓縮包括在擴大的動畫構成圖像和從畫 質降低部281取得的動畫構成圖像之間的任何差分的差分圖像。注意，階層間差分壓縮部 282c按照特徵區域的特徵量，生成在多個特徵區域中的至少一個中具有差分值、而在其他 區域中不具有差分值的差分圖像，並進行壓縮。階層間差分壓縮部282d解壓縮由階層間差分壓縮部282c壓縮的動畫構成圖像。 階層間差分壓縮部282d將解壓縮後的動畫構成圖像擴大為和從輸入動畫畫質控制部280 取得的動畫構成圖像的解析度相同的解析度。階層間差分壓縮部282d壓縮包括在擴大的 動畫構成圖像和從輸入動畫畫質控制部280取得的動畫構成圖像之間的任何差分的差分 圖像。注意，階層間差分壓縮部282d按照特徵區域的特徵量，生成在多個特徵區域中的至 少一個中具有差分值、而在其他區域中不具有差分值的差分圖像，並進行壓縮。這樣，階層間差分壓縮部282b_d壓縮通過獲取在從輸入動畫畫質控制部280或畫質降低部281取得的動畫構成圖像和將更低解析度的動畫構成圖像放大而得到的動畫構 成圖像間的差分而得到的差分圖像。輸出部207多重化並輸出由階層間差分壓縮部282各 自壓縮後得到的動畫。具體，輸出部207向圖像處理裝置170發送階層間差分壓縮部282壓 縮的動畫。這樣，圖像處理裝置120根據特徵區域的特徵量，能夠提供可縮放地(scalably) 壓縮和編碼的動畫。圖3示出了階層間差分壓縮部282a和282b的塊構成的一個例子。階層間差分壓縮部282a包括運動分析部285a、運動編碼部286a、差分處理部287a、和編碼部288a。運動 分析部285a包括差分獲得對象區域決定部294a和位置差信息生成部295a。差分處理部 287a包含差分像素圖像生成部296a、空間頻域變換部297a和量化部298a。階層間差分壓縮部282b包括運動分析部285b、運動編碼部286b、差分處理部 287b、圖像擴大部293b、圖像解碼部292b和編碼部288b。運動分析部285b包括差分獲得 對象區域決定部294b和位置差信息生成部295b。差分處理部287b包括差分像素圖像生 成部296b、空間頻域變換部297b，量化部298b，和頻域畫質變換部299b。階層間差分壓縮 部282c和階層間差分壓縮部282d因為與階層間差分壓縮部282b具有的組件大體上有同 樣的組件，省略說明。以下，對階層間差分壓縮部282a的各組件的功能及操作說明。運動分析部285a 按照從畫質降低部281接收的多個動畫構成圖像的圖像內容，分析在多個動畫構成圖像上 的任何運動，從而決定基於其對動畫構成圖像執行基於運動的壓縮的部分區域。具體而言，差分獲得對象區域決定部294a基於覆蓋多個動畫構成圖像的任何部 分區域的像素值，決定在要基於動畫構成圖像與參考動畫圖像的差分對動畫構成圖像進行 編碼時的、被稱為差分獲得對象的、在給定動畫構成圖像中的部分區域。差分獲得對象區域 決定部294a向差分處理部287a提供作為壓縮對象的部分區域的像素信息、以及作為差分 獲得對象的所決定的部分區域的像素信息。位置差信息生成部295a生成表示差分壓縮的部分區域和被稱為差分對象的部分 區域間的位置差的位置差信息。具體，位置差信息生成部295a生成用於運動補償的運動矢 量。位置差信息生成部295a將生成的位置差信息提供給運動編碼部286a。運動編碼部286a對從位置差信息生成部295a提供的位置差信息進行編碼，並供 給輸出部207。例如，運動編碼部286對一個部分區域的位置差信息與鄰接的部分區域的位 置差信息之間的差進行編碼，並供給輸出部207。差分處理部287a根據從運動分析部285a獲取的壓縮對象部分區域的像素信息和 差分獲得對象部分區域的像素信息之間的差分，壓縮壓縮對象部分區域的圖像。具體，差分 像素圖像生成部296a根據壓縮對象的部分區域的像素信息和差分對象的部分區域的像素 信息間的差分生成差分像素圖像。空間頻域變換部297a逐個部分區域地將差分像素圖像變換至空間頻域。具體，空 間頻域變換部297a通過離散餘弦變換(DCT)，將不同像素圖像中的每個部分區域變換至空 間頻域。空間頻域變換部297a根據例如哈達瑪變換或小波變換等各種頻率變換方式，可以 將差分像素圖像中的每個部分區域變換至空間頻域。當運動分析部285a確定將不會基於根據其他動畫構成圖像的部分區域計算的差 分進行壓縮時，差分處理部287a向空間頻域變換部297a提供壓縮對象部分區域的像素信息。空間頻域變換部297a如上所述，逐個部分區域地將像素信息變換至空間頻域。量化部298a對通過空間頻域變換部297a變換至空間頻域而得到的變換係數進行量化。編碼部288a通過被量化部298a量化後的變換係數進行編碼來執行壓縮。例如，編 碼部288通過霍夫曼編碼等的熵編碼、算術編碼等，將被量化部298a量化後的變換係數進 行編碼。編碼部288a向輸出部207提供根據該編碼而得到的動畫。以下，對階層間差分壓縮部282b中包括的各組件的功能及操作加以說明。在階層 間差分壓縮部282b包含的組件中，與階層間差分壓縮部282a包含的組件賦予同樣符號的 組件，因為具有與階層間差分壓縮部282a包含的組件類似的功能及操作，所以除了其不同 點以外省略其說明。差分獲得對象區域決定部294b與差分獲得對象區域決定部294a —樣，針對從畫 質降低部281獲得的多個動畫構成圖像中的每個，指定另一動畫構成圖像中的部分區域， 其中應當獲取該另一動畫構成圖像中的部分區域與動畫構成圖像中包含的壓縮對象部分 區域之間的差分。這樣，差分獲得對象區域決定部294b確定作為從動畫構成圖像中生成的 特徵區域圖像中的部分區域的差分獲得對象部分區域，在其中應當獲得該特徵區域圖像與 另一特徵區域圖像之間的差分。差分獲得對象區域決定部294b向像素值變更部291b提供 壓縮對象部分區域的像素信息以及差分獲得對象部分區域的像素信息。圖像解碼部292b從編碼部288a取得動畫構成圖像的同時，從運動編碼部286a取 得位置差信息。圖像解碼部292b基於從運動編碼部286a取得的位置差信息，解碼從編碼 部288a取得的動畫構成圖像。圖像解碼部292b可以取得被量化部298a量化後的動畫構成 圖像並進行解碼，或者可以取得編碼部288a編碼後的動畫構成圖像並進行解碼。被圖像解 碼部292b解碼而得到的動畫構成圖像可以是根據本發明中的低畫質圖像的一個例子。在 這種情況下，階層間差分壓縮部282a用作生成根據本發明的低畫質圖像的圖像生成部。圖像擴大部293b通過將被圖像解碼部292b解碼後得到的動畫構成圖像進行擴大 而生成擴大圖像。在差分獲得對象區域決定部294b決定的部分區域中，像素值變更部291b 使包括在特徵區域中的部分區域保持未變更的像素值，同時將未包括在特徵區域中的部分 區域的像素值變更替換為包括在擴大的圖像中的部分區域的像素值。這樣，像素值變更部291b從被輸入的動畫構成圖像中生成以擴大的圖像中的像 素值替換了不同於特徵區域的區域的像素值的特徵區域圖像。注意，像素值變更部291b可 以用作生產特徵區域圖像的圖像生成部，其中用擴大的圖像中的像素值替換了不同於特徵 區域的區域的像素值。差分處理部287b從像素值變更部291b接收作為壓縮對象的特徵區域圖像，應當 獲得在其與壓縮對象特徵區域圖像中包括的部分區域之間的差分的部分區域的圖像信息， 和擴大的圖像。差分處理部287b決定針對在壓縮對象特徵區域圖像中包含的多個部分區 域中的每個，應當採用幀內編碼、幀間編碼以及階層間編碼中的哪個。這裡，幀內編碼是通 過採用相同的特徵區域圖像內的像素信息，對圖像進行編碼。幀間編碼是根據來自其他動 畫構成圖像中包含的差分獲得對象部分區域的差分，對圖像進行編碼。階層間編碼是根據 來自擴大的圖像的差分，對圖像進行編碼。這時，差分處理部287b優先選擇使編碼後的代 碼量更小的編碼方法。首先對選擇階層間編碼的情況進行說明，因為由於替換了像素值，應 當選擇階層間編碼，從而使在除特徵區域以外的區域中不具有差分。之後，將對分別選擇了幀間編碼、幀內編碼的情況進行說明。 如果選擇了階層間編碼，則差分像素圖像生成部296b生成表示特徵區域圖像和 擴大圖像間的像素值的差分的差分像素圖像。具體，差分像素圖像生成部296b根據除特徵 區域以外的區域的像素值被替換的特徵區域圖像和擴大圖像之間的差分，生成差分像素圖 像。由於已將特徵區域圖像中除特徵區域以外的區域的像素值替換為擴大的圖像的像素 值，因此，差分像素圖像生成部296b可以生成差分像素圖像，其中每個特徵區域具有特徵 區域圖像的像素值和擴大的圖像的像素值之間的差分，在除特徵區域以外的區域中不具有 像素值差分。如果選擇幀間編碼，則差分像素圖像生成部296b獲得由像素值變更部291b生成 的特徵區域圖像和由像素值變更部291b從其他動畫構成圖像中生成的特徵區域圖像之間 的差分。具體，差分像素圖像生成部296b獲得在特徵區域中包含的任何部分區域的圖像與 由差分獲得對象區域決定部294b針對該部分區域決定的差分獲得對象部分區域的圖像之 間的差分。因為已經將除特徵區域圖像的特徵區域以外的區域的像素值替換為擴大圖像的 像素值，所以差分像素圖像生成部296b生成差分像素圖像，其中在特徵區域中包含的部分 區域與由差分獲得對象區域決定部294b決定的部分區域之間的像素值具有差分，以及除 特徵區域以外的區域與由差分獲得對象區域決定部294b決定的部分區域之間的像素值具 有差分。如果選擇了幀內編碼，則差分像素圖像生成部296b通過獲得在包括在每個特徵 區域圖像中的每個區域圖像與同一特徵區域圖像中的另一區域的像素值之間的差分，或者 通過獲得在給定部分區域中的像素值與同一部分區域中的像素值之間的差分，來生成差分 像素圖像。空間頻域變換部297b逐個部分區域地，將差分像素圖像變換至空間頻域。具體， 和空間頻域變換部297a同樣地，空間頻域變換部297b通過離散餘弦變換(DCT)、哈達瑪變 換、或小波變換等，將每個部分區域變換至空間頻域。和量化部298a同樣地，量化部298b 量化通過空間頻域變換部297b變換至空間頻域的變換獲得的變換係數。頻域畫質變換部299b生成特徵區域差分圖像或特徵區域間差分圖像，上述圖像 是通過降低由空間頻域變換部297b變換至空間頻域的變換而得到的相應的部分區域的空 間頻率分量中的、包含特徵區域以外的區域的部分區域中的至少一個的空間頻率分量的數 據量而生成的。具體，頻域畫質變換部299b降低表示比預定的頻率高的頻率分量的任何變 換係數的大小。頻域畫質變換部299b可以把表示比預定的頻率高的頻率分量的變換係數 改變為0。這樣，差分處理部287b生成特徵區域圖像，其中每個特徵區域具有變換至空間頻 域的空間頻率分量(這是在特徵區域圖像與上述擴大的圖像之間的差分)，而除上述特徵 區域以外的區域降低了它們的空間頻率分量的數據量。編碼部288b對差分處理部287b生 成的特徵區域差分圖像進行編碼。 如上所述，差分處理部287b生成的特徵區域差分圖像表示在特徵區域圖像中的 每個特徵區域的圖像和在低畫質圖像中的每個特徵區域的圖像之間的差分圖像。更具體而 言，差分處理部287生成的特徵區域差分圖像表示在特徵區域圖像中的每個特徵區域的圖 像和在低畫質圖像中的每個特徵區域的擴大圖像之間的差分。
位置差信息生成部295b生成表示在除特徵區域以外的區域中包含的部分區域與 應當從中獲得差分的部分區域之間的位置差的位置差信息。具體，和位置差信息生成部 295a同樣地，位置差信息生成部295b生成表示要進行差分壓縮的部分區域和應當從中獲 得差分的差分獲得對象部分區域之間的位置差的位置差信息。注意，位置差信息包括用於 運動補償的運動矢量。位置差信息變更部290b改變位置差信息，從而位置差信息將表示應當獲得在除特徵區域以外的區域中包含的部分區域與同樣的位置的部分區域之間的差分。具體，位置 差信息變更部290b將除特徵區域以外的區域中包含的部分區域的位置差信息改變為表示 沒有位置差的信息。此外，位置差信息變更部290b從運動編碼部286a取得位置差信息，並 將除特徵區域以外的區域中包含的部分區域的位置差信息改變為表示沒有位置差的信息。 具體，位置差信息變更部290b把在除特徵區域以外的區域的運動矢量的長度改變為0。具 體，位置差信息變更部290b將從位置差信息生成部295b取得的運動矢量的長度改變為0 的同時，把從運動編碼部286a取得的運動矢量的長度改變為0。然後，運動編碼部286b編碼位置差信息。具體，與運動編碼部286a同樣地，運動 編碼部286b對一個部分區域的位置差信息與鄰接的部分區域的位置差信息之間的差進行 編碼。將經由運動編碼部286b編碼後的位置差信息提供給輸出部207。在本實施例中，位置差信息變更部290b改變了除特徵區域以外的區域的位置差 信息，不過，位置差信息變更部290b可以改變在被運動編碼部286b編碼而產生的編碼後的 圖像中的除特徵區域以外的區域的位置差信息。即，位置差信息變更部290b可以改變被運 動編碼部286b編碼後的位置差信息，從而該信息將會表示應當獲得除特徵區域以外的部 分區域與在同樣的位置的部分區域之間的差分。編碼部288b可以生成在除特徵區域以外的區域中不包括差分信息的編碼數據。 具體，可以生成在除特徵區域以外的區域中包括的部分區域中沒有差分信息的編碼數據。 運動編碼部286b可以生成在除特徵區域以外的區域中包括的部分區域中沒有位置差信息 的編碼數據。這樣，編碼部288b和運動編碼部286b生成通過不包括差分信息及位置差信 息來表示除特徵區域以外的區域中的圖像內容與其他動畫構成圖像中的同樣的區域中的 圖像內容相同。例如，編碼部288b和運動編碼部286b可以生成包括表示除特徵區域以外 的區域中包括的部分區域的圖像內容與其他動畫構成圖像中的相同區域的圖像內容相同 的一個種類的部分區域的編碼數據。例如，編碼部288b和運動編碼部286b可以生成包括表示除特徵區域以外的區 域中包括的部分區域通過簡單的幀間預測編碼模式進行編碼因而不具有變換係數的一 個種類的部分區域的編碼數據。例如，該類部分區域可以是相當於MPEG編碼中的NonMC NotCoded (NonMC 無運動補償的宏塊)(NotCoded不具有DCT係數碼的宏塊類型)。通過生 成包括表示運動矢量的長度及差分信息均為O的信息的編碼數據，編碼部288b和運動編碼 部286b能進一步降低編碼後的動畫構成圖像的代碼量。當確定包括上述編碼模式的預測 模式時，階層間差分壓縮部282b可以基於拉格朗日不定乘數的方法，選擇可以將速率失真 成本最小化的預測模式。階層間差分壓縮部282c和階層間差分壓縮部282d包括具有與階層間差分壓縮部 282b同樣的功能的組件。在以後的說明中，對於階層間差分壓縮部282c和階層間差分壓縮部282d具有的與階層間差分壓縮部282同名的組件賦予相同的符號。並且，根據符號的末 尾字母(b，c, d)，區別是由階層間差分壓縮部282b-d的哪個包括的組件。例如，運動分析部285c是階層間差分壓縮部282c具有的組件之一，運動分析部 285d成為階層間差分壓縮部282d具有的組件之一。在以下的說明中，符號的末尾沒有英文 字母的組件表示階層間差分壓縮部282b-d全體具有的被附加了該符號的組件。例如，「像 素值變更部291」表示像素值變更部291b-d中的每個。階層間差分壓縮部282c和階層間差分壓縮部282d的功能及操作與階層間差分壓縮部282b的功能及操作的不同之處在於階層間差分壓縮部282c和282d處理從畫質降 低部281取得的不同畫質的動畫，位置差信息變更部290c和290d以及圖像解碼部292c和 292d從處理更低畫質的動畫的另一階層間差分壓縮部282取得針對差分獲得目的的位置 差信息，以及針對差分獲得目的的動畫構成圖像。更具體，位置差信息變更部290c從運動編碼部286b取得位置差信息，並改變所取 得的位置差信息。圖像解碼部292c從運動編碼部286b取得位置差信息的同時，從編碼部 288b取得動畫構成圖像，並基於取得的位置差信息對取得的動畫構成圖像進行解碼。位置 差信息變更部290d從運動編碼部286c取得位置差信息，並改變所取得的位置差信息。圖 像解碼部292d從運動編碼部286c取得位置差信息的同時，從編碼部288c取得動畫構成圖 像，並基於所取得的位置差信息來解碼所取得的動畫構成圖像。特徵區域檢測部203從被輸入的動畫構成圖像中檢測出不同種類的多個特徵區 域。在這種情況下，畫質降低部281通過降低一個種類特徵區域的解析度，從輸入圖像中生 成一個特徵區域圖像，並生成另一特徵區域圖像，其中另一類特徵區域具有比前一特徵區 域圖像高的解析度。階層間差分壓縮部282b-c分別處理與特定種類的特徵區域相對應的 特徵區域圖像，其中至少一預定種類的特徵區域具有比圖像中的其餘區域高的解析度。具體，階層間差分壓縮部282b處理在包括全部的特徵區域的區域中具有最低分 辨率的低解析度特徵區域圖像。階層間差分壓縮部282c處理中解析度特徵區域圖像，其中 的預定種類的特徵區域具有比低解析度特徵區域圖像高的解析度。階層間差分壓縮部282d 處理高解析度特徵區域圖像，其中的另一預定種類的特徵區域具有高解析度。差分處理部287生成特徵區域差分圖像，在其中(1) 一個種類的特徵區域及另一 種類的特徵區域均具有被變換至空間頻域的空間頻率分量，它是一個特徵區域圖像和相應 的擴大的圖像之間的差分；(2)除一個種類的特徵區域以外的區域和另一種類的特徵區域 均具有降低了數據量的空間頻率分量。差分處理部287生成特徵區域間差分圖像，在其中(a) —個種類的特徵區域具有 被變換至空間頻域的空間頻率分量，它是一個特徵區域圖像和相應的擴大的圖像之間的差 分，以及(b)除一種特徵的特徵區域以外的區域具有降低了數據量的空間頻率分量；或者 生成特徵區域間差分圖像，在其中(i)另一種類的特徵區域具有被變換至空間頻域的空間 頻率分量，它是另一特徵區域圖像與擴大了另一特徵區域圖像中的特徵區域的擴大的圖像 之間的差分，以及(ii)除另一種類的特徵區域以外的區域具有降低了數據量的空間頻率 分量。編碼部288分別對特徵區域差分圖像、特徵區域間差分圖像、和低畫質圖像進行 編碼。輸出部207將被運動編碼部286a-d編碼的位置差信息及被編碼部288a_d編碼的動畫構成圖像(例如，低畫質圖像，特徵區域差分圖像，和特徵區域間差分圖像)多重化後輸
出O如以上說明，階層間差分壓縮部282a生成包括特徵區域的全圖像區域均具有低 畫質的動畫構成圖像，即，具有被輸入的動畫構成圖像的低空間頻率分量的動畫構成圖像。 階層間差分壓縮部282b生成具有比階層間差分壓縮部282a生成的圖像高、以及比階層間 差分壓縮部282c生成的圖像低的頻率分量的動畫構成圖像。在階層間差分壓縮部282b生 成的動畫構成圖像中，降低除特徵區域以外的區域與階層間差分壓縮部282a生成的動畫 構成圖像之間的差分。同樣，階層間差分壓縮部282c生成具有比階層間差分壓縮部282b生成的圖像高、 比階層間差分壓縮部282d生成圖像低的頻率分量的動畫構成圖像。階層間差分壓縮部 282d生成具有比階層間差分壓縮部282c生成的圖像高的頻率分量的動畫構成圖像。在階 層間差分壓縮部282c和階層間差分壓縮部282d生成的動畫壓縮圖像中，降低除特徵區域 以外的區域與由階層間差分壓縮部282b及282c生成的動畫構成圖像的差分。階層間差分壓縮部282b_d中的每個通過對預定種類的特徵區域具有比其他區域 高的畫質的動畫進行處理，可以向外提供其畫質根據特徵區域的種類而改變的動畫。這個 時候，階層間差分壓縮部282b-d基於另一階層間差分壓縮部282處理的低畫質動畫構成圖 像的差分進行壓縮，所以可以實現高效率地壓縮。當特徵區域檢測部203可以檢測多個特徵區域各自的特徵量時，針對多個特徵區 域的每個，可以計算表示所檢測出的特徵是特徵區域的可靠程度的可靠度。階層間差分壓 縮部282b-d壓縮特徵區域的圖像，其解析度是根據針對多個特徵區域中的每個而獲得的 特徵量及其可靠度進行調整的。例如，畫質降低部281可以根據針對每個特徵區域所獲得 的特徵量和可信度，對多個特徵區域的圖像解析度進行調整，並將調整後的圖像提供給階 層間差分壓縮部282。例如，當可靠度較低時，畫質降低部281可以將多個特徵區域的圖像 改變為比根據多個特徵預先確定的解析度高較多量的解析度。圖像處理裝置120通過對解析度不同的不同階層的多個圖像之間的差分進行編 碼來執行分級編碼。由此可明確，由圖像處理裝置120採用的壓縮方法包括根據H. 264/SVC 的壓縮方法。圖像處理裝置170取得分別由階層間差分壓縮部282a_d壓縮的多組動畫構成圖 像。圖像處理裝置170對所取得的多組動畫構成圖像中的每個進行解碼。圖像處理裝置 170將通過解碼而得到的多組動畫構成圖像中的相應圖像重疊，以生成合成圖像。圖像處理 裝置170向顯示裝置180提供包括生成的合成圖像作為其動畫構成圖像的動畫。特徵區域檢測部203能夠檢測ROI為包含人物的臉、人體、諸如手或頭之類的人體 的一部分、或者人以外的生物的至少一部分的部位的區域。這樣的生物體可以包括具有特 定內部成分的任何組織，如循環系統或器官。除了生物體之外，特徵區域檢測部203也可以 檢測出ROI為包括貨幣、諸如ATM卡之類的卡、車輛、或車輛的汽車牌照的區域。除了諸如模板匹配等圖形匹配方法以外，特徵區域檢測部203可以基於通過如被 特開2007-188419號公報記載的機器學習(例如，Adaboost)所獲得的結果來檢測出ROI。 例如，特徵區域檢測部203可以通過使用從預定對象的圖像中提取的圖像特徵量、以及除 預定對象以外的對象的圖像中提取的圖像特徵量，來學習從預定對象中提取的圖像特徵量的特徵。特徵區域檢測部203可以檢測出ROI為從中提取了包括與所學習的特徵相對應的 特徵的圖像特徵量的區域。這樣，特徵區域檢測部203可以檢測出ROI為在其中採集了預 定對象的圖像的區域。特徵區域檢測部203可以檢測出包括矩形的任意形狀的R0I。特徵區域檢測部203可以通過日本專利申請公開2008-078641號記載的方法檢測 出R0I。例如，特徵區域檢測部203通過以預定變薄比率(thinning rate)，使從中檢測對 象的採集圖像變薄；或以該預定變薄比率進一步使變薄的圖像逐步地變薄，從而生成包括 採集圖像和一張以上的變薄圖像(thinned image)的圖像組。然後，特徵區域檢測部203 對在所生成的圖像組裡面相對小的第一圖像應用第一濾波器，以計算評估值。在這裡，第一 濾波器作用於圖像中的二維區域，並生成表示在該區域內可能存在特定種類的目標的概率 的百分比的評估值。在分別作用於不同大小的區域(在該區域中對應於每個區域的大小的 所包括的像素數目以預定比率不同，或者以預定比率逐步不同)上的至 少兩個濾波器中， 第一濾波器可以是作用於相對窄的區域上的濾波器。特徵區域檢測部203從第一圖像中提 取得到了超過預定第一閾值的評估值的區域作為一次候選區域。然後，特徵區域檢測部203將濾波器中的第二濾波器應用於與一次候選區域相對 應的第二圖像中的區域，並計算評估值。第二圖像包括比第一圖像中的像素數目多一階 (step)的像素數目。第二濾波器作用於比應當應用第一濾波器的區域寬一階的區域。特徵 區域檢測部203提取從中獲得了超過預定第二閾值的評估值的區域作為二次候選區域。特徵區域檢測部203重複將準備分別用於不同大小的區域的多個濾波器中的任 意濾波器應用於圖像組中具有相應大小的區域的提取過程。這時，特徵區域檢測部203依 次執行對於較窄區域應用濾波器的提取過程和對於較寬區域應用濾波器的提取過程。具 體，特徵區域檢測部203依次執行將準備用於較窄區域的濾波器應用於較小圖像的提取過 程，以及將準備用於較寬區域的濾波器應用於較大圖像的提取過程。特徵區域檢測部203 重複該提取過程2次及以上，並提取最終候選區域，從而檢測出預定種類的目標。特徵區域 檢測部203檢測在其中存在預定種類的目標的區域作為R0I。這裡，在給定的提取過程中， 特徵區域檢測部203將濾波器僅應用於在緊接之前的提取過程中被提取的區域。因此，通 過重複的提取過程，可以重複地區分出在前一圖像中出現的目標在後續圖像中出現與否， 能夠更高精度地檢測出R0I。此外，因為首先用小尺寸的圖像對ROI進行粗濾波，所以能更 快速地檢測出ROI。特徵區域檢測部203可以通過日本專利申請公開2008-078636號記載的方法檢測 出R0I。例如，特徵區域檢測部203通過使用作用於所採集的圖像中預定大小的同一二維區 域的多個濾波器來計算預定種類的目標的輪廓及內部區域的任意特徵(該特徵不同於通 過多個濾波器中的任何其它濾波器計算的特徵)量，從而檢測出R0I。具體，特徵區域檢測 部203通過將多個濾波器應用於從中檢測對象的採集圖像中的預定大小的區域，來計算多 個特徵量。這裡，多個濾波器中的每個與由濾波器計算出的各特徵量與之進行比較以獲得 表示該特徵是預定種類的目標的概率百分比的一次評估值相關聯。基於該關聯，特徵區域 檢測部203區分與每個所計算的特徵量相對應的一次評估值。特徵區域檢測部203總計分 別針對多個濾波器而區分的多個一次評估值，從而獲得表示在濾波的區域中可能存在預定 種類的對象的概率百分比的二次評估值。特徵區域檢測部203將比較二次評估值與閾值進 行比較，如果在該區域中存在預定種類的目標的概率百分比大於該閾值，則提取存在預定種類的目標的該區域作為ROI。特徵區域檢測部203通過組合用於提取目標的輪廓和內部區域的各種特徵量的多個濾波器，可以比僅基於例如輪廓的形狀提取ROI的情況更加精確 地提取ROI。特徵區域檢測部203可以通過將日本專利申請公開2008-078636號記載的方法和 日本專利申請公開2008-078641號記載的方法進行組合來檢測出R0I。具體，結合日本專利 申請公開2008-078636號記載的方法說明的多個濾波器可以包括多組濾波器，每組濾波器 準備用於特定大小的區域，即，分別作用於不同大小的區域的多組濾波器，在這些區域中， 包括在每個區域中的像素數目與其他區域中的像素數目以預定比率不同，或以預定比率逐 步地不同。如上所述，每個濾波器可以與適合的評估值相關聯，通過以預定變薄比率使從中 檢測出目標的採集圖像變薄，或者以該變薄比率逐步使變薄圖像進一步變薄，特徵區域檢 測部203生成包括採集圖像和一張及以上的變薄圖像的圖像組。特徵區域檢測部203通過 將用於較窄區域的多個第一濾波器應用於在所生成的圖像組中相對小的第一圖像，來計算 多個特徵量。特徵區域檢測部203基於針對多個第一濾波器中的每個給定的關聯，區分所 計算的多個特徵中每個的特徵量的一次評估值。特徵區域檢測部203總計多個一次評估 值，從而獲得表示在濾波的區域中存在預定種類的目標的概率百分比的二次評估值。特徵 區域檢測部203將所獲得的二次評估值與第一閾值比較，如果在該區域中存在預定種類的 目標的概率百分比高於第一閾值，則提取該區域作為一次候選區域。特徵區域檢測部203通過將用於比多個第一濾波器所作用的區域寬一階的區域 的多個第二濾波器應用於與包括比第一圖像中的像素數目多一階的像素數目的圖像組中 的第二圖像中的一次候選區域相對應的區域，來計算多個特徵量。特徵區域檢測部203基 於針對多個第二濾波器中的每個給定的關聯，區分所計算的多個特徵中每個的特徵量的一 次評估值。特徵區域檢測部203總計分別與多個第二濾波器相對應的多個一次評估值，從 而獲得表示在與一次候選區域相對應的區域中存在預定種類的目標的概率百分比的二次 評估值。特徵區域檢測部203將所獲得的二次評估值與第二閾值比較，如果在該區域中存 在預定種類的目標的概率百分比高於第二閾值，則提取該區域作為二次候選區域。特徵區域檢測部203重複將準備分別用於不同大小的區域的多組濾波器中的每 組應用於圖像組中具有相應大小的區域以提取候選區域的提取過程。這時，特徵區域檢測 部203依次執行對於較窄區域應用一組濾波器的提取過程和對於較寬區域應用另一組濾 波器的提取過程。具體，特徵區域檢測部203依次執行將準備用於較窄區域的一組濾波器 應用於較小圖像的提取過程，以及將準備用於較寬區域的另一組濾波器應用於較大圖像的 提取過程。特徵區域檢測部203重複該提取過程2次及以上，並提取最終候選區域，從而檢 測出預定種類的目標。特徵區域檢測部203檢測在其中存在預定種類的目標的區域作為 ROI。特徵區域檢測部203可以通過日本專利申請公開2008-098600號記載的方法檢測 出R0I。例如，特徵區域檢測部203從由多個圖像採集裝置100採集的動畫所包括的多個採 集圖像中檢測出R0I。作為一個例子，假設圖像採集裝置IOOa及圖像採集裝置IOOb採集 相同的景色作為由對方採集的景色。例如，圖像採集裝置IOOa和圖像採集裝置IOOb可以 用作立體相機。在以下的說明，將圖像採集裝置IOOa採集的第一採集圖像和圖像採集裝置 IOOb採集的第二採集圖像稱為成對圖像。特徵區域檢測部203從成對圖像中檢測出在該成對圖像中採集的預定種類的目標，並檢測在其中存在該預定種類的目標的區域作為ROI。 特徵區域檢測部203從成對的第一和第二採集圖像中的每個中提取在其中採集 了預定種類的目標的區域。特徵區域檢測部203可以以低檢測精度檢測出在其中採集了預 定種類的目標的區域。特徵區域檢測部203通過從第一採集圖像中的提取區域中和第二採 集圖像中的提取區域中檢測一對對應區域(counterpart region)，來檢測出預定種類的目 標。例如，特徵區域檢測部203計算從該對對應區域中的每個至在所提取的區域中採集的 目標的距離。特徵區域檢測部203可以基於根據到該預定種類的目標的計算距離而獲得的 該目標的3維形狀，檢測出該目標。在檢測出一對對應區域時，特徵區域檢測部203把從成對的第一和第二採集圖像 中的每個中提取的區域(在該區域中採集了預定種類的目標)分成多個子區域。特徵區域 檢測部203計算貫通一些子區域的、將每個子區域中的部分圖像特徵化的特徵量的矢量。 例如，該特徵量可以是像素值。貫通一些子區域的矢量例如可以是梯度矢量(例如，像素值 梯度矢量)。特徵區域檢測部203計算第一圖像中所計算的矢量和第二圖像中所計算的矢 量之間的邏輯距離。如果矢量之間的邏輯距離小於預定值，則特徵區域檢測部203將由矢 量所貫穿的子區域構成的第一圖像中的區域和由矢量所貫穿的子區域構成的第二圖像中 的區域檢測為一對對應區域。例如，該邏輯距離可以是一個矢量的各個分量與另一矢量的 對應分量之間的差的平方和的平方根。特徵區域檢測部203可以從成對圖像中高精度地提 取一對對應區域，所以可以高精度地計算到目標的距離。因此，特徵區域檢測部203可以高 精度地識別對象的3維形狀，其結果是能高精度地檢測出預定種類的目標。特徵區域檢測部203可以通過日本專利申請2008-091562號記載的方法檢測出 R0L·例如，特徵區域檢測部203從動畫中包括的多個採集圖像中提取類似於預定種類的目 標的假定目標形狀，以及該假定目標形狀的尺寸和指示依據圖像採集裝置100視場角的假 定目標形狀的位置的位置信息。例如，依據視場角的位置信息可以是在每個採集圖像中的 圖像區域中的位置。特徵區域檢測部203判定所提取的假定對象形狀所表示的對象是否是 預定種類的目標，從而提取該預定種類的目標。例如，特徵區域檢測部203從假定目標形狀 所表示的對象周圍的預定檢索區域檢索出的相同尺寸的假定目標形狀所表示的對象進行 計數，在該計數值等於或大於閾值的情況下，可以提取該假定目標形狀所表示的對象作為 預定種類的目標。特徵區域檢測部203可以檢測在其中包括預定種類的目標的區域作為 R0L·因此，特徵區域檢測部203可以檢測從中集中檢測出具有接近預定尺寸的對象的、由 在圖像區域內存在的假定目標形狀所表示的對象，作為預定種類的目標。特徵區域檢測部 203不需要檢測具有存在於除該圖像區域以外的任何區域中的假定對象形狀的對象作為預 定種類的目標。因此，特徵區域檢測部203能夠降低將具有存在於除該圖像區域以外的任 何區域中的假定對象形狀的對象錯誤地檢測為預定種類的目標的概率。如果圖像採集裝置100能以可變視場角採集圖像，則依據視場角的上述位置信息 可以是例如在圖像採集裝置100採集圖像所沿方向，以及採集圖像中的位置。如果可以通 過使用多個圖像採集裝置100採集比由一個圖像採集裝置100採集的場深度更深的連續深 度的場，則依據視場角的位置信息例如可以是每個圖像採集裝置100採集圖像所沿方向， 和由每個圖像採集裝置100採集的採集圖像中的位置。 圖4示出了圖像處理裝置120輸出的示例性動畫。以簡化說明為目的，假設壓縮動畫取得部201取得的採集動畫數據的幀速率是16fps，該採集動畫數據中包括的動畫構 成圖像的解析度是72dpi。將比包括在採集動畫中的動畫構成圖像410解析度的低的包括在低畫質動畫420 中的動畫構成圖像的解析度比率提前設置為1/8。畫質降低部281通過使包括在採集動畫 中的動畫構成圖像的像素變薄，將解析度降低為原始值的1/8，來生成9dpi的動畫構成圖像。此外，將在把畫質降低為採集動畫的幀速率的畫質降低之後的低畫質動畫420的 幀速率比率提前設置為1/8。畫質降低部281通過使包括在採集動畫中的動畫構成圖像變 薄，將其幀速率降低為原始值的1/8，來生成具有2fps的幀速率的動畫。畫質降低部281向 階層間差分壓縮部282a提供生成的動畫。
同樣，與各個類型的特徵相關聯地，提前指定解析度比率及幀速率比率。可以針對 每種類型的對象來設置解析度比率及幀速率比率，這是該類特徵的示例。例如，對於作為動 態對象的特徵類型，將解析度比率及幀速率比率設置為1/4 ；對於作為人的身體的特徵類 型，將解析度比率及幀速率比率設置為1/2 ；以及對於作為人的頭部的特徵類型，將解析度 比率及幀速率比率設置為1/1。這種情況下，畫質降低部281生成幀速率為4fps、動畫構成圖像的解析度為18dpi 的動畫430，並將該動畫430提供給階層間差分壓縮部282b。畫質降低部281生成幀速率 為8fps、動畫構成圖像的解析度為32dpi的動畫440，並將該動畫430提供給階層間差分壓 縮部282c。從輸入動畫畫質控制部280向階層間差分壓縮部282d提供幀速率16fps、動畫 構成圖像的解析度72dpi的動畫450。這樣，畫質降低部281對應於每種類型的對象，生成 具有不同幀速率及空間解析度的動畫。圖5表示階層間差分壓縮部282輸出的動畫所包括的動畫構成圖像的內容的一個 例子。動畫構成圖像451-453包括在圖4的動畫450中。動畫構成圖像441及443包括在 圖4的動畫440中。動畫構成圖像431及421各自包括在動畫431及動畫421中。畫質降低部281從採集動畫中包括的同一單個動畫構成圖像中，生成動畫構成圖 像421、動畫構成圖像431、動畫構成圖像441、和動畫構成圖像451。畫質降低部281從採 集動畫中包括的其他動畫構成圖像中生成動畫構成圖像443及動畫構成圖像453。在本實施例中，特徵區域檢測部203檢測採集動畫所包括的動畫構成圖像中的特 徵區域為包含人的頭部的區域511、包含人的身體的區域521和包含移動物體的區域531。 將除區域511、區域521和區域531以外的區域設置為區域541。通過在區域的符號末尾添 加a，b，c或d來區分動畫構成圖像421、動畫構成圖像431、動畫構成圖像441、和動畫構成 圖像451中包括的每個區域。同樣，特徵區域檢測部203檢測從中產生動畫構成圖像443及動畫構成圖像453 的、原動畫構成圖像中的特徵區域為包含人的頭部的區域513、包含人的身體的區域523、 和包含移動物體的區域533。將除區域523及區域533以外的區域設置為區域543。通過 在區域的符號末尾添加c或d來區分動畫構成圖像443及動畫構成圖像453中包括的每個 區域。特徵區域檢測部203檢測從中生成動畫構成圖像452的原動畫構成圖像中的特徵 區域為包含人的頭部的區域512、包含人的身體的區域522、和包含移動物體的區域532。將除區域512、區域522、和區域532以外的區域設置為542。通過在區域的符號末尾添加d 來區分在動畫構成圖像453中包括的每個區域。把除動畫構成圖像中的特徵區域以外的區 域標記為區域542d。 階層間差分壓縮部282a如圖2所說明的一樣，通過針對動畫構成圖像421中的每 個部分區域的幀間壓縮或幀內壓縮，來壓縮動畫構成圖像421。提前設置階層間差分壓縮部 282b，以將動畫構成圖像壓縮為具有18dpi的解析度，這是針對移動物體分配的量。具體，圖像解碼部292b對被差分處理部287a壓縮處理過的動畫構成圖像進行解 碼。圖像擴大部293b將被解碼的動畫構成圖像擴大到與通過階層間差分壓縮部282b從畫 質降低部281取得的動畫構成圖像的解析度同樣的18dpi。這時，圖像擴大部293b可以通 過複製接近的像素的像素值、或者通過內插來擴大動畫構成圖像。像素值變更部291b利用由圖像擴大部293b生成的擴大圖像中的對應區域的像素 值，替換區域541b的像素值，該區域是畫質降低部281取得的動畫構成圖像431中除特徵 區域以外的區域。向差分像素圖像生成部296b提供包含替換像素值的圖像和由圖像擴大 部293b生成的擴大圖像。差分像素圖像生成部296b在區域541b中根據擴大圖像和具有 替換像素值的圖像之間的差分生成差分像素圖像。該差分像素圖像中區域541b的差分值 為0。差分像素圖像生成部296b生成的差分像素圖像如圖2相關說明那樣被壓縮及編 碼處理後，供給輸出部207。通過將這樣生成的動畫構成圖像431的區域531b和包含在通 過階層間差分壓縮部282a壓縮的動畫構成圖像421中的區域531a的放大圖像的圖像進行 組合，能夠得到在其中至少包含動畫的區域531b具有預定解析度的動畫構成圖像。以下說明階層間差分壓縮部282c針對動畫構成圖像431執行的處理。這裡，提前 設置階層間差分壓縮部282c將動畫構成圖像壓縮為具有32dpi的解析度，這是針對人的身 體分配的量。像素值變更部291c利用由圖像擴大部293c生成的擴大圖像中的對應區域的 像素值，替換區域541c和531c的像素值，該區域是在畫質降低部281取得的動畫構成圖像 441中包括的除特徵區域以外的區域。差分像素圖像生成部296c生成的差分像素圖像如圖2相關說明那樣被壓縮及編 碼處理後，供給輸出部207。通過將這樣壓縮的動畫構成圖像441的區域521c和包含動畫 構成圖像421中的區域521a和521b的擴大圖像的圖像進行組合，得到在其中至少包含人 的身體的區域521c具有預定解析度的動畫構成圖像。以下說明由階層間差分壓縮部282d針對動畫構成圖像451執行的處理。這裡，提 前設置階層間差分壓縮部282d將動畫構成圖像壓縮為具有64dpi的解析度，這是針對人的 頭部分配的量。像素值變更部291d利用由圖像擴大部293d生成的擴大圖像中的對應區域 的像素值，替換區域541d，區域521d，和區域521d的像素值，該區域是在從輸入動畫畫質控 制部280取得的動畫構成圖像451中包括的除特徵區域以外的區域。差分像素圖像生成部296d生成的差分像素圖像如圖2相關說明那樣被壓縮及編 碼處理後供給輸出部207。通過將這樣壓縮的動畫構成圖像451的區域511d和包含動畫構 成圖像441中的區域511c、動畫構成圖像421中的區域511b和區域511a的擴大圖像的圖 像進行組合，能夠獲得在其中包含人的頭部的區域511d具有預定解析度的動畫構成圖像。 在以上的說明中，像素值變更部291b_d為使差分像素圖像中的至少除特徵區域以外的區域的差分值為0，利用擴大圖像的像素值替換除特徵區域以外的像素值。該除特徵區域以外的區域是不包括預定特徵類型的區域，因而具有比該特徵區域低的解析度。然而， 根據其他的方法，也能使差分像素圖像的差分值為0。例如，像素值變更部291b_d可以將從畫質降低部281取得的動畫構成圖像的除特 徵區域以外的區域的像素值改變為預定值，也可以將在擴大圖像中與區域541對應的圖像 區域的像素值改變為預定值。這樣做，可以使差分像素圖像中的區域541的差分值為0，從 而實際降低除特徵區域以外的區域的信息量。這樣，像素值變更部291b_d從動畫構成圖像中生成特徵區域圖像，在其中以預定 值替換除特徵區域以外的區域的像素值、及擴大圖像中除特徵區域以外的區域的像素值。 差分像素圖像生成部296根據，特徵區域圖像和擴大圖像(二者均在除特徵區域以外的區 域具有替換後的像素值)之間的差分生成差分像素圖像。像素值變更部291b_d可以利用通過放大提供給位於較低階層的階層間差分壓縮 部282的動畫構成圖像而得到的擴大圖像中的對應區域的像素值，替換從畫質降低部281 取得的動畫構成圖像的除特徵區域以外的區域的像素值。這樣做，可以將差分像素圖像的 差分值大體設置為0，能實際降低除特徵區域以外的區域的信息量。此外，在將動畫構成圖像輸入階層間差分壓縮部282b_d之前，可以通過使用輸入 動畫畫質控制部280調整動畫構成圖像中的各區域的畫質，將差分像素圖像中的差分值大 體設置為0。例如，輸入動畫畫質控制部280可以對動畫構成圖像的除特徵區域以外的區域 應用低通濾波，並可以對動畫構成圖像中的各特徵區域應用低通濾波器，這些低通濾波器 具有根據包含在特徵區域中的特徵類型的預定特徵。優選提前確定低通濾波器的特性，以使得應用了低通濾波器的動畫構成圖像具有 與由圖像擴大部293b-d擴大的圖像的圖像特性類似的圖像特性，從而差分像素圖像的差 分值接近於0。具體，優選低通濾波器具有根據通過畫質降低部281降低的像素的量、量化 部298a-c的量化特性、和在圖像擴大部293b-d中的擴大處理的方法的特性。作為另一變體，頻域畫質變換部299b_d可以降低在除特徵區域以外的區域的信 息量。例如，頻域畫質變換部299b-d可以將由量化部298b量化的變換係數中，除特徵區域 以外的區域中包括的部分區域的變換係數的值設為0。以上所述的所謂除特徵區域以外的 區域可以指動畫構成圖像441中的531c、和動畫構成圖像451中的521d和531d。以下說明差分處理部287b_d所使用的壓縮特徵區域圖像的方法。在以下的說明 中，以階層間差分壓縮部282d壓縮區域511d的情況為例進行說明，不過，階層間差分壓縮 部282b和階層間差分壓縮部282c也能通過同樣的方法壓縮其他區域(例如，區域521c和 區域531b)。差分處理部287d通過運動分析部285d接收作為壓縮對象的部分區域的圖像信 息、以及作為差分獲得對象的部分區域的圖像信息。差分處理部287d還接收擴大圖像中的 部分區域的圖像。差分處理部287b選擇用於壓縮作為壓縮對象的部分區域圖像的方法。 差分處理部287b所選擇的方法包括(i)根據在作為壓縮對象的部分區域圖像和作為差分 獲得對象的部分區域圖像之間的差分的壓縮方法(以下，稱「幀間壓縮」)；( )根據在作 為壓縮對象的部分區域圖像和在擴大圖像的部分區域圖像之間的差分的壓縮方法(以下， 稱「階層幀間壓縮」)；以及(iii)不使用作為差分獲得對象的部分區域圖像及擴大圖像中的部分區域圖像，對作為壓縮對象的部分區域圖像進行壓縮的壓縮方法(以下，稱「幀內壓 縮」)。例如，差分處理部287d優先選擇上述三個壓縮方法裡面能獲得最高壓縮率的壓 縮方法。例如，差分處理部287d在作為壓縮對象的部分區域中的像素值的分布中的變量 (例如，像素值的直方柱狀圖的半寬度)比預定量大的情況下，優先選擇幀間壓縮或階層幀 間壓縮而非幀內壓縮。差分處理部287d在作為壓縮對象的部分區域和作為差分獲得對象的部分區域之間的圖像差分比作為壓縮對象的部分區域和擴大圖像中的對應部分區域之間的圖像差分 大時，優先選擇階層幀間壓縮而非幀間壓縮。差分處理部287d可以選擇以最高壓縮率壓縮 圖像的壓縮方。以下說明階層間差分壓縮部282d針對動畫構成圖像452執行的處理。階層間差 分壓縮部282d可以生成表示這些區域與動畫450中包括的與其他動畫構成圖像(例如，動 畫構成圖像451)中的相同區域的圖像一樣的圖像信息，作為表示區域542d和區域532d的 圖像的圖像信息。即，位置差信息變更部290d將針對這些區域的位置差信息設置為0。如 上所述，像素值變更部291d改變區域542d和區域532d的像素值，以使相對低解析度層級 的圖像的像素的差分為0。在這裡所謂的低解析度層級的圖像可以是從最近的動畫構成圖 像生成的低層的動畫構成圖像(例如，動畫構成圖像441)。當壓縮動畫構成圖像452中的區域512d時，差分處理部287d選擇用於壓縮在區 域512d和區域511d之間的差分圖像的方法和用於壓縮區域512d與區域511c之間的差分 圖像的方法中壓縮率最高的壓縮方法。差分處理部287d用所選壓縮方法壓縮區域512d。可以通過與動畫構成圖像452相關說明的壓縮方法、以及與動畫構成圖像441及 動畫構成圖像451相關說明的壓縮方法的組合，對動畫構成圖像453及動畫構成圖像443 進行壓縮。因此，省略的由階層間差分壓縮部282d和階層間差分壓縮部282c針對動畫構 成圖像453及動畫構成圖像443的處理的說明。在上述中，像素值變更部291b_d、位置差信息變更部290b_d和頻域畫質變換部 299b-d改變變換係數、運動矢量和像素值，以設置除特徵區域以外的區域的圖像信息為0 或基本等於0。然而，像素值變更部291b-d、位置差信息變更部290b-d和頻域畫質變換部 299b-d可以在任意定時處保持除特徵區域以外的區域的預定圖像信息。例如，像素值變更 部291b-d不進行在預定定時替換除特徵區域以外的區域的像素值，從而可以在預定定時 提供更高畫質的除特徵區域以外的區域的圖像。如上所述，特徵區域檢測部203在動畫所包括的多個動畫構成圖像中檢測出具有 不同類型的特徵的多個特徵區域。然後，像素值變更部291b針對每一個動畫構成圖像，通 過降低具有一種類型的特徵的特徵區域的解析度，生成動畫構成圖像的一個特徵區域圖 像，也生成包含具有比前述特徵區域圖像的解析度高的其他特徵類型的動畫構成圖像的其 他特徵區域圖像。差分處理部287基於從多個動畫構成圖像中生成的多個特徵區域圖像， 生成多個特徵區域差分圖像及多個特徵區域間差分圖像。編碼部288分別對包括多個特 徵區域差分圖像的特徵區域差分動畫、包括多個特徵區域間差分圖像的特徵區域間差分動 畫、以及包括多個低畫質圖像的低畫質動畫進行編碼。畫質降低部281從以預定間隔被選中的多個動畫構成圖像中生成多個低畫質圖像，也從以比預定間隔短的、對應於特徵類型的間隔被選中的多個動畫構成圖像中生成多個特徵區域圖像。差分處理部287從多個低畫質圖像及多個特徵區域圖像中生成多個特徵 區域差分圖像及多個特徵區域間差分圖像，所述多個低畫質圖像及多個特徵區域圖像是從 畫質降低部281所選擇的多個動畫構成圖像中生成的。當差分處理部287可以生成多個特 徵區域差分圖像和多個特徵區域間差分圖像時，在不存在具有比由同樣的動畫構成圖像生 成的特徵區域差分圖像或特徵區域間差分圖像低的解析度的特徵區域圖像或低畫質圖像 的情況下，差分處理部287以鄰近定時從由動畫構成圖像生成的低畫質圖像或特徵區域圖 像中，生成特徵區域差分圖像或特徵區域間差分圖像。圖6表示另一實施例的圖像處理系統20的一個例子。在本實施例的圖像處理系 統20除了去除了圖像處理裝置120，而作為替代，圖像採集裝置lOOa-d包括圖像處理部 1604a-d (以下，總稱為圖像處理部1604) —點之外，具有與圖1已經說明過的圖像處理系統 10的構成相同。圖像處理部1604包括圖像處理裝置120的組件，除去壓縮動畫取得部201及壓縮 動畫解壓縮部202。圖像處理部1604中包括的各組件的功能及操作與圖像處理裝置120中 包括的各組件的功能及操作大體上相同，除了圖像處理部1604的組件處理通過圖像採集 部102採集的採集動畫，這不同於圖像處理裝置120中的組件處理通過壓縮動畫解壓縮部 202的解壓縮處理而得到的採集動畫。具有這樣構成的圖像處理系統20也能獲得與參照圖 1到圖5說明的圖像處理系統10同樣的效果。圖像處理部1604可以從圖像採集部102取得包括以RAW格式表示的多個動畫構 成圖像的採集動畫。圖像處理部1604從以RAW格式表示的多個動畫構成圖像的每個中檢 測出一個及以上的特徵區域。圖像處理部1604以取得的採集動畫中包括的RAW格式原樣 壓縮多個動畫構成圖像。這時，圖像處理部1604能通過結合參照圖1到圖5的圖像處理裝 置120的操作而說明的壓縮方法，來壓縮採集動畫。圖像處理裝置170通過解壓縮從圖像處理部1604中取得的壓縮動畫，能夠取得以 RAW格式表示的多個動畫構成圖像。圖像處理裝置170可以針對通過解壓縮而取得的RAW 格式的多個動畫構成圖像，在區域單元、即，在除特徵區域以外的每個區域單元及多個特徵 區域中每個區域單元，實施顏色估計(同步化處理)。這個時候，圖像處理裝置170也可以 針對特徵區域中執行比針對除特徵區域以外的區域更高精度的顏色估計(同步化處理)。圖像處理裝置170可以對通過同步化處理而得到的動畫構成圖像的特徵區域的 圖像，實施超解析度處理。圖像處理裝置170的超解析度處理可以是如日本專利申請公 開2006-350498號公報記載的基於主要成分分析的處理，或者是如在日本專利申請公開 2004-88615號公報記載的基於目標運動的處理。圖像處理裝置170可以單獨對每個特徵區域中的目標應用超解析度處理。例如， 在特徵區域包括人臉圖像時，圖像處理裝置170可以對每個作為目標的一個例子的臉部位 (例如，眼、鼻、口等)，應用超解析度處理。這種情況下，圖像處理裝置170針對如眼、鼻、口 等的每個臉部位存儲學習數據，如在日本專利申請公開2006-350498號公報記載的主要成 分分析(PCA)的模型。圖像處理裝置170可以通過使用在針對每個特徵區域中包括的臉部 位選擇出的學習數據，對該臉部位的圖像執行超解析度處理。這樣，圖像處理裝置170能用主要成分分析(PCA)重新構成特徵區域的圖像。作為圖像重構技術及針對該圖像重構技術的學習技術，圖像處理裝置170除通過主要成 分分析(PCA)的學習和圖像重構以外，還可以採用局部保存投影(locality preserving projection :LPP)，線形辨別分析(Linear Discriminant Analysis :LDA)，獨立成分分析 (Independent component analysis :ICA)，多維定標(multidimensionalscaling :MDS)，支 持矢量機(support vector regression)，神經網絡(neuralnetwork,),隱藏馬爾可夫模型 (hidden Markov model, )，Bayes推論，最大後驗概率估計，反覆逆投影，小波變換，局部線 形嵌入(locallylinear embedding :LLE)，馬爾可夫隨機場(Markov random field :MRF)寸。除了如在日本專利申請公開2006-350498號公報記載的模型以外，學習數據可以包括從目標的多數的樣品圖像分別提取的目標圖像的低頻率分量及高頻分量。在這裡，針 對多個種類的目標中的每一個，採用K平均法等，將目標的圖像中的低頻率分量組合成簇， 從而可以將每個種類的目標的圖像中的低頻率分量組合成多個簇。可以針對每個簇，確定 具有代表性的低頻率分量(例如，簇的重心值)。圖像處理裝置170從在動畫構成圖像中的特徵區域中包括的目標的圖像中提取 低頻率分量。圖像處理裝置170，從準備用於相應類別的目標的樣品圖像中提取的低頻率分 量的簇中，指定其所確定的代表性低頻率分量是匹配任何所提取的低頻率分量的值的任何 簇。圖像處理裝置170指定與包括在指定簇中的低頻率分量相關聯的高頻率分量的簇。這 樣做，圖像處理裝置170能夠指定從動畫構成圖像中包括的目標中提取的低頻率分量相關 的高頻分量的簇。圖像處理裝置170通過使用高頻分量的指定簇的代表性高頻分量，可以將目標的 圖像改變成更高畫質的圖像。例如，圖像處理裝置170可以進行從各目標中心到臉上的處 理對象位置的距離對應的加權，將針對每個目標選擇的高頻成分加到每個目標的圖像上。 該代表性高頻成分可以由閉環學習生成。由於圖像處理裝置170根據學習每個目標而生成 的學習數據，對每個目標選擇所期望的學習數據，所以有時能夠以更高的精度將目標的圖 像高畫質化。在有關圖1 圖5說明的圖像處理系統10構成中，圖像處理裝置170也能對 特徵區域的圖像實施上述的超解析度處理。在基於如在日本專利申請公開2006-350498號公報記載的主要成分分析的超分 辨率處理中，由主要成分矢量及加權係數表示目標的圖像。這些的加權係數及主要成分矢 量的數據量大幅度小於目標的圖像所包括的像素數據的數據量。因此，圖像處理部1604在 壓縮從圖像採集部102取得的多個動畫構成圖像中的特徵區域的圖像的壓縮處理中，根據 特徵區域包括的目標的圖像算出上述加權係數。即，圖像處理部1604能夠通過以主要成分 矢量及加權係數表示包括在特徵和區域中的目標的圖像，來對該圖像進行壓縮。圖像處理 部1604可以將主要成分矢量及加權係數傳送至圖像處理裝置170。在這種情況下，圖像處理裝置170能夠採用從圖像處理部1604取得的主要成分矢 量及加權係數，重構特徵區域中包括的目標的圖像。當然，圖像處理部1604，除了利用基於 在日本專利申請公開2006-350498號公報記載的主要成分分析的模型以外，還能夠利用由 各種特徵參數表現目標的模型，來壓縮特徵區域包括的目標的圖像。圖7示出圖像處理裝置120的示例性硬體配置。圖像處理裝置120及圖像處理裝 置170包括CPU周邊部、輸入/輸出部以及傳統的輸入、輸出部。CPU周邊部包括通過主控制器1582彼此連接的CPU1505、RAM1520、圖解控制器1575、以及顯示器件1580。輸入/輸 出部包括通過輸入/輸出控制器1584連接到主控制器1582的通信接口 1530、硬碟驅動器 1540、以及⑶-ROM驅動器1560。傳統的輸入/輸出部包括連接到輸入/輸出控制器1584 的R0M1510、軟盤驅動器1550、以及輸入輸出晶片1570。主控制器1582將以高傳輸速率訪問RAM1520的CPU1505和圖解控制器1575與 RAM1520連接。CPU1505根據存儲在R0M1510和RAM1520上的程序運行，以控制每個組件。 圖解控制器1575獲得CPU1505等在RAM1520內設置的幀緩衝器上生成的圖像數據，並使得 顯示器件1580顯示獲得的圖像數據。可選擇地，圖解控制器1575可包括存儲由CPU1505 等生成的圖像數據用的幀緩衝器。輸入輸出控制器1584將以相對高速運行的輸入/輸出器件，即硬碟驅動器1540、 通信接口 1530、、CD-ROM驅動器1560連接到主控制器1582。硬碟驅動器1540存儲CPU1505 使用的程序和數據。通信接 口 1530與網絡通信裝置1598連接，收發程序或數據。⑶-ROM 驅動器1560從⑶-ROMl595中讀取程序和數據，並通過RAMI520向硬碟驅動器1540及通信 接口 1530提供所讀取的程序和數據。在輸入/輸出控制器1584上還連接相對低速運行的輸入/輸出裝置，即R0M1510、 軟盤驅動器1550以及輸入輸出晶片1570。在R0M1510上存儲由圖像處理裝置120在啟動 時執行的啟動程序，或依賴於圖像處理裝置120硬體的程序等。軟盤驅動器1550從軟盤 1590讀取程序和數據，並通過RAM1520向硬碟驅動器1540及通信接口 1530提供讀取的程 序和數據。輸入/輸出晶片1570，例如連接軟盤驅動器1550，或通過並行口、串行口、鍵盤 埠、滑鼠埠等連接各種輸入/輸出裝置。CPU1505執行的程序是由用戶在其存儲於例如軟盤1590、⑶-R0M1595和IC卡等 記錄介質上提供的。被記錄介質存儲的程序可以是壓縮的也可以是非壓縮的。程序從介質 被安裝到硬碟驅動器1540中，通過RAM1520讀取，並由CPU1505執行。被CPU1505執行的 程序使圖像處理裝置120具有如參照圖1至6描述的壓縮動畫取得部201、壓縮動畫伸展部 202、輸入動畫畫質控制部280、畫質降低部281以及階層間差分壓縮部282的功能。以上所示程序，也可以存儲在外部的記憶介質中。作為記憶介質，除軟盤1590、 ⑶-R0M1595以外，還能夠使用DVD或用PD等的光學記錄介質、MD等的光磁記錄介質、磁帶 介質，IC卡等的半導體存儲器等。同時，還可以利用專用通訊網絡或者網際網路上連接的服 務器系統設置的硬碟或RAM等的存儲裝置，作為記錄介質使用，作為藉助網絡的程序提供 給圖像處理裝置120。以上，用實施例說明了本發明，不過，本發明的技術範圍不受上述實施例記載的範 圍所限定。本區域技術人員清楚，可對上述實施的形態，多種多樣的進行變形及改進。從權 利要求的範圍可以明白這樣的變形及改進均被包括在本發明技術範圍內。
權利要求
一種圖像處理裝置，包括特徵區域檢測部，用於從輸入圖像中檢測出特徵區域；圖像生成部，用於從所述輸入圖像生成降低了畫質的低畫質圖像、以及至少在所述特徵區域中具有比所述低畫質圖像更高畫質的特徵區域圖像；差分處理部，用於生成表示所述特徵區域圖像中的特徵區域的圖像與所述低畫質圖像中的所述特徵區域的圖像之間的差分圖像的特徵區域差分圖像；以及編碼部，用於分別對特徵區域差分圖像和低畫質圖像進行編碼。
2.根據權利要求1記載的圖像處理裝置，其中所述圖像生成部生成從輸入圖像降低了解析度而得到的低畫質圖像，所述差分處理部生成所述特徵區域圖像中的所述特徵區域的圖像與將所述低畫質圖 像中的特徵區域的圖像擴大後的圖像之間的所述特徵區域差分圖像。
3.根據權利要求2記載的圖像處理裝置，其中所述差分處理部生成特徵區域差分圖像，所述特徵區域差分圖像是在所述特徵區域中 具有將所述特徵區域圖像與所述擴大後的圖像之間的差分轉換為空間頻域的空間頻率分 量、而在除所述特徵區域以外的區域中具有降低了所述空間頻率分量的數據量的特徵區域 差分圖像。
4.根據權利要求3記載的圖像處理裝置，其中所述特徵區域檢測部從所述輸入圖像中檢測出具有不同特徵類型的多個特徵區域，所述圖像生成部通過在包含一種類型的特徵的特徵區域中降低解析度，從所述輸入圖 像中生成一個特徵區域圖像，以及生成包含另一類型的特徵的另一特徵區域圖像，所述另 一特徵區域圖像比特徵區域處的所述一個特徵區域圖像具有更高解析度；所述差分處理部生成(i)特徵區域差分圖像，在其中包含一種類型的特徵的特徵區域 具有空間頻率分量，而在包含一種類型的特徵的特徵區域以外的區域具有降低了數據量的 空間頻率分量，所述空間頻率分量是通過將擴大後的圖像與所述一個特徵區域圖像之間的 差分變換至空間頻域而得到的；以及(ii)特徵區域間差分圖像，在其中包含另一種類型的 特徵的特徵區域具有空間頻率分量，而包含所述另一種類型的特徵的特徵區域以外的區域 具有降低了數據量的空間頻率分量，所述空間頻率分量是通過將所述另一特徵區域圖像與 其中擴大了特徵區域的所述另一特徵區域圖像中的擴大圖像之間的差分變換至空間頻域 而得到的；以及編碼部所述對特徵區域差分圖像、特徵區域間差分圖像、以及低畫質圖像進行編碼。
5.根據權利要求4記載的圖像處理裝置，其中所述差分處理部生成特徵區域差分圖像，所述特徵區域差分圖像在具有所述一種類 型的特徵的特徵區域及具有所述另一種類型的特徵的特徵區域中，具有將所述擴大後的圖 像和所述一個特徵區域圖像之間的差分轉換至空間頻域後獲得的空間頻率分量；以及在除 具有所述一種類型的特徵的特徵區域及具有所述另一種類型的特徵的特徵區域以外的區 域中，具有數據量被降低的空間頻率分量。
6.根據權利要求5記載的圖像處理裝置，其中所述特徵區域檢測部，從作為所述輸入圖像的動畫所包括的多個動畫構成圖像中，檢 測出具有不同特徵類型的多個特徵區域；所述圖像生成部從所述每一個動畫構成圖像中，(i)通過在包含一種類型的特徵的特 徵區域降低解析度，而生成一個特徵區域圖像，以及(ii)在包含另一種類型的特徵的特徵 區域，生成具有比所述一個特徵區域高的解析度的另一特徵區域圖像；所述差分處理部從由所述圖像生成部從所述多個動畫構成圖像分別生成的多個特徵 區域圖像中，生成多個特徵區域差分圖像以及多個特徵區域間差分圖像；以及所述編碼部分別對包括所述多個特徵區域差分圖像的特徵區域差分動畫、包括所述多個特徵 區域間差分圖像的特徵區域間差分動畫、以及包括多個所述低畫質圖像的低畫質動畫進行編碼。
7.根據權利要求6記載的圖像處理裝置，其中所述圖像生成部，從以預定間隔選擇的所述多個動畫構成圖像中生成所述多個低畫質 圖像，以及從以比所述預定間隔短的、對應於所述類型的特徵的間隔選擇的所述多個動畫 構成圖像中生成所述多個特徵區域圖像。
8.根據權利要求7記載的圖像處理裝置，其中所述差分處理部從由所述圖像生成部選擇的所述多個動畫構成圖像中生成的所述多 個低畫質圖像及所述多個特徵區域圖像中，生成所述多個特徵區域差分圖像及所述多個特 徵區域間差分圖像。
9.根據權利要求8記載的圖像處理裝置，其中所述差分處理部，在生成所述特徵區域差分圖像或所述特徵區域間差分圖像時，在不 存在具有比從同樣的動畫構成圖像中生成的特徵區域差分圖像或特徵區域間差分圖像低 的解析度的特徵區域圖像或低畫質圖像的情況下，以鄰近定時從由動畫構成圖像生成的低 畫質圖像或特徵區域圖像中，生成特徵區域差分圖像或特徵區域間差分圖像。
10.根據權利要求9記載的圖像處理裝置，其中所述差分處理部包括差分像素圖像生成部，用於生成在特徵區域具有等於在所述特徵區域中的所述特徵區 域圖像與所述擴大後的圖像之間的像素值的差分的差分值，但在除所述特徵區域以外的區 域中不具有所述差分值的差分像素圖像；空間頻域變換部，用於通過針對每個部分區域，將所述差分像素圖像轉換至空間頻域， 生成所述特徵區域差分圖像或所述特徵區域間差分圖像。
11.根據權利要求10記載的圖像處理裝置，其中所述圖像生成部從所述輸入圖像生成特徵區域圖像，在其中利用擴大後的圖像的像素 值替換除所述特徵區域以外的區域的像素值；所述差分像素圖像生成部根據擴大後的圖像和替換了除所述特徵區域以外的區域的 像素值的所述特徵區域圖像之間的差分，生成所述差分像素圖像。
12.根據權利要求10記載的圖像處理裝置，其中所述圖像生成部從所述輸入圖像中生成特徵區域圖像，在所述特徵區域圖像中以預定 值替換在除所述特徵區域以外的區域的像素值、以及在除所述擴大的圖像中的所述特徵區 域以外的區域的像素值，所述差分像素圖像生成部根據所述特徵區域以外的區域的像素值被置換後的，所述擴 大後的圖像和所述特徵區域圖像之間的差分生成所述差分像素圖像。
13.根據權利要求9記載的圖像處理裝置，其中所述差分處理部包括差分像素圖像生成部，用於生成表示所述特徵區域圖像和所述擴大後的圖像之間的像素值的差分的差分像素圖像；空間頻域變換部，用於針對每個部分區域，將所述差分像素圖像轉換至空間頻域；以及 頻域畫質變換部，用於通過降低由所述空間頻域變換部轉換至空間頻域而得到的多個 部分區域的空間頻率分量中的、包含所述特徵區域以外的區域的至少一部分部分區域的所 述空間頻率分量的數據量，生成所述特徵區域差分圖像或所述特徵區域間差分圖像。
14.根據權利要求10記載的圖像處理裝置，還包括差分獲得對象區域決定部，用於決定為確定所述特徵區域圖像和差分獲得對象部分區 域自身中的部分區域圖像之間的差分而使用的差分獲得對象部分區域，所述差分獲得對象 部分區域是從不同的動畫構成圖像中生成的特徵區域圖像中的部分區域；位置差信息生成部，用於生成包括在除所述特徵區域以外的區域中的、表示用作差分 獲得對象的部分區域的位置差的位置差信息；位置差信息變更部，用於改變所述位置差信息，以表示在彼此相同的位置處的、除所述 特徵區域以外的區域中包括的部分區域之間取得差分；以及 運動編碼部，用於對所述位置差信息進行編碼，其中所述差分像素圖像生成部生成差分像素圖像，所述差分像素圖像在所述特徵區域中包 含的部分區域中，具有等於所述部分區域圖像與差分獲得對象部分區域之間的像素值的差 分的差分值，但在除所述特徵區域以外的區域中不具有差分值。
15.根據權利要求13記載的圖像處理裝置，還包括差分獲得對象區域決定部，用於確定從不同的動畫構成圖像中生成的特徵區域圖像中 的部分區域，以用於取得所述特徵區域圖像與所述部分區域自身之間的差分；位置差信息生成部，用於生成包括在除所述特徵區域以外的區域中的、表示用作差分 獲得對象的部分區域的位置差的位置差信息；運動編碼部，用於對所述位置差信息進行編碼；以及位置差信息變更部，用於改變被所述運動編碼部編碼後的所述位置差信息，以表示在 彼此相同的位置處的、除所述特徵區域以外的區域中包括的部分區域之間取得差分。
16.一種圖像處理方法，包括以下步驟 從輸入圖像中檢測出特徵區域；從所述輸入圖像中生成降低了畫質的低畫質圖像、以及至少在所述特徵區域中具有比 所述低畫質圖像更高畫質的特徵區域圖像；生成表示所述特徵區域圖像中的特徵區域的圖像與所述低畫質圖像中的所述特徵區 域的圖像之間的差分圖像的特徵區域差分圖像；以及分別對所述特徵區域差分圖像和所述低畫質圖像進行編碼。
17.一種圖像處理裝置用程序，使所述圖像處理裝置具有如下功能 特徵區域檢測部，用於從輸入圖像中檢測出特徵區域；圖像生成部，用於從所述輸入圖像生成降低了畫質的低畫質圖像、以及至少在所述特 徵區域中具有比所述低畫質圖像更高畫質的特徵區域圖像；差分處理部，用於生成表示所述特徵區域圖像中的所述特徵區域的圖像與所述低畫質 圖像中的所述特徵區域的圖像之間的差分圖像的特徵區域差分圖像；以及 編碼部，用於分別對所述特徵區域差分圖像和所述低畫質圖像進行編碼。
全文摘要
本發明提供圖像處理裝置，包括從輸入圖像中檢測出特徵區域的特徵區域檢測部；從輸入圖像中生成降低了畫質的低畫質圖像、以及至少在特徵區域具有比低畫質圖像更高的畫質的特徵區域圖像的圖像生成部；生成表示特徵區域圖像中的特徵區域的圖像與低畫質圖像中的特徵區域的圖像之間的差分圖像的特徵區域差分圖像的差分處理部；以及對特徵區域差分圖像和低畫質圖像分別進行編碼的編碼部。
文檔編號H04N7/32GK101803389SQ20088010641
公開日2010年8月11日 申請日期2008年9月4日 優先權日2007年9月10日
發明者野口幸典, 龜山祐和 申請人:富士膠片株式會社