圖像處理裝置、圖像處理方法、程序、印刷介質以及記錄介質的製作方法
2023-05-23 11:04:26
圖像處理裝置、圖像處理方法、程序、印刷介質以及記錄介質的製作方法
【專利摘要】針對圖像數據，進行基於作為沒有方位性的近似濾波器以及具有各方位性的多個細節濾波器的集合的、具有次數的廣義風車小框架或風車小波框架的多解析度分解，並獲取子帶信號，在獲取基於多解析度分解的分解階段的子帶信號的處理圖像數據、或者通過將多解析度分解的合成階段的子帶信號相加而重構圖像後的處理圖像數據的情況下，進行使與濾波器的至少一個對應的、多解析度分解的分解階段中的子帶信號衰減或放大的處理。
【專利說明】圖像處理裝置、圖像處理方法、程序、印刷介質以及記錄介 質
【技術領域】
[0001] 本發明涉及一種圖像處理裝置、圖像處理方法、程序、印刷介質以及記錄介質。
【背景技術】
[0002] 以往，曾開發出針對原始圖像進行清晰度（圖像銳化）或邊緣檢測等圖像處理的 方法。
[0003] 例如，在非專利文獻1所記載的程序產品中，為了進行圖像銳化而進行局部對比 度控制，以使檢測出邊緣較亮的一側的像素並使其更亮，且檢測出邊緣較暗的一側的像素 並使其更暗。
[0004] 另外，在非專利文獻2所記載的方法中，作為人的初期視覺信息處理的數理模型， 使用最大重疊雙正交小波濾波器組，針對灰度的原始圖像進行非線性處理。
[0005] 另外，以往，作為邊緣檢測的方法，使用單純濾波的方法或小波的方法廣為人知 (參照非專利文獻6, 7)。
[0006] 現有技術文獻
[0007] 非專利文獻
[0008] 非專利文獻 1 :Adobe Systems Incorporated，"Photoshop 的幫助 & 支持 / 高度 清晰化的方法"，[on line]，2006年4月6日完成，[平成24年5月9日檢索]，網絡〈URL : http ：//www. adobe.com/jp/designcenter/photoshop/articles/ph scs2at_advsharpen. html>
[0009] 非專利文獻 2 :Hitoshi Arai，"A Nonlinear Model of Visual Information Processing Based on Discrete Maximal Overlap Wavelets"， Interdisciplinary Information Sciences，Vol. 11，No. 2, pp. 177 ?190 (2005) ·
[0010] 非專利文獻 3 :Hitoshi Arai and Shinobu Arai，2D tight framelets with orientation selectivity suggested by vision science，JSIAM Letters Vol. 1，pp.9? 12(2009).
[0011] 非專利文獻 4 :Hitoshi Arai and Shinobu Arai， Finite discrete， shift-invariant, directional filterbanks for visual information processing， I :construction，Interdisciplinary Information Science, Vol. 13, No. 2, pp.255 ? 273(2007).
[0012] 非專利文獻 5 :Ε· Ν· Johnson，Μ· J. Hawken and R. Shapley，The spatial transformation of color in the primary visual cortex of the macaque monkey, Nature Neuroscience，Vol. 4, No. 4, PP. 409 ?416 (2001) ·
[0013] 非專利文獻 6 :Ρ· J. Van Fleet，Discrete Wavelet Transformations，Wiley， 2008.
[0014] 非專利文獻 7 :R. C. Gonzalez and R. E. Woods. Digital Image Processing， 3rdEd. , Pearson International Edition, 2008.
【發明內容】
[0015] 發明要解決的技術課題
[0016] 但是，在以往的圖像處理方法中存在難以進行自然的圖像銳化或多樣的邊緣檢測 的問題。
[0017] 例如，在非專利文獻1所記載的程序產品中，由於使邊緣部分的亮度一律上下改 變，因此，即使針對對比度充分之處，也使對比度極度變高直至接近於黑白，因此，存在變得 不自然的這一問題。另外，非專利文獻2所記載的方法的問題在於，其是針對黑白圖像作為 錯覺分析的一個環節而進行的方法，不能夠應用於彩色圖像的銳化。
[0018] 另外，在非專利文獻6、7等以往的邊緣檢測方法中，存在頻率分解能力或方位選 擇性不足，難以檢測出針對不同目的的多樣的邊緣的這一問題。
[0019] 本發明就是鑑於上述問題而實現的，其目的是，提供一種能夠進行自然的圖像銳 化或各種邊緣的檢測等多樣的圖像處理的圖像處理裝置、圖像處理方法、程序、印刷介質以 及記錄介質。
[0020] 解決技術課題的手段
[0021] 為了達到該目的，本發明的圖像處理裝置，其至少具有存儲部和控制部，且特徵 為：上述存儲部具有：濾波器存儲單元，其存儲具有次數的廣義風車小框架或風車小波框 架，上述廣義風車小框架或風車小波框架是沒有方位性的近似濾波器、以及具有各方位性 的多個細節濾波器的集合；以及圖像數據存儲單元，其存儲圖像數據，上述控制部具有：分 解單元，其針對上述圖像數據進行基於廣義風車小框架或風車小波框架的多解析度分解， 並獲取子帶信號；以及處理圖像獲取單元，其獲取通過將從上述分解單元獲取的、基於上述 多解析度分解的分解階段中的上述子帶信號的處理圖像數據或上述多解析度分解的合成 階段中的上述子帶信號相加而對圖像進行重構後的處理圖像數據，上述分解單元還具有： 處理單元，其進行使與上述濾波器的至少一個對應的上述多解析度分解的上述分解階段中 的上述子帶信號衰減或放大的處理。
[0022] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述處理 單元針對上述分解階段中的上述子帶信號進行線性或非線性的係數處理。
[0023] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述處理 單元針對上述分解階段中的上述子帶信號進行閾值處理。
[0024] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述處理 單元進行係數處理，以使將形成上述分解階段中的上述子帶信號的分解細節係數的能量越 大則絕對值越小的值抑制得更小，並將該分解細節係數的能量越小則絕對值越小的值增 大。
[0025] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述處理 單元使與多個上述濾波器之中的具有給定的頻率特性以及/或者給定的方位性的上述濾 波器的至少一個對應的上述分解階段中的上述子帶信號衰減或放大。
[0026] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述給定 的頻率特性是由基於上述廣義風車小框架或上述風車小波框架的各等級下的方位的給定 的濾波器配置中的位置以及/或者上述多解析度分解中的等級所指定的。
[0027] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述處理 單元使與多個上述濾波器之中的具有給定的頻率特性以及/或者給定的方位性的奇數型 濾波器的至少一個對應的上述分解階段中的子帶信號相對地放大。
[0028] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述處理 單元使與多個上述濾波器之中的具有給定的頻率特性以及/或者給定的方位性的上述奇 數型濾波器的至少一個對應的上述分解階段中的子帶信號放大，而且，還使與偶數型濾波 器的至少一個對應的上述分解階段中的子帶信號相對地衰減。
[0029] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述處理 單元通過對從上述分解階段輸出的分解細節係數以及/或者分解近似係數進行處理，從而 使上述分解階段中的上述子帶信號衰減或放大。
[0030] 另外，本發明的圖像處理方法是在至少具有存儲部和控制部的圖像處理裝置中執 行的圖像處理方法，且特徵為：上述存儲部具有：濾波器存儲單元，其存儲具有次數的廣義 風車小框架或風車小波框架，上述廣義風車小框架或風車小波框架是沒有方位性的近似濾 波器、以及具有各方位性的多個細節濾波器的集合；以及圖像數據存儲單元，其存儲圖像數 據，上述圖像處理方法在上述控制部中執行的步驟包括：分解步驟，針對上述圖像數據進行 基於廣義風車小框架或風車小波框架的多解析度分解，並獲取子帶信號；以及處理圖像獲 取步驟，獲取通過將從上述分解單元獲取的、基於上述多解析度分解的分解階段中的上述 子帶信號的處理圖像數據或上述多解析度分解的合成階段中的上述子帶信號相加而對圖 像進行重構後的處理圖像數據，上述分解步驟還具有：處理步驟，進行使與上述濾波器的至 少一個對應的上述多解析度分解的上述分解階段中的上述子帶信號衰減或放大的處理。
[0031] 另外，本發明的程序是用於在至少具有存儲部和控制部的圖像處理裝置中執行圖 像處理方法的程序，且特徵為：上述存儲部具有：濾波器存儲單元，其存儲具有次數的廣義 風車小框架或風車小波框架，上述廣義風車小框架或風車小波框架是沒有方位性的近似濾 波器以及具有各方位性的多個細節濾波器的集合；以及圖像數據存儲單元，其存儲圖像數 據，上述程序在上述控制部中執行：分解步驟，針對上述圖像數據進行基於廣義風車小框架 或風車小波框架的多解析度分解，並獲取子帶信號；以及處理圖像獲取步驟，獲取通過將從 上述分解單元獲取的、基於上述多解析度分解的分解階段中的上述子帶信號的處理圖像數 據或上述多解析度分解的合成階段中的上述子帶信號相加而對圖像進行重構後的處理圖 像數據，在上述分解步驟還執行：處理步驟，進行使與上述濾波器的至少一個對應的上述多 解析度分解的上述分解階段中的上述子帶信號衰減或放大的處理。
[0032] 另外，本申請發明人經過不懈研究，根據以下的思路完成了本發明。S卩，人的視覺 本能地進行能夠看到想看的部分的信息處理。人會意識到各種各樣的錯覺，但這可以認為 是視覺信息處理的結果。在此，如果數理模型接近於人的視覺信息處理，則安裝了數理模型 的計算機也應該計算出錯覺。因此，本申請的發明人通過使用能夠模擬明暗的錯覺或顏色 的對比錯覺的數理模型，確認到：對原始圖像實施接近於人的視覺的信息處理，能夠只將想 要看的部分銳化，從而完成了本申請發明。
[0033] S卩，本發明的圖像處理裝置，其至少具有存儲部和控制部，且特徵為：上述存儲部 具有：濾波器存儲單元，其存儲方位選擇性小波框架或方位選擇性濾波器組，上述方位選 擇性小波框架或方位選擇性濾波器組是沒有方位性的近似濾波器、以及具有各方位性的多 個細節濾波器的集合；以及圖像數據存儲單元，其存儲圖像數據，上述控制部具有：分解單 元，其針對上述圖像數據的各顏色分量，進行基於上述方位選擇性小波框架或上述方位選 擇性濾波器組的多解析度分解，並獲取子帶信號；以及重構單元，其將通過上述分解單元獲 取的各顏色分量的上述合成階段中的上述子帶信號相加而對圖像進行重構，並獲取重構圖 像數據，上述分解單元還具有：係數處理單元，其在上述多解析度分解的分解階段與合成階 段之間，針對從上述分解階段輸出的分解細節係數進行係數處理，以使將該分解細節係數 的能量越大則絕對值越小的值抑制得更小，並將該分解細節係數的能量越小則絕對值越小 的值增大。
[0034] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述顏色 分量是CIELAB顏色空間中的L*、a*以及b*、或接近於人的視覺的顏色空間的各顏色分量。
[0035] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述係數 處理單元針對上述圖像數據的a*以及/或者b*的顏色成分分量進行按如下方式修正的上 述係數處理，即：將由a*以及/或者b*的上述分解細節係數與L*中的分解細節係數所確 定的能量越大則絕對值越小的值抑制得更小，將上述能量越小則絕對值越小的值增大。
[0036] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述係數 處理單元使用自動地進行連續變化的函數，在上述分解細節係數的能量大的情況下，對S 字曲線進行上述係數處理，在上述分解細節係數的能量小的情況下，對N字曲線進行上述 係數處理。
[0037] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述係數 處理單元在上述分解階段與上述合成階段之間，將上述分解細節係數歸一化，將被歸一化 後的上述分解細節係數即歸一化分解細節係數的範數作為上述能量，對該歸一化分解細節 係數進行上述係數處理，並對被係數處理後的上述歸一化分解細節係數進行上述歸一化的 逆運算。
[0038] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述係數 處理單元根據上述分解細節係數的符號的不同來進行個別的處理。
[0039] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，上述分解 單元使用上述方位性由水平方向、垂直方向和對角方向構成的雙正交小波濾波器組、或上 述方位性為多方向的廣義風車小框架或風車小波框架，進行上述多解析度分解。
[0040] 另外，本發明的圖像處理裝置的特徵為，在上述所述的圖像處理裝置中，基於上述 分解單元進行的上述多解析度分解是：最大重疊多解析度分解、最大間隔剔除多解析度分 解、或者部分間隔剔除部分重疊多解析度分解。
[0041] 另外，本發明涉及一種圖像處理方法，本發明的圖像處理方法是在至少具有存儲 部和控制部的圖像處理裝置中執行的圖像處理方法，且特徵為：上述存儲部具有：濾波器 存儲單元，其存儲方位選擇性小波框架或方位選擇性濾波器組，上述方位選擇性小波框架 或方位選擇性濾波器組是沒有方位性的近似濾波器、以及具有各方位性的多個細節濾波器 的集合；以及圖像數據存儲單元，其存儲圖像數據，上述圖像處理方法在上述控制部中執行 的步驟包括：分解步驟，針對上述圖像數據的各顏色分量進行基於上述方位選擇性小波框 架或上述方位選擇性濾波器組的多解析度分解，並獲取子帶信號；以及重構步驟，通過將在 上述分解步驟獲取的各顏色分量的上述合成階段中的上述子帶信號相加從而對圖像進行 重構，並獲取重構圖像數據，上述分解步驟還具有：係數處理步驟，在上述多解析度分解的 分解階段與合成階段之間，針對從上述分解階段輸出的分解細節係數進行係數處理，以使 將該分解細節係數的能量越大則絕對值越小的值抑制得更小，並將該分解細節係數的能量 越小則絕對值越小的值增大。
[0042] 另外，本發明涉及一種程序，本發明的程序是用於在至少具有存儲部和控制部的 圖像處理裝置中執行圖像處理方法的程序，且特徵為：上述存儲部具有：濾波器存儲單元， 其存儲方位選擇性小波框架或方位選擇性濾波器組，上述方位選擇性小波框架或方位選擇 性濾波器組是沒有方位性的近似濾波器、以及具有各方位性的多個細節濾波器的集合；以 及圖像數據存儲單元，其存儲圖像數據，上述程序在上述控制部中執行：分解步驟，針對上 述圖像數據的各顏色分量進行基於上述方位選擇性小波框架或上述方位選擇性濾波器組 的多解析度分解，並獲取子帶信號；以及重構步驟，通過將在上述分解步驟獲取的各顏色分 量的上述合成階段中的上述子帶信號相加而對圖像進行重構，並獲取重構圖像數據，上述 分解步驟還具有：係數處理步驟，在上述多解析度分解的分解階段與合成階段之間，針對從 上述分解階段輸出的分解細節係數進行係數處理，以使將該分解細節係數的能量越大則絕 對值越小的值抑制得更小，並將該分解細節係數的能量越小則絕對值越小的值增大。
[0043] 另外，本發明涉及一種記錄介質，其特徵為，記錄了上述所述的程序。
[0044] 另外，本發明是一種印刷有處理圖像的印刷介質，其特徵為，在上述處理圖像中， 構成原始圖像的由廣義風車小框架或風車小波框架提取的各分量、或者由方位選擇性小波 框架或方位選擇性濾波器組提取的各分量之中的給定的上述分量被衰減或放大。
[0045] 另外，本發明是一種能夠由計算機讀取的記錄介質，其記錄了用於顯示處理圖像 的圖像數據，其特徵為，在上述處理圖像中，構成原始圖像的、由廣義風車小框架或風車小 波框架提取的各分量、或者由方位選擇性小波框架或方位選擇性濾波器組提取的各分量之 中的給定的上述分量被衰減或放大。
[0046] 發明效果
[0047] 根據本發明，針對圖像數據，進行基於作為沒有方位性的近似濾波器以及具有各 方位性的多個細節濾波器的集合的、具有次數的廣義風車小框架或風車小波框架的多分辨 率分解，獲取子帶信號，當獲取基於多解析度分解的分解階段（phase)中的子信號的處理 圖像數據、或通過將多解析度分解的合成階段中的子信號相加而重構圖像的處理圖像數據 時，進行使與濾波器的至少一個對應的、多解析度分解的分解階段中的子信號衰減或放大 的處理。由此，本發明發揮了能夠進行自然的圖像銳化或各種邊緣檢測等多種多樣的圖像 處理的這一效果。廣義風車小框架或風車小波框架能夠進行多解析度分解，具有多種頻率 選擇性，並具有多種方位選擇性，因此，能夠執行適合不同目的的方位的邊緣檢測或適合不 同目的的頻率分量的提取等多種圖像處理。
[0048] 另外，根據本發明，由於對上述分解階段中的子帶信號進行線性或非線性的係數 處理，因此，通過對從分解階段輸出的分解細節係數或分解近似係數，使用線性函數或非線 性函數等，從而具有能夠獲得與係數值相應的圖像處理結果的這一效果。
[0049] 另外，根據本發明，由於對上述分解階段中的子帶信號進行閾值處理，因此，具有 能夠通過將閾值以下的微小變動除去或衰減而有效地除去噪聲的效果。
[0050] 另外，根據本發明，由於進行係數處理，以使將成為上述分解階段中的子帶信號的 分解細節係數的能量越大則絕對值越小的值抑制得更小，並將該分解細節係數的能量越小 則絕對值越小的值增大，因此，具有能夠通過使用接近於人的視覺信息處理的數理模型來 實施接近於人的感覺的自然的圖像銳化的這一效果。
[0051] 另外，根據本發明，由於使與多個上述濾波器之中的具有給定頻率特性以及/或 者給定方位性的濾波器的至少一個對應的分解階段中的子帶信號衰減或放大，因此，具有 能夠獲得將目標的頻率分量或目標的方位分量進行了增減的多樣的圖像處理結果的這一 效果。
[0052] 另外，根據本發明，上述給定的頻率特性是由以廣義風車小框架或上述風車小波 框架的各等級下的方位為基礎的給定的濾波器配置中的位置以及/或者多解析度分解中 的等級所指定的，因此，具有能夠指定多樣的頻率特性的這一效果。
[0053] 另外，根據本發明，由於使與多個上述濾波器之中的具有給定的頻率特性以及/ 或者給定的方位性的奇數型濾波器的至少一個對應的上述分解階段中的子帶信號相對地 放大，因此，通過不經過合成階段而直接輸出，從而具有能夠進行有立體感的邊緣檢測等這 一效果。
[0054] 另外，根據本發明，可以使與多個上述濾波器之中的具有給定的頻率特性以及/ 或者給定的方位性的上述奇數型濾波器的至少一個對應的上述分解階段中的子帶信號相 對地放大，並且可以使與上述多個濾波器之中的偶數型濾波器的至少一個對應的上述分解 階段中的子帶信號相對地衰減，因此，具有能夠進行更有效的有立體感的邊緣檢測等這一 效果。
[0055] 另外，根據本發明，通過對從上述分解階段輸出的分解細節係數以及/或者分解 近似係數進行係數處理，從而使分解階段中的子帶信號衰減或放大，因此，具有能夠通過執 行與係數值相應的係數處理從而獲得多種圖像處理結果的這一效果。
[0056] 另外，根據本發明，存儲作為沒有方位性的近似濾波器以及具有各方位性的多個 細節濾波器的集合的、方位選擇性小波框架或方位選擇性濾波器組和圖像數據，針對圖像 數據的各顏色分量，進行基於方位選擇性小波框架或方位選擇性濾波器組的多解析度分 解，並獲取子帶信號，通過將各顏色分量的合成階段中的子帶信號相加來重構圖像，在獲取 重構圖像數據的情況下，在多解析度分解的分解階段與合成階段之間，針對從分解階段輸 出的分解細節係數進行係數處理，以使將該分解細節係數的能量越大則絕對值越小的值抑 製得更小，並將該分解細節係數的能量越小則絕對值越小的值增大。由此，本發明具有能夠 對彩色圖像進行自然的圖像銳化的這一效果。更具體而言，本發明能夠通過使用接近於人 的視覺信息處理的數理模型，從而對彩色圖像實施接近於人的感覺的自然的圖像銳化。
[0057] 另外，根據本發明，作為上述顏色分量，使用CIELAB顏色空間中的L*、a*以及b* 或接近於人的視覺的顏色空間的各顏色分量。由此，本發明具有能夠進行接近於人的感覺 的自然的圖像處理的這一效果。
[0058] 另外，根據本發明，關於上述圖像數據的a*以及/或者b*的顏色分量，進行按如 下方式修正的上述係數處理，即：將由a*以及/或者b*的上述分解細節係數與L*中的上 述分解細節係數所確定的能量越大則絕對值越小的值抑制得更小，將上述能量越小則絕對 值越小的值增大。由此，具有能夠進行使亮度的效果和顏色的效果協同發揮的、對於人的視 覺感知來講自然的銳化的這一效果。
[0059] 另外，根據本發明，使用自動地進行連續變化的函數，在上述分解細節係數的能量 大的情況下對S字曲線進行上述係數處理，在在上述分解細節係數的能量小的情況下對N 字曲線進行上述係數處理。由此，本發明具有以下效果，即：能夠使用利用從S字曲線到N字 曲線連續變化的函數的運算來合適地執行係數處理，以使將該分解細節係數的能量越大則 絕對值越小的值抑制得更小，並將該分解細節係數的能量越小則絕對值越小的值增大。更 具體講，使用在周圍的刺激大的情況下使分解細節係數的偏差變大、而在周圍的刺激小的 情況下使分解細節係數的偏差變小的函數，由此，變成：在周圍刺激大的情況下，小的刺激 被減弱；在周圍刺激小的情況下，即使是小的刺激也能夠意識到，因此，能夠針對每個圖像 而自動地執行適當的銳化。
[0060] 另外，根據本發明，在上述分解階段與上述合成階段之間，將上述細節分解係數歸 一化，將作為被歸一化後的上述分解細節係數的歸一化分解細節係數的範數作為上述能 量，對該歸一化分解細節係數進行上述係數處理，並對被係數處理後的上述歸一化分解細 節係數進行上述歸一化的逆運算。由此，本發明具有能夠通過歸一化來容易地在函數處理 或能量計算等中處理係數的這一效果。
[0061] 另外，根據本發明，由於可以根據上述分解細節係數的符號的不同進行個別的處 理，因此，具有能夠進行更接近於人的視覺的自然的銳化，或反過來對人的視覺進行補充的 自然的銳化等細緻的銳化的這一效果。
[0062] 另外，根據本發明，使用上述方位性由水平方向、垂直方向和對角方向構成的雙正 交小波濾波器組、或上述方位性為多方向的廣義風車小框架或風車小波框架，進行上述多 解析度分解。由此，本發明具有以下效果，即：能夠使用雙正交小波濾波器組進行簡單的計 算，或者使用廣義風車小框架或風車小波框架進行精密的計算。
[0063] 另外，根據本發明，上述多解析度分解是最大重疊多解析度分解、最大間隔剔除多 解析度分解、或者部分間隔剔除部分重疊多解析度分解，因此，能夠進行合適的多解析度分 解來獲取分解細節係數，而且，不僅是高頻分量，低頻分量也被多解析度地處理，因此，具有 能夠執行不僅能增強邊緣的銳化，還能夠執行自然的銳化的這一效果。
[0064] 另外，本發明是一種記錄了用於顯示處理圖像的圖像數據的、能夠由計算機讀取 的記錄介質或印刷處理圖像的印刷介質，構成原始圖像的、由廣義風車小框架或風車小波 框架提取的各分量、或者由方位選擇性小波框架或方位選擇性濾波器組提取的各分量之中 的給定的分量被衰減或放大，因此，在任意的原始圖像中，能夠提示實施了自然的圖像銳化 或各種邊緣檢測等多樣的圖像處理的處理圖像。
【專利附圖】
【附圖說明】
[0065] 圖1是表示使用本實施方式的本圖像處理裝置的結構的一個示例的框圖。
[0066] 圖2是表示將次數5的等級3的最大重疊風車小框架濾波器與次數5的等級1和 等級2的最大重疊風車小框架近似濾波器進行循環相關積而獲得的濾波器的圖。
[0067] 圖3是表示將次數7的等級2 (高頻數側）的最大重疊風車小框架濾波器與等級 1的最大重疊風車小框架近似濾波器進行循環相關積的濾波器的圖。
[0068] 圖4是表示將次數7的等級3 (低頻數側）的最大重疊風車小框架濾波器與等級 1和等級2的最大重疊風車小框架近似濾波器進行循環相關積的濾波器的圖。
[0069] 圖5是在次數7、等級k的風車小框架中用ak⑴表示近似部分，用dk⑴?d k(99) 的標號（編號）表示細節部分的圖。
[0070] 圖6是表示本實施方式的圖像處理裝置100的基本處理的一個示例的流程圖。
[0071] 圖7是表示最大重疊多解析度分解的濾波器組的一個示例的圖。
[0072] 圖8是表示最大重疊多解析度分解的濾波器組的一個示例的圖。
[0073] 圖9是表示本實施方式的圖像處理裝置100的彩色圖像銳化處理的一個示例的流 程圖。
[0074] 圖10是表示最大重疊多解析度分解的分解階段以及合成階段的濾波器組的一個 示例的圖。
[0075] 圖11是表示伴隨著歸一化的分解細節係數的係數處理的一個示例的流程圖。
[0076] 圖12是將原始圖像（512X512像素）、基於本實施方式的銳化圖像、與基於以往的 方法的銳化圖像進行對比顯示的圖。
[0077] 圖13是表示在圖12的各照片中自左邊起第400個像素的列的L*值的圖表。
[0078] 圖14是表示在圖12的各照片中自左邊起第400個像素的列的a*值的圖表。
[0079] 圖15是表示在圖12的各照片中自左邊起第400個像素的列的b*值的圖表。
[0080] 圖16是表示顏色的對比錯覺圖像的一個示例的圖。
[0081] 圖17的圖表示的是：圖16中的原始圖像的內側四角部分（原始圖像A與B共通）、 作為原始圖像A的圖像處理結果的處理圖像A的內側四角部分、以及作為原始圖像B的圖 像處理結果的處理圖像B的內側四角部分。
[0082] 圖18是表示顏色的對比錯覺圖像的其他示例的圖。
[0083] 圖19的圖表示的是：圖18中的原始圖像的內側四角部分（原始圖像C與D共通）、 作為原始圖像c的圖像處理結果的處理圖像C的內側四角部分、以及作為原始圖像D的圖 像處理結果的處理圖像D的內側四角部分。
[0084] 圖20是表示顏色的對比錯覺圖像的其他示例的圖。
[0085] 圖21的圖表示的是：圖20中的原始圖像的內側四角部分（原始圖像E與F共通）、 作為原始圖像E的圖像處理結果的處理圖像E的內側四角部分、以及作為原始圖像F的圖 像處理結果的處理圖像F的內側四角部分。
[0086] 圖22是用於說明在本實施例使用的硬閾值的圖表。
[0087] 圖23是在加入本實施例所使用的噪聲之前的原始圖像。
[0088] 圖24是表示在圖23中的原始圖像中加入高斯型白噪聲之後的噪聲圖像的圖。
[0089] 圖25是在墓於以往的小波的噪聲除去方法中使用symlet4作為小波的處理圖像。 [0090] 圖26是圖25的部分放大圖。
[0091] 圖27是根據本實施方式使用5次風車小框架得到的處理圖像。
[0092] 圖28是圖27的部分放大圖。
[0093] 圖29是在根據本實施方式使用7次風車小框架按照每一濾波器改變閾值的情況 下得到的處理圖像。
[0094] 圖30是圖29的部分放大圖。
[0095] 圖31是利用斜線表示等級2下進行閾值處理的細節係數的圖。
[0096] 圖32是根據本實施方式使用7次風車小框架從等級1到等級2的高頻部分進行 了閾值處理的處理圖像。
[0097] 圖33是圖32的部分放大圖。
[0098] 圖34是表示在本實施例中用於邊緣檢測的原始圖像的圖。
[0099] 圖35是表示7次風車小框架的等級1下的加權係數的圖。
[0100] 圖36是表示7次風車小框架的等級2下的加權係數的圖。
[0101] 圖37是表示將通過邊緣檢測例1得到的處理圖像進行了刪失的圖像的圖。
[0102] 圖38是表示以t = 1進行了二值化的處理圖像的圖。
[0103] 圖39是表示7次風車小框架的等級1下的加權係數的圖。
[0104] 圖40是表示7次風車小框架的等級2下的加權係數的圖。
[0105] 圖41是表示根據邊緣檢測例2的刪失處理圖像的圖。
[0106] 圖42是表示根據邊緣檢測例2的二值化處理圖像的圖。
[0107] 圖43是表示將進行刪失處理而設成了 15倍的處理圖像添加到原始圖像後的圖像 的圖。
[0108] 圖44是表示次數5的風車小框架的分解階段中的52個子帶信號的編號的圖。
[0109] 圖45是針對從噪聲除去結果得到的處理圖像，表示以二值化的方法（t = 0. 37) 顯示的圖像的圖。
[0110] 圖46是表示以刪失的方法（ml = 0, m2 = 1)顯示處理圖像後的圖像的圖。
[0111] 圖47是表示7次的風車小框架的等級1下的加權係數的圖。
[0112] 圖48是表示7次的風車小框架的等級2下的加權係數的圖。
[0113] 圖49是表示進行了 ml = -4、m2 = 0的刪失的處理圖像的圖。
[0114] 圖50是表示進行了 ml = -2、m2 = 0的刪失的處理圖像的圖。
[0115] 圖51是表示進行了 ml = -6, m2 = 0的刪失的處理圖像的圖。
[0116] 圖52是表示以ml = 0、m2 = 255進行了刪失處理的結果的圖。
[0117] 圖53是表示原始圖像的圖。
[0118] 圖54是表示進行了具有立體感的特徵提取的結果的圖。
[0119] 圖55是表示針對進行了具有立體感的特徵提取的輸出圖像，將灰度反轉顯示後 的圖像的圖。
[0120] 圖56是表示將次數7的等級2的最大重疊風車小框架濾波器（maximal overlap pinwheel framelet filters at level 2)與等級1的最大重疊風車小框架的近似濾波器循 環相關積獲得的濾波器的圖。
[0121] 圖57是表示針對測試圖像利用次數7的風車小框架進行了等級2的最大重疊多 解析度分角軍（2nd stage of maximal overlap MRA decomposition by pinwheel framelet) 的結果的各合成子帶信號的圖。
【具體實施方式】
[0122] 以下，基於附圖對本發明所涉及的圖像處理裝置、圖像處理方法、程序、印刷介質 以及記錄介質的實施方式進行詳細說明。另外，本發明不由該實施方式進行限定。例如，作 為基於本實施方式的圖像處理的示例，有時要對用於彩色圖像的圖像銳化或噪聲除去和邊 緣檢測等用途的示例進行說明，但本發明不局限於此，也可以用於清晰度、邊緣增強、對比 度調整、顏色修正、特徵提取、模式識別、凹洞錯覺自動生成等各種目的。
[0123] [圖像處理裝置的結構]
[0124] 接下來，參照圖1對本圖像處理裝置的結構進行說明。圖1是表示使用本實施方 式的本圖像處理裝置的結構的一個示例的框圖，在該結構之中，只對涉及本實施方式的部 分進行概念性表示。
[0125] 在圖1中，圖像處理裝置100大致上具有控制部102、通信控制接口部104、輸入輸 出控制接口部108以及存儲部106。在此，控制部102是統一地控制整個圖像處理裝置100 的CPU等。輸入輸出控制接口部108是與輸入裝置112或輸出裝置114連接的接口。另外， 存儲部106是保存各種資料庫或表等的裝置。這些圖像處理裝置100的各部分經由任意的 通信路徑以能夠通信的方式連接。
[0126] 保存在存儲部106中的各種文件（小框架文件106a以及圖像數據文件106b)是 硬碟裝置等的存儲單元。例如，存儲部106保存用於各種處理的各種程序、表、文件、資料庫 以及網頁等。
[0127] 這些存儲部106的各結構要素之中的小框架文件106a是濾波器存儲單元，其存儲 作為沒有方位性的近似濾波器以及具有各方位性的多個細節濾波器的集合的、方位選擇性 小波框架或方位選擇性濾波器組。另外，在本實施方式中，"小波"不局限於古典的小波或狹 義的小波等，也包括廣義的小波。例如，小波是有限長度波形、或伴隨著從〇起放大並迅速 收斂到0的這種振幅的波型振動，作為一個示例，包括加伯濾波器或曲波這樣的偽小波。
[0128] 在此，在本實施方式中，作為能夠表現為具有多樣的頻率特性或方位性的、有少量 臺的可微分的函數的FIR濾波器，有時使用風車小框架（pinwheel framelet)(參照後面 要提到的項目[風車小框架])，但不局限於此，例如，可以使用以下的小框架，即：簡單風車 小框架（simple pinwheel framelet)(參照非專利文獻3)、或將構成風車小框架的定義式 (例如，在項目[風車小框架]中要提到的公式0^(0。θ 2)或公式FUep θ2))的項 的係數、以及/或者指數變更而得到的小框架、以及將構成簡單風車小框架的濾波器的頻 率響應函數的項（[非專利文獻3])的係數變更而得到的小框架等。將它們以及（上述狹 義的）風車小框架總稱為廣義風車小框架。在此，"廣義風車小框架"是沒有方位性的近似 濾波器以及具有各方位性的多個細節濾波器的集合，是具有次數的濾波器組。換句話說，將 風車小框架、在[非專利文獻3]中導入的簡單風車小框架、以及在這些小框架的濾波器中 添加了修正的小框架稱為"廣義風車小框架"。廣義風車小框架是具有方位選擇性的二維小 框架。另外，廣義風車小框架具有是由能夠多解析度分解、具有多樣的方位選擇性、有限長 度的濾波器構成的濾波器組的這一性質。另外，風車小框架比簡單風車小框架更會反映出 人的大腦內的視覺信息處理的特性，在這一點上具有優異的功能，因而與眾不同，而且構成 的方法也大不相同。
[0129] 另夕卜，在本實施方式中，也可以使用風車小波框架（pinwheel wavelet frame)(參 照非專利文獻4)。
[0130] 作為一個示例，風車小框架是通過將基於人的視覺皮層的單細胞的信息處理進行 數理模型化而得到的。該分解是在人的腦內由單細胞分解的信號的數理性模型。風車小框 架波具有次數，次數為3以上的奇數，次數變得越多，則越能檢測出相應多的方位，因此，能 夠製成多樣的文件。另外，具有濾波器的個數也相應地變多、計算時間也增加的這一性質。 此外，作為一個示例，次數η的風車小框架的濾波器個數成為（n+l)2+(n-l)2。其中，一個濾 波器為近似濾波器，剩餘的濾波器為細節濾波器。在此，圖2為將次數5的等級3的最大重 疊風車小框架濾波器與次數5的等級1和等級2的最大重疊風車小框架近似濾波器進行循 環相關積而得到的濾波器（關於循環相關積，例如參照新井仁之著「線性代數基礎和應用」 株式會社日本評論社（2006年））。另外，風車小框架與簡單風車小框架相比，從神經科學來 考慮，成為更接近於大腦皮層VI區域的單細胞的模型。
[0131] 該風車小框架為次數5,因此，例如，如圖2所示，各等級，是由左側的6X6個濾波 器和右側的4X4個濾波器相加在一起而總計52個濾波器的集合構成的。其中，由圖中央 的上部的黑色矩形圍起來的一個濾波器是通過等級1到等級3的近似濾波器的循環相關積 而得到的濾波器，其他的51個濾波器，與等級3的細節濾波器相比，是將等級1到2的近似 濾波器進行循環相關積而得到的濾波器。由細節濾波器所製作的上述濾波器的方位性，以 僅由近似濾波器製作的濾波器為中心，並大致按風車旋轉的方向排列。另外，後面將會詳細 提到，在各次數的風車小框架所產生的最大重疊多解析度分解中具有等級，等級1檢測出 最細緻的部分（高頻部分）。圖2為等級3的風車小框架，隨著大到等級2、3...，檢測出粗 略的部分（低頻部分）。另外，小框架文件l〇6a也可以將風車小框架等的方位選擇性小波 框架以函數的形式（小框架濾波器的頻率響應函數等）存儲。關於函數的具體示例，將在 後面敘述。
[0132] 另外，不局限於上述內容，在本實施方式中也可以使用各種小波。不過，在本實施 方式中，為了增減多樣的頻率分量或方位分量，優選使用具有多樣的頻率特性或方位性的 廣義風車小框架或風車小波框架。在此，小波不局限於古典的小波或狹義的小波等，也包括 廣義的小波。例如，小波是有限長度波形、或伴隨著從〇起放大並迅速收斂到〇的這種振幅 的波型振動，作為一個示例，包括加伯濾波器或曲波這樣的偽小波。另外，小框架文件l〇6a 不局限於方位選擇性小波框架這樣的框架，也可以存儲方位選擇性濾波器組等濾波器組或 具有方位性的濾波器。作為一個示例，具有各方位性的濾波器是具有各方位性的多個細節 濾波器，例如，子帶信號等的分量被濾波器提取。另外，關於風車小波框架，所構成的濾波器 的長度會根據原始圖像的像素數變化，相比之下，關於廣義風車小框架，具有濾波器的長度 與像素數無關的這一性質。例如，風車小框架是具有方位選擇性的二維小框架，是小波框架 的一種。另外，不局限於方位性為多方向的風車小框架，也可以使用方位性由水平方向、垂 直方向和對角方向構成的雙正交小波濾波器組。
[0133] 另外，圖像數據文件106b是存儲圖像數據的圖像數據存儲單元。在此，存儲在圖 像數據文件l〇6b中的圖像數據，既可以是按照各顏色分量事先記載了色調或灰度值等的 圖像數據，也可以是沒有根據本實施方式處理的顏色分量進行記載的圖像數據。另外，在後 者的情況下，通過後面要提到的顏色空間變換部l〇2f變換成所希望的顏色空間，並被分解 成各顏色分量。另外，存儲在圖像數據文件l〇6b中的圖像數據，既可以是經由輸入裝置112 輸入的圖像數據，也可以是由外部系統200等經由網絡300接收到的圖像數據。另外，圖像 數據既可以是彩色圖像的圖像數據，也可以是灰度的圖像數據。另外，將通過風車小框架等 的方位選擇性小波框架而被多解析度分解之前的原來的圖像（數據）稱為原始圖像；將基 於子帶信號重構之後的圖像（數據）稱為重構圖像（數據）。另外，將基於對多解析度分解 的分解階段中的子帶信號施加了處理的信號形成的圖像（數據）、或通過將多解析度分解 的合成階段中的子帶信號加在一起而重構的圖像（數據）稱為處理圖像（數據）。即，後者 的處理圖像（數據）是重構圖像（數據）的一種形式，而前者的處理圖像（數據）不是重 構圖像（數據）。為了明確兩者的區別，以下，有時會將前者的處理圖像（數據）稱為"系 數輸出處理圖像（數據）";將後者的處理圖像（數據）稱為"重構處理圖像（數據）"。在 此，圖像數據文件l〇6b可以將與目標的原始圖像的圖像數據圖像大小（像素數）相同的單 位脈衝信號作為圖像數據來存儲。另外，存儲在圖像數據文件106b中的單位脈衝信號被作 為圖像數據而同樣地輸入到存儲在小框架文件l〇6a中的濾波器組，所輸出的單位脈衝響 應是為了高速計算目標的原始圖像的圖像數據而使用的。另外，圖像數據是例如光柵形式 或向量形式的二維圖像數據等。另外，作為一個示例，圖像可以是表示設計（圖案）、照片和 文字等的任意的圖像。另外，圖像不局限於靜止圖像，也可以是動態圖像（影像）。
[0134] 再次返回到圖1，輸入輸出控制接口部108進行輸入裝置112或輸出裝置114的控 制。在此，作為輸出裝置114,能夠採用顯示器（包括家庭用電視機）等顯示裝置、印表機等 列印裝置等。此外，作為輸入裝置112,除了照相機等攝像裝置、與外部存儲介質連接的輸入 裝置等之外，能夠使用鍵盤、滑鼠以及麥克風等。
[0135] 此外，在圖1中，控制部102具有OS (Operating System)等控制程序或對各種處 理步驟等進行了規定的程序以及用於保存所需數據的內部存儲器。而且，控制部102通過 這些程序等來進行用於執行各種處理的信息處理。控制部102從功能概念上來說具有分解 部102a、處理圖像獲取部102c、顏色空間變換部102f以及處理圖像輸出部102g。另外，分 解部102a還具有係數處理部102b。另外，處理圖像獲取部102c還具有重構部102d。
[0136] 其中，分解部102a是針對圖像數據進行基於存儲於小框架文件106a中的、廣義風 車小框架等方位選擇性小波框架或者方位選擇性濾波器組的多解析度分解，並取得子帶信 號的分解單元。在此，子帶信號中具有多解析度分解的分解階段中的子帶信號與多解析度 分解的合成階段中的子帶信號這兩種。為了明確兩者的區別，以下，有時會將分解階段中的 子帶信號稱為"分解子帶信號";將合成階段中的子帶信號稱為"合成子帶信號"。在此，"多 解析度分解"包括最大重疊多解析度分解、最大間隔剔除多解析度分解、以及部分間隔剔除 部分重疊多解析度分解（關於最大重疊多解析度分解，參照例如新井仁之著「小波」共立出 版株式會社（2010年））。另外，當通過分解部102a來計算多解析度分解時，使用循環相關 積、循環卷積，但也可以通過採用高速傅立葉變換的公知的高速計算方法來計算多解析度 分解。如上述那樣，在基於風車小框架等方位選擇性小波框架的多解析度分解中存在等級。 在此，圖3以及圖4為用於表示由風車小框架的等級所引起的差異的圖，圖3表示將等級 2 (高頻側）的最大重疊風車小框架濾波器與等級1的最大重疊風車小框架近似濾波器進 行循環相關積而得到的濾波器，圖4表示將等級3 (低頻側）的最大重疊小框架濾波器與等 級1和等級2的最大重疊風車小框架近似濾波器進行循環相關積而得到的濾波器。另外， 次數都為7,因此，存在（7+1) 2+(7-1)2 = 100個濾波器。
[0137] 作為一個示例，分解部102a首先通過基於等級1的風車小框架的最大重疊多分辨 率分解來檢測出最細緻的部分（高頻部分），隨著等級變大到2,3...，檢測出粗略的部分 (低頻部分）。
[0138] 在基於風車小框架的多解析度分解中存在分解階段和合成階段。各階段通過由近 似濾波器和細節濾波器形成的濾波器組構成。分解部l〇2a在執行分解階段以及合成階段 中的圖像處理之後，最終將原始圖像數據分解為"濾波器數X等級"個圖像信號（即，合成 子帶信號）。
[0139] 例如，在進行次數7的風車小框架的等級5的最大重疊多解析度分解的情況下， 在某等級k(k = 1到5)的子帶信號中，存在對應於一個近似濾波器的一個近似部分、和對 應於99個細節濾波器的99個細節部分。在此，圖5為在次數7、等級k的風車小框架中， 用a k(l)表示近似部分，用dk(l)?dk(99)的標號（編號）表示細節部分的圖。另外，標號 (編號）的位置與圖3(k = 2)或者圖4(k = 3)的各濾波器的位置建立對應。即、ak(l)以 及dk(l)?dk(99)表示從圖3或者圖4中對應的位置的濾波器所獲取的子帶信號。
[0140] 在此，分解部102a的係數處理部102b是一種處理單元，其進行使與多個濾波器的 至少一個對應的多解析度分解的分解階段中的子帶信號（即，分解子帶信號）衰減或放大 的處理。例如，係數處理部102b可以對分解子帶信號進行線性或非線性的係數處理。作為 一個示例，係數處理部102b可以進行基於硬閾值或軟閾值等的閾值處理。另外，係數處理 部102b可以使與多個濾波器之中的具有給定的頻率特性以及/或者給定的方位性的濾波 器的至少一個對應的分解子帶信號衰減或放大。在此，給定的頻率特性可以通過基於廣義 風車小框架的各等級的方位的給定的濾波器配置中的位置以及/或者多解析度分解中的 等級來指定。另外，大致劃分的話，在分解子帶信號中，存在基於分解細節係數的分解子帶 信號、和基於分解近似係數的分解子帶信號這兩種，係數處理部l〇2b可以對從分解階段輸 出的分解細節係數以及/或者分解近似係數進行係數處理。另外，"分解細節係數"是指： 在廣義風車小框架的分解階段，通過進行基於分解細節濾波器的濾波而得到的係數；"分解 近似係數"是指基於分解近似濾波器進行的濾波的係數。在利用廣義風車小框架進行的分 解階段中的子帶信號之中，有時將由近似係數構成的信號稱為"分解階段中的近似子帶信 號"；並將除此以外的信號稱為"分解階段中的細節子帶信號"。另外，以下的表是將從原始 圖像的圖像處理的過程中出現的術語歸納後的一覽表。在使用廣義風車小框架以外的方位 選擇性小波框架或方位選擇性濾波器組的情況下也相同。
[0141] [表：術語一覽]
[0142] 原始圖像
[0143] 丨〈分解階段〉
[0144] 分解階段中的子帶信號（分解子帶信號）
[0145] ?從分解階段輸出的細節係數（分解細節係數）
[0146] ?從分解階段輸出的近似係數（分解近似係數）
[0147] 丨〈各種處理〉
[0148] 丨一處理圖像（係數輸出處理圖像）
[0149] 丨〈合成階段〉
[0150] 合成階段中的子帶信號（合成子帶信號）
[0151] ?從合成階段輸出的細節係數
[0152] ?從合成階段輸出的近似係數
[0153] I〈重構〉
[0154] 處理圖像（重構處理圖像）
[0155] 在此，作為非線性的係數處理的一個示例，係數處理部102b可以進行如下係數處 理，即：將形成分解子帶信號的分解細節係數的能量越大則絕對值越小的值抑制得很小，將 該分解細節係數的能量越小則絕對值越小的值增大。作為一個示例，係數處理部l〇2b在多 解析度分解的分解階段與合成階段之間，針對從分解階段輸出的分解細節係數進行係數處 理，以使將該分解細節係數的能量越大則絕對值越小的值抑制得更小，並將該分解細節系 數的能量越小則絕對值越小的值增大。例如，在分解細節係數的能量大的情況下，係數處理 部102b增大該分解細節係數的偏差，由此，使絕對值比較小的值被抑制得更小，並使絕對 值比較大的值增大得更大。另一方面，在分解細節係數的能量小的情況下，係數處理部l〇2b 減小該分解細節係數的偏差，由此，增大絕對值比較小的值，並抑制絕對值比較大的值。
[0156] 在此，在像素數多的圖像的情況下，也可以將該圖像適當分割，對各分割圖像進行 本實施方式的處理。
[0157] 另外，係數處理部102b也可以在函數處理等係數處理以及/或者能量計算中進 行歸一化，以使分解細節係數的值變得容易處理。例如，係數處理部l〇2b可以在分解階段 與合成階段之間，首先對分解細節係數取絕對值來歸一化，將被歸一化後的分解細節係數 (稱為"歸一化分解細節係數"）的均方範數（或者也可以是其他的範數）作為能量。並且， 係數處理部102b可以根據所計算的能量，對歸一化分解細節係數進行係數處理，並對進行 係數處理後的歸一化分解細節係數進行歸一化的逆運算，由此，作為用於合成階段的輸入 數據。另外，在使用絕對值的情況下，如以下公式所示，當逆運算時，將符號恢復到原來。
[0158] X，=sgn(x)z，
[0159] (其中，X是分解細節係數，z是係數處理後的值，z'是歸一化的逆運算結果的值。 其中，如果X彡0,則sgn(x) = 1，如果X < 0,則sgn(x) =-1。另外，X'是將符號恢復後 的結果的值）
[0160] 另外，係數處理部102b為了進行與能量的大小相應的係數處理，既可以在能量值 中設置閾值，按照每個能量值的範圍進行不同的係數處理，也可以不在能量值中設置閾值， 而通過根據能量值而偏差連續變化的函數進行計算，從而進行係數處理。在前者的情況下， 例如，係數處理部102b可以使用按照能量值的每個範圍所設定的函數（例如，對數函數或 邏輯公式等）。在後者的情況下，例如，係數處理部102b可以使用連續變化的函數（稱為 "SN函數")，在分解細節係數的能量大的情況下對S型曲線進行係數處理，在分解細節係數 的能量小的情況下對N型曲線進行係數處理。在此，SN函數的一個示例如下所示。另外， 公式1在a > 1的情況下成為S型曲線，在a = 1的情況下成為直線，在a < 1的情況 下成為Ν型曲線。
[0161] z = ya/{ya + (l_y) α} · · ·(式 1)
[0162] (其中，y是歸一化分解細節係數（0彡y彡1)，a是基於歸一化分解細節係數的 能量的指標值（〇< a )，z是被函數處理後的歸一化分解細節係數）另外，函數由於離散化 的緣故，也可以進行表格化來使用。
[0163] 另外，係數處理部102b可以像CIELAB顏色空間中的L*、a*以及b*等那樣按照每 一顏色分量進行係數處理，但並不局限於對各顏色分量的值獨立地進行處理，也可以在進 行一個顏色分量的係數處理的情況下基於其他顏色分量的值來修正係數處理。例如，關於 人的視覺，存在大腦皮層中具有顏色和亮度細胞的這一腦神經科學性實驗結果（非專利文 獻5)，以該實驗結果為基礎，對推測了顏色和亮度細胞的作用的數理模型進行研究，由此， 係數處理部l〇2b也可以針對圖像數據的a*以及/或者b*的顏色分量，進行如下那樣修正 的係數處理，即：將由a*以及/或者b*的分解細節係數與L*的分解細節係數確定的能量 越大則絕對值越小的值抑制得更小，將上述能量越小則絕對值越小的值增大。另外，也能夠 根據分解細節係數的符號的不同而進行不同的處理。另外，係數處理部l〇2b也可以針對圖 像數據的a*以及/或者b*的顏色分量進行按如下方式那樣修正的係數處理，S卩：將根據L* 的亮度差越大則絕對值越小的值增大。
[0164] 除了這種圖像銳化之外，係數處理部102b也可以通過使與具有給定的頻率特性 (確定時的特定的頻率特性）以及/或者給定的方位性（確定時的特定的方位性）的濾波 器對應的分解子帶信號衰減或放大的加權來進行圖像處理。係數處理部l〇2b可以對由分 解部102a獲取的分解子帶信號進行加權相加，可以對以函數形式存儲的小框架濾波器的 頻率響應函數進行加權，然後，可以導出各濾波器係數，或者對進行了加權的各頻率響應函 數以給定的方法進行乘法計算、加法計算，求出濾波器係數並保存在小框架文件l〇6a中， 由此，能夠快速地獲得重構圖像數據。另外，也可以對分解階段以及/或者合成階段中的濾 波器進行加權。
[0165] 另外，作為一個示例，係數處理部102b也可以通過利用基於廣義風車小框架的各 等級下的方位的給定的濾波器配置中的位置以及/或者多解析度分解中的等級來指定給 定的頻率特性，從而獲得給定的頻率分量。例如，係數處理部l〇2b可以通過以多解析度分 解中的給定等級來進行使與近似濾波器對應的分解子帶信號相對衰減的加權，從而除去低 頻分量等的圖像處理。另外，為了該處理，可以使分解部l〇2a進行到給定等級為止的多分 辨率分解，使係數處理部l〇2b進行使由最大等級的近似濾波器獲得的近似部分的子帶信 號相對衰減的加權。不僅如此，在分解部l〇2a進行比給定等級大的等級為止的多解析度分 解的情況下，係數處理部l〇2b可以進行使比給定等級大的等級的細節部分以及最大等級 的近似部分相對衰減的加權。
[0166] 另外，係數處理部102b可以按照以下方式進行圖像處理，S卩：進行加權，使與多個 濾波器之中的在濾波器配置中與距近似濾波器較遠一側的細節濾波器對應的分解子帶信 號相對地放大；使在濾波器配置中與近似濾波器和距近似濾波器較近一側的細節濾波器對 應的分解子帶信號相對地衰減，由此，與低頻分量相比能夠獲得高頻分量。更具體而言，可 以將與上述風車小框架的近似濾波器相對應的分解子帶信號的分解細節係數、和針對與位 於接近近似濾波器的位置的具有低頻側的頻率特性的細節濾波器對應的分解子帶信號的 加權係數設為接近於〇的值；將針對與位於距近似濾波器較遠的位置的具有高頻側的頻率 特性的細節濾波器對應的分解子帶信號的加權係數設定為接近於1的值。與此相反，係數 處理部102b可以以與高頻分量相比能夠獲得低頻分量的方式進行圖像處理。即，係數處 理部102b可以按照以下方式進行圖像處理，S卩：進行加權，使多個細節濾波器之中的在濾 波器配置中與距近似濾波器較遠一側的細節濾波器對應的分解子帶信號相對地衰減；使在 濾波器配置中與距近似濾波器較近一側的細節濾波器對應的分解子帶信號相對地放大，由 此，相對於高頻分量來增強低頻分量。更具體而言，將針對與位於距上述風車小框架的近似 濾波器較近的位置的具有低頻側的頻率特性的細節濾波器對應的分解子帶信號的加權系 數設定為接近於1的值；將針對與位於距近似濾波器較遠的位置的具有高頻側的頻率特性 的細節濾波器對應的分解子帶信號的加權係數設為接近於0的值。
[0167] 另外，係數處理部102b可以按照以下方式進行圖像處理，S卩：進行加權，使與多 個濾波器之中的具有高頻的頻率特性的濾波器以及具有低頻的頻率特性的濾波器對應的 分解子帶信號相對地衰減，使與具有比較高頻、比較低頻等這樣中頻的頻率特性的濾波器 對應的分解子帶信號相對地放大，由此，與高頻分量以及低頻分量相比，對中頻分量進行增 強。更具體而言，可以將針對與上述風車小框架的具有高頻的頻率特性的濾波器以及具有 低頻的頻率特性的濾波器對應的分解子帶信號的加權係數設為接近於〇的值；將針對與具 有中頻的頻率特性的細節濾波器對應的子帶信號的加權係數設定為接近於1的值。
[0168] 另外，係數處理部102b也可以通過進行使與具有給定的方位性的細節濾波器對 應的分解自帶信號衰減或放大的加權，從而以使給定的方位性分量增減的方式進行圖像處 理。例如，通過將針對與上述風車小框架的具有給定的方位性的細節濾波器對應的分解子 帶信號的加權係數設為接近於1的值，將除此以外的係數設定為接近於〇的值，能夠從原始 圖像對具有該給定的方位性的分量進行增強或提取。
[0169] 另外，處理圖像獲取部102c是獲取處理圖像數據的處理圖像獲取單元。例如，處 理圖像獲取部l〇2c可以獲取通過分解部102a獲取的基於多解析度分解的分解階段中的分 解子帶信號的係數輸出處理圖像數據。當獲取係數輸出處理圖像數據時，可以將係數處理 後的分解子帶信號通過適當的加權相加在一起。另外，處理圖像獲取部l〇2c也可以利用後 面要提到的重構部102d的處理，獲取通過將多解析度分解的合成階段中的合成子帶信號 相加在一起而重構的重構處理圖像數據。
[0170] 另外，處理圖像獲取部102c的重構部102d是通過將由分解部102a獲取的各顏 色分量的子帶信號相加在一起而重構圖像並獲取重構圖像數據的重構單元。例如，重構 部102d通過將與上述最大等級的近似濾波器對應的近似部分的合成子帶信號和與所有的 細節濾波器對應的細節部分的合成子帶信號相加在一起，從而重構圖像並獲取重構圖像數 據。此時，風車小框架具有完全重構性，因此，如果不進行基於係數處理部102b的處理，則 重構部102d會再現與原始圖像相同的圖像。換句話說，重構部102d在基於係數處理部102d 進行的處理執行了係數處理之後，通過將合成子帶信號相加在一起，從而獲取對原始圖像 實施了圖像處理的重構圖像數據。
[0171] 在此，將上述標號（編號）用於合成子帶信號，對完全重構性與圖像處理的關係進 行說明。如果將原始圖像的輸入信號（原始信號）設為X，則次數7的風車小框架的等級5 的最大重疊多解析度分解的完全重構性用以下的公式表示。
[0172] X = a5 (1) + (d5 (1)+···+d5 (99) )+···+(屯（1)+···+(^ (99))
[0173] 在此，在分解部102a中，如果將經過了基於係數處理部102b的各種處理的近似部 分設為a 5' (1)，將細節部分設為&5' (l)，...，d/ (99)，則在這種情況下，重構圖像（信 號）用以下的公式表示。
[0174] y = a5' (l) + (d5/ (1) + · · · +d5/ (99))+ · · ^+((1/ (]_)+···+(!/ (99))
[0175] 此時，如果在分解部102a中不進行各種處理，則成為&5' (1) =a5(l)，d5' (1) = d5(l)，...，d/ (99) =4(99)，很明顯，x = y(原始圖像與重構圖像相同），成為完全重 構。在本實施方式中，作為一個示例，係數處理部l〇2b通過將針對與具有給定的頻率特性 以及/或者給定的方位性的濾波器對應的子帶信號的加權係數設為不是1的數值，從而生 成與原始圖像不同的重構圖像（即，重構處理圖像）。
[0176] 在此，對細節濾波器的分類進行說明。細節濾波器根據其方位性能夠分成五類。 艮P，如果將與某一方向正交的軸稱為"正交軸"，則能夠分成以下五類，即，（1)具有與正交軸 相同方向的方位性的細節濾波器、（2)具有與正交軸垂直方向的方位性的細節濾波器、（3) 具有與正交軸呈正角度的方位性的細節濾波器、（4)具有與正交軸呈負角度的方位性的細 節濾波器以及（5)未進行方位分離的細節濾波器。在此，與正交軸的角度Θ設逆時針為正， 由-90° < Θ <+90°來表示。另外，具有相對於正交軸為水平或者垂直的方位性（Θ = 0°，90° )的細節濾波器分類為⑴或者（2)，因此，不分類為（3)或者（4)。此外，在"未 進行（5)方位分離的細節濾波器"中，由於與正交軸的角度的絕對值包括相同的正的角度和 負的角度這兩個方位性，因此不分類為（3)或者（4)。
[0177] 例如，在將某一方向設為縱向的情況下，在圖5的示例中，與"（1)具有與正交軸 相同方向的方位性的細節濾波器"對應的子帶信號成為d k(15)、dk(23)、dk(31)、dk(39)、 dk(47)、dk(55)以及dk(63)。此外，與"（2)具有與正交軸垂直方向的方位性的細節濾波器" 對應的子帶信號成為d k(l)?dk(7)。此外，與"（3)具有相對正交軸呈正的角度的方位性 的細節濾波器"對應的子帶信號成為d k(64)?dk(99)。此外，與"（4)具有相對正交軸呈 負的角度的方位性的細節濾波器"對應的子帶信號成為d k(9)?dk (14)、dk (17)?dk(22)、 dk(25)?dk(30)、dk(33)?dk(38)、d k(41)?dk(46)、dk(49)?dk(54)。此外，與 "（5)未 進行方位分離的細節濾波器"對應的子帶信號成為dk(8)、dk(16)、d k(24)、dk(32)、dk(40)、 dk(48)、dk(56)?dk(62)。
[0178] 另外，細節濾波器也能夠根據其頻率特性來賦予特徵。即，以風車小框架的近似濾 波器為中心，並從近似部分以同心圓狀擴散的細節濾波器，具有距中心越遠則越通過高頻 分量、距中心越近則越通過低頻分量這一特徵。換句話說，在風車小框架的濾波器配置中， 距近似濾波器較遠一側的細節濾波器獲取高頻分量的子帶信號；在濾波器配置中，距近似 濾波器較近一側的細節濾波器獲取低頻分量的子帶信號。
[0179] 在圖5的示例中，與具有最低頻一側的頻率特性的細節濾波器對應的子帶信號成 為dk(7)、d k(14)、dk(15)以及dk(64)。與具有其次的低頻側的頻率特性的細節濾波器對應的 子帶信號成為d k(6)、dk(13)、dk(21)?dk(23)、d k(65)、dk(70)以及dk(71)。然後，與具有再其 次的低頻側的頻率特性的細節濾波器對應的子帶信號成為d k(5)、dk(12)、dk(20)、dk(28)? dk(31)、dk(66)、dk(72)以及dk(76)?d k(78)。與具有再其次的低頻側的（比較中頻側的）頻 率特性的細節濾波器對應的子帶信號成為dk(4)、d k(ll)、dk(19)、dk(27)、dk(35)?d k(39)、 dk(67)、dk(73)、dk(79)以及dk(82)?d k(85)。然後，與具有再其次的低頻側的（比較高頻 側的）頻率特性的細節濾波器對應的子帶信號成為dk(3)、d k(10)、dk(18)、dk(26)、dk(34)、 4(42)?4(47)、4(68)、(1 1;(74)、(11;(80)、(11;(86)以及(11;(88)?(1 1;(92)。然後，與具有再其 次的低頻側的（比較高頻側的）頻率特性的細節濾波器對應的子帶信號成為dk(2)、d k(9)、 dk(17)、 dk(25)、 dk(33)、 dk(41)、 dk(49)?dk(55)、 dk(69)、 dk(75)、 dk(81)、 dk(87)、 dk(93)、 以及dk(94)?dk(99)。然後，與具有再其次的低頻側的（最高頻側的）頻率特性的細節濾 波器對應的子帶信號成為 dk(l)、dk(8)、dk(16)、dk(24)、d k(32)、dk(40)、dk(48)、dk(56)? dk(63)。
[0180] 除了該分類之外，進行了方位分離的細節濾波器，根據其形狀，被分類成與該濾波 器所具有的方位性的方位方向的軸幾乎對稱的偶數型以及與方位方向的軸幾乎反對稱的 奇數型。另外，近似濾波器是與垂直軸和水平軸幾乎對稱的偶數型。
[0181] 以上是對細節濾波器的分類進行的說明。
[0182] 再次返回到圖1，顏色空間變換部102f為進行顏色空間的變換或顏色分量的分 解/合成等的顏色空間變換單元。例如，顏色空間變換部l〇2f，在存儲於圖像數據文件 106b中的圖像數據為彩色圖像，即沒有根據在本實施方式使用的顏色分量來記載數據的 情況下，在進行基於分解部102a的彩色圖像銳化處理等情況下，可以變換成目標的顏色空 間（例如，CIELAB顏色空間）。通過變換成CIELAB顏色空間，圖像被分解為L* (亮度）、 a* (紅-綠）、b* (黃-藍）這三個顏色分量。另外，顏色空間變換部102f也可變換為CIELAB 顏色空間以外的其他顏色空間。使用CIELAB顏色空間的優點是：接近於來自人的視網膜的 視覺信息變換這一優點。另外，在圖像數據事先按照在本實施方式所使用的各種顏色分量 記載了色調或灰度值等的情況下，顏色空間變換部l〇2f可以不進行關於顏色空間的處理。 另外，如果有必要，顏色空間變換部102f，在基於重構部102d進行的圖像數據重構處理中 進行顏色分量的合成或顏色空間的變換、亮度/顏色的尺度變換等。
[0183] 另外，處理圖像輸出部102g是將由處理圖像獲取部102c獲取的處理圖像數據 (係數輸出處理圖像數據或重構處理圖像數據）向輸出裝置114進行輸出的處理圖像輸出 單元。例如，處理圖像輸出部102g可以將處理圖像顯示輸出在顯示器等顯示裝置上，也可 以將處理圖像在印表機等印刷裝置上印刷輸出來製作印刷介質，也可以將處理圖像數據輸 出到記錄介質保存裝置並將處理圖像數據保存到記錄介質中，從而製作記錄介質。作為印 刷對象的介質，可為例如紙、塑料、玻璃、金屬等，也可以是例如傳單、團扇、卡片、連環畫、賀 年片、聖誕卡片、名片、罐
[0184] 子等容器等的方式。另外，根據所輸出的方式，處理圖像輸出部102g可以進行根 據用途的設計變更（例如，變更為明信片等）。另外，處理圖像輸出部l〇2g可以經由網絡 300將處理圖像數據發送給外部系統200。
[0185] 即，該圖像處理裝置100可以經由路由器等通信裝置以及專用線路等有線或無線 的通信線路與網絡能夠通信地連接。在圖1中，通信控制接口部104進行圖像處理裝置100 與網絡300 (或路由器等的通信裝置）之間的通信控制。即，通信控制接口部104是與連接 了通信線路等路由器等的通信裝置（未圖示）連接的接口，具有與其他終端經由通信線路 進行數據通信的功能。在圖1中，網絡300具有將圖像處理裝置100與外部系統200相互 連接的功能，例如，是網際網路等。
[0186] 在圖1中，外部系統200通過網絡300與圖像處理裝置100相互連接，可以具有提 供圖像數據或關於風車小框架的外部資料庫、或用於使計算機作為圖像處理裝置發揮功能 的程序的功能。在此，外部系統200可以作為WEB伺服器或ASP伺服器等構成。另外，外部 系統200的硬體結構可以由市場出售的工作站、個人計算機等信息處理裝置及其附屬裝置 構成。另外，外部系統200的各功能通過外部系統200的硬體構成中的CPU、磁碟裝置、存儲 器裝置、輸入裝置、輸出裝置、通信控制裝置等以及控制它們的程序等來實現。
[0187] 以上，就完成了本實施方式中的圖像處理裝置100的構成的說明。
[0188] [圖像處理裝置100的處理]
[0189] 接下來，關於如上所述構成的本實施方式中的該圖像處理裝置100的處理，以下， 參照圖6?圖57進行詳細說明。
[0190] [基本處理]
[0191] 首先，作為由圖像處理裝置100執行的圖像處理的一個示例，以下參照圖6?圖8 對基本處理進行說明。圖6是表示本實施方式中的圖像處理裝置100的基本處理的一個示 例的流程圖。
[0192] 首先，分解部102a針對存儲在圖像數據文件106b中的圖像數據，進行基於存儲在 小框架文件106a中的廣義風車小框架或風車小波框架的最大重疊多解析度分解，並獲取 子帶信號（步驟S-1)。在此，圖7以及圖8是表示基於風車小框架的多解析度分解的分解 階段以及合成階段（無/有處理）的濾波器組的一個示例的圖。圖中的數字表示等級。PW 是細節濾波器，A是近似濾波器。
[0193] 如圖7以及圖8所示，首先，分解部102a使用等級1的風車小框架，將原始圖像 作為輸入信號，分解成通過細節濾波器PW1的分解子帶信號（用分解細節係數屯表示的信 號）、和通過一個近似濾波器A1的信號。接下來，分解部102a使用等級2的風車小框架，將 通過了等級1的近似濾波器A1的信號分解成通過等級2的細節濾波器PW2的分解子帶信 號（分解細節係數d 2)、和通過等級2的近似濾波器A2的信號。分解部102a將該處理反覆 進行直到最大等級k(在圖示的情況下，k = 5)為止，獲得分解細節係數屯?dk、以及基於 通過了最大等級k的近似濾波器Ak的分解子帶信號的分解近似係數a k。接下來，對分解子 帶信號進行各種處理，獲得分解細節係數d/?d5'和分解近似係數 &5'。
[0194] S卩，如圖7以及圖8所示，分解部102a的係數處理部102b，針對與濾波器組的多個 濾波器之中的至少一個對應的分解子帶信號，進行線性或非線性的係數處理等而使分解子 帶信號相對地衰減或放大的各種處理（步驟S-2)。在此，作為一個示例，係數處理部102b 可以進行基於硬閾值或軟閾值等的閾值處理。另外，係數處理部l〇2b可以使與多個濾波器 之中的具有給定的頻率特性以及/或者給定的方位性的濾波器的至少一個相對應的分解 子帶信號衰減或放大。例如，係數處理部l〇2b可以通過使按照基於廣義風車小框架或風車 小波框架的各等級下的方位的給定的濾波器配置中的位置、以及/或者多解析度分解中的 等級所指定的給定的分解子帶信號增減，從而進行使給定的頻率分量增減的圖像處理。作 為一個示例，係數處理部102b可以針對形成分解子帶信號的、從分解階段輸出的分解細節 係數以及/或者分解近似係數進行係數處理。即，係數處理部l〇2b可以使分解階段中的近 似子帶信號增減，並且/或者使分解階段中的細節子帶信號增減。
[0195] 於是，處理圖像獲取部102c獲取在步驟S-2中實施了各種處理的處理圖像數據 (係數輸出處理圖像數據或重構處理圖像數據）（步驟S-3)。在圖7的示例中，處理圖像獲 取部102c可以針對在基於分解部102a的處理的分解階段獲得的分解細節係數屯?d 5，在 不將實施了各種處理的分解細節係數d/?d5'和分解近似係數&5'輸入到合成階段的 情況下，獲取處理圖像數據作為係數輸出處理圖像數據，也可以根據需要進行加權相加作 為處理圖像數據來獲取。另一方面，在圖8的示例中，處理圖像獲取部102c可以針對在基 於分解部102a的處理的分解階段獲得的分解細節係數4?d 5和分解近似係數a5，將實施 了各種處理的分解細節係數d/?d5'和分解近似係數 &5'輸入到合成階段，以獲取由重 構部102d重構的處理圖像數據作為重構處理圖像數據。
[0196] 以上是本實施方式的基本處理。通過該基本處理能夠對原始圖像實施基於本實施 方式的各種圖像處理。
[0197] [彩色圖像銳化處理]
[0198] 首先，作為利用圖像處理裝置100執行的圖像處理的一個示例，針對彩色圖像的 圖像銳化處理，以下參照圖9?圖21進行說明。圖9是表示本實施方式中的圖像處理裝置 100的彩色圖像銳化處理的一個示例的流程圖。
[0199] 首先，分解部102a針對存儲在圖像數據文件106b中的圖像數據的各顏色分量，進 行基於存儲在小框架文件l〇6a中的風車小框架的最大重疊多解析度分解，並獲取子帶信 號（步驟SA-1)。另外，分解部102a不局限於風車小框架，也可以使用方位性由水平方向、 垂直方向、對角方向構成的雙正交小波濾波器組。另外，也可以根據需要（例如，在沒有用 本實施方式中所使用的顏色分量來記載圖像數據的情況等），顏色空間變換部l〇2f針對彩 色圖像進行所希望的顏色空間的變換處理或顏色分量的分解處理。作為一個示例，顏色空 間變換部l〇2f可以將彩色圖像變換成CIELAB顏色空間。由此，圖像被分解成L* (亮度）、 a* (紅-綠）、b* (黃-藍）這三種顏色分量。在此，圖10是表示最大重疊多解析度分解的 分解階段以及合成階段的濾波器組的一個示例的圖。圖中的數字表示等級。PW為細節濾波 器，在次數7的情況下，在各等級中存在99個。A為近似濾波器，在同樣次數7的情況下，各 等級中存在1個。另外，在圖10的示例中，雖然使用了最大重疊法，但本實施方式不局限於 此，也可以使用最大間隔剔除法和其他的間隔剔除法。
[0200] 如圖10所示，首先，分解部102a使用等級1的風車小框架，將原始圖像作為輸入 信號，分解成通過99個細節濾波器的信號、和通過1個近似濾波器的信號（用分解細節系 數屯表示的信號）。接下來，分解部102a使用等級2的風車小框架，將通過了等級1的近 似濾波器的信號分解成通過99個（等級2的）細節濾波器的信號（分解細節係數d 2)、和 通過1個（等級2的）近似濾波器的信號。分解部102a將該處理反覆進行直到最大等級 k(在圖示的情況下為等級5)為止，獲得分解細節係數屯?士和近似係數ak。在通常的多 解析度分解中，分解部l〇2a將在分解階段獲得的由分解細節係數屯?d 5形成的信號直接 輸入到合成階段的濾波器組，但在本實施方式中，進行本實施方式中的係數處理，以獲得合 成階段輸入用的分解細節係數d/?d 5'。
[0201] 即，如圖9所示，分解部102a的係數處理部102b在多解析度分解中的分解階段與 合成階段之間，針對從分解階段輸出的分解細節係數進行係數處理（步驟SA-2)，以使將該 分解細節係數的能量越大則絕對值越小的值抑制得更小；將該分解係數的能量越小則絕對 值越小的值增大。在此，關於圖像數據的a*以及/或者b*的顏色分量，係數處理部102b 可以進行按如下方式那樣修正的係數處理，即：將由a*以及/或者b*的分解細節係數和L* 中的分解細節係數所確定的能量越大則絕對值越小的值抑制得更小；將上述能量越小則絕 對值越小的值增大。另外，係數處理部l〇2b可以在函數處理等係數處理以及/或者能量計 算中進行歸一化，以使分解細節係數的值變得容易處理。在此，圖11是表示伴隨著歸一化 的分解細節係數的係數處理的一個示例的流程圖。
[0202] 如圖11所示，首先，係數處理部102b將從分解階段輸出的分解細節係數X的絕對 值歸一化（步驟SA-21)。例如，係數處理部102b利用適當的歸一化方法進行分解細節係數 X的歸一化，以使所有的分解細節係數X都落入0到1之間的數值內。
[0203] 然後，係數處理部102b基於歸一化分解細節係數y來計算分解細節係數的能量 (步驟SA-22)。例如，係數處理部102b可以將歸一化分解細節係數y的均方範數I I y I I作 為能量。另外，也可以進行歸一化等指數調整，以使能夠以函數處理來處理能量。
[0204] 然後，係數處理部102b根據在步驟SA-22計算出的能量，非線性地進行歸一化分 解細節係數y的係數處理，從而獲得係數處理結果z (步驟SA-23)。例如，為了進行與能量 大小相應的係數處理，係數處理部l〇2b可以在能量值中設置閾值，按照能量值的每個範圍 進行不同的係數處理，也可以不在能量值中設置閾值，而通過根據能量值而使偏差連續變 化的函數進行計算來進行係數處理。作為一個示例，係數處理部102b使用連續變化的SN 函數，在分解細節係數的能量大的情況下對S字曲線進行係數處理，在分解細節係數的能 量小的情況下對N字曲線進行係數處理。在此，以下的公式1是SN函數的一個示例。在公 式1中，如果α > 1，則成為S型曲線，如果α = 1，則成為直線，如果α < 1，則成為N型 曲線。另外，能量與參數α的對應的決定方法不是固定為一個，也可以以反映個人差別的 方式設定，另外，也可以按照每個等級、每個方位、每個顏色分量以及分解細節係數的每個 符號來進行設定。
[0205] z = ya/{ya + (l_y) α} · · ·(式 1)
[0206] (其中，y是歸一化分解細節係數（0彡y彡1)，α是基於歸一化分解細節係數的 能量的指標值（〇 < a )，z是被函數處理後的歸一化分解細節係數）
[0207] 然後，係數處理部102b通過對在步驟SA-23進行了係數處理的歸一化分解細節系 數z進行歸一化的逆運算，從而獲得用於合成階段的輸入數據X'(步驟SA-24)。另外，在 使用上述的範數的情況下，當用以下公式進行逆運算時，將符號恢復到原來。
[0208] X' =sgn(x)z'
[0209] (其中，X是分解細節係數，z是係數處理後的值，z'是歸一化的逆運算結果的值。 其中，如果X彡0,則sgn(x) = 1，如果X < 0,則sgn(x) =-1。另外，X'是將符號恢復後 的結果的值）
[0210] 再返回到圖9,分解部102a將在步驟SA-2進行了係數處理的分解細節係數作為輸 入數據來進行合成階段的處理（步驟SA-3)。即，分解部102a利用合成階段的濾波器，從將 在分解階段輸出的信號進行了係數處理的信號中最終獲取99X5個合成子帶信號（細節部 分）和1個合成子帶信號（近似部分）（參照圖10)。
[0211] 然後，重構部l〇2d將從分解部102a獲取的各顏色分量的合成子帶信號加在一起， 從而重構圖像（步驟SA-4)。另外，在將合成子帶信號加在一起的顏色分量的數值超過規定 值（例如，0到255灰度的範圍）的情況下，重構部102d可以例如將整體尺寸化從而使數值 落入在規定範圍（例如0和255的範圍內）內（歸一化的方法）；也可以將最低規定值（例 如，〇)以下的數值作為最低規定值，將最高規定值（例如255)以上的數值置換成255(使用 閾值的方法）。除此之外，根據需要（例如，必須以RGB輸出等），顏色空間變換部102f可 以進行顏色空間的變換或顏色分量的合成等處理。
[0212] 通過以上處理獲得的重構圖像是針對原始圖像實施基於本實施方式的圖像處理， 例如，實施了比原始圖像更自然的銳化。在此，圖12是將原始圖像、基於本實施方式的銳化 圖像、以及基於以往的方法的銳化圖像進行對比顯示的圖。
[0213] 如圖12所示，在非專利文獻1的以往的方法中，針對整個圖像，一律進行了檢測 出邊緣較亮一側的像素並使其更亮，檢測出邊緣較暗一側的像素並使其更暗的局部性對比 度控制，因此，特別是如照片跟前附近很多樹的那樣，即使是對比度本來就充分的地方，也 會不必要地實施過分的銳化直至接近於黑白，由此，造成圖像不自然。另一方面，根據本實 施方式，由於實施類似於人的初始視覺信息處理的圖像處理，因此，能夠不會實施過分的對 比度而獲得自然的銳化圖像。在此，圖13、圖14以及圖15分別是表示在圖12的各照片 (512X512像素）中自左起的第400個像素列的L*、a*以及b*的值的圖表。橫軸表示在 自左起第400個像素列的自上起的行數；縱軸表示各顏色分量（L*、a*或者b*)的值。藍色 顯示表示原始圖像的各點的值的圖表；綠色顯示表示基於本實施方式的處理圖像的各點的 值的圖表；紅色顯示表示基於市場上出售的程序產品的處理圖像的各點的值的圖表。
[0214] 如圖13?圖15所示，在非專利文獻1的現有方法中，無論是在遠景（橫軸的0? 300附近）還是近景（橫軸的400?500附近，一律進行對比度控制，以使表示原始圖像的各 點的值的圖表的變動變大。因此，特別是在近景（橫軸的400?500附近）中，產生了各顏 色分量的激烈變化。另一方面，根據本實施方式，針對存在激烈變動的近景（橫軸的400? 500附近），不使變動變大，針對變化舒緩的遠景（橫軸的0?300附近），實施銳化。而且， 不僅高頻部分，低頻部分也實施銳化。因此，不自然的圖像的增強變少。
[0215] 這樣，就結束了圖像處理裝置100的彩色圖像銳化處理的說明。能夠利用這樣的 本實施方式實施自然的銳化的原理如下所示。即，在人的視覺信息處理中具有高度的銳化 功能，因此，能夠如本實施方式那樣，基於人的視覺信息處理的數理模型的圖像處理能夠進 行高度的銳化。而且，在該情況下，由於進行與腦內的視覺信息處理類似的處理，因此，具有 不會感到過分不自然的銳化的這一優點。
[0216] [利用SN函數的係數處理的實施例]
[0217] 接下來，利用圖像處理裝置100的係數處理部102b且使用SN函數的係數處理的 實施例如下所示。
[0218] 為了對如果周圍的刺激量多，則抑制弱的刺激；如果周圍的刺激量弱，則增強弱的 刺激這一現象等進行數學性描述，考慮利用參數從具有S型的圖形的函數連續地變形到具 有N字型的圖形的函數的函數。將具有這種特性的函數稱為感知函數。作為感知函數的一 個示例，舉出以下的SN函數。
[0219] [公式 1]
[0220]
【權利要求】
1. 一種圖像處理裝置，其至少具有存儲部和控制部，上述圖像處理裝置的特徵為， 上述存儲部具有： 濾波器存儲單元，其存儲具有次數的廣義風車小框架或風車小波框架，上述廣義風車 小框架或風車小波框架是沒有方位性的近似濾波器、以及具有各方位性的多個細節濾波器 的集合；以及 圖像數據存儲單元，其存儲圖像數據， 上述控制部具有： 分解單元，其針對上述圖像數據進行基於廣義風車小框架或風車小波框架的多解析度 分解，並獲取子帶信號；以及 處理圖像獲取單元，其獲取通過將從上述分解單元獲取的、基於上述多解析度分解的 分解階段中的上述子帶信號的處理圖像數據或上述多解析度分解的合成階段中的上述子 帶信號相加而對圖像進行重構後的處理圖像數據， 上述分解單元還具有： 處理單元，其進行使與上述濾波器的至少一個對應的上述多解析度分解的上述分解階 段中的上述子帶信號衰減或放大的處理。
2. 根據權利要求1所述的圖像處理裝置，其特徵為， 上述處理單元針對上述分解階段中的上述子帶信號進行線性或非線性的係數處理。
3. 根據權利要求1或2所述的圖像處理裝置，其特徵為， 上述處理單元針對上述分解階段中的上述子帶信號進行閾值處理。
4. 根據權利要求1或2所述的圖像處理裝置，其特徵為， 上述處理單元進行係數處理，以使將形成上述分解階段中的上述子帶信號的分解細節 係數的能量越大則絕對值越小的值抑制得更小，並將該分解細節係數的能量越小則絕對值 越小的值增大。
5. 根據權利要求1至4的任意一項所述的圖像處理裝置，其特徵為， 上述處理單元使與多個上述濾波器之中的具有給定的頻率特性以及/或者給定的方 位性的上述濾波器的至少一個對應的上述分解階段中的上述子帶信號衰減或放大。
6. 根據權利要求5所述的圖像處理裝置，其特徵為， 上述給定的頻率特性是由基於上述廣義風車小框架或上述風車小波框架的各等級下 的方位的給定的濾波器配置中的位置以及/或者上述多解析度分解中的等級所指定的。
7. 根據權利要求1至6的任意一項所述的圖像處理裝置，其特徵為， 上述處理單元使與多個上述濾波器之中的具有給定的頻率特性以及/或者給定的方 位性的奇數型濾波器的至少一個對應的上述分解階段中的子帶信號相對地放大。
8. 根據權利要求1至6的任意一項所述的圖像處理裝置，其特徵為， 上述處理單元使與多個上述濾波器之中的具有給定的頻率特性以及/或者給定的方 位性的上述奇數型濾波器的至少一個對應的上述分解階段中的子帶信號相對地放大，而 且，還使與偶數型濾波器的至少一個對應的上述分解階段中的子帶信號相對地衰減。
9. 根據權利要求1至8的任意一項所述的圖像處理裝置，其特徵為， 上述處理單元通過對從上述分解階段輸出的分解細節係數以及/或者分解近似係數 進行處理，從而使上述分解階段中的上述子帶信號衰減或放大。
10. -種圖像處理裝置，其至少具有存儲部和控制部，所述圖像處理裝置的特徵為， 上述存儲部具有： 濾波器存儲單元，其存儲方位選擇性小波框架或方位選擇性濾波器組，上述方位選擇 性小波框架或方位選擇性濾波器組是沒有方位性的近似濾波器、以及具有各方位性的多個 細節濾波器的集合；以及 圖像數據存儲單元，其存儲圖像數據， 上述控制部具有： 分解單元，其針對上述圖像數據的各顏色分量，進行基於上述方位選擇性小波框架或 上述方位選擇性濾波器組的多解析度分解，並獲取子帶信號；以及 重構單元，其將通過上述分解單元獲取的各顏色分量的上述合成階段中的上述子帶信 號相加而對圖像進行重構，並獲取重構圖像數據， 上述分解單元還具有： 係數處理單元，其在上述多解析度分解的分解階段與合成階段之間，針對從上述分解 階段輸出的分解細節係數進行係數處理，以使將該分解細節係數的能量越大則絕對值越小 的值抑制得更小，並將該分解細節係數的能量越小則絕對值越小的值增大。
11. 根據權利要求10所述的圖像處理裝置，其特徵為， 上述顏色分量是CIELAB顏色空間中的L*、a*以及b*、或接近於人的視覺的顏色空間 的各顏色分量。
12. 根據權利要求11所述的圖像處理裝置，其特徵為， 上述係數處理單元針對上述圖像數據的a*以及/或者b*的顏色分量進行按如下方式 修正的上述係數處理，即：將由a*以及/或者b*的上述分解細節係數與L*中的上述分解 細節係數所確定的能量越大則絕對值越小的值抑制得更小，將上述能量越小則絕對值越小 的值增大。
13. 根據權利要求10至12的任意一項所述的圖像處理裝置，其特徵為， 上述係數處理單元使用自動地進行連續變化的函數，在上述分解細節係數的能量大的 情況下，對S字曲線進行上述係數處理，在上述分解細節係數的能量小的情況下，對N字曲 線進行上述係數處理。
14. 根據權利要求10至13的任意一項所述的圖像處理裝置，其特徵為， 上述係數處理單元在上述分解階段與上述合成階段之間，將上述分解細節係數歸一 化，將被歸一化後的上述分解細節係數即歸一化分解細節係數的範數作為上述能量，針對 該歸一化分解細節係數進行上述係數處理，並對被係數處理後的上述歸一化分解細節係數 進行上述歸一化的逆運算。
15. 根據權利要求10至14的任意一項所述的圖像處理裝置，其特徵為， 上述係數處理單元根據上述分解細節係數的符號的不同來進行個別的處理。
16. 根據權利要求10至15的任意一項所述的圖像處理裝置，其特徵為， 上述分解單元使用上述方位性由水平方向、垂直方向和對角方向構成的雙正交小波濾 波器組、或上述方位性為多方向的廣義風車小框架或風車小波框架，進行上述多解析度分 解。
17. 根據權利要求10至16的任意一項所述的圖像處理裝置，其特徵為， 基於上述分解單元進行的上述多解析度分解是：最大重疊多解析度分解、最大間隔剔 除多解析度分解、或者部分間隔剔除部分重疊多解析度分解。
18. -種圖像處理方法，是在至少具有存儲部和控制部的圖像處理裝置中執行的圖像 處理方法，其特徵為： 上述存儲部具有： 濾波器存儲單元，其存儲具有次數的廣義風車小框架或風車小波框架，上述廣義風車 小框架或風車小波框架是沒有方位性的近似濾波器、以及具有各方位性的多個細節濾波器 的集合；以及 圖像數據存儲單元，其存儲圖像數據， 上述圖像處理方法在上述控制部中執行的步驟包括： 分解步驟，針對上述圖像數據進行基於廣義風車小框架或風車小波框架的多解析度分 解，並獲取子帶信號；以及 處理圖像獲取步驟，獲取通過將從上述分解單元獲取的、基於上述多解析度分解的分 解階段中的上述子帶信號的處理圖像數據、或上述多解析度分解的合成階段中的上述子帶 信號相加而對圖像進行重構後的處理圖像數據， 上述分解步驟還具有： 處理步驟，進行使與上述濾波器的至少一個對應的上述多解析度分解的上述分解階段 中的上述子帶信號衰減或放大的處理。
19. 一種圖像處理方法，是在至少具有存儲部和控制部的圖像處理裝置中執行的圖像 處理方法，其特徵為， 上述存儲部具有： 濾波器存儲單元，其存儲方位選擇性小波框架或方位選擇性濾波器組，上述方位選擇 性小波框架或方位選擇性濾波器組是沒有方位性的近似濾波器、以及具有各方位性的多個 細節濾波器的集合；以及 圖像數據存儲單元，其存儲圖像數據， 上述圖像處理方法在上述控制部中執行的步驟包括： 分解步驟，針對上述圖像數據的各顏色分量進行基於上述方位選擇性小波框架或上述 方位選擇性濾波器組的多解析度分解，並獲取子帶信號；以及 重構步驟，通過將在上述分解步驟獲取的各顏色分量的上述合成階段中的上述子帶信 號相加而對圖像進行重構，並獲取重構圖像數據， 上述分解步驟還具有： 係數處理步驟，在上述多解析度分解的分解階段與合成階段之間，針對從上述分解階 段輸出的分解細節係數進行係數處理，以使將該分解細節係數的能量越大則絕對值越小的 值抑制得更小，並將該分解細節係數的能量越小則絕對值越小的值增大。
20. -種程序，是用於在至少具有存儲部和控制部的圖像處理裝置中執行圖像處理方 法的程序，其特徵為， 上述存儲部具有： 濾波器存儲單元，其存儲具有次數的廣義風車小框架或風車小波框架，上述廣義風車 小框架或風車小波框架是沒有方位性的近似濾波器以及具有各方位性的多個細節濾波器 的集合；以及 圖像數據存儲單元，其存儲圖像數據， 上述程序在上述控制部中執行： 分解步驟，針對上述圖像數據進行基於廣義風車小框架或風車小波框架的多解析度分 解，並獲取子帶信號；以及 處理圖像獲取步驟，獲取通過將從上述分解單元獲取的、基於上述多解析度分解的分 解階段中的上述子帶信號的處理圖像數據、或上述多解析度分解的合成階段中的上述子帶 信號相加而對圖像進行重構後的處理圖像數據， 在上述分解步驟還執行： 處理步驟，進行使與上述濾波器的至少一個對應的上述多解析度分解的上述分解階段 中的上述子帶信號衰減或放大的處理。
21. -種程序，是用於在至少具有存儲部和控制部的圖像處理裝置中執行圖像處理方 法的程序，其特徵為， 上述存儲部具有： 濾波器存儲單元，其存儲方位選擇性小波框架或方位選擇性濾波器組，上述方位選擇 性小波框架或方位選擇性濾波器組是沒有方位性的近似濾波器、以及具有各方位性的多個 細節濾波器的集合；以及 圖像數據存儲單元，其存儲圖像數據， 上述程序在上述控制部中執行： 分解步驟，針對上述圖像數據的各顏色分量進行基於上述方位選擇性小波框架或上述 方位選擇性濾波器組的多解析度分解，並獲取子帶信號；以及 重構步驟，通過將在上述分解步驟獲取的各顏色分量的上述合成階段中的上述子帶信 號相加而對圖像進行重構，並獲取重構圖像數據， 在上述分解步驟中還執行： 係數處理步驟，在上述多解析度分解的分解階段與合成階段之間，針對從上述分解階 段輸出的分解細節係數進行係數處理，以使將該分解細節係數的能量越大則絕對值越小的 值抑制得更小，並將該分解細節係數的能量越小則絕對值越小的值增大。
22. -種印刷介質，印刷有處理圖像，其特徵為， 在上述處理圖像中，構成原始圖像的、由廣義風車小框架或風車小波框架提取的各分 量、或者由方位選擇性小波框架或方位選擇性濾波器組提取的各分量之中的給定的上述分 量被衰減或放大。
23. -種能夠由計算機讀取的記錄介質，其記錄了用於顯示處理圖像的圖像數據，其特 徵為， 在上述處理圖像中，構成原始圖像的、由廣義風車小框架或風車小波框架提取的各分 量、或者由方位選擇性小波框架或方位選擇性濾波器組提取的各分量之中的給定的上述分 量被衰減或放大。
【文檔編號】G06T5/20GK104285239SQ201380025075
【公開日】2015年1月14日 申請日期:2013年5月13日 優先權日:2012年5月14日
【發明者】新井仁之, 新井偲 申請人:獨立行政法人科學技術振興機構