影像處理裝置、影像處理方法以及電腦程式的製作方法

2023-11-02 06:43:42 1

專利名稱：影像處理裝置、影像處理方法以及電腦程式的製作方法
技術領域：
涉及進行增強輸入影像的深度感的處理的影像處理裝置、影像處理方法、以及用於使計算機作為所述影像處理裝置來工作的電腦程式。
背景技術：
提高顯示於電視、可攜式電話等影像顯示裝置的二維影像的立體感或深度感的各種各樣的手法已經被提出。例如，作為提高立體感或深度感的方法之一，提出了利用兩眼視差的立體觀看手法。立體觀看手法是通過對觀眾的左右眼分別送出左眼用視差圖像和右眼用視差圖像，來使觀眾產生錯覺，對二維平面賦予立體感或深度感的手法。在對左右眼分別送出左眼用視差圖像以及右眼用視差圖像的方式中，存在如下方式使用了交替地切換左眼用視差圖像和右眼用視差圖像來進行顯示的影像顯示裝置、和與各視差圖像的切換頻率同步地切換左右的擋板來截斷光路的眼鏡(例如，專利文獻1)。此外，還存在立體影片(anaglyph)方式，該立體影片方式通過使用將左眼用視差圖像以及右眼用視差圖像分別色變換為紅色圖像以及藍色圖像，並重疊地顯示色變換後的各圖像的影像顯示裝置、和紅藍眼鏡，來對左右眼分別送出紅色圖像以及藍色圖像。並且，還存在如下方式通過使用對左眼用視差圖像以及右眼用視差圖像分別用不同的偏光來進行顯示的影像顯示裝置和偏光眼鏡，來向左右眼分別送出左眼用視差圖像以及右眼用視差圖像(例如，專利文獻2)。另一方面，在繪畫領域中，利用透視法、陰影法、前進色以及後退色的組合等繪畫技巧來提高繪畫的立體感或深度感。利用這些繪畫技巧而製作的繪畫作品，被稱作錯覺藝術(trick art)或錯覺畫法(trompe loeil)。錯覺藝術通過利用前述的繪畫技巧來描繪平面作品中的背景、各對象間的重疊關係，能夠產生二維描繪的對象的一部分宛如突出到實際世界的三維空間中的錯覺，能夠對平面作品賦予立體感或深度感。(先行技術文獻)專利文獻專利文獻1 JP特開昭60-7291號公報專利文獻2 JP特開平1-171390號公報但是，在專利文獻1、2所涉及的系統中，需要準備專用的影像顯示裝置以及特殊的眼鏡。而且，存在觀眾必須佩戴特殊的眼鏡，視聽方法受到很大限制的問題。

發明內容
本發明鑑於這種情況而作，目的在於提供一種能夠不使用專用的影像顯示裝置以及特殊的眼鏡，僅通過圖像處理來提高影像的深度感的影像處理裝置、影像處理方法以及用於使計算機作為所述影像處理裝置來工作的電腦程式。本發明所涉及的影像處理裝置，其進行增強輸入的影像的深度感的處理，所述影像處理裝置的特徵在於，具備深度信息取得單元，其取得深度信息，該深度信息表示構成所述影像的多個影像部分各自的深度方向的距離；影像分割單元，其基於由該深度信息取得單元取得的深度信息以及所述影像，來將該影像分割為深度方向的距離不同的多個影像部分；和影像合成單元，其按照在由該影像分割單元分割出的一個影像部分上重疊用於增強所述影像的深度的深度增強影像，並且在該深度增強圖像上重疊與所述一個影像部分相比深度方向的距離較短的其他影像部分的方式來合成各影像部分以及深度增強圖像。本發明所涉及的影像處理裝置的特徵在於，還具備生成單元，其基於輸入的影像的亮度或顏色，來生成亮度或顏色與該影像不同的深度增強影像，所述影像合成單元對由所述生成單元生成的深度增強影像進行合成。本發明所涉及的影像處理裝置的特徵在於，所述生成單元，基於由所述影像分割單元分割出的一個影像部分以及/或者其他影像部分的亮度或顏色，來生成亮度或顏色與該影像部分不同的深度增強影像。本發明所涉及的影像處理裝置的特徵在於，還具備移動方向信息取得單元，其構成為按照時間順序輸入多個影像，並取得表示按照時間順序輸入的各影像間的影像部分的移動方向的移動方向信息，所述生成單元，生成具有與由該移動方向信息取得單元取得的移動方向信息相應的形狀的深度增強影像。本發明所涉及的影像處理裝置的特徵在於，還具備移動方向信息取得單元，其構成為按照時間順序輸入多個影像，並取得表示按照時間順序輸入的各影像間的影像部分的移動方向的移動方向信息；和生成單元，其生成具有與由該移動方向信息取得單元取得的移動方向信息相應的形狀的深度增強影像，所述影像合成單元對由所述生成單元生成的深度增強影像進行合成。本發明所涉及的影像處理裝置的特徵在於，還具備存儲單元，其存儲規定的三維圖像，所述生成單元，具備旋轉處理單元，該旋轉處理單元按照使所述存儲單元所存儲的三維圖像、和由所述移動方向信息取得單元取得的一個影像部分的移動方向信息所表示的移動方向成為規定的位置關係的方式，來使該三維圖像旋轉，並生成具有將被該旋轉處理單元旋轉後的三維圖像投影於規定的二維平面而得到的二維形狀的深度增強影像。本發明所涉及的影像處理方法，進行增強輸入的影像的深度感的處理，所述影像處理方法的特徵在於，取得深度信息，該深度信息表示構成所述影像的多個影像部分各自的深度方向的距離；基於取得的深度信息以及所述影像，來將該影像分割為深度方向的距離不同的多個影像部分；按照在分割出的一個影像部分上重疊用於增強所述影像的深度的深度增強影像，並且在該深度增強圖像上重疊與所述一個影像部分相比深度方向的距離較短的其他影像部分的方式來合成各影像部分以及深度增強圖像。本發明所涉及的電腦程式，使計算機執行增強影像的深度感的處理，所述電腦程式的特徵在於，使所述計算機執行如下步驟基於表示構成所述影像的多個影像部分各自的深度方向的距離的深度信息以及所述影像，來將該影像分割為深度方向的距離不同的多個影像部分的步驟；按照在分割出的一個影像部分上重疊用於增強所述影像的深度的深度增強影像，並且在該深度增強圖像上重疊與所述一個影像部分相比深度方向的距離較短的其他影像部分的方式來合成各影像部分以及深度增強圖像的步驟。 在本發明中，取得表示構成影像的多個影像部分各自的深度方向的距離的深度信息，並基於取得的深度信息，來將該影像分割為深度方向的距離不同的多個影像部分。然後，按照在至少一個影像部分上重疊用於增強所述影像的深度的深度增強影像，並且在該深度增強圖像上重疊與所述一個影像部分相比深度方向的距離較短的其他影像部分的方式來合成各影像部分以及深度增強圖像。合成後的影像是將一個影像部分、深度增強影像、 以及其他影像部分依次重疊地進行合成的影像，因此通過深度增強影像而增強了一個影像部分以及其他影像部分的深度。具體而言，在一個影像部分的一部分上重疊地合成了深度增強影像的情況下，觀眾識別為深度增強影像位於一個影像部分的面前側。此外，在深度增強影像的一部分上重疊地合成了其他影像部分的情況下，觀眾識別為其他影像部分位於深度增強影像部分的面前側。因此，能夠給觀眾帶來一個影像部分和其他影像部分在深度方向上分離的深度感。另外，深度增強影像的個數不限定於1個，將影像分割為3個以上的影像部分，並按照在各影像部分間分別插入深度增強影像的方式，來合成各影像部分以及深度增強影像的技術思想也包含在本發明中。在本發明中，生成單元基於輸入的影像的亮度或顏色來生成亮度或顏色與該影像不同的深度增強影像。因此，深度增強圖像和影像部分具有不同的亮度或顏色。因此，能夠有效地增強一個影像部分以及其他影像部分的深度。在本發明中，生成單元基於一個影像部分以及/或者其他影像部分的亮度或顏色來生成亮度或顏色與該影像部分不同的深度增強影像。因此，深度增強圖像和影像部分具有不同的亮度或顏色。因此，能夠有效地增強一個影像部分以及其他影像部分的深度。在本發明中，移動方向信息取得單元取得表示按照時間順序輸入的各影像間的影像部分的移動方向的移動方向信息。然後，生成單元生成具有與取得的移動方向信息相應的形狀的深度增強圖像。即，生成單元生成具有能夠增強影像部分的移動的形狀的深度增強圖像。在本發明中，存儲單元存儲有作為深度增強影像的基礎的三維圖像。旋轉處理單元按照使存儲單元所存儲的三維圖像、和由移動方向信息取得單元取得的移動方向信息所表示的移動方向成為規定的位置關係的方式，來使該三維圖像旋轉。即，三維圖像按照向著影像部分的移動方向的方式旋轉。然後，生成單元生成使旋轉後的三維圖像投影於規定的二維平面而得到的具有二維形狀的深度增強影像。因此，合成的深度增強影像成為向著影像部分的移動方向的形狀。因此，影像部分的移動被增強。另外，三維圖像表示三維空間中的圖像，在三維圖像中，當然包括三維空間中的立體圖像，而且還包含平面圖像。(發明效果)根據本發明，能夠不使用專用的影像顯示裝置以及特殊的眼鏡，僅通過圖像處理來提高影像的深度感。


圖1是表示本發明的實施方式所涉及的影像處理裝置的一個結構例的框圖。圖2是表示影像取得部所取得的影像的一例的說明圖。圖3是概念性地表示深度信息的說明圖。圖4A是概念性地表示前景影像部分的說明圖。
圖4B是概念性地表示背景影像部分的說明圖。圖5A是概念性地表示突出信息的說明圖。圖5B是概念性地表示突出信息的說明圖。圖6是概念性地表示原三維框對象的說明圖。圖7A是概念性地表示框對象的形狀決定方法的說明圖。圖7B是概念性地表示框對象的形狀決定方法的說明圖。圖7C是概念性地表示框對象的形狀決定方法的說明圖。圖8A是概念性地表示框對象的亮度以及顏色的決定方法的說明圖。圖8B是概念性地表示框對象的亮度以及顏色的決定方法的說明圖。圖8C是概念性地表示框對象的亮度以及顏色的決定方法的說明圖。圖8D是概念性地表示框對象的亮度以及顏色的決定方法的說明圖。圖8E是概念性地表示框對象的亮度以及顏色的決定方法的說明圖。圖8F是概念性地表示框對象的亮度以及顏色的決定方法的說明圖。圖9A是概念性地表示影像合成部的處理內容的說明圖。圖9B是概念性地表示影像合成部的處理內容的說明圖。圖10是表示影像處理裝置所實施的影像處理方法的流程的流程圖。圖11是表示框對象生成部的動作流程的流程圖。圖12是表示變形例1所涉及的影像處理裝置的一個結構例的框圖。圖13是表示變形例2所涉及的影像處理裝置的一個結構例的框圖。圖14是表示作為深度增強影像的一例的窗簾對象的示意圖。圖15是概念性地表示變形例4所涉及的框對象的形狀決定方法的說明圖。圖16是概念性地表示變形例5所涉及的影像處理裝置的框圖。
具體實施例方式以下，對本發明基於表示其實施方式的附圖來進行詳述。圖1是表示本發明的實施方式所涉及的影像處理裝置1的一個結構例的框圖。本實施方式所涉及的影像處理裝置1具備影像取得部11、深度信息取得部12、影像分割部 13、突出信息取得部14、框對象生成部15以及影像合成部16。影像取得部11取得提高立體感或深度感的影像處理對象的影像，並將取得的影像輸出到影像分割部13。由影像取得部11取得的影像可以為靜止圖像或運動圖像的任意一種。靜止圖像由1幀的影像構成，運動圖像由時間順序的多幀的影像構成。此外， 該影像既可以為用規定的編碼方式、例如JPEG(Joint Photographic Experts Group)、 MPEG-2 (Moving Picture Expert Group phase2)等壓縮後的影像，也可以為非壓縮的影像。 在為取得編碼後的影像的結構的情況下，影像取得部11按照規定的編碼方式將取得的影像解碼為例如RGB形式或YUV形式的影像，並將解碼而得到的影像輸出到影像分割部13。以下，在本實施方式中，為了說明的簡單，說明對構成靜止圖像或動態圖像的1幀的影像進行的處理，但在動態圖像的情況下，對按照時間順序連續的各幀的影像進行同樣的處理。
圖2是表示影像取得部11所取得的影像的一例的說明圖。圖2所示的影像是表示二維排列的多個像素各自的亮度以及顏色的數據，由與深度方向的距離不同的多個對象、 例如鳥、樹、太陽、天空、雲等被攝體相當的影像構成。深度方向的距離是指，對象涉及的被攝體與規定位置、例如在該影像的攝像中使用的攝影裝置的位置之間的距離。以下，適當將該距離稱作深度。深度信息取得部12取得表示構成由影像取得部11得到的影像的多個對象各自的深度的深度信息，並將取得的深度信息輸出到影像分割部13。在本實施方式中，在攝像時預先測量深度方向上的攝影裝置以及各被攝體之間的距離，並將具有測量而得到的距離的信息的深度信息與影像分別地輸入到影像處理裝置1。另外，攝影裝置以及各被攝體之間的距離，運用例如立體(stereo)法來進行測量即可。具體而言，用分離配置的兩個攝像部來對共同的被攝體進行攝像，計算出由各攝像部拍攝到的兩枚影像中的被攝體的視差，並利用三角測量的原理來求出攝像裝置與被攝體之間的距離。此外，也可以在攝像裝置中設置對被攝體照射紅外線的測距用的紅外線照射部、 和測定被被攝體反射的紅外線的強度的紅外線檢測部，並基於從各被攝體反射的紅外線的強度，求出攝像裝置與被攝體之間的距離。圖3是概念性地表示深度信息的說明圖。如圖3所示，將具有與構成影像的多個對象分別對應的深度信息的圖像稱作深度圖像。深度例如按照距離從短到長的順序用1、
2.....5這些升序的數字來表示。具體而言，深度圖像由與輸入的影像相同的多個像素構
成，並分配了表示與構成輸入的影像的各像素對應的深度的1 5中任意一個數值作為深度圖像的各像素的像素值。另外，在此為了說明的簡單，用5個等級來表示深度信息，但深度信息從不足5個等級到多於5個等級都可以，當然用無等級來表示也沒有問題。影像分割部13基於由深度信息取得部12取得的深度信息，將由影像取得部11取得的影像分割為前景影像部分Fll和背景影像部分F12(參照圖4A以及圖4B)。然後，影像分割部13將分割後的前景影像部分Fll以及背景影像部分F12輸出到框對象生成部15以及影像合成部16。具體而言，影像分割部13對與取得的影像的各像素對應的深度和規定的閾值進行比較，在深度不到閾值的情況下，將該像素作為前景影像部分Fll的像素，在深度為閾值以上的情況下，將該像素作為背景影像部分F12的像素。閾值是影像分割部13所預先存儲的常數。在假設表示各像素的變量為η = 0、1、2...，表示前景影像部分Fll以及背景影像部分F12的區別的變量為I3x(Ii)，表示各像素的深度的變量為Depth (η)，閾值為Thl的情況下，Px(η)用下式(1)、⑵來表示。Px (n)=背景(Thl < Depth (η)). . · (1)Px (η)=前景(Thl 彡 Depth (η)). . · (2)圖4A是概念性地表示前景影像部分Fll的說明圖，圖4B是概念性地表示背景影像部分F12的說明圖。在閾值Thl為2的情況下，圖2所示的影像F1，基於圖3所示的深度圖像Gl以及閾值Thl = 2，被分割為前景影像部分Fll (圖4A中的實線所包圍的白色區域)和背景影像部分F 12(圖4B中的實線所包圍的白色區域(除了虛線所包圍的灰色區域以外的區域))。另外，雖然假設閾值Thl是預先記錄在影像分割部13中的值而進行了說明，但也可以為能夠由使用影像處理裝置1的觀眾自由設定的值。而且，也可以用計算來求出閾值 Thl0例如，閾值Thl用下式(3)來表示。Th = ( Σ Depth (η)) / (w X h)…(3)其中，η是0、1、2.....wXh的整數、h是影像Fl的高度(在垂直方向上排列的像
素數)、w是影像Fl的寬度(在水平方向上排列的像素數)。突出信息取得部14取得表示對影像Fl內的各對象設定的突出方向的突出信息， 並將取得的突出信息向框對象生成部15輸出。在此，突出方向是表示在對影像內的各對象的突出進行增強時，應在哪個方向上賦予突出感的信息。圖5A以及圖5B是概念性地表示突出信息的說明圖。突出信息例如如圖5A所示， 用以影像Fl的縱方向(垂直方向)為Y軸、以橫方向(水平方向)為X軸、以與影像面垂直的前後方向的假想軸為Z軸的三維空間中的三維向量來表示。該突出信息，如圖5B所示， 按照每個對象來指定。另外，在本實施方式中突出信息作為標準化後的單位向量來處理。框對象生成部15具備存儲作為用於增強影像的深度的框對象H3(參照圖9)的基礎的信息的存儲部15a ；用於基於突出信息來決定框對象H3的形狀的旋轉處理部15b以及投影變換部15c ；和基於前景影像部分Fll以及背景影像部分F12的亮度以及顏色來決定框對象H3的亮度以及顏色的顏色決定部15d。在此框對象H3是指，通過插入到前景影像部分Fll和背景影像部分F12之間來賦予前景以及背景之間的相對距離感，用於使觀眾感覺到立體感、深度感的對象。在本實施方式中，生成包圍影像Fl的外周的框狀的影像作為框對象H3。存儲部1 預先存儲有作為框對象H3的基礎的信息。具體而言，存儲有三維空間中的三維圖像。以下，將該三維圖像稱作原三維框對象Hl (參照圖6)。圖6是概念性地表示原三維框對象Hl的說明圖。原三維框對象Hl的中心位於三維空間中的原點，構成與XY平面大致平行的矩形框狀。H2表示原三維框對象Hl的法線向量H2。首先，框對象生成部15基於原三維框對象Hl和突出信息來決定框對象H3的形狀。圖7A 圖7C是概念性地表示框對象H3的形狀決定方法的說明圖。在此，如圖7A 所示，假設對象F21存在於影像F2內，其突出信息已被指定。另外，影像F2是為了說明框對象H3的生成方法而將影像Fl簡化後的影像。框對象H3的形狀通過在圖7B所示的假想三維空間中使原三維框對象Hl根據突出方向來旋轉，即賦予傾斜度，並將傾斜後的三維框對象H11、H21(參照圖7C)投影到XY平面上而獲得。以下，詳細地說明。首先，計算規定原三維框對象Hl的傾斜度的傾斜度向量。傾斜度向量用下式(4) 來表不。(xl，yl, zl) = (aXx, bXy, cXz). . · (4)CN 102379127 A
說明書
7/13 其中，(xl，yl，zl)是突出信息，a、b、c是框對象生成部15所預先存儲的常數 (0 < a、b、c 閾值TM)... (5)框對象H3的亮度=平均亮度+d (平均亮度< 閾值TM)... (6)並且，也可以構成為基於背景影像部分F12來生成半透明的框對象H3。在框對象 H3為半透明的情況下，即使背景影像部分F12被框對象H3遮蓋，觀眾也能夠感知被遮蓋的背景影像部分F12的內容。因此，能夠抑制影像的信息削減量，並且增強影像的深度。
此外，也可以將框對象H3作為模仿了畫框、窗框或電視邊框等的對象來進行配置。此外，雖然說明了基於影像F3、F4的亮度來決定框對象H3的顏色C1、C2的例子， 但也可以構成為基於影像F3、F4的顏色、例如平均彩度，來與影像的顏色不同地決定框對象H3的顏色。此外，也可以構成為分別基於影像F3、F4的亮度以及顏色，來決定框對象H3 的亮度以及顏色。此外，雖然說明了基於影像整體的亮度來決定框對象H3的顏色以及亮度的例子， 但也可以僅基於前景影像部分Fll的平均亮度來決定框對象H3的顏色以及亮度。即，也可以按照使前景影像部分Fll的亮度和框對象H3的亮度不同的方式來決定該框對象H3的顏色以及亮度。在此情況下，由於框對象H3和前景影像部分Fll之間的差異顯著，因此能夠有效地增強前景影像部分Fll的深度。同樣地，也可以僅基於背景影像部分F12的平均亮度來決定框對象H3的顏色以及亮度。即，也可以按照使背景影像部分F12的亮度和框對象H3的亮度不同的方式來決定該框對象H3的顏色以及亮度。在此情況下，由於框對象H3和背景影像部分F12之間的差異顯著，因此能夠有效地增強背景影像部分F12的深度。並且，也可以構成為分別算出前景影像部分Fll以及背景影像部分F12的平均亮度，並按照使算出的各平均亮度和框對象H3的亮度不同的方式，來決定該框對象H3的亮度以及顏色。在此情況下，由於框對象H3、前景影像部分F11、背景影像部分F12各自的差異顯著，因此能夠有效地增強前景影像部分Fll以及背景影像部分F12的深度。框對象生成部15生成具有由投影變換部15c決定的形狀、和由顏色決定部15d決定的顏色的框對象H3，並將生成的框對象H3輸出到影像合成部16。〈影像合成部〉圖9A以及圖9B是概念性地表示影像合成部16的處理內容的說明圖。影像合成部16輸入從影像分割部13輸出的前景影像部分Fl 1以及背景影像部分F12、和從框對象生成部15輸出的框對象H3。然後，影像合成部16如圖9A以及圖9B所示，按照在背景影像部分F12上重疊框對象H3，進而在框對象H3上重疊前景影像部分Fll的方式，來對背景影像部分F12、框對象H3以及前景影像部分Fll進行合成。此外，在影像以及框對象H3的形狀以及尺寸不一致的情況下，如圖9B所示，產生框對象H3的外側的區域，而影像合成部16按照不顯示露出到框對象H3的外側的背景影像部分F12的方式，在該區域中合成規定的補充影像11、12。另外，原樣顯示露出到框對象H3的外側的前景影像部分F11。即，按照與補充影像II、12重疊的方式來顯示前景影像部分F11。補充影像II、12，例如是單色的影像、牆壁的紋理等任意的影像。在原樣顯示了露出到框對象H3的外側的背景影像部分F12的情況下，觀眾有可能錯誤地識別背景影像部分F12的深度，而通過利用補充影像11、12來遮蓋露出到框對象H3的外側的影像部分，能夠防止深度的誤認，能夠有效地增強影像的深度。另外，在能夠取得顯示裝置周邊的影像的情況下，也可以將該影像作為補充影像來顯示。影像合成部16將通過背景影像部分F12、框對象H3以及前景影像部分Fll的合成而得到的合成影像輸出到外部的顯示部2。顯示部2例如是液晶顯示面板、等離子顯示器、有機EL(Electro-Luminescence)顯示器，輸入從影像處理裝置11輸出的合成影像，並顯示合成影像。另外，作為合成影像的輸出目標，舉例說明了顯示部2，但只要能夠輸出合成影像， 則也可以採用印表機、發送裝置及其它各種輸出裝置。圖10是表示影像處理裝置1所實施的影像處理方法的流程的流程圖。在給予了處理動作開始的指示的情況下，各構成部分開始工作，影像取得部11取得輸入到影像處理裝置1的影像，並將取得的影像輸出到影像分割部13(步驟Sll)。接下來，深度信息取得部 12取得輸入到影像處理裝置1的深度信息，並將取得的深度信息輸出到影像分割部13 (步驟 S12)。然後，影像分割部13輸入影像以及深度信息，並基於該影像以及深度信息來決定框對象H3的配置位置(步驟Si； )。接下來，影像分割部13基於深度信息以及框對象H3的配置位置，將影像分割為前景影像部分Fll和背景影像部分F12，並將分割後的前景影像部分Fll以及背景影像部分F12輸出到框對象生成部15以及影像合成部16(步驟S14)。接下來，突出信息取得部14取得輸入到影像處理裝置1的突出信息，並將取得的突出信息輸出到框對象生成部15(步驟S15)。然後，框對象生成部15生成框對象H3，並將生成的框對象H3輸出到影像合成部 16(步驟 S16)。圖11是表示框對象生成部15的動作流程的流程圖。框對象生成部15從存儲部 15a中讀出原三維框對象Hl (步驟S31)。然後，框對象生成部15的旋轉處理部1 根據突出信息來執行使原三維框對象Hl旋轉的處理(步驟S3》，投影變換部15c通過旋轉處理後的三維框對象Hll、H21的投影變換來決定框對象H3的形狀(步驟S33)。然後，顏色決定部15d基於影像的亮度以及顏色來決定框對象H3的亮度以及顏色 (步驟S34)，並結束與框對象H3的生成有關的處理。在步驟S16的處理之後，影像合成部16輸入前景影像部分Fll以及背景影像部分 F12、和框對象H3，並將背景影像部分F12、框對象H3、前景影像部分Fll依次重疊地進行合成，還合成補充影像II、12，並將合成而得到的合成影像輸出到顯示部2 (步驟S17)。然後，顯示部2輸入從影像合成部16輸出的合成影像，顯示該合成影像(步驟 S18)，並結束處理。以上，說明了針對1幀影像的影像處理工序，但在處理構成動態圖像的多幀影像的情況下，只要對各影像執行同樣的影像處理即可。另外，對於多幀的影像，若框對象H3的配置位置、形狀以及顏色急劇地變化，則有可能給觀眾帶來不適感，因此也可以具備低通濾波器，該低通濾波器將在時間順序上相鄰的各影像分別決定的配置位置、生成的形狀以及顏色的變化量抑制在一定程度。在像這樣構成的影像處理裝置1以及影像處理方法中，能夠不使用專用的影像顯示裝置以及特殊的眼鏡，僅通過圖像處理來提高影像的深度感。另外，本實施方式所涉及的影像處理裝置1以及影像處理方法，可以應用於具備顯示部2的液晶電視、有機EL電視、等離子電視等電視；具備顯示部2的靜止圖像照相機、攝像機、可攜式電話機、PDA (Personal Digital Assistants)等各種可攜式設備；個人計算機；信息顯示器；輸出影像的BD(Blu-ray Disc 註冊商標)記錄機、DVD(Digital Versatile Disc)記錄機、HDD(Hard Disk Drive)記錄機等各種記錄機；數碼相框；其他設置了顯示器的各種家具以及家電。(變形例1)圖12是表示變形例1所涉及的影像處理裝置101的一個結構例的框圖。在本實施方式中，構成為將深度信息與影像分別地取得，而變形例1所涉及的影像處理裝置101， 構成為根據由影像取得部111取得的影像通過各種運算來取得深度信息。具體而言，由於影像取得部111以及深度信息取得部112的結構不同，因此以下主要對上述不同點進行說明。影像取得部111取得提高立體感或深度感的影像處理對象的影像，並將取得的影像輸出到影像分割部13，同時輸出到深度信息取得部112。深度信息取得部112輸入從影像取得部111輸出的影像，基於輸入的影像來計算深度信息，並將計算而得到的深度信息輸出到影像分割部13。深度信息的計算方法，利用例如JP特開平9-161074號公報所公開的方法即可。此外，在影像以某種方式被編碼的情況下，也可以根據其編碼信息來作成深度信息。例如在通過Moving Picture Experts Group (MPEG)而製作的標準動態圖像標準之一的MPEG-4(Moving Picture Expert Group phase4)中，能夠以背景或人物等對象為單位來進行編碼。在影像利用該功能，對背景和人物分別進行了編碼的情況下，使用該信息來作成深度信息。在變形例1中，即使不對影像處理裝置101提供深度信息，也能夠將影像分割為前景影像部分F11、背景影像部分F12，並插入框對象H3，並且能夠增強影像的深度。(變形例2)圖13是表示變形例2所涉及的影像處理裝置201的一個結構例的框圖。在本實施方式中，構成為將突出信息與影像分別地取得，而變形例2所涉及的影像處理裝置201構成為根據由影像取得部211取得的影像通過各種運算來取得突出信息。具體而言，由於影像取得部211以及突出信息取得部214的結構不同，因此以下主要對上述不同點進行說明。影像取得部211取得提高立體感或深度感的影像處理對象的影像、特別是以背景和人物等對象為單位而進行了編碼的動態圖像的影像，將取得的影像輸出到影像分割部 13，同時輸出到突出信息取得部214。突出信息取得部214計算構成連續幀的影像中的對象的移動方向以及大小的變化。然後，突出信息取得部214基於對象的水平方向的移動量，來計算突出信息的X軸向量分量。在圖7所示的三維空間中，在對象向X軸正方向進行了移動的情況下，將突出信息的 X軸向量分量設為正值，且對象的移動量越大，則將該值設定得越大。反之，在對象向X軸負方向進行了移動的情況下，將突出信息的X軸向量分量設為負值，且對象的移動量越大，則將該值的絕對值設定得越大。同樣，突出信息取得部214基於對象的垂直方向的移動量來計算突出信息的Y軸
向量分量。此外，突出信息取得部214，在對象的大小向變大的方向變化了的情況下，將突出信息的Z軸向量分量設正值，且對象的大小的變化量越大，則將該值設定得越大。反之，在對象的大小向變小的方向變化了的情況下，將突出信息的X軸向量分量設為負值，且對象的大小的變化量越大，則將該值的絕對值設定得越大。
在變形例2中，即使不對影像處理裝置201提供突出信息，也能夠將影像分割為前景影像部分F11、背景影像部分F12，並插入框對象H3，並且能夠增強影像的深度。另外，也可以構成為對變形例1以及變形例2進行組合，根據輸入到影像處理裝置 201的影像來分別計算深度信息以及突出信息。在此情況下，即使不對影像處理裝置201提供深度信息以及突出信息這兩者，也能夠增強影像的深度。(變形例3)在實施方式中，作為增強影像深度的深度增強影像，舉例說明了畫框型的框對象 H3，而變形例3所涉及的影像處理裝置1構成為取代框對象H3而顯示窗簾對象H301。具體而言，變形例3所涉及的影像處理裝置1取代框對象生成部15，而具備未圖示的窗簾對象生成部。圖14是表示作為深度增強影像的一例的窗簾對象H301的示意圖。窗簾對象生成部存儲有分別位於影像的水平方向兩側的窗簾形狀的窗簾對象H301，並將該窗簾對象 H301輸出到影像合成部16。窗簾對象H301的形狀以及顏色無論影像的內容如何都為固定。另外，顯然，窗簾對象生成部也可以構成為輸入前景影像部分Fll以及背景影像部分 F12，並基於該前景影像部分Fll以及背景影像部分F12的亮度，來變更窗簾對象H301的顏色以及亮度。此外，也可以構成為預先存儲三維形狀的原三維窗簾對象，輸入突出信息，並使用該突出信息對原三維窗簾對象進行旋轉以及投影變換，由此來生成二維形狀的窗簾對象 H301。另外，作為深度增強影像的一例，在實施方式中舉例說明了框形狀，在變形例3中舉例說明了窗簾形狀，但只要能夠增強影像深度，則深度增強影像的形狀不限定於此。例如，也可以採用單括號形狀的深度增強影像。另外，為了背景影像的主要部分不被遮蓋，深度增強影像優選構成為位於影像的端側。(變形例4)在實施方式中，如圖7B所示，在影像的突出信息僅具有Z軸分量的情況下，框對象 H403的形狀不發生變形，因此無法增強向Z軸方向的突出。變形例4所涉及的影像處理裝置1，在突出信息僅具有Z軸分量的情況下，通過將框對象H403的形狀變更為向Z軸方向突出，從而構成為能夠增強向Z軸方向、即向觀眾側的突出。因為只有框對象生成部15的處理內容與實施方式不同，所以以下主要對上述不同點進行說明。圖15是概念性地表示變形例4所涉及的框對象H403的形狀決定方法的說明圖。 框對象生成部15，在突出信息僅含有Z軸分量的情況下，或Z軸分量比X軸分量、Y軸分量大規定值以上的情況下，特別是Z軸分量為正的情況下，如圖15所示，使原三維框對象H401 的水平方向大致中央部按照向X軸正方向突出為山狀的方式彎曲，並且使原三維框對象 H401的水平框部分(框的長邊部分)變形為向垂直方向擴張的立體形狀。然後，框對象生成部15計算將變形後的三維框對象H401投影變換到XY平面後得到的二維形狀，並將算出的二維形狀決定為框對象H403的形狀。反之，在Z軸分量為負的情況下，框對象生成部15使原三維框對象H401的水平方向大致中央部按照向X軸負方向突出為谷狀的方式彎曲，並且使原三維框對象H401的水平框部分(框的長邊部分)變形為向垂直方向縮小的立體形狀。然後，框對象生成部15計算將變形後的三維框對象H401投影變換到XY平面後得到的二維形狀，並將算出的二維形狀決定為框對象的形狀。影像合成部16的處理內容，與本實施方式相同。影像合成部16按照在背景影像部分F12上依次重疊框對象H403、補充影像1401、1402、1403、1404、以及前景影像部分Fll 的方式進行合成，並將合成而得到的合成影像部分輸出到外部。在變形例4所涉及的影像處理裝置1以及影像處理方法中，即使為對象向Z軸方向逼近、即對象向面前側逼近的影像，或者存在兩個向面前側突出的對象，且各自的突出方向左右不同的影像、例如位於中央的人向畫面左右兩端伸出雙手的影像，也能夠增強突出感。(變形例5)圖16是表示變形例5所涉及的影像處理裝置的框圖。變形例5所涉及的影像處理裝置通過使計算機3執行本發明所涉及的電腦程式如來實現。計算機3具備對裝置整體進行控制的CPU (Central Processing Unit) 31 CPU31 與如下部件連接ROM (Read Only Memory) 32 ；存儲伴隨運算而產生的暫時性的信息的 RAM (Random Access Memory) 33 ；記錄了本發明的實施方式所涉及的電腦程式如的記錄介質4a、例如從⑶-ROM讀取電腦程式如的外部存儲裝置34 ；和記錄通過外部存儲裝置 34而讀取的電腦程式如的硬碟等內部存儲裝置35。CPU31將電腦程式如從內部存儲裝置35讀出到RAM33中來執行各種運算處理，由此來實施本發明所涉及的影像處理方法。 CPU31的處理工序，如圖10以及圖11所示，執行步驟Sll 18、步驟S31 ；34的處理工序。 該處理工序與構成本實施方式以及變形例4所涉及的影像處理裝置1的各構成部分的處理內容相同，因此省略其詳細的說明。在變形例5所涉及的計算機3以及電腦程式如中，能夠使計算機3起到本實施方式所涉及的影像處理裝置的功能，而且能夠使其實施本實施方式所涉及的影像處理方法，並起到與本實施方式以及變形例1 4相同的效果。另外，本變形例5所涉及的電腦程式4a，顯然不限定於記錄在記錄介質4中的程序，也可以為通過有線或無線的通信網下載、存儲、並執行的程序。此外，應該認為本次公開的實施方式在所有的點上均為例示，而不是限制性的內容。本發明的範圍並不限定於上述內容，而是包含通過權利要求公開，並與權利要求等同的意思以及範圍內的所有的變更。(符號說明)1影像處理裝置2輸出部3計算機4記錄介質如電腦程式11影像取得部12深度信息取得部13影像分割部14突出信息取得部15框對象生成部
16影像合成部
15a存儲部
15b旋轉處理部
15c投影變換部
15d顏色決定部
3ICPU
32R0M
33RAM
35外部存儲裝置
36輸入部
37輸出部
Fll前景影像部分
F12背景影像部分
Hl原三維框對象
H3框對象
權利要求
1.一種影像處理裝置，其進行增強輸入的影像的深度感的處理， 所述影像處理裝置的特徵在於，具備深度信息取得單元，其取得深度信息，該深度信息表示構成所述影像的多個影像部分各自的深度方向的距離；影像分割單元，其基於由該深度信息取得單元取得的深度信息以及所述影像，將該影像分割為深度方向的距離不同的多個影像部分；影像合成單元，其按照在由該影像分割單元分割出的一個影像部分上重疊用於增強所述影像的深度的深度增強影像，進而在該深度增強圖像上重疊與所述一個影像部分相比深度方向的距離較短的其他影像部分的方式來合成各影像部分以及深度增強圖像。
2.根據權利要求1所述的影像處理裝置，其特徵在於，所述影像處理裝置還具備生成單元，其根據輸入的影像的亮度或顏色，生成亮度或顏色與該影像不同的深度增強影像，所述影像合成單元對由所述生成單元生成的深度增強影像進行合成。
3.根據權利要求2所述的影像處理裝置，其特徵在於，所述生成單元根據由所述影像分割單元分割出的一個影像部分以及/或者其他影像部分的亮度或顏色，來生成亮度或顏色與該影像部分不同的深度增強影像。
4.根據權利要求2或3所述的影像處理裝置，其特徵在於， 所述影像處理裝置構成為按照時間順序輸入多個影像，且具備移動方向信息取得單元，該移動方向信息取得單元取得表示按照時間順序輸入的各影像間的影像部分的移動方向的移動方向信息，所述生成單元生成具有與由該移動方向信息取得單元所取得的移動方向信息相應的形狀的深度增強影像。
5.根據權利要求1所述的影像處理裝置，其特徵在於，所述影像處理裝置構成為按照時間順序輸入多個影像，且具備移動方向信息取得單元，該移動方向信息取得單元取得表示按照時間順序輸入的各影像間的影像部分的移動方向的移動方向信息；和生成單元，其生成具有與由該移動方向信息取得單元所取得的移動方向信息相應的形狀的深度增強影像，所述影像合成單元對由所述生成單元生成的深度增強影像進行合成。
6.根據權利要求4或5所述的影像處理裝置，其特徵在於， 所述影像處理裝置還具備存儲規定的三維圖像的存儲單元，所述生成單元具備旋轉處理單元，該旋轉處理單元按照使所述存儲單元所存儲的三維圖像、和由所述移動方向信息取得單元取得的一個影像部分的移動方向信息所表示的移動方向成為規定的位置關係的方式來使該三維圖像旋轉，且所述生成單元生成具有將由該旋轉處理單元旋轉後的三維圖像投影於規定的二維平面而得到的二維形狀的深度增強影像。
7.一種影像處理方法，進行增強輸入的影像的深度感的處理，所述影像處理方法的特徵在於，取得深度信息，該深度信息表示構成所述影像的多個影像部分各自的深度方向的距基於取得的深度信息以及所述影像，將該影像分割為深度方向的距離不同的多個影像部分；按照在分割出的一個影像部分上重疊用於增強所述影像的深度的深度增強影像，進而在該深度增強圖像上重疊與所述一個影像部分相比深度方向的距離較短的其他影像部分的方式來合成各影像部分以及深度增強圖像。
8. 一種電腦程式，使計算機執行增強影像的深度感的處理， 所述電腦程式的特徵在於，使所述計算機執行如下步驟基於表示構成所述影像的多個影像部分各自的深度方向的距離的深度信息以及所述影像，將該影像分割為深度方向的距離不同的多個影像部分的步驟；按照在分割出的一個影像部分上重疊用於增強所述影像的深度的深度增強影像，進而在該深度增強圖像上重疊與所述一個影像部分相比深度方向的距離較短的其他影像部分的方式來合成各影像部分以及深度增強圖像的步驟。
全文摘要
提供一種能夠不使用專用的影像顯示裝置以及特殊的眼鏡，僅通過圖像處理來提高影像的深度感的影像處理裝置。在進行強調由影像取得部(11)取得的影像的深度感的處理的影像處理裝置(1)中，具備深度信息取得部(12)，其取得表示構成所述影像的多個影像部分各自的深度方向的距離的深度信息；影像分割部(13)，其基於由深度信息取得部(12)取得的深度信息以及所述影像，來將影像分割為深度方向的距離不同的多個影像部分；和影像合成部(16)，其按照在由影像分割部(13)分割出的一個影像部分上重疊用於增強所述影像的深度的深度增強影像，並且在深度增強圖像上重疊與所述一個影像部分相比深度方向的距離較短的其他影像部分的方式來合成各影像部分以及深度增強圖像。
文檔編號H04N13/04GK102379127SQ20108001509
公開日2012年3月14日 申請日期2010年3月29日 優先權日2009年3月31日
發明者大津誠, 山本健一郎, 末永健明, 瀨戶幹生, 鹽井正宏 申請人:夏普株式會社