深度推測裝置、方法及程序、圖像處理裝置、方法及程序的製作方法

2023-10-27 23:37:47

深度推測裝置、方法及程序、圖像處理裝置、方法及程序的製作方法
【專利摘要】本發明提供一種深度推測裝置、深度推測方法、深度推測程序、圖像處理裝置、圖像處理方法及圖像處理程序。輪廓確定部確定對象圖像內的對象的輪廓。距離確定部求取對象的區域內的對象像素與輪廓的最短距離。深度值決定部根據該距離來決定上述對象像素的深度值。距離確定部能以對象像素的位置為中心，從該中心螺旋狀地探索與輪廓的切點，來求取與輪廓的最短距離。
【專利說明】深度推測裝置、方法及程序、圖像處理裝置、方法及程序
【技術領域】
[0001 ] 本發明涉及推測圖像內的對象(object)的深度的深度推測裝置、深度推測方法、深度推測程序、圖像處理裝置、圖像處理方法及圖像處理程序。
【背景技術】
[0002]近年，3D電影、3D電視節目等3D影像內容(contents)正在逐漸普及。為使觀看者進行立體觀看，需要具有視差的右眼圖像和左眼圖像。在顯示3D影像時，時分地顯示右眼圖像和左眼圖像，並通過快門眼鏡或偏光眼鏡等影像分離用眼鏡來分離右眼圖像和左眼圖像。由此，觀看者能僅用右眼觀看右眼圖像，並僅用左眼觀看左眼圖像，進行立體觀看。此夕卜，若不是時分、而是空分右眼圖像和左眼圖像，則不需要眼鏡，但解析度會下降。無論是眼鏡方式，還是無眼鏡方式，在需要右眼圖像和左眼圖像這一點上是共同的。
[0003]製作3D影像大體上有2個方法，有使用2臺照相機同時拍攝右眼圖像和左眼圖像的方法，還有將用I臺照相機拍攝的2D圖像後期編輯來生成視差圖像的方法。本發明涉及後一方法，涉及2D3D變換技術。
[0004]圖1是用於說明2D3D變換的基本處理流程的圖。首先基於2D輸入圖像生成深度圖(cbpth map、也稱作深度信息)(步驟S10)。然後使用2D輸入圖像和深度圖來生成3D圖像(步驟S30)。圖1中，將2D輸入圖像作為3D輸出圖像的右眼圖像，並將使用深度圖對2D輸入圖像進行了像素移位(Pixel Shift)的圖像作為3D輸出圖像的左眼圖像。以下，將具有預定視差的右眼圖像與左眼圖像的組稱作3D圖像或視差圖像。
[0005]以往，就已提出有推測出2D圖像所表現的場景結構來生成深度圖的各種方法。本 申請人:提出了算出畫面內的預定區域內的像素值的統計量來推測場景結構，並據此決定多個基本深度模型的合成比例，按照該合成比例來生成深度圖的方法。使用該方法，能基於2D圖像簡單且高速地生成不自然感較小的3D圖像。
[0006]〔在先技術文獻〕
[0007]〔專利文獻〕
[0008]〔專利文獻I〕日本特開2009- 44722號公報
[0009]為生成高質量的3D圖像，需要生成高質量的深度圖。為生成高質量的深度圖，希望針對圖像內的各對象分別使深度的形狀最優化。此外，為在2D圖像中也附加高質量的漸變(gradation)，希望考慮圖像內的對象的深度的形狀，附加符合該形狀的漸變。
[0010]但是用戶針對各對象分別推測或調整深度的形狀是煩瑣的作業。

【發明內容】

[0011]本發明是鑑於這樣的狀況而研發的，其目的在於提供一種能簡單且高精度地推測圖像內的對象的深度的形狀的技術。
[0012]為解決上述課題，本發明一個方案的深度推測裝置包括:輪廓確定部，抽取對象圖像內的對象的輪廓；距離確定部，求取上述對象的區域內的對象像素與上述輪廓的距離；深度值決定部，根據上述距離來決定上述對象像素的深度值。
[0013]本發明的另一方案是深度推測方法。該方法包括:確定對象圖像內的對象的輪廓的步驟，求取上述對象的區域內的對象像素與上述輪廓的距離的步驟，以及根據上述距離來決定上述對象像素的深度值的步驟。
[0014]本發明的另一方案是圖像處理裝置。該裝置包括:深度圖生成部，基於輸入圖像和深度模型來生成上述輸入圖像的深度圖；體積浮雕生成部，生成上述輸入圖像內的對象的浮雕圖案；深度圖加工部，加工由上述深度圖生成部生成的深度圖內的、與上述對象對應的區域；以及圖像生成部，基於上述輸入圖像及由上述深度圖加工部加工後的深度圖來生成另一視點的圖像。上述體積浮雕生成部包括:輪廓確定部，確定上述對象的輪廓；距離確定部，求取上述對象內的對象像素與上述輪廓的距離；以及深度值決定部，根據上述距離來決定上述對象像素的深度值。上述體積浮雕生成部基於由上述深度值決定部決定的深度值來生成上述浮雕圖案；上述深度圖加工部使用上述浮雕圖案來對上述深度圖內的與上述對象對應的區域附加浮雕。
[0015]本發明的另一方案是圖像處理方法。該方法包括:基於輸入圖像和深度模型來生成上述輸入圖像的深度圖的步驟；生成上述輸入圖像內的對象的浮雕圖案的步驟；加工所生成的深度圖內的、與上述對象對應的區域的步驟；以及基於上述輸入圖像及加工後的深度圖來生成另一視點的圖像的步驟。上述生成浮雕圖案的步驟包括:確定上述對象的輪廓的步驟；求取上述對象內的對象像素與上述輪廓的距離的步驟；以及根據上述距離來決定上述對象像素的深度值的步驟。上述生成浮雕圖案的步驟基於由上述決定深度值的步驟所決定的深度值來生成上述浮雕圖案，上述加工深度圖的步驟使用上述浮雕圖案來對上述深度圖內的與上述對象對應的區域附加浮雕。
[0016]此外，將以上構成要素的任意組合、本發明的表現形式在方法、裝置、系統、記錄介質、電腦程式等間變換後的實施方式，作為本發明的方案也是有效的。
【專利附圖】

【附圖說明】
[0017]圖1是用於說明2D3D變換的基本處理流程的圖。
[0018]圖2是表示本發明的實施方式的圖像編輯系統的構成的圖。
[0019]圖3是表示本發明的實施方式I的深度圖生成部的構成例的圖。
[0020]圖4是用於說明本發明的實施方式I的圖像編輯系統的整體處理流程的圖。
[0021]圖5是用於說明輸入深度圖(input depth map)的增益調整流程的圖。
[0022]圖6是用於說明層深度圖(layer depth map)的合成處理流程的圖。
[0023]圖7是用於說明不使用掩模的輸入深度圖的增益調整流程的圖。
[0024]圖8是用於說明3D圖像生成部的3D圖像生成流程的圖。
[0025]圖9是用於說明輸入深度圖的偏置(offset)調整流程的圖。
[0026]圖10是用於說明不使用掩模的輸入深度圖的偏置調整流程的圖。
[0027]圖11的(a)?(C)是用於說明深度圖整體的動態範圍調整的圖。
[0028]圖12是用於說明輸入深度圖的漸變附加流程的圖。
[0029]圖13是用於說明不使用掩模的輸入深度圖的漸變附加流程的圖。
[0030]圖14是表示本發明的實施方式2的圖像編輯系統的構成的圖。[0031]圖15是表示本發明的實施方式2的體積浮雕(volume emboss)生成部的構成的圖。
[0032]圖16的(a)?(C)是用於說明實施方式2的生成對象的深度圖的方法的圖。
[0033]圖17的(a)?(b)是用於說明探索從對象區域內的對象像素至掩模邊緣的最短距離的處理的圖。
[0034]圖18是表示體積浮雕的亮度變化的圖。
[0035]圖19的(a)?(C)是用於說明體積浮雕的量級變換的圖。
[0036]圖20的(a)?(b)是表示複雜的對象形狀的體積浮雕的一個例子的圖。
[0037]圖21的(a)?(b)是表示朝向正面的人物的浮雕圖案的圖。
[0038]圖22 (a)?(b)是表示朝向斜方向的人物的浮雕圖案的圖。
[0039]圖23的(a)?(C)是表示瓶子的浮雕圖案的圖。
[0040]圖24是表示實施方式3的體積浮雕生成部的構成的圖。
[0041]圖25是表示使用未偏心的探索圓(正圓)來探索對象的邊緣像素的情況的圖。
[0042]圖26是表示圖25的浮雕圖案的圖。
[0043]圖27的(a)?(b)是表示使用偏心的探索圓(正圓)來探索對象的邊緣像素的情況的圖。
[0044]圖28是表示使用偏心的探索圓(正圓)來探索對象的邊緣像素的情況的圖。
[0045]圖29是表示圖28的浮雕圖案的圖。
[0046]圖30是表示使用將圖28的探索圓的偏心率進一步加大後的探索圓(正圓)來探索對象的邊緣像素的情況的圖。
[0047]圖31是表示圖30的浮雕圖案的圖。
[0048]圖32是表示使用向左下方向偏心的探索圓(正圓)來探索對象的邊緣像素的情況的圖。
[0049]圖33是表示圖32的浮雕圖案的圖。
[0050]圖34是用於說明探索圓的製作方法的圖。
[0051]圖35是用於說明偏心的探索圓的製作方法的圖。
[0052]圖36是表示使用正圓探索圓來探索對象的邊緣像素的情況的圖。
[0053]圖37是表示圖36的浮雕圖案的圖。
[0054]圖38是表示使用橢圓探索圓來探索對象的邊緣像素的情況的圖。
[0055]圖39是表示圖38的浮雕圖案的圖。
[0056]圖40是表示使用將圖38的探索圓的橢圓化率(ovalization factor)進一步加大後的探索圓來探索對象的邊緣像素的情況的圖。
[0057]圖41是表示圖40的浮雕圖案的圖。
[0058]圖42是用於說明橢圓探索圓的製作方法的圖。
[0059]圖43是表示探索傾斜的瓶子形狀的對象的邊緣像素的情況的圖。
[0060]圖44是表示圖43的浮雕圖案的圖。
[0061]圖45是用於說明具有傾斜的軸的橢圓探索圓的製作方法的圖。
[0062]圖46的(a)?(b)是表示使用正圓探索圓來探索對象的邊緣像素的情況的圖。
[0063]圖47的(a)?(b)是表示圖46的(a)?(b)的浮雕圖案的圖。[0064]圖48的(a)?(d)是表示探索傾斜的瓶子形狀的對象的邊緣像素的情況的圖。【具體實施方式】
[0065]本發明將通過以下優選實施例的描述而得到明確。實施例並非限制本發明的範圍，而是本發明的例示。
[0066]圖2是表示本發明的實施方式I的圖像編輯系統500的結構的圖。實施方式I的圖像編輯系統500包括圖像處理裝置100及控制臺(console)終端裝置200。
[0067]控制臺終端裝置200是圖像製作者(以下稱作「用戶」)為製作、編輯圖像而使用的終端裝置。控制臺終端裝置200包括操作部60及顯示部70。操作部60是鍵盤、滑鼠等輸入設備，顯示部70是顯示器等輸出設備。還可以使用輸入與輸出為一體的設備一一觸控螢幕顯示器。控制臺終端裝置200還可以具備印表機、掃描器等將印刷品作為介質來使用的用戶接口。操作部60接收用戶操作，生成該用戶操作所產生的信號，並輸出給圖像處理裝置100。顯示部70顯示由圖像處理裝置100生成的圖像。
[0068]圖像處理裝置100包括深度圖生成部10、深度圖加工部20、3D圖像生成部30、操作接收部40、及顯示控制部50。從硬體上來講，這些結構能由任意處理器、存儲器、其它LSI來實現，從軟體上來講，由被載入到存儲器的程序等實現，但在此描述了通過它們的合作而實現的功能塊。因此，本領域技術人員當理解這些功能塊能夠僅由硬體、僅由軟體、或由它們的組合以各種形式實現。例如可以全部用軟體來實現深度圖生成部10、深度圖加工部20,3D圖像生成部30的功能，也可以用專用的邏輯電路來構成深度圖生成部10及3D圖像生成部30的功能、用軟體來實現深度圖加工部20。
[0069]深度圖生成部10基於所輸入的2D圖像和深度模型來生成該2D圖像的深度圖。深度圖是用亮度值來表示cbpth值(也稱作深度值)的灰階(Gray Scale)圖像。深度圖生成部10推測出場景結構、使用符合該場景結構的深度模型來生成深度圖。在本實施方式中，深度圖生成部10合成多個基本深度模型，將之用於深度圖生成。此時，根據該2D圖像的場景結構而改變多個基本深度模型的合成比例。
[0070]圖3是表示本發明的實施方式I的深度圖生成部10的構成例的圖。深度圖生成部10包括畫面上部高頻分量評價部11、畫面下部高頻分量評價部12、合成比例決定部13、第I基本深度模型用幀存儲器14、第2基本深度模型用幀存儲器15、第3基本深度模型用幀存儲器16、合成部17、及加法運算部18。
[0071]畫面上部高頻分量評價部11計算在應處理的2D圖像的畫面上部具有高頻分量的像素的比例。將該比例作為畫面上部的高頻分量評價值。此外，優選將畫面上部相對於畫面整體的比例設定為大致20%。畫面下部高頻分量評價部12計算在該2D圖像的畫面下部具有高頻分量的像素的比例。將該比例作為畫面下部的高頻分量評價值。此外，優選將畫面下部相對於畫面整體的比例設定為大致20%。
[0072]第I基本深度模型用幀存儲器14存儲第I基本深度模型，第2基本深度模型用幀存儲器15存儲第2基本深度模型，第3基本深度模型用幀存儲器16存儲第3深度模型。第I基本深度模型是使畫面上部及畫面下部分別成為凹狀的球面的模型。第2基本深度模型是使畫面上部成為具有縱向的軸線的圓筒面、畫面下部成為凹狀的球面的模型。第3基本深度模型是使畫面上部成為平面、畫面下部成為具有橫向的軸線的圓筒面的模型。[0073]合成比例決定部13基於由畫面上部高頻分量評價部11及畫面下部高頻分量評價部12分別算出的畫面上部及畫面下部的高頻分量評價值，來決定第I基本深度模型、第2基本深度模型、第3基本深度模型的合成比例kl、k2、k3 (kl + k2 + k3 = I)。合成部17將這些合成比例kl、k2、k3分別乘以第I基本深度模型、第2基本深度模型、第3基本深度模型，並將各自的乘法運算結果相加。其運算結果成為合成基本深度模型。
[0074]例如若畫面上部的高頻分量評價值較小，則合成比例決定部13識別為在畫面上部存在天空或平坦的牆壁的場景，使加深了畫面上部的深度的第2基本深度模型的比例增力口。此外，若畫面下部的高頻分量評價值較小，則識別為在畫面下部、平坦的地面或水面連續延展到身前的場景，使第3基本深度模型的比例增加。在第3基本深度模型中，將畫面上部作為遠景來進行平面近似，而關於畫面下部，越向下，越減小深度。
[0075]加法運算部18在由合成部17生成的合成基本深度模型上重疊上述2D圖像的紅色分量(R)信號，來生成深度圖。使用R信號的理由是如下經驗法則，即，R信號的大小在接近順光的環境下、且紋理的明度不會較大程度地不同的條件下，與被攝物體的凹凸一致的概率較高。還因為紅色及暖色是色彩學中的前進色，與冷色系相比，能將深度認識得更靠身前、強調立體感。
[0076]返回圖2。深度圖加工部20加工由深度圖生成部10生成的深度圖。在本實施方式中，深度圖加工部20針對由外部設定的多個掩模圖形(以下簡單稱作「掩模」)指定的畫面內的多個區域分別個別或獨立地加工由深度圖生成部10生成的深度圖。例如進行增益調整、偏置調整、漸變處理等加工。在後文敘述深度圖加工部20的處理的詳細內容。
[0077]3D圖像生成部30基於上述的2D圖像及由深度圖加工部20加工後的深度圖來生成另一視點的2D圖像。3D圖像生成部30將原始視點的2D圖像和另一視點的2D圖像作為右眼圖像和左眼圖像來輸出。
[0078]以下說明使用原始視點的2D圖像和深度圖來生成與該2D圖像具有視差的另一視點的2D圖像的具體例。在該具體例中，以將原始視點的2D圖像進行畫面顯示時的視點為基準，生成向左移動視點後的另一視點的2D圖像。該情況下，在使紋理作為近景而顯示給觀看者時，朝向畫面使原始視點的2D圖像的紋理向左側移動預定量，在使紋理作為遠景而顯示給觀看者時，朝向畫面向右側使紋理移動預定量。
[0079]將深度圖的各像素的亮度值記為Yd、表示凸出感的擁擠(輻輳、congestion)值記為m、表示立體感的深度值記為n。3D圖像生成部30從亮度值Yd中的較小的值起依次針對各像素分別將與該亮度值Yd對應的原始視點的2D圖像的紋理向左移位(Yd - m) /n像素的量。若(Yd —m)/n的值為負，則使之向右移位(m —Yd)/n像素的量。此外，從觀看者的角度來看，深度圖的亮度值Yd較小的紋理看起來處於畫面遠身側，亮度值Yd較大的紋理看起來處於畫面近身側。亮度值Yd、擁塞值m、深度值η是O?255內的值，例如被設定為擁塞值m = 200、深度值η = 20。
[0080]此外，深度圖生成部10的深度圖生成及3D圖像生成部30的3D圖像生成的更詳細的說明被公開在本 申請人:在先申請的日本特開2005 - 151534號公報、日本特開2009 —44722號公報中。
[0081]操作接收部40接收從控制臺終端裝置200的操作部60輸入來的信號。操作接收部40根據所接收到的信號向深度圖生成部10、深度圖加工部20、3D圖像生成部30或顯示控制部50提供控制信號。顯示控制部50控制控制臺終端裝置200的顯示部70。顯示控制部50能使顯示部70顯示2D輸入圖像、由深度圖生成部10生成的深度圖、由深度圖加工部20加工後的深度圖、由3D圖像生成部30生成的3D輸出圖像中的任一者。
[0082]圖4是用於說明本發明的實施方式I的圖像編輯系統500的整體處理流程的圖。一般地，2D圖像中包含有多個對象。圖4的2D輸入圖像中包含有3個對象。具體來講，包含有人物、樹、背景對象。首先，深度圖生成部10基於2D輸入圖像生成深度圖(步驟S10)。深度圖越接近白色，亮度越高，表示與觀看者的距離越近，越接近黑色，亮度越低，表示與觀看者的距離越遠。在生成3D圖像時，深度圖的越是接近白色的區域，凸出量越大，越是接近黑色的區域，凹入量越大。
[0083]在本實施方式中，為針對圖像內的多個對象個別地調整深度感，針對深度圖內的各對象區域單獨進行效果(effect)調整。具體來講，使用表示圖像內的各對象區域的多個掩模，在深度圖內確定出各對象區域。然後，針對所確定出的各對象區域分別個別地進行效果調整，來獲得效果調整後的多個深度圖。然後，合成該多個深度圖，來生成一個深度圖。該深度圖在基於原始視點的2D圖像生成另一視點的2D圖像時被使用。
[0084]深度圖生成部10自動生成2D輸入圖像的深度圖(S10)。所生成的深度圖被輸入給深度圖加工部20。深度圖加工部20還被輸入分別表示2D輸入圖像內的多個對象區域的多個掩模。這些掩模基於由用戶描繪(trace)的對象區域的輪廓而生成。例如，顯示控制部50使顯示部70顯示2D輸入圖像，用戶使用操作部60在該2D輸入圖像內描畫應作為對象區域的區域的輪廓。操作接收部40根據來自操作部60的信號生成各對象區域的輪廓信息，將之作為掩模而輸出給深度圖加工部20。此外，也可以通過掃描器讀取用戶在印刷品上描繪的輪廓，使圖像處理裝置100讀入掩模。
[0085]在圖4中，用白色描繪了各掩模的有效區域，並用黑色描繪了無效區域。人物的掩模是僅使人物區域有效，使其它區域無效的圖案。樹的掩模是僅使樹區域有效，使其它區域無效的圖案。背景的掩模是僅使背景有效，使其它區域無效的圖案。
[0086]每I畫面的掩模的數量沒有約束，能由用戶任意設定。此外，能將對象區域設定為由用戶決定應作為I個對象區域的區域。例如，可以如圖4所示那樣針對I個人物設定I個對象區域，也可以針對人物的各部位、甚至針對各部位的各部分分別設定對象區域。尤其在生成高質量的3D圖像時，有時針對I個人物設定很多對象區域，針對各部位、進而針對各部位的各部分分別調整厚度和深度方向的位置。
[0087]深度圖加工部20使用介由用戶接口輸入來的多個掩模，對從深度圖生成部10輸入來的深度圖(以下稱作輸入深度圖)進行加工(S20)。深度圖加工部20針對用各掩模確定的區域分別個別地加工深度圖。以下將針對各該區域的深度圖加工稱作深度圖的層(layer)處理。此外，將層處理後的深度圖稱作層深度圖。在本說明書中，將層作為表示針對掩模的有效區域的處理的單位的概念來使用。
[0088]在圖4中，作為一個例子，深度圖加工部20使用人物的掩模(層I的掩模)從輸入深度圖確定出人物區域、進行層處理(S21a)。同樣地，使用樹的掩模(層2的掩模)從輸入深度圖內確定出樹區域、進行層處理(S21b)。同樣地，使用背景的掩模(層3的掩模)從輸入深度圖中確定出背景區域、進行層處理(S21c)。
[0089]深度圖加工部20合成層I?3的層深度圖的各對象區域的深度圖(S22)。將該合成後的深度圖稱作合成深度圖。3D圖像生成部30使用該合成深度圖來使2D輸入圖像的像素移位，生成相對於2D輸入圖像具有視差的圖像(S30)。3D圖像生成部30將2D輸入圖像作為3D輸出圖像的右眼圖像(R)、將所生成的圖像作為左眼圖像(L)來輸出。
[0090](增益調整)
[0091]首先，作為深度圖加工部20所進行的層處理，說明進行增益調整的例子。增益調整是調整對象的深度方向的厚度的處理。若提高增益，則對象變厚，若降低增益，則對象變薄。
[0092]圖5是用於說明輸入深度圖的增益調整流程的圖。深度圖加工部20針對作為加工前的深度圖的輸入深度圖，僅使人物的掩模的有效區域乘以增益，僅對輸入深度圖內的人物部分加大深度值的振幅(S21a)。在圖5中，作為加工後的深度圖的層深度圖中，人物部分的振幅變大了(參照標號a)。
[0093]圖6是用於說明層深度圖的合成處理流程的圖。深度圖加工部20從層I的層深度圖(人物的深度圖)內僅切出層I的掩模(人物的掩模)的有效區域。同樣地，從層2的層深度圖(樹的深度圖)內僅切出層2的掩模(樹的掩模)的有效區域。同樣地，從層3的層深度圖(背景的深度圖)內僅切出層3的掩模(背景的掩模)的有效區域。深度圖加工部20組合所切出的3個深度圖，來生成合成深度圖。
[0094]圖7是用於說明不使用掩模的輸入深度圖的增益調整流程的圖。在合成層深度圖時，若僅使用各層深度圖內的掩模的有效區域來合成，則各層深度圖內的掩模的無效區域不會被反映到合成深度圖中。因此，深度圖加工部20使輸入深度圖整體乘以增益，加大輸入深度圖整體的深度值的振幅(S21a)。在圖7中，層深度圖整體的振幅變大了(參照標號b)。
[0095]圖8是用於說明3D圖像生成部30的3D圖像生成流程的圖。3D圖像生成部30基於合成深度圖，使2D輸入圖像的像素移位(shift)，來生成相對於2D輸入圖像具有視差的圖像(S30)。圖8中表示了將2D輸入圖像內的人物部分的像素向左移位的例子。3D圖像生成部30使合成深度圖的人物部分的深度值加上偏置值，來加大深度值。偏置調整的詳細內容會在後文敘述。若人物部分的深度值變大，則3D圖像的人物部分的凸出量會變大。
[0096]若不將人物部分周圍的背景部分進行像素移位、而僅將人物部分進行像素移位，則會產生不存在像素的欠缺像素部分(參照修正前的像素移位圖像的標號C)。3D圖像生成部30對於該欠缺像素部分，用基於其周邊像素而生成的像素進行插值，來對其進行修正。關於像素插值，有各種方法，例如用人物部分的邊緣的像素進行插值(參照修正後的像素移位圖像的標號d)。
[0097](偏置調整)
[0098]接下來，作為深度圖加工部20的層處理，說明進行偏置調整的例子。偏置調整是調整對象在深度方向上的位置的處理。若加上正的偏置值，則對象會向凸出方向移動，若加上負的偏置值，則會向凹入方向移動。
[0099]圖9是用於說明輸入深度圖的偏置調整流程的圖。深度圖加工部20針對作為加工前的深度圖的輸入深度圖，僅對樹的掩模的有效區域加上偏置，僅提高輸入深度圖內的樹部分的深度值的量級(level)(S21b)。在圖9中，作為加工後的深度圖的層深度圖中，樹部分的量級變高了(參照標號g)。[0100]圖10是用於說明不使用掩模的輸入深度圖的偏置調整流程的圖。在合成層深度圖時，若僅使用各層深度圖的掩模的有效區域來合成，則各層深度圖的掩模的無效區域不會被反映到合成深度圖中。因此，深度圖加工部20將輸入深度圖整體加上偏置，提高輸入深度圖整體的深度值的量級(S21b)。在圖10中，層深度圖整體的量級變高了(參照標號h)。
[0101]偏置調整時所使用的偏置值被從外部設定。用戶使用操作部60來輸入想要的偏置值，操作接收部40接收從操作部60輸入來的偏置值，設定在深度圖加工部20中。在以上的說明中表示了使深度圖的對象區域加上偏置值的例子，但也可以使合成深度圖加上偏置值。
[0102]若不是將深度圖的偏置區域、而是將合成深度圖進行增益調整，則有時不能進行所意圖的增益調整。以下設想擴大或縮小深度圖的深度值的動態範圍，加強或減弱畫面整體的深度感的情況。在以下說明中，針對加強深度感的情況進行說明，但相反、減弱深度感的情況也是一樣。
[0103]作為用於加強畫面整體的深度感的方法，可以考慮對合成深度圖均勻地施以增益的方法。但是，在該方法中，深度值的動態範圍被擴大，同時各對象的凹凸感的振幅也會增大。若後者的增大也符合調整的意圖則很好，但也存在與此不同的情況。
[0104]以下針對擴大深度值的動態範圍、但不改變各對象的凹凸感的振幅的調整方法進行說明。深度圖加工部20使深度圖整體的深度值的平均值與深度圖內的各對象區域內的深度值的平均值的各差分乘以用於調整深度圖整體的動態範圍的共同的係數。各運算結果成為各對象區域內的深度值的偏置值。深度圖加工部20將各對象區域內的深度值加上對應的各偏置值。
[0105]以下列舉具體例來進行說明。假定合成深度圖的深度值分布在一 X?+ X內，將該深度值的分布一 X?+ X作為深度值的動態範圍。以下考慮擴大深度值的動態範圍的例子。例如將深度值的動態範圍擴大到1.5倍，將深度值的分布從一 X?+X變成一 1.5X?+
1.5X。為不改變各對象的凹凸感的振幅地使深度值的動態範圍擴大，執行以下處理。
[0106]首先，深度圖加工部20分別算出深度圖整體的深度值中的最小值、最大值、平均值。該最小值與該最大值的差是深度值的動態範圍。然後，深度圖加工部20算出深度圖的各對象區域內的深度值的平均值。然後，深度圖加工部20將各對象區域內的深度值的平均值減去深度圖整體的深度值的平均值。將該減法運算結果稱作層深度的平均差分。
[0107]以下考慮想將深度值的動態範圍擴大到a倍的情況。深度圖加工部20使各層深度的平均差分成為a倍。然後，將成為a倍後的各層深度的平均差分減去各層深度的平均差分。將該減法運算結果稱作各層深度的平均差分的偏置值。最後，深度圖加工部20將深度圖的各對象區域內的深度值加上各層深度的平均差分的偏置值。
[0108]由此，在各層深度圖中，僅深度值的偏置值會變化，深度值的振幅值不會變化。因此，能不改變各對象的凹凸感的振幅地擴大深度值的動態範圍。
[0109]圖11的(a)?(C)是用於說明深度圖整體的動態範圍調整的圖。至此，說明了 2D輸入圖像內的層數為3的例子，但圖11的(a)?(c)中表示了層數為5 (層O?層4)的例子。從觀看者的角度來看，層O的對象看起來最凹入,層4的對象看起來最凸出。
[0110]圖11的(a)表示動態範圍調整前的各層的深度的一個例子。在各層中，箭頭(參照標號I)由各層的對象區域內的深度值的最小值(參照標號j)和最大值(參照標號k)來規定。即箭頭(參照標號I)表示各層的動態範圍。連接各箭頭的線是連接各層的對象區域內的深度值的平均值(參照標號i)的線。
[0111]圖11的(b)表示對圖11的(a)的各層的深度均勻地適用2倍的增益調整後的各層的深度。深度圖整體的動態範圍被擴大為2倍，同時各層的對象區域的動態範圍、即各層的凹凸感的振幅也被擴大為2倍。
[0112]圖11的(C)表示針對圖11的(a)的各層的深度適用上文所述的偏置調整後的各層的深度。深度圖整體的動態範圍被擴大為2倍，但各層的對象區域的動態範圍、即各層的凹凸感的振幅未變。例如在多個人物作為對象而存在於畫面內的情況下，不改變各人物的厚度地調整各人物間的距離，由此能加強深度感。
[0113](附加漸變)
[0114]接下來，作為深度圖加工部20的層處理，說明附加漸變的例子。漸變的附加是對各對象的深度施加傾斜的處理。
[0115]圖12是用於說明輸入深度圖的漸變附加流程的圖。深度圖加工部20針對作為加工前的深度圖的輸入深度圖，僅對背景的掩模的有效區域(在圖12中僅對地面)附加漸變，僅使背景部分的深度值傾斜(S21c)。在圖12中，作為加工後的深度圖的層深度圖內，地面的深度傾斜了(參照標號m)。
[0116]以下更具體地進行說明。未圖示的漸變圖案保持部中保持有預先生成的至少一個漸變圖案。漸變圖案保持部可以不僅保持如圖12所示那樣的平面的漸變圖案，還保持球面、圓筒等各種形狀的漸變圖案。此外，即使是相同形狀的漸變圖案，也可以保持其傾斜角度和/或斜方向不同的多個漸變圖案。
[0117]用戶能使用操作部60使該漸變圖案保持部所保持的多個漸變圖案顯示在顯示部70中，並從中選擇I個。操作接收部40接收來自操作部60的輸入，並取得與該輸入對應的漸變圖案，將之輸出給深度圖加工部20。
[0118]深度圖加工部20中分別被從深度圖生成部10輸入深度圖、從外部輸入掩模、從漸變圖案保持部輸入漸變參數。深度圖加工部20將漸變圖案加到輸入深度圖內的掩模的有效區域上。
[0119]圖13是用於說明不使用掩模的輸入深度圖的漸變附加流程的圖。在合成層深度圖時，若僅使用各層深度圖的掩模的有效區域來進行合成，則各層深度圖的掩模的無效區域不會被反映到合成深度圖中。因此，深度圖加工部20對輸入深度圖整體附加漸變，使輸入深度圖整體的深度值傾斜(S21c)。在圖13中，層深度圖在整體上傾斜了(參照標號η)。
[0120]在上述的說明中，說明了從預先生成的典型的漸變圖案中選擇應針對深度圖附加的漸變圖案的例子。以下說明由控制參數指定應針對深度圖進行附加的漸變圖案的例子。深度圖加工部20基於外部所設定的、可分別獨立進行調整的漸變的傾斜參數及方向參數來對深度圖的對象區域附加漸變。此外，也能基於外部設定的偏置參數，針對深度圖的指定區域既進行偏置調整，又附加漸變。
[0121]用戶能使用操作部60來輸入該漸變的傾斜參數、方向參數、及偏置參數。操作接收部40接收來自操作部60的輸入，並輸出給深度圖加工部20。
[0122]對深度圖附加漸變的處理能通過對深度圖的各像素加上與漸變的角度和傾斜相應的漸變深度值來實現。作為用於進行該處理的控制參數，使用Slope、Angle。Slope由每I像素的深度值的變化值來規定。以下，為簡化說明，考慮深度值比例函數性地變化的傾斜模型。此外，還有深度值指數函數性地變化等除此之外的多種傾斜模型。
[0123]Slope:漸變的傾斜[深度值/像素]
[0124]Angle:漸變相對於圖像的角度[degree]
[0125]假定以畫面的中心為基準附加漸變，將畫面的中心的坐標記為(x，y)= (0,0)。將以此為基準的圖像上的任意像素的坐標記為(X，y) = (x_base, y_base)。在將X軸方向、Y軸方向各自的漸變的傾斜值記為slope_x、slope_y時，由下述式(I)、式(2)來表示slope_X、slope_y0
[0126]slope_x=slope*cos Θ =slope*cos (2 π * (Angle/360))…式(I)
[0127]slope_y=slope*sin Θ =slope*sin (2π* (Angle/360))…式(2)
[0128]將某坐標處的、X軸方向、Y軸方向各自的漸變深度值記為grad_depth_x、grad_depth_y 時，用下述式(3)、式(4)來表示 grad_depth_x、grad_depth_y。
[0129]grad_depth_x=Slope_x*x_base …式(3) [0130]grad_depth_y=Slope_y*y_base …式(4)
[0131]為對深度圖附加漸變，在將加於各像素的深度值的漸變深度值記為grad_d印th時，用下述式(5 )來表示grad_depth。
[0132]grad_depth=grad_depth_x+grad_depth_y …式(5)
[0133]通過對深度圖的各像素加上由上述式(5 )求出的漸變深度值，能對深度圖附加漸變。漸變的傾斜能通過改變上述Slope的值而自由設定，漸變相對於圖像的角度能通過改變上述Angle的值來自由設定。
[0134]以上使用式(I)~式(5)說明了對深度圖附加漸變的方法。在該方法中，以畫面的中心為基準附加了漸變深度值，故在畫面中心、深度圖的深度值不會變化。下面說明對深度圖附加漸變的同時還加上偏置，在任意位置附加任意量級的漸變的方法。
[0135]作為控制要加算的偏置值的參數，使用Offset。
[0136]Offset:漸變的偏置
[0137]將在對深度圖附加漸變時加於各像素的、還包含偏置值的漸變深度值記為grad_offset_depth 時，用下述式(6)來表不 grad_offset_depth。
[0138]grad_offset_depth=grad_depth_x+grad_depth_y+Offset …式(6)
[0139]由此，能在畫面的任意位置附加任意量級的漸變。在以上說明中，表示了對深度圖內的對象區域附加漸變的例子，但也可以針對合成深度圖附加漸變。
[0140]如以上所說明的那樣，通過實施方式1，在基於2D圖像生成3D圖像時，能減少用戶的工夫，並生成高質量的3D圖像。即，由深度圖生成部10推測場景結構，使多個基本深度模型的合成比例變化，由此能通過自動處理來生成反映了場景結構的深度圖。此外，由反映了用戶指示的深度圖加工部20針對該深度圖內的各對象分別個別地加工深度圖。由此，能生成高質量的3D圖像，並且與用戶基於2D圖像從頭開始生成同樣品質的3D圖像的情況相t匕、能大幅度地減少作業量。
[0141]圖1所示的2D3D變換所使用的深度圖保持針對畫面整體的深度值。通過對該深度圖進行增益調整或偏置調整，能自由地調整畫面整體的深度感。此外，通過對該深度圖附加漸變，還能自由地調整畫面整體的深度程度的傾斜。[0142]但是，圖像中一般存在多個對象。在本說明書的例子中，存在人物、樹、背景。假定為調整人物部分的深度感，對深度圖進行增益調整來強調人物部分的深度感，則人物以外的樹和背景的深度感也會隨此同時變化。因此，僅單獨調整人物部分的深度感是困難的。此夕卜，假定為調整樹部分的深度感，針對深度圖進行偏置調整，來強調樹部分的深度感，則樹以外的人物和背景的深度感也會隨此同時變化。因此，僅單獨調整樹部分的深度感是困難的。此外，假定為使背景部分的深度傾斜，對深度圖附加漸變，則背景以外的人物和樹部分的深度也會隨此同時傾斜。因此，僅使背景部分的深度傾斜是困難的。
[0143]與此不同，根據實施方式的圖像編輯系統500，能自由、獨立地改變圖像中的各對象的凹凸程度及其傾斜。因此，用戶能針對圖像中的各對象分別自由、獨立地控制基於在實施方式的2D3D變換中所使用的深度圖而生成的3D圖像的遠近感。因此，能生成高質量的3D圖像。
[0144]接下來，針對實施方式2進行說明。在實施方式I中，表示了使用掩模、按對象單位來加工深度圖，來使對象具有立體感的方法。該方法對於強調對象單位的立體感是有效的。但是，難以強調對象內部的體積感，故對象本身會成為缺乏體積感的平面圖像。
[0145]在實施方式2中，表示不是生成平面的、或局部僅具有凹凸的3D圖像，而是生成對象整體具有體積、更具有立體感的3D圖像的方法。該方法通過對作為生成3D圖像的基礎的深度圖施以以下處理來實現。首先，確定對象的形狀。然後，推測符合對象的形狀的立體感。然後，生成符合推測出的立體感的漸變狀的浮雕圖案。最後，將深度圖加上所生成的浮雕。
[0146]通過這些處理，能生成附加有符合對象的形狀的浮雕的深度圖。通過使用該深度圖進行3D變換，能生成對象整體具有體積、更具有立體感的3D圖像。
[0147]實施方式2的深度圖加工部20針對由外部設定的多個掩模所指定的多個對象區域分別個別地調整由深度圖生成部10生成的深度圖的形狀。此時，通過使用後述的體積浮雕圖案來進行加工，使得對象區域內的中央部具有與周邊部不同的深度值。具體來講，進行加工使得對象區域內的中央部與周邊部相比更具有較大凸出量的深度值。更優選的是進行加工使得在對象區域內、隨著從周邊部到中央部、與周邊部相比中央部的凸出量平緩地變化。還優選的是進行加工使得在對象區域內，成為帶有彎度的深度形狀。以下具體地進行說明。
[0148]圖14是表示實施方式2的圖像編輯系統500的構成的圖。實施方式2的圖像編輯系統500中的圖像處理裝置100是在圖2的實施方式I的圖像處理裝置100中追加了體積浮雕生成部80的結構。體積浮雕生成部80基於所被輸入的掩模內的對象的輪廓形狀來生成該對象的浮雕。該浮雕是推測對象的深度的形狀而得出的，故也可以將體積浮雕生成部80稱作深度推測裝置。
[0149]圖15是表示實施方式2的體積浮雕生成部80的構成的圖。體積浮雕生成部80包括輪廓確定部81、距離確定部82、深度值決定部83及量級變換部84。
[0150]輪廓確定部81基於所被輸入的掩模來確定對象的輪廓部分的位置。該掩模與被輸入到深度圖加工部20中的掩模是一樣的。
[0151]距離確定部82求取對象區域內的對象像素與由輪廓確定部81確定的該對象的輪廓的最短距離。例如通過使用以對象像素的位置為中心的同心圓狀地擴展的探索圓來探索與輪廓的切點，來求取該最短距離。會在後文敘述該探索方法的詳細內容。在此，所謂同心圓狀地擴展，不限定於每一圈擴展一像素的例子，也可以螺旋狀地擴展。此外，作為簡單模式，也可以按數像素(例如4像素)單位擴展探索圓。該情況下，精度會下降，但到達輪廓為止的時間會縮短。距離確定部82針對對象區域內的所有像素求取與其輪廓的最短距離。
[0152]深度值決定部83根據由距離確定部82求得的最短距離來決定對象像素的深度值。該最短距離越長，深度值決定部83越加大凸出量。在本說明書中，進行加工使之具有凸出量較大的深度值。這是基於在對象區域內越從該輪廓靠向內側、就越加大膨鼓的模型。由距離確定部82針對對象區域內的所有像素求取與輪廓的最短距離，故針對對象區域內的所有像素決定深度值。因此，能生成基於對象的深度圖的浮雕圖案。
[0153]量級變換部84使用映射函數或數值變換表來對由深度值決定部83生成的浮雕圖案進行量級(level)變換。通過該量級變換，能將由深度值決定部83決定的深度的形狀加工成任意形狀。會在後文敘述量級變換的具體例。
[0154]深度圖加工部20生成上述的層深度圖，並基於由體積浮雕生成部80生成的對象的浮雕圖案來加工該層深度圖。具體來講，深度圖加工部20將由深度圖生成部10生成的深度圖進行層處理，生成多個層深度圖。層處理如在實施方式I中所述那樣包括增益調整、偏置調整及漸變附加。深度圖加工部20針對各對象區域的深度圖施以所被指定的層處理。深度圖加工部20使所生成的層深度圖加上由體積浮雕生成部80生成的對應的對象的浮雕圖案。
[0155]此外，深度圖加工部20也可以不對由深度圖生成部10生成的深度圖進行層處理，而使該深度圖內的各對象區域加上由體積浮雕生成部80生成的分別對應的對象的浮雕圖案。
[0156]深度圖加工部20合成加工後的多個層深度圖。由此，生成由2D3D變換所使用的深度圖。
[0157]以下列舉具體例，更詳細地說明實施方式2的深度圖加工部20的加工處理。如在上文所敘述那樣，在實施方式2中，為對對象整體賦予具有立體感的體積，執行以下處理。首先，確定對象的形狀。然後，推測符合對象的形狀的立體感。然後，生成符合所推測的立體感的漸變狀的浮雕圖案。最後，將所生成的浮雕加於深度圖。
[0158]圖16的(a)?(C)是用於說明實施方式2的生成對象的深度圖的生成方法的圖。輸入到輪廓確定部81中的掩模是沿對象的輪廓描繪、將對象的外側與內側分別用白色和黑色的圖案塗色區分而構成的。基於掩模的形狀，能推測出對象的大致的外形。
[0159]圖16的(a)表不原圖的一個例子，圖16的(b)表不該原圖的掩模的一個例子。圖16的(b)所示的掩模是原圖內的人物的掩模。該人物的掩模是包括頭部和軀體兩者的掩模。
[0160]為推測符合對象的形狀的立體感，定義從以下3個經驗規則推測出的模型。第I個，對象在整體上具有彎度。第2個，對象具有中央處比其端部更翹起的構造。第3個，對象具備寬度寬的部分比寬度狹的部分更翹起的構造。
[0161]例如，當設想人物作為對象時，頭部接近球形、軀體具有接近圓柱的大致長橢球的構造。此外，與手腕或脖子等較細的部分相比，軀體等較粗的部分具有更具厚度的構造。能基於這樣的經驗規則來定義上述模型。[0162]為生成符合推測出的立體感的漸變狀的浮雕圖案，執行以下處理。首先，確定對象內部的區域、即掩模有效的區域。在本說明書中，掩模內的該區域是白色。
[0163]接下來，距離確定部82針對該區域內的特定的掩模像素，測定至距該像素最近的掩模邊緣的距離。所求取的距離成為表示該像素在對象區域內多大程度地靠近中央處的指標。距離越大，該像素在對象區域內越靠近中央處。距離確定部82針對對象的外部區域、即掩模無效的區域內的像素，將距離設定為零。在本說明書中，掩模內的該區域為黑色。
[0164]深度值決定部83將這樣求得的距離信息變換為亮度信息，來製作圖像表。由此，能生成對象的外側區域為零、內側區域隨著靠近中央而亮度變高的、漸變狀的浮雕圖案。以下將其稱作體積浮雕。
[0165]圖16的(C)表示使用圖16的(b)的掩模而生成的人物的體積浮雕的一個例子。顏色較明亮的部分表示凸出部分。此外，相當於掩模無效區域的區域的灰色表示深度值為零。
[0166]最後，深度圖加工部20將所生成的體積浮雕加於層深度圖。由此，能生成符合對象的形狀的體積浮雕被附加於對象、且對象內部的各部分被附加有細小凹凸的深度圖。通過使用該深度圖進行3D變換，能生成對象整體被附加了體積感和細小凹凸感的、更具有立體感的3D圖像。
[0167]以下說明針對對象區域內的特定的像素，測定從該像素至掩模邊緣的最短距離的具體方法。距離確定部82以處於對象區域內的、測定對象的掩模像素位置為中心，探索鄰近的掩模像素。探索按從距測定對象像素較近的像素至較遠的像素的順序來進行。例如，以測定對象像素為中心，規定由預定的角度和半徑來決定的探索位置，角度每變化360°，就使半徑從小向大慢慢變化，來使探索位置移動。在該探索的過程中，最初發現黑色的掩模像素時就相當於從測定對象像素起發現了最近的掩模邊緣。距離確定部82求取測定對象像素與所發現的黑色的掩模像素的距離。由此，能求取從測定對象像素至掩模邊緣的最短距離。該距離成為表示測定對象像素在對象區域內多大程度地靠近中央處的指標。
[0168]圖17的(a)~(b)是用於說明探索從對象區域內的對象像素至掩模邊緣的最短距離的處理的圖。圖17的(a)表示了在圖16的(b)所示的掩模內渦旋狀地探索從對象區域內的像素至掩模邊緣的最短距離的情況。圖17的(a)中表示了探索構成人物的頭部的像素距掩模邊緣的最短距離的情況。圖17的(b)是切出並放大圖17的(a)所示的掩模內的人物的頭部及其周邊的圖。
[0169]以下具體說明求取在圖17的(b)所示的掩模內、從對象區域的任意像素至掩模邊緣的最短距離的方法。在圖17的(b)中，對象區域是白色的區域，掩模邊緣是白色區域與黑色區域的邊界。將對象區域內的任意像素的坐標定義為(xO，yO)。 [0170]距離確定部82以(xO，yO )為基點漩渦狀地探索掩模像素。即，依次探索以(xO，yO )為中心的圓的圓周上的坐標的像素，在一周量的探索結束後，使圓的半徑增加一單位。反覆進行該探索，直到找到黑色的掩模像素。由於使圓的半徑每次增加一單位地進行探索，故最初找到的黑色的掩模像素的坐標就成為距基點(x0，yO)距離最短的掩模邊緣的坐標。
[0171]將探索圓的半徑記為r、角度記為Θ時，用下述式(7)、式(8)來表示探索像素的坐標(X，y )。
[0172]x=r*cos θ+χ0…式(7)[0173]y=r*sin Θ+yO…式(8)
[0174]在將最初找到黑色的掩模像素時的探索像素的坐標記為(xl，yl)時，用下述式
(9)來表示基點(xO, yO)與探索點(xl, yl)的距離L。該距離L相當於從基點(xO, yO)至掩模邊緣的最短距離。
[0175]L= V ((xl-xO)2+ (yl-yO) 2)…式(9)
[0176]以上所說明的求取從對象像素至掩模邊緣的最短距離的方法是一個例子，只要能求得最短距離，也可以採用其它方法。
[0177]圖18是表示體積浮雕的亮度變化的圖。圖19的(a)~(c)是用於說明體積浮雕的量級變換的圖。由深度值決定部28生成的體積浮雕是將由距離確定部82求出的距離信息直接變換成亮度信息後的結果。圖18所示的體積浮雕內的從A點連接到B點的直線上的距離信息、即該直線上的亮度信息如圖19的(a)所示那樣成為折線形狀。
[0178]對象的形狀多數具有彎度。在如圖19的(a)所示那樣的折線形狀的浮雕圖案的情況下，與實際的立體感不一致的情況會變多。作為其對策，使用基於曲線函數的映射，將直線形狀的亮度變化進行量級(level)變換，變換成曲線形狀的亮度變化。由此，能變換成更接近實際的對象形狀的體積浮雕圖案。圖19的(b)表示將圖19的(a)的折線形狀的亮度變化變換成曲線形狀的亮度變化的情況。在圖19的(b)所示的例子中，作為用於進行量級變換的曲線函數的一個例子，使用了反正切函數(Arc Tangent函數)。
[0179]圖19的(C)是表示反正切函數的特性的圖。圖19的(C)內所記載的算式的a、b表示係數。像這樣，使用基於反正切函數的映射，將直線形狀的亮度變化量級變換成曲線形狀的亮度變化。由此，能生成更接近實際的對象形狀、具有彎度的體積浮雕圖案。
[0180]此外，圖19的(C)的反正切函數是一個例子。也可以使用通過改變其係數而變形為任意形狀的曲線。此外，不僅可以使用反正切函數，還可以使用其它種類的曲線函數。還可以根據對象的形狀來區分使用多種曲線函數。反正切函數是用於生成具有彎度的浮雕圖案的曲線函數的一個例子，可以根據對象的形狀而使用生成不圓的形狀的浮雕圖案的函數。此外，可以不使用函數，而是使用變換係數表來進行量級變換處理。此外，也可以不特意進行映射，而是使用保持了原來的折線形狀的浮雕圖案。
[0181]如以上所說明那樣，通過實施方式2，能對深度圖附加符合對象的形狀的體積浮雕。通過使用該深度圖來進行3D變換，能生成對象整體上具有體積感的、更真實的、有立體感的3D圖像。此外，由於能自動生成該體積浮雕，故不會增加用戶的負擔。
[0182]實施方式2的體積浮雕生成部80 (深度推測裝置)不僅可適用於掩模，還可適用於包括照片、CG的所有圖像。此外，輪廓確定部81能使用以往的方法自動檢測到圖像內的對象區域。例如，能通過對圖像施以高通濾波而檢測到圖像內的邊緣。
[0183]一般的圖像加工應用程式中多數具有對對象附加漸變的功能。實施方式2的深度推測裝置還可適用於不以3D圖像的生成為目的、而以對2D圖像內的對象附加漸變為目的的處理。
[0184]通用的圖像加工應用程式中的漸變附加功能多數不考慮對象的深度的形狀。該情況下，為使成為自然的漸變，需要用戶進行調整作業。在CG製作用等高性能的圖像處理應用程式中，有考慮對象的深度的形狀來附加漸變的。例如，有求取對象圖形的重心地附加漸變，使得重心最鼓起的圖像處理應用程式。[0185]與這樣的求取重心的方法相比，使用實施方式2的深度推測裝置能更高精度地推定深度的形狀。在圓等單純形狀的情況下，兩者間幾乎不會產生精度上的不同，但在複雜形狀的情況下，兩者之間會產生較大的精度上的差異。
[0186]圖20的(a)?(b)是表示複雜的對象形狀的體積浮雕的一個例子的圖。圖20的(a)與圖16的(b)—樣是人物的掩模，但除頭部和軀體外、雙臂和相鄰的人的左臂也包含在對象中。圖20的(b)表示使用圖20的(a)的掩模而生成的對象的體積浮雕的一個例子。所生成的體積浮雕在其各部位上，中央部分的體積變大了。可以說這是自然並且真實的體積浮雕。
[0187]與此不同，若是求取重心的方法，則在如圖20的(a)那樣的複雜形狀的情況下，求取重心本身就非常難。此外，即使求得了重心，若使用最大程度地增加該重心的位置的體積，再逐漸減小的方法，則會成為不自然的體積浮雕。在如圖20的(a)那樣的人物對象的情況下，本來需要針對各部位分別求取重心。因此，若使用求取重心的方法，則需要針對各簡單形狀的零件分別附加漸變，然後組合多個零件。該情況下，零件間的漸變上容易產生不匹配。此外還需要組合零件的用戶作業。此外，在求取重心的方法中，對麵包圈等難以確定重心的形狀的適用是困難的。
[0188]與此不同，若使用實施方式2的深度推測裝置，則不論任何形狀的對象，都能將之作為一個對象來處理，所生成的體積浮雕的精度也較高。由於是算出從對象像素至邊緣的距離這一簡單的算法，故通用性較高，即使是麵包圈等特殊的形狀，也能生成高精度的體積浮雕。
[0189]接下來，針對實施方式3進行說明。作為為賦予對象立體感而生成要加於深度圖的浮雕的方法之一，有使用圖像內的像素的信息來生成浮雕的方法。該方法雖然能對對象的個別部分賦予凹凸，但對對象整體賦予體積感是困難的。
[0190]此外，還有使用掩模按對象單位加工深度圖，使對象具有立體感的方法。該方法雖然能按對象單位強度立體感，但不能強調對象內部的體積感，對象本身會成為缺乏體積感的平面圖像。
[0191]因此，在實施方式2中，表示了為使對象具有立體感而生成基於其形狀推測出的合適的浮雕圖案的方法。由此，並非生成平面圖像或僅局部附有凹凸的3D圖像，而是生成對象整體具有體積的、更具立體感的3D圖像。
[0192]用實施方式2的方法生成的浮雕圖案是根據從對象內的任意點至對象的邊緣的距離而唯一確定的。因此，所生成的浮雕圖案的頂點和根部的位置、形狀等被唯一決定。該浮雕圖案的頂點及根部的位置在使用它而變換出的3D圖像中相當於最凸出的位置。
[0193]通過實施方式2的方法，能簡單且高精度地推定圖像內的對象的深度的形狀，但在實際的圖像中，有時用實施方式2的方法決定的浮雕圖案的頂點和根部的位置、形狀等未必與對象的最凸出位置一致。下面，通過所說明的實施方式3，能更高精度地推定圖像內的對象的深度的形狀。以下針對若使用實施方式3則更有效的情況，列舉具體例子來進行說明。
[0194]圖21的(a)?(b)是表示朝向正面的人物的浮雕圖案的圖。圖21的(a)表示原圖，圖21的(b)表示浮雕圖案。圖21的(b)內的虛線是表示原圖的對象部位的位置的輔助線。白色表示凸出方向。在如圖21的(a)所示那樣人物朝向正面的圖像的情況下，最凸出的位置被推定為臉的中心(鼻子)。在圖21的(b)所示的浮雕圖案中，浮雕的頂點的位置與對象的凸出位置是一致的。通過該浮雕圖案賦予3D圖像的深度感成為與實際的圖像一致的合適的形式。
[0195]圖22的(a)?(b)是表示朝向斜方向的人物的浮雕圖案的圖。圖22的(a)表示原圖，圖22的(b)表示浮雕圖案。如圖22的(a)所示那樣，在是人物朝向右斜方向的圖像的情況下，最凸出的鼻子的位置從對象的中心偏向右方。但是在用實施方式2的方法生成的浮雕圖案中，對象形狀的中心被推定為最凸出的位置。在圖22的(b)所示的浮雕圖案中，浮雕的頂點的位置與對象的凸出位置並不一致。用該浮雕圖案賦予3D圖像的深度感與實際的圖像不一致。
[0196]此外，作為使對象的立體感與用於製作它的深度浮雕圖案的頂點相一致的方法，例如已提出有令用戶自身指定對象的頂點的位置，從該位置起向對象的邊緣描繪放射線的方法。使用該方法，能生成具有正確的頂點的立體感的浮雕圖案。但是，在該方法中，需要追加用於令用戶指定頂點的特別的圖形用戶接口、和用於令用戶自身進行頂點指定作業的煩瑣的程序。
[0197]此外，若根據從對象內的任意點至對象的邊緣的距離而唯一決定浮雕圖案，則因對象的形狀的不同，有時會無法正確再現該對象本來的立體感。以下列舉具體例來進行說明。
[0198]圖23的(a)?(C)是表示瓶子的浮雕圖案的圖。如圖23的(a)所示那樣，在對象是瓶子等旋轉體形狀的情況下，本來應生成如圖23的(b)所示那樣的浮雕圖案。但是，用實施方式2的方法生成的浮雕圖案成為了如圖23的(c)所示那樣的浮雕形狀，生成了與對象原本的立體感不同的形狀的浮雕。在主體是圓柱狀的瓶子的情況下，在上下方向上不應帶有彎度，但在圖23的(b)中，在上下方向也具有了彎度。
[0199]實施方式3的方法不需要追加用於使用戶自身進行頂點指定作業的煩瑣的程序，就能生成以想要的部分為頂點的理想的浮雕。通過用戶的簡單操作，能生成以錯開了用戶所指定的比例的位置為中心的浮雕圖案，能容易地生成具有與實際的圖像一致的深度感的3D圖像。此外，即使在如圖23的(a)?(c)所示那樣的對象為旋轉體形狀的情況下，也能生成與對象本來的立體感一致的浮雕。
[0200]實施方式3會給出自動生成不是以對象的中心、而是以錯開了用戶所指定的比例的位置為中心的浮雕圖案的算法。在實施方式2中，在求取任意點的浮雕圖案的高度時，使用了測定從對象內的任意基點至對象的邊緣的距離的方法。即，從對象內的某個點漩渦狀地不斷探索邊緣像素，並算出了從發現最近的邊緣時的基點至探索點的距離。在實施方式3中，以該方法為基礎，不是使用正圓、而是使用特殊形狀的圓來進行邊緣像素的探索。
[0201 ] 圖24是表示實施方式3的體積浮雕生成部80的構成的圖。實施方式3的體積浮雕生成部80與圖15所示的實施方式3的體積浮雕生成部80 —樣包括輪廓確定部81、距離確定部82、深度值決定部83及量級變換部84。
[0202]實施方式2的距離確定部82使用正圓探索圓來探索與對象的輪廓的切點。實施方式3的距離確定部82使用特殊形狀的探索圓來探索切點。例如中心偏心的圓、橢圓等屬於特殊形狀的探索圓。距離確定部82按照外部所設定的圓變形用的參數來使探索圓的形狀進行變形。水平/垂直方向的偏心率、水平/垂直方向的橢圓化率、橢圓化後的橢圓的傾斜角等屬於該參數。
[0203]用戶操作操作部60來輸入上述多個參數中的至少一個參數值。操作接收部40將所輸入的參數值交給體積浮雕生成部80的距離確定部82 (參照上述圖14)。
[0204]首先說明使用偏心的探索圓的例子。圖25是表示使用未偏心的探索圓(正圓)來探索對象的邊緣像素的情況的圖。圖26是表示圖25的浮雕圖案的圖。在圖25中，對象是白色圓。在使用未偏心的探索圓時，如圖26所示那樣生成以對象的中心為頂點的浮雕圖案。
[0205]圖27的(a)?(b)是表示使用偏心的探索圓(正圓)來探索對象的邊緣像素的情況的圖。圖27的(a)所示的探索圓是以未偏心的探索圓為基礎、將同連接圓周上的點和中心的線(圖27的箭頭線)與預定的軸(例如水平軸)的角度相應的係數乘以此時的半徑而生成的。關於未偏心的探索圓和偏心的探索圓，若固定其中心位置來考慮，則半徑的大小會僅根據前述角度而不同，彼此處於對應的關係。在圖27所示的例子中，對箭頭指向右方時的半徑乘以最小的係數，隨著箭頭朝向上方(或下方)且朝向左方，逐漸乘以較大的係數。並且，在箭頭朝向左方時，乘以最大的係數。
[0206]此外，也可以說這樣的偏心的探索圓是半徑越變大、中心位置越沿預定方向偏離的圓。例如，在圖27所示的例子中，成為了半徑越大、中心位置越偏向左方向的多個探索圓。
[0207]使用這樣的偏心的探索圓來探索邊緣像素。此外，在算出了從基點至探索出的像素的距離時，將與偏心的探索圓對應的未偏心的探索圓的半徑作為該距離。圖27的(b)表示了用於求取距離的未偏心的探索圓。
[0208]探索圓的左側比右側半徑大，故即使基點處於對象的中央處，靠近基點的左側的邊緣也會比靠近基點的右側的邊緣更早地被探索到。此外，用未偏心的探索圓的半徑來計算探索出的至像素的距離。因此，至所發現的邊緣的距離被判斷為處於比實際近的距離處。
[0209]圖28是表不使用偏心的探索圓(正圓)來探索對象的邊緣像素的情況的圖。圖29是表不圖28的浮雕圖案的圖。圖28表不了使用偏心的探索圓來探索與圖26相同的對象的邊緣像素的情況。在該情況下，傾向判斷為對象的靠近左邊緣的像素比靠近右邊緣的像素距邊緣的距離近。
[0210]其結果，在對象的靠近左邊緣的部分，排布有被判斷為距邊緣的距離較近的像素，在對象的靠近的右邊緣的部分，排布有被判斷為距邊緣的距離較遠的像素。如圖29所示那樣，所生成的浮雕圖案的高度是根據各像素距邊緣的距離而生成的，故能生成頂點向比中央更向右移動後的浮雕圖案。
[0211]圖30是表示使用更加大圖28的探索圓的偏心率後的探索圓(正圓)來探索對象的邊緣像素的情況的圖。圖31是表示圖30的浮雕圖案的圖。圖30的探索圓是使圖28的探索圓的偏心置於極端情況時的探索圓。圖30的探索圓在左側方向具有半徑，但在右側方向上不具有半徑，總是為零。該情況下，當基點比對象的邊緣更處於內側時，基點的左側的邊緣會被探索到，而基點的右側的邊緣不會被探索到。僅在基點處於對象的右側的邊緣的情況下，基點的右側的邊緣才會被探索到。
[0212]其結果，對象內部的幾乎所有部分都成為具有基於距遠處的左邊緣附近的距離的距離信息的像素。如圖31所示那樣，所生成的浮雕圖案的頂點處於對象的右邊緣部分。[0213]圖32是表示使用向左下方向偏心的探索圓(正圓)來探索對象的邊緣像素的情況的圖。圖33是表示圖32的浮雕圖案的圖。該情況下，同樣也生成頂點向比中央靠左下方移動後的浮雕圖案。
[0214]像這樣，通過使用偏心的探索圓來進行探索，能容易地生成在任意部分具有頂點的浮雕圖案。該情況下，不需要追加上文所述那樣的用於令用戶指定頂點的特別的圖形用戶接口和用於令用戶自身進行頂點指定作業的煩瑣的程序。使用僅指定在對象形狀內向哪個方向、多大程度地使頂點移動的簡單的用戶接口，用簡單的操作就足夠了。因此，能減輕用戶的負擔。
[0215]接下來，使用圖34及圖35來說明偏心的探索圓的製作方法的一個例子。在將進行邊緣探索的像素的坐標記為(xO，yO)時，能如下述式(10)那樣表示以該坐標為中心而描繪的、圖34所示的使之偏心前的探索圓的位置(x，y)。
[0216]x=r*cos ( θ * ji/180)+xO
[0217]y=r*sin ( Θ * ji/180)+y0...式(10)
[0218]r:半徑、θ:角度(degree)
[0219]與此不同，能如下述式(11)那樣表示圖35所示的、實施方式3的偏心的探索圓的位置(X，Y)。
[0220]x=r*cos ( Θ * ji /180) +xO+Sx
[0221]y=r*sin ( θ * ji /180) +y0+Sy
[0222]Sx=r*Px
[0223]Sy=r*Py`
[0224]Px=Dx*cos (Dy Θ Dx)
[0225]Py=Dy*sin (Dy Θ Dy)
[0226]Dx Θ Dy=tan-1 (Dx/Dy)…式(11)
[0227]r:半徑、θ:角度(degree)
[0228]Dx:水平方向的偏心比例(-1〈0乂〈+1)
[0229]Dy:垂直方向的偏心比例(_l〈Dy〈+l)
[0230]用戶通過從操作部60輸入水平方向和/或垂直方向的偏心率，能使探索圓如用戶意圖那樣偏心。
[0231]接下來，說明使探索圓成為橢圓的例子。圖36表示使用正圓探索圓來探索對象的邊緣像素的情況的圖。圖37是表示圖36的浮雕圖案的圖。在圖36中，對象為瓶子。如圖37所示那樣，生成在瓶子的所有方向上均勻地具有斜度的浮雕圖案。
[0232]圖38是表不使用捕圓探索圓來探索對象的邊緣像素的情況的圖。圖39是表不圖38的浮雕圖案的圖。圖38的探索圓是以未偏心的正圓為基礎、使其半徑乘以與從中心起的角度相應的係數而生成的。關於正圓與橢圓，僅是半徑因角度而不同，彼此處於對應。使用這樣的橢圓探索圓來探索邊緣像素。此外，在計算從基點至探索到的像素的距離時，與上述偏心的情況一樣，將與橢圓對應的正圓的半徑作為該距離。
[0233]在圖38中，探索圓的左右方向比上下方向半徑大，故基點的左右方向的邊緣會比基點的上下方向的邊緣更早地被探索到。此外，由於是用正圓的半徑來計算至探索到的像素的距離，故距所發現的邊緣的距離被判斷為處於比實際更近的距離。其結果，傾向於判斷為對象內部的各像素至邊緣的距離在左右方向上比實際的近，在上下方向比實際的遠。
[0234]如圖39所示那樣，所生成的浮雕圖案的高度是按照各像素距邊緣的距離而生成的。其結果，會生成左右方向的坡度平緩，並且上下方向的坡度陡峭的浮雕圖案。
[0235]關於此情況，能容易地想像到一個事實，即，不使探索圓成為在水平方向上壓縮後的橢圓，而是先使原來的對象變成在垂直方向上拉伸後的形狀，在通過使用正圓的探索方法生成浮雕圖案後，再將浮雕對象在垂直方向上壓縮而恢復原來的狀態，由此也能獲得相同的圖案，因此，能證明上述方法是正確的。
[0236]圖40是表7]^使用將圖38的探索圓的捕圓化率進一步加大後的探索圓來探索對象的邊緣像素的情況的圖。圖41是表不圖40的浮雕圖案的圖。圖40的探索圓是使圖38的探索圓極端地橢圓化後的形式。該情況下，會生成如下浮雕圖案，即，所生成的浮雕的左右方向上具有坡度，上下方向上幾乎不具有坡度。瓶子是旋轉體，故這樣做能生成更理想的浮雕圖案。
[0237]接下來，使用圖34及圖42來說明將探索圓橢圓化的方法的一個例子。在將要進行邊緣探索的像素的坐標記為(xO，yO)時，能如下述式(12)那樣表示以該坐標為中心而描繪的、圖34所示的、使之成為橢圓狀前的正圓探索圓的位置(X，y )。
[0238]x=r*cos ( θ * ji/180)+xO
[0239]y=r*sin ( θ * ji/180)+yO…式(12)
[0240]r:半徑、Θ:角度(degree)
[0241 ] 與此不同，能如下述式(13)那樣表示圖42所示的、實施方式3的橢圓探索圓的位置(X，y)。
[0242]x=Rx*r*cos ( θ * ji /180) +xO
[0243]y=Ry*r*sin ( θ * ji/180)+yO…式(13)
[0244]r:半徑、θ:角度(degree)
[0245]Rx:水平方向的橢圓化比例(0〈Rx〈+l)
[0246]Ry:垂直方向的橢圓化比例(0〈Ry〈+l)
[0247]用戶從操作部60輸入水平方向和/或垂直方向的橢圓化比例，由此能將探索圓變形為符合用戶意圖的橢圓。此外，在使橢圓化比例極限地趨近O時，橢圓狀的探索圓會變成大致直線。
[0248]接下來，說明使作為探索圓的橢圓傾斜的例子。圖43是表示探索傾斜的瓶子形狀的對象的邊緣像素的情況的圖。圖44是表示圖43的浮雕圖案的圖。在圖43中，作為旋轉體的瓶子的旋轉軸不是垂直的，而是傾斜的。若針對該瓶子對象使用在垂直方向上進行壓縮後的橢圓來進行探索，則不能生成準確的浮雕圖案。因此，與對象的旋轉軸一樣，橢圓的旋轉軸也要傾斜。若如圖44所示那樣使用旋轉軸與對象一樣地傾斜了的橢圓來生成浮雕，則能生成準確的浮雕圖案。
[0249]接下來，使用圖45來說明生成具有傾斜軸的橢圓探索圓的方法的一個例子。在將以進行邊緣探索的像素的坐標(x0，yO)為中心而描繪的、通常的具有未傾斜軸的橢圓探索圓的位置記為U，y)時，能如下述式(14)那樣表示圖45所示的、具有傾斜軸的橢圓探索圓的位置(x_rot, y_rot)。
[0250]χ1=χ-χ0[0251]yl=y-y0
[0252]x2=cos (rot Θ ) *xl_sin (rot Θ ) *yl
[0253]y2=sin (rot Θ ) *xl+cos (rot Θ ) *yl
[0254]x_rot=x2+x0
[0255]y_rot=y2+y0 …式(14)
[0256]rot Θ:探索圓的傾斜角
[0257](xl, yl):以使坐標軸傾斜前的探索圓的(x0，yO)為基準的偏置坐標
[0258](x2, y2):以使坐標軸傾斜後的探索圓的(x0，yO)為基準的偏置坐標
[0259]用戶通過從操作部60輸入探索圓的傾斜角及偏置坐標，能使探索圓按用戶意圖那樣傾斜。
[0260]如以上所說明的那樣，通過實施方式3，在針對深度圖生成符合對象的形狀的體積浮雕時，通過用戶的簡單的操作，能自動生成以移位了用戶所指定的比例後的位置為中心的浮雕圖案。因此，能容易地生成具有與實際的圖像一致的深度感的3D圖像。此外，不需要追加特別的圖形用戶接口和用於令用戶自身進行頂點指定作業的煩瑣的步驟。此外，即使對象是旋轉體形狀，也能生成與對象原本的立體感一致的浮雕。通過使用被附加有這樣的浮雕的深度圖進行3D變換，能生成對象整體具有體積感的、更具有立體感的3D圖像。
[0261]以上基於實施方式對本發明進行了說明。本領域技術人員當理解實施方式為例示，其各構成要素和各處理過程的組合可以有各種變形例，且該變形例同樣包括在本發明的範圍內。
[0262]在實施方式3中，通過將探索圓變形，來生成與實際的圖像的深度感一致的浮雕。在實施方式3的變形例中，說明通過使對象變形，來取得同樣的效果的方法。在實施方式3的變形例中，圖24的距離確定部82使對象根據外部所設定的參數而變形。例如對象的水平/垂直方向的伸長率、對象的旋轉角度等屬於該參數。以下列舉具體例進行說明。
[0263]圖46的(a)~(b)是表示使用正圓探索圓來探索對象的邊緣像素的情況的圖。圖47的(a)~(b)是表示圖46的(a)~(b)的浮雕圖案的圖。圖46的(a)的對象與圖36、圖38、圖40—樣是瓶子。圖46的(a)表示原圖。在此作為掩模。圖38、圖40中使用了在垂直方向上被壓縮後的橢圓探索圓，但在本變形例中，不壓縮探索圓，而是拉長對象。圖46的(b)表示將圖46的(a)的原始掩模在垂直方向上拉長後的掩模。不使用橢圓，而使用正圓來作為探索圓。
[0264]圖47的(a)表不圖46的(b)的浮雕圖案。最後，壓縮所生成的浮雕圖案，以使其變成原來的對象尺寸。圖47的(b)表示被恢復到圖46的(a)的掩模大小後的浮雕圖案。該浮雕圖案與使用橢圓探索圓而生成的圖39的浮雕圖案是一樣的。
[0265]用戶從操作部60輸入對象的水平方向和/或垂直方向的伸長率，由此能拉長符合用戶意圖的對象。
[0266]圖48的(a) —(d)是表示探索傾斜後的瓶子形狀的對象的邊緣像素的情況的圖。圖48的(a)的對象是與圖43傾斜得一樣的瓶子。圖48的(a)表示原圖。在此，作為掩模。在圖43中，使用了隨著瓶子的傾斜而旋轉的橢圓探索圓`,但在本變形例中，不使橢圓旋轉，而是使對象旋轉。在圖48的(b)中，使圖48的(a)的原始掩模向左旋轉了預定角度，瓶子變形成了垂直的掩模。使用未傾斜的橢圓來作為探索圓。[0267]圖48的(c)表示圖48的(b)的浮雕圖案。最後，將所生成的浮雕圖案進行反轉，以使得變成原來的對象的傾斜度。圖48的(d)表示恢復到圖48的(a)的掩模的傾斜度後的浮雕圖案。該浮雕圖案與使用傾斜了的橢圓探索圓而生成的圖44的浮雕圖案是一樣的。
[0268]用戶通過從操作部60輸入水平方向和/或垂直方向的橢圓化率、及對象的旋轉角度，能使之變形為與用戶意圖一致的橢圓，且能使對象旋轉。
[0269]即使像這樣不使探索圓變形，而是使對象變形、或探索圓和對象兩者都變形，也能得到與上文敘述的僅使探索圓變形的情況一樣的效果。
[0270]此外，本發明不限定於以上所說明的實施方式，在不脫離本發明思想的範圍內，可以進行各種變更。例如，也可以組合各實施方式。此外，也可以使深度推測裝置和圖像處理裝置的一部分構成成為其它個體，使介由網絡等與該使成為其它個體的構成通信，來實現深度推測裝置和圖像處理裝置的功能。
[0271]此外，本發明包括用於使計算機實現各部的功能的程序。這些程序可以被從記錄介質中讀取、並被編入計算機中，還可以介由通信網絡被傳送，並被編入計算機中。
【權利要求】
1.一種深度推測裝置，其特徵在於，包括: 輪廓確定部，確定對象圖像內的對象的輪廓， 距離確定部，求取上述對象的區域內的對象像素與上述輪廓的距離，以及 深度值決定部，根據上述距離來決定上述對象像素的深度值。
2.如權利要求1所述的深度推測裝置，其特徵在於， 上述距離確定部求取上述對象的區域內的對象像素與上述輪廓的最短距離； 上述深度值決定部根據上述最短距離來決定上述對象像素的深度值。
3.如權利要求1所述的深度推測裝置，其特徵在於， 上述距離確定部使用以上述對象像素的位置為中心、從該中心起同心圓狀地擴展的探索圓來探索與上述輪廓的切點。
4.如權利要求3所述的深度推測裝置，其特徵在於， 上述距離確定部能根據外部所設定的參數而使上述探索圓變形。
5.如權利要求4所述的深度推測裝置，其特徵在於， 上述參數包括偏心率、橢圓化率、橢圓化後的橢圓的傾斜角中的至少一個。
6.如權利要求3所述的深度推測裝置，其特徵在於， 上述距離確定部能根據外部所設定的參數而使上述對象變形。
7.如權利要求1至6的任意一`項所述的深度推測裝置，其特徵在於， 還包括量級變換部，使用映射函數或數值變換表來對基於上述深度值決定部所決定的上述對象的深度圖的浮雕圖案進行量級變換。
8.一種圖像處理裝置，其特徵在於，包括: 深度圖生成部，基於輸入圖像和深度模型來生成上述輸入圖像的深度圖， 體積浮雕生成部，生成上述輸入圖像內的對象的浮雕圖案， 深度圖加工部，加工由上述深度圖生成部生成的深度圖內的、與上述對象對應的區域，以及 圖像生成部，基於上述輸入圖像及由上述深度圖加工部加工後的深度圖來生成另一視點的圖像； 其中，上述體積浮雕生成部包括: 輪廓確定部，確定上述對象的輪廓， 距離確定部，求取上述對象內的對象像素與上述輪廓的距離，以及 深度值決定部，根據上述距離來決定上述對象像素的深度值； 上述體積浮雕生成部基於由上述深度值決定部決定的深度值來生成上述浮雕圖案；上述深度圖加工部使用上述浮雕圖案來對上述深度圖的與上述對象對應的區域附加浮雕。
9.一種深度推測方法，其特徵在於，包括 確定對象圖像內的對象的輪廓的步驟， 求取上述對象的區域內的對象像素與上述輪廓的距離的步驟，以及 根據上述距離來決定上述對象像素的深度值的步驟。
10.一種圖像處理方法，其特徵在於，包括: 基於輸入圖像和深度模型來生成上述輸入圖像的深度圖的步驟，生成上述輸入圖像內的對象的浮雕圖案的步驟， 加工所生成的深度圖內的、與上述對象對應的區域的步驟，以及 基於上述輸入圖像及加工後的深度圖來生成另一視點的圖像的步驟； 其中，上述生成浮雕圖案的步驟包括: 確定上述對象的輪廓的步驟， 求取上述對象內的對象像素與上述輪廓的距離的步驟，以及 根據上述距離來決定上述對象像素的深度值的步驟； 上述生成浮雕圖案的步驟基於通過上述決定深度值的步驟而決定的深度值，來生成上述浮雕圖案； 上述加工深度圖的步驟使用上述浮雕圖案來對上述深度圖的與上述對象對應的區域附加浮雕。
11.一種存儲有深度推測程序的計算機可讀取的介質，其特徵在於，所述深度推測程序使計算機實現如下處理: 確定對象圖像內的對象的輪廓的處理， 求取上述對象的區域內的對象像素與上述輪廓的距離的處理，以及 根據上述距離來決定上述對象像素的深度值的處理。
12.—種存儲有圖像處理程序的計算機可讀取的介質，其特徵在於，所述圖像處理程序使計算機實現如下處理:` 基於輸入圖像和深度模型來生成上述輸入圖像的深度圖的處理， 生成上述輸入圖像內的對象的浮雕圖案的處理， 加工所生成的深度圖內的、與上述對象對應的區域的處理，以及 基於上述輸入圖像及加工後的深度圖來生成另一視點的圖像的處理； 其中，上述生成浮雕圖案的處理包括: 確定上述對象的輪廓的處理， 求取上述對象內的對象像素與上述輪廓的距離的處理，以及 根據上述距離來決定上述對象像素的深度值的處理； 上述生成浮雕圖案的處理基於通過上述決定深度值的處理所決定的深度值，來生成上述浮雕圖案； 上述加工深度圖的處理使用上述浮雕圖案來對上述深度圖的與上述對象對應的區域附加浮雕。
【文檔編號】H04N13/00GK103686125SQ201310343868
【公開日】2014年3月26日 申請日期:2013年8月8日 優先權日:2012年8月29日
【發明者】竹下浩 申請人:Jvc建伍株式會社