圖像處理裝置、圖像處理方法以及電腦程式的製作方法

2023-08-07 08:18:01 1

專利名稱：圖像處理裝置、圖像處理方法以及電腦程式的製作方法
技術領域：
本發明涉及一種圖像處理裝置，圖像處理方法，和電腦程式。
背景技術：
最近，允許用戶三維地感受圖像的用於顯示圖像(三維(3D)圖像)的視頻顯示裝置已經發布並且取得廣泛的使用(例如，見日本未審查專利申請公告第2010-210712號)。 配置來顯示3D圖像的裝置不局限於電視接收機和視頻顯示裝置。一些個人計算機也能夠顯示3D圖像。在個人計算機上運行的應用中，一些應用使得用戶能夠產生包括3D圖像的內容。 通過使用此類應用，用戶能夠產生內容和利用預定的方法觀看內容，從而感知內容中包括的圖像為3D圖像。

發明內容
可是，根據現有技術，需要專用的軟體以設置位置關係以便創建包括3D圖像的內容。因此終端用戶要創建此類內容是非常困難的。由此期望提供一種新穎的和改進的圖像處理裝置，圖像處理方法和電腦程式， 其便利包括3D圖像的內容的創建。根據本發明的實施例，提供一種圖像處理裝置，包括3D圖像轉換器，配置來執行用於基於在二維圖像的多個平面之間的虛擬距離，將利用虛擬距離創建的包括多個平面的二維圖像轉換為3D圖像的轉換處理；以及3D圖像產生器，配置來基於通過3D圖像轉換器執行的轉換處理從二維圖像產生3D圖像並且配置來顯示產生的3D圖像。當在通過使用3D 圖像產生器顯示三維圖像的同時，在二維圖像的對應平面之間的虛擬距離改變時，3D圖像轉換器依據在虛擬距離中的改變執行轉換處理。3D圖像轉換器可以基於在2D圖像的多個平面的至少一個中設置的水平線，執行用於將2D圖像的底色部分轉換為3D圖像的轉換處理。3D圖像轉換器可以執行轉換處理，使得當將2D圖像轉換為3D圖像時在3D圖像的邊緣部分不產生空白。3D圖像轉換器可以執行轉換處理，使得當將2D圖像轉換為3D圖像時在3D圖像中 2D圖像的邊緣部分不會缺失。通過使用滾動條通過3D圖像轉換器改變在2D圖像的對應平面之間的虛擬距離， 該滾動條與2D圖像關聯地顯示在屏幕上。通過使用輪子通過3D圖像轉換器改變在2D圖像的對應平面之間的虛擬距離，該輪子與2D圖像的對應平面關聯地顯示在屏幕上。該圖像處理裝置可以還包括成像設備，配置來捕捉圖像。3D圖像轉換器可以檢測由用戶朝成像設備執行的手勢，該手勢由成像設備捕捉，使得依據該手勢改變在2D圖像的對應平面之間的虛擬距離。
通過使用手勢，用戶可以利用適當數目的手指指定2D圖像的平面，並且利用手指的來回移動改變在2D圖像的對應平面之間的虛擬距離。根據本發明的另一實施例，提供一種圖像處理方法，包括執行用於基於在二維圖像的多個平面中的虛擬距離，將包括利用虛擬距離創建的多個平面的二維圖像轉換為三維圖像的轉換處理；以及基於該轉換處理從二維圖像產生三維圖像從而顯示產生的三維圖像。當在顯示三維圖像的同時，在二維圖像的對應平面之間的虛擬距離改變時，依據在虛擬距離中的改變執行轉換處理。根據本發明的另一實施例，提供一種電腦程式，允許計算機運行來執行用於基於在二維圖像的多個平面中的虛擬距離將包括利用虛擬距離創建的多個平面的二維圖像轉換為三維圖像的轉換處理；以及基於該轉換處理從二維圖像產生三維圖像從而顯示產生的三維圖像。當在顯示三維圖像的同時，在二維圖像的對應平面之間的虛擬距離改變時，依據在虛擬距離中的改變執行轉換處理。如上所述，根據本發明的實施例，可以提供一種新穎的和改進的圖像處理裝置、圖像處理方法和電腦程式，其便利包括3D圖像的內容的創建。


圖1圖示根據本發明的實施例的圖像處理裝置的功能配置；圖2圖示根據本發明的實施例的通過圖像處理裝置執行的3D圖像的產生的概述；圖3圖示根據本發明的實施例的通過圖像處理裝置執行的3D圖像的產生的示例；圖4A到4C圖示要在圖像顯示單元上顯示的菜單屏幕的示例；圖5A和5B圖示用於調整3D圖像的外觀的滾動條的示例；圖6概念性圖示從包括多個層的2D圖像到3D圖像的轉換；圖7A到7C圖示從包括多個層的常規2D圖像到3D圖像的轉換的示例；圖8A和8B圖示從包括多個層的常規2D到3D圖像的轉換的示例；圖9圖示其中當比顯示表面布置得更靠後的層投影在輸出圖像上時在輸出圖像的邊緣部分產生空白(space)的狀態；圖10圖示其中用於創建圖像的畫布的解析度設置為大於3D圖像的解析度的狀態；圖11圖示其中當比顯示表面布置得更靠後的層投影在輸出圖像上時在輸出圖像的邊緣部分產生缺失部分的狀態；圖12圖示其中缺失部分顯示在圖像創建屏幕上的狀態；圖13圖示產生包括多個3D圖像的圖片簿的屏幕的示例；圖14圖示根據本發明的實施例的通過使用圖像處理裝置移動在用戶繪製的圖像中包含的對象的技術；圖15圖示根據本發明的實施例的通過使用圖像處理裝置移動在用戶繪製的圖像中包含的對象的技術；圖16到20圖示用於調整層的深度的用戶界面的示例；
圖21圖示根據本發明的實施例的在通過使用圖像處理裝置創建的3D圖像中設置底色(ground)的示例；圖22圖示從底色部分到3D圖像的轉換的示例；以及圖23圖示根據本發明的實施例的圖像處理裝置的硬體配置的示例。
具體實施例方式下面將參考附圖詳細描述本發明的實施例。在說明書和附圖中，具有基本相同功能配置的組件由相似參考標號表示，並且其解釋將僅給出一次。將按照如下順序給以說明。1.本發明的實施例1-1.圖像處理裝置的功能配置1-2.產生3D圖像的概述1-3.產生3D圖像的示例1-4.用於調整深度的界面的示例1-5.在3D圖像中設置底色的示例2.硬體配置3.總結1.本發明的實施例1-1.圖像處理裝置的功能配置下面將首先參考圖1描述根據本發明的實施例的圖像處理裝置100的功能配置。圖1所示的圖像處理裝置100配置來允許用戶創建圖像和顯示圖像。如圖1所示， 圖像處理裝置100包括圖像創建處理器110、圖像存儲單元120、輸入單元130和圖像顯示單元140。圖像創建處理器110配置來通過使用圖像顯示單元140向用戶呈現圖像創建屏幕並且從用戶創建的圖像中產生3D圖像。如圖1所示，圖像處理裝置100的圖像創建處理器 110包括圖像創建單元112、3D圖像轉換器114和3D圖像產生器116。在該實施例中，當用戶通過使用圖像創建屏幕產生多個圖像(如，三個圖像)時， 圖像創建處理器110從用戶創建的圖像中產生3D圖像。在該實施例的圖像處理裝置100 中，由圖像創建處理器110產生的3D圖像根據預定方法顯示在圖像顯示單元140上，以及用戶根據預定方法(如，通過佩戴工作在時分驅動系統的快門眼鏡)觀看該3D圖像，由此使得用戶能夠三維地感知在圖像顯示單元140上顯示的3D圖像。圖像創建單元112配置來通過使用圖像顯示單元140向用戶呈現圖像創建屏幕， 從而允許用戶產生圖像。當用戶通過使用由圖像創建單元112呈現的圖像創建屏幕創建包括多個層的圖像時，具有多個層的圖像通過3D圖像轉換器114和3D圖像產生器116轉換為3D圖像。通過使用圖像創建單元112創建的包括多個層的圖像也響應於由用戶執行的操作存儲在圖像存儲單元120中。3D圖像轉換器114執行用於將從圖像創建單元112提供的包括多個層的圖像轉換為3D圖像的轉換處理。產生的3D圖像顯示在圖像顯示單元140上。在轉換處理中，該實施例的圖像處理裝置100假定用戶的眼睛間的距離和在用戶和顯示單元之間的距離，並基於在各層中的虛擬距離(關於圖像的層深度的信息)執行用於將包括多個層的圖像轉換為 3D圖像以及將轉換的3D圖像顯示在圖像顯示單元140上的轉換處理。更具體地，3D圖像轉換器114對包括多個層的圖像執行坐標變換處理從而產生3D圖像。後面將討論轉換處理的詳情。如上討論的，3D圖像轉換器114執行轉換處理，用於將包括多個層的二維QD)圖像轉換為3D圖像以及將3D圖像顯示在圖像顯示單元140。在該實施例中，在轉換處理期間，在3D圖像顯示在圖像顯示單元140上的同時，用戶調整圖像的層深度從而改變3D圖像的深度，然後3D圖像轉換器114依據用戶做出的調整實時執行轉換處理。利用該處理，在調整圖像的層深度之後，用戶能夠實時檢查調整的3D圖像。當從用戶產生的包括多個層的2D圖像創建3D圖像時，該實施例的圖像處理裝置 100顯示3D圖像的預覽。這使得用戶能夠在存儲3D圖像之前檢查創建的圖像作為3D圖像顯得如何。3D圖像產生器116配置來基於由3D圖像轉換器114執行的轉換處理從包括多個層的圖像產生3D圖像。由3D圖像產生器116產生的3D圖像顯示在圖像顯示單元140上， 並且也響應於由用戶在輸入單元130上執行的操作存儲在圖像存儲單元120中。圖像存儲單元120配置來在其中存儲由圖像創建單元112創建的包括多個層的圖像和通過3D圖像轉換器114和3D圖像產生器116從包括多個層的圖像產生的3D圖像。 依據用戶在輸入單元130上執行的操作，從圖像存儲單元120中讀出存儲在圖像存儲單元 120中的圖像。讀取的圖像然後在圖像創建處理器110中經歷圖像處理或者顯示在圖像顯示單元140上。輸入單元130包括各種輸入設備用於允許用戶在圖像處理裝置100上執行輸入操作，並且例如包括鍵盤、滑鼠、圖形書寫板和觸摸面板。通過操作輸入單元130，用戶能夠創建包括多個層的圖像或當將圖像轉換為3D圖像時調整圖像的層深度。圖像顯示單元140配置來顯示圖像(例如，由圖像創建處理器110創建的包括多個層的圖像和從包括多個層的圖像產生的3D圖像)。圖像顯示單元140顯示用於允許用戶創建這些圖像的屏幕。在該實施例中，圖像顯示單元140可以是實現3D圖像的顯示的顯示設備。不特別限定用於3D圖像的顯示技術。作為顯示技術的示例，顯示右眼圖像和左眼圖像，使得它們以高速交替切換。作為用於3D圖像到圖像顯示單元140的傳輸技術，可以使用幀連續、並排、上下格式。在本發明的實施例中，在圖像創建處理器110創建的圖像可以輸出到電視接收機或另一顯示設備，該顯示設備連接到圖像處理裝置100並且配置來顯示3D圖像。圖像處理裝置100的功能配置已經在上面參考圖1來描述。現在將給出根據本發明的實施例的通過使用圖像處理裝置100的3D圖像產生的概述的描述。1-2.產生3D圖像的概述圖2圖示根據本發明的實施例的通過圖像處理裝置100執行的3D圖像的產生的概述。如圖2所示，圖像處理裝置100允許用戶創建包括三層(即，背景、中景和前景) 的圖像。包括三層的圖像通過使用3D圖像轉換器114轉換為3D圖像，使得用戶能夠三維地感知圖像。因此可以產生3D圖像而無需用戶執行複雜的圖像處理。上面已經描述根據本發明的實施例的3D圖像的產生的概述。現在將給出根據本發明的實施例的通過圖像處理裝置100執行的3D圖像的產生的示例的描述。1-3.產生3D圖像的示例圖3圖示根據本發明的實施例的通過圖像處理裝置100執行的3D圖像的產生的示例。圖3所示的Pl到P6表示通過使用圖像創建處理器110要在圖像顯示單元140上顯示的圖像的示例。由Pl表示的圖像是菜單屏幕的示例。在Pl表示的圖像通過圖像創建處理器110 在圖像顯示單元140上顯示的同時，用戶通過使用輸入單元130選擇「繪圖」按鈕。然後， 圖像創建處理器110在圖像顯示單元140上顯示通過P2表示的圖像。通過P2表示的圖像是用於允許用戶創建圖像的圖像創建屏幕的示例。通過P2表示的圖像創建屏幕是用於允許用戶創建背景圖像的屏幕。用戶能夠通過操作輸入單元130 在圖像創建屏幕上繪製背景圖像。在P2表示的圖像通過圖像創建處理器110在圖像顯示單元140上顯示的同時，用戶選擇「下一個」按鈕。然後，圖像創建處理器110在圖像顯示單元140上顯示通過P3表示的圖像。通過P3表示的圖像是用於允許用戶創建圖像的圖像創建屏幕的示例。通過P3表示的圖像創建屏幕是用於允許用戶通過操作輸入單元130創建中景圖像的屏幕。在其中用於允許用戶創建中景圖像的屏幕在圖像顯示單元140上顯示的狀態中，通過用戶在通過P2 表示的圖像顯示屏幕上創建的背景圖像也在圖像顯示單元140上顯示。在P3表示的圖像通過圖像創建處理器110在圖像顯示單元140上顯示的同時，用戶通過使用輸入單元130選擇「下一個」按鈕。然後，圖像創建處理器110在圖像顯示單元 140上顯示通過P4表示的圖像。通過P4表示的圖像是用於允許用戶創建圖像的圖像創建屏幕的示例。通過P4表示的圖像是用於允許用戶通過操作輸入單元130創建前景圖像的屏幕。在其中用於允許用戶創建前景圖像的屏幕在圖像顯示單元140上顯示的狀態中，通過用戶在通過P2和P3表示的圖像顯示屏幕上創建的背景圖像和中景圖像也分別在圖像顯示單元140上顯示。在P4表示的圖像通過圖像創建處理器110在圖像顯示單元140上顯示的同時， 用戶通過使用輸入單元130選擇「完成」按鈕。然後，圖像創建處理器110在圖像顯示單元 140上顯示通過P5表示的圖像。當創建上述的背景、中景、前景圖像時，可以提供模板以允許用戶從模板中選擇材料。如果圖像處理裝置100提供了成像設備(網絡照相機)，則其可以使用由該成像設備捕捉的圖像作為背景、中景和前景圖像。通過P5表示的圖像是顯示用戶創建的圖像的屏幕的示例。圖像創建單元112在圖像顯示單元140上呈現通過P5表示的屏幕，使得用戶能夠檢查創建的圖像。在P5表示的圖像通過圖像創建處理器110在圖像顯示單元140上顯示的同時，用戶通過使用輸入單元130選擇「3D視圖」按鈕。然後，圖像創建處理器110在圖像顯示單元 140上顯示通過P6表示的圖像。通過P6表示的圖像是用於顯示用戶創建的圖像的屏幕的示例。通過P6表示的圖像是用於顯示從用戶創建的包括多個層的圖像轉換的3D圖像的預覽的屏幕。在這種情況下，呈現3D圖像，使得作為背景圖像創建的山脈的圖像在後面看見，作為中景圖像創建的樹的圖像在中間部分看見，以及作為前景圖像創建的蜜蜂和狗的圖像在前面看見。以此方式，圖像創建單元112在圖像顯示單元140上呈現通過P6表示的屏幕，從而使得用戶能夠檢查從用戶創建的圖像中產生的3D圖像。用於調整3D圖像的外觀的滾動條顯示在通過P6表示的屏幕上。當用戶使用輸入單元130操作該滾動條時，3D圖像轉換器114調整3D圖像的外觀並且將用戶創建的圖像轉換為3D圖像。當用戶使用輸入單元130操作該滾動條時，3D圖像轉換器114無任何延遲地調整3D圖像的外觀。因此，當用戶使用輸入單元130操作該滾動條時，在圖像顯示單元 140上預覽顯示的3D圖像的外觀被實時改變。如上所述通過用戶創建的圖像能夠存儲在圖像存儲單元120中。在這種情況下， 可以按各種數據格式存儲圖像。例如，每個層可以被存儲為獨立的圖像，使得其能夠被重新編輯。可替代地，圖像可以按一種數據格式(如，JPEG)存儲，使得全部層被存儲為一個圖像。可替代地，圖像可以按多畫面對象文件(MPO)格式存儲。上面已經探討了根據本發明的實施例的通過圖像處理裝置100執行的3D圖像的產生的示例。現在將給出當通過使用圖像處理裝置100產生3D圖像時在圖像顯示單元140 上顯示的菜單屏幕的示例的描述。圖4A到4C圖示根據本發明的實施例的當使用圖像處理裝置100產生3D圖像時要在圖像顯示單元140上顯示的菜單屏幕的示例。圖4A圖示當使用圖像處理裝置100產生3D圖像時要在圖像顯示單元140上顯示的菜單屏幕的示例。在圖4A中，顯示菜單，其包括菜單項「繪製新圖」、「產生新簿」、「從前一圖繼續」和「觀看」。如果用戶選擇「產生新簿」，則顯示「選擇主題」菜單，並且顯示菜單項 「圖片簿」、「圖片日記」和「觀看」。如果用戶選擇「圖片簿」或「圖片日記」，則在圖像顯示單元140上顯示用於創建圖像的繪製屏幕。圖4B圖示根據本發明的實施例的當使用圖像處理裝置100產生3D圖像時要在圖像顯示單元140上顯示的菜單屏幕的其他示例。在圖4B，顯示菜單，其包括菜單項「繪製新圖」、「從前一圖繼續」和「觀看」。如果用戶選擇「繪製新圖」，則在圖像顯示單元140上顯示用於創建圖像的繪製屏幕。當完成繪製圖像的一頁時，用於創建另一圖像的菜單屏幕顯示在圖像顯示單元140上。在菜單屏幕上，顯示菜單項「結束」和「繪製下一頁」。如果用戶選擇「繪製下一頁」，則再次顯示用於創建圖像的繪製屏幕。如果用戶選擇「完成」，則圖像處理裝置100完成創建圖像。圖4C圖示根據本發明的實施例的當使用圖像處理裝置100產生3D圖像時要在圖像顯示單元140上顯示的菜單屏幕的其他示例。在圖4C中，顯示菜單，其包括菜單項「繪製新圖」、「從前一圖繼續」和「觀看」。如果用戶選擇「繪製新圖」，則在圖像顯示單元140上顯示「繪製新圖」屏幕，並且在菜單屏幕上，顯示菜單項「繪製圖」和「產生簿」。如果用戶選擇 「繪製圖」，則在圖像顯示單元140上顯示用於創建圖像的繪製屏幕。已經通過在圖像顯示單元140上顯示的菜單屏幕的示例圖示探討了根據本發明的實施例的通過圖像處理裝置100執行3D圖像的產生。現在將給出用於允許用戶調整3D 圖像的外觀的用戶界面的示例的描述。
圖5A和5B圖示用於調整3D圖像的外觀的滾動條的示例。在圖5A中示出的滾動條是其中一個滾動條能夠用來調整全部單個層的示例。相反，在圖5B中示出的滾動條是其中一個滾動條調整對應層的示例。在圖5A和5B中，為了表示之故，3D圖像的預覽顯示沒有顯示，然而希望3D圖像的預覽與諸如圖5A或5B所示的用戶界面一起顯示。在圖5A或5B所示的滾動條上，指示顯示屏幕的位置的標記也被顯示。當用戶操作滾動條時，3D圖像轉換器114依據在滾動條上執行的操作改變對應層的虛擬深度，由此執行坐標變換處理。這樣的滾動條顯示在圖像顯示單元140上，使得用戶調整3D圖像的每個層的外觀，從而3D圖像轉換器114能夠無任何延遲地調整3D圖像的外觀，以便將用戶繪製的圖像轉換為3D圖像。滾動條的操作可以被限制從而防止前景層超出背景層。可替代地，前景層可以無任何限制地超出背景層。以上已經探討用於允許用戶調整3D圖像的外觀的用戶界面的示例。現在將給出根據本發明的實施例的通過3D圖像轉換器114執行的3D圖像轉換處理的詳細描述。圖6概念性圖示從包括多個層的常規2D圖像到3D圖像的轉換。圖6圖示從2D 圖像到利用右眼觀看的右眼圖像和利用左眼觀看的左眼圖像的轉換。為了將2D圖像轉換到右眼圖像和左眼圖像，3D圖像轉換器114計算右眼圖像和左眼圖像的渲染位置。下面將描述用於右眼圖像和左眼圖像的渲染位置的具體計算方法的示例。圖7A到7C圖示從常規2D圖像到3D圖像的轉換的示例。圖7A圖示從諸如圖7B 所示的包括三個層的2D圖像產生右眼圖像和左眼圖像的坐標變換。執行在圖7A中所示的坐標變換，使得看到三個層比顯示表面更靠後，如圖7C所示。圖7A示意性圖示從頂部起觀看的各個層和顯示表面。假設在右眼圖像和左眼圖像之間的眼間距離E和虛擬觀看距離L，如圖7A所示，3D 圖像轉換器114通過分別使用在顯示表面和層3、層2和層1之間的層深度D1、D2和D3來執行用於右眼圖像的投影坐標變換和用於左眼圖像的投影坐標變換。以此方式，3D圖像轉換器114執行到顯示表面上的投影坐標變換。因此，該實施例的圖像處理裝置100能夠將包括多層的常規2D圖像轉換為3D圖像。圖8A和8B圖示從包括多個層的常規2D圖像到3D圖像的轉換的示例。圖8A圖示從諸如圖8A所示的包括三個層的2D圖像到右眼圖像和左眼圖像的坐標變換。在圖8A 中所示，執行坐標變換，使得特定層彈出比顯示表面更靠前，如圖8B所示。圖8A示意性圖示從頂部起觀看的各個層和顯示表面。以此方式，3D圖像轉換器114執行坐標變換。因此，該實施例的圖像處理裝置100 能夠將包括多層的常規2D圖像轉換為3D圖像，即使當特定層彈出比顯示表面更靠前時。以上已經探討由3D圖像轉換器114執行的3D轉換處理。現在給出在常規2D圖像轉換為3D圖像時發生的問題對這樣的問題的解決方案的描述。現在假設當創建圖像時使用的解析度(畫布解析度)和圖像的輸出解析度設置為相同的解析度。在這種情況下，如果定位比顯示表面更後的層投影到輸出圖像(顯示表面) 上，則在輸出圖像的邊緣部分產生空白。圖9示意性圖示在這樣狀態中從頂部起觀看的各層和顯示表面。作為對產生的空白的解決方案，當轉換2D圖像到3D圖像時，該空白可以用背景色填充。背景色可以由用戶選擇。可替代地，可以自動選擇在該層使用最多的顏色，或可以選擇在層周邊使用的顏色。作為另一示例，當創建圖像時使用的畫布解析度可以設置為大於作為最後輸出的 3D圖像的解析度。圖10示意性圖示當畫布的解析度設置為大於3D圖像的解析度時從頂部起觀看的各層和顯示表面。在圖10中，畫布差AC是畫布解析度比作為最後輸出的3D圖像的解析度大的差別數量。能夠通過使用虛擬觀看距離L、從顯示表面起的最大深度DMax、虛擬顯示寬度W和要輸出的3D圖像的解析度RO來計算畫布差Δ C。可以將畫布解析度設置為和輸出解析度相同，以及在用於轉換2D圖像到3D圖像的過程中，畫布解析度可以增加等於畫布差AC的量，然後可以將2D圖像轉換到3D圖像。相反，如果畫布解析度設置為和圖像的輸出解析度相同，則當位於比顯示表面更靠前的層投影到輸出圖像(顯示表面)上時，在該層的邊緣部分產生缺失部分。圖11示意性圖示在這種狀態中從頂部起觀看的層和顯示表面。能夠使用虛擬顯示寬度W、虛擬觀看距離L、最小深度DMin等計算缺失部分寬度N。如果在每個層的邊緣部分產生缺失部分，則當創建圖像時(當顯示圖像創建屏幕時)，可以顯示圖像以便讓用戶識別缺失部分。圖12圖示其中缺失部分Δ顯示在圖像創建屏幕上的狀態。這使得用戶能夠識別當轉換2D圖像到3D圖像時要在作為結果的3D圖像中產生的缺失部分。上面已經探討在常規2D圖像轉換為3D圖像時發生的問題和此類問題的解決方案。如上所述，根據本發明的實施例的圖像處理裝置100使得用戶能夠容易地產生3D 圖像。根據本發明的實施例的圖像處理裝置100也可以使得用戶能夠產生包括多個3D圖像的圖片簿。圖13圖示用於產生包括多個3D圖像的圖片簿的屏幕的示例。如圖13所示， 當產生包括多個3D圖像的圖片簿時，在屏幕的頂部示出用於將創建圖像作為縮略圖顯示的頁瀏覽器，以便允許用戶檢查形成圖片簿的圖像。如上所述通過用戶產生的圖片簿能夠存儲在圖像存儲單元120中。在這種情況下，圖片簿可以以各種數據格式存儲在圖像存儲單元120中。例如，每頁或每層可以被存儲為獨立的圖像，使得其能夠被重新編輯。可替代地，圖片簿可以以一種數據格式(如，JPEG) 存儲，使得每頁的全部層存儲為一個圖像。圖片簿可以以多畫面對象文件(MPO)格式存儲。 可替代地，可以從多個3D圖像中形成電影文件並且可以存儲為3D電影。現在將參考圖14，給出根據本發明的實施例的通過使用圖像處理裝置100移動在由用戶繪製的圖像中包含的對象的技術的描述。圖14圖示這樣的狀態，其中通過使得對象的邊界透明來移動用戶選擇(例如，通過用滑鼠點擊對象或用手指觸摸對象)的對象。更具體地，在圖14中，選擇和移動蜜蜂的圖像。在移動對象的圖像之後，對象呈現的部分變得透明，並且更新移動對象。因此，在圖 14所示的示例中，蜜蜂的圖像呈現的部分變得透明，並且狗的圖像被蜜蜂的圖像蓋寫。圖15圖示根據本發明的實施例的通過使用圖像處理裝置100移動在用戶繪製的圖像中包含的對象的技術。在圖15示出的示例中，用戶選擇(例如，通過用滑鼠點擊移動範圍或用手指觸摸它)移動範圍，以便移動移動範圍的整體。更具體地，選擇和移動包括蜜蜂的圖像的矩形區域。在移動對象之後，對象呈現的部分變得透明，並且更新移動對象。因此，在圖15所示的示例中，蜜蜂的圖像呈現的矩形區域變得透明，並且包括狗的圖像的矩形區域被包括蜜蜂的圖像的矩形區域蓋寫。在圖像處理裝置100中，用戶能夠移動在用戶繪製的圖像中包含的對象。用於移動對象的技術不局限於以上所述。在圖15中，選擇範圍是矩形形狀。然而，可以根據期望選擇選擇的範圍的形狀，例如，可以是圓形形狀。以上已經探討了通過使用圖像處理裝置100移動在用戶繪製的圖像中包含的對象的技術。現在將給出當轉換2D圖像到3D圖像時用於調整各層的深度的用戶界面的示例的描述。1-4.調整深度的界面的示例圖16圖示用於調整各層的深度的用戶界面的示例，所述層通過圖像處理裝置100 顯示在圖像顯示單元140上。在圖16中，在圖像顯示單元140上示出輪子的圖像，以便調整各層的深度。用戶利用滑鼠或在提供觸摸板時利用手指觸摸輪子來操作與圖像顯示單元140 上顯示的各個層對應的輪子，由此改變各個層的深度。通過該操作，用戶可以享受操作該系統並且可以容易地執行各層的深度的精細調整。另外，通過該操作，各層的深度不會迅速地改變，因此，在3D圖像的外觀上的改變不劇烈，由此防止用戶被迷惑。圖17圖示用於調整各層的深度的用戶界面的示例，所述層通過圖像處理裝置100 顯示在圖像顯示單元140上。在圖17中，用戶通過使用手勢調整各層的深度。例如，如果圖像處理裝置100提供有小型成像設備131，則用戶可以在面對成像設備131時使用適當數目的手指來指定層並且在成像設備131前面來回移動他們的手指，由此調整對應層的深度。用戶指定的手指的數目和手指的位置改變可以通過3D圖像轉換器114檢測。因此，3D圖像轉換器114能夠調整對應層的深度。通過此操作，用戶可以享受操作該系統。也防止用戶眼睛疲勞，因為用戶在遠離屏幕的同時執行操作。同樣，當顯示3D圖像的預覽時， 沒有必要在屏幕上顯示用於調整層的深度的用戶界面，由此使得可以在整個屏幕上顯示3D 圖像。用於指定層或層的深度的手勢不局限於上述的這些。圖18圖示用於調整各層的深度的用戶界面的示例，所述層通過圖像處理裝置100 顯示在圖像顯示單元140上。在圖18中，為了容易理解在多個層中的位置關係，各層按傾斜向上的方向顯示，以便調整各層的深度。在圖18中，刻度150也被顯示以使得用戶容易地理解每層的位置。出於表示之故，在圖18中，沒有示出3D圖像的預覽。然而，理想地是 3D圖像的預覽與諸如圖18所示的用戶界面一起顯示。以此方式，為了使用戶容易理解在各層之間的位置關係，各層按傾斜向上的方向顯示以便允許用戶操作圖18所示的用戶界面。因此用戶可以在顯示3D圖像的預覽時容易地調整3D圖像的外觀。在圖18所示的用戶界面中，用戶可以通過直接操作圖18所示的各個層來調整層的深度。可替代地，用戶界面可以與上述的滾動條、輪子和手勢組合，並且調整的結果可以提供給用戶作為對那些用戶界面執行操作的反饋。
圖19圖示用於調整各層的深度的用戶界面的示例，所述層通過圖像處理裝置100 顯示在圖像顯示單元140上。在圖19中，為了使用戶容易理解在各層之間的位置關係，從頂部起顯示各層以便允許用戶調整各層的深度。在圖19中，為了使用戶容易理解各層的位置，也示出刻度150。出於表示之故，在圖19中，沒有示出3D圖像的預覽。然而，理想地是 3D圖像的預覽與諸如圖19所示的用戶界面一起顯示。以此方式，為了使用戶容易理解在各層之間的位置關係，從頂部起顯示各層以便允許用戶操作圖19所示的用戶界面。因此用戶可以在顯示3D圖像的預覽時容易地調整3D 圖像的外觀。在圖19所示的用戶界面中，用戶可以通過直接操作圖19所示的各個層來調整層的深度。可替代地，用戶界面可以與上述的滾動條、輪子和手勢組合，並且調整的結果可以提供給用戶作為對那些用戶界面執行操作的反饋。圖20圖示用於調整層的深度的用戶界面的示例，所述層通過圖像處理裝置100顯示在圖像顯示單元140上。在圖20中，為了使用戶容易理解在各層之間的位置關係，滾動條和縮略圖一起顯示以便調整各層的深度。出於表示之故，在圖20中，沒有示出3D圖像的預覽。然而，理想地是3D圖像的預覽與諸如圖20所示的用戶界面一起顯示。以此方式，為了使用戶容易理解在各層之間的位置關係，滾動條和縮略圖一起顯示以便允許用戶操作圖20所示的用戶界面。因此用戶可以在顯示3D圖像的預覽時容易地調整3D圖像的外觀。在圖20所示的用戶界面中，用戶可以通過直接操作圖20所示的各個層來調整層的深度。可替代地，用戶界面可以與上述的滾動條、輪子和手勢組合，並且調整的結果可以提供給用戶作為對那些用戶界面執行操作的反饋。在圖像處理裝置100中，在用戶預覽3D圖像或當用戶創建2D圖像時，可以執行各層的深度的調整。如果當創建2D圖像時執行層的深度的調整，則在圖16到20中所示的用於調整層的深度的用戶界面其中之一可以期望地顯示在用於創建2D圖像的屏幕上。1-5.在3D圖像中設置底色的示例現在將參考圖21給出根據本發明的實施例的在通過使用圖像處理裝置100創建的3D圖像中設置底色的示例的描述。在圖21中，水平線設置在背景圖像中，並且在水平線下方的部分表示為底色 (ground) 0在水平線下面的底色部分被轉換為3D圖像作為在朝向具有深度0的表面(即， 顯示表面)的深度方向中投影的層。也即，在背景圖像中設置的在水平線以下的部分被轉換為3D圖像，作為在比其中設置水平線的層更靠前的深度方向延伸的底色層。結果，在根據本發明的實施例的圖像處理裝置100中，如果水平線在背景圖像中設置，則能夠創建諸如圖21所示的3D圖像。水平線可以在對於背景圖像的模板中預設置或可以當用戶繪製各層時根據期望設置。圖22圖示從水平線和底色部分到3D圖像的轉換的示例。為了表示這種轉換，圖 22圖示從頂部和從側面觀看的在各層之間的位置關係。在側視圖中，左側是屏幕的頂部，而右側是屏幕的底部。下文中，其中設置水平線的層稱為遠端層，而包括底色的最前面部分的層稱為近端層。底色層被定義為具有如四個頂點的層，在遠端層的水平線的兩個角和近端層的底部的兩個角。近端層是顯示層或比遠端層位置更靠前的渲染層。近端層可以由用戶選擇，或可以被固定為例如顯示表面。在多數情況中，如圖21和22所示，水平線設置在最後的層， 其中背景被渲染，並且顯示表面用作近端層。如圖22所示，為了將水平線和背景(層1)的2D圖像的底色部分轉換為3D圖像， 3D圖像轉換器114首先將水平線和底色部分的圖像的像素投影到連接背景的水平線和顯示表面的最底部部分的行，然後，在投影點上執行對於右眼圖像的投影坐標變換和對於左眼圖像的投影坐標變換。按照和上述的投影坐標變換類似的方式執行對於右眼圖像的投影坐標變換和對於左眼圖像的投影坐標變換。3D圖像轉換器114如上所述執行坐標變換，因此，底色部分也能夠在3D圖像中三維地顯示，由此允許用戶更容易地創建3D圖像。如果其中設置水平線的層的深度被調整， 則底色層的定義依據層的深度的調整來實時地重新計算。2.硬體配置下面將參考框圖23描述根據本發明的實施例的圖像處理裝置100的硬體配置的示例。圖像處理裝置100包括作為主要部件的中央處理單元(CPU)901、只讀存儲器 (ROM) 903、隨機存取存儲器(RAM) 905、主機總線907、橋909、外部總線911、接口 913、輸入設備915、輸出設備917、成像設備918、存儲設備919、驅動器921、連接埠 923以及通信設備 925。CPU 901用作處理器和控制器，並且依據存儲在ROM 903、RAM 905、存儲設備919 或可移除記錄介質927中的各種程序控制在圖像處理裝置100中的整個或部分的操作。在 ROM 903中，存儲用戶CPU 901使用的程序、控制參數等。在作為主要存儲設備的RAM 905 中，存儲當CPU 901運行時使用的程序和當CPU 901運行時適當改變的參數。CPU 90UROM 903和RAM905經由由諸如CPU總線的內部總線形成的主機總線907彼此連接。主機總線907經由橋909連接到外部總線911，諸如外圍組件互連/接口(PCI)總線。輸入設備915是這樣的操作單元，其包括用戶操作的滑鼠、鍵盤、觸摸板、按鈕、開關、控制杆等。輸入設備915可以是對應於圖像處理裝置100的操作的使用紅外線或其他類型的無線電波的遙控器或外部連接設備929，諸如蜂窩電話機或個人數字助理(PDA)。輸入設備915可以包括基於用戶使用上述操作單元輸入的信息產生輸入信號並且輸出該輸入信號到CPU 901的輸入控制電路。圖像處理裝置100的用戶操作輸入設備915以便輸入向圖像處理裝置100輸入各項數據或指令圖像處理裝置100執行處理操作。輸出設備917包括顯示單元，諸如陰極射線管(CRT)顯示器、液晶顯示器、等離子體顯示器、電致發光(EL)顯示器和燈；聲音輸出單元，諸如揚聲器和耳機；和能夠視覺地或聽覺地通知用戶獲得的信息的設備，諸如印表機、蜂窩電話機和傳真機。輸出設備917可以輸出通過使用圖像處理裝置100執行各種類型的處理獲得的結果。更具體地，顯示單元按文字或圖像顯示通過使用圖像處理裝置100執行各種類型的處理獲得的結果。聲音輸出單元將諸如再現的聲音數據或聽覺數據的音頻信號轉換為模擬信號並將其輸出。成像設備918在例如顯示設備的上面部分中提供，從而捕捉由圖像處理裝置100 的用戶拍攝的靜止圖像或運動圖像。成像設備918，包括電荷耦合器件(CXD)圖像傳感器或互補金屬氧化物半導體(CM0Q圖像傳感器，將利用鏡頭濃縮的光轉換為電信號從而捕捉靜止圖像或運動圖像。存儲設備919是作為圖像處理裝置100的存儲單元的部分形成的數據存儲設備， 並且包括磁存儲設備，諸如硬碟驅動器(HDD)、半導體存儲設備、光存儲設備或磁光存儲設備。存儲設備919存儲由CPU 901執行的程序和各種數據以及從外部源獲得的聽覺信號數據和圖像信號數據。驅動器921是記錄介質讀卡器/寫卡器，並且包含在圖像處理裝置100中或作為外部設備附著到圖像處理裝置100。驅動器921讀取在驅動器921中設置的可移除記錄介質927中記錄的信息，可移除記錄介質927諸如是磁碟、光碟、磁光碟或半導體存儲器，並且輸出讀取的信息到RAM 905。驅動器921也向在驅動器921中設置的可移除記錄介質927 中寫入信息，可移除記錄介質927諸如是磁碟、光碟、磁光碟或半導體存儲器。可移除記錄介質927可以是數字多用途盤(DVD)、藍光介質、壓縮快閃記憶體(CompactFlash CF)(註冊的)、 存儲棒或安全數字(SD)存儲卡。可移除記錄介質927可以是具有其上安裝的非接觸集成電路(IC)晶片的集成電路(IC)卡或電子設備。連接埠 923是用於直接連接設備到圖像處理裝置100的埠。連接埠 923可以是通用串行總線(USB)埠、IEEE 1394埠，如，i. Link埠，小計算機系統接口 (SCSI) 埠、推薦標準(R -232C埠、音頻光學端子或高清晰度多媒體接口(HDMI)埠。外部連接設備9 連接到連接埠 923從而圖像處理裝置100直接從外部連接設備9 獲得聲學信號數據和圖像信號數據或者向外部連接設備9 提供聲學信號數據和圖像信號數據。通信設備925是圖像處理裝置100通過它與通信網絡931通信的通信接口。通信設備925包括用於有線或無線區域網(LAN)的通信卡、藍牙、或無線USB (WUSB)、光通信路由器、非對稱數字用戶線(ADSL)路由器，或各種通信調製器。通信設備925被配置來依據諸如傳輸控制協議/網際網路協議(TCP/IP)的預定的協議往返於網際網路和其他通信設備發送和接收信號。要連接到通信設備925的通信網絡931是有線或無線網絡，諸如網際網路，家庭 LAN、紅外線通信、無線通信或衛星通信。已經探討根據本發明的實施例的能夠實現圖像處理裝置100的功能的硬體配置的示例。上述組件可以通過通用組件或專用於上述組件的功能的硬體形成。因此，當實現本發明的實施例時可以根據技術水平適當地改變該硬體配置。3.總結如上所述，通過使用根據本發明的實施例的圖像處理裝置100，由用戶創建的包括多個層的2D圖像能夠被轉換為3D圖像。當從2D圖像轉換為3D圖像時，圖像處理裝置100 通過使用關於各層的深度的信息執行坐標變換從而創建右眼圖像和左眼圖像。利用圖像處理裝置100的該操作，用戶能夠容易地創建3D圖像而無需複雜的計算或處理。另外，通過使用根據本發明的實施例的圖像處理裝置100，用戶能夠在預覽3D圖像時調整各層的深度。然後，基於各層的深度的調整，圖像處理裝置100實時地執行3D轉換。利用該操作，圖像處理裝置100能夠實時調整3D圖像的外觀。上述圖像處理可以通過在圖像處理裝置100中存儲的電腦程式來執行。在這種情況下，在圖像處理裝置100中提供的CPU或另一控制器可以讀取電腦程式並且順序地執行該程序操作，以便使得該電腦程式執行該圖像處理。
雖然已經參考附圖探討本發明的優選實施例，本發明不局限於前述的實施例。顯然具有本發明的技術領域的共同知識的技術人員將獲得依據設計要求和其他因素的各種修改、組合、子組合以及改變，只要它們處於所附權利要求及其等價物的範圍中。將理解那些修改、組合、子組合以及改變被包括在本發明的範圍中。例如，在上述實施例中，圖像創建單元112包括在圖像處理裝置100的圖像創建處理器Iio中，並且圖像處理裝置100為用戶創建2D圖像並且將2D圖像轉換為3D圖像。然而，本發明不局限於該配置。例如，包括多個層的圖像可以在另一設備中創建，或可以通過例如經由網際網路下載創建的圖像來獲得。然後，圖像處理裝置100可以將獲得的圖像轉換為3D圖像。在這種情況下，可以在圖像處理裝置100中預置在2D圖像的各層之間的虛擬距離，並且圖像處理裝置100可以基於該虛擬距離將2D圖像轉換為3D圖像。本申請包含與於2010年9月四日在日本專利局提交的日本優先權專利申請JP 2010-219867中公開的內容相關的主題，由此其整個內容通過引用併入。
權利要求
1.一種圖像處理裝置，包括三維圖像轉換器，配置來執行轉換處理，用於基於在二維圖像的多個平面之間的虛擬距離，將包括利用虛擬距離創建的多個平面的二維圖像轉換為三維圖像；以及三維圖像產生器，配置來基於通過三維圖像轉換器執行的轉換處理從二維圖像產生三維圖像，並且配置來顯示產生的三維圖像，其中，當在通過使用三維圖像產生器顯示三維圖像的同時，在二維圖像的對應平面之間的虛擬距離改變時，三維圖像轉換器依據在虛擬距離中的改變執行轉換處理。
2.根據權利要求1所述的圖像處理裝置，其中三維圖像轉換器基於在二維圖像的多個平面的至少一個中設置的水平線，執行用於將二維圖像的底色部分轉換為三維圖像的轉換處理。
3.根據權利要求1所述的圖像處理裝置，其中三維圖像轉換器執行轉換處理，使得當將二維圖像轉換為三維圖像時在三維圖像的邊緣部分不產生空白。
4.根據權利要求1所述的圖像處理裝置，其中三維圖像轉換器執行轉換處理，使得當將二維圖像轉換為三維圖像時在三維圖像上二維圖像的邊緣部分不缺失。
5.根據權利要求1所述的圖像處理裝置，其中通過使用滾動條通過三維圖像轉換器改變在二維圖像的對應平面之間的虛擬距離，該滾動條與二維圖像關聯顯示在屏幕上。
6.根據權利要求1所述的圖像處理裝置，其中通過使用輪子通過三維圖像轉換器改變在二維圖像的對應平面之間的虛擬距離，該輪子與二維圖像的對應平面關聯顯示在屏幕上。
7.根據權利要求1所述的圖像處理裝置，還包括 成像設備，配置來捕捉圖像，其中三維圖像轉換器檢測由用戶朝成像設備執行的手勢，該手勢由成像設備捕捉，以便依據該手勢改變在二維圖像的對應平面之間的虛擬距離。
8.根據權利要求7所述的圖像處理裝置，其中，通過使用手勢，用戶利用適當數目的手指指定二維圖像的平面，並且利用手指的來回移動改變在二維圖像的對應平面之間的虛擬距離。
9.一種圖像處理方法，包括執行用於基於在二維圖像的多個平面之間的虛擬距離將包括利用虛擬距離創建的多個平面的二維圖像轉換為三維圖像的轉換處理；以及基於該轉換處理從二維圖像產生三維圖像從而顯示產生的三維圖像， 其中，當在顯示三維圖像的同時，在二維圖像的對應平面之間的虛擬距離改變時，依據在虛擬距離中的改變執行轉換處理。
10.一種電腦程式，允許計算機運行來執行用於基於在二維圖像的多個平面之間的虛擬距離將包括利用虛擬距離創建的多個平面的二維圖像轉換為三維圖像的轉換處理；以及基於該轉換處理從二維圖像產生三維圖像從而顯示產生的三維圖像， 其中，當在顯示三維圖像的同時，在二維圖像的平面之間的虛擬距離改變時，依據在虛擬距離中的改變執行轉換處理。
全文摘要
一種圖像處理裝置包括3D圖像轉換器和3D圖像產生器。3D圖像轉換器執行用於基於在2D圖像的多個平面中的虛擬距離將包括利用虛擬距離創建的多個平面的2D圖像轉換為3D圖像的轉換處理。3D圖像產生器基於通過3D圖像轉換器執行的轉換處理從二維圖像產生3D圖像並且顯示產生的3D圖像。當在通過使用3D圖像產生器顯示3D圖像的同時，在2D圖像的對應平面之間的虛擬距離改變時，3D圖像轉換器依據在虛擬距離中的改變執行轉換處理。
文檔編號H04N13/00GK102438164SQ20111029332
公開日2012年5月2日 申請日期2011年9月29日 優先權日2010年9月29日
發明者小田康正, 樋口英惠, 黑崎大輔 申請人:索尼公司