圖像處理裝置製造方法
2023-05-03 05:00:51
圖像處理裝置製造方法
【專利摘要】模式設定部（112）具有選擇性地設定2D顯示輸出模式和3D顯示輸出模式的功能。再現控制部（132）按照由模式設定部（112）設定的顯示輸出模式，使顯示圖像的切換控制不同。在再現控制部（132）使第一顯示圖像和第二顯示圖像的不透明度根據時間的經過而變化，從而交叉衰減兩個顯示圖像的情況下，進行控制，以使在交叉衰減處理期間，3D顯示輸出模式中的第一顯示圖像的不透明度與第二顯示圖像的不透明度之和成為2D顯示輸出模式中的第一顯示圖像的不透明度與第二顯示圖像的不透明度之和以下。
【專利說明】圖像處理裝置【技術領域】
[0001 ] 本發明涉及圖像處理技術。
【背景技術】
[0002]以3D (3維)電視為代表的3D顯示器正普及。3D顯示器通過使用戶看見左眼用和右眼用的圖像，從而提供有立體感的影像。在3維顯示器的種類中有多個方式，但一般正流通用戶佩戴左右看見的視角不同的眼鏡的類型的方式。通過近年的圖像處理技術，對2D(2維)圖像添加運算處理，從而能夠作出左眼用圖像和右眼用圖像。
[0003]伴隨數位照相機的功能以及性能的提高，規定了將具有相互關聯的多個圖像數據匯總並記錄的格式。由照相機影像設備工業會(Camera&Imaging Products Association)制定的標準(standard)定義了用於記錄多個圖像數據的數據結構，規定了使用了該數據結構的被稱為「多圖片格式(Mult1-Picture Format)」的格式。在多圖片格式中，作為圖像的類別定義「多視圖」，多視圖作為細分，具有「立體視覺」的類別。該圖像類別在數位照相機的拍攝時，用戶設定拍攝模式從而被決定，被拍攝的兩個圖像數據通過數位照相機的內部電路，作為包含了圖像類別代碼的一個圖像文件而匯總。
[0004]現有技術文獻
[0005]非專利文獻
[0006]非專利文獻1:「Standard of the Camera&Imaging Products Association, CIPADC-007-Translation_2009，Mult1-Picture Format，，，Camera&Imaging ProductsAssociation>2009 年 2 月 4 日，?1 > 夕一才、'7 卜
【發明內容】
[0007]發明要解決的課題
[0008]3D圖像利用左右圖像的偏差(視差量)，產生立體感。本發明人作為知識和見識而得到在連續顯示多個3D圖像的情況下，若各個3D圖像的視差量不同，則有時會給用戶帶來不調和感。此外，本發明人作為知識和見識而得到在使3D圖像在畫面中移動的情況下也同樣，有時會給用戶帶來不調和感。因此，本發明人開發了用於提供在3D顯示器中，用戶能夠舒適地看見的圖像的技術。此外，認為用戶想要將通過數位照相機拍攝到的3D照片進行3D顯示的情況較多，但另一方面，還存在在3D顯示器中也想要進行2D顯示的用戶。這優選能夠基於用戶的喜好，對用戶提供適當的選項。
[0009]因此，本發明的目的在於，提供將圖像數據適當地再現的技術。
[0010]用於解決課題的手段
[0011]為了解決上述課題，本發明的一方式的圖像處理裝置，具備:模式設定部，選擇性地設定2D顯示輸出模式和3D顯示輸出模式；以及再現控制部，控制顯示圖像的切換，再現控制部按照由模式設定部設定的顯示輸出模式，使顯示圖像的切換控制不同。[0012]另外，以上的結構要素的任意的組合、以及將本發明的表現在方法、裝置、系統、記錄介質、電腦程式等之間變換得到的要素，也作為本發明的方式有效。
[0013]發明效果
[0014]通過本發明的信息處理技術，能夠提供將圖像數據適當地再現的技術。
【專利附圖】
【附圖說明】
[0015]圖1是表示本發明的實施例所涉及的圖像處理系統的使用環境的圖。
[0016]圖2是表示輸入裝置的外觀結構的圖。
[0017]圖3是圖像處理裝置的功能框圖。
[0018]圖4是主要表示控制部的功能塊的圖。
[0019]圖5是表示在顯示裝置中顯示的菜單畫面的一例的圖。
[0020]圖6是表示在顯示畫面上重疊顯示的通知圖像的圖。
[0021]圖7是表示確認畫面的圖。
[0022]圖8 Ca)以及(b)是交叉衰減製作的說明圖。
[0023]圖9 Ca)以及(b)是正常製作的說明圖。
[0024]圖10是表示柵格顯示了多個照片圖像的例的圖。
[0025]圖11是表示在圖像上顯示了菜單顯示區域的例的圖。
【具體實施方式】
[0026]圖1表示本發明的實施例所涉及的圖像處理系統I的使用環境。圖像處理系統I具備用戶操作的輸入裝置20、執行圖像處理軟體的圖像處理裝置10、以及輸出圖像處理裝置10的處理結果的顯示裝置12。顯示裝置12是3D顯示器，可以是具有輸出圖像的顯示器以及輸出聲音的揚聲器的電視，此外也可以是計算機顯示器。顯示裝置12可以通過有線電纜與圖像處理裝置10連接,此外也可以通過無線LAN (Local Area Network)進行無線連接。另外圖像處理裝置10、輸入裝置20以及顯示裝置12也可以作為被一體地形成的、搭載了圖像處理功能的便攜終端裝置而構成。
[0027]在圖像處理系統I中，圖像處理裝置10經由電纜14與個人計算機等的外部設備連接，能夠從外部設備取得圖像數據。此外圖像處理裝置10具有USB (Universal SerialBus，通用串行總線)端子，通過USB電纜與數位照相機連接，能夠從數位照相機取得圖像數據。此外圖像處理裝置10具有媒體驅動器，可以從ROM介質取得圖像數據，也可以經由網絡從外部伺服器等取得圖像數據。
[0028]圖像處理裝置10例如是遊戲裝置，通過加載圖像處理用的應用程式從而實現圖像處理功能。另外圖像處理裝置10可以是個人計算機，也可以通過加載圖像處理用的應用程式從而實現圖像處理功能。
[0029]本實施例的圖像處理裝置10具有使用通過多圖片格式作為立體視覺圖像拍攝到的圖像數據，在顯示裝置12中顯示3D圖像的功能。此外圖像處理裝置10也可以具有將2D圖像數據變換為3D圖像數據，顯示3D圖像的功能。
[0030]此外，圖像處理裝置10還具有執行3維計算機圖形(3DCG)的功能。圖像處理裝置10具有幾何引擎以及繪製引擎，幾何引擎在進行了光源和虛擬照相機的設定之後進行透視變換，繪製引擎基於被透視變換的數據，將對象描繪至幀緩衝器。幾何引擎將2臺虛擬照相機以各個視線方向相交的方式設定，繪製引擎繪製來自各個虛擬照相機的數據，從而能夠在顯示裝置12中顯示3D圖像。
[0031]圖2表示輸入裝置20的外觀結構。輸入裝置20在該箱體表面中，作為用戶能夠操作的操作部件，具備十字鍵21、模擬搖杆27a、27b、以及4種操作按鈕26。4種操作按鈕26由〇按鈕22、X按鈕23、□按鈕24以及Λ按鈕25構成。此外在輸入裝置20的箱體背面，在左側設置LI按鈕29a，在右側設置Rl按鈕2%。用戶以左手持握左握柄28a，以右手持握右握柄28b,操作各操作部件。
[0032]輸入裝置20具有將由用戶輸入的操作信號傳輸至圖像處理裝置10的功能，在本實施例中構成為在與圖像處理裝置10之間能夠進行無線通信。輸入裝置20和圖像處理裝置10也可以使用Bluetooth (藍牙)(註冊商標)協議或IEEE802.11協議等確立無線連接。另外，輸入裝置20也可以經由電纜與圖像處理裝置10連接，將由用戶輸入的操作信號傳輸至圖像處理裝置10。
[0033]圖3表示圖像處理裝置10的功能框圖。圖像處理裝置10具有無線接口 40、開關
42、顯示處理部44、硬碟驅動器50、記錄介質安裝部52、盤驅動器54、主存儲器60、緩衝器存儲器70以及控制部100而構成。顯示處理部44具有對在顯示裝置12的顯示器中顯示的數據進行緩衝的幀存儲器。
[0034]開關42是乙太網開關(乙太網是註冊商標)，並且是通過有線或者無線與外部的設備連接，進行數據的發送接收的設備。開關42與無線接口 40連接，無線接口 40通過規定的無線通信協議與輸入裝置20連接。在輸入裝置20中從用戶輸入的操作信號經由無線接口 40、開關42，提供給控制部100。
[0035]此外，開關42經由電纜14與外部設備連接，從外部設備取得多個圖像文件。圖像文件可以是通過多圖片格式(以下，稱為「MP格式」)規定的圖像文件(以下，也稱為「MP文件」)，此外也可以是通過JPEG或`GIF等通常的格式規定的圖像文件。
[0036]硬碟驅動器50作為存儲數據的輔助存儲裝置發揮作用。經由開關42接收到的圖像文件被存儲至硬碟驅動器50。在顯示處理時，存儲至硬碟驅動器50的圖像文件被解碼處理並存儲至緩衝器存儲器70。
[0037]若安裝了存儲卡等的可拆卸記錄介質,則記錄介質安裝部52從可拆卸記錄介質讀出數據。若安裝了讀出專用的ROM盤，則盤驅動器54將ROM盤驅動而識別，讀出數據。ROM盤也可以是光碟或光磁碟等。圖像文件被記錄至可拆卸記錄介質或者ROM盤,也可以從記錄介質安裝部52或者盤驅動器54被安裝至硬碟驅動器50，此外也可以在顯示處理的執行時被解碼處理並存儲至緩衝器存儲器70。
[0038]控制部100具備多核CPU，在一個CPU中具有一個通用的處理器核、以及多個簡單的處理器核。通用處理器核被稱為PPU (Power Processing Unit,電源處理單元),剩餘的處理器核被稱為SPU (Synergistic-Processing Unit,協同處理單元)。
[0039]控制部100具備與主存儲器60以及緩衝器存儲器70連接的存儲器控制器。PPU具有寄存器，作為運算執行主體而具備主處理器，將作為要執行的應用中的基本處理單位的任務有效地分配給各SPU。另外，PPU自身也可以執行任務。SPU具有寄存器，具備作為運算執行主體的子處理器和作為本地的存儲區域的本地存儲器。本地存儲器也可以作為緩衝器存儲器70而使用。主存儲器60以及緩衝器存儲器70作為RAM (隨機存取存儲器)而構成。SPU作為控制單元而具有專用的DMA (Direct Memory Access,直接存儲器訪問)控制器，能夠高速地進行主存儲器60和緩衝器存儲器70之間的數據轉發，此外能夠在顯示處理部44中的幀存儲器和緩衝器存儲器70間實現高速的數據轉發。本實施例的控制部100使多個SPU並行動作，從而實現高速的圖像處理功能。顯示處理部44與顯示裝置12連接，輸出控制部100的圖像處理結果。
[0040]圖4主要表示控制部100的功能塊。控制部100具備輸入接受部102、輸出模式處理部110以及再現處理部130。輸出模式處理部110具有管理顯示處理部44的顯示輸出模式的功能，具備模式設定部112、判定部114、通知圖像生成部116以及確認圖像生成部118。再現處理部130具有再現圖像數據的功能，具備再現控制部132、顯示圖像生成部134、顯示對象決定部136以及圖像數據讀出部138。這些功能的至少一部分通過在圖像處理裝置10中安裝的圖像再現應用(以下，稱為「圖像瀏覽器」)而實現。
[0041]在圖4中，作為進行各種各樣的處理的功能塊記載的各要素在硬體上能夠由CPU(Central Processing Unit,中央處理單元)、存儲器、以及其他LSI構成,在軟體上通過在存儲器中加載的程序等而實現。如上所述，在控制部100中設置一個PPU和多個SPU，PPU以及SPU能夠分別單獨或者協同而構成各功能塊。從而，本領域技術人員理解這些功能塊能夠僅通過硬體、僅通過軟體、或者通過這些組合以各種方式實現，不限定於任一個。
[0042]顯示器信息存儲部150構成在硬碟驅動器50的存儲區域中，存儲顯示裝置12的顯示器尺寸、解析度、輸出格式等顯示器信息。顯示器信息在將圖像處理裝置10連接至顯示裝置12時，由用戶註冊。另外，在圖像處理裝置10和顯示裝置12通過HDMI (HighDefinition Multimedia Interface,高清晰度多媒體接口)電纜連接的情況下,也可以是圖像處理裝置10的系統軟體向顯示裝置12詢問，從而顯示裝置12將顯示器信息通知給圖像處理裝置10。在本實施例中，顯示裝置12的輸出格式是表示能夠3維顯示還是僅能夠2維顯示的信息。以下，將能夠3維顯示的輸出格式稱為「3D對應」，將僅能夠2維顯示的輸出格式稱為「2D對應」。
[0043]圖像數據存儲部152存儲多個圖像數據。本實施例的圖像瀏覽器不僅再現在硬碟驅動器50中存儲的照片圖像，還能夠再現在外部的記錄介質中記錄的照片圖像。從而本實施例中圖像數據存儲部152不限於硬碟驅動器50，也可以構成在記錄了成為再現對象的圖像數據的記錄介質的存儲區域中。在圖4中，表示圖像數據存儲部152構成在硬碟驅動器50的存儲區域中的情形。
[0044]在圖像處理裝置10中，系統軟體在將圖像文件安裝於硬碟驅動器50時，參照在圖像文件中包含的附屬信息，進行文件檢驗。若圖像文件正常，則系統軟體提取附屬信息的至少一部分，並作為屬性信息存儲至屬性信息存儲部154。在本實施例中提取的附屬信息中，包含縮略圖等在菜單畫面中顯示的數據。在圖像文件為MP文件的情況下，也可以是系統軟體根據MP文件的類別代碼，確定MP文件的顯示格式，並作為屬性信息存儲至屬性信息存儲部154。另外，在圖像文件的安裝時，系統軟體也可以縮小圖像數據，生成縮略圖。
[0045]圖5表示在顯示裝置12中顯示的菜單畫面的一例。在本實施例的圖像處理裝置10中，系統軟體生成菜單圖像。在橫向排列的多個文件夾圖像之中，文件夾圖像200表示照片內容的文件夾。在縱向排列圖標圖像202、204、206。用戶操作輸入裝置20將期望的圖標圖像滾動至焦點區域的位置，按下輸入裝置20的規定的按鈕，從而能夠執行與該圖標圖像相關聯的處理。在圖5的例中，照片內容的圖標圖像202被配置於焦點區域，若用戶按下輸入裝置20的〇按鈕22則生成再現指示，啟動圖像瀏覽器。另外，在圖5所示的菜單畫面中，未表示記錄了圖像數據的記錄介質的圖標圖像，但也可以在照片圖標圖像的正下方顯示記錄介質的圖標圖像，在介質圖標圖像的正下方或者右方排列圖標圖像202、204、206。
[0046]系統軟體在圖像文件中包含縮略圖的情況下，使用該縮略圖生成圖標圖像，在圖像文件中未包含縮略圖的情況下，縮小圖像數據，生成圖標圖像。另外，在圖像文件是MP文件的情況下，系統軟體從硬碟驅動器50中讀出屬性信息，確定代表圖像標誌被設定為I的個別圖像的縮略圖，生成圖標圖像。若系統軟體生成菜單圖像數據，則顯示處理部44將菜單圖像數據輸出至顯示裝置12，菜單畫面被顯示於顯示裝置12。
[0047]在圖5所示的菜單畫面中，若用戶按下輸入裝置20的規定的按鈕，則形成圖像文件的再現指示並啟動圖像瀏覽器。由此，開始由配置於焦點區域的圖標圖像202確定的圖像文件的再現處理。若啟動圖像瀏覽器，則首先輸出模式處理部110決定顯示輸出模式。在此，顯示輸出模式是確定從顯示裝置12顯示2D圖像，還是顯示3D圖像的模式。若輸出模式處理部110決定顯示輸出模式，則再現處理部130按照被決定的顯示輸出模式，生成顯示圖像。
[0048]若輸入接受部102接受再現指示，則啟動圖像瀏覽器，能夠執行輸出模式處理部110以及再現處理部130的功能。在輸出模式處理部110中，模式設定部112具有選擇性地設定2D顯示輸出模式和3D顯示輸出模式的功能。在圖像瀏覽器的啟動時，模式設定部112設定2D顯示輸出模式。
[0049]在再現處理部130中，顯示對象決定部136決定成為顯示對象的圖像文件。在圖像瀏覽器的啟動時,顯示對象決定部136將由圖標圖像202確定的圖像文件決定為顯示對象，圖像數據讀出部138從圖像數據存儲部152，讀出成為顯示對象的圖像文件以及其屬性信息，提供給顯示圖像生成部134。再現控制部132對顯示圖像生成部134，指示通過在模式設定部112中設定的顯示輸出模`式生成顯示圖像。由此，顯示圖像生成部134按照由模式設定部112設定的顯示輸出模式，解碼圖像數據，生成顯示圖像數據。在圖像瀏覽器的啟動時，由於模式設定部112設定2D顯示輸出模式，因此顯示圖像生成部134生成2D圖像數據，顯示處理部44將2D圖像輸出至顯示裝置12。
[0050]通知圖像生成部116生成表示能夠切換顯示輸出模式的通知圖像。優選該通知圖像是表示能夠切換顯示輸出模式的同時向用戶提示用於切換顯示輸出模式的操作的圖像。例如，在用於切換顯示輸出模式的操作被分配至特定的按鈕的情況下，優選包含該按鈕而形成通知圖像。例如通知圖像採取「口 2D/3D」的顯示方式，在此「2D/3D」表示能夠切換顯示輸出模式，「□」表示用於切換的操作按鈕為□按鈕24。
[0051]判定部114判定通知圖像的生成條件是否成立。若原本顯示裝置12不具有3D對應顯示器，則不能將顯示輸出模式從2D顯示輸出模式切換為3D顯示輸出模式。從而在通知圖像的生成條件中，模式設定部112設定2D顯示輸出模式，且顯示裝置12至少包含能夠顯示3D的情況。判定部114在判定為通知圖像的生成條件成立的情況下，通知圖像生成部116生成通知圖像數據，顯示處理部44在2D顯示的畫面上，重疊顯示通知圖像。
[0052]圖6表示在2D顯示畫面上重疊顯示的通知圖像。顯示處理部44將由通知圖像生成部116生成的通知圖像210配置於顯示畫面中的規定的位置。用戶能夠通過看見該通知而識別按下□按鈕24從而將2D顯示的顯示圖像切換為3D顯示圖像的情況。在想要切換為3D顯示輸出模式的情況下，若用戶按下□按鈕24，則輸入接受部102接受顯示輸出模式的切換指示。
[0053]圖7表示確認畫面。若輸入接受部102接受顯示輸出模式的切換指示，則確認圖像生成部118生成顯示輸出模式切換的確認圖像數據，顯示處理部44將確認畫面在顯示裝置12中顯示。在觀看3D顯示圖像時，由於還存在根據3D顯示器的類型需要左右看見的視角不同的專用的眼鏡的情況，因此在切換為3D顯示輸出模式的情況下，將確認畫面提示給用戶一次，確認用戶的意志。
[0054]若用戶選擇「是」，按下〇按鈕22，則輸入接受部102接受確認指示，模式設定部112將顯示輸出模式設定為3D顯示輸出模式。由此，進行顯示輸出模式的切換。再現控制部132接受設定了 3D顯示輸出模式的情況，對顯示圖像生成部134以及顯示處理部44指示當前顯示中的圖像文件的輸出格式的變更。由此，顯示圖像生成部134生成由左眼用圖像數據以及右眼用圖像數據構成的3D圖像數據，顯示處理部44從顯示裝置12輸出3D圖像。
[0055]另外，通知圖像210也可以被包含於菜單的選擇項目。在圖像正顯示時，若用戶操作例如規定的按鈕，則包含多個選擇項目的菜單在顯示畫面上重疊顯示。此時，通過用戶從菜單項目中選擇通知圖像210，從而輸入接受部102接受顯示輸出模式的切換指示。另外，在提供從菜單項目中選擇通知圖像210的用戶接口的情況下，由於用戶能夠選擇通知圖像210並按下決定按鈕來輸入顯示輸出模式的切換指示，因此從如圖6所示的通知圖像210中去除了「□」的「2D/3D」的顯示包含在菜單中。
[0056]另外，用戶還能夠將3D顯示輸出模式切換為2D顯示輸出模式。由於原則上在任何時候都能夠進行從3D顯示 輸出模式至2D顯示輸出模式的切換，因此也可以在3D顯示輸出模式中，在顯示畫面中始終出現通知圖像210。由此，用戶按下□按鈕24，從而任何時候都能夠返回到2D顯示輸出模式。另外，如後述，在3D顯示輸出模式中，也可以在滿足了規定的條件時，顯示通知圖像210。
[0057]在從2D顯示輸出模式切換為3D顯示輸出模式的情況下，提供如圖7所示的確認畫面，但另一方面，在從3D顯示輸出模式切換為2D顯示輸出模式的情況下，確認圖像生成部118不生成確認圖像。這是因為如下理由:由於為觀看2D顯示圖像，不需要專用的眼鏡，因此在切換為2D顯示輸出模式的情況下，缺乏重新確認的必要性。通過不出現確認畫面，從而能夠平穩地執行從3D顯示輸出模式至2D顯示輸出模式的轉移。
[0058]另外，在2D顯示輸出模式中，存在顯示圖像生成部134將3D內容的圖像數據作為顯示對象而決定的情況。例如，在MP格式中，附加了立體視覺的類別代碼的圖像文件是原本預定3D顯示的內容。從而，在這樣的情況下，優選能夠對用戶通知能夠3D顯示的情況。
[0059]因此，在通知圖像的生成條件中，除了模式設定部112設定2D顯示輸出模式以及顯示裝置12能夠3D顯示之外，也可以包含顯示圖像生成部134根據3D圖像數據來生成顯示圖像。例如顯示對象決定部136在確定了要設為顯示對象的圖像文件時，判定部114將與該圖像文件對應的顯示格式(類別代碼)從屬性信息存儲部154讀出，判定是否是立體視覺圖像。在成為顯示對象的圖像文件從2D內容切換為3D內容時，判定部114判定通知圖像的生成條件成立，通知圖像生成部116生成如圖6所示的通知圖像210，顯示處理部44與2D顯示圖像重疊而顯示通知圖像210。由此，輸出模式處理部110能夠有效地對用戶提供使3D內容3D顯示的機會。另外，在變更了顯示輸出模式時，顯示處理部44也可以顯示通知圖像210，以便用戶將顯示輸出模式返回原樣。
[0060]另外，在3D內容的顯示時，存在在顯示處理部44顯示通知圖像210，用戶按照被顯示的通知圖像210從2D顯示輸出模式切換為3D顯示輸出模式後，顯示圖像生成部134將2D內容的圖像數據作為顯示對象而決定的情況。由於2D內容的圖像文件預定被2D顯示，因此優選能夠對用戶通知能夠2D顯示的情況。
[0061]因此，在3D內容的顯示時將用戶按照通知圖像210選擇了 3D顯示輸出模式的情況、和顯示圖像生成部134根據2D圖像數據生成顯示圖像的情況作為通知條件，判定部114判定為通知圖像的生成條件成立的情況下，通知圖像生成部116生成通知圖像數據，顯示處理部44在3D顯示的畫面上，重疊顯示通知圖像210。此外，也可以將照片圖像的再現處理結束的情況作為通知條件，顯示處理部44在3D顯示的畫面上，重疊顯示通知圖像210。
[0062]以上那樣，在顯示裝置12具有能夠3D輸出的顯示器的情況下，用戶能夠選擇是以2D顯示輸出模式顯示圖像，還是以3D顯示輸出模式顯示圖像。另外，在觀看3D顯示圖像時，考慮到還需要專用的眼鏡的情況，在圖像瀏覽器的啟動時，設為模式設定部112對2D顯示輸出模式進行默認設定，但若顯示裝置12不是2D對應，而是3D對應，則也可以對3D顯示輸出模式進行默認設定。
[0063]以上那樣，由輸出模式處理部110決定顯示輸出模式。以下，說明再現處理部130中的圖像再現處理。
[0064]在本實施例中，在圖像數據存儲部152中存儲的多個圖像文件中，預先設定圖像瀏覽器的顯示順序。該顯示順序可以是在圖像數據存儲部152中存儲了各圖像文件的順序，也可以是按照各圖像文件的生成日期時間(拍攝日期時間)的順序。若啟動圖像瀏覽器，在顯示裝置12中顯示圖像，則用戶能夠按下在輸入裝置20的箱體背面設置的LI按鈕29a或者Rl按鈕2%，從而切換要成為顯示對象的圖像文件。在解碼某圖像文件並在顯示裝置12中顯示的情況下，若用戶按下LI按鈕29a，則解碼前一個圖像文件並在顯示裝置12中顯示，另一方面若按下Rl按鈕2%，則解碼後一個圖像文件並在顯示裝置12中顯示。這樣在圖像處理裝置10中，基於用戶的LI按鈕29a的操作對設定了規定的順序的圖像文件列形成反方向顯示指示，另一方面，基於用戶的Rl按鈕29b的操作對圖像文件列形成正方向顯示指示。以下，將切換顯示圖像的指示稱為「切換顯示指示」。
[0065]圖像瀏覽器對用戶提供圖像切換時的製作的選項。至少準備以下兩個作為選項。
[0066](I)交叉衰減製作
[0067]交叉衰減製作是在兩個顯示圖像中的一方正淡出時，淡入另一方，切換顯示圖像的製作。若將解碼圖像數據而生成的顯示圖像的不透明度設為100%，將顯示圖像完全淡出而從畫面消失時的不透明度設為0%，則將第一顯示圖像從不透明度100%起淡出，在不透明度成為0%之前，將第二顯示圖像從不透明度0%起淡入，從而實現交叉衰減製作。
[0068](2)正常製作
[0069]正常製作是即時切換兩個顯示圖像的製作。若使用上述的不透明度說明即時切換，則不衰減第一顯示圖像，將該不透明度從100%設為0%，之後將第二顯示圖像的不透明度從0%設為100%，從而實現正常製作。在正常製作中，顯示圖像的不透明度不取O~100%的中間值。
[0070](3)淡出、淡入製作
[0071]淡出，淡入製作是在淡出了一個顯示圖像後，淡入其他顯示圖像，切換顯示圖像的製作。與交叉衰減製作不同，在將第一顯示圖像從不透明度100%起淡出，不透明度成為0%後，將第二顯示圖像從不透明度0%起淡入。
[0072]若圖像瀏覽器啟動，則用戶選擇圖像切換時的製作。例如，作為圖像切換時的製作，在默認設定交叉衰減製作、用戶期望正常製作的情況下，也可以構成用戶界面，以使能夠從菜單項目中選擇正常製作。以下，說明交叉衰減製作和正常製作。
[0073]再現控制部132根據由模式設定部112設定的顯示輸出模式，控制顯示圖像的切換。具體而言，再現控制部132在顯示輸出模式為2D顯示輸出模式的情況、和為3D顯示輸出模式的情況下，使顯示圖像的切換控制不同。
[0074]圖8 (a)~圖8 (b)是交叉衰減製作的說明圖。圖8 (a)表示2D顯示輸出模式中的交叉衰減製作，圖8 (b)表示3D顯示輸出模式中的交叉衰減製作。在交叉衰減製作中，將之前顯示的圖像(以下，稱為「第一顯示圖像」)的不透明度根據時間的經過從100%逐漸下降至0%，將之後顯示的圖像(以下，稱為「第二顯示圖像」)的不透明度根據時間的經過從0%逐漸上升至100%。此時，不是第一顯示圖像的淡出結束後淡入第二顯示圖像，而是在第一顯示圖像正淡出時，使第二顯示圖像淡入，從而實現交叉衰減製作。
[0075]若解碼圖像數據而生成的顯示圖像的像素值為PO，則像素值PO的不透明度為100%。將像素值變小，像素值成為Pl時，像素值Pl的不透明度成為(P1/P0) X 100%。從而，在顯示圖像完全淡出，像素值成為O時，不透明度成為0%。再現控制部132控制顯示圖像生成部134，使第一顯示圖像和第二顯示圖像的不透明度根據時間的經過而變化，從而交叉衰減兩個顯示圖像。
[0076]在圖8 Ca)以及圖8 (b)中，縱軸表示不透明度，橫軸表示時間，圖中的細線表示第一顯示圖像的不透明度的變化，粗線表示第二顯示圖像的不透明度的變化。此外將交叉衰減製作的開始時刻表示為tl，結束時刻表示為t5。另外，交叉衰減製作的開始時刻是第一顯示圖像的不透明度從100%起開始下降的定時，此外結束時刻是第二顯示圖像的不透明度到達了 100%的定時。以下，將從交叉衰減製作的開始時刻至結束時刻的期間(從tl至t5)稱為「交叉衰減處理期間」。若在時間tl輸入接受部102接受切換顯示指示，則再現控制部132開始交叉衰減製作的控制。
[0077]在圖8 (a)中，第一變化線230a表示第一顯示圖像的不透明度的變化，第二變化線230b表示第二顯示圖像的不透明度的變化。第一變化線230a和第二變化線230b在交叉衰減處理期間的中央(t3)交叉，此時的不透明度兩者都成為50%。在2D顯示輸出模式中，交叉衰減處理期間中，將第一顯示圖像的不透明度設為α %的情況下，第二顯示圖像的不透明度表現為(100 — α ) %，從而，第一顯示圖像的不透明度與第二顯示圖像的不透明度之和成為 α % + (100 — α ) %= 100%。
[0078]在圖8 (b)中，第一變化線232a表示第一顯示圖像的不透明度的變化，第二變化線232b表示第二顯示圖 像的不透明度的變化。第一變化線232a和第二變化線232b在交叉衰減處理期間的中央(t3)交叉，此時的不透明度兩者都成為0P% ? 50%)o在3D顯示輸出模式中，交叉衰減處理期間中，將第一顯示圖像的不透明度設為β %、第二顯示圖像的不透明度設為Y %的情況下，設定第一變化線232a以及第二變化線232b以使(β + Y ) %成為100%以下。
[0079]另外，在(β + Y ) = 100的情況下，在交叉衰減處理的開始時刻(tl)和結束時亥Ij (t5)，並且在此外的交叉衰減處理期間中，(β + Y X IOO0也就是說，在交叉衰減處理期間中，設定為3D顯示輸出模式中的第一顯示圖像的不透明度與第二顯示圖像的不透明度之和((β + Y) %)為2D顯示輸出模式中的第一顯示圖像的不透明度與第二顯示圖像的不透明度之和(100% )以下。此情況意味著在3D顯示輸出模式中與2D顯示輸出模式相t匕，交叉衰減製作中的兩個顯示圖像的重疊(overlap)量(不透明度之和)變少。
[0080]在3D顯示輸出模式中交叉衰減第一顯示圖像和第二顯示圖像的情況下，存在第一顯示圖像和第二顯示圖像的視差量不同的情況。在此情況下，如圖8 (a)所示，若對第一顯示圖像和第二顯示圖像進行α混合，則兩個顯示圖像的視差量不同，從而用戶容易覺出不調和感。此外，即使假設兩個顯示圖像的視差量相同的情況下，兩個3D圖像在畫面中重疊顯示，從而用戶也容易覺出不調和感。因此，在3D顯示輸出模式中，與2D顯示輸出模式相比，交叉衰減製作中的兩個顯示圖像的重疊量變小，從而提供對於用戶的眼柔和的製作。
[0081]此外，在交叉衰減處理期間中，設定為3D顯示輸出模式中的第一顯示圖像的不透明度和第二顯示圖像的不透明度變得相等時的不透明度(0Ρ%)小於2D顯示輸出模式中的第一顯示圖像的不透明度和第二顯示圖像的不透明度變得相等時的不透明度(50%)。在兩個顯示圖像的不透明度變得相等時(t3)，若兩圖像的視差量不同，則用戶覺出的不調和感變得最大。因此，在時間t3中，通過減小3D顯示輸出模式中的不透明度0P%，從而能夠降低用戶覺出的不調和感。OP優選設定為30以下。
[0082]此外，圖8 Ca)中，第二顯示圖像的淡入開始時刻為時間tl，第一顯示圖像的淡出結束時刻為時間t5。從而，在交叉衰減處理期間中，顯示第一顯示圖像和第二顯示圖像的雙方的期間(重疊期間)成為從時間tl至t5的期間。另一方面，圖8 (b)中，第二顯示圖像的淡入開始時刻為時間t2，第一顯示圖像的淡出結束時刻為時間t4。從而，重疊期間成為從時間t2至t4的期間。像這樣，在3D顯示輸出模式中，與2D顯示輸出模式相比，縮短重疊期間，從而能夠執行交叉衰減製作，且降低用戶覺出的不調和感。
[0083]以上那樣，再現控制部132根據顯示輸出模式，控制顯示圖像生成部134中的圖像生成處理。由此顯示圖像生成部134按照圖8 (a)或者圖8 (b)所示的變化線，調整要生成的圖像數據的像素值。由此，在3D顯示輸出模式中，能夠執行對於用戶的眼柔和的交叉衰減製作。
[0084]另外，再現控制部132也可以根據顯示輸出模式，控制顯示處理部44中的顯示處理。顯示處理部44按照圖8 (a)或者圖8 (b)所示的變化線，調整顯示圖像生成部134生成的不透明度100%的圖像數據的像素值。將像素值的調整委託給顯示處理部44，從而由於顯示圖像生成部134不需要對每幀生成圖像數據，因此能夠大幅度地降低系統整體的處理負荷。
[0085]圖9 (a)?圖9 (b)是正常製作的說明圖。圖9 (a)表示2D顯示輸出模式中的正常製作，圖9 (b)表示3D顯示輸出模式中的正常製作。在正常製作中，將之前顯示的圖像(以下，稱為「第一顯示圖像」)的不透明度從100%起下降至0%，即時將之後顯示的圖像(以下，稱為「第二顯示圖像」)的不透明度從0%上升至100%。也就是說，在正常製作中，不利用從0%至100%之間的不透明度，在結束了第一顯示圖像的顯示後，開始第二顯示圖像的顯示。再現控制部132控制顯示處理部44或者顯示圖像生成部134，即時切換第一顯示圖像和第二顯示圖像，從而執行正常製作。另外，即時切換不僅是在第一顯示圖像的顯示結束的同時開始第二顯示圖像的顯示的情況，還包含從第一顯示圖像的顯示結束起經過短時間後開始第二顯示圖像的顯示的情況。
[0086]在圖9 Ca)以及圖9 (b)中，縱軸表示不透明度，橫軸表示時間，圖中的細線表示第一顯示圖像的顯示狀態，粗線表示第二顯示圖像的顯示狀態。此外將第一顯示圖像的顯示結束時刻表示為t6。若在時間t6輸入接受部102接受切換顯示指示，則再現控制部132開始正常製作的控制。
[0087]在圖9 (a)中，第一線240a表示第一顯示圖像的顯示狀態，第二線240b表示第二顯示圖像的顯示狀態。第二顯示圖像從結束了第一顯示圖像的顯示的下一個幀起顯示。也就是說，在2D顯示輸出模式中，第一顯示圖像的最後的幀和第二顯示圖像的最初的幀連續。
[0088]在圖9 (b)中，第一線242a表示第一顯示圖像的顯示狀態，第二線242b表示第二顯示圖像的顯示狀態。第二顯示圖像在結束第一顯示圖像的顯示後，在幾幀後顯示。在該例中，第一顯示圖像的顯示結束時刻為t6，從幾幀後例如3幀後的t7起，開始第二顯示圖像的顯示。也就是說，在3D顯示輸出模式中，第一顯示圖像的最後的幀和第二顯示圖像的最初的幀不連續。
[0089]以上那樣，從結束第一顯示圖像的顯示至開始第二顯示圖像的顯示為止的切換期間被設定為3D顯示輸出模式比2D顯示輸出模式更長。在3D顯示輸出模式中即時切換第一顯示圖像和第二顯示圖像的情況下，存在第一顯示圖像和第二顯示圖像的視差量不同的情況。在此情況下，如圖9 (a)所示，若連續切換第一顯示圖像和第二顯示圖像，則兩個顯示圖像的視差量不同，從而用戶容易覺出不調和感。因此，在3D顯示輸出模式中，與2D顯示輸出模式相比，使圖像的切換期間延長，從而提供對於用戶的眼柔和的切換製作。
[0090]另外，本發明人具有在3D顯示輸出模式中，在切換期間顯示規定顏色的圖像，從而能夠減輕不調和感的知識和見識。該規定顏色例如是黑色。在3D顯示輸出模式中，切換3D圖像時，在切換期間夾入黑色圖像，從而復位兩個顯示圖像的視差量的差異，能夠更降低用戶覺出的不調和感。另外，在切換2D圖像時，也可以在切換期間夾入黑色圖像，但如上所述，切換期間被設定為3D顯示輸出模式比2D顯示輸出模式更長，從而，黑色圖像的顯示時間優選使3D顯示輸出模式長。
[0091]以上那樣，再現控制部132根據顯示輸出模式，控制顯示處理部44的顯示處理，顯示處理部44按照圖9 (a)或者圖9 (b)所示的切換處理,切換顯示圖像。由此,在3D顯示輸出模式中，能夠執行對於用戶的眼柔和的正常製作。
[0092]另外，在淡出、淡入製作中，從結束第一顯示圖像的顯示至開始第二顯示圖像的顯示為止的切換期間被設定為3D顯示輸出模式比2D顯示輸出模式更長。與正常製作相同，在切換期間，也可以顯示規定顏色的圖像，黑色圖像的顯示時間被設定為3D顯示輸出模式更長。由此，在3D顯示輸出模式中，能夠執行對於用戶的眼柔和的淡出、淡入製作。
[0093]以上說明了在各顯示輸出模式中切換顯示圖像時的製作。以下說明在畫面的顯示狀況不適合於3D顯示的情況下，中止3D顯示，進行2D顯示的例。
[0094]圖10表示對多個3D照片圖像進行柵格顯示的例。顯示圖像生成部134生成排列了多個照片的3D圖像數據，顯示處理部44將排列了多個3D的照片圖像250的顯示圖像在顯示裝置12中顯示。
[0095]顯示圖像生成部134根據以多圖片格式作為立體視覺圖像拍攝的圖像文件，生成左眼用圖像數據和右眼用圖像數據，顯示處理部44將左眼用圖像以及右眼用圖像在畫面中顯示，從而顯示3D圖像。另外，顯示圖像生成部134還能夠除了根據立體視覺用的圖像文件之外，還根據通過JPEG或GIF等格式生成的I張圖像數據，生成左眼用圖像數據和右眼用圖像數據。顯示處理部44將在背景圖像上排列了多個照片的左眼用圖像數據的左眼用圖像數據、和在背景圖像上排列了多個照片的右眼用圖像數據的右眼用圖像數據輸出至顯示裝置12，從而生成如圖10所示的柵格顯示畫面。
[0096]此外，作為其他例，也可以是顯示圖像生成部134具有幾何引擎以及繪製引擎，生成左眼用圖像數據和右眼用圖像數據。此時，幾何引擎將多個照片對象在虛擬空間內排列，將2臺虛擬照相機設定為各自的視線方向相交，繪製引擎繪製來自各個虛擬照相機的數據，從而生成左眼用圖像數據和右眼用圖像數據。顯示處理部44將所生成的左眼用圖像數據和右眼用圖像數據輸出至顯示裝置12，從而生成如圖10所示的柵格顯示畫面。
[0097]這樣，顯示處理部44對顯示圖像生成部134生成的3D圖像進行顯示。在3D圖像的顯示中，再現控制部132基於畫面的顯示狀況，控制顯示處理部44的顯示。具體而言，在顯示處理部44顯示3D圖像時，畫面的顯示狀況成為規定的狀況的情況下，再現控制部132以使顯示處理部44中止3D圖像的顯示，而顯示2D圖像的方式進行控制。
[0098]如圖10所示的柵格顯示畫面在將例如照片圖像按照每個拍攝日匯總顯示時使用。因此，若滾動顯示畫面，則顯示畫面的整體向上方向或者下方向運動，在顯示的日期以外的日子拍攝的照片圖像被顯示。用戶能夠操作輸入裝置20的模擬搖杆27b，滾動顯示畫面，例如若將模擬搖杆27b向上(裡)方向推，則柵格顯示畫面向上方向滾動，若向下(跟前)方向推，則柵格顯示畫面向下方向滾動。
[0099]若柵格顯示畫面以3D顯示的狀態移動，則由於用戶以眼睛追隨各照片圖像，所以為了使混合視差量一致，容易覺出不調和感。因此，在顯示圖像移動的情況下，再現控制部132使顯示處理部44中止3D圖像的顯示,而顯示2D圖像。
[0100]例如，也可以是在顯示圖像生成部134根據圖像文件生成兩眼用的圖像數據的情況下，顯示處理部44僅使用一方的圖像數據，顯示2D的柵格顯示畫面。此外，也可以是再現控制部132對顯示圖像生成部134指示2D圖像的生成，顯示處理部44使用顯示圖像生成部134生成的2D圖像數據，將2D的柵格顯示畫面在顯示裝置12中顯示。
[0101]此外，在顯示圖像生成部134通過繪製生成兩眼用的圖像數據的情況下，顯示圖像生成部134使2臺虛擬照相機的位置以及視線方向一致，繪製來自各個虛擬照相機的數據，從而顯示處理部44將2D的柵格顯示畫面在顯示裝置12中顯示。
[0102]另外，在顯示畫面以低速滾動時，用戶覺得的不調和感不那麼大。因此，也可以是再現控制部132監視顯示圖像的移動速度，在移動速度超過了規定值的情況下，使顯示處理部44中止3D圖像的顯示，而顯示2D圖像。也可以是例如若顯示圖像的移動速度超過規定值，則以視差量流暢地變為O的方式生成左眼用圖像數據和右眼用圖像數據，從而顯示2D圖像。此外，也可以是根據移動速度，減少視差量，從而移動速度超過了規定值的情況下，顯示2D圖像。由此，能夠減輕高速滾動處理的情況下的用戶覺出的不調和感，且能夠在低速滾動處理時繼續3D顯示。
[0103]圖11表示在3D圖像上，顯示了菜單顯示區域的例。在此，與3D顯示的柵格顯示畫面重疊，形成顯示多個菜單項目的菜單顯示區域260。另外，對多個菜單項目進行2D顯示。在該菜單顯示區域260中，將用戶要選擇的菜單項目配置於中央的焦點區域，按下決定按鈕，從而與選擇的項目對應的處理啟動。配置於焦點區域的菜單項目也可以被3D顯示。
[0104]菜單顯示區域260中的菜單項目在焦點區域以外通過2D顯示。因此，若對成為背景的柵格顯示畫面進行3D顯示，則有產生背景的柵格顯示畫面比菜單項目更突出而看見的視差矛盾的可能性。因此，在顯示圖像上重疊而顯示其他圖像的情況下，再現控制部132使顯示處理部44對背景圖像進行2D顯示。像這樣，避免在3D圖像上顯示2D圖像的狀況，從而能夠向用戶提供對於眼柔和的顯示畫面。
[0105]在以上的例中，說明了再現控制部132控制顯示處理部44的顯示的例，但也可以是再現控制部132使顯示圖像生成部134中止3D圖像數據的生成，而生成2D圖像數據，顯示處理部44使用顯示圖像生成部134生成的2D圖像數據，將2D圖像在顯示裝置12中顯
/Jn ο
[0106]以上基於實施例說明了本發明。本領域技術人員理解該實施例是例示，且對於這些各結構要素或各處理過程的組合，能夠進行各種各樣的變形例且這樣的變形例也包含在本發明的範圍中。
[0107]標號說明
[0108]I..?圖像處理系統，10..?圖像處理裝置，12..?顯示裝置，20..?輸入裝置，44..?顯示處理部，100..?控制部，102..?輸入接受部，110..?輸出模式處理部，112..?模式設定部，114..`?判定部，116..?通知圖像生成部，118..?確認圖像生成部，130..?再現處理部，132..?再現控制部，134..?顯示圖像生成部，136..?顯示對象決定部，138...圖像數據讀出部，150..?顯示器信息存儲部，152..?圖像數據存儲部，154..?屬性信息存儲部。
[0109]產業上的可利用性
[0110]本發明能夠用於圖像處理技術的領域。
【權利要求】
1.一種圖像處理裝置，其特徵在於，具備: 模式設定部，選擇性地設定2D顯示輸出模式和3D顯示輸出模式；以及 再現控制部，控制顯示圖像的切換， 所述再現控制部按照由所述模式設定部設定的顯示輸出模式，使顯示圖像的切換控制不同。
2.如權利要求1所述的圖像處理裝置，其特徵在於， 在所述再現控制部使第一顯示圖像和第二顯示圖像的不透明度根據時間的經過而變化，從而交叉衰減兩個顯示圖像的情況下，在交叉衰減處理期間，3D顯示輸出模式中的第一顯示圖像的不透明度與第二顯示圖像的不透明度之和為2D顯示輸出模式中的第一顯示圖像的不透明度與第二顯示圖像的不透明度之和以下。
3.如權利要求1或2所述的圖像處理裝置，其特徵在於， 在所述再現控制部使第一顯示圖像和第二顯示圖像的不透明度根據時間的經過而變化，從而交叉衰減兩個顯示圖像的情況下，在交叉衰減處理期間，3D顯示輸出模式中的第一顯示圖像的不透明度與第二顯示圖像的不透明度變得相等時的不透明度小於2D顯示輸出模式中的第一顯示圖像的不透明度與第二顯示圖像的不透明度變得相等時的不透明度。
4.如權利要求1所述的圖像處理裝置，其特徵在於， 在所述再現控制部即時切換第一顯示圖像和第二顯示圖像的情況下，從結束第一顯示圖像的顯示至開始第二顯示圖像的顯示為止的切換期間，3D顯示輸出模式比2D顯示輸出模式長。
5.如權利要求4所述的圖像處理裝置，其特徵在於， 所述再現控制部在3D顯示輸出模式中，在切換期間，顯示規定顏色的圖像。
6.一種程序，使計算機實現選擇性地設定2D顯示輸出模式和3D顯示輸出模式的功能、以及控制顯示圖像的切換的功能，其特徵在於， 控制功能使設定了 2D顯示輸出模式的情況的切換控制、和設定了 3D顯示輸出模式的情況的切換控制不同。
7.—種記錄了權利要求6所述的程序的計算機能夠讀取的記錄介質。
【文檔編號】H04N13/04GK103718549SQ201280036732
【公開日】2014年4月9日 申請日期:2012年5月28日 優先權日:2011年8月5日
【發明者】高橋正貴, 的野好伸, 平松修治 申請人:索尼電腦娛樂公司