圖像處理設備、圖像處理方法以及程序的製作方法

2023-04-29 14:40:36 1

專利名稱：圖像處理設備、圖像處理方法以及程序的製作方法
技術領域：
本發明涉及圖像處理設備、圖像處理方法以及程序。
背景技術：
曾提出了這樣一種全方位圖像拍攝設備，其能夠使用具有旋轉對稱形狀的反射表 面的全方位圖像拍攝光學系統來拍攝全方位(360° )對象(見日本未審查專利申請公報 No. 59-192220以及日本未審查專利申請公報No. 2000-131738)。全方位圖像拍攝設備對於 入射到全方位圖像拍攝光學系統上的反射表面上的全方位對象圖像進行匯聚並且允許圖 像拍攝元件拍攝對象圖像。全範圍圖像拍攝設備產生通過由圖像拍攝設備拍攝全方位對象而獲得的環狀圖 像(件日本未審查專利申請公報No. 2003-304532)。通過拍攝對象而獲得環狀圖像，使得通 過全方位圖像拍攝光學系統的光學特性而將對象的形狀扭曲為環形形狀。因此，為了在對 象的扭曲得到校正的狀態下觀察圖像，如日本未審查專利申請公報No. 2003-304532中公 開的，必須通過在某個位置處沿著徑向方向切斷並展開環狀圖像，來將環形形狀轉換 為長 方形的全景圖。

發明內容
然而，當在將環狀圖像轉換為全景圖像時在不合適的位置處切斷環狀圖像時，在 環狀圖像中顯示出的對象的連續性受到破壞。例如，當拍攝環狀圖像時，處於面對攝影師的 方向上的圖像拍攝目標對象傾向於被拍攝在環狀圖像的上部分，而攝影師的臉等傾向於被 拍攝到環狀圖像的下部分。當在將環狀圖像轉換為全景圖像時對環狀圖像的上部分或下部 分進行切斷時，圖像拍攝目標對象或攝影師在全景圖上可能是被分割的，由此破壞了對象 的連續性。期望提供一種能夠在將由全方位圖像拍攝設備產生的環狀圖像展開為全景圖時， 不破壞對象的連續性的技術。根據本發明的實施例，提供了一種圖像處理設備，包括切斷位置決定單元，其決 定沿著徑向方向切斷環狀圖像以保持環狀圖像中的對象的連續性的切斷位置，環狀圖像由 全方位圖像拍攝設備產生；以及圖像轉換單元，其通過在由切斷位置決定單元決定的切斷 位置處對環狀圖像進行切斷並且將經切斷的環狀圖像展開，而將環狀圖像轉換為長矩形全 景圖像。切斷位置決定單元可以決定切斷位置在環狀圖像的左側還是右側上。切斷位置決定單元可以基於在全方位圖像拍攝設備產生環狀圖像時表明全景圖 像拍攝設備的狀態的圖像拍攝狀態信息來決定切斷位置。圖像拍攝狀態信息可以包括表明在全方位圖像拍攝設備產生環狀圖像時的全方 位圖像拍攝設備的圖像拍攝方向與全方位圖像拍攝設備的顯示單元之間的相對位置關係。根據本發明的另一個實施例，存在一種圖像處理方法，包括以下步驟決定沿著徑向方 向切斷環狀圖像以保持環狀圖像中的對象的連續性的切斷位置，環狀圖像由全方位圖 像拍攝設備產生；以及通過在所決定的切斷位置處對環狀圖像進行切斷並將經切斷的環狀 圖像展開，而將環狀圖像轉換為長矩形全景圖像。根據本發明的另一個實施例，存在一種程序，其使得計算機執行以下步驟決定沿 著徑向方向切斷環狀圖像以保持環狀圖像中的對象的連續性的切斷位置，環狀圖像由全方 位圖像拍攝設備產生；以及通過在所決定的切斷位置處對環狀圖像進行切斷並將經切斷的 環狀圖像展開，而將環狀圖像轉換為長矩形全景圖像。通過這種構造，決定沿著徑向方向切斷環狀圖像以保持在由全方位圖像拍攝設備 產生的環狀圖像中的對象的連續性的切斷位置。此外，通過在所決定切斷位置處對環狀圖 像進行切斷並且將經切斷的環狀圖像展開，而將環狀圖像轉換為長矩形全景圖像。因此，在 將環狀圖像轉換為全景圖像時，可以保持環狀圖像中的對象的連續性。根據本發明的實施例，在將由全方位圖像拍攝設備產生的環狀圖像展開為全景圖 像時不破壞對象的連續性。


圖1是是示出了根據本發明的第一實施例的圖像拍攝設備的外部構造的立體圖。圖2是示出了根據第一實施例的圖像拍攝設備的外部構造的立體圖。圖3是示出了根據第一實施例的圖像拍攝設備的外部構造的立體圖。圖4是示出了根據第一實施例的轉接器和圖像拍攝設備的外部構造的立體圖。圖5是示出了安裝有根據第一實施例的轉接器的圖像拍攝設備的後視圖。圖6是示出了根據第一實施例的兩次反射型全方位圖像拍攝光學系統的截面圖。圖7是示出了根據第一實施例的圖像拍攝設備的構造的示意圖。圖8是示出了根據第一實施例的比較示例的環狀圖像和全景圖像的說明圖。圖9是示出了根據第一實施例的環狀圖像和全景圖像的說明圖。圖10是示出了根據第一實施例的圖像處理方法的流程圖。圖IlA和圖IlB是示出了根據第一實施例的通常圖像拍攝時的反轉顯示功能的說 明圖。圖12A和圖12B是示出了在執行根據第一實施例的全景圖像拍攝操作時的反轉顯 示功能的說明圖。圖13A和圖13B是示出了根據第一實施例的圖像拍攝設備的圖像拍攝單元的旋轉 狀態的立體圖。圖14A到圖14C是示出了根據本發明的另一個實施例的圖像拍攝設備的立體圖。圖15是示出了根據本發明的另一個實施例的圖像拍攝設備的立體圖。
具體實施例方式下文中，將要參照附圖詳細描述本發明的優選實施例。在說明書和附圖中，將相同 的附圖標記給予具有基本相同功能構造的組成元件，並且將會省略重複的描述。將要按照以下順序進行描述。1.第一實施例
1. 1圖像拍攝設備的外部構造。1. 2全景圖像拍攝光學系統的構造1. 3圖像拍攝設備的構造1. 4旋轉移動檢測單元和安裝檢測單元的構造1. 5圖像轉換處理1. 6圖像處理方法2.第二實施例2. 1圖像轉換處理的概述2. 2根據圖像拍攝方向與顯示單元的位置關係來決定切斷位置的示例12. 3根據圖像拍攝方向與顯示單元的位置關係來決定切斷位置的示例22. 4根據圖像拍攝方向與手柄的位置關係來決定切斷位置的示例3 總結1.第一實施例下文中，將要描述根據本發明的第一實施例的圖像處理設備和圖像處理方法。將 要在下文中描述諸如數字攝像機的圖像拍攝設備，作為圖像處理設備的實現示例。根據本 發明的實施例的圖像處理設備不限於此，並且可以應用到諸如個人計算機的任何電子設備。1. 1圖像拍攝設備的外部構造。首先，將要參照圖1到圖5描述根據本發明的第一實施例的圖像拍攝設備10。圖 1到圖5是示出了根據該實施例的圖像拍攝設備10的外部構造的立體圖和後視圖。如圖1到圖3所示，根據本實施例的圖像拍攝設備10被例如構造為能夠拍攝靜止 圖像和/或視頻的數字攝像機(例如，數字靜止圖像攝像機或數字視頻攝像機)。圖像拍攝 設備10拍攝對象並將通過圖像拍攝而獲得的靜止圖像或視頻作為數字圖像數據記錄在記 錄介質中。圖像拍攝設備10被構造為具有豎直方向較長形狀的緊湊型設備，以使其便於使 用者攜帶圖像拍攝設備並拍攝圖像。根據本實施例的圖像拍攝設備10包括佔據圖像拍攝設備的主要部分的主體100， 以及可旋轉地安裝到主體100的上端的圖像拍攝單元110。主體100在其中具有圖像拍攝 設備10的控制單元、記錄單元、以及電源單元。顯示所拍攝的圖像的顯示單元130以及使 用者用來操作圖像拍攝設備10的操作單元160設置在主體100的後表面102上。例如，操 作單元160包括用於上、下、左和右指示或決定操作的操作鍵161、預覽按鈕162、菜單按鈕 163、用於拍攝和記錄靜止圖像(照片)的釋放按鈕164、用於視頻拍攝和記錄的開始以及結 束的記錄按鈕165、以及用於在長焦端和廣角端之間調整變焦位置的變焦開關166。 圖像拍攝單元110具有拍攝對象的功能，並且在圖像拍攝單元110的殼體中具有 圖像拍攝光學系統111以及圖像拍攝元件112(見圖7)，其中，圖像拍攝光學系統111具有 諸如透鏡和光圈的光學組件。圖像拍攝單元110被設置為可以通過旋轉機構(未示出)而 相對於主體100旋轉。圖像拍攝單元110的旋轉軸線116平行於顯示單元130的顯示屏並 且垂直於主體100的豎直方向。通過將圖像拍攝單元110圍繞旋轉軸線116旋轉，圖像拍 攝單元Iio的方向可以確定為圖像拍攝設備10的前表面101的方向以及後表面102的方 向。圖像拍攝單元110的旋轉狀態由旋轉角θ表示。旋轉角θ指的是圖像拍攝單元110的圖像拍攝光學系統111的光軸103與垂直於顯示單元130的顯示屏的方向(主體100的 厚度方向)之間所形成的角度。根據本實施例的圖像拍攝設備10的前表面101是與安裝 有顯示單元130的表面相反的表面。圖像拍攝設備10的後表面102是安裝有顯示單元130 的表面。圖像拍攝單元110的旋轉方向不局限於所示出的示例，而可以任意地修改。旋轉 軸線的數目不限於所示出的一個軸線，而可以使用諸如兩個軸線或三個軸線的多個旋轉軸 線。
圖1示出了圖像拍攝單元110的旋轉角θ等於0°的狀態。在通過旋轉圖像拍攝 單元110而將圖像拍攝單元110的圖像拍攝光學系統111的光軸103的方向確定為圖像拍 攝設備10的前表面101的方向(下文中，稱作前表面方向)時，如圖1所示，可以沿著作為 圖像拍攝方向的前表面方向，拍攝在圖像拍攝設備10的前表面方向中的對象。此時，使用 者可以在觀察顯示在主體100的後表面102上的顯示單元130上的所拍攝的圖像(直通圖 像(through-image))的同時，調整觀察角以拍攝圖像。圖2示出了 0° < θ <180°的狀態。如圖2所示，通過相對於主體100旋轉圖 像拍攝單元110，圖像拍攝單元110的圖像拍攝方向可以改變到任何方向(前表面方向、上 方向、後表面方向等)，而不需要改變主體100的方向。圖3示出了 θ =180°的狀態。如圖3所示，通過將圖像拍攝單元110的圖像拍 攝光學系統111的光軸103的方向確定為圖像拍攝設備10的後表面102的方向(其為朝 向使用者的方向並在下文中被稱作後表面方向)、將圖像拍攝方向定位到後表面方向，使用 者可以拍攝他自己的照片(自拍功能)。在自拍時，使用者可以在觀察顯示在主體100的後 表面102上的顯示單元130上的自己的臉部的同時，通過調整觀察角度而在期望的時機拍 攝照片。在根據本實施例的圖像拍攝設備10中，圖像拍攝單元110可相對於主體100旋 轉，並且因此可以自由地改變圖像拍攝方向。雖然未示出，但是當圖像拍攝單元110朝向主 體100的中心旋轉以使得θ等於-90°時，圖像拍攝設備10的電源自動地關閉。另一方 面，當θ大於-90°時，圖像拍攝設備10的電源自動地打開。之後，將要參照圖4和圖5描述可拆卸地安裝到根據本實施例的圖像拍攝設備10 上的轉接器20。在根據本實施例的圖像拍攝設備10中，如圖4和圖5所示，可以將可移除的轉接 器20作為全方位圖像拍攝附件而安裝到圖像拍攝單元110上。轉接器20包括拍攝全方位 對象的全方位圖像拍攝光學系統21 (見圖6和圖7)、覆蓋全方位圖像拍攝光學系統21的圓 柱形蓋22、以及將轉接器20安裝到圖像拍攝設備10上的裝配部分23。裝配部分23具有 的形狀使其能夠裝配到設置在圖像拍攝單元110的殼體的前表面上的固定部分117中。通 過將從裝配部分23的兩端向內凸出的兩個鎖止爪24 (見圖7)裝配到形成在圖像拍攝單元 110的固定部分117的兩個側表面中的凹陷部分115中，可以將轉接器20安裝並固定到圖 像拍攝單元110。如圖4和圖5所示，通過將包括全方位圖像拍攝光學系統21的轉接器20安裝到 圖像拍攝單元110上，可以使用不包括全方位圖像拍攝光學系統的普通圖像拍攝裝置10來 實現全方位圖像拍攝操作。全方位圖像拍攝操作是對在圖像拍攝設備10的全方向(0°到 360° )上的對象進行拍攝的操作。在將轉接器20安裝到圖像拍攝單元110上時，由轉接器20的全方位圖像拍攝光學系統21收集的全方位對象圖像入射到圖像拍攝單元110的圖 像拍攝光學系統111上並且形成在圖像拍攝元件112上。在安裝了轉 接器20時，轉接器20的全方位圖像拍攝光學系統21和圖像拍攝單元 110的圖像拍攝光學系統111被用於圖像拍攝裝置10，來拍攝全方位(全方向)對象的圖 像。如圖5所示，通過使用全方位圖像拍攝光學系統21來拍攝全方位對象圖像，可以由圖 像拍攝設備10通過拍攝全方位對象而獲得環狀圖像30，並因此將環狀圖像30在顯示單元 130上顯示為直通圖像。在圖4和圖5的示例中，在圖像拍攝單元110面向正上方(θ = 90° )的狀態下 安裝轉接器20。在這種情況下，通過握著圖像拍攝設備10以使得主體100的顯示單元130 幾乎與豎直方向平行，使用者可以拍攝使用者周圍水平面內360°存在的全方位對象。在安 裝了轉接器20的狀態下，圖像拍攝單元110可以相對於主體100旋轉到任何旋轉角θ (見 圖1到圖3)。例如，安裝有轉接器20的圖像拍攝單元110可以旋轉到圖3中示出的旋轉 角(Θ =180° )，並且可以在顯示單元130面向上方的狀態下將圖像拍攝設備10放在桌 子上。例如，通過圖像拍攝設備10，可以以全方位的方式適當地拍攝多個人圍著坐下並且舉 行會議的情景。另一方面，在轉接器20沒有安裝到圖像拍攝單元110上時(見圖1到圖3)，圖像 拍攝設備10僅使用作為光學系統而內置的通常的圖像拍攝光學系統111來執行一般的圖 像拍攝操作。一般的圖像拍攝操作是僅使用通常的圖像拍攝光學系統111來拍攝處於從圖 像拍攝設備10所能看到的一個特定方向(方向確定為朝向圖像拍攝光學系統111的光軸 103的圖像拍攝方向)上的對象的操作。在通常圖像拍攝操作中，單一方向對象的圖像穿過 一般包括在圖像拍攝設備10中的通常的圖像拍攝光學系統111而入射並形成在圖像拍攝 元件112上。根據本實施例的轉接器20被構造為可拆卸地安裝到圖像拍攝設備10的圖像拍攝 單元110上。因此，僅通過將轉接器20安裝到圖像拍攝單元110上，使用者就可以簡單地 使用一般的圖像拍攝設備10來實現全方位圖像拍攝操作。1. 2全景圖像拍攝光學系統的構造之後，將要參照圖6描述根據本實施例的轉接器20的全方位圖像拍攝光學系統21 的示例性構造。圖6是示出了根據本實施例的兩次反射型全方位圖像拍攝光學系統21的 截面圖。如圖6所示，全方位圖像拍攝光學系統21 (全方位圖像拍攝鏡頭)包括具有形狀 對於中軸線211旋轉對稱的凸面反射鏡以及凹面反射鏡。中軸線211與圖像拍攝單元110 的圖像拍攝光學系統111的光軸103共線地形成。全方位圖像拍攝光學系統21包括具有環 形形狀並形成在其下部中的第一反射表面212、具有圓錐形形狀並朝向第一反射表面212 的第二反射表面213、形成在第一反射表面213的外圓周中的環形光進入部分214，以及形 成在第一反射表面212的內圓周中的光離開部分215。第一反射表面212由鏡面拋光的環 形凹面反射鏡形成，而第二反射表面213由鏡面拋光的凸面反射鏡形成。光進入部分214 和光離開部分215由透明玻璃板製成並允許光通過。在兩次反射型全方位圖像拍攝光學系 統21中，全方位圖像拍攝光學系統21的光學特性被設計為使得與全方位圖像拍攝光學系 統21處於任意距離處的對象的全部焦點218位於第一反射表面212與第二反射表面213之間。

在具有以上構造的全方位圖像拍攝光學系統21中，入射光216從光進入部分214 入射、由第一反射表面212反射、由第二反射表面213反射並且之後從光離開部分215離 開。從光離開部分215離開的光入射到圖像拍攝單元110的圖像拍攝光學系統111上，並 且投射到圖像拍攝元件112上。具有以上構造的全方位圖像拍攝光學系統21可以在圍繞 中軸線211360°的範圍內顯示對象圖像。因此，全方位圖像拍攝光學系統21可以收集全方 位圖像拍攝光學系統周圍全方位(360° )的對象圖像，並將對象圖像引導到圖像拍攝光學 系統111。在圖6中，舉例說明了兩次反射型全方位圖像拍攝光學系統21，但是可以使用一 次反射型全方位圖像拍攝光學系統。一次反射型全方位圖像拍攝光學系統(未示出)僅包 括一個反射表面，以對來自全方位對象的光進行反射。因此，反射表面構造為具有形狀相對 於中軸線旋轉對稱凸面反射鏡，並且被設置為使得從反射表面反射的光朝向圖像拍攝設備 10的圖像拍攝光學系統102前進。1. 3圖像拍攝設備的構造之後，將要參照圖7詳細描述根據本實施例的圖像拍攝設備10的構造。圖7是示 出了根據本實施例的圖像拍攝設備10的硬體構造的示意圖。如圖7所示，根據本實施例的圖像拍攝設備10主要包括圖像拍攝單元110、 DSP (數位訊號處理器)120、顯示單元130以及操作單元160。DSP 120具有信號處理單元 122、記錄再現單元140、控制單元150、切斷位置決定單元190以及圖像轉換單元192的功能。圖像拍攝單元110具有對對象進行拍攝並且輸出所拍攝的圖像的功能。圖像拍攝 單元Iio包括圖像拍攝光學系統111、圖像拍攝元件112、時序發生器113以及光學組件驅 動單元114。圖像拍攝光學系統111是設計為拍攝單一方向對象的通常的光學系統。圖像拍 攝光學系統111包括諸如聚焦透鏡和變焦透鏡的各種透鏡、移除不需要的波長的光學濾波 器、以及諸如光圈的光學組件。從對象入射的光學圖像(對象圖像)經由圖像拍攝光學系 統111的各種光學組件形成在圖像拍攝元件112的曝光表面上。圖像拍攝元件112 (圖像傳 感器)由諸如CCD(電荷耦合器件)或CMOS(互補金屬氧化物半導體)的固態成像元件所 形成。圖像拍攝元件112對於從圖像拍攝光學系統111引導來的光學圖像進行光電轉換， 並輸出表明所拍攝的圖像的電信號(模擬圖像信號)。對圖像拍攝光學系統111的光學組件進行驅動的光學組件驅動單元114機械地連 接到圖像拍攝光學系統111。例如，包括變焦電機114a和聚焦電機114b的光學組件驅動單 元114移動變焦透鏡和聚焦透鏡並調整光圈。光學組件驅動單元114根據如下所述的控制 單元150的指令來驅動圖像拍攝光學系統111的光學組件。TG (時序發生器)113根據控制 單元150的指令來產生圖像拍攝元件112所必需的操作脈衝。例如，TG 113產生各種脈衝， 諸如用於垂直傳輸的二次相位(quadratic-phase)脈衝和場移位脈衝，以及用於水平傳輸 的雙相位(bi-phase)脈衝以及快門脈衝，並將各種脈衝提供給圖像拍攝元件112。通過允 許TG 113驅動圖像拍攝元件112，拍攝了對象圖像。通過允許TG 113來調整圖像拍攝元件 112的快門速度，控制了所拍攝圖像的曝光量或曝光時間(電子快門功能)。
DSP (數位訊號處理器)120是處理所拍攝的圖像或者控制圖像拍攝設備10的操作的運算處理單元。DSP 120包括信號處理單元122。從圖像拍攝元件112輸出的圖像信號 被輸入到DSP 120的信號處理單元122。信號處理單元122對從圖像拍攝元件112輸出的、 所拍攝的圖像的圖像信號執行預定的信號處理，並且將受到預定信號處理的圖像信號輸出 到顯示單元130或記錄再現單元140。例如，信號處理單元122包括模擬信號處理單元、A/ D轉換單元以及數位訊號處理單元(以上單元都沒有示出)。模擬信號處理單元是對圖像信號執行預處理的所謂的模擬前端。例如，模擬信號 處理單元對從圖像拍攝元件112輸出的圖像信號執行⑶S (相關雙取樣)處理、通過可編程 增益放大器(PGA)執行增益處理等。A/D轉換單元將從模擬信號處理單元輸入的模擬圖像 信號轉換為數字圖像信號，並且將數字圖像信號輸出到數位訊號處理單元。數位訊號處理 單元對輸出數字圖像信號執行例如噪聲移除、白平衡調整、顏色校正、邊緣增強或伽馬校正 的數位訊號處理，並且將經處理的數字圖像信號輸出到顯示單元130和記錄再現單元140。 這裡，已經描述了由信號處理單元122執行的模擬信號處理和數位訊號處理，但是本發明 不限於此。例如，圖像拍攝元件112也可以輸出數字圖像信號並且信號處理單元122可以 僅執行數位訊號處理。例如，顯示單元130包括液晶顯示器(IXD)或有機EL顯示器。顯示單元130在控 制單元150的控制之下顯示各種類型的輸入圖像數據。例如，顯示單元130顯示在圖像拍 攝期間拍攝並從信號處理單元122實時輸出的所拍攝的圖像(直通圖像)。之後，當在顯示 單元130上觀察正在拍攝的圖像的同時，使用者可以對圖像拍攝設備10進行操作。在通過 記錄再現單元140再現記錄在存儲卡167中的所拍攝的圖像時，顯示單元130顯示從記錄 再現單元140輸入的再現圖像。因此，使用者可以確認記錄在存儲卡167中的所拍攝的圖 像的細節。記錄再現單元140將作為所拍攝的圖像的數據或者所拍攝的圖像的元數據的各 種類型的數據記錄在記錄介質(諸如存儲卡167)中，並且對記錄在記錄介質中的數據進行 再現。在圖7的示例中，可拆卸地安裝到圖像拍攝設備10上的存儲卡167被示出為記錄介 質。然而，諸如半導體存儲器、光碟或硬碟的盤狀記錄介質可以被用作記錄介質。例如，光 盤可以是藍光光碟、DVD(數字多用途盤)或CD (緊湊型盤)。記錄介質可以被包括在圖像 拍攝設備10中，或者可以是可拆卸地安裝到圖像拍攝設備10的可移除介質。控制單元150被構造為算術處理單元(諸如安裝到DSP 120中的半導體控制器)， 並且整體控制圖像拍攝設備10的操作。控制單元150例如使用DRAM (動態隨機存儲器)152 或快閃記憶體R0M(只讀存儲器)154來執行控制功能。快閃記憶體ROM 154存儲執行控制單元150的各種控制處理的程序。控制單元150根據 程序進行操作並且在使用DRAM 152的同時執行每種控制必要的運算控制處理。程序可以 預先存儲在包括在圖像拍攝設備10內的存儲器單元(例如，快閃記憶體ROM 154)中。程序可以 存儲在被提供給圖像拍攝設備10的可移除記錄介質(諸如盤狀記錄介質或存儲卡)中，或 者可以被經由網絡(諸如LAN或網際網路)下載到圖像拍攝設備10。下文中，將要描述控制單元150的具體控制示例。控制單元150控制圖像拍攝單 元110的TG 113或光學組件驅動單元114，來控制圖像拍攝單元110的圖像拍攝操作。例 如，控制單元150通過調整圖像拍攝光學系統111的光圈、通過設置圖像拍攝元件112的電子快門速度、或者通過設置信號處理單元122的AGC的增益等，來執行自動曝光控制(AE功 能)。控制單元150通過移動圖像拍攝光學系統111的聚焦透鏡，來執行自動聚焦控制，以 自動地調整圖像拍攝光學系統111對於具體對象的焦點。控制單元150通過移動圖像拍攝 光學系統111的變焦透鏡來調整所拍攝的圖像的視角(AF功能)。控制單元150通過記錄 再現單元140來控制在所拍攝的圖像的數據上執行的記錄和再現處理。控制單元150控制 在顯示單元130上的各種類型的顯示數據的顯示。操作單元160具有對圖像拍攝設備10進行操作的用戶界面的功能。例如，操作單 元160包括安裝到圖像拍攝設備10的外部部分上的各種類型的操作按鈕、觸摸板和遙控 器。操作單元160響應於用戶的操作而將指令信號輸出到控制單元150。例如，操作單元 160包括圖1到圖5中示出的操作鍵161、預覽按鈕162、菜單按鈕163、釋放按鈕164、記錄 按鈕165以及變焦開關166。之後，將要描述具有上述構造的圖像拍攝設備10的操作。控制單元150通過執行 記錄在快閃記憶體ROM 154中的程序來控制圖像拍攝設備10的單元。之後如下所述地執行圖像 拍攝設備10的各種類型的操作。(1)自動聚焦(AF)控制在對象圖像經由拍攝光學系統111入射到圖像拍攝元件112上時，圖像拍攝元件 112拍攝在圖像拍攝範圍內的對象圖像。即，圖像拍攝元件112對於通過圖像拍攝光學系 統111而形成在圖像拍攝表面上的光學圖像進行光電轉換，並且輸出表明所拍攝的圖像的 模擬圖像信號。在拍攝圖像時，控制單元150通過對在AF檢測範圍內的圖像信號進行處理 來計算焦點位置，並且向光學組件驅動單元114給出指令，其中圖像拍攝光學系統111的焦 點在該焦點位置處聚焦到所拍攝的圖像的預定AF檢測範圍內的特定對象上。基於控制單 元150的指令，光學組件驅動單元114通過驅動聚焦電機114b並移動聚焦透鏡自動地將圖 像拍攝光學系統111的焦點聚焦到特定對象上。(2)自動曝光(AE)控制在拍攝圖像時，控制單元150在圖像拍攝過程中基於在所拍攝的圖像的預定AE檢 測範圍內的圖像信號的信號水平來計算適合於所拍攝的圖像的曝光量，並且向光學組件驅 動單元114或TG 113給出指令。基於控制單元150的指令，光學組件驅動單元114通過調 整拍攝光學系統111的光圈打開的程度來調整入射到圖像拍攝元件112上的對象圖像的曝 光量。基於控制單元150的指令，TG 113將時序信號提供給圖像拍攝元件112，並且因此通 過時序信號來控制圖像拍攝元件112的快門速度。因此，自動地控制了所拍攝的圖像的曝 光，以獲得所拍攝的圖像的適當的亮度。(3)圖像信號處理在控制單元150的控制下，信號處理單元122對從圖像拍攝元件112輸出的模擬 圖像信號執行模擬信號處理(放大等)，並且之後執行A/D轉換，以將模擬圖像信號轉換為 數字圖像信號。在控制單元150的控制下，信號處理單元122對數字圖像信號執行數字信 號處理，諸如，噪聲移除、白平衡調整、顏色校正、邊緣增強或者伽馬校正。 (4)所拍攝的圖像的顯示處理在信號處理單元122將經處理的圖像信號輸出到顯示單元130之後，顯示單元130 在控制單元150的控制下顯示由圖像信號所表示的圖像拍攝過程中所拍攝的圖像(直通圖像)。在顯示直通圖像(動態圖像)時，使用者可以觀察圖像拍攝方向、觀察角、對象的拍攝 狀態等，並且可以以期望的快門時機來記錄期望對象的所拍攝的圖像。顯示單 元130也在 控制單元150的控制下顯示通過對記錄在記錄介質中的圖像數據進行再現而獲得的圖像。(5)記錄處理在控制單元150的控制下，記錄再現單元140對在所拍攝的圖像執行壓縮記錄處 理。例如，當在動態圖像拍攝模式中按下記錄按鈕165時，記錄再現單元140根據預定壓縮 編碼方法(諸如JPEG(聯合圖像專家組))對表明所拍攝的圖像(動態圖像)的圖像信號 進行壓縮。記錄再現單元140將經壓縮的圖像信號以動態圖像數據的形式記錄在記錄介質 中。當在靜態圖像拍攝模式中按壓釋放按鈕164時，記錄再現單元140響應於來自釋放按 鈕164的釋放信號，根據預定壓縮編碼方法對表明所拍攝的圖像(靜態圖像)的圖像信號 進行壓縮，並且將經壓縮的圖像信號作為靜態圖像數據記錄在記錄介質中。(6)再現處理在控制單元150的控制下，記錄再現單元140對記錄在記錄介質(諸如存儲卡 167)中的圖像進行再現。當在再現模式中從操作單元160輸出再現指令時，記錄再現單元 140對記錄在記錄介質中的經壓縮的圖像進行解壓縮，並且輸出所獲得的再現圖像信號，以 將再現圖像信號顯示在顯示單元130上。(7)各種設置處理圖像拍攝設備10基於由各種傳感器檢測到的外界環境或者使用者對操作單元 160的操作，來設置圖像拍攝設備10的各種功能或者圖像拍攝設備10的操作。圖像拍攝設 備10的示例性功能包括變焦功能、AF功能、AE功能、閃光燈功能、自拍定時功能、連拍圖像 拍攝功能、調整所拍攝圖像的圖像質量或圖像尺寸、快門速度、白平衡等的功能、圖像拍攝 輔助功能、以及顯示功能。1. 4旋轉移動檢測單元和安裝檢測單元的構造之後，將要參照圖7描述根據本實施例的圖像拍攝單元110的旋轉狀態的旋轉檢 測單元170。如圖7所示，圖像拍攝設備10的大部分單元(諸如DSP 120、顯示單元130、操作單 元160以及電源單元(未示出))都安裝在圖像拍攝設備10的主體100的殼體中。另一方 面，圖像拍攝單元110被設置在主體100中，以可以圍繞旋轉軸116旋轉(見圖1到圖3)。根據本實施例的圖像拍攝設備10包括檢測旋轉狀態(諸如圖像拍攝單元110相 對於主體100的旋轉角Θ )的旋轉檢測單元170。例如，旋轉檢測單元170包括設置在主體 100中的旋轉狀態檢測霍爾傳感器172以及設置在圖像拍攝單元110中的磁體174。旋轉狀態檢測霍爾傳感器172存在於主體100的上端部中，並且被設置在與圖像 拍攝單元Iio相鄰的位置處。霍爾傳感器172檢測由設置在圖像拍攝單元110中的磁體 174產生的磁場的磁通量密度。另一方面，磁體174被設置在從圖像拍攝單元110的旋轉軸 116偏離的位置處。通過這種構造，當圖像拍攝單元110繞旋轉軸線116旋轉時，霍爾傳感器172與磁 體174之間的相對位置改變，並且因此由霍爾傳感器172檢測的磁體174的磁場的大小或 方向也改變。因此，通過由霍爾傳感器172檢測磁體174的磁場的大小或方向，可以檢測圖 像拍攝單元110相對於主體100的旋轉狀態(例如，圖像拍攝單元110的旋轉角θ、相對位置等)。霍爾傳感器172將表明所檢測到的磁場的大小或強度的信號輸出到控制單元150， 並且控制單元150基於磁場的大小或方向來判斷圖像拍攝單元110的旋轉狀態。響應於所 檢測的圖像拍攝單元110的旋轉狀態，控制單元150控制對顯示單元130上的所拍攝的圖 像的上、下、右和左進行判斷和顯示的反轉顯示功能。將要在下文中對其進行詳細描述。之後，將要參照圖7描述安裝檢測單元180，該單元檢測轉接20是否安裝到根據本 實施例的圖像拍攝單元110上(下文中，也被稱作「轉接器20安裝或沒有安裝到圖像拍攝 單元110上」)。在本實施例中，如上所述，執行全方位圖像拍攝操作的轉接器20可拆卸地安裝到 圖像拍攝設備10的圖像拍攝單元110上(見圖4)。如圖7所示，通過將轉接器20的裝配 部分23沿著圖像拍攝方向安裝到設置圖像拍攝單元110的前表面上的固定部分117中，將 轉接器20可拆卸地安裝到圖像拍攝單元110上。此時，通過將從轉接器20的裝配部分23 的兩端向內突出的兩個鎖止爪24安裝到形成在圖像拍攝單元110的殼體的兩個側表面上 的凹陷部分115中，可以將轉接器20簡單地固定到圖像拍攝單元110的前表面上。根據本實施例的圖像拍攝設備10包括檢測轉接器20是否安裝到圖像拍攝單元 110上的安裝檢測單元180。例如，如圖7所示，安裝檢測單元180包括設置在圖像拍攝設 備10的圖像檢測單元110中的安裝檢測霍爾傳感器182，以及設置在轉接器20中的磁體 184。磁體184被埋在轉接器20的裝配部分23的一側。安裝檢測霍爾傳感器182存在於 圖像拍攝單元110的前表面(沿著圖像拍攝方向的前側)上，並且設置在與轉接器20的磁 體184相鄰的位置處。霍爾傳感器182檢測由設置在轉接器20中的磁體184產生的磁場 的磁通量密度。

當轉接器20以上述構造安裝到圖像拍攝單元110上時(見圖4)，磁體184設置在 霍爾傳感器182附近。因此，霍爾傳感器182檢測到密度比由磁體184產生的預定磁通量 密度相等或更大的磁場。另一方面，在沒有安裝轉接器20時(見圖4)，霍爾傳感器182沒 有檢測到密度比由轉接器20的磁體184產生的預定磁通量密度相等或更大的磁場。因此， 通過使用由霍爾傳感器182檢測的磁場的強度，可以檢測轉接器20是否安裝到圖像拍攝單 元110上。霍爾傳感器172將表明所檢測的磁場的大小的信號輸出到控制單元150，並且控 制單元150基於磁場的大小來判斷轉接器20是否安裝到圖像拍攝單元110上(安裝或沒 有安裝轉接器20)。控制單元150根據安裝或者沒有安裝轉接器20來改變圖像拍攝設備 10的各種類型的操作設置。在根據本實施例的圖像拍攝設備10中，旋轉檢測單元170檢測圖像拍攝單元110 相對於圖像拍攝設備10的主體100相對旋轉位置的狀態，並且安裝檢測單元180檢測轉接 器20安裝或沒有安裝在圖像拍攝單元110上。以此方式，控制單元150可以基於圖像拍攝 單元110的旋轉狀態或安裝或沒有安裝轉接器20來控制圖像拍攝設備10的旋轉設置。圖 像拍攝設備10的操作設置的示例包括圖像拍攝單元110的圖像拍攝操作的設置(例如，與 圖像拍攝操作相關的圖像拍攝參數的設置)、顯示單元130的顯示操作的設置、以及操作單 元160的用戶操作的控制設置。基於安裝或沒有安裝轉接器20，控制單元150基於全方位圖像拍攝光學系統21的 光學特性來改變圖像拍攝設備10的各種類型的操作設置。以此方式，當轉接器20安裝到 圖像拍攝設備10的圖像拍攝單元110上以執行全方位圖像拍攝操作時，可以將圖像拍攝操作10的操作設置自動地改變為適合於全方位圖像拍攝光學系統21的光學特性的設置。因 此，在不需要用戶在圖像拍攝設備10上執行特定設置操作的狀態下，通過簡單地將轉接器 20安裝到圖像拍攝設備10上，自動地將圖像拍攝設備10控制到適合於全方位圖像拍攝設 置的最優操作設置。1.5圖像轉換處理之後，將要參照圖7到圖9 描述通過根據本實施例的圖像拍攝設備10將環狀圖像 30轉換為全景圖像40的圖像轉換操作。圖8是示出了根據本實施例的比較示例的環狀圖 像30和全景圖像40的說明圖。圖9是示出了根據本實施例的環狀圖像30和全景圖像40 的說明圖。如圖7所示，當DSP 120按照存儲在快閃記憶體ROM 151中的程序操作時，圖像拍攝設備 10的DSP 120具有切斷位置判斷單元190和圖像轉換單元192的功能。在本實施例中，切 斷位置決定單元190和圖像轉換單元192由軟體實現，但是可以通過專用硬體實現。首先，將要描述圖像轉換處理的概述。通過將轉接器20安裝到圖像拍攝設備10 以執行全方位圖像拍攝操作，如圖5所示，產生了通過拍攝圖像拍攝設備10的全方位圖像 而獲得的環狀圖像30。在環狀圖像30中，全方位圖像示出為同心的內圓和外圓之間的環狀 形狀。對象的形狀由於全方位圖像拍攝光學系統21的光學特性而被扭曲為環狀形狀。艮口， 對象被扭曲，以使得環狀圖像30的外邊緣在周向上比環狀圖像30的內圓更多地延伸。為 了矯正對象的扭曲並觀察所拍攝的圖像，有必要執行將環狀圖像30轉換為長矩形的全景 圖像40的圖像轉換處理。在圖像轉換處理中，如圖8和圖9所示，通過在預定切斷位置將環狀圖像30沿其 徑向切斷並將經切斷的環狀圖像展開，而將環狀圖像30轉換為長矩形全景圖像40。這裡， 切斷位置指的是切斷線的位置，環狀圖像30在徑向方向上沿著該切斷線被切斷。例如，通 過基於穿過環狀圖像30的中心點31的豎直線32的切斷線旋轉角φ來表示切斷位置。艮口， 為了將環狀圖像30展開為全景圖像40，沿著穿過環狀圖像30的中心點的切斷線33或34 在徑向方向上切斷環狀圖像30。由穿過環狀圖像30的中心點31的切斷線33或34與豎直 線32形成的角φ指出切斷位置。在圖8的示例中，沿著切斷線33豎直地切斷環狀圖像30 的下部分，並且因此切斷位置由φ=180°表示。另一方面，在圖9的示例中，沿著切斷線34 水平地切斷環狀圖像30的左部分，並且因此切斷位置由φ=270°表示。然而，在環狀圖像30被切斷並且被展開為全景圖像40時，可能在不適當的位置切 斷環狀圖像30。在這種情況下，在所轉換的全景圖像40中可能破壞在環狀圖像30中示出 的對象的連續性。例如，如圖8和圖9所示，在利用圖像拍攝設備10執行圖像拍攝時，因為 對象35存在於操作圖像拍攝設備10的攝影師36面向前方的方向(下文中，被稱作面對方 向)中，所以被拍攝的對象35被拍攝到環狀圖像30的上部分中。另一方面，因為攝影師36 存在於與從圖像拍攝設備10觀察的面對方向相反的方向上，所以攝影師36自己傾向於被 拍攝到環狀圖像30的下部分中。當在將環狀圖像30轉換為全景圖像40時沿著切斷線33切斷環狀圖像30的下部 分時(當切斷位置φ=180°時)，如圖8所示，其中示出了攝影師36自己的部分被切斷。因 此，攝影師的右半部分36a和攝影師的左半部分36b被分割到全景圖像40左側和右側。在 沿著切斷線切斷環狀圖像30的上部分時(切斷位置φ=0°的狀態)，雖然未示出，但是所拍攝的對象35被切斷。因此，關於全景圖像40將被拍攝的對象35分割到左側和右側。以此方式，當在φ=0°或φ=180°的切斷位置處切斷環狀圖像30的上部分或下部分時，全景圖像40中對主要對象(例如，被拍攝的對象35或攝影師36自己)進行分割，並因 此破壞了對象的連續性。然而，根據本實施例的切斷位置決定單元190決定環狀圖像30的切斷位置，以保 持環狀圖像30中的對象的連續性。通過在由切斷位置決定單元190所決定的切斷位置處 切斷環狀圖像並且將所切斷的環狀圖像30展開為長矩形圖像，圖像轉換單元192將環狀圖 像30轉換為全景圖像40。因此，即使在通過展開環狀圖像30而獲得的全景圖像40中，也 可以保持主對象的連續性。例如，在將圖8和圖9中示出的環狀圖像30轉換為全景圖像40時，保持環狀圖像 30中的對象的連續性的切斷位置是在環狀圖像30的左側(φ=270°)或右側(φ=90°)，如 圖9所示。在切斷位置處，切斷線34位於穿過環狀圖像30的中心點31的水平線上。沒有 沿著切斷線34切斷在環狀圖像30的上部分和下部分中的主要對象(例如，被拍攝的對象 35和攝影師36自己)。例如，在將切斷位置確定為在環狀圖像30的左部分(φ=270°)上 時，如圖9所示，在全景圖像40中沒有對拍攝的對象35和攝影師36自己進行分割，並且因 此可以保持對象的連續性。迄今為止已經描述了其中環狀圖像30被沿著在環狀圖像30的切斷位置φ=270° 或φ=90°的位置的切斷線34水平地切斷的示例，但是本發明不限於此。例如，表明切斷位 置的角度φ可以是從90°或270°偏離角α (其中，0° < α < 90° )的角度。S卩，環狀圖 像30的切斷位置也可以是滿足90°-α<φ<90°+α或270°-α<φ<270°+α。之後，可以在不 破壞對象的連續性的狀態下切斷環狀圖像30，並且可以將其展開為全景圖像40。這裡，角 度α是滿足0° < α <90°的預定角。例如，角度α是10°、30°、45°或60°等。可選擇地，在由圖像拍攝設備10產生環狀圖像30時，可以根據圖像拍攝設備10 的圖像拍攝狀態或圖像拍攝環境來改變角度α。因此，因為可以根據圖像拍攝設備10的圖 像拍攝狀態或圖像拍攝環境來適當地調整切斷位置，所以可以適當地保持通過對環狀圖像 30進行轉換而獲得的全景圖像40上的對象的連續性。1.6圖像處理方法之後，將要參照圖10描述由根據本實施例的圖像拍攝設備10執行的圖像處理方 法。圖10是示出了根據本實施例的圖像處理方法的流程圖。如圖10所示，圖像拍攝設備10首先在轉接器20安裝到圖像拍攝單元110上的狀 態下執行全方位圖像拍攝操作(SlOO)。在全方位圖像拍攝操作中，圖像拍攝設備10的全方 位對象被拍攝並且產生環狀圖像30。隨後，圖像拍攝設備10的記錄再現單元140根據預定 壓縮編碼方法來對於環狀圖像30進行壓縮和編碼，並且將環狀圖像30記錄在諸如存儲卡 167的記錄介質中(S102)。隨後，在使用者對操作單元160進行操作並且輸入指令來對圖像拍攝設備10中的 環狀圖像30進行轉換時，圖像拍攝設備10執行如以下S104到SllO中描述的將環狀圖像 30轉換為全景圖像40的圖像轉換處理。圖像拍攝設備10可以響應於預定事件來自動地執 行圖像轉換處理。圖像拍攝設備10的記錄再現單元140首先對存儲在諸如存儲卡167的記錄介質中的環狀圖像30的數據進行再現(S104)。例如，圖像拍攝設備10從諸如存儲卡167的記 錄介質讀取環狀圖像30的數據，並且之後根據預定壓縮編碼方法來解壓縮和解碼數據。
隨後，圖像拍攝設備10的切斷位置決定單元190決定在S104中再現的環狀圖像 30的切斷位置(S106)。此時，切斷位置決定單元190決定環狀圖像30的切斷位置，以即使 在將環狀圖像30轉換為全景圖像40時，仍保持環狀圖像30中的主要對象的連續性。例 如，如圖9所示，將環狀圖像30的切斷位置確定為在環狀圖像30的左側或右側(φ=270° 或φ=90°)。因此，在環狀圖像30的上部分中的被拍攝的對象35的圖像或者在環狀圖像 30的下部分中的攝影師36自己的圖像不被分割。通過在步驟S106中確定的切斷位置處對環狀圖像30進行切斷並且將經切斷的環 狀圖像30展開為長矩形圖像，圖像拍攝設備10的圖像轉換單元192將環狀圖像30轉換為 全景圖像40 (S108)。圖9中示出的全景圖像40是通過轉換處理產生的。隨後，圖像拍攝設備10的記錄再現單元140按照預定壓縮解碼方法對步驟SllO 中產生的全景圖像40進行壓縮和編碼，並且將全景圖像記錄在諸如存儲卡167的記錄介質 中(SllO)。按照根據第一實施例的圖像處理方法，在適當的位置對通過全方位圖像拍攝操作 而獲得的環狀圖像30進行切斷。因此，即使在通過對環狀圖像30進行轉換而獲得的全景 圖像40上，也不分割諸如被拍攝的對象35或攝影師36自己的主對象，並且因此可以保持 主對象的連續性。2.第二實施例之後，將要描述根據本發明的第二實施例的圖像拍攝設備和圖像處理方法。在第 二實施例中，確定環狀圖像30的切斷位置的方法與根據第一實施例的方法不同。其他功能 構造與根據第一實施例的功能構造基本相同，並且將要省略其詳細描述。2. 1圖像轉換處理的概述為了將環狀圖像30轉換為全景圖像40，如上所述，有必要在切斷位置對環狀圖像 30進行切斷並將經切斷的環狀圖像展開為全景圖像。然而，根據圖像拍攝設備10的圖像拍 攝狀態，在對對象進行拍攝並產生環狀圖像30時，在環狀圖像30中存在對象定位的傾向。 圖像拍攝設備10的圖像拍攝狀態的示例包括圖像拍攝設備10的圖像拍攝方向(圖像拍攝 光學系統111的光軸103的方向)與顯示單元130或手柄之間的相對位置關係，以及圖像 拍攝設備10的位置。手柄是用於在執行全方位圖像拍攝操作時用戶用來握持圖像拍攝設 備10的手帶等。在第二實施例中，當圖像拍攝設備10產生環狀圖像30時，切斷位置決定單元190 根據圖像拍攝設備10的圖像拍攝狀態來決定環狀圖像30的切斷位置。此外，圖像轉換單 元192在根據圖像拍攝狀態的切斷位置處對環狀圖像30進行切斷，並且展開經切斷的環狀 圖像30。以此方式，因為可以考慮到根據圖像拍攝狀態的對象布置的傾向而在用戶期望的 切斷位置(在該位置處不存在主要對象)處切斷環狀圖像30，而不會由於轉換為全景圖像 40而破壞對象的連續性。下文中，將要詳細描述在圖像拍攝設備10產生環狀圖像30時，根據圖像拍攝設備 10的圖像拍攝狀態決定環狀圖像30的切斷位置的處理。當圖像拍攝設備10將由全方位圖像拍攝操作所產生的環狀圖像30記錄在記錄介質中(存儲卡167等)時，圖像拍攝設備10 將圖像拍攝狀態信息記錄為環狀圖像30的、與 環狀圖像30相關的附加信息。圖像拍攝狀態信息指的是當圖像拍攝設備10產生環狀圖像30時表明圖像拍攝設 備10的狀態的信息。圖像拍攝狀態信息的示例包括表明在圖像拍攝時在圖像拍攝設備10 的圖像拍攝方向與顯示單元130或手柄之間的位置關係的信息，以及表明圖像拍攝設備10 的位置的關係。例如，圖像拍攝單元110相對於主體100的旋轉角θ可以被用作表明圖像 拍攝方向與顯示單元130或手柄之間的位置關係的信息。位置傳感器(加速度傳感器、陀 螺儀傳感器等)可以被安裝到圖像拍攝設備10中，以通過由位置傳感器來檢測圖像拍攝設 備10的位置(例如，滾轉角α、俯仰角β或偏航角Y)來獲得表明在拍攝時圖像拍攝設備 10的位置的信息。隨後，在將環狀圖像30轉換為全景圖像40時，圖像拍攝設備10從記錄介質讀取 環狀圖像30和增加到環狀圖像30中的圖像拍攝狀態，並對環狀圖像30和圖像拍攝狀態信 息進行再現。隨後，基於圖像拍攝狀態信息，圖像拍攝設備10的切斷位置決定單元190將 可能保持對象的連續性的位置決定為環狀圖像30的切斷位置。之後，圖像轉換單元192通 過在預定切斷位置處對環狀圖像30進行切斷並將經切斷的環狀圖像30展開，而將環狀圖 像30轉換為全景圖像40。下文中，將要詳細描述當圖像拍攝設備10產生環狀圖像30時， 根據圖像拍攝設備10的圖像拍攝狀態而確定環狀圖像30的切斷位置的具體示例。2. 2根據圖像拍攝方向與顯示單元130的位置關係來決定切斷位置的示例1將要參照圖IlA到圖13Β首先描述根據在通過圖1到圖5中示出的圖像拍攝設備 10來執行全方位圖像拍攝操作時的圖像拍攝方向與顯示單元130的位置關係來決定切斷 位置(例如，圖像拍攝單元110的旋轉狀態)的示例。在圖1到圖5中示出的圖像拍攝設備10中，如上所述，圖像拍攝單元110可以相 對於主體100旋轉，並且圖像拍攝單元110的方向(圖像拍攝方向)和顯示單元130的顯 示屏的方向可以變化。在具有這種可旋轉機構的圖像拍攝設備10中，通過將圖像拍攝單元 110和顯示單元130的方向確定為處於相同方向，如圖3所示，使用者(攝影師)可以在觀 察顯示在顯示單元130上的使用者的直通圖像的同時拍攝他自己的照片(自拍)。具有自 拍功能的圖像拍攝設備10具有在使用者拍攝他自己的照片時使得在顯示單元130上的所 拍攝的圖像的上、下、左、右部分反轉並顯示的反轉顯示功能。反轉顯示功能使得在使用者 拍攝他自己的照片時所拍攝的圖像能夠反轉地顯示，並且因此可以在對於使用者的自然方 向上顯示圖像。將要參照圖IlA和圖IlB描述在普通圖像拍攝時的反轉顯示功能。當圖像拍攝單 元110的方向確定為在圖像拍攝設備10的前方向上時(旋轉角θ = 0° )，如圖IlA所 示，對在圖像拍攝設備10的前表面上的對象富士山進行拍攝，並且將所拍攝的富士山的圖 像132顯示在顯示單元130上。在這種情況下，因為圖像拍攝單元110的旋轉角θ小於基 準角θο(例如)，所以控制單元150取消了反轉顯示功能。因此，所拍攝的圖 像132在上下方向或左右方向上都沒有反轉地顯示。另一方面，當圖像拍攝單元110被旋轉並且方向確定為在圖像拍攝設備的後方向 上時(旋轉角θ =180° )，如圖IlB所示，對在圖像拍攝設備10的後方向上的使用者的 面部進行拍攝，並且因此將所拍攝的使用者的圖像134顯示在顯示單元130上。在這種情況下，因為圖像拍攝單元110的旋轉角Θ等於或大於基準角QtlHi^n, θ0=120° )，所 以控制單元150激活反轉顯示功能。因此，反轉顯示功能使得所拍攝的圖像134能夠在上 下方向上和左右方向上都反轉地顯示。在圖IlB中，也顯示了沒有反轉地顯示的所拍攝的 圖像136來作為參考。因此，通過在顯示單元130上在上下方向上和左右方向上反轉地顯 示所拍攝的圖像134，在使用者以180°附近的旋轉角θ來拍攝他自己的照片時，使用者的 面部像是示出在鏡子上那樣顯示在顯示單元130上，並且因此使用者可以容易地調整觀察 角度。反轉顯示功能是沿著上下方向和左右方向使得所拍攝的圖像反轉的功能，但是本 發明不限於這個示例。例如，反轉顯示功能可以是僅在上下方向上使得所拍攝的圖像反轉 的功能。可選擇地，當圖像拍攝單元110的旋轉方向是主體100的水平方向時，反轉顯示功 能可以是僅在左右方向上使得圖像反轉的功能。之後，如圖12Α、圖12Β、圖13Α和圖13Β所示，將要描述將轉接器20安裝到圖像拍 攝單元110上，以在具有圖像拍攝單元110的旋轉機構和反轉顯示功能的圖像拍攝設備10 中執行全方位圖像拍攝操作的情況。即使在執行全方位圖像拍攝操作時，反轉顯示功能也 使得能夠根據圖像拍攝單元110的圖像拍攝方向與顯示單元130之間的相對位置關係(例 如，圖像拍攝單元110的旋轉角度θ )來反轉地顯示環狀圖像30。例如，如圖12Α和圖13Α所示，假設以下狀態攝影師保持圖像拍攝設備10以使得 主體1 00的顯示單元130幾乎平行於豎直方向(即，攝影師豎直地保持圖像拍攝設備)時、 在安裝有轉接器20的圖像拍攝單元110的旋轉角θ為90°時來執行全方位圖像拍攝的 狀態(第一圖像拍攝狀態)。此時，圖像拍攝設備10的圖像拍攝方向(圖像拍攝光學系統 111的光軸103的方向)被確定為豎直地向上，並且垂直於顯示單元130的方向。因為要被 拍攝的對象35在第一圖像拍攝狀態下存在於攝影師的面對方向上，所以被拍攝的對象35 被顯示在通過全方位圖像拍攝操作而獲得的環狀圖像30的上部分中，並且攝影師36自己 被顯示在環狀圖像30的下部分中。假設攝影師將圖像拍攝狀態從第一圖像拍攝狀態改變到圖12Β和圖13Β中示出的 第二圖像拍攝狀態，以在相同的情景上執行全方位圖像拍攝操作。在第二圖像拍攝狀態下， 如圖12Β和圖13Β所示，使用者使得圖像拍攝設備10水平地向下傾斜並保持，以使得顯示 單元130基本與水平方向平行，並且圖像拍攝單元110朝向攝影師旋轉，以使得旋轉角θ 改變為180°。此時，顯示單元130的方向被確定為豎直地向上，並且平行於圖像拍攝設備 10的圖像拍攝方向。在第二圖像拍攝狀態下，將通過由反轉顯示功能使得環狀圖像30在 上、下、左、右方向上反轉而獲得的環狀圖像39顯示在顯示單元130上。攝影師36被顯示 在環狀圖像39的上部分中，並且被拍攝的對象35被顯示在環狀圖像的下部分中。當在反轉地顯示環狀圖像30時環狀圖像30的切斷位置通常固定在恆定的位置 (例如，環狀圖像30的左側被沿著φ=270°的切斷線37切斷)時，通過對圖12Α中示出的 環狀圖像30進行轉換而獲得的全景圖像40和通過對圖12Β中示出的環狀圖像39進行轉 換而獲得的全景圖像40可能變得彼此不同。因此，因為即使以相同方向拍攝相同的情景也 會產生不同的全景圖像40，所以攝影師可能覺得不舒服。然而，在本實施例中，在圖12Β中示出的反轉顯示的環狀圖像39的切斷位置被改 變到與圖12Α中示出的環狀圖像30的切斷位置(φ=270°)相對稱的位置(φ=90°)，並且之後沿著切斷線38對環狀圖像39的右側進行切斷。因此，通過在使用者期望的相同切斷 位置處對通過拍攝相同的情景而產生的兩個環狀圖像(圖12A中示出的環狀圖像30和圖 12B中示出的反轉顯示的環狀圖像39)進行切斷，可以獲得相同的全景圖像40。為了確定切斷位置，圖像拍攝設備10將在產生兩個環狀圖像30和39時的圖像拍 攝單元110的各自的旋轉角θ存儲為圖像拍攝狀態信息。切斷位置決定單元190根據圖 像拍攝單元110 的旋轉角θ來決定切斷位置(角φ)。例如，當圖像拍攝單元110的旋轉角 θ小於120°並且環狀圖像沒有被反轉顯示時，如圖12Α和圖13Α所示，切斷位置決定單元 190將環狀圖像30的切斷位置決定為在環狀圖像30的左側上的切斷線37(φ=270°)。另 一方面，當圖像拍攝單元110的旋轉角θ等於或大於120°並且反轉顯示環狀圖像時，如圖 12Β和圖13Β所示，切斷位置決定單190將環狀圖像39的切斷位置決定為在環狀圖像39的 右側上的切斷線38(φ=90°)。圖像轉換單元192在預定切斷位置(φ=270°或90° )處 切斷環狀圖像30或39，並且將經切斷的環狀圖像展開為全景圖像40。在本實施例中，根據在產生環狀圖像30時的圖像拍攝方向與顯示單元130的方向 之間的相對位置關係(例如，圖像拍攝單元110的旋轉角Θ )來決定環狀圖像30和39的 切斷位置(φ)。因此，因為都在適合於相對位置關係的切斷位置處將環狀圖像30和39切 斷和展開，所以可以產生不會使得使用者覺得不愉快的全景圖像40，而不破壞對象的連續 性。2. 3根據圖像拍攝方向與顯示單元130的位置關係來決定切斷位置的示例2之後，將要參照圖14Α到圖14C描述基於在通過根據本發明的另一個實施例的圖 像拍攝設備11執行全方位圖像拍攝操作時的圖像拍攝方向與顯示單元130之間的位置關 系(例如，顯示單元130的旋轉狀態)來確定切斷位置的示例。圖14Α到圖14C是示出了 根據本發明的另一個實施例的圖像拍攝設備11的立體圖。圖14Α到圖14C中示出的圖像拍攝設備11與根據第一實施例的圖像拍攝設備10 的區別在於代替圖像拍攝單元Iio設置了使得顯示單元130旋轉的旋轉機構。其他功能構 造與第一實施例基本相同，並且將要省略其詳細描述。如圖14Α到圖14C所示，圖像拍攝設備11包括使得顯示單元130相對於主體100 旋轉的旋轉機構。通過由旋轉機構使得顯示單元130旋轉，可以將顯示單元130的顯示屏 的方向確定為任何期望的方向，諸如，圖像拍攝設備11的前表面101 (在圖像拍攝方向上)、 後表面102 (在攝影師那一側)、上表面104或下表面105。在正常圖像拍攝操作中，通過使 得顯示單元130的顯示屏朝向圖像拍攝設備11的後表面102 (在攝影師那一側)，攝影師 可以在觀察顯示在顯示單元130上的所拍攝的圖像的同時，對於位置朝向圖像拍攝設備11 的前表面101(在攝影師的面向方向上)的對象拍攝照片。在自拍操作中，通過使得顯示單 元130的顯示屏的方向確定為朝向圖像拍攝設備11的前表面101，使用者可以在觀察顯示 在顯示單元130上的所拍攝的他自己的圖像的同時，給他自己拍照。圖像拍攝設備11也具有參照圖IlA和圖IlB描述的反轉顯示功能。因此，在自拍 操作中，反轉顯示功能使得顯示在顯示單元130上的所拍攝的圖像被以上、下、左和右方向 反轉的方式顯示。根據第一實施例的旋轉檢測單元170 (見圖7)檢測圖像拍攝單元110相 對於主體100的旋轉狀態。然而，圖14Α到圖14C中示出的圖像拍攝設備11的旋轉檢測單 元170檢測顯示單元130相對於主體100的旋轉狀態(旋轉角Ψ)。以此方式，控制單元150基於顯示單元130的旋轉狀態來反轉地顯示所拍攝的圖像(環狀圖像30)。 之後，將要描述在圖14A到14C中示出的圖像拍攝設備11的全方位圖像拍攝操 作。圖像拍攝設備11的圖像拍攝單元110不旋轉並且是固定的(見圖14A)，但是可移除的 轉接器20可以像第一實施例那樣安裝到圖像拍攝單元110上(見圖14B和圖14C)。在轉 接器20安裝到圖像拍攝單元110上時，圖像拍攝設備11可以使用轉接器20的全方位圖像 拍攝光學系統21來執行全方位圖像拍攝操作。在執行全方位圖像拍攝操作時，如果14A到 14C所示，通過設置圖像拍攝設備10以使得圖像拍攝光學系統111的光軸103的方向(圖 像拍攝方向)的方向確定為向上，可以拍攝包括轉接器20的水平面內的全方位(360° )對 象。即使在通過圖像拍攝設備11執行全方位圖像拍攝操作時，仍通過反轉顯示功能 響應於顯示單元130的旋轉角而將環狀圖像30反轉地顯示在顯示單元130上。例如，當顯 示單元130的顯示屏的方向確定為與圖像拍攝方向相反(附圖中的向下方向)時(Ψ = 0° )，如圖14B所示，控制單元150不在顯示單元130上反轉地顯示環狀圖像30。另一方 面，當顯示單元130的顯示屏的方向確定為圖像拍攝方向(附圖中的向上方向)時(Ψ = 180° )，如圖14C所示，控制單元150在顯示單元130上反轉地顯示環狀圖像30。與圖13A和圖13B中示出的圖像拍攝設備10相似，圖14A到圖14C中示出的圖像 拍攝設備11將在全方位圖像拍攝操作中獲得的顯示單元130的旋轉角Ψ作為圖像拍攝狀 態信息而進行存儲。切斷位置決定單元190響應於顯示單元130的旋轉角Ψ而決定環狀 圖像30的切斷位置(角度φ )。例如，當顯示單元130的旋轉角Ψ為0°並且環狀圖像沒 有反轉顯示時，如圖14Β所示，切斷位置決定單元190將環狀圖像30的切斷位置決定為在 環狀圖像的左側上的切斷線(φ=270°)(未示出)。另一方面，當顯示單元130的旋轉角ν 為180°並且環狀圖像反轉顯示時，如圖14C所示，切斷位置決定單元190將環狀圖像30的 切斷位置決定為在環狀圖像的右側上的切斷線38 (φ=90°)(未示出)。之後，圖像轉換單 元192在所決定的切斷位置(φ= 270°或90° )處對環狀圖像30進行切斷，並且將經切斷 的環狀圖像30展開為全景圖像40。在圖14Α到圖14C的示例中示出的圖像拍攝設備11中，根據在產生環狀圖像30 時的圖像拍攝方向與顯示單元130的方向之間的相對位置關係(例如，顯示單元130的旋 轉角Ψ)來決定環狀圖像30的切斷位置(φ)。因此，因為可以在適合於相對位置關係的切 斷位置出切斷並展開環狀圖像30，所以可以產生使用者不覺得不舒服的全景圖像40，而不 需要破壞對象的連續性。2. 4根據圖像拍攝方向與手柄的位置關係來決定切斷位置的示例之後，將要參照圖15描述一種示例，其中，根據在由根據本發明的另一個實施例 的圖像拍攝設備12執行全方位圖像拍攝操作時的圖像拍攝方向與圖像拍攝設備12的手柄 之間的位置關係，來決定切斷位置。圖15是示出了根據本發明的另一個實施例的圖像拍攝 設備12的立體圖。如圖15所示，圖像拍攝設備12被構造為例如包括大致圓柱形殼體106的視頻攝 像機。在使用圖像拍攝設備12來執行一般圖像拍攝操作時，攝影師通過將右手從下側穿過 安裝在殼體106的一側上的手帶107而握持圖像拍攝設備12。手帶107對應於圖像拍攝設 備12的手柄。之後，攝影師在圖像拍攝設備12的圖像拍攝方向(圖像拍攝光學系統111的光軸103的方向)上 拍攝期望的對象的一般照片。在轉接器20被安裝到圖像拍攝設備12上以執行全方位圖像拍攝操作時，攝影師 通過將右手從上側穿過手帶107來握持圖像拍攝設備12，以使圖像拍攝方向確定為向上， 並且使得顯示單元130旋轉，以將顯示單元130的方向確定為朝向他自己。之後，攝影師可 以使用手帶107來穩定地握持圖像拍攝設備12，並且也可以在觀察顯示單元130上的環狀 圖像39的同時執行全方位圖像拍攝操作。在該圖像拍攝狀態下，因為攝影師位於面向圖像拍攝設備12的上表面108的位置 處，所以攝影師的面對方向變為圖像拍攝設備12的底表面方向(顯示單元130的後表面的 方向)。因此，在顯示在顯示單元130的環狀圖像39中，攝影師36自己位於環狀圖像39的 上部分中並且在攝影師的面向方向上拍攝的對象35位於環狀圖像39的下部分中。以此方式，根據圖像拍攝設備12的圖像拍攝方向與手柄(手帶107)之間的相對 位置關係，可以確定在環狀圖像39中的對象的配置。因此，在根據相對位置關係來決定環 狀圖像39的切斷位置時，可以將環狀圖像39展開為全景圖像40，而不需要切斷環狀圖像 39中的主要對象。基於表明圖像拍攝方向與手柄之間的相對位置關係的信息，圖像拍攝設備12的 切斷位置決定單元190將環狀圖像39中的主要對象不被切斷的位置決定為環狀圖像的切 斷位置。例如，切斷位置決定單元190決定環狀圖像39的切斷位置，以使得環狀圖像39 的左側被沿著切斷線37切斷或者環狀圖像39的右側被沿著切斷線38切斷(φ=270°或 90° )。圖像轉換單元192在預定切斷位置處(φ=270°或90° )切斷環狀圖像39，並且 使得經切斷的環狀圖像39展開為全景圖像40。因此，因為可以在適合於相對位置關係的切 斷位置處將環狀圖像39切斷並展開，可以產生全景圖像40，而不破壞對象的連續性。3 總結迄今為止已經描述了根據本發明的優選實施例的圖像拍攝設備10、11和12及其 圖像處理方法。根據本實施例，在將全方位圖像拍攝操作中產生的環狀圖像30或39轉換 為全景圖像40時，將環狀圖像30或39的切斷位置決定為在環狀圖像30的左側或右側上， 以保持對象的連續性。因此，可以將環狀圖像30或39展開為全景圖像40，而不需要破壞環 狀圖像30或39中的主圖像的連續性。根據第二實施例，在產生環狀圖像30或39時，基於增加到環狀圖像30或39中的 圖像拍攝狀態信息，將環狀圖像30或39的切斷位置決定為適合於圖像拍攝狀態的位置。例 如，基於在執行全方位圖像拍攝操作時的圖像拍攝設備10、11或12的圖像拍攝方向與顯示 器130或手柄之間的相對位置關係來決定環狀圖像30或39的切斷位置。因此，考慮到對 象的定位根據圖像拍攝狀態的傾向，可以將環狀圖像30或39的切斷位置確定為適當的位 置。因此，在將環狀圖像30或39展開為全景圖像40時，可以更可靠地保持對象的連續性。迄今為止已經參考附圖描述了本發明的優選實施例，但是本發明不限於此。對於 本領域技術人員很明顯地，可以在權利要求的範圍中描述的技術精神內進行各種修改和替 換，並且應該理解這些修改和替換當然屬於本發明的技術範圍。在上述實施例中，例如，已經舉例說明了兩次反射型全方位圖像拍攝光學系統21 和一次反射型全方位圖像拍攝光學系統25，但是根據本發明的實施例的全方位圖像拍攝光 學系統不限於此。例如，可以使用將來自對象的光反射三次或更多次的全方位圖像拍攝光學系統21。全方位圖像拍攝光學系統的反射表面、透過表面等的形狀不限於所示出的示例， 並且可以在設計中任意地調整。在根據上述實施例的圖像拍攝設備10、11和12中，包括全方位圖像拍攝光學系統 21的轉接器20被可拆卸地安裝，但是本發明不限於此。全方位圖像拍攝設備可以是其中具 有全方位圖像拍攝光學系統的圖像拍攝設備，只要全方位圖像拍攝光學系統能夠執行全方 位圖像拍攝操作以產生環狀圖像。即，根據本發明的實施例的產 生環狀圖像的圖像拍攝設 備可以是專用於全方位圖像拍攝操作的圖像拍攝設備。圖像拍攝設備不限於零售的數字照 相機，但是可以是監視攝像機或用於商業目的的內窺鏡的圖像拍攝設備。在上述實施例中，迄今為止已經描述了其中根據本發明實施例的圖像處理設備應 用到圖像拍攝設備10、11或12並且在全方位圖像拍攝操作中產生環狀圖像30的圖像拍攝 設備自身將環狀圖像30轉換為全景圖像40的示例。然而，根據本發明的實施例的圖像處 理設備不限於此。例如，圖像處理設備可以應用到具有圖像處理功能的任何電子設備，諸如 個人計算機、行動電話、可攜式視頻/語音播放器、電視接收器、視頻記錄/再現設備、遊戲 主機、數字照片相框設備或者車載導航設備。當圖像處理設備不是全方位圖像拍攝設備時，可以經由諸如存儲卡167的記錄介 質或諸如網際網路或區域網的通信網絡將由全方位圖像拍攝設備產生的環狀圖像的數據提 供給圖像處理設備。全方位圖像拍攝設備可以將圖像拍攝狀態信息增加到所產生的環狀圖 像的數據中，並且圖像處理設備可以基於被增加到環狀圖像的數據中的圖像拍攝狀態信息 來決定環狀圖像的切斷位置。本申請含有涉及2009年12月28日遞交給日本專利局的日本優先專利申請JP 2009-298946中公開的主題，並且通過引用將其結合在這裡。本領域的技術人員可以理解，可以根據設計需要和其他因素來進行各種修改、結 合、子結合和替換，只要它們在權利要求的精神或其等價範圍內。
權利要求
1.一種圖像處理設備，包括切斷位置決定單元，其決定沿著徑向方向切斷環狀圖像以保持所述環狀圖像中的對象 的連續性的切斷位置，所述環狀圖像由全方位圖像拍攝設備產生；以及圖像轉換單元，其通過在由所述切斷位置決定單元決定的所述切斷位置處對所述環狀 圖像進行切斷並且將經切斷的環狀圖像展開，而將所述環狀圖像轉換為長矩形全景圖像。
2.根據權利要求1所述的圖像處理設備，其中，所述切斷位置決定單元決定所述切斷 位置在所述環狀圖像的左側還是右側上。
3.根據權利要求1所述的圖像處理設備，其中，所述切斷位置決定單元基於在所述全 方位圖像拍攝設備產生所述環狀圖像時表明所述全景圖像拍攝設備的狀態的圖像拍攝狀 態信息來決定所述切斷位置。
4.根據權利要求3所述的圖像處理設備，其中，所述圖像拍攝狀態信息包括表明在所 述全方位圖像拍攝設備產生所述環狀圖像時的所述全方位圖像拍攝設備的圖像拍攝方向 與所述全方位圖像拍攝設備的顯示單元之間的相對位置關係的信息。
5.一種圖像處理方法，包括以下步驟決定沿著徑向方向切斷環狀圖像以保持所述環狀圖像中的對象的連續性的切斷位置， 所述環狀圖像由全方位圖像拍攝設備產生；以及通過在所決定的切斷位置處對所述環狀圖像進行切斷並將經切斷的環狀圖像展開，而 將所述環狀圖像轉換為長矩形全景圖像。
6.一種程序，其使得計算機執行以下步驟決定沿著徑向方向切斷環狀圖像以保持所述環狀圖像中的對象的連續性的切斷位置， 所述環狀圖像由全方位圖像拍攝設備產生；以及通過在所決定的切斷位置處對所述環狀圖像進行切斷並將經切斷的環狀圖像展開，而 將所述環狀圖像轉換為長矩形全景圖像。
全文摘要
本發明提供了圖像處理設備、圖像處理方法以及程序。一種圖像處理設備，包括切斷位置決定單元，其決定沿著徑向方向切斷環狀圖像以保持環狀圖像中的對象的連續性的切斷位置，環狀圖像由全方位圖像拍攝設備產生；以及圖像轉換單元，其通過在由切斷位置決定單元決定的切斷位置處對環狀圖像進行切斷並且將經切斷的環狀圖像展開，而將環狀圖像轉換為長矩形全景圖像。
文檔編號H04N5/232GK102111545SQ20101060906
公開日2011年6月29日 申請日期2010年12月21日 優先權日2009年12月28日
發明者齋藤優司, 桶川秀治 申請人:索尼公司