圖像處理設備、方法以及程序的製作方法

2023-06-20 17:34:06 1

專利名稱：圖像處理設備、方法以及程序的製作方法
技術領域：
本發明涉及一種圖像處理設備、方法以及程序，並且更具體地，涉及一種被設計成使得可以呈現具有不同視差的立體圖像的圖像處理設備、方法以及程序。
背景技術：
近年來，隨著數位照相機的流行，捕獲大量照片的用戶數量增加。另外，還需要大量捕獲的照片的高效呈現方法。例如，所謂的全景圖像是已知作為高效呈現捕獲的照片的方式。全景圖像是通過並排布置多個靜止圖像以使得同一對象以重疊方式出現在靜止圖像中而獲得的單個靜止圖像，其中，該多個靜止圖像是通過當在特定方向上搖攝(pan)圖像捕獲設備的同時捕獲圖像而獲得的(參見例如PTL1)。這樣的全景圖像允許顯示比標準圖像捕獲設備捕獲的單個靜止圖像寬的範圍 (視角)作為對象，從而實現了對象的全景圖像的更高效的顯示。此外，在當搖攝圖像捕獲設備的同時捕獲多個靜止圖像以便獲得全景圖像的情況下，若干個靜止圖像可包括同一對象。在這樣的情況下，不同靜止圖像中的同一對象是在不同位置捕獲的。因此，出現了視差。使用此，從多個靜止圖像生成具有視差的兩個圖像(下文中被稱作立體圖像)。因此，使用雙凸透鏡方法等來同時顯示圖像，以使得可以立體地顯示要捕獲的對象。引用列表專利文獻PTL 1 日本專利第3168443號

發明內容
技術問題同時，在要顯示立體圖像的情況下，可能需要將構成立體圖像的兩個圖像之間的視差(視點之間的距離)的幅值改變成期望的幅值。然而，上述技術沒有考慮要生成的立體圖像的視差，因此無法滿足這樣的要求。本發明是考慮到這樣的情形而做出的，並且旨在實現根據用戶的要求而呈現具有不同視差的立體圖像。問題的解決方案本發明的一方面的圖像處理設備包括位置信息生成裝置，用於基於通過在移動圖像捕獲裝置的同時使用圖像捕獲裝置捕獲圖像而獲得的多個攝影圖像來生成位置信息， 該位置信息表示當多個攝影圖像並排布置在特定平面中以使得包括在不同攝影圖像中的同一對象以重疊方式出現時，多個攝影圖像之間的相對位置關係；條形圖像生成裝置，用於在多個攝影圖像基於位置信息而並排布置在平面中的情況下，通過根據攝影圖像當中的攝影圖像中的第一參考位置至第三參考位置，在攝影圖像中剪裁與另一攝影圖像中的第一參考位置至第三參考位置對應的第一區域至第三區域，來從多個攝影圖像中的每個生成第一條形圖像至第三條形圖像，其中該另一攝影圖像被並排布置以便與攝影圖像重疊；全景圖像生成裝置，用於通過並排布置和組合從多個攝影圖像獲得的第一條形圖像至第三條形圖像，生成具有視差的第一全景圖像至第三全景圖像，其中，在第一全景圖像至第三全景圖像中，顯示當捕獲多個攝影圖像時要捕獲的圖像捕獲區中的同一區域；以及選擇裝置，用於從第一全景圖像至第三全景圖像當中選擇兩個全景圖像，其中，第一參考位置在攝影圖像中位於第二參考位置和第三參考位置之間，並且從第一參考位置到第二參考位置的距離不同於從第一參考位置到第三參考位置的距離。該圖像處理設備還可以包括顯示控制裝置，用於通過使得同時顯示選擇裝置從第一全景圖像至第三全景圖像當中選擇的兩個全景圖像，使得立體地顯示圖像捕獲區中的同一區域。條形圖像生成裝置可以被使得針對多個攝影圖像，當在特定方向上移動攝影圖像中的第一區域至第三區域的同時，從攝影圖像生成多個第一條形圖像至多個第三條形圖像，並且全景圖像生成裝置可以被使得針對每個第一區域至每個第三區域的位置，生成第一全景圖像至第三全景圖像，以生成具有多個第一全景圖像至多個第三全景圖像的圖像群，其中，在多個第一全景圖像至多個第三全景圖像中，顯示圖像捕獲區中的同一區域。位置信息生成裝置可以被使得使用攝影圖像當中的攝影圖像中的多個預定塊區域，通過從在早於該攝影圖像的時刻捕獲的攝影圖像搜索與多個塊區域對應的塊對應區域中的每個，來生成位置信息。位置信息生成裝置可以被使得基於多個塊區域之間的相對位置關係和多個塊對應區域之間的相對位置關係，通過檢測包括運動對象的塊區域並且通過在檢測到包括運動對象的塊區域的情況下，使用與所檢測到的塊區域不同的塊區域而從多個塊區域中搜索對應的塊對應區域，來生成位置信息。本發明的一方面的圖像處理方法或程序包括如下步驟基於通過在移動圖像捕獲裝置的同時使用圖像捕獲裝置捕獲圖像而獲得的多個攝影圖像來生成位置信息，該位置信息表示當多個攝影圖像並排布置在特定平面中以使得包括在不同攝影圖像中的同一對象以重疊方式出現時，多個攝影圖像之間的相對位置關係；在多個攝影圖像基於位置信息而並排布置在平面中的情況下，通過根據攝影圖像當中的攝影圖像中的第一參考位置至第三參考位置，在攝影圖像中剪裁與另一攝影圖像中的第一參考位置至第三參考位置對應的第一區域至第三區域，來從多個攝影圖像中的每個生成第一條形圖像至第三條形圖像，其中該另一攝影圖像被並排布置以便與攝影圖像重疊；通過並排布置和組合從多個攝影圖像獲得的第一條形圖像至第三條形圖像，生成具有視差的第一全景圖像至第三全景圖像，其中， 在第一全景圖像至第三全景圖像中，顯示當捕獲多個攝影圖像時要捕獲的圖像捕獲區中的同一區域；以及從第一全景圖像至第三全景圖像當中選擇兩個全景圖像，其中，第一參考位置在攝影圖像中位於第二參考位置和第三參考位置之間，並且從第一參考位置到第二參考位置的距離不同於從第一參考位置到第三參考位置的距離。在本發明的一方面中，基於通過在移動圖像捕獲裝置的同時使用圖像捕獲裝置捕獲圖像而獲得的多個攝影圖像來生成位置信息，該位置信息表示當多個攝影圖像並排布置在特定平面中以使得包括在不同攝影圖像中的同一對象以重疊方式出現時，多個攝影圖像之間的相對位置關係；在多個攝影圖像基於位置信息而並排布置在平面中的情況下，通過根據攝影圖像當中的攝影圖像中的第一參考位置至第三參考位置，在攝影圖像中剪裁與另一攝影圖像中的第一參考位置至第三參考位置對應的第一區域至第三區域，來從多個攝影圖像中的每個生成第一條形圖像至第三條形圖像，其中該另一攝影圖像被並排布置以便與攝影圖像重疊；通過並排布置和組合從多個攝影圖像獲得的第一條形圖像至第三條形圖像，生成具有視差的第一全景圖像至第三全景圖像，其中，在第一全景圖像至第三全景圖像中，顯示當捕獲多個攝影圖像時要捕獲的圖像捕獲區中的同一區域；從第一全景圖像至第三全景圖像當中選擇兩個全景圖像；以及第一參考位置在攝影圖像中位於第二參考位置和第三參考位置之間，並且從第一參考位置到第二參考位置的距離不同於從第一參考位置到第三參考位置的距離。本發明的有益效果根據本發明的一方面，可以根據用戶的要求而呈現具有不同視差的立體圖像。


圖1是描述捕獲攝影圖像的方式的圖。
圖2是描述圖像捕獲期間的視差的圖。
圖3是示出應用了本發明的圖像捕獲設備的實施例的示例配置的圖。
圖4是示出信號處理單元的示例配置的圖。
圖5是描述立體全景運動圖像再現處理的流程圖。
圖6是描述攝影圖像的位置對準的圖。
圖7是描述中心坐標的計算的圖。
圖8是描述條形圖像的剪裁的圖。
圖9是描述全景運動圖像的生成的圖。
圖10是示出計算機的示例配置的圖。
具體實施例方式在下文中，將參照附圖描述應用了本發明的實施例。[立體全景運動圖像的描述]應用了本發明的圖像捕獲設備由例如攝像裝置等構成，並且從在移動圖像捕獲設備的狀態下由圖像捕獲設備連續捕獲的多個攝影圖像生成立體全景運動圖像。立體全景運動圖像由具有視差的兩個全景運動圖像構成。全景運動圖像是具有多個全景圖像的圖像群，在該圖像群中，在比真實空間中的圖像捕獲範圍(視角)寬的範圍中的區域被顯示作為對象，在該真實空間內，圖像捕獲設備可以以單次圖像捕獲來捕獲圖像。因此，如果構成全景運動圖像的每個全景圖像被認為是一幀的圖像，則全景運動圖像可以被視為是單個運動圖像，或者如果構成全景運動圖像的每個全景圖像被認為是單個靜止圖像，則全景運動圖像可以被視為是靜止圖像群。在下文中，為了方便描述，描述將假設全景運動圖像是運動圖像而繼續。在用戶希望使得圖像捕獲設備生成立體全景運動圖像的情況下，用戶操作圖像捕獲設備，以捕獲用於生成立體全景運動圖像的攝影圖像。
例如，如圖1所示，在攝影圖像的捕獲期間，用戶在圍繞迴轉中心Cll在圖中從右到左迴轉(搖攝)圖像捕獲設備11的同時，使得圖像捕獲設備11連續捕獲對象的圖像，其中圖像捕獲設備11的光學透鏡指向圖中的前方。此時，用戶調整圖像捕獲設備11的迴轉速度，以使得同一靜止對象包括在要連續捕獲的多個攝影圖像中。以上述方式在移動圖像捕獲設備11的同時捕獲攝影圖像導致獲得了 N個攝影圖像 P(I) MP(N)0這裡，攝影圖像P(I)是N個攝影圖像當中具有最早的捕獲時刻的攝影圖像，S卩，第一捕獲的圖像，而攝影圖像P(N)是N個攝影圖像當中具有最近的捕獲時刻的攝影圖像或最後捕獲的圖像。在下文中，第η(其中1 SnSN)個捕獲的攝影圖像也被稱作攝影圖像 P (η)。注意，攝影圖像中的每個可以是連續被拍的靜止圖像或者是拍攝的運動圖像中的一幀的圖像。另外，在利用圖1中本身旋轉了 90度的圖像捕獲設備11 (即，橫向定向的圖像捕獲設備11)捕獲圖像實現了獲得在圖中的垂直方向上更長的攝影圖像的情況下，可利用橫向定向的圖像捕獲設備11來捕獲攝影圖像。在這樣的情況下，生成立體全景運動圖像，其中，攝影圖像在與圖像捕獲設備11相同的方向上旋轉了 90度。當以上述方式獲得N個攝影圖像時，圖像捕獲設備11使用這些攝影圖像生成多個全景運動圖像。這裡，全景運動圖像是如下運動圖像其中，當捕獲N個攝影圖像時要捕獲的圖像捕獲區中的整個區域被顯示作為對象。在圖像捕獲設備11中，生成具有不同視差的多個全景運動圖像。因為多個攝影圖像是在圖像捕獲設備11移動的狀態下而捕獲的，從而這些攝影圖像中的對象具有視差，所以從攝影圖像獲得具有視差的全景運動圖像。例如，如圖2所示，假設當在圍繞迴轉中心Cll在圖中的箭頭方向上迴轉圖像捕獲設備11的同時捕獲攝影圖像時，攝影圖像是在位置PTl和位置ΡΤ2捕獲的。在該情況下，當圖像捕獲設備11在位置PTl和位置ΡΤ2時所捕獲的攝影圖像包括同一對象Η11。然而，捕獲這些攝影圖像的位置(即，對象Hll的觀察位置)是不同的，從而導致了視差。在以恆定迴轉速度迴轉圖像捕獲設備11的情況下，從迴轉中心Cll到圖像捕獲設備11的距離越長，例如，從迴轉中心Cll到位置PTl的距離越長，則視差變得越大。使用以上述方式導致的視差生成具有不同觀察位置(具有視差)的多個全景運動圖像，並且使用雙凸透鏡方法等同時再現這些全景運動圖像中的兩個。因此，可以立體地向用戶呈現全景運動圖像。注意，在構成立體全景運動圖像的兩個全景運動圖像當中的、被顯示為由用戶的右眼來觀察的全景運動圖像在下文中被稱作右眼全景運動圖像。此外，在構成立體全景運動圖像的兩個全景運動圖像當中的、被顯示為由用戶的左眼來觀察的全景運動圖像在下文中被稱作左眼全景運動圖像。[圖像捕獲設備的配置]圖3是示出應用了本發明的圖像捕獲設備11的實施例的示例配置的圖。圖像捕獲設備11包括操作輸入單元21、圖像捕獲單元22、圖像捕獲控制單元23、 信號處理單元24、總線25、緩衝存儲器沈、壓縮/展開單元27、驅動器觀、記錄介質四、顯示控制單元30以及顯示單元31。操作輸入單元21由按鈕等構成。響應於用戶的操作，操作輸入單元21將對應於操作的信號提供到信號處理單元M。圖像捕獲單元22由光學透鏡、圖像捕獲元件等構成。 圖像捕獲單元22對來自對象的光執行光電轉換以捕獲攝影圖像，並且將攝影圖像提供到圖像捕獲控制單元23。圖像捕獲控制單元23控制圖像捕獲單元22執行的圖像捕獲操作， 並且另外，將從圖像捕獲單元22獲得的攝影圖像提供到信號處理單元24。信號處理單元M經由總線25連接到緩衝存儲器沈至驅動器28以及顯示控制單元30，並且根據來自操作輸入單元21的信號而控制整個圖像捕獲設備11。例如，信號處理單元M經由總線25將從圖像捕獲控制單元23獲得的攝影圖像提供到緩衝存儲器沈，或者根據從緩衝存儲器沈獲取的攝影圖像生成全景運動圖像。緩衝存儲器沈由SDRAM(同步動態隨機存取存儲器)等構成，並且暫時記錄經由總線25提供的攝影圖像等的數據。壓縮/展開單元27使用特定方法對經由總線25提供的全景運動圖像進行編碼或解碼。驅動器28使得經由總線25提供的全景運動圖像記錄在記錄介質四上，或者讀取記錄在記錄介質四上的全景運動圖像並且將全景運動圖像輸出到總線25。記錄介質四由可拆卸地附接到圖像捕獲設備11的非易失性存儲器等構成，並且根據驅動器觀的控制而在其上記錄全景運動圖像。顯示控制單元30將經由總線25提供的立體全景運動圖像提供到顯示單元31，以顯示該立體全景運動圖像。顯示單元31由例如IXD (液晶顯示器)或雙凸透鏡構成，並且根據顯示控制單元30的控制、使用雙凸透鏡方法立體地顯示圖像。[信號處理單元的配置]此外，更具體地，圖3中的信號處理單元M被配置為如圖4所示。也就是說，信號處理單元M包括運動估計單元61、條形圖像生成單元62、全景運動圖像生成單元63以及選擇單元64。運動估計單元61使用經由總線25提供的、具有不同捕獲時刻的兩個攝影圖像來執行運動估計。運動估計單元61包括坐標計算單元71。坐標計算單元71基於運動估計結果，生成如下信息其表示當這些攝影圖像被放置為並排布置在特定平面中以使得同一對象以重疊方式出現在攝影圖像中時，兩個攝影圖像之間的相對位置關係。具體地，當在特定平面上繪製二維xy坐標系時的攝影圖像的中心位置的坐標(在下文中被稱作中心坐標)被計算作為表示攝影圖像之間的相對位置關係的 in息ο條形圖像生成單元62通過使用攝影圖像和它們的中心坐標在經由總線25提供的攝影圖像中剪裁特定區域，來產生條形圖像，並且將條形圖像提供到全景運動圖像生成單元63ο全景運動圖像生成單元63組合從條形圖像生成單元62獲得的條形圖像，以生成多個全景圖像，從而生成作為全景圖像群的全景運動圖像。在全景運動圖像生成單元63 中，生成具有視差的多個全景運動圖像。注意，一幀的全景運動圖像(即，一個全景圖像) 是捕獲攝影圖像時要捕獲的圖像捕獲區中的整個範圍(區域)被顯示作為對象的圖像。選擇單元64根據用戶指定的視差(視點之間的距離)，從具有視差的多個全景運動圖像中選擇兩個作為構成立體全景運動圖像的右眼全景運動圖像和左眼全景運動圖像， 並且將這兩個全景運動圖像輸出到顯示控制單元30。[立體全景運動體圖像再現處理的描述]接下來，將參照圖5的流程圖描述立體全景運動圖像再現處理，其中，圖像捕獲設備11捕獲攝影圖像以生成立體全景運動圖像，並且再現該立體全景運動圖像。立體全景運動圖像再現處理在用戶對操作輸入單元21進行操作並且發出用於生成立體全景運動圖像的指令時開始。在步驟Sll中，圖像捕獲單元22在如圖1所示的、圖像捕獲設備11移動的狀態下捕獲對象的圖像。從而，獲得單個(在下文中被稱作一幀)攝影圖像。圖像捕獲單元22捕獲的攝影圖像經由圖像捕獲控制單元23從圖像捕獲單元22被提供到信號處理單元M。在步驟S12中，信號處理單元M經由總線25將從圖像捕獲單元22提供的攝影圖像提供到緩衝存儲器26以暫時記錄。此時，信號處理單元M記錄分配了幀編號的攝影圖像，以便指定要記錄的攝影圖像是何時捕獲的。注意，第η個捕獲的攝影圖像P(n)在下文中也被稱作幀η的攝影圖像P (η)。在步驟S13中，運動估計單元61經由總線25從緩衝存儲器沈獲取當前幀η和在前幀(η-1)的攝影圖像，並且通過運動估計執行攝影圖像的位置對準。例如，在緊挨在之前的步驟S12中記錄在緩衝存儲器沈上的攝影圖像是第η個捕獲的攝影圖像Ρ(η)的情況下，運動估計單元61獲取當前幀η的攝影圖像Ρ(η)和在前幀 (η-1)的攝影圖像P (η-1)。然後，如圖6所示，運動估計單元61通過搜索在前幀的攝影圖像P(n-l)中的、與攝影圖像P(n)中的九個塊BL(n)-l至BR(n)-3相同的圖像所處的位置，來執行位置對準。這裡，塊BC (η) _1至BC (η) _3是在圖中沿邊界CL_n垂直並排布置的矩形區域，其中，邊界CL-n是圖中基本上位於攝影圖像P (η)的中心的虛擬垂直直線。另外，塊BL (n) _1至BL (η) _3是在圖中沿邊界LL_n垂直並排布置的矩形區域，其中，邊界LL-n是圖中位於攝影圖像P(n)的邊界CL_n的左側的虛擬垂直直線。類似地，塊 BR(n)-l至BR(η)-3是在圖中沿邊界RL_n垂直並排布置的矩形區域，其中，邊界RL_n是圖中位於攝影圖像P(n)中的邊界CL-n的右側的虛擬垂直直線。九個塊BL(n)-1至BR(η)-3 的位置是預先確定的。運動估計單元61對於攝影圖像P(Ii)中的九個塊的每個，搜索攝影圖像P(n-l)中具有與塊相同的形狀和尺寸的並且具有與塊的差別最小的區域(該區域在下文中被稱作塊對應區域)。這裡，假設與塊的差別是在要處理的塊(例如，塊BL(n)-l)和被視為是候選塊對應區域的區域中的相同位置處的像素的像素值之間的絕對差值的和。以上運動估計導致對於攝影圖像P (η)中的塊BL (η)-1至BR (η)-3中的每個，獲得位於攝影圖像P(n-l)中的、具有與這些塊之間的相對位置關係相同的位置關係的塊對應區域。攝影圖像P(n-l)中的、與攝影圖像P(n)中要處理的塊對應的塊對應區域是攝影圖像P(n-l)中的、與要處理的塊具有最小差別的區域。為此，估計在塊對應區域中顯示與要處理的塊的圖像相同的圖像。因此，以使得塊BL(Ii)-I至BR(η)-3與相應的塊對應區域重疊的方式並排布置攝影圖像P(n)和攝影圖像P(n-l)以在特定平面中重疊，將導致在攝影圖像中的同一對象以重疊方式出現。然而，實際上在一些情況下，塊和塊對應區域可能不一定具有完全相同的位置關係。為此，更具體地，運動估計單元61將攝影圖像P(n)和攝影圖像P(n-l)並排布置在平面中以使得所有塊基本上與塊對應區域重疊，並且使用結果作為攝影圖像的位置對準的結^ ο注意，在運動對象出現在攝影圖像中並且對象包括在攝影圖像P(n)的塊中的情況下，所獲得的九個塊對應區域沒有與塊BL (η)-1至BR (η)-3相同的位置關係。因此，在塊對應區域之間所獲得的相對位置關係與攝影圖像Ρ(η)中的塊之間的相對位置關係不同的情況下，運動估計單元61排除被估計為包括運動對象的塊，並且基於運動估計再次執行位置對準。即，檢測具有與其它塊對應區域不同的相對位置關係的塊對應區域，從要處理的目標排除攝影圖像Ρ(η)中對應於檢測到的塊對應區域的塊，並且僅使用其餘的塊再次執行運動估計。具體地，假設在圖6中以均等的間隔垂直且水平並排布置塊BL(Ii)-I至BR(n)_3， 其中間隔為距離QL。例如，相鄰的塊BL (η)-1與塊BL (η) -2之間的距離和相鄰的塊BL (η)-1 與塊BC(n)-l之間的距離是QL。在該情況下，運動估計單元61基於與各個塊對應的塊對應區域之間的相對位置關係，檢測攝影圖像P(n)中包括運動的塊。也就是說，運動估計單元61確定相鄰的塊對應區域之間的距離QM，諸如對應於塊 BR(η)-3的塊對應區域與對應於塊BC(η)-3的塊對應區域之間的距離。因此，對於塊BR (η) _2和塊BC (η) _3，假設對應於這些塊的塊對應區域與對應於塊 BR(η)-3的塊對應區域之間的距離QM與距離QL之間的差的絕對值大於或等於預定閾值。另外，假設對應於塊BR(n)_2和BC(n)_3的塊對應區域和其它相鄰的塊對應區域 (排除塊BR(n)-3的塊對應區域)之間的距離QM與距離QL之間的差的絕對值小於預定閾值。在該情況下，以與各個塊之間的相對位置關係相同的相對位置關係，並排布置與塊BR(n)-3不同的其它塊的塊對應區域。然而，僅塊BR(n)-3的塊對應區域與其它塊對應區域之間的位置關係不同於每個塊與其它塊對應區域之間的位置關係。在獲得這樣的檢測結果的情況下，運動估計單元61確定塊BR(n)-3包括運動對象。注意，不僅可使用相鄰的塊對應區域之間的距離、而且可使用所關注的塊對應區域相對於另一相鄰的塊對應區域的旋轉角度等來執行對包括運動的塊的檢測。即，例如，如果存在相對於其它塊對應區域傾斜了特定角度或更多的塊對應區域，則確定對應於該塊對應區域的塊包括運動對象。當以此方式檢測到包括運動的塊時，運動估計單元61使用除包括運動的塊之外的其餘塊來執行運動估計，以再次執行攝影圖像P(n)與攝影圖像P(n-l)之間的位置對準。以此方式，僅使用除了包括運動對象的塊之外的、包括非運動對象(即，僅包括所謂的背景)的塊的位置對準實現了更精確的位置對準。根據位置對準的結果並排布置攝影圖像P(n)和攝影圖像P(n-1)，從而使得並排布置這些攝影圖像，以使得非運動圖像以重疊方式出現。當執行位置對準時，然後，坐標計算單元71根據每幀的位置對準的結果，計算當先前捕獲的攝影圖像P(I)至P(n)並排布置在特定平面(即，xy坐標系)中時，攝影圖像 P (η)的中心坐標。例如，如圖7所示，並排布置各攝影圖像，以使得攝影圖像P(I)的中心位於xy坐標系的原點的位置，並且使得包括在攝影圖像中的同一對象以重疊方式出現。注意，在圖中，水平方向表示X方向，並且垂直方向表示y方向。另外，攝影圖像P(I)至P(n)中的各個點0(1)至O(n)表示相應攝影圖像的中心的位置。例如，如果假設要處理的當前幀的攝影圖像是攝影圖像P(n)，則攝影圖像P(I)至 P(n-l)的中心處的點0(1)至O(n-l)的中心坐標已被確定並且被記錄在緩衝存儲器沈上。坐標計算單元71從緩衝存儲器賣取攝影圖像P (n-1)的中心坐標，並且根據所讀取的中心坐標以及攝影圖像P(n)與攝影圖像P(n-l)之間的位置對準的結果，確定攝影圖像P(n)的中心坐標。即，點0(n)的χ坐標和y坐標被確定作為中心坐標。返回參照圖5的流程圖的描述，在步驟S13中，執行位置對準，並且確定攝影圖像 P(η)的中心坐標。然後，處理進行到步驟S14。在步驟S14中，運動估計單元61將攝影圖像P(Ii)的所獲得的中心坐標提供到緩衝存儲器26，並且與攝影圖像P (η)相關聯地記錄中心坐標。在步驟S15中，信號處理單元M確定是否捕獲了預定的特定數量的攝影圖像。例如，如圖1所示，在單獨N次捕獲特定區中的區域的情況下，確定當捕獲N個攝影圖像時捕獲了特定數量的攝影圖像。注意，在圖像捕獲設備11設置有能夠檢測圖像捕獲設備11被迴轉的角度的裝置 (諸如迴轉儀傳感器)的情況下，取代確定所捕獲的攝影圖像的數量，可確定從攝影圖像的捕獲開始起，圖像捕獲設備11是否已被迴轉了特定角度。甚至在該情況下，也可以指定是否執行了特定區中的整個特定區域被設置作為對象的攝影圖像的捕獲。在步驟S15中確定尚未捕獲特定數量的攝影圖像的情況下，處理返回到步驟S11， 並且捕獲下一幀的攝影圖像。另一方面，在步驟S15中確定捕獲了特定數量的攝影圖像的情況下，處理進行到步驟S16。在步驟S16中，條形圖像生成單元62從緩衝存儲器沈獲取N個攝影圖像以及它們的中心坐標，並且通過基於所獲取的攝影圖像和中心坐標從各個攝影圖像剪裁特定區域而生成條形圖像。例如，如圖8所示，條形圖像生成單元62通過在攝影圖像Ρ(η)中剪裁參考邊界 ML-n、邊界LL-n以及邊界RL_n限定的區域TM (η)、區域TL (η)以及區域TR (η)，來產生條形圖像。注意，在圖8中，與圖6的情況下的那些部分對應的部分被分配有相同的數字，並且省略其描述。在圖8中，基於中心坐標並排布置已連續捕獲的攝影圖像Ρ(η)和攝影圖像 Ρ(η+1)，以使得同一對象以重疊方式出現。圖8中的水平方向對應於例如圖7中的χ方向。圖中攝影圖像P (η)中的邊界ML-n是位於邊界CL_n的左側的虛擬垂直直線，並且攝影圖像P(n+1)中的邊界ML-(n+l)是與攝影圖像P(n)的邊界ML_n對應的邊界。S卩，圖中邊界ML-n和邊界ML-(n+1)是垂直方向上的、位於攝影圖像P(n)和攝影圖像P(n+1)中的相同位置處的虛擬直線。
攝影圖像P(n+1)中的邊界LL-(n+l)是與攝影圖像P(n)中的邊界LL_n對應的邊界，並且攝影圖像P(n+1)中的邊界RL-(n+l)是與攝影圖像P(n)中的邊界RL_n對應的邊界。另外，圖中作為垂直方向上的直線的邊界ML (M) -Π和邊界MR(M) -η是位於攝影圖像Ρ(η)中的邊界ML-n附近的直線，並且分別位於邊界ML_n的左側和右側偏離預定距離的位置。類似地，作為圖中的垂直方向上的直線的邊界ML(M)-(n+l)和邊界MR(M)-(n+l)是位於攝影圖像P(n+1)中的邊界ML-(n+l)附近的直線，並且分別位於邊界ML-(n+1)的左側和右側偏離預定距離的位置。圖中作為垂直方向上的直線的邊界ML (L) -η和邊界MR (L) -η是位於攝影圖像P (η) 中的邊界LL-n附近的直線，並且分別位於邊界LL-n的左側和右側偏離預定距離的位置。另外，圖中作為垂直方向上的直線的邊界ML(L)_(n+l)和邊界MR(L)-(n+1)是位於攝影圖像P(n+1)中的邊界LL-(n+l)附近的直線，並且分別位於邊界LL-(n+1)的左側和右側偏離預定距離的位置。此外，圖中作為垂直方向上的直線的邊界ML (R) -η和邊界MR (R) -η是位於攝影圖像P (η)中的邊界RL-n附近的直線，並且分別位於邊界RL_n的左側和右側偏離預定距離的位置。類似地，圖中作為垂直方向上的直線的邊界ML(R)-(n+l)和邊界MR(R)-(n+1)是位於攝影圖像P(n+1)中的邊界RL-(n+l)附近的直線，並且分別位於邊界RL-(n+1)的左側和右側偏離預定距離的位置。條形圖像生成單元62通過從攝影圖像P(n)剪裁三個區域TM(η)、TL(η)以及 TR(η)，來產生條形圖像。例如，攝影圖像Ρ(η)中從邊界ML(M)-η延伸到邊界MR(M)-(n+1)的位置的區域 TM(η)被剪裁作為單個條形圖像(在下文中也被稱作條形圖像TM(η))。這裡，攝影圖像P(n) 中的邊界MR(M)-(n+1)的位置是攝影圖像P(n)中的如下位置當並排布置攝影圖像P(η) 和攝影圖像Ρ(η+1)時，該位置與邊界MR(M)-(n+l)重疊。類似地，基本上從攝影圖像p(n-l)的中心剪裁攝影圖像P(n-l)中從邊界 ML(M)-(Ii-I)延伸到邊界MR(M)-Ii的位置的區域TM(n-1)作為單個條形圖像。因此，條形圖像TM(II)中從邊界ML(M)-η延伸到邊界MR(M)-η的位置的區域中的對象基本上與條形圖像TM(n-1)中從邊界ML(M)-η延伸到邊界MR(M)-η的位置的區域中的對象相同。注意，由於條形圖像TM(η)和條形圖像TM(n-1)是分別從攝影圖像P(n)和攝影圖像P(n-l)剪裁的圖像，所以即使捕獲同一對象的圖像的時刻也不同。類似地，條形圖像TM (η)中從邊界ML (M) - (n+1)延伸到邊界MR (M) - (n+1)的位置的區域中的對象基本上與條形圖像TM(n+l)中從邊界ML (M)-(n+1)延伸到邊界 MR(M)-(n+1)的位置的區域中的對象相同。另外，攝影圖像P(n)中從邊界ML(L)-η延伸到邊界MR(L)-(n+1)的位置的區域 TL(η)被剪裁作為單個條形圖像(在下文中也被稱作條形圖像TL(η))。此外，攝影圖像P(n) 中從邊界見0 )-11延伸到邊界1 00-(11+1)的位置的區域TR(η)被剪裁作為單個條形圖像 (在下文中也被稱作條形圖像TR(n))。在該情況下，攝影圖像P (η)中的邊界MR(L)-(n+1)和邊界MR(R)-(n+1)的位置是攝影圖像P(n)中的如下位置當並排布置攝影圖像P(n)和攝影圖像P(n+1)時，該位置與這些邊界重疊。以此方式，從每個攝影圖像P(Ii)剪裁基本上在圖中的中心的區域TM(n)、左側的區域TL(n)以及右側的區域TR (η)，並且產生條形圖像TM (η)、條形圖像TL(n)以及條形圖像 TR (η)。然後，並排布置和組合從N個攝影圖像獲得的條形圖像ΤΜ(η)產生單個全景圖像。 類似地，並排布置和組合從N個攝影圖像獲得的條形圖像TL (η)產生單個全景圖像，並且並排布置和組合從N個攝影圖像獲得的條形圖像TR(n)產生單個全景圖像。這些全景圖像是顯示當捕獲N個攝影圖像時要捕獲的圖像捕獲區中的整個範圍(區域)並且具有視差的圖像。返回參照圖5的流程圖的描述，當從攝影圖像獲得條形圖像時，條形圖像生成單元62將所獲得的條形圖像和各個攝影圖像的中心坐標提供到全景運動圖像生成單元63。 此後，處理從步驟S16進行到步驟S17。在步驟S17中，全景運動圖像生成單元63基於從條形圖像生成單元62獲得的條形圖像和攝影圖像的中心坐標，並排布置和組合各個幀的條形圖像，並且生成全景運動圖像的一幀的圖像數據。也就是說，全景運動圖像生成單元63並排布置和組合從基本上在N個攝影圖像 P (η)的中心處的區域剪裁的N個條形圖像TM(η)，並且生成全景運動圖像的一幀的圖像數據，即，單個全景圖像。類似地，全景運動圖像生成單元63並排布置和組合從N個攝影圖像P(η)剪裁的 N個條形圖像TL(n)，並且產生全景運動圖像的一幀的圖像數據。此外，全景運動圖像生成單元63並排布置和組合從N個攝影圖像P (η)剪裁的N個條形圖像TR (η)，並且產生全景運動圖像的一幀的圖像數據。注意，從條形圖像ΤΜ(η)、條形圖像TL(n)以及條形圖像TR(n)生成的全景圖像在下文中也分別被稱作全景圖像PM、全景圖像PL以及全景圖像PR。此外，由全景圖像PM、全景圖像PL以及全景圖像ra構成的全景運動圖像也分別被稱作全景運動圖像PMM、全景運動圖像PML以及全景運動圖像PMR。此外，更具體地，例如，在組合條形圖像TM (η)和條形圖像ΤΜ(η_1)之前，全景運動圖像生成單元63對於這些條形圖像中從邊界ML (M)-η延伸到邊界MR(M)-η的位置的區域， 使用加權相加來確定全景圖像的像素的像素值。S卩，如果基於中心坐標並排布置條形圖像TM(η)和條形圖像ΤΜ(η_1)，則這些條形圖像中從邊界ML(M)-Ii延伸到邊界MR(M)-Ii的位置的區域彼此重疊。全景運動圖像生成單元63對條形圖像TM(η)和條形圖像TM(n-l)中的重疊像素的像素值執行加權相加，並且將所得到的值設置為與這些像素對應的位置處的全景圖像中的像素的像素值。注意，條形圖像TM (η)和條形圖像ΤΜ(η_1)中從邊界ML (M) _η延伸到邊界MR (M) _η 的位置的區域中的像素的加權相加的權重被定義為具有以下特徵。也就是說，從邊界ML-n到邊界MR(M)-Ii的位置處的像素被設計為使得用於生成全景圖像的條形圖像TM(η)中的像素的貢獻比率隨著像素的位置從邊界ML-n變得更接近邊界MR(M)-η的位置而變得更高。相反，從邊界ML-n到邊界ML (M)-η的位置處的像素被設計為使得用於生成全景圖像的條形圖像TM(n-l)中的像素的貢獻比率隨著像素的位置從邊界ML-n變得更接近邊界ML (M) -η的位置而變得更高。另外，在生成全景圖像時，對於從條形圖像ΤΜ(η)的邊界MR(M)-Ii延伸到邊界 ML(M)-(n+l)的區域，該區域被直接設置作為全景圖像。此外，在組合條形圖像TM(η)和條形圖像ΤΜ(η+1)時，對於這些條形圖像中從邊界 ML(M)-(n+l)延伸到邊界MR(M)-(n+1)的位置的區域，使用加權相加來確定全景圖像的像
素的像素值。也就是說，從邊界ML_(n+l)到邊界MR(M)-(n+1)的位置處的像素被設計為使得用於生成全景圖像的條形圖像TM(n+l)中的像素的貢獻比率隨著像素的位置從邊界 ML-(n+1)變得更接近邊界MR(M)-(n+1)的位置而變得更高。相反，從邊界ML-(n+1)到邊界 ML(M)-(n+1)的位置處的像素被設計為使得用於生成全景圖像的條形圖像TM(n)中的像素的貢獻比率隨著像素的位置從邊界ML-(n+l)變得更接近邊界ML(M)-(n+1)的位置而變得更高。此外，同樣在組合條形圖像TL (η)和條形圖像TR (η)時，與條形圖像TM (η)的情況類似，對這些條形圖像與其它條形圖像重疊的部分執行加權相加。以此方式，在組合條形圖像之前，對連續幀的條形圖像的邊緣附近的區域進行加權相加，以產生全景圖像的像素的像素值。因此，與僅並排布置條形圖像以產生單個圖像的情況相比，可以獲得看起來更自然的圖像。例如，在僅通過並排布置條形圖像來產生全景圖像的情況下，靠近條形圖像的邊緣的對象的輪廓可能會失真，或者連續幀的條形圖像的亮度的差別會導致全景圖像的每個區域的亮度變化。因此，全景運動圖像生成單元63使用加權相加來組合條形圖像的邊緣附近的區域。這可以防止對象的輪廓失真或者出現亮度變化，從而導致獲得看起來更自然的全景圖像。另外，在攝影圖像的位置對準時，運動估計單元61可基於攝影圖像而檢測由包括在圖像捕獲單元22中的光學透鏡引起的透鏡失真。在組合條形圖像時，條形圖像生成單元 62可使用所檢測到的透鏡失真的結果來校正條形圖像。也就是說，基於所檢測到的透鏡失真的結果，使用圖像處理來校正條形圖像中引起的失真。當以上述方式獲得分別構成三個全景運動圖像之一的一幀的全景圖像ΡΜ、全景圖像PL以及全景圖像ra時，全景運動圖像生成單元63經由總線25將這些全景圖像提供到壓縮/展開單元27。在步驟S18中，壓縮/展開單元27使用例如JPEG (聯合圖像專家組)方法對從全景運動圖像生成單元63提供的全景運動圖像的圖像數據進行編碼，並且經由總線25將所得到的圖像數據提供到驅動器觀。驅動器觀將從壓縮/展開單元27獲得的全景運動圖像的圖像數據提供到記錄介質四以記錄該圖像數據。在記錄圖像數據時，全景運動圖像生成單元63對每條圖像數據分配有幀編號。在步驟S19中，信號處理單元M確定是否生成了預定的特定數量的幀的全景運動圖像的圖像數據。例如，在定義了生成由M幀圖像數據構成的全景運動圖像的情況下，確定當獲得M幀圖像數據時，生成了特定數量的幀的全景運動圖像。
在步驟S19中確定尚未生成特定數量的幀的全景運動圖像的情況下，處理返回到步驟S16，並且生成全景運動圖像的下一幀的圖像數據。例如，在生成了全景運動圖像PMM的第一幀的全景圖像的情況下，如參照圖8所述，通過在攝影圖像P(n)中剪裁從邊界ML(M)-η到邊界MR(M)-(n+1)的位置的區域TM(n)， 產生條形圖像。然後，在生成了全景運動圖像PMM的第二和隨後幀的全景圖像的情況下，要剪裁條形圖像的攝影圖像P(n)中的區域TM(η)的位置向圖8中的左側移動了與從邊界ML_n到邊界ML-(n+l)的寬度CW對應的量。S卩，假設用於生成全景運動圖像PMM的第m幀的條形圖像是條形圖像TM(n)-m(其中，1彡m彡M)。在該情況下，第m幀的條形圖像TM(n)-m的剪裁位置被設置為如下位置 其中，條形圖像TM(n)-l的剪裁位置處的區域TM(η)向圖8中的左側移動了等於寬度CW的 (m-1)倍的距離。因此，例如，要從第二幀的條形圖像TM(n)-2剪裁的區域被設置為如下區域其具有與攝影圖像P(n)中的、圖8中的區域TM(n)相同的形狀和尺寸，並且具有位於邊界 MR(M)-n的位置處的右邊緣。這裡，條形圖像的剪裁區域要移動的方向是預先根據捕獲攝影圖像時圖像捕獲設備11的迴轉方向而確定的。例如，圖8中的示例是基於如下假設圖像捕獲設備11被迴轉， 以使得相對於特定幀的攝影圖像的中心處的位置，下一幀的攝影圖像的中心處的位置總是處於圖中的右側。即，圖8中的示例是基於如下假設圖像捕獲設備11的運動方向是圖中的向右方向。原因如下。如果根據圖像捕獲設備11的移動，對於每幀在與攝影圖像的中心處的位置的移動方向相反的方向上移動條形圖像的剪裁位置，則在構成全景運動圖像的各全景圖像中將在相同位置顯示未移動的同一對象。與全景運動圖像PMM的情況類似，同樣在生成全景運動圖像PML和全景運動圖像 PMR的情況下，要剪裁條形圖像的攝影圖像P(η)中的區域TL(n)和區域TR(n)的位置向圖 8中的左側移動了與從邊界LL-n到邊界LL-(n+1)的寬度對應的量以及與從邊界RL_n到邊界RL-(n+1)的寬度對應的量。以上述方式在對於每幀移動條形圖像的剪裁位置的同時生成全景運動圖像的每幀的圖像數據，導致獲得例如如圖9所示的全景運動圖像。注意，在圖9中，圖中的水平方向對應於圖8中的水平方向。例如，圖9中的水平方向對應於xy坐標系中的χ方向。在圖9的示例中，分別從N個攝影圖像P(I)至P(N)生成條形圖像TR⑴_1至 TR (N)-I,並且組合這些條形圖像以獲得全景圖像PR-I。類似地，分別從N個攝影圖像P(I)至P(N)生成條形圖像TR(1)_2至TR(N)_2，並且組合這些條形圖像以獲得全景圖像PR-2。全景圖像PR-I和全景圖像PR-2分別是構成全景運動圖像PMR的第一幀和第二幀的圖像。另外，分別從N個攝影圖像P(I)至P(N)生成條形圖像TL⑴-1至TL(N)-I,並且組合這些條形圖像以獲得全景圖像PL-I。類似地，分別從N個攝影圖像P(I)至P(N)生成條形圖像TL⑴-2至TL(N)_2，並且組合這些條形圖像以獲得全景圖像PL-2。全景圖像PL-I和全景圖像PL-2分別是構成全景運動圖像PML的第一幀和第二幀的圖像。另外，雖然未在圖中示出，但是從攝影圖像P(I)至P(N)剪裁條形圖像TM(η)，並且還生成構成全景運動圖像PMM的每幀的全景圖像。這裡，例如，從攝影圖像Ρ(2)剪裁條形圖像TlU2)-2的區域是條形圖像TR(2)_1 的剪裁區域向圖中的左側移動了對應於寬度CW的量的位置處的區域。寬度CW的值針對全景圖像的每幀而改變。此外，例如，在條形圖像TR (1)-1和條形圖像TR (2) _2中顯示不同時刻的同一對象。此外，還在條形圖像TR(I)-I和條形圖像TL(m)-l中顯示不同時刻的同一對象。以此方式，在全景圖像PR-I至PL-2中顯示不同時刻的同一對象。即，各個全景圖像具有視差。此外，由於通過組合從多個幀的攝影圖像獲得的不同條形圖像來生成全景圖像，所以即使在單個全景圖像中捕獲在各個區域中顯示的對象的時刻也是不同的。注意，更具體地，使用攝影圖像P(I)和攝影圖像P(N)來生成每個全景圖像的邊緣部分。例如，圖中的全景圖像PR-I的左邊緣部分是從攝影圖像P(I)的左邊緣到條形圖像 TR(I)-I的右邊緣部分的圖像。返回到圖5的流程圖的描述，在步驟S19中確定生成了特定數量的幀的全景運動圖像的情況下，信號處理單元M接收要從現在開始顯示的立體全景運動圖像的視差的指定幅值。然後，處理進行到步驟S20。在圖像捕獲設備11中，使用如上所述的處理生成三個全景運動圖像PMM、PML以及 PMR,並且將其記錄在記錄介質四上。全景運動圖像PMM是通過在攝影圖像中剪裁基本上在圖8中的中心處的區域 TM(η)而生成的運動圖像。此外，全景運動圖像PML和全景運動圖像PMR是通過在攝影圖像中剪裁在圖8中的中心的左側的區域TL(n)和右側的區域TR(η)而生成的運動圖像。這裡，由於區域ΤΜ(η)相對於攝影圖像Ρ(η)的中心位於圖中的稍微偏左，因此從區域ΤΜ(η)到區域TL(n)的距離短於從區域TM(η)到區域TR(n)的距離。因此，全景圖像 PM和全景圖像PL之間的視差的幅值、全景圖像PM和全景圖像ra之間的視差的幅值以及全景圖像PL和全景圖像ra之間的視差的幅值彼此不同。現在，假設由全景運動圖像PMM和全景運動圖像PML構成的立體全景運動圖像被稱作立體全景運動圖像ML，並且由全景運動圖像PMM和全景運動圖像PMR構成的立體全景運動圖像被稱作立體全景運動圖像MR。此外，假設由全景運動圖像PML和全景運動圖像PMR 構成的立體全景運動圖像被稱作立體全景運動圖像LR。此時，在立體全景運動圖像ML中，全景運動圖像PML和全景運動圖像PMM分別用作右眼全景運動圖像和左眼全景運動圖像。類似地，在立體全景運動圖像MR中，全景運動圖像PMM和全景運動圖像PMR分別用作右眼全景運動圖像和左眼全景運動圖像。此外，在立體全景運動圖像LR中，全景運動圖像PML和全景運動圖像PMR分別用作右眼全景運動圖像和左眼全景運動圖像。在這三個立體全景運動圖像中，立體全景運動圖像LR具有最大的視差(視點之間的距離)，立體全景運動圖像MR具有第二大的視差，而立體全景運動圖像ML具有最小的視差。因此，可以取決於要在顯示單元31上顯示這三個立體全景運動圖像中的哪個立體全景運動圖像，而顯示具有不同視差的立體全景運動圖像。
因此，圖像捕獲設備11使得用戶指定「大視差」、「中視差」以及「小視差」之一作為視差的幅值，並且顯示具有根據用戶指定的視差的立體全景運動圖像。也就是說，響應於 「大視差」、「中視差」以及「小視差」的指定，分別再現立體全景運動圖像LR、立體全景運動圖像MR以及立體全景運動圖像ML。在步驟S20中，選擇單元64基於來自操作輸入單元21的信號，從記錄在記錄介質 29上的三個全景運動圖像當中選擇兩個全景運動圖像。例如，在用戶指定「大視差」的情況下，選擇單元64選擇全景運動圖像PML和全景運動圖像PMR，在它們之間立體全景運動圖像的視差最大。如果選擇兩個全景運動圖像(即，具有指定視差的立體全景運動圖像)，則選擇單元64經由驅動器觀從記錄介質四讀取所選擇的兩個全景運動圖像。然後，選擇單元64 將所讀取的全景運動圖像的圖像數據提供到壓縮/展開單元27，以指示壓縮/展開單元27 對圖像數據進行解碼。然後，處理進行到步驟S21。在步驟S21中，壓縮/展開單元27使用例如JPEG方法對從選擇單元64提供的兩個全景運動圖像的圖像數據(即全景圖像)進行解碼，並且將所得到的圖像數據提供到信號處理單元對。在步驟S22中，信號處理單元M將構成全景運動圖像的每幀的全景圖像的尺寸減小到預定尺寸。例如，執行尺寸減小處理，以獲得允許在顯示單元31的顯示屏上顯示整個全景圖像的尺寸。當減小全景運動圖像的尺寸時，信號處理單元M將由減小了尺寸的兩個全景運動圖像構成的立體全景運動圖像提供到顯示控制單元30。例如，在顯示立體全景運動圖像 LR的情況下，全景運動圖像PML用作右眼全景運動圖像，而全景運動圖像PMR用作左眼全景運動圖像。在步驟S23中，顯示控制單元30將從信號處理單元M獲得的立體全景運動圖像提供到顯示單元31，以使得顯示立體全景運動圖像。即，顯示控制單元30將右眼全景運動圖像和左眼全景運動圖像的各個幀提供到顯示單元31，以便在特定的時間間隔使用雙凸透鏡方法立體地顯示它們。具體地，顯示單元31將每幀的右眼全景圖像和左眼全景圖像分割成若干個條狀的圖像，並且通過分割獲得的右眼圖像和左眼圖像在特定方向上並排交替布置並被顯示， 從而顯示立體全景運動圖像。使用包括在顯示單元31中的雙凸透鏡，將通過分割獲得的並且以上述方式顯示的右眼全景圖像和左眼全景圖像的光線導向觀看顯示單元31的用戶的右眼和左眼。從而，用戶的眼睛觀察到立體全景運動圖像。當在顯示單元31上顯示(再現)立體全景運動圖像時，立體全景運動圖像再現處理結束。以此方式，圖像捕獲設備11根據在不同時刻捕獲的多個攝影圖像的每個，在移動剪裁區域的同時生成多個條形圖像，並且組合條形圖像以生成每幀的全景運動圖像。另外，圖像捕獲設備11生成多個全景運動圖像，根據用戶指定的視差的幅值而從多個全景運動圖像中選擇兩個，並且使得顯示由所選擇的兩個全景運動圖像構成的立體全景運動圖像。以此方式生成的立體全景運動圖像除了使得捕獲對象移動並且表示該移動之外，還實現了對象的立體顯示。因此，可以更高效地顯示對象的捕獲圖像。另外，已在不同的時刻捕獲了單個全景圖像中的各個區域中的對象。因此，可以呈現更有趣的圖像。即，可以更高效地顯示對象的捕獲圖像。此外，由於多個全景運動圖像是預先生成和記錄的，因此可以根據用戶的請求而呈現具有不同視差的立體全景運動圖像。也就是說，用戶可以指定視差的期望幅值，並且可以欣賞具有指定視差的立體全景運動圖像。在如下示例的背景下描述了圖像捕獲設備11 其中，生成三個全景運動圖像，並且根據用戶指定的視差而顯示具有三個不同視差的立體全景運動圖像中的任何一個。然而，可顯示具有四個或更多個不同視差的立體全景運動圖像。在這樣的情況下，生成具有視差的全景運動圖像，並且將其記錄在記錄介質四上，該全景運動圖像的數量對應於可顯示的立體全景運動圖像的數量。另外，取代在記錄介質四上記錄三個全景運動圖像，而是三個立體全景運動圖像 LR、MR以及ML可被預先生成並被記錄在記錄介質四上。在這樣的情況下，從記錄介質四讀取具有用戶指定的視差的立體全景運動圖像，並且顯示該立體全景運動圖像。注意，在以上描述中，捕獲N個攝影圖像，並且所有攝影圖像被暫時記錄在緩衝存儲器沈上，此後使用這些攝影圖像生成全景運動圖像。然而，可與攝影圖像的捕獲同時地執行全景運動圖像的生成。此外，在以上描述中，在生成全景運動圖像之後，減小全景運動圖像的尺寸。然而， 減小了尺寸的全景運動圖像可直接從攝影圖像生成。在該情況下，可以使得直到再現立體全景運動圖像為止所需的處理量更小，從而導致更迅速地顯示立體全景運動圖像。此外，諸如個人計算機的設備可設置有用於從攝影圖像生成全景運動圖像的功能，並且可被設計成從使用攝像裝置捕獲的攝影圖像生成全景運動圖像。此外，在如下示例的背景下給出了以上描述其中，當捕獲攝影圖像時要捕獲的圖像捕獲區中的整個範圍的區域被顯示作為全景圖像中的對象。然而，可僅在全景圖像上顯示圖像捕獲區中的整個範圍的區域的子區域。在這樣的情況下，僅圖像捕獲區中要捕獲的子區域被顯示作為立體全景運動圖像。此外，還有，取代顯示立體全景運動圖像，而是可顯示由具有指定視差的右眼全景圖像和左眼全景圖像構成的立體全景圖像。在這樣的情況下，從例如全景圖像PM、全景圖像PL以及全景圖像ra當中選擇由指定視差定義的兩個全景圖像，並且顯示由所選擇的全景圖像構成的立體全景圖像。上述系列處理可以由硬體來執行，或者可以由軟體來執行。在由軟體執行該系列處理的情況下，構成軟體的程序從程序記錄介質被安裝到併入專用硬體中的計算機中或者例如能夠通過在其中安裝各種程序而執行各種功能的通用個人計算機等中。圖10是示出使用程序執行上述系列處理的計算機的硬體的示例配置的框圖。在計算機中，CPU (中央處理單元)301、ROM(只讀存儲器)302以及RAM(隨機存取存儲器)303經由總線304相互連接。此外，輸入/輸出接口 305連接到總線304。由鍵盤、滑鼠、麥克風等構成的輸入單元306、由顯示器、揚聲器等構成的輸出單元307、由硬碟、非易失性存儲器等構成的記錄單元308、由網絡接口等構成的通信單元309以及驅動可拆卸介質311 (諸如磁碟、光碟、磁光碟或者半導體存儲器)的驅動器310連接到輸入/輸出接口 305。在如上配置的計算機中，CPU 301經由輸入/輸出接口 305和總線304將記錄在例如記錄單元308上的程序加載到RAM 303中並且執行該程序。從而，執行上述系列處理。計算機(CPU 301)執行的程序被記錄在可拆卸介質311上，或者經由有線或無線傳輸介質(諸如區域網、網際網路或者數字衛星廣播)來提供，可拆卸介質311是由例如磁碟 (包括軟盤)、光碟(諸如CD-ROM(緻密盤-只讀存儲器)或DVD(數字多功能盤))、磁光碟、半導體存儲器等構成的封裝介質。然後，可以通過將可拆卸介質311附接到驅動器310，經由輸入/輸出接口 305將程序安裝到記錄介質308中。此外，程序可以由通信單元309經由有線或無線傳輸介質來接收，並且可以被安裝到記錄單元308中。替選地，程序可以被預先安裝到ROM 302中或記錄單元308中。注意，計算機執行的程序可以是根據本文所述的順序、按時間順序執行處理的程序，或者可以是並行地或者在諸如調用時的必要定時執行處理的程序。注意，本發明的實施例不限於上述實施例，並且在不背離本發明的範圍的情況下， 可以進行多種修改。附圖標記列表11圖像捕獲設備，22圖像捕獲單元，M信號處理單元，61運動估計單元，62條形圖像生成單元，63全景運動圖像生成單元，64選擇單元。
權利要求
1.一種圖像處理設備，包括位置信息生成裝置，用於基於通過在移動圖像捕獲裝置的同時使用所述圖像捕獲裝置捕獲圖像而獲得的多個攝影圖像來生成位置信息，所述位置信息表示當所述多個攝影圖像並排布置在特定平面中以使得包括在不同所述攝影圖像中的同一對象以重疊方式出現時， 所述多個攝影圖像之間的相對位置關係；條形圖像生成裝置，用於在所述多個攝影圖像基於所述位置信息而並排布置在所述平面中的情況下，通過根據所述攝影圖像當中的攝影圖像中的第一參考位置至第三參考位置，在所述攝影圖像中剪裁與另一攝影圖像中的所述第一參考位置至所述第三參考位置對應的第一區域至第三區域，來從所述多個攝影圖像中的每個生成第一條形圖像至第三條形圖像，其中所述另一攝影圖像被並排布置以便與所述攝影圖像重疊；全景圖像生成裝置，用於通過並排布置和組合從所述多個攝影圖像獲得的所述第一條形圖像至所述第三條形圖像，生成具有視差的第一全景圖像至第三全景圖像，其中，在所述第一全景圖像至所述第三全景圖像中，顯示當捕獲所述多個攝影圖像時要捕獲的圖像捕獲區中的同一區域；以及選擇裝置，用於從所述第一全景圖像至所述第三全景圖像當中選擇兩個全景圖像，其中，所述第一參考位置在所述攝影圖像中位於所述第二參考位置和所述第三參考位置之間，並且從所述第一參考位置到所述第二參考位置的距離不同於從所述第一參考位置到所述第三參考位置的距離。
2.根據權利要求1所述的圖像處理設備，還包括顯示控制裝置，用於通過使得同時顯示所述選擇裝置從所述第一全景圖像至所述第三全景圖像當中選擇的所述兩個全景圖像， 使得立體地顯示所述圖像捕獲區中的所述同一區域。
3.根據權利要求1所述的圖像處理設備，其中，所述條形圖像生成裝置針對所述多個攝影圖像，當在特定方向上移動所述攝影圖像中的所述第一區域至所述第三區域的同時，從所述攝影圖像生成多個所述第一條形圖像至多個所述第三條形圖像，以及其中，所述全景圖像生成裝置針對每個所述第一區域至每個所述第三區域的位置，生成所述第一全景圖像至所述第三全景圖像，以生成具有多個所述第一全景圖像至多個所述第三全景圖像的圖像群，其中，在多個所述第一全景圖像至多個所述第三全景圖像中，顯示所述圖像捕獲區中的所述同一區域。
4.根據權利要求1所述的圖像處理設備，其中，所述位置信息生成裝置使用所述攝影圖像當中的攝影圖像中的多個預定塊區域，通過從在早於所述攝影圖像的時刻捕獲的攝影圖像搜索與所述多個塊區域對應的塊對應區域中的每個，來生成所述位置信息。
5.根據權利要求4所述的圖像處理設備，其中，所述位置信息生成裝置基於所述多個塊區域之間的相對位置關係和多個所述塊對應區域之間的相對位置關係，通過檢測包括運動對象的塊區域並且通過在檢測到包括所述運動對象的塊區域的情況下，使用與所檢測到的塊區域不同的塊區域而從所述多個塊區域中搜索對應的塊對應區域，來生成所述位置信息。
6.一種用於圖像處理設備的圖像處理方法，所述圖像處理設備包括位置信息生成裝置，用於基於通過在移動圖像捕獲裝置的同時使用所述圖像捕獲裝置捕獲圖像而獲得的多個攝影圖像來生成位置信息，所述位置信息表示當所述多個攝影圖像並排布置在特定平面中以使得包括在不同所述攝影圖像中的同一對象以重疊方式出現時， 所述多個攝影圖像之間的相對位置關係；條形圖像生成裝置，用於在所述多個攝影圖像基於所述位置信息而並排布置在所述平面中的情況下，通過根據所述攝影圖像當中的攝影圖像中的第一參考位置至第三參考位置，在所述攝影圖像中剪裁與另一攝影圖像中的所述第一參考位置至所述第三參考位置對應的第一區域至第三區域，來從所述多個攝影圖像中的每個生成第一條形圖像至第三條形圖像，其中所述另一攝影圖像被並排布置以便與所述攝影圖像重疊；全景圖像生成裝置，用於通過並排布置和組合從所述多個攝影圖像獲得的所述第一條形圖像至所述第三條形圖像，生成具有視差的第一全景圖像至第三全景圖像，其中，在所述第一全景圖像至所述第三全景圖像中，顯示當捕獲所述多個攝影圖像時要捕獲的圖像捕獲區中的同一區域；以及選擇裝置，用於從所述第一全景圖像至所述第三全景圖像當中選擇兩個全景圖像， 所述圖像處理方法包括以下步驟通過所述位置信息生成裝置根據所述多個攝影圖像生成所述位置信息； 通過所述條形圖像生成裝置從所述多個攝影圖像生成所述第一條形圖像至所述第三條形圖像；通過所述全景圖像生成裝置從所述第一條形圖像至所述第三條形圖像生成所述第一全景圖像至所述第三全景圖像；以及通過所述選擇裝置從所述第一全景圖像至所述第三全景圖像當中選擇兩個全景圖像， 其中，所述第一參考位置在所述攝影圖像中位於所述第二參考位置和所述第三參考位置之間，並且從所述第一參考位置到所述第二參考位置的距離不同於從所述第一參考位置到所述第三參考位置的距離。
7. 一種用於使計算機執行包括以下步驟的處理的程序基於通過在移動圖像捕獲裝置的同時使用所述圖像捕獲裝置捕獲圖像而獲得的多個攝影圖像來生成位置信息，所述位置信息表示當所述多個攝影圖像並排布置在特定平面中以使得包括在不同所述攝影圖像中的同一對象以重疊方式出現時，所述多個攝影圖像之間的相對位置關係；在所述多個攝影圖像基於所述位置信息而並排布置在所述平面中的情況下，通過根據所述攝影圖像當中的攝影圖像中的第一參考位置至第三參考位置，在所述攝影圖像中剪裁與另一攝影圖像中的所述第一參考位置至所述第三參考位置對應的第一區域至第三區域， 來從所述多個攝影圖像中的每個生成第一條形圖像至第三條形圖像，其中所述另一攝影圖像被並排布置以便與所述攝影圖像重疊；通過並排布置和組合從所述多個攝影圖像獲得的所述第一條形圖像至所述第三條形圖像，生成具有視差的第一全景圖像至第三全景圖像，其中，在所述第一全景圖像至所述第三全景圖像中，顯示當捕獲所述多個攝影圖像時要捕獲的圖像捕獲區中的同一區域；以及從所述第一全景圖像至所述第三全景圖像當中選擇兩個全景圖像， 其中，所述第一參考位置在所述攝影圖像中位於所述第二參考位置和所述第三參考位置之間，並且從所述第一參考位置到所述第二參考位置的距離不同於從所述第一參考位置到所述第三參考位置的距離。
全文摘要
本發明涉及一種能夠呈現具有不同視差的立體圖像的圖像處理設備、方法以及程序。圖像捕獲設備(11)在圍繞迴轉中心(C11)被迴轉的狀態下捕獲攝影圖像(P(1)至P(N))。圖像捕獲設備(11)在攝影圖像中剪裁特定區域作為條形圖像，並且並排布置和組合條形圖像，以生成圖像捕獲區中的區域被設置作為對象的全景圖像。圖像捕獲設備(11)通過在移動條形圖像的剪裁位置的同時生成多個全景圖像，來獲得由多個全景圖像構成的全景運動圖像。圖像捕獲設備(11)根據指定視差，從具有視差的多個全景運動圖像當中選擇兩個全景運動圖像，並且獲得由這兩個全景運動圖像構成的立體全景運動圖像。構成立體全景運動圖像的兩個全景運動圖像被同時再現，從而實現了對象的立體顯示。本發明可以應用於攝像裝置。
文檔編號H04N13/02GK102239698SQ201080003413
公開日2011年11月9日 申請日期2010年10月1日 優先權日2009年10月9日
發明者山下紀之, 平井純 申請人:索尼公司