立體圖像再現設備、立體圖像再現方法、立體圖像再現程序以及記錄該程序的記錄介質的製作方法

2023-10-25 19:55:22 1

專利名稱：立體圖像再現設備、立體圖像再現方法、立體圖像再現程序以及記錄該程序的記錄介質的製作方法
技術領域：
本發明涉及一種用於處理立體圖像的立體圖像處理設備及其方法，和一種用於執行立體圖像的立體再現的立體圖像再現設備及其方法；並且進一步 涉及一種在其上列印立體圖像的立體圖像紙張、 一種立體圖像處理程序、一 種立體圖像再現程序和一種記錄這些程序的計算機可讀記錄介質。
背景技術：
迄今，作為允許通過利用兩眼之間的視差來區分平面表面圖像作為三維 圖像的基於肉眼的方法，存在平行方法(平行注視方法)和交叉方法(交叉 注視方法)等。如圖1所示，平行方法是在具有適合的視差的左右兩幅圖像 (以下稱為"立體圖像")114R、 114L之間觀察的方法，其中，右側的圖像 114R通過右眼Er現察，左側的圖像114L通過左眼Et觀察。此外，如圖2 所示，交叉方法是通過左眼EL觀察右側的圖像114R、通過右眼ER觀察左側 的圖^象114L的方法。作為拾取這種立體圖像的方法，存在以與人眼之間的空間相等的距離、 在左右方向上呈直線安置兩個透鏡和圖像拾取器件，通過平行方法或交叉方 法，使用這兩個圖像拾取系統來同時拾取左右圖像的方法等等。在日本專利 申請公開No. H5-30538的公開物(專利文獻1 )中公開了涉及使用這種機制 的數字靜態照相機的技術。此外，即使不使用利用了這種多圖像拾取系統的照相機，從曾經執行了 圖像拾取操作的位置，在水平方向上將照相機移動與人眼之間的空間相等的 距離，以便從該位置第二次拾取同一對象的圖像，或者使用兩個照相機，等 等，從而使得可能獲得用作立體圖像的兩幅圖像。在上述的專利文獻1中，描述了指示立體圖像的信息和/或左/右區分信息 等被分別記錄作為在各個左右圖像數據的頭信息，以便使得當在記錄/再現設 備或傳輸設備中處理時、左右圖像數據被處理為單個圖像處理單元，如此防止左和右圖像數據之一被錯誤地擦除或傳輸等等的不便之處。 發明內容本發明所要解決的問題同時， 一種再現設備，其中除指示立體圖像的區分信息和左/右區分信息 之外，還添加了用於例如水平視點(圖像的數量)和/或水平偏移量等的用於 立體顯示控制的立體信息作為各個左右圖像數據的文件的頭信息，從而具有 執行各個圖像文件的立體顯示的能力，可以基於相應的頭信息來執行立體圖 像的立體顯示。但是，在文件的頭信息破損或丟失的情況下，則難以在再現設備中執行立體顯示。例如，在立體圖像以列印內容(matter)形式傳輸的情況下，即使 該列印內容的圖像已被具有獲得圖像的電子數據的能力的掃描器讀取了 ，由 於在此時間點丟失了頭信息，因此難以從掃描器讀取的圖像數據執行立體顯 示。考慮上述情況提出了本發明，並且令人滿意地提供 一種立體圖像處理 設備及其方法，可以不依賴於文件的頭信息而執行圖像的立體再現，從而具 有修復或恢復已經破損或丟失的用於立體顯示的頭信息的能力； 一種立體圖 像再現設備及其方法，其適用於執行立體圖像的立體再現； 一種用於在其上 列印立體圖像的立體圖像紙張； 一種立體圖像處理程序； 一種立體圖像再現 程序；以及一種記錄這些程序的計算^/L可讀記錄介質。根據本發明的一個實施例的立體圖像處理設備包括圖像輸入單元，用 於輸入組成立體圖像的多個圖像作為主圖像；編碼單元，用於將用於對由圖 像輸入裝置輸入的多個主圖像進行立體顯示控制的立體信息編碼為圖像；以 及圖像合成單元，用於將由圖像輸入單元輸入的多個主圖像和由編碼單元獲 取的編碼圖像在各個圖像的對應區域被分區的狀態下加以合成。該立體圖像處理設備可以不依賴於頭信息而執行圖像的立體再現。此外， 即使文件的頭信息破損或丟失，可能使用被添加到合成圖像的立體信息的視 覺符號從編碼信息中修復或恢復頭信息。在這個例子中，圖像合成單元可以 是用於將指示多個主圖像是用平行方法產生的立體圖像還是用交叉方法產生 的立體圖像的填充數據在填充數據和主圖像的對應區域被分區的狀態下加以 合成的圖像合成單元。因而，當觀察者通過肉眼三維地觀察立體圖像時，可以馬上從填充數據 的視覺特徵中區分出立體圖像的合適的觀察方法。根據本發明的一個實施例的立體圖像處理設備可進一步包括用於輸入 寬高調整比的寬高比調整輸入單元，其中，可以配置圖像合成單元用以改變 與多個圖像數據合成的填充數據尺寸，以便合成圖像的縱向和橫向尺寸具有 已經由寬高比調整輸入單元輸入的寬高調整比。根據本發明的 一個實施例，可以列印合成圖像以便其整體正好填充列印 紙張。此外，根據本發明的一個實施例所提出的立體圖像處理設備可進一步包 括編碼單元，用於壓縮編碼被圖像合成單元合成的圖像；以及復用單元， 用於向編碼單元壓縮編碼的合成圖像添加用於立體顯示控制的立體信息作為 頭信息以準備文件。因而，可以準備立體圖像的文件，其允許不依賴頭文件的圖像的立體再 現。因此，可以將這些文件記錄到一記錄介質中以將其傳輸到允許立體顯示 的外部設備中。多個主圖像可以是對應於右眼和左眼的圖像，或通過從多個視點捕獲一 個對象而獲得的圖像。此外，根據本發明的另一個實施例的立體圖像再現設備包括合成圖像 輸入單元，用於輸入合成的圖像，其中，由組成立體圖像的多個主圖像和用 於對多個主圖像進行立體顯示控制的立體信息的編碼圖像在各個圖像的相應 區域被分區的狀態下加以合成；分離單元，用於從由合成圖像輸入裝置中輸 入的合成圖像中分離多個主圖像和編碼圖像；解碼單元，用於從被分離單元 分離的編碼圖像中解碼立體信息；以及圖像變換單元，用於基於被解碼單元 解碼的立體信息來執行用於對被分離單元分離的多個主圖像進行立體顯示的 處理。根據該立體圖像再現設備，可以不依賴頭信息而執行圖像的立體再現。 適用作為本發明的另 一 實施例的立體圖像紙張以便將組成立體圖像的多個主圖像和用於對多個主圖像進行立體顯示控制的立體信息的編碼圖像在各個圖像的相應區域被分區的狀態下加以排列或分配。通過用掃描器讀取該立體圖像紙張，以使用來自被讀取的圖像的立體信息的視覺符號來分離編碼信息，從而解碼如此獲得的編碼信息，可以不依賴於頭信息而執行圖像的立體再現。在以上描述中，通過運用本發明的一個實施例，可以不依賴於文件的頭 信息而執行圖像的立體再現，並且可以修復或恢復已破損或丟失的用於立體 顯示的頭信息。通過以下參照附圖的對實施例的進一步描述，本發明的更多特徵和優點 以及本發明所具有的實際價值將更加顯而易見。


圖1是表示用於允許識別平面表面圖像作為三維圖像的平行方法的視圖；圖2是表示用於允許識別平面表面圖像作為三維圖像的交叉方法的視圖；圖3是表示根據本發明的立體圖像處理設備的一個實施例的方框圖； 圖4是表示被輸入到如圖3所示的立體圖像處理設備中的圖像文件的配 置的^L圖；圖5是表示在圖像是通過平行方法獲得的立體圖像的情況下合成圖像的 一個例子的視圖；圖6是表示在圖像是通過交叉方法獲得的立體圖像的情況下合成圖像的 一個例子的視圖；圖7是表示合成圖像的另一個例子的視圖；圖8是表示從如圖3所示的立體圖像處理設備中輸出的立體圖像的文件 配置的視圖；圖9是表示根據本發明的立體圖像再現設備的一個實施例的方框圖； 圖IO是表示使用圖像讀入單元的立體圖像再現設備的方框圖； 圖11是表示可以修復或恢復頭信息的立體圖像處理設備的方框圖； 圖12是表示由被安放在前方和後方以及左側和右側方向上的多個數字靜態照相機拾取一個對象的圖像的實施例的視圖；圖13是表示根據本發明的立體圖像處理設備的另一個實施例的方框圖； 圖14是表示在如圖13所示的立體圖像處理設備中生成的圖像是通過平行方法生成的立體圖像的情況下的合成圖像的一個例子的視圖；圖15是表示在如圖13所示的立體圖像處理設備中生成的圖像是通過交叉方法生成的立體圖像的情況下的合成圖像的一個例子的視圖。
具體實施方式
現在通過參考附圖來解釋用於實現本發明的最佳模式。如圖3所示，根據本發明的一個實施例的立體圖像處理設備100包括， 圖像輸入單元l、寬高比調整輸入單元2、立體(適配器)信息輸入單元3、 數據分離輸出單元4、立體信息生成單元5、立體信息編碼單元6、填充數據 生成單元7、圖像合成單元8、圖像編碼單元9、數據復用單元10以及記錄 介質寫入單元11。圖像輸入單元1是用於輸入對應於右眼和左眼的各個圖像文件12R、 12L 的裝置，其中用於立體顯示控制的立體信息，例如指示立體圖像的區分信息、 左/右區分信息、水平視點數量(圖像數量)和水平偏移量等分別被添加到對 於右眼和左眼的圖像信息(主圖像)中作為頭信息。數據分離輸入單元4是用於從在圖像輸入單元1輸入的對應於右眼和左 眼的圖像文件12R、 12L中分離頭信息、以將它們輸出到立體信息生成單元5 的裝置。立體(適配器)信息輸入單元3是一種裝置，其用於輸入除了被包括在對應於右眼和左眼的各個圖像文件12R、 12L的頭信息中的內容之外的立體信息，例如，至少指示被輸入的各個圖像文件12R、 12L的圖像是使用平行方法的立體圖像還是使用交叉方法的立體圖像的平行方法/交叉方法區分信 白立體信息生成單元5是用於基於從立體(適配器)信息輸入單元3輸入 的立體信息和從數據分離輸出單元4輸出的頭信息來生成將要輸出給立體信 息編碼單元6和數據復用單元10的立體信息的裝置。立體信息編碼單元6是用於將從立體信息生成單元5輸出的立體信息編 碼為例如一維條形碼或二維條形碼等的通過圖像合成來允許區分的圖像的裝 置。此外，在立體信息中的平行方法/交叉方法區分信息通過立體信息編碼單 元6被發送給填充數據生成單元7。填充數據生成單元7是基於從立體信息生成單元6輸出的平行方法/交叉 方法區分信息，生成將要與對應於右眼和左眼的各個主圖像合成的填充數據， 並將所生成的填充數據與從立體信息編碼單元6輸出的立體信息的編碼圖像一起輸出給圖像合成單元8。此處，填充數據是用於嵌入到空區域的數據，該空區域是在具有預定寬各個主圖像的情況下形成的。填充數據是其中由不同諸如顏色或圖樣之類的 視覺特徵表示平行方法/交叉方法區分信息以便人們第 一 眼就可以加以區分 的數據。在該填充數據的預定位置處，安置立體信息的編碼圖像。立體信息 的編碼圖像不必是可被人們立刻區分的這種圖像，而還可運用允許對立體顯 示控制所必需的所有立體信息編碼的圖像。寬高比調整輸入單元2是用於輸入主圖像和填充數據的合成圖像的寬高 調整比的裝置。與被使用的列印紙張的縱向尺寸與橫向尺寸之間的比率相一 致地輸入該寬高調整比。圖像合成單元8是用於合成從圖像輸入單元1輸入的對應於右眼和左眼 的各個主圖像與從填充數據生成單元7輸出的立體信息的編碼圖像和填充數 據、以生成具有從寬高比調整輸入單元2輸入的寬高調整比的單個圖像數據 的裝置。圖像編碼單元9是用於根據如JPEG系統等的預定系統來壓縮編碼從圖 像合成單元8輸出的合成圖像的裝置。數據復用單元10是用於復用由圖像編碼單元9壓縮編碼的合成圖像和從 立體信息生成單元5輸出的立體信息的裝置。在該例子中，立體信息被添加 作為圖像文件的頭信息。記錄介質寫入單元11是用於將由數據復用單元10生成的圖像文件寫入 到例如EEPROM等的可寫或可重寫非易失性記錄介質中的裝置。接著解釋立體圖像處理設備100的操作。讓我們考慮這種情況，圖像文件12R、 12L被輸入作為如圖4所示的對 應於右眼和左眼輸入的圖像文件12R、 12L,在該圖像文件12R、 12L中，用 於立體顯示控制的立體信息，例如指示立體圖像的區分信息、左/右區分信息、 水平視點數量(圖像數量)和/或水平偏移量等被分別添加到主圖像14R、 14L 中作為頭信息13R、 13L。在這種情況下，在輸入圖像文件之前，從立體(適 配器)信息輸入單元3輸入指示從現在開始輸入的圖像文件是通過平行方法 的立體圖像還是通過交叉方法的立體圖像的平行方法/交叉方法區分信息，以 在立體信息生成單元5中設置它。在另一方面，從寬高比調整輸入單元2輸入與被使用的列印紙張的縱向尺寸與橫向尺寸之間的比率相一致的寬高調整比，以在圖像合成單元8中設置用於合成圖像的寬高調整比。在完成立體信息生成單元5和圖像合成單元8中的設置之後，在圖像輸 入單元1處輸入對應於右眼和左眼的各個圖像文件12R、 12L,以將在各個圖 像文件12R、 12L處的主圖像14R、 14L傳送給圖像合成單元8，並在數據分 離輸出單元4中分離和提取各個圖像文件12R、 12L的頭信息13R、 13L,以 將其輸出到立體信息生成單元5。當立體信息生成單元5從數據分離單元4處獲得各個圖像文件12R、 12L 的頭信息13R、 13L時，其生成將要從頭信息13R、 13L輸出給立體信息編碼 單元6和數據復用單元10的立體信息和被來自立體(適配器)信息輸入單元 3的輸入所設置的立體信息(至少平行方法/交叉方法區分信息)，以將獲得的 立體信息輸出給各個單元。其後，在立體信息編碼單元6中，從立體信息生成單元5中輸出的立體 信息被編碼為例如一維條形碼或二維條形碼等的圖像。立體信息的編碼圖像 與在從立體信息生成單元5輸出的立體圖^f象中的平行方法/交叉方法區分信息 一起被輸出到填充數據生成單元7。接著，在填充數據生成單元7中，生成相應於/人立體信息編碼單元6輸 出的平行方法/交叉方法區分信息的填充數據。所獲得的生成的填充數據與從 立體信息編碼單元6輸出的立體信息的編碼圖像一起被輸出到圖像合成單元 8。接著，在圖像合成單元8中，合成從圖像輸入單元1傳送來的對應於右 眼和左眼的各個主圖像14R、 14L與來自填充數據生成單元7的填充數據和 立體信息的編碼圖像。則，生成具有被來自寬高比調整輸入單元2的輸入所設置的寬高調整比的單個合成圖像。圖5和圖6顯示了由圖像合成單元8生成的合成圖像20、 30的示例，其 中圖5顯示在各個主圖像14R、 14L是通過平行方法的立體圖像的情況下的 合成圖像20,圖6顯示在各個主圖像14R、 14L是通過交叉方法的立體圖像 的情況下的合成圖像30。在以上情況中，在平行方法和交叉方法中，在各個 主圖像14R、 14L的水平方向上的排列次序都是彼此相反的。在這個例子中，作為視覺平行方法/交叉方法區分信息的填充數據15、 16 被安排在左右主圖像14R、 14L的頂部和底部。合成圖像20、 30的縱向和橫向尺寸是由從寬高比調整輸入單元2所輸入的寬高調整比所確定的。即，在圖5中，被安排在左右方向上的各個主圖像14R、 14L的長邊的長度(在該 例子中為橫向長度)被定為合成圖像20的橫向長度X，合成圖像20的縱向 長度Y是從合成圖像20的橫向長度和寬高調整比確定的。即，圖像合成單 元8可變地調整填充數據的尺寸，以便合成圖像的縱向和橫向尺寸具有預先 指定的寬高調整比以合成所獲得的填充數據和左右主圖像14R、 14L。使得在合成圖像20、 30的各個主圖像14R、 14L的垂直方向上的位置對 於系統來說是特殊的。在這個例子中，確定各個主圖像14R、 14L被充分地 安排在垂直方向上的中間位置。從而，在這個例子中，在合成圖像20、 30中， 填充數據15、 16的區域被確保在各個主圖像14R、 14L的頂部和底部。需要 注意的是，填充數據的區域確保在各個主圖像14R、 14L的頂部和底部的這 種安置方法僅是一個例子。填充數據的區域可被確保在各個主圖像14R、 14L 的頂部和底部之一。此外，在這個例子中，作為立體信息的編碼圖像17的一維條形碼被安排 在每個合成圖像20、 30的底部區域的填充數據16中。當然，立體信息的編 碼圖像17可被安排在頂部區域的填充數據15中，或者其編碼圖像可被分別 安排在其頂部區域和底部區域處。此外，立體信息的多個編碼圖像17可被安 排在一個填充數據15或16的區域。此外，如圖7所示，在被安排在左右方向上的主圖像14R、 14L總體上 在縱向方向上長的情況下，各個主圖像14R、 14L的長邊被定為縱向側並且 該縱向側的長度被定為合成圖像20a的縱向長度Y,以才艮據合成圖像20a的 縱向長度和寬高調整比來確定合成圖像20a的橫向長度X。從而，在這種情 況下，作為視覺平行方法/交叉方法區分信息的填充數據15、 16被安排在主 圖像14R、 14L的左邊和右邊部分，並且立體信息的編碼圖像17被安排在一 個區域的填充數據16內。如上所述的由圖像合成單元7獲得的合成圖像根據如JPEG系統等的預 定系統，被圖像編碼單元9壓縮編碼，並且被發送到數據復用單元10,在其 中被壓縮編碼的合成圖像和包括來自立體信息生成單元5的立體信息的內容 在內的頭信息被復用。則，準備好了立體圖像的文件。該立體圖像的文件40 的配置如圖8所示。如圖8所示，立體圖像的文件40包括被壓縮編碼的合成 圖像18、頭信息19、指示文件40的引導部分的SOI41,以及指示文件40的結尾的EOI42等。如此準備好的立體圖像的文件40通過記錄介質寫入單元 11被記錄到記錄介質中。如上所述，根據該實施例的立體圖像處理設備100,可以準備文件40, 其中立體信息和平行方法/交叉方法區分信息被添加到合成圖像中。則，可以 不依賴於立體圖像的文件40的頭信息而執行圖像的立體再現。此外，通過使 用掃描器從列印合成圖像的立體圖像紙張讀取合成圖像來解碼其上存在的立 體信息的編碼圖像和填充數據，可以執行圖像的立體再現。此外，因為立體 信息和平行方法/交叉方法區分信息被添加到合成圖像中，即使立體圖像的文 件40的頭信息已破損或丟失，仍可以從被添加到合成圖像的立體信息的編碼 圖像中修復或恢復頭信息。此外，在通過肉眼觀察在立體圖像的文件40中存儲的立體圖像，能夠解 碼立體圖像文件40的被壓縮編碼的合成圖像的再現設備被定為通過網絡或 可卸載記錄介質等來讀取立體圖像的文件40，從而。則如圖5或6所示，對 應於右眼和左眼的各個主圖像14R、 14L的合成圖像20或合成圖像30以及 填充數據15、 16被再現。在這個例子中，觀察者可根據顯示的填充數據15、 16的視覺特徵，例如顏色和/或圖樣等在第一眼就區分出對應於右眼和左眼的 各個主圖像14R、 14L是通過平行方法的立體圖像還是通過交叉方法的立體 圖像。從而，可以立即使用合適的觀察方法嘗試或執行立體觀察，則可以減 少觀察者的過度負擔。此外，因為確定被記錄在記錄介質中的主圖像和填充數據的合成圖像的 寬高比與所使用的列印紙張的縱向和橫向尺寸之間的比率相一致，因此可以 以完全充滿整個列印紙張的方式列印合成圖像。進一步，觀察者可根據作為 在列印紙張上列印合成圖像的整體的結果的立體圖像紙張上的填充數據區域 的視覺特徵，在第 一 眼就區分出適合觀察在立體圖像紙張上的該立體圖像的 方法是交叉方法還是平行方法。接著，以下將解釋適用於執行被存儲在立體圖像的文件40中的立體圖像 的立體再現的再現設備，該立體圖像的文件40是由上述立體圖像處理設備 100準備的。如圖9所示，該立體圖像再現設備200包括記錄介質讀取單元51、數 據分離單元52、圖像解碼單元53、圖像分離單元54、填充數據解碼單元55、 圖像變換單元56、以及立體顯示單元57。在這個例子中，記錄介質讀取單元51是用於從可卸載記錄介質讀取立體圖像的文件40的裝置。數據分離單元52是用於從記錄介質中讀取的立體圖 像的文件40中分離/提取主圖像、即圖8所示的被壓縮編碼的合成圖像18的 裝置。圖像解碼單元53是用於解碼/解壓縮由數據分離單元52分離/提取的被 壓縮編碼的合成圖像18的裝置。圖像分離單元54用於從被解碼/解壓縮的合 成圖像中分離出左右主圖像、立體信息的編碼圖像以及填充數據，以將左右 主圖像分發到圖像變換單元56，並且將立體信息的編碼信息和填充數據分發 到填充數據解碼單元55。填充數據解碼單元55是用於通過顏色區分或圖樣 區分等來區分立體信息的編碼圖像和填充數據，以解碼立體信息的編碼圖像 從而恢復原始立體信息，並且從填充數據中恢復平行方法/交叉方法區分信息 的裝置。圖像變換單元56是用於基於被恢復的立體信息和平行方法/交叉方 法區分信息執行對左右主圖像進行立體顯示的算法處理，以輸出該結果到立 體顯示單元57的裝置。立體顯示單元57是用於執行圖像的立體顯示的裝置。 接著，將解釋立體圖像再現設備200的操作。一般來說，在再現設備中，基於立體圖像的文件40的頭信息來執行圖像 的立體再現。但是，在該立體圖像再現設備200中，在不依賴於頭信息的情 況下，使用解碼存在於合成圖像中的立體圖像的編碼圖像和的填充數據以基 於這些解碼的信息來執行圖像的立體再現的方法。開始時，在記錄介質讀取單元51中，從可卸載的記錄介質中讀取立體圖 像的文件40。接著，在數據分離單元52中，從記錄介質讀取的立體圖像的 文件40中分離和提取主圖像、即圖8所示的壓縮編碼圖像18。在圖像解碼 單元53中，獲取的合成圖像18被解碼和解壓縮。隨後，在圖像分離單元54中，從已解碼和解壓縮的合成圖像中分離左右 主圖像、立體信息的編碼圖像和包括立體信息的編碼圖像的填充數據。左右 主圖像被輸出到圖像變換單元56。此外，立體信息的編碼圖像和填充數據被 輸出到填充數據解碼單元55,以便恢復原始立體信息和平行方法/交叉方法區 分信息。此外，在圖像變換單元56中，基於被恢復的立體信息和平行方法/ 交叉方法區分信息，執行用於對左右主圖像進行立體顯示的算法處理。則所 獲得的結果被顯示在立體顯示單元57上。如上所述，根據該實施例的立體圖像再現設備200,可以不依賴於立體 信息的文件40的頭信息而執行圖像的立體再現。此外，當記錄介質讀取單元51 -陂定為配置用於在如上所述的立體圖^(象再現設備200中從可卸載記錄介質中讀取立體圖像的文件40時，可採用使用諸 如掃描器等的圖像讀入單元的配置以代替記錄介質讀取單元51。使用這種圖像讀入單元的立體圖像再現設備300如圖IO所示地組成，其 包括圖像讀入單元61，用於從作為合成圖像的列印內容的立體圖像紙張讀 入其合成圖像；圖像分離單元62,用於從由圖像讀入單元61讀入的合成圖 像中分離出左右主圖像、立體信息的編碼圖像和填充數據；填充數據解碼單 元63,用於通過顏色區分或圖樣區分等來區分立體信息的編碼圖像和填充數 據，以解碼立體信息的編碼圖像從而恢復原始立體信息，並從填充數據中恢 復平行方法/交叉方法區分信息；圖像變換單元64，用於基於被恢復的立體信 息和平行方法/交叉方法區分信息執行用於對左右主圖像進行立體顯示的算法處理；以及立體顯示單元65，用於執行圖像的立體顯示。通過具有以上配置的立體圖像再現設備300，可從合成圖像的列印內容 來執行圖像的立體再現。同時，結合立體信息中的水平偏移量的描述，在該實施例中運用一種"偏 移X; 15/1024"的描述方法，即，在水平方向上偏移1024個像素內的15個 像素。則，即使以不同於圖像讀入單元的主要解析度的解析度讀入列印的合 成圖像，也可以根據解析度和水平偏移量之間的比率來計算出合適的水平偏 移量。則可實現滿意的立體再現。接著，將解釋適用於從被添加到合成圖像中的立體信息的編碼圖像來修復或恢復立體圖像的頭信息的立體圖像處理設備。如圖11所示的立體圖4象處理設備400包括記錄介質讀取單元71,用 於從可卸載記錄介質中讀取立體圖l象的文件40;數據分離單元72用於從記 錄介質中讀取的立體圖像的文件40中分離/提取主圖像、即被壓縮編碼的合 成圖像；圖像解碼單元73用於解碼/解壓縮由數據分離單元72分離/提取的被 壓縮編碼的合成圖像；圖像分離單元74，用於從被解碼/解壓縮的合成圖像中 分離出左右主圖像、立體信息的編碼圖像以及填充數據；填充數據解碼單元 75,用於通過顏色區分或圖樣區分等來區分立體信息的編碼圖像和填充數據， 以解碼立體信息的編碼圖像從而恢復原始立體信息，並且從填充數據中恢復 平行方法/交叉方法區分信息以生成頭信息；數據復用單元76，用於復用由數 據分離單元72分離/提取的被壓縮編碼的合成圖像和在填充數據解碼單元75中恢復的頭信息，以準備立體信息的圖像文件；以及記錄介質寫入單元77, 用於將由數據復用單元76準備好的立體信息的圖像文件寫入到可卸載記錄 介質中。通過具有以上配置的立體圖像處理設備400，可從被添加到合成圖像的 立體信息的編碼圖像中修復或恢復立體圖像文件的頭信息。雖然在上述實施例中合成了用於右眼和左眼的兩個圖像數據與填充數 據，但是也可合成三個視點或更多(多雙眼睛)的圖像數據、立體信息的編 碼圖像和填充數據。這裡，例如，如圖12所示，通過向使用被安排在前方和後方及左右方向 上的多個數字靜態照相機81 (0, 0) ...81 (3， 2)同時拾取一個對象80而 獲得的各個主圖像添加用於立體顯示控制的立體信息作為頭信息而獲得各個 圖像文件。圖13是表示該實施例的立體圖像處理設備500的完整配置的方框圖。 如圖13所示的立體圖像處理設備500包括圖像輸入單元91、寬高比 調整輸入單元92、立體(適配器)信息輸入單元93、數據分離輸出單元94、 立體信息生成單元95、立體信息編碼單元96、填充數據生成單元97、圖像 合成單元98、圖像編碼單元99、數據復用單元101以及記錄介質寫入單元 102。圖像輸入單元91是用於輸入多個圖像文件82 (0, 0), 82 (0, 1 )， ...82 (3, 2)的裝置，其中用於立體顯示控制的立體信息，例如指示立體圖像的 區分信息，視點(照相機)位置的區分信息、水平視點數量(圖像的數量) 和/或水平偏移量等被分別添加到由多個數字靜態照相機81 (0， 0) ...81 (3， 2)同時執行圖像拾取操作獲得的各個主圖像中作為頭文件。數據分離輸出單元94是用於將頭信息從由圖像輸入單元91輸入的多個 圖像文件82(0， 0), 82 (0, 1 ), ...82 (3， 2)中分離出來以輸出所獲得的 頭信息到立體信息生成單元75的裝置。立體(適配器)信息輸入單元93是一種裝置，用於輸入除了被包括在輸 入圖像文件82 (0, 0), 82 (0， 1), ...82(3， 2)中的內容以外的立體信息， 例如指示輸入的各個圖像文件82 (0, 0), 82 (0， 1)， ...82(3, 2)的圖像 是通過平行方法的立體圖像還是通過交叉方法的立體圖像的平行方法/交叉 方法區分信息。立體信息生成單元95是用於基於從立體(適配器)信息輸入單元93輸 入的立體信息和從數據分離輸出單元94輸出的頭信息來生成將要輸出給填 充數據生成單元96和數據復用單元101的立體信息的裝置。立體信息編碼單元96是用於將從立體信息生成單元輸出的立體信息編 碼成例如一維條形碼或二維條形碼等的圖像的裝置。此外，立體信息中的平 行方法/交叉方法區分信息通過立體信息編碼單元96發送給填充數據生成單 元97。填充數據生成單元97是基於從立體信息編碼單元96輸出的平行方法/交 叉方法區分信息生成將要與對應於右眼和左眼的多個主圖像相合成的填充數 據以將該填充數據與從立體信息編碼單元96輸出的立體信息的編碼圖像一 起輸出給圖像合成單元98的裝置。寬高比調整輸入單元92是用於輸入將要被輸出的立體圖像的合成圖像 和填充數據的寬高調整比的裝置。該寬高調整比與所使用的列印紙的縱向尺 寸和橫向尺寸之間的比率相一致地輸入。圖像合成單元98是用於合成從圖像輸入單元91輸入的對應於右眼和左 眼的各個圖像數據和從填充數據輸出單元97輸出的立體信息的編碼圖像和 填充數據以生成具有從寬高比調整輸入單元92輸入的寬高調整比的單個合 成圖像的裝置。圖像編碼單元99是用於根據如JPEG系統等的預定系統來壓縮編碼在圖 像合成單元98獲得的合成圖像的裝置。數據復用單元101是用於復用由圖像編碼單元98壓縮編碼的合成圖像和 從立體信息生成單元95輸出的立體信息的裝置。此處，立體信息被添加作為 圖像文件的頭信息。記錄介質寫入單元102是用於將由數據復用單元101生成的圖像文件寫 入到如可寫或可#~寫非易失性記錄介質(如EEPROM等)的可卸載記錄介質 中的裝置。接著，將解釋立體圖像處理設備500的操作。讓我們考慮這種情況，對應與多個眼睛的各個圖像文件被分別輸入作為 多個圖像文件82 (0, 0), 82 (0, 1 ), 82 (3， 2)，其中用於立體顯示 控制的立體信息，例如指示立體圖像的區分信息、視點位置(照相機)的區 分信息、水平視點數量(圖像數量)和/或水平偏移量等被添加作為頭信息。在這種情況下，在輸入圖像文件之前，從立體(適配器)信息輸入單元93輸 入指示目前輸入的圖像文件是通過平行方法的立體圖像還是通過交叉方法的 立體圖像的平行方法/交叉方法區分信息，以在立體信息生成單元95中設置 它。在另一方面，從寬高比調整輸入單元92輸入與祐:使用的列印紙張的縱向 尺寸與橫向尺寸之間的比率相一致的寬高調整比，以在圖像合成單元98中設 置其為圖像合成的寬高調整比。在完成立體信息生成單元95和圖像合成單元98中的設置之後，在圖像 輸入單元91中輸入多個圖像文件82 (0， 0)， 82(0， 1)，…，82(3, 2), 以將在各個圖像文件82 (0, 0)， 82(0， 1)，…，82(3， 2)中的主圖像傳 送給圖像合成單元98，並在數據分離輸出單元94中分離和提取頭信息，以 將其輸出到立體信息生成單元95。當立體信息生成單元95從數據分離單元94處獲得各個圖像文件82 ( 0, 0), 82(0， 1),…，82(3, 2)的頭信息時，其從這些頭信息和通過來自立 體(適配器)信息輸入單元93處的輸入所設置的立體信息(至少平行方法/ 交叉方法區分信息)生成將要輸出給立體信息編碼單元96和數據復用單元 101的立體信息，以將獲得的立體信息輸出給各個單元。其後，在立體信息編碼單元96中，從立體信息生成單元95中輸出的立 體信息被編碼為例如一維條形碼或二維條形碼等的圖像。立體信息的編碼圖 像與在從立體信息生成單元95處輸出的立體圖像中的平行方法/交叉方法區 分信息一起被輸出到填充數據生成單元97。接著，在填充數據生成單元97中，執行相應於從立體信息編碼單元96 輸出的平行方法/交叉方法區分信息的填充數據的生成。所獲得的生成的填充 數據與從立體信息編碼單元96輸出的立體信息的編碼圖像一起被輸出到圖 像合成單元98。接著，在圖像合成單元98中，合成從圖像輸入單元91轉送來的多個主 圖像與來自填充數據生成單元97的填充數據和立體信息的編碼圖像，以便生 成具有通過來自寬高比調整輸入單元92的輸入所設置的寬高調整比的單個 合成圖像數據。圖14和圖15表示由圖像合成單元98生成的合成圖像83、 84的示例， 其中圖14表示在各個主圖像85 (0, 0)， 85 (0, 1),…，85 (3, 2)是通 過平行方法的立體圖像的情況下的合成圖像83,圖5表示在各個主圖像85(0, 0)， 85(0, 1),…，85(3, 2)是通過交叉方法的立體圖像的情況下 的合成圖像84。在以上情況中，在平行方法和交叉方法中，在各個主圖像85 (0， 0), 85 (0, 1),…，85 (3， 2)的水平方向上的排列次序都是彼此相 反的。需要注意的是，在頂部和底部方向上的位置關係是相同的。在這個例子中，填充數據86、 87被安排在各個主圖像85 (0, 0)， 85(0, 1)， ...， 85 (3， 2)的頂部和底部部分。以整體安排各個主圖像85 (0, 0), 85(0， 1),…，85(3， 2)以便在水平方向上的末端和在垂直方向上的末端 互相接觸。合成圖像83、 84的縱向和橫向尺寸是由從寬高比調整輸入單元 92所輸入的寬高調整比所確定的。具體地，在圖14中，整體的主圖像85的 長邊長度(在該例子中為水平方向上的長度)被定為合成圖像83的橫向長度 X,以從合成圖像83的橫向長度X和寬高調整比進一步確定合成圖像83的 縱向長度Y。即，圖像合成單元98可變地調整填充數據的尺寸，以便合成圖 像83的縱向和橫向尺寸具有預先指定以合成所獲得的填充數據和整體主圖 像85的寬高調整比。在合成圖像83或84中的整體主圖像85的垂直方向上的位置對於系統來 說是特殊的。在這個例子中，確定整體主圖像85被充分地安排在垂直方向上 的中間位置。從而，在這個例子中，在合成圖像83、 84中，填充數據86、 87的區域被確保在整體主圖像85的頂部和底部。需要注意的是，填充數據 86、 87的區域被確保在整體主圖像85的頂部和底部的這種方法僅是一個例 子。填充數據的區域可被確保在整體主圖像85的頂部和底部之一。此外，在這個例子中，作為立體信息的編碼圖像88的一維條形碼被安排 在合成圖像83或84的底部區域的填充數據87中。當然，立體信息的編碼圖 像88可被安排在頂部區域的填充數據86中，或者編碼圖像可被分別安排在 頂部區域和底部區域中。此外，立體信息的多個編碼圖像88可被安排在填充 數據86或87之一的區域中。根據預定系統，如JPEG系統等，由圖像編碼單元99壓縮編碼如上所述 的由圖像合成單元98獲得的合成圖像數據，並且將其發送到數據復用單元 101，在其中被壓縮編碼的合成圖像和包括來自立體信息生成單元95的立體 信息的內容在內的頭信息被復用。則，已準備好了立體圖像的文件。已準備 好的立體圖像的文件通過記錄介質寫入單元102被記錄到記錄介質中。如上所述，根據該實施例的立體圖像處理設備500,可以準備立體圖像的文件，其中立體信息和平行方法/交叉方法區分信息被添加到合成圖像中。 則，可以不依賴於立體圖像的文件的頭信息而執行圖像的立體再現。此外， 通過使用掃描器從列印合成圖像內容的立體圖像紙張讀取合成圖像來解碼其 中存在的立體信息的編碼圖像和填充數據，從而可以執行圖像的立體再現。 此外，因為立體信息和平行方法/交叉方法區分信息被添加到合成圖像中，即 使立體圖像的文件的頭信息已破損或丟失，仍可以從被添加到合成圖像中的 立體信息的編碼圖像來修復或恢復頭信息。此外，在通過肉眼觀察在立體圖像的文件中的立體圖像中，能夠解碼立 體圖像文件的被壓縮編碼的合成圖像的再現設備被定為通過網絡或可卸載記錄介質等來讀取立體圖像的文件。則如圖14或15所示，再現多個主圖像85 的合成圖像83或合成圖像84以及填充數據86、 87。在這個例子中，觀察者 可根據被顯示的填充數據86、 87的例如顏色和/或圖樣等的視覺特徵，在第 一眼就區分出多個主圖像85是通過平行方法的立體圖像還是通過交叉方法 的立體圖像。從而，可以立即使用合適的觀察方法嘗試或執行立體觀察，以 減少觀察者過度負擔。此外，因為被記錄在記錄介質中的主圖像的合成圖像和填充數據的寬高 比與所使用的列印紙張的縱向和橫向尺寸之間的比率相一致，可以以完全充 滿整個列印紙張的方式列印合成圖像。此外，觀察者可根據在完全列印合成 圖像的立體圖像紙張上的填充數據區域的視覺特徵，在第一眼就區分出適合 觀察該立體圖像的方法是交叉方法還是平行方法。需要注意的是，在本發明的一個實施例中，填充數據不必須具有平行方 法/交叉方法區分信息的含義。即，還可採用這樣一種配置，其中填充數據被 定為僅嵌入在對應於右眼和左眼的各個主圖像在具有預定寬高調整比的二維 空間內左右方向上呈直線安排的情況下形成的空白區域內，以便立體信息的 編碼圖像被安排在填充數據的區域內。可以允許計算機執行的程序提供在上述實施例中的立體圖像處理設備 100、 400、 500的立體圖像處理的功能和/或立體圖像再現設備200、 300的立 體圖像再現的功能。需要注意的是雖然根據附圖所表示的優選實施例詳細描述了本發明，但換的結構或等同變換可在不脫離於本發明其後的權利要求的範圍和精髓的情況下估爻出。相關申請的交叉引用本申請要求於2005年6月29日提交的日本專利申請2005-189434的優 先權，其被全部併入此處以做參考。
權利要求
1、一種立體圖像處理設備，包括圖像輸入裝置，用於輸入組成立體圖像的多個圖像，作為主圖像；編碼裝置，用於將用於對所述圖像輸入裝置輸入的多個主圖像進行立體顯示控制的立體信息編碼為圖像；以及圖像合成裝置，用於將由所述圖像輸入裝置輸入的多個主圖像和由所述編碼裝置獲得的編碼圖像在各個圖像的相應區域被分區的狀態下加以合成。
2、 如權利要求1所述的立體圖像處理設備， 其中所述編碼圖像是條形碼。
3、 如權利要求1所述的立體圖像處理設備，其中所述圖像合成裝置將指示所述多個主圖像是通過平行方法的立體圖 像還是通過交叉方法的立體圖像的填充數據和所述多個主圖像在所述填充數 據和所述主圖像的相應區域被分區的狀態下加以合成。
4、 如權利要求3所述的立體圖像處理設備，進一步包括 寬高比調整輸入裝置，用於輸入寬高調整比，其中所述圖像合成裝置改變所述填充數據的尺寸，以便合成圖像的縱向 和橫向尺寸具有由所述寬高比調整輸入裝置輸入的寬高調整比。
5、 如權利要求1所述的立體圖像處理設備，進一步包括 編碼裝置，用於壓縮編碼由所述圖像合成裝置合成的圖像；以及 復用裝置，用於向由所述編碼裝置壓縮編碼的所述合成圖像中添加用於立體顯示控制的立體信息作為頭信息，以準備文件。
6、 如權利要求1所述的立體圖像處理設備，其中由所述圖像輸入裝置輸入的所述多個主圖像是對應於右眼和左眼的 圖像。
7、 如權利要求1所述的立體圖像處理設備，其中由所述圖像輸入裝置輸入的所述多個主圖像是通過從多個視點捕捉 一個對象而獲得的圖像。
8、 一種立體圖像處理方法，包括輸入步驟，通過圖像輸入裝置來輸入組成立體圖像的多個圖像，作為主 圖像；編碼步驟，通過編碼裝置將對由所述圖像輸入裝置輸入的多個主圖像進行立體顯示控制的立體信息編碼為圖像；合成步驟，通過圖像合成裝置將由所述圖像輸入裝置輸入的多個主圖像 和由所述編碼裝置獲得的編碼圖像在各個圖像的相應區域被分區的狀態下加 以合成。
9、 一種立體圖像再現設備，包括合成圖像輸入裝置，輸入合成圖像，在該合成圖像中，將組成立體圖像 的多個主圖像和用於對所述多個主圖像進行立體顯示控制的立體信息的編碼 圖像在各個圖像的相應區域被分區的狀態下加以合成；分離裝置，用於從由所述合成圖像輸入裝置輸入的所述合成圖像中分離 所述多個主圖像和所述編碼圖像；解碼裝置，用於從被分離裝置分離的所述編碼圖像中解碼所述立體信息；以及圖像變換裝置，用於基於由所述解碼單元解碼的所述立體信息來執行用 於對被所述分離單元分離的所述多個主圖像進行立體顯示的處理。
10、 一種立體圖像再現方法，包括輸入步驟，用於通過合成圖像輸入裝置，輸入合成圖像，其中，將組成 立體圖像的多個主圖像和用於對所述多個主圖像進行立體顯示控制的立體信 息的編碼圖像在各個圖像的相應區域被分區的狀態下加以合成；分離步驟，用於通過分離裝置從由所述合成圖像輸入裝置輸入的所述合 成圖像中分離出所述多個主圖像和所述編碼圖像；解碼步驟，用於通過解碼裝置從由所述分離裝置分離的所述編碼圖像中 解碼所述立體信息；以及執行步驟，用於通過圖像變換裝置基於由所述解碼裝置解碼的所述立體 信息來執行用於對被所述分離單元分離的所述多個主圖像進行立體顯示的處 理。
11、 一種立體圖像紙張，其中將組成立體圖像的多個主圖像和用於對所 述多個主圖像進行立體顯示控制的立體信息的編碼圖像在各個圖像的相應區 域被分區的狀態下加以安排或分配。
12、 一種計算機可讀立體圖像處理程序，用於允許計算機用作 圖像輸入裝置，用於輸入組成立體圖像的多個圖像，作為主圖像；編碼裝置，用於將用於對所述圖像輸入裝置輸入的多個主圖像進行立體顯示控制的立體信息編碼為圖像；以及圖像合成裝置，用於將由所述圖像輸入裝置輸入的多個主圖像和由所述 編碼裝置獲得的編碼圖像在各個圖像的相應區域被分區的狀態下加以合成。
13、 一種計算機可讀立體圖像處理程序，用於允許計算機執行以下功能 合成圖像輸入裝置，用於輸入合成圖像，在該合成圖像中，由組成立體圖像的多個主圖像和用於對所述多個主圖像進行立體顯示控制的立體信息的 編碼圖像在各個圖像的相應區域被分區的狀態下加以合成；分離裝置，用於從由所述合成圖像輸入裝置輸入的所述合成圖像中分離 所述多個主圖像和所述編碼圖像；解碼裝置，用於從被分離裝置分離的所述編碼圖像中解碼所述立體信息；以及圖像變換裝置，用於基於由所述解碼單元解碼的所述立體信息來執行用 於對被所述分離單元分離的所述多個主圖像進行立體顯示的處理。
14、 一種計算機可讀記錄介質，其中記錄了包括合成圖像的結構化圖像 信息，其中將組成立體圖像的多個主圖像和用於對所述多個主圖像進行立體 顯示控制的立體信息的編碼圖像在各個圖像的相應區域被分區的狀態下加以 合成。
全文摘要
提供一種立體圖像處理設備，用於在不依賴文件的頭信息的情況下立體地再現圖像，以便其能夠修復或恢復破損或丟失的用於立體顯示頭信息。該立體圖像處理設備包括圖像輸入單元(1)，用於輸入構成立體圖像的多個主圖像；立體信息編碼單元(6)，用於將用於對輸入的多個主圖像進行立體顯示控制的立體信息編碼為如條形碼的圖像；以及圖像合成單元(8)，用於將輸入的主圖像和立體信息的編碼圖像在分離的區域中加以合成。
文檔編號H04N13/00GK101218832SQ20068002389
公開日2008年7月9日 申請日期2006年6月29日 優先權日2005年6月29日
發明者關澤英彥, 內海端, 吉田英明, 增谷健 申請人:索尼株式會社;三洋電機株式會社;奧林巴斯映像株式會社;夏普株式會社