立體圖像顯示裝置、立體圖像顯示方法及電腦程式的製作方法

2023-10-04 05:55:09 2

專利名稱：立體圖像顯示裝置、立體圖像顯示方法及電腦程式的製作方法
技術領域：
本發明涉及生成顯示利用觀看者兩眼視差而能夠使觀看者無論從哪 個位置觀看均能於視網膜上形成三維圖像、並且能夠自然地掌控被攝體的 空間位置關係的立體圖像的立體圖像顯示裝置、立體圖像顯示方法及計算 機程序。
背景技術：
隨著近年來的圖像處理技術的急速進展，不僅大量開發出了能夠通過 使用組裝了偏振透鏡等光學透鏡的特殊眼鏡而欣賞到立體圖像的立體圖 像顯示裝置，而且還大量開發出了用裸眼也能夠欣賞到立體圖像的立體圖 像顯示裝置。對於現有的立體圖像顯示裝置而言，具有下述的問題生成 顯示的為注視點單一時的立體圖像，就空間中的部分區域而言，能夠清晰 地觀看到，從而能夠正確觀看到空間的位置關係，相對於該情況，就其他 區域而言，看到所謂的模糊圖像，所以，難以在空間整個區域正確觀看到 位置關係。
圖16為表示現有技術的立體圖像顯示的概念的示意圖。在通過投影
立體圖像的屏幕1而觀看所投影的被攝體(圖16中為車輛)的注視點2 時，因為在注視點2未產生視差，故而能夠清晰地觀看到立體圖像。另一 方面，對於離開注視點2的位置處的立體圖像，視差越大，形成於左眼視 網膜上的立體圖像3和形成於右眼視網膜上的立體圖像4的背離就越大， 結果只能在模糊不清的狀態下觀看。圖17為表示現有技術的立體圖像顯 示的模糊區域的圖。如圖17所示，在現有技術的立體圖像顯示裝置中， 採用單焦透鏡5、 5、...，能夠清晰觀看注視點2附近的被攝體，但是，在 離開注視點2的區域例如影線區域6中，則因左右圖像的視差大於規定值
為了解決該技術問題，例如專利文獻1及2中，採用可變焦透鏡，在 觀看者和屏幕1之間的多個不同位置設置注視點，擴大能夠清晰觀看的區 域，從而使由於觀看者位置、注視點等的不同而所見三維圖像不同的情況 均勻化。圖18為表示採用可變焦透鏡時的立體圖像顯示的模糊區域的圖。 如圖18所示，通過採用可變焦透鏡7、7、...，能夠設置多個注視點2、2、...， 通過採用多個可變焦透鏡7、 7、...，以進行注視點2、 2、...的配置設計， 從而能夠縮小或消除圖17的影線區域6、即左右圖像的視差大於規定值而 作為模糊圖像被識別的區域。
專利文獻1: JP特許第3064992號公報
專利文獻2: JP特開2001-238229號公報
然而，為了完全消除採用了所述可變焦透鏡7、 7、...的立體圖像顯示 系統中的模糊區域，需要配備多個可變焦透鏡7，從而有成本增大的問題。
另外，即使在包括多個可變焦透鏡7的情況下，例如對於位於從某個 注視點沿縱深方向離開的位置的被攝體的圖像，在某個注視點左右圖像的 視差仍然大於規定值，只能看到模糊的圖像。因此，即使在觀看者打算掌 控被攝體的空間位置關係而多次改變視點的情況下，仍存在僅能夠看到模 糊圖像，而且不能完全消除看到模糊圖像的區域這樣的問題。
這是因為，現有技術的立體顯示圖像系統沒有考慮到能使觀看者沒有 模糊地看到立體圖像的視差的界限值(下稱界限視差)。界限視差可以根 據觀看者和屏幕之間的位置關係而求得。
另外，對於現有技術的立體顯示圖像系統，為了從多個拍攝成的圖像 中提取焦點最對準的圖像，需要對圖像所含有的所有像素均進行比較判斷 處理。換言之，就所有像素而言，算出相關度，算出視差。所以，需要在 多個圖像間對算出的視差進行比較，故而還存在計算機的處理負荷龐大這 樣的問題。

發明內容
本發明鑑於所述技術問題而提出，本發明的目的在於提供一種無需採 用可變焦透鏡而能夠正確觀看立體圖像的所有區域、以及能夠減輕計算機 處理負荷的立體圖像顯示裝置、立體圖像顯示方法及電腦程式。 另外，本發明的目的還在於提供一種能夠儘可能正確地算出界限視 差、且多個觀看者從任何位置觀看圖像時均能夠在視網膜上形成自然三維 圖像的立體圖像顯示裝置、立體圖像顯示方法及電腦程式。
為了實現所述目的，本發明第1方面提供一種立體圖像顯示裝置，其 生成顯示在觀看者視網膜上形成三維圖像的立體圖像，其特徵在於，包括 界限視差算出機構，其算出可在觀看者視網膜上形成三維圖像的視差的邊 界即界限視差；長方體尺寸算出機構，其算出與以算出的界限視差為直徑 的球內接的長方體的尺寸；空間分割機構，其由算出的長方體將包含被攝 體的空間分割成多個空間；注視點圖像生成機構，其在每個分割空間中生 成被攝體相對於單一注視點的立體圖像；注視點圖像合成機構，其合成所 生成的多個立體圖像，生成單一立體圖像；圖像顯示機構，其顯示所生成 的單一立體圖像。
本發明第2方面涉及本發明第1方面的立體圖像顯示裝置，其特徵在 於，包括檢測顯示立體圖像的面和觀看者的相對位置的相對位置檢測機 構，所述界限視差作為左右視線交叉的點和兩眼之間的距離的倒數與顯示 立體圖像的面和兩眼之間的距離的倒數之差為規定值的視差而算出。
本發明第3方面涉及本發明第1或第2方面的立體圖像顯示裝置，其 特徵在於，所述界限視差算出機構包括基於觀看者的個人特徵而修正所述 界限視差的修正機構。
本發明第4方面涉及本發明第1至第3方面中任意一個立體圖像顯示 裝置，其特徵在於，所述注視點圖像合成機構包括亮度差算出機構，其 將分割空間中的一個空間作為基準而算出在一個空間生成的立體圖像的 亮度值和在鄰接的其他空間生成的立體圖像的亮度值的差；亮度差再算出 機構，其相對於一個空間平行移動其他空間而再次算出亮度差；相對位置 求取機構，其求取所算出的亮度差最小的其他空間相對於一個空間的相對 位置。 .
本發明第5方面提供一種立體圖像顯示方法，其生成顯示在觀看者視 網膜上形成三維圖像的立體圖像，其特徵在於，算出可在觀看者視網膜上 形成三維圖像的視差的邊界即界限視差；算出與以算出的界限視差為直徑 的球內接的長方體的尺寸；由算出的長方體將包含被攝體的空間分割成多
個空間；在每個分割空間中生成被攝體相對於單一注視點的立體圖像；合 成所生成的多個立體圖像，生成單一立體圖像；顯示所生成的單一立體圖
本發明第6方面涉及本發明第5方面的立體圖像顯示方法，其特徵在 於，檢測顯示立體圖像的面和觀看者的相對位置，所述界限視差作為左右 視線交叉的點和兩眼之間的距離的倒數與顯示立體圖像的面和兩眼之間 的距離的倒數之差為規定值的視差而算出。
本發明第7方面涉及本發明第5或第6方面的立體圖像顯示方法，其 特徵在於，基於觀看者的個人特徵而修正所述界限視差。
本發明第8方面涉及本發明第5至第7方面中任意一個立體圖像顯示 方法，其特徵在於，將分割空間中的一個空間作為基準而算出在一個空間 生成的立體圖像的亮度值和在鄰接的其他空間生成的立體圖像的亮度值 的差即亮度差，相對於一個空間平行移動其他空間而再次算出亮度差，求 取所算出的亮度差最小的其他空間相對於一個空間的相對位置。
本發明第9方面提供一種電腦程式，其生成顯示在觀看者視網膜上
形成三維圖像的立體圖像，其特徵在於，所述計算機作為如下機構而發揮
功能，即，界限視差算出機構，其算出可在觀看者視網膜上形成三維圖像
的視差的邊界即界限視差；長方體尺寸算出機構，其算出與以算出的界限
視差為直徑的球內接的長方體的尺寸；空間分割機構，其由算出的長方體
將包含被攝體的空間分割成多個空間；注視點圖像生成機構，其在每個分 割空間中生成被攝體相對於單一注視點的立體圖像；注視點圖像合成機
構，其合成所生成的多個立體圖像，生成單一立體圖像。
本發明第10方面涉及本發明第9方面的電腦程式，其特徵在於，
所述計算機作為檢測顯示立體圖像的面和觀看者的相對位置的相對位置
檢測機構而發揮功能，且以所述界限視差作為左右視線交叉的點和兩眼之
間的距離的倒數與顯示立體圖像的面和兩眼之間的距離的倒數之差為規
定值的視差而算出的方式發揮功能。
本發明第11方面涉及本發明第9或第10方面的電腦程式，其特徵
在於，所述計算機作為基於觀看者的個人特徵而修正所述界限視差的修正
機構而發揮功能。
本發明第12方面涉及本發明第9至第11方面中任意一個電腦程式， 其特徵在於，所述計算機作為如下機構而發揮功能，即，亮度差算出機構， 其將分割空間中的一個空間作為基準而算出在一個空間生成的立體圖像 的亮度值和在鄰接的其他空間生成的立體圖像的亮度值的差；亮度差再算 出機構，其相對於一個空間平行移動其他空間而再次算出亮度差；相對位 置求取機構，其求取所算出的亮度差最小的其他空間相對於一個空間的相 對位置。
在本發明第1、第5、及第9方面，算出可在觀看者視網膜上形成三 維圖像的視差的邊界即界限視差；算出所算出的界限視差內的長方體的尺 寸；由算出的長方體將包含被攝體的空間分割成多個空間；在每個包含被 攝體的空間中生成被攝體相對於單一注視點的立體圖像；合成所生成的多 個立體圖像，由此生成單一立體圖像並進行顯示輸出。由此，在觀看者沒 有看到模糊圖像的視差範圍內以某長方體分割空間，在每個分割空間均和 現有技術相同地生成立體圖像，然後將它們進行合成以生成立體圖像，所 以，在所生成的立體圖像的任何一個區域中均為界限視差內的立體圖像， 即使觀看者從任何位置任何角度觀看立體圖像，也都不會在視網膜上形成 模糊的三維圖像。
因此，即使不採用可變焦透鏡也可以正確觀看立體圖像的所有區域， 也能夠正確掌控被攝體的空間位置關係。另外，因為僅合成存在被攝體的 長方體空間中生成的立體圖像即可，故而可大幅削減計算機處理負荷，能 夠實現計算成本的降低。
在本發明第2、第6、及第10方面，包括檢測顯示立體圖像的面和觀 看者的相對位置的相對位置檢測機構，所述界限視差作為左右視線交叉的 點和兩眼之間的距離的倒數與顯示立體圖像的面和兩眼之間的距離的倒 數之差為規定值的視差而算出。由此，根據觀看者觀看的位置能夠正確算 出界限視差，能夠顯示適合於觀看者的立體圖像。
在本發明第3、第7、及第11方面，具有基於觀看者的個人特徵而修 正界限視差的修正機構。由此，通過對應於由於觀看者的個人特徵例如近 視或遠視而形成的視網膜位置的前後、晶狀體有無汙物等而對算出的界限 視差進行修正，能夠更加正確地算出界限視差，能夠顯示更加適合於觀看者的立體圖像。
在本發明第4、第8、及第12方面，將分割空間中的一個空間作為基 準而算出在一個空間生成的立體圖像的亮度值和在鄰t妾的其他空間生成 的立體圖像的亮度值的差即亮度差，相對於一個空間平行移動其他空間而 再次算出亮度差，求取所算出的亮度差最小的其他空間相對於一個空間的 相對位置。由此，在簡單地於最初空間位置合成立體圖像時，能夠除去在 鄰接立體圖像的邊界處產生的透明部分等間隙部分，在邊界部分也能夠生 成可在觀看者的視網膜上形成自然的三維圖像的立體圖像。
根據本發明第1、第5、及第9方面，在觀看者沒有看到模糊圖像的 視差範圍內以某長方體中分割空間，在每個分割空間均和現有技術相同地 生成立體圖像，然後將它們進行合成以生成立體圖像，所以，所生成的立 體圖像在任何一個區域中均為界限視差內的立體圖像，即使觀看者從任何 位置任何角度觀看立體圖像，也都不會在視網膜上形成模糊的三維圖像。
因此，即使不採用可變焦透鏡也可以正確觀看立體圖像的所有區域， 也能夠正確掌控被攝體的空間位置關係。另外，因為僅合成存在被攝體的 長方體空間中生成的立體圖像即可，故而可大幅削減計算機處理負荷，能 夠實現計算成本的降低。
根據本發明第2、第6、及第10方面，根據觀看者觀看的位置能夠正
確算出界限視差，能夠顯示適合於觀看者的立體圖像。
根據本發明第3、第7、及第11方面，通過對應於由於觀看者的個人 特徵例如近視或遠視而形成的視網膜位置的前後、晶狀體有無汙物等而對 算出的界限視差進行修正，能夠更加正確地算出界限視差，能夠顯示更加 適合於觀看者的立體圖像。
根據本發明第4、第8、及第12方面，在簡單地於最初空間位置合成 立體圖像時，能夠除去在鄰接立體圖像的邊界處產生的透明部分等間隙部 分，在邊界部分也能夠生成可在觀看者的視網膜上形成自然的三維圖像的 立體圖像。


圖I為表示本發明實施方式1的立體圖像顯示裝置的結構的方塊圖；式1的立體圖像顯示裝置的CPU的處理順 序的流程圖3為界限視差的說明圖4為表示本發明實施方式1的立體圖像顯示裝鬂的CPU算出界限 視差的順序的流程圖5為表示為了確定存儲於圖像數據存儲部的圖像數據的立體圖像的 構圖而在空間內任意位置設定的注視點及視點的圖6為所分割的空間的注視點求取方法的說明圖；.
圖7為表示確定最初分割空間的方法的示意圖8為表示最初分割空間的長方體的高度和寬度的求取方法的示意
圖9為表示配置了最初分割空間的狀態的圖； 圖10為表示作為被攝體的分割空間而配置了長方體的狀態的圖； 圖11為表示第1列所生成的立體圖像的例子的圖； 圖12為表示本發明實施方式1的立體圖像顯示裝置的CPU進行立體 圖像合成處理的流程圖13為表示以點單位移動成為調整對象的立體圖像的狀態的示意圖； 圖14為表示本發明實施方式2的立體圖像顯示裝置的結構的方塊圖； 圖15為表示本發明實施方式2的立體圖像顯示裝置的CPU算出界限
視差的順序的流程圖16為表示現有技術的立體圖像顯示的概念的示意圖17為表示現有技術的立體圖像顯示中的模糊區域的圖18為表示採用可變焦透鏡時立體圖像顯示中的模糊區域的圖。
符號說明
10:立體圖像顯示裝置
11: CPU
12:存儲機構
13: RAM
14:通信機構 15:輸入機構
16:顯示接口
17:輔助存儲機構
18:移動型記錄介質
20:大畫面顯示裝置
30:顯示裝置
40:觀看者傳感器
41:傳感器接口
121:圖像數據存儲部
D.-界限視差
g、 gl、 g2、…、gn:注視點
具體實施例方式
(實施方式1)
下面參照附圖對本發明實施方式1的立體圖像顯示裝置進行具體地說
明。圖1為表示本發明實施方式1的立體圖像顯示裝置10的結構的方塊 圖。如圖1所示，立體圖像顯示裝置10至少由CPU (中央運算裝置)11、 存儲機構12、 RAM13、與網際網路等外部網絡連接的通信機構14、輸入機 構15、向能夠供多個觀看者觀看的位於外部的大畫面顯示裝置20輸出顯 示圖像數據的顯示接口 16、及使用DVD、 CD等移動型存儲介質18的輔 助存儲機構17構成。
CPU11通過內部總線19與立體圖像顯示裝置10的所述硬體各部分連 接，控制所述硬體各部分，並且根據存儲機構12中所存儲的處理程序、 例如算出界限視差的程序、以界限視差內的長方體分割空間的程序、生成 被攝體相對於單一注視點的立體圖像的程序、合成多個立體圖像的程序 等，執行各種硬體功能。
存儲機構12採用內置固定型存儲裝置(硬碟)、ROM等構成，存儲 經由通信機構14而從外部計算機、或DVD、 CD-RAM等移動式記錄介質 18獲得的、作為立體圖像顯示裝置IO發揮功能所需的處理程序。存儲機 構12不僅存儲處理程序，而且還將例如從外部計算機接收的對被攝體進 行攝像而得到的圖像數據存儲在圖像數據存儲部121中。
RAM13由DRAM等構成，用於存儲執行軟體時產生的臨時數據。通 信機構14與內部總線19連接，以與網際網路、LAN等網絡能夠通信的方式 連接，從而接收發送處理所需的數據。
輸入機構15為用於指示畫面上任意位置的滑鼠等指示器、或為通過 在畫面上鍵入顯示畫面的橫向寬度等數值數據而進行輸入的鍵盤等。
顯示接口 16為向輸出顯示圖像的液晶顯示器(LCD)、顯示顯示器 (CRT)等外部的大畫面顯示裝置20輸送顯示數據的LSI板。
輔助存儲機構17採用CD、 DVD等移動式記錄介質18，用於向存儲 機構12下載CPU11處理的程序、數據等。另外，還可為了備份CPU11 處理的數據而寫入。
圖2為表示本發明實施方式1的立體圖像顯示裝置10的CPU11的處 理順序的流程圖。首先，立體圖像顯示裝置10的CPU11算出可於觀看者 視網膜上形成三維圖像的視差的邊界即界限視差(步驟S201)。
CPU11算出與以算出的界限視差為直徑的球內接的長方體的尺寸(步 驟S202)，從圖像數據存儲部121中讀出對被攝體進行攝像而得到的圖像 數據，由算出的長方體將含有被攝體的空間分割成多個空間(步驟S203)。 然後，CPU11在每個分割空間中生成被攝體相對於單一注視點的立體圖像 (步驟S204)。
CPU11從多個立體圖像中依次選擇一個立體圖像(步驟S205)，判斷 所選擇的立體圖像中是否含有被攝體(步驟S206)。如梟CPUll判斷為所 選擇的立體圖像中含有被攝體(步驟S206:是)，則CPU11將選擇的立體 圖像作為整體的立體圖像生成用數據而存儲在RAM13中(步驟S207)， 判斷是否已對所有的立體圖像進行了選擇(步驟S208)。如果CPUll判斷 為所選擇的立體圖像中不含有被攝體(步驟S206:否)，則CPUll不將該 立體圖像存儲在RAM13中，而是跳至步驟S208。
在CPU11判斷為未選擇所有立體圖像時(步驟S208:否)，CPU11 返回步驟S.205，重複執行所述的處理。如果CPUll判斷為選擇了所有立 體圖像(步驟S208:是)，則CPUll對存儲的多個立體圖像進行合成(步 驟S209)，通過顯示接口 16將生成的單一立體圖像輸出至外部的大畫面顯 示裝置20 (步驟S210)。
圖3為界限視差的說明圖。在觀看者觀看被攝體時，按照左右兩眼31、 32的光軸在被攝體上交叉的方式進行眼球的旋轉、晶狀體厚度的調節等。 由此，左右兩眼31、 32的光軸交叉的點與兩眼31、 32之間的距離L1發 生變動，投影有被攝體的顯示裝置20的畫面、屏幕等和兩眼31、 32之間 的距離L2的相對關係發生變動。
艮P，對存在於沿縱深方向離開注視點的值的部分的圖像進行觀看時， 距離Ll和距離L2不一致而產生相當的距離差。在該距離差逐漸變大的情 況下，當到達了規定的距離差時，觀看者觀看到模糊圖像。該距離差時的 視差定義為界限視差。
通常，在左右兩眼3K 32的光軸交叉的點與兩眼31、 32之間的距離 Ll的倒數、和投影有被攝體的畫面、屏幕等與兩眼31、 32之間的距離L2 的倒數的差在士2以內時，知道所看到的三維圖像沒有模糊。因此，界限視 差可按照以下順序算出。
圖4為表示本發明實施方式1的立體圖像顯示裝置10的CPU11在步 驟S201中的詳細處理、即算出界限視差的順序的流程圖。首先，立體圖 像顯示裝置10的CPU11按照下述順序算出實空間的界限視差(步驟 S401)。
由於距離Ll的倒數和距離L2的倒數之差在士2以內，故距離Ll和距 離L2之間滿足數學式1的關係。 — (1/L2-2) < 1/L1 < (1/L2+2) (數學式1)
另外，由於以圖3的視差d為底邊的三角形和以兩眼距離E為底邊的 三角形相似，故數學式2成立。
Ll=L2xE/(d+E) (數學式2)
根據數學式1和數學式2，關於視差d而進行整理，則可導出數學式 3，是否具有數學式3的邊界上的視差d的絕對值為界限視差D。 -2xL2><E<d<2xL2xE (數學式3)
CPU11根據算出的界限視差D、大畫面顯示裝置20的畫面的橫向寬 度W及畫面的水平方向的析像度R算出界限視差D的像素數(步驟S402)。 即根據數學式4將界限視差D換算成顯示的畫面的像素數Q。
Q=DxR/W (數學式4)
這樣，通過以顯示裝置的顯示畫面的像素單位求得界限視差D，從而 在以注視點為中心、以界限視差D為直徑的球的內部，觀看者不會看到模 糊圖像的被攝體。該範圍稱為立體界限。因此，在本實施方式l中，為了 將含有被攝體的空間無間隙地分割，而算出內接於立體界限的長方體，根 據求得的長方體將含有被攝體的空間進行分割。
圖5為表示為了確定存儲於存儲機構12的圖像數據存儲部121中的 圖像數據的立體圖像的構圖而在空間內任意位置設定的注視點及視點的 圖。在圖5的例子中，在被攝體即車輛的重心附近設置注視點g，設置面 向注視點g的視點v。
接著，CPU11根據提供的注視點g和視點v而確定分割空間的最初長 方體。圖6為求得所分割的空間的注視點gl的方法的說明圖。求得連接 注視點g和視點v的線段和作為三維模型的被攝體的表面的交點Pl。求得 所述線段上從交點P1向注視點g側移動了規定距離M的點，將該點作為 最初的分割空間的注視點gl。還有，移動距離M為由式M-Lxp (0Sp《1) 求得的距離。在此，係數p為用於調整交點Pl附近的圖像的參數。
另外，L為以最初的分割空間的注視點gl為中心的長方體的縱深長 度，基於界限視差D而算出。長方體的形狀通過將界限視差D乘以形狀 參數q (OSqSl)來調整。即，q越大，縱深長度越長，高度及寬度越短。
CPU11以連接視點v和最初的分割空間的注視點gl而成的線段上的 任意的點a的視差不超過界限視差D乘以形狀參數q而得到的值的方式確 定點a的坐標。圖7為表示確定最初的分割空間的方法的示意圖。CPU11 求得在從視點v向最初的分割空間的注視點gl的縱深方向上不超過界限 視差D的點a的坐標。然後，以對角線的交點與注視點gl —致，對角線 的長度的二分之一和注視點gl與點a的距離一致的方式確定長方形Dl 。
圖8 (a)和(b)為表示求取最初的分割空間的長方體的高度的方法 的示意圖。如圖8 (a)所示，CPU11確定在與含有長方形D1的平面正交 的直線上不超過界限視差D的點b的坐標。然後，如圖S(b)所示，CPU11 按照下述方式確定最初的分割空間即長方體，該方式為以注視點gl為 中心，底面為長方形D1，高度為點a和點b的距離h的2倍。
CPU11在確定了分割空間的長方體的縱深長度、高度及寬度時，將以
注視點gl為中心的長方體配置為最初的分割空間。圖9為表示配置了最
初的分割空間的狀態的圖。如圖9所示，1個長方體形成1個分割空間， 長方體的中心為分割空間的注視點gl。而且，CPU11以在最初的分割空 間即長方體的上下左右前後鄰接的方式依次配置長方體。
圖10為表示作為被攝體的分割空間配置了長方體的狀態的圖。如圖 10所示，CPU11依次重複進行長方體的配置，直到長方體內不再含有表 示被攝體的3維模型。通過如此配置，任何一個長方體所含有的3維模型 的圖像的視差均不超過圖8 (a)頂點b的視差。這是因為在此配置的長方 體越遠離最初的長方體，其在立體圖像上越小。
CPU11在如上分割成的每一個空間中生成立體圖像時，固定視點v， 和現有技術同樣地在每一個分割空間的長方體中生成相對於注視點gl、 g2、 ...、 gn (n為自然數)的立體圖像。
立體圖像的生成從接近視點v的分割空間依次進行。例如，如圖10 所示，在縱深方向配置m列(m為自然數)長方體時，CPU11從第1列
開始依次生成立體圖像。在生成第2列、第3列.....第k (k為Wk《m
的自然數)列的立體圖像時，在其之前生成的立體圖像即第1列到第(k-l) 列的立體圖像的作用下，分割空間從視點v完全隱去時，對於該分割空間， 跳過立體圖像的生成。圖11為表示在第1列生成的立體圖像的例子的圖。 於是，通過依次從視點v開始生成觀看者能夠觀看到的立體圖像，來合成 這些圖像，由此，即使在觀看者觀看了顯示於大畫面的圖像的任何一個部 分的情況下，也均能夠看到三維圖像。
然而，對於僅簡單地合成立體圖像而言，分割空間的邊界處產生透明 間隙部分，形成不自然的三維圖像。因此，為了不在邊界形成透明間隙部 分，CPU11相對於一個分割空間一個點一個點地移動鄰接的其他分割空 間。圖12為表示本發明實施方式1的立體圖像顯示裝置10的CPU11進 行立體圖像合成處理的流程圖。
立體圖像顯示裝置10的CPU11從生成的多個立體圖像中特定成為進 行合成處理的基準的立體圖像和成為調整對象的立體圖像(步驟S1201)。 通常，成為基準的立體圖像從與最初的分割空間的長方體對應的立體圖像 向依次進行了合成處理的立體圖像移動。
CPUll將成為調整對象的立體圖像向成為基準的立體圖像的注視點
(基準注視點)移動1個點(步驟S1202),判斷是否存在事先作為背景色 登記的亮度值的點、即是否存在可透過背景的透明部分;(步驟S1203)。圖 13為表示以點單位移動成為調整對象的立體圖像的狀態的示意圖。在圖 13中，通過以點單位將成為調整對象的立體圖像62向成為基準的立體圖 像61的注視點(基準注視點)g移動，從而使存在於成為基準的立體圖像 61和成為調整對象的立體圖像62之間的背景色部分即透明部分63消失。
在CPUll判斷為存在透明部分時(步驟S1203:是)，CPU11返回步 驟S1202，重複一個點一個點地使成為調整對象的立體圖像接近移動。在 CPU11判斷為無透明部分時(步驟S1203:否)，CPU1算出邊界的亮度 值的差值(步驟S1204)，判斷亮度值的差是否在規定值以下(步驟S1205)。
在CPU11判斷為亮度值差不在規定值以下時(步驟S1205:否)，CPU11 返回步驟S1202，重複執行所述的處理。在CPU11判斷為亮度值差在規定 值以下時(步驟S1205:是)，CPU11判斷是否所有立體圖像進行完合成 處理(步驟S1206)。
在CPU11判斷為所有立體圖像進行完合成處理時(步驟S1206:是)， CPU11通過顯示接口 16向大畫面顯示裝置20送出生成的立體圖像(步驟 S1207)。在CPU11判斷為所有立體圖像未進行完合成處理時(步驟S1206: 否)，CPU11返回步驟S1201，重複執行所述的處理。
在所述處理中，儘管根據邊界的亮度值差是否在規定值以下來確定合 成處理中的成為調整對象的立體圖像相對於成為基準的立體圖像的相對 位置，但是，也可以算出一定範圍內的所有亮度值差，將亮度值差最小的 位置作為成為調整對象的立體圖像相對於成為基準的立體圖像的相對位 置。這樣，在簡單地於最初的空間位置合成立體圖像時能夠更有效地消除 在鄰接的立體圖像的邊界處產生的透明部分等間隙部分，能夠生成即使在 邊界部分也仍可在觀看者視網膜上形成自然三維圖像的立體圖像。
根據所述本實施方式1，由觀看者沒有看到模糊圖像的視差範圍內的 長方體將空間進行分割，在每個分割空間均和現有技術相同地生成立體圖 像，然後將它們進行合成以生成立體圖像，所以，在已生成的立體圖像的 任何一個區域均是界限視差內的立體圖像，即使觀看者從任何位置任何角200580049150.0
說明書第14/16頁
度觀看立體圖像，也都不會在視網膜上形成模糊的三維圖像。
因此，即使不採用可變焦透鏡也可以正確觀看立體.圖像的所有區域， 能夠正確掌控被攝體的空間位置關係。另外，因為僅合成存在被攝體的長 方體空間中生成的立體圖像即可，故而可大幅削減計算機處理負荷，能夠 實現計算成本的降低。 (實施方式2)
下面參照附圖對本發明實施方式2的立體圖像顯示裝置進行具體地說 明。圖14為表示本發明實施方式2的立體圖像顯示裝置10的結構的方塊 圖。如圖14所示，本發明實施方式2的立體圖像顯示裝置10的結構由於 和實施方式l的相同，故標註相同符號而省略其詳細的說明。本實施方式 2的特徵在於，不僅向能夠供多個觀看者觀看的大畫面顯示裝置20、而且 還向能夠供單個觀看者觀看的外部顯示裝置30送出立體圖像，並且，基 於由觀看者傳感器40檢測出的觀看者到畫面的距離、兩眼距離等，對生 成立體圖像的作為基準的界限視差進行修正。
輸入機構15為用於指示畫面上任意位置的滑鼠等指示器、或為通過 在畫面上鍵入顯示畫面的橫向寬度等數值數據而進行輸入的鍵盤等。
顯示接口 16為向輸出顯示圖像的液晶顯示器(LCD)、顯示顯示器 (CRT)等外部顯示裝置30輸送顯示數據的LSI板。
傳感器接口 41將位於外部的觀看者傳感器40所檢測出的信號傳送至 CPUll。觀看者傳感器40例如可以是設於顯示裝置30畫面上方的光傳感 器、超聲波傳感器等，CPU11基於所取得的檢測信號，算出至觀看者的距 離、觀看者兩眼的間隔等。
通常，在左右兩眼31、 32的光軸交叉的點與兩眼31、 32之間的距離 Ll的倒數、和投影有被攝體的畫面、屏幕等與兩眼31、 32之間的距離L2 的倒數的差在士2以內時，知道所看到的三維圖像沒有模糊。然而，還需考 慮由於個人特質例如觀看者至顯示畫面的距離、觀看者兩眼距離的不同而 可能不一樣的情況。
因此，在本實施方式2中，為了抵消這種容許界限的變動，根據基於 觀看者傳感器40所檢測出的信號而算出的到觀看者的距離、觀看者兩眼 間隔等，CPU11算出距離Ll的倒數和距離L2的倒數的容許差Z。
圖15為表示本發明實施方式2的立體圖像顯示裝置10的CPU11算 出界限視差的順序的流程圖。立體圖像顯示裝置10的CPU11獲取由觀看 者傳感器40檢測出的檢測信號(步驟S1501)，算出投影有被攝體的顯示 裝置20的畫面、屏幕等與兩眼31、 32的距離L2、及觀看者兩眼的間隔E 等(步驟S1502)。
CPU11算出距離L1的倒數與距離L2的倒數的容許差Z(步驟S1503)， 按照下面的順序算出實空間中的界限視差(步驟S1504)。因為距離L1的 倒數與距離L2的倒數之差在士Z以內，故距離Ll和L2之間滿足數學式5。
formula see original document page 19
另外，由於以圖3的視差d為底邊的三角形和以兩眼距離E為底邊的 三角形相似，故數學式6成立。
formula see original document page 19根據數學式5和數學式6，關於視差d而進行整理，則可導出數學式 7，是否具有數學式7的邊界的視差d的絕對值為界限視差D。 -ZxL2xE<d<E (數學式7)
然而，根據由於觀看者的個人特徵例如近視或遠視等導致的視網膜位 置的前後、晶狀體有無汙物等，對於所見模糊範圍存在個人差異。為了更 適合於觀看者的個體特徵，通過輸入機構15設定用於修正界限視差D的 係數。因此，能夠生成更適合於觀看者的立體圖像。
CPU11根據算出的界限視差D、顯示裝置30的畫面的橫向寬度W及 畫面的水平方向的析像度R，算出界限視差D的像素數(步驟S1505)。 即根據數學式8而將界限視差D換算成顯示的畫面的像素數Q。formula see original document page 19
這樣，通過以顯示裝置的顯示畫面的像素單位求得界限視差D，從而 在以注視點為中心、以界限視差D為直徑的球的內部，觀看者不會看到模 糊圖像的被攝體。該範圍稱為立體界限。因此，在本實施方式l中，為了 將含有被攝體的空間無間隙地分割，而算出內接於立體界限的長方體，根 據求得的長方體將含有被攝體的空間進行分割。
然後，和實施方式l同樣，在每個分割空間生成立體圖像，將生成的 多個立體圖像合成以生成單一的立體圖像，由此，無論觀看者的觀看姿勢、
方向等如何，均能夠觀看到正確的三維圖像。
如上所述，根據本實施方式2，能夠根據觀看者的觀看位置而正確算 出界限視差，能夠顯示適合於觀看者的立體圖像。另外，通過根據由於觀 看者的個人特徵例如近視或遠視等導致的視網膜位置的前後、晶狀體有無 汙物等，對算出的界限視差進行修正，由此，能夠更準確地算出界限視差， 能夠顯示更適合於觀看者的立體圖像。
權利要求
1、一種立體圖像顯示裝置，其生成顯示在觀看者視網膜上形成三維圖像的立體圖像，其特徵在於，包括界限視差算出機構，其算出可在觀看者視網膜上形成三維圖像的視差的邊界即界限視差；長方體尺寸算出機構，其算出與以算出的界限視差為直徑的球內接的長方體的尺寸；空間分割機構，其由算出的長方體將包含被攝體的空間分割成多個空間；注視點圖像生成機構，其在每個分割空間中生成被攝體相對於單一注視點的立體圖像；注視點圖像合成機構，其合成所生成的多個立體圖像，生成單一立體圖像；圖像顯示機構，其顯示所生成的單一立體圖像。
2、 如權利要求l所述的立體圖像顯示裝置，其特徵在於， 包括檢測顯示立體圖像的面和觀看者的相對位置的相對位置檢測機構，所述界限視差作為左右視線交叉的點和兩眼之間的距離的倒數與顯 示立體圖像的面和兩眼之間的距離的倒數之差為規定值的視差而算出。
3、 如權利要求1或2所述的立體圖像顯示裝置，其特徵在於， 所述界限視差算出機構包括基於觀看者的個人特徵而修正所述界限視差的修正機構。 _
4、 如權利要求1至3中任意一項所述的立體圖像顯示裝置，其特徵 在於，所述注視點圖像合成機構包括亮度差算出機構，其將分割空間中的一個空間作為基準而算出在一個 空間生成的立體圖像的亮度值和在鄰接的其他空間生成的立體圖像的亮 度值的差； 亮度差再算出機構，其相對於一個空間平行移動其他空間而再次算出亮度差；相對位置求取機構，其求取所算出的亮度差最小的其他空間相對於一 個空間的相對位置。
5、 一種立體圖像顯示方法，其生成顯示在觀看者視網膜上形成三維 圖像的立體圖像，其特徵在於，算出可在觀看者視網膜上形成三維圖像的視差的邊界即界限視差；算出與以算出的界限視差為直徑的球內接的長方體的尺寸；由算出的長方體將包含被攝體的空間分割成多個空間；在每個分割空間中生成被攝體相對於單一注視點的立體圖像；合成所生成的多個立體圖像，生成單一立體圖像；顯示所生成的單一立體圖像。
6、 如權利要求5所述的立體圖像顯示方法，其特徵在於， 檢測顯示立體圖像的面和觀看者的相對位置，所述界限視差作為左右視線交叉的點和兩眼之間的距離的倒數與顯 示立體圖像的面和兩眼之間的距離的倒數之差為規定值的視差而算出。
7、 如權利要求5或6所述的立體圖像顯示方法，其特徵在於，基於觀看者的個人特徵而修正所述界限視差。
8、 如權利要求5至7中任意一項所述的立體圖像顯示方法，其特徵 在於，將分割空間中的一個空間作為基準而算出在一個空間生成的立體圖 像的亮度值和在鄰接的其他空間生成的立體圖像的亮度值的差即亮度差， 相對於一個空間平行移動其他空間而再次算出亮度差， 求取所算出的亮度差最小的其他空間相對於一個空間的相對位置。
9、 一種電腦程式，其生成顯示在觀看者視網膜上形成三維圖像的 立體圖像，其特徵在於，所述計算機作為如下機構而發揮功能，艮P，界限視差算出機構，其算出可在觀看者視網膜上形成三維圖像的視差 的邊界即界限視差；長方體尺寸算出機構，其算出與以算出的界限視差為直徑的球內接的 長方體的尺寸；空間分割機構，其由算出的長方體將包含被攝體的空間分割成多個空間；注視點圖像生成機構，其在每個分割空間中生成被攝體相對於單一注 視點的立體圖像；注視點圖像合成機構，其合成所生成的多個立體圖像，生成單一立體 圖像。
10、 如權利要求9所述的電腦程式，其特徵在於， 所述計算機作為檢測顯示立體圖像的面和觀看者的相對位置的相對位置檢測機構而發揮功能，且以所述界限視差作為左右視線交叉的點和兩眼之間的距離的倒數 與顯示立體圖像的面和兩眼之間的距離的倒數之差為規定值的視差而算 出的方式發揮功能。
11、 如權利要求9或IO所述的電腦程式，其特徵在於，所述計算機作為基於觀看者的個人特徵而修正所述界限視差的修正 機構而發揮功能。
12、 如權利要求9至11中任意一項所述的電腦程式，其特徵在於， 所述計算機作為如下機構而發揮功能，艮P，亮度差算出機構，其將分割空間中的一個空間作為基準而算出在一個 空間生成的立體圖像的亮度值和在鄰接的其他空間生成的立體圖像的亮 度值的差；亮度差再算出機構，其相對於一個空間平行移動其他空間而再次算出 亮度差；相對位置求取機構，其求取所算出的亮度差最小的其他空間相對於一 個空間的相對位置。
全文摘要
提供一種無需採用可變焦透鏡而能夠正確觀看立體圖像的所有區域並能夠減輕計算機處理負荷、以及能夠在多個觀看者從任何位置觀看圖像時也在視網膜上形成自然三維圖像的立體圖像顯示裝置、立體圖像顯示方法及電腦程式。在生成顯示在觀看者視網膜上形成三維圖像的立體圖像的立體圖像顯示裝置中，算出可在觀看者視網膜上形成三維圖像的視差的邊界即界限視差；算出與以算出的界限視差為直徑的球內接的長方體的尺寸；由算出的長方體將包含被攝體的空間分割成多個空間；在每個分割空間中生成被攝體相對於單一注視點的立體圖像；合成所生成的多個立體圖像，生成單一立體圖像；顯示所生成的單一立體圖像。
文檔編號H04N13/04GK101180891SQ200580049150
公開日2008年5月14日 申請日期2005年12月12日 優先權日2005年3月18日
發明者內村隆生, 岡田忠憲, 平松孝一, 服部和行, 竹內俊作, 須內康仁 申請人:株式會社恩梯梯數據三洋系統;豐田自動車株式會社