立體視覺強度調整裝置、立體視覺強度調整方法、程序、集成電路、記錄介質的製作方法
2023-10-22 02:50:37
專利名稱：立體視覺強度調整裝置、立體視覺強度調整方法、程序、集成電路、記錄介質的製作方法
技術領域：
本發明涉及對立體視覺影像的立體視覺強度進行調整的技術。
背景技術：
近年來，利用兩眼視差的立體視覺影像的再現技術受到關注。人通過射入左眼和右眼的影像的差別，感知到立體(例如參照非專利文獻I)。因此，通過使存在視差的影像(左眼用影像 右眼用影像)獨立地射入視聽者的左眼和右眼，能夠使視聽者感受到進深。在家庭設置用再現裝置的現有技術中，例如有專利文獻I所記載的技術。此外，在立體視覺再現的現有技術中，例如有專利文獻2所記載的技術。通過使用這些技術，能夠進行立體視覺影像的視聽。 在此，立體視覺影像的躍出的程度和退入的程度，經常由於視聽者不同而喜好不同。此外，立體視覺影像的躍出程度和退入程度依賴於顯示立體視覺影像的顯示器的尺寸。因此，使用專利文獻3和專利文獻4所公開的技術，進行立體視覺影像的立體視覺強度的調
難
iF. O在專利文獻3所公開的技術中，計算構成立體視覺影像的左眼用影像·右眼用影像間的視差，根據顯示立體視覺影像的顯示器的尺寸，變更所計算的視差的值。此外，基於變更後的視差的值，對立體視覺影像進行修正，從而調整立體視覺影像的立體視覺強度。此外，在專利文獻4所公開的技術中，計算構成立體視覺影像的左眼用影像·右眼用影像間的視差，以使立體視覺影像的躍出量及退入量收斂於視聽者的允許範圍內的方式，變更視差的值。此外，基於變更後的視差的值，對立體視覺影像進行修正，從而調整立體視覺影像的立體視覺強度。現有技術文獻專利文獻專利文獻I :國際公開第2005/119675號專利文獻2 :美國專利申請公開第2008/0036854號說明書專利文獻3 :特開2010-45584號公報專利文獻4 :特開2003-284093號公報非專利文獻非專利文獻 l:Lenny Lipton, "Foundations of the Stereoscopic Cinema, AStudy in Depth〃，Van Nostrand Reinholdj 1982發明的概要發明所要解決的問題但是，在上述的以往技術中，有時立體視覺強度的調整後的立體視覺影像變得不自然。
發明內容
本發明是鑑於上述情況而做出的，其目的在於，提供一種能夠進行不適感較少的立體視覺強度的調整的立體視覺強度調整裝置。解決課題所採用的手段為達成上述目的，本發明的一個方式的立體視覺強度調整裝置，對立體視覺影像的立體視覺強度進行調整，其特徵在於，具備視差圖取得部，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數 據所成的組的各像素的視差的值；精度判定部，判定所述視差圖的精度；立體視覺強度調整部，對所述立體視覺影像的立體視覺強度進行調整；所述立體視覺強度調整部根據所述視差圖的精度，擇一地選擇並執行使用視差圖的像素移位處理及平面移位處理。發明效果根據本發明的一個方式的立體視覺強度調整裝置，判定視差圖的精度，該視差圖表示立體視覺影像所具有的視差的值，根據判定的精度，擇一地選擇基於使用視差圖的像素移位的立體視覺強度調整單元、或基於未使用視差圖的平面移位的立體視覺強度調整單元，所以能夠降低由立體視覺強度的調整導致的立體視覺影像的變形。因此，能夠進行對視聽者來說不適感較少的立體視覺強度的調整。
圖I是表示使用本實施方式的立體視覺調整裝置的立體視覺影像視聽系統的圖。圖2是表示立體視覺影像再現時的左眼用圖像及右眼用圖像的輸出例的圖。圖3是表示退入立體視覺的情況下的、左眼用圖像及右眼用圖像的移位量(視差量)和立體視覺影像的躍出程度及退入程度的關係的圖。圖4是表示躍出立體視覺的情況下的、左眼用圖像及右眼用圖像的移位量(視差量)和立體視覺影像的躍出程度及退入程度的關係的圖。圖5是表示顯示器尺寸和顯示器上的圖像的移位量的關係的圖。圖6是表示向視聽的物體的躍出位置及退入位置的視差角的一例的圖。圖7是表示DIBR的概要的圖。圖8是表示立體視覺強度調整裝置10的構成的一例的框圖。圖9是用於說明視差圖的生成的圖。圖10是用於說明視差圖的精度的評價的圖。圖11是表不由基於視差圖的DIBR處理廣生的遮擋的圖。圖12是表示遮擋的一例的圖。圖13是表不視差圖的像素值和移位量的關係的圖。圖14是表示由立體視覺強度調整裝置10進行的立體視覺強度調整處理的流程的流程圖。圖15是表示視差圖的精度的評價處理的流程的流程圖。圖16是表示立體視覺強度調整裝置20的構成的一例的框圖。圖17是表示平面移位處理的概要的圖。圖18是表示由立體視覺強度調整裝置20進行的立體視覺強度調整處理的流程的流程圖。圖19是表不平面移位處理的流程的流程圖。圖20是表示伴隨著立體視覺強度的調整是否合適的確認的、立體視覺強度調整處理的流程的流程圖。圖21是表示立體視覺強度調整裝置30的構成的一例的框圖。圖22是表示由立體視覺強度調整裝置30進行的立體視覺強度調整處理的流程的流程圖。圖23是表示立體視覺強度調整裝置40的構成的一例的框圖。·
具體實施例方式《作為本發明的一個方式的基礎的知識》首先，說明作為本發明的一個方式的基礎的知識。立體視覺影像的躍出的程度和退入的程度，經常由於視聽者不同而喜好不同。此夕卜，立體視覺影像的躍出程度和退入程度依賴於顯示立體視覺影像的顯示器的尺寸。因此，一直以來，使用專利文獻3和專利文獻4所公開的技術來對立體視覺影像的立體視覺強度進行調整。在此，發明人們通過深入研究發現，通過這些技術對立體視覺影像的立體視覺強度進行調整時，有時調整後的立體視覺影像發生變形。變形的立體視覺影像給視聽者帶來不適感。發明人們研究了由於該立體視覺強度的調整而立體視覺影像變形的原因。結果發現，因為基於錯誤計算的視差的值來進行立體視覺強度的調整，所以立體視覺影像變形。此夕卜，基於具有過大的視差量的視差圖進行DIBR處理，所以在DIBR處理後的立體視覺影像中產生的遮擋(occlusion)的量變大，立體視覺強度調整後的立體視覺影像變形。在構成立體視覺影像的左眼用圖像·右眼用圖像間進行對應點的搜索，並計算該對應點間的水平方向的偏移量，從而計算立體視覺影像所具有的視差量。在該對應點的搜索中，平坦的圖像區域等與具有複雜圖案的圖像區域相比，難以較多地搜索對應點的候選。從該多個對應點候選中選擇正確的對應點時容易發生錯誤。檢測到錯誤的對應點的情況下，基於與實際的視差量不同的視差量進行立體視覺強度的調整，結果立體視覺影像變形。此外，在DIBR處理中，以每個像素不同的像素數將各像素的坐標移位。因此，在視差圖的相鄰的像素的值急劇變化的部位、即圖像中包含的被攝體的邊界面附近產生遮擋。通常，遮擋使用周邊的像素進行插值，但是該遮擋量過大時，可能給用戶帶來不適感。《本發明的一個方式的概要》發明人們基於以上知識，得到了以下所示的發明的一個方式。本發明的一個方式的立體視覺強度調整裝置，對立體視覺影像的立體視覺強度進行調整，具備視差圖取得部，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值；精度判定部，判定所述視差圖的精度；立體視覺強度調整部，對所述立體視覺影像的立體視覺強度進行調整；所述立體視覺強度調整部根據所述視差圖的精度，擇一地選擇並執行使用視差圖的像素移位處理及平面移位處理。根據上述方式，判定視差圖的精度，該視差圖表示立體視覺影像所具有的視差的值，根據判定的精度，擇一地選擇基於使用視差圖的像素移位的立體視覺強度調整單元、還是基於未使用視差圖的平面移位的立體視覺強度調整單元，所以能夠降低由於立體視覺強度的調整導致的立體視覺影像的變形。因此，能夠進行對視聽者來說不適感較少的立體視覺強度的調整。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，所述精度判定部使用由所述視差圖所示的視差的值決定的所述立體視覺影像的立體視覺強度，判定所述視差圖的精度，在所述立體視覺影像的立體視覺強度為規定的強度以上時，所述立體視覺強度調整部選擇使用視差圖的像素移位處理，在所述立體視覺影像的立體視覺強度為規定的強度以下時，所述立體視覺強度調整部選擇平面移位處理。根據上述方式，立體視覺影像的立體視覺強度適當地收斂的情況下，通過平面移位處理進行立體視覺強度的調整。此外，立體視覺影像的立 體視覺強度為適當的強度以上的情況下，通過DIBR處理進行立體視覺強度的調整。立體視覺影像的立體視覺強度適當收斂的情況下，不需要大幅度的立體視覺強度的調整，所以通過平面移位處理對立體視覺強度進行調整，不會使立體視覺影像的畫質劣化，就能夠進行立體視覺強度的調整。另一方面，立體視覺影像的立體視覺強度為適當的強度以上的情況下，需要將立體視覺強度變更為適當的強度以內，通過DIBR處理對立體視覺強度進行調整，從而能夠調整立體視覺影像的躍出及進深感。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，所述立體視覺影像的立體視覺強度基於視差角，所述精度判定部使用所述視差圖所示的視差的值來計算視差角，通過對計算出的視差角和規定的閾值進行比較，判定所述視差圖的精度。根據上述方式，基於由視差角決定的立體視覺強度，選擇平面移位處理和DIBR處理，能夠調整立體視覺影像的立體視覺強度。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，所述視差圖取得部通過在主視數據和副視數據之間進行對應點搜索，生成視差圖，所述精度判定部使用由所述視差圖取得部在對應點搜索工序中產生的錯誤量，判定所述視差圖的精度，所述立體視覺強度調整部在視差圖整體中的精度為規定的精度以上時，選擇使用視差圖的像素移位處理，在視差圖整體中的精度為規定的精度以下時，選擇平面移位處理。根據上述方式，基於在對應點搜索時錯誤地檢測的對應點來對立體視覺強度進行調整，能夠防止立體視覺強度的調整後的立體視覺影像的品質降低。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，所述錯誤量是在對應點搜索中未檢測到對應點的像素及檢測到多個對應點候選的像素的數量，所述精度判定部在由所述視差圖取得部進行的對應點搜索中，通過對未檢測到對應點的像素及檢測到多個對應點候選的像素的數量和規定的閾值進行比較，判定所述視差圖的精度。根據上述方式，將未檢測到對應點的像素及檢測到多個對應點候選的像素作為錯誤量檢測，基於該像素數，能夠判定視差圖的精度。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，還具備畫面尺寸取得部，取得顯示所述立體視覺影像的畫面的尺寸，由所述立體視覺強度調整部進行的像素移位處理，使用所述畫面的尺寸和所述視差圖的精度，變更所述視差圖所具有的視差量，以與變更的視差量對應的像素數來將主視數據的各像素的坐標移位，從而重新生成副視數據。根據上述方式，使用畫面的尺寸和視差圖的精度來變更視差圖，從而能夠提高視差圖的精度，所以能夠進行不適感較少的立體感調整，能夠減輕視聽者的眼睛疲勞和提高臨場感。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，所述精度判定部判定所述視差圖的前景區域及背景區域中的精度，由所述立體視覺強度調整部進行的像素移位處理，在所述視差圖的背景區域的精度為規定的精度以下時，將所述視差圖的背景區域所具有的視差量設為無效。根據上述方式，將對應點搜索的錯誤較多存在的背景區域的視差量設為無效，能夠提聞視差圖的精度。
此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，所述精度判定部判定所述視差圖的前景區域及背景區域中的精度，由所述立體視覺強度調整部進行的像素移位處理，在所述視差圖的前景區域的精度為規定的精度以下時，將所述視差圖的前景區域所具有的視差量平均化。根據上述方式，將對應點搜索的錯誤較多存在的前景區域所具有的視差量平均化，所以能夠提高視差圖的精度。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，由所述立體視覺強度調整部進行的像素移位處理，提取所述視差圖的前景區域所包含的被攝體的輪廓，當該輪廓的提取的精度為規定的精度以上時，執行所述視差圖的前景區域所具有的視差量的平均化。根據上述方式，在前景區域所包含的被攝體的輪廓的提取精度為規定的精度以上時，執行視差圖的前景區域所具有的視差量的平均化，所以通過將視差圖的前景區域所具有的視差量平均化，能夠防止視差圖的精度降低。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，所述精度判定部使用由所述視差圖所示的視差的值決定的所述立體視覺影像的立體視覺強度，判定所述視差圖的精度，由所述立體視覺強度調整部進行的像素移位處理，在所述立體視覺影像的立體視覺強度為規定的強度以上時，降低所述視差圖所具有的視差量。根據上述方式，在立體視覺影像的立體視覺強度為規定的強度以上時，降低視差圖所具有的視差量，所以能夠減少由立體視覺強度的調整產生的遮擋量。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，由所述立體視覺強度調整部進行的像素移位處理，變更視差圖所具有的視差量，以使立體視覺影像相對於所述畫面的尺寸的躍出量及退入量收斂到預先決定的視差角以內。根據上述方式，對立體視覺強度進行調整，以收斂在規定的視差角以內，所以能夠提供對用戶來說視覺疲勞和不適感等較少的立體視覺影像。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，由所述立體視覺強度調整部進行的像素移位處理，變更視差圖所具有的視差量，以使立體視覺影像的躍出量及退入量與視聽距離的比成為預先決定的固定值。根據上述方式，能夠提供具有適於顯示立體視覺影像的畫面的尺寸的立體視覺強度的立體視覺影像。
此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，由所述立體視覺強度調整部進行的像素移位處理，在所述畫面尺寸為規定的尺寸以上時，變更視差圖所具有的視差量，以使立體視覺影像的躍出量及退入量相對於所述畫面的尺寸收斂在預先決定的視差角以內，所述畫面尺寸為規定的尺寸以下時，變更視差圖所具有的視差量，以使立體視覺影像的躍出量及退入量相對於所述畫面的尺寸為預先決定的視差角以上且立體視覺的融合極限的視差角以內。根據上述方式，在顯示立體視覺影像的畫面的尺寸較大的情況下，通過增大視差量，使立體視覺強度成為規定的視差角以上，能夠防止帶來視覺疲勞和不適感等。此外，顯示立體視覺影像的畫面的尺寸較小的情況下，通過縮小視差量，能夠防止將左眼用圖像和右眼用圖像識別為不同的圖像而難以進行立體融合。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，還具備平面，包含左眼用的平面及右眼用的平面；以及繪製引擎，在所述平面中寫入視數據；在視差圖整體中的精度為規定的精度以上時，所述繪製引擎將立體視覺強度調整後的主視數據及 副視數據寫入所述平面，在視差圖整體中的精度為規定的精度以下時，所述繪製引擎將立體視覺強度調整前的主視數據寫入左眼用的平面及右眼用的平面雙方。根據上述方式，能夠在視差圖的精度較高時進行3D顯示，在視差圖的精度較低時進行2D顯示。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，所述視差圖取得部在所述視差圖的精度為規定的精度以下時，進行視差圖的重新取得。根據上述方式，在視差圖的精度較低的情況下，進行視差圖的重新取得，所以能夠期待提聞視差圖的精度。此外，在本發明的一個方式的立體視覺強度調整裝置的特定方面中，所述視差圖取得部通過與以前生成視差圖的方法不同的方法，進行視差圖的重新取得。根據上述方式，通過與以前生成視差圖的方法不同的方法，進行視差圖的重新取得，所以能夠更加期待提高視差圖的精度。此外，本發明的一個方式的立體視覺強度調整方法，對立體視覺影像的立體視覺強度進行調整，該立體視覺強度調整方法具備以下步驟視差圖取得步驟，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值；精度判定步驟，判定所述視差圖的精度；以及立體視覺強度調整步驟，對所述立體視覺影像的立體視覺強度進行調整；在所述立體視覺強度調整步驟中，根據所述視差圖的精度，擇一地選擇並執行使用視差圖的像素移位處理及平面移位處理。根據上述方式，能夠提供一種立體視覺強度調整方法，能夠降低由立體視覺強度的調整導致的立體視覺影像的變形。此外，本發明的一個方式的程序，使計算機執行對立體視覺影像的立體視覺強度進行調整的立體視覺強度調整處理，該程序使計算機執行如下步驟視差圖取得步驟，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值；精度判定步驟，判定所述視差圖的精度；以及立體視覺強度調整步驟，對所述立體視覺影像的立體視覺強度進行調整；在所述立體視覺強度調整步驟中，根據所述視差圖的精度，擇一地選擇並執行使用視差圖的像素移位處理及平面移位處理。
根據上述方式，能夠提供一種能夠降低由立體視覺強度的調整導致的立體視覺影像的變形的程序。此外，本發明的一個方式的集成電路，用於對立體視覺影像的立體視覺強度進行調整的立體視覺強度調整處理，該集成電路具備視差圖取得單元，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值；精度判定單元，判定所述視差圖的精度；以及立體視覺強度調整單元，對所述立體視覺影像的立體視覺強度進行調整；所述立體視覺強度調整單元根據所述視差圖的精度，擇一地選擇並執行使用視差圖的像素移位處理及平面移位處理。根據上述方式，能夠提供一種能夠降低由立體視覺強度的調整導致的立體視覺影像的變形的集成電路。此外，本發明的一個方式的記錄介質，記錄有使計算機執行對立體視覺影像的立 體視覺強度進行調整的立體視覺強度調整處理的程序，所述程序使計算機執行如下步驟視差圖取得步驟，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值；精度判定步驟，判定所述視差圖的精度；以及立體視覺強度調整步驟，對所述立體視覺影像的立體視覺強度進行調整；在所述立體視覺強度調整步驟中，根據所述視差圖的精度，擇一地選擇並執行使用視差圖的像素移位處理及平面移位處理。根據上述方式，能夠提供一種能夠降低由立體視覺強度的調整導致的立體視覺影像的變形的記錄介質。《實施方式I》以下，參照
本發明的實施方式。[立體視覺強度調整裝置的使用形態]首先，說明本實施方式的立體視覺強度調整裝置的使用形態。圖I是表示使用本實施方式的立體視覺調整裝置的立體視覺影像視聽系統的圖。本系統例如包括再現裝置I、記錄介質2、操作裝置3、顯示裝置4、3D眼鏡5而構成。本實施方式的立體視覺調整裝置搭載於再現裝置I或顯示裝置4等，對進行再現·顯示的立體視覺影像的立體視覺強度進行調整。再現裝置I是BD播放器、DVD播放器等播放器，從記錄介質2讀出立體視覺影像並進行再現。再現裝置I經由HDMI (High-Definition Multimedia Interface)線纜等與顯示裝置4連接，將讀出的立體視覺影像發送給顯示裝置4。記錄介質2 是 BD-ROM (Blu-rayDisc Read Only Memory)、DVD-ROM (DigitalVersatile Disk Read Only Memory)等光碟或 SD 卡(Secure Digital memory card)等半導體存儲器卡，向上述的家庭影院系統提供例如電影作品。操作裝置3是遙控器等操作設備，從用戶接受對於顯示在顯示裝置4上的階層化的⑶I (Graphical User Interface)的操作。為了接受所述用戶操作,操作裝置3具備調用菜單的菜單鍵、使構成菜單的GUI零件的焦點移動的箭頭鍵、對構成菜單的GUI零件進行確定操作的決定鍵、用於使階層化的菜單返回到更上位的菜單的返回鍵、數值鍵等。顯示裝置4將由再現裝置I再現的立體視覺影像顯示在顯示器上。此外，顯示裝置4通過天線接收數字廣播波的傳輸流，並將從接收的傳輸流得到的立體視覺影像顯示在顯示器上。此外，顯示裝置4從IP網絡取得視頻流，將從取得的視頻流得到的立體視覺影像顯示在顯示器上。此外，顯示裝置4通過在顯示器上顯示菜單等，向用戶提供交互式的操作環境。3D眼鏡5是在立體視覺影像的視聽時由視聽者佩戴的眼鏡，通過與進行立體視覺影像的再現·顯示控制的再現裝置I和顯示裝置4等協動，實現立體視覺的視聽。以上說明了本實施方式的立體視覺強度調整裝置的使用形態。接下來說明立體視覺視聽的原理。[立體視覺視聽的原理]圖2是表示立體視覺影像再現時的左眼用圖像及右眼用圖像的輸出例的圖。
如本圖所示，顯示裝置4在立體視覺影像的再現時，顯示存在視差的影像(左眼用圖像 右眼用圖像)。在此，著眼於左眼用圖像中包含的被攝體和右眼用圖像中包含的被攝體的關係。這樣，以左眼用圖像中包含的被攝體為基準的情況下，位於近前的被攝體(例如男性和女性的被攝體)位於對應的右眼用圖像中包含的被攝體的左側。另一方面，位於裡側的被攝體(例如太陽和雲的像)位於對應的右眼用圖像中包含的被攝體的右側。人由於射入左眼和右眼的影像的差別而感知到立體，所以通過顯示這樣的存在視差的左眼用圖像 右眼用圖像，並獨立地射入視聽者的左眼和右眼，能夠使視聽者感受到進深。左眼用圖像·右眼用圖像向視聽者的左眼·右眼獨立的入射通過3D眼鏡的透光·遮光的切換、使用視差屏障、雙凸透鏡等的視差障壁來實現。以上說明了立體視覺視聽的原理。接下來說明顯示器的的尺寸和立體視覺影像內容的關係。[顯示器的尺寸和立體視覺影像內容的關係]立體視覺影像的躍出程度和退入程度依賴於顯示立體視覺影像的顯示器的尺寸。因此，內容作者設想內容所被視聽的顯示器的尺寸，以得到在該顯示器尺寸下視聽的情況下最佳的躍出程度及退入程度的方式，製作立體視覺影像的內容。例如，電影內容等設想劇場屏幕或家庭設置用的大畫面電視機的顯示器尺寸而製作內容。此外，由家庭用的3D數字攝像機等攝像的立體視覺影像等，設想通過相框或取景器等較小畫面的顯示器視聽而製作內容。通過大畫面的顯示器來視聽立體視覺影像的情況下，與通過小畫面的顯示器來視聽的情況相比，顯示器上的左眼用圖像 右眼用圖像間的偏移幅度變大。因此，面向大畫面製作的內容與面向小畫面製作的內容相比，視差量變小，將面向大畫面製作的內容在小畫面的顯示器上視聽的情況下，視聽者無法得到充分的立體感。另一方面，將立體視覺影像通過小畫面的顯示器來視聽的情況下，與通過大畫面的顯示器視聽的情況相比，顯示器上的左眼用圖像 右眼用圖像間的偏移幅度變小。因此，面向小畫面製作的內容與面向大畫面製作的內容相比，視差量變大，將面向小畫面製作的內容通過大畫面的顯示器來視聽的情況下，有時對視聽者來說成為過強的立體視覺強度。具有過強的立體視覺強度的立體視覺影像的視聽給視聽者帶來不適感。此外，立體視覺影像的觀看效果存在個人差別，希望的躍出程度及退入程度因視聽者而不同。有希望立體視覺帶來較強的衝擊力的視聽者。另一方面，由於躍出程度較大的影像可能會使視聽者過度驚嚇，所以也有喜好躍出程度較弱的影像的視聽者。根據本發明的一個方式的立體視覺強度調整裝置，根據顯示器尺寸和用戶希望的立體視覺強度，對立體視覺影像的立體視覺強度進行調整，所以能夠解決上述問題。以上說明了顯示器的尺寸和立體視覺影像內容的關係。接下來說明左眼用圖像及右眼用圖像的移位量(視差量)和立體視覺影像的躍出程度及退入程度的關係。[移位量和躍出程度及退入程度的關係]圖3及圖4是表示左眼用圖像及右眼用圖像的移位量(視差量)和立體視覺影像的躍出程度及退入程度的關係的圖。在這些圖中，將左眼瞳孔和左眼用圖像中包含的物體A的顯示位置連結的直線成 為左眼的視線。此外，將右眼瞳孔和右眼用圖像中包含的物體A的顯示位置連結的直線成為右眼的視線。視聽者在該左眼的視線和右眼的視線的交點(成像點)感知到物體A的存在。在立體視覺效果中，有躍出效果(躍出立體視覺)和退入效果(退入立體視覺)。首先，使用圖3說明與退入立體視覺的情況下的移位量的關係。在圖3中，P表示左眼用圖像及右眼用圖像的移位量(視差量)，Z表示從視聽位置到顯示器的距離，S表示從視聽位置到成像位置的距離，IPD表示基線長(瞳孔間距離)。參照圖3，根據由左眼瞳孔、右眼瞳孔及成像點的三點構成的三角形與由左眼用圖像中包含的物體A的顯示位置、右眼用圖像中包含的物體A的顯示位置、及成像點構成的三角形的相似關係，在從視聽位置到成像位置的距離S、從視聽位置到顯示器的距離Z、左眼用圖像 右眼用圖像間的移位量P、基線長Iro之間，成立下式(I)所示的關係。S-Z:S = p:IPD/2 · · · (I)根據該數式(I)所示的關係，左眼用圖像及右眼用圖像的移位量P如下式(2)所
/Jn οP = IPD/2X (I —Z/S)· · · (2)圖4是表示躍出立體視覺的情況下的、左眼用圖像及右眼用圖像的移位量(視差量)和立體視覺影像的躍出程度的關係的圖。參照圖4，根據由左眼瞳孔、右眼瞳孔、及成像點的三點構成的三角形與左眼用圖像中包含的物體A的顯示位置、右眼用圖像中包含的物體A的顯示位置、及成像點構成的三角形的相似關係，在從視聽位置到成像位置的距離S、從視聽位置到顯示器的距離z、左眼用圖像 右眼用圖像間的移位量P、基線長iro之間，與退入立體視覺的情況同樣，成立上式(I)及式(2 )的關係。另外，在上式(I)及式(2 )中，以將物體A投影到顯示器上的位置為基準來計算移位量P，因此以左眼用的圖像中包含的物體A的位置為基準時的移位量成為式(I)及式(2)所示的P的值的2倍的值。以上說明了左眼用圖像及右眼用圖像的移位量(視差量)和立體視覺影像的躍出程度及退入程度的關係。接下來說明顯示器尺寸和顯示器上的圖像的移位量的關係。[顯示器尺寸和顯示器上的圖像的移位量的關係]圖5是表示顯示器尺寸和顯示器上的圖像的移位量的關係的圖。在圖5中，X表示顯示器的尺寸，width表示顯示器的橫寬，height表示顯示器的高度，Z表示從視聽位置到顯示器的距離，S表示從視聽位置到成像位置的距離，IPD表示基線長(瞳孔間距離)，ps表示顯示器上的圖像的移位量(像素數)。在此，顯示器的畫面尺寸X使用顯示器的橫寬width和顯示器的高度以下式(3)表
權利要求
1.一種立體視覺強度調整裝置，對立體視覺影像的立體視覺強度進行調整，其特徵在於，具備 視差圖取得部，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值； 精度判定部，判定所述視差圖的精度；以及 立體視覺強度調整部，對所述立體視覺影像的立體視覺強度進行調整； 所述立體視覺強度調整部根據所述視差圖的精度，擇一地選擇並執行平面移位處理及使用視差圖的像素移位處理。
2.如權利要求I所述的立體視覺強度調整裝置，其特徵在於， 所述精度判定部使用由所述視差圖所示的視差的值決定的所述立體視覺影像的立體視覺強度，判定所述視差圖的精度， 所述立體視覺強度調整部在所述立體視覺影像的立體視覺強度為規定的強度以上的情況下，選擇使用視差圖的像素移位處理，在所述立體視覺影像的立體視覺強度為規定的強度以下的情況下，選擇平面移位處理。
3.如權利要求2所述的立體視覺強度調整裝置，其特徵在於， 所述立體視覺影像的立體視覺強度基於視差角， 所述精度判定部使用所述視差圖所示的視差的值來計算視差角，通過將計算出的視差角與規定的閾值進行比較，判定所述視差圖的精度。
4.如權利要求I或2所述的立體視覺強度調整裝置，其特徵在於， 所述視差圖取得部通過在主視數據與副視數據之間進行對應點搜索，來生成視差圖，所述精度判定部使用在所述視差圖取得部的對應點搜索工序中產生的錯誤量，判定所述視差圖的精度， 所述立體視覺強度調整部在視差圖整體的精度為規定的精度以上的情況下，選擇使用視差圖的像素移位處理，在視差圖整體的精度為規定的精度以下的情況下，選擇平面移位處理。
5.如權利要求4所述的立體視覺強度調整裝置，其特徵在於， 所述錯誤量是在對應點搜索中未檢測到對應點的像素及檢測到多個對應點候選的像素的數量， 所述精度判定部通過將所述視差圖取得部的對應點搜索中未檢測到對應點的像素及檢測到多個對應點候選的像素的數量與規定的閾值進行比較，判定所述視差圖的精度。
6.如權利要求I所述的立體視覺強度調整裝置，其特徵在於， 所述立體視覺強度調整裝置還具備畫面尺寸取得部，該畫面尺寸取得部取得顯示所述立體視覺影像的畫面的尺寸， 由所述立體視覺強度調整部進行的像素移位處理為使用所述畫面的尺寸和所述視差圖的精度，變更所述視差圖所具有的視差量，通過以與變更後的視差量對應的像素數使主視數據的各像素的坐標移位，來重新生成副視數據。
7.如權利要求6所述的立體視覺強度調整裝置，其特徵在於， 所述精度判定部判定所述視差圖的前景區域及背景區域的精度， 由所述立體視覺強度調整部進行的像素移位處理為在所述視差圖的背景區域的精度為規定的精度以下的情況下，將所述視差圖的背景區域所具有的視差量設為無效。
8.如權利要求6所述的立體視覺強度調整裝置，其特徵在於， 所述精度判定部判定所述視差圖的前景區域及背景區域的精度， 由所述立體視覺強度調整部進行的像素移位處理為在所述視差圖的前景區域的精度為規定的精度以下的情況下，將所述視差圖的前景區域所具有的視差量平均化。
9.如權利要求8所述的立體視覺強度調整裝置，其特徵在於， 由所述立體視覺強度調整部進行的像素移位處理為提取所述視差圖的前景區域中包含的被攝體的輪廓，在該輪廓的提取的精度為規定的精度以上的情況下，執行所述視差圖 的前景區域所具有的視差量的平均化。
10.如權利要求6所述的立體視覺強度調整裝置，其特徵在於， 所述精度判定部使用由所述視差圖所示的視差的值決定的所述立體視覺影像的立體視覺強度，判定所述視差圖的精度， 由所述立體視覺強度調整部進行的像素移位處理為在所述立體視覺影像的立體視覺強度為規定的強度以上的情況下，降低所述視差圖所具有的視差量。
11.如權利要求10所述的立體視覺強度調整裝置，其特徵在於， 由所述立體視覺強度調整部進行的像素移位處理為變更視差圖所具有的視差量，以使相對於所述畫面的尺寸的立體視覺影像的躍出量及退入量成為預先決定的視差角以內。
12.如權利要求6所述的立體視覺強度調整裝置，其特徵在於， 由所述立體視覺強度調整部進行的像素移位處理為變更視差圖所具有的視差量，以使立體視覺影像的躍出量及退入量與視聽距離之比成為預先決定的固定值。
13.如權利要求6所述的立體視覺強度調整裝置，其特徵在於， 由所述立體視覺強度調整部進行的像素移位處理為 在所述畫面尺寸為規定的尺寸以上的情況下，變更視差圖所具有的視差量，以使相對於所述畫面的尺寸的立體視覺影像的躍出量及退入量成為預先決定的視差角以內， 在所述畫面尺寸為規定的尺寸以下的情況下，變更視差圖所具有的視差量，以使相對於所述畫面的尺寸的立體視覺影像的躍出量及退入量成為預先決定的視差角以上、且成為立體視覺的融合極限的視差角以內。
14.如權利要求I所述的立體視覺強度調整裝置，其特徵在於， 所述立體視覺強度調整裝置還具備 平面，包括左眼用的平面及右眼用的平面；以及 繪製引擎，向所述平面寫入視數據； 在視差圖整體的精度為規定的精度以上的情況下，所述繪製引擎將立體視覺強度調整後的主視數據及副視數據寫入所述平面， 在視差圖整體的精度為規定的精度以下的情況下，所述繪製引擎將立體視覺強度調整前的主視數據寫入左眼用的平面及右眼用的平面雙方。
15.如權利要求I所述的立體視覺強度調整裝置，其特徵在於， 所述視差圖取得部在所述視差圖的精度為規定的精度以下的情況下，進行視差圖的重新取得。
16.如權利要求15所述的立體視覺強度調整裝置，其特徵在於，所述視差圖取得部通過與之前生成視差圖的方法不同的方法，進行視差圖的重新取得。
17.—種立體視覺強度調整方法，對立體視覺影像的立體視覺強度進行調整，其特徵在於，包括 視差圖取得步驟，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值； 精度判定步驟，判定所述視差圖的精度；以及 立體視覺強度調整步驟，對所述立體視覺影像的立體視覺強度進行調整； 在所述立體視覺強度調整步驟中，根據所述視差圖的精度，擇一地選擇並執行平面移位處理及使用視差圖的像素移位處理。
18.—種程序，使計算機執行對立體視覺影像的立體視覺強度進行調整的立體視覺強度調整處理，其特徵在於，使計算機執行 視差圖取得步驟，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值； 精度判定步驟，判定所述視差圖的精度；以及 立體視覺強度調整步驟，對所述立體視覺影像的立體視覺強度進行調整； 在所述立體視覺強度調整步驟中，根據所述視差圖的精度，擇一地選擇並執行平面移位處理及使用視差圖的像素移位處理。
19.一種集成電路，用於對立體視覺影像的立體視覺強度進行調整的立體視覺強度調整處理，其特徵在於，具備 視差圖取得機構，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值； 精度判定機構，判定所述視差圖的精度；以及 立體視覺強度調整機構，對所述立體視覺影像的立體視覺強度進行調整； 所述立體視覺強度調整機構根據所述視差圖的精度，擇一地選擇並執行平面移位處理及使用視差圖的像素移位處理。
20.—種記錄介質，記錄有使計算機執行對立體視覺影像的立體視覺強度進行調整的立體視覺強度調整處理的程序，其特徵在於，所述程序使計算機執行 視差圖取得步驟，取得視差圖，該視差圖表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值； 精度判定步驟，判定所述視差圖的精度；以及 立體視覺強度調整步驟，對所述立體視覺影像的立體視覺強度進行調整； 在所述立體視覺強度調整步驟中，根據所述視差圖的精度，擇一地選擇並執行平面移位處理及使用視差圖的像素移位處理。
全文摘要
視差圖取得部取得表示構成立體視覺影像的主視數據及副視數據所成的組的各像素的視差的值的視差圖。視差圖評價部對取得的視差圖的精度進行評價。立體視覺強度調整方法選擇部擇一地選擇由DIBR執行部進行的使用視差圖的像素移位處理、及由平面移位執行部進行的平面移位處理。DIBR執行部或平面移位執行部根據立體視覺強度調整方法選擇部的立體視覺強度調整方法的選擇，執行立體視覺強度的調整。
文檔編號G09G5/391GK102918861SQ20128000153
公開日2013年2月6日 申請日期2012年4月24日 優先權日2011年4月28日
發明者大久保雅文, 山地治 申請人:松下電器產業株式會社