動態景深調整裝置及其方法
2023-05-31 05:57:41 1
專利名稱：動態景深調整裝置及其方法
技術領域：
本發明涉及圖像處理，尤其涉及調整深度圖像以增進視覺效果的系統及方法。
背景技術：
隨著立體顯示器的發展，立體圖像的處理也愈來愈重要。一般而言，立體圖像的取得可通過幾種方式，例如利用可得到深度信息的深度攝影機進行拍攝、由模擬人類雙眼視覺的雙攝影機進行拍攝、或是由二維圖像經過適當的圖像處理以得到立體圖像。如圖1A所示，由二維圖像轉換至立體圖像的處理過程可約略分為幾個步驟:圖像縮小、邊緣檢測(edge detection)、線劃追蹤(line tracing)、深度指派(depth assignment)、深度圖像放大及平滑化、橫向偏移(lateral shifting),當深度圖像建立之後，即可與原本的二維圖像結合以產生立體立體圖像(stereoscopic image)。傳統二維圖像轉三維圖像的演算法也可通過建立空間模型、邊緣檢測、計算消失點等方式，通過對一張或多張圖像的分析來建立深度圖像。如圖1B所示，視覺深度感知因素可分為生理因素及心理因素。一般而言，二維圖像轉換為立體圖像的深度圖往往針對幾項心理因素以進行演算法的運算。舉例來說，在心理因素上往往會認為黃色物體、移動量大的物體或大物體的景深最淺，反過來說，在心理因素上也會認為藍色物體、移動量小的物體或小物體的景深最深，而且材質接近會視為景深相同。更進一步，景深信息為立體圖像顯示技術中的關鍵，然而當深度圖產生之後，僅能定義出圖像中的各物體的相對關係，但傳統立體圖像顯示技術往往只著重於如何產生正確景深的產生方式，但卻鮮少利用景深信息以進一步處理立體圖像。再者，傳統立體圖像顯示技術的像素位移設定檔為固定值，而本發明的像素位移設定檔可調變。
發明內容
有鑑於此，本發明提供一種動態景深調整方法，可對景深信息進一步處理，該方法包括:接收至少一輸入圖像；依據輸入圖像，產生一二維圖像及對應的一深度圖像；對深度圖像套用一像素位移設定檔以產生多張動態深度圖像。本發明還提供一種動態景深調整裝置，該裝置包括:一深度分析器，用以接收至少一輸入圖像，並依據該輸入圖像以產生一二維圖像及對應的一深度圖像；一立體圖像繪製器，用以接收二維圖像及該深度圖像，並對該深度圖像套用一像素位移設定檔以產生多張動態深度圖像。本發明可利用像素位移設定檔對深度圖像或二維圖像進行調整，以產生不同於原始立體圖像(或二維圖像)的深度效果，並具有動態的景深範圍，以增進視覺效果。
圖1A顯示將二維圖像轉換為立體圖像的傳統演算法的流程圖。
圖1B顯示視覺深度感知因素的示意圖。圖2顯示依據本發明一實施例的動態景深調整裝置200的方塊圖。圖3A顯示一二維圖像所對應的深度圖像的灰階值的直方圖。圖3B顯示依據本發明一實施例的像素位移調整曲線的示意圖。圖4A 4C顯示依據本發明一實施例的像素位移設定檔的調整曲線的示意圖。圖5顯示依據本發明一實施例的調整曲線與景深關係的示意圖。圖6A顯示依據本發明一實施例的靜態圖像的像素位移設定檔的圖表。圖6B顯示依據本發明一實施例的動態圖像的像素位移設定檔的圖表。圖7顯示依據本發明一實施例的動態景深調整方法的流程圖。上述附圖中的附圖標記說明如下:200 動態景深調整裝置；210 深度分析器；220 立體圖像繪製器；300 二維圖像；310 直方圖；320,400至450、500 540 像素位移調整曲線圖；550 屏幕平面；560 深度圖像；600、610 圖表
具體實施例方式圖2顯示依據本發明一實施例的動態景深調整裝置200的方塊圖。動態景深調整裝置200包括一深度分析器210及一立體圖像繪製器220，其中深度分析器210接收二維圖像，並通過前述先前技術的二維圖像轉三維圖像的演算法以產生二維圖像及其對應的深度圖像，再通過立體圖像繪製器220輸出立體圖像。立體圖像繪製器220依據每一張二維圖像及對應的深度圖像，在繪製立體圖像時，對深度圖像使用動態調變的極限值及中間值，藉以產生動態的立體視覺感受。當圖像來源為放傳統的二維影片，在播放該二維影片時，深度分析器210會不斷輸出二維圖像及其所對應的深度圖像，並通過立體圖像繪製器220以產生出立體圖像。深度圖像往往可用一灰階範圍(例如O 255)來表不不同的深度,例如灰階值255表不最靠近鏡頭，灰階值O表不最遠尚鏡頭。在另一實施例中，本發明判斷輸入圖像是否為靜止有多種方式，例如深度分析器210計算輸入圖像的灰階值的直方圖(histogram),若直方圖無變化,則可判定輸入圖像為靜態圖像；或輸入圖像中的所有像素均未更新，則可判定輸入圖像為靜態圖像；深度分析器210由圖像播放裝置(未示出)接收一圖像暫停信號以得知目前為停止撥放圖像(pause)的狀態(例如使用者使用遙控器按下暫停)，則可判定輸入圖像為靜態圖像；或是顯示器端將輸入圖像暫停，深度分析器210由顯示器(未示出)接收一圖像暫停信號，判定輸入圖像為靜態圖像，但本發明不限於此。值得一提的是，當二維影片處於靜止或二維影片的內容維持固定時，只會有一固定的立體深度圖產生，因此在上述情況，觀眾僅能在傳統的立體圖像裝置上觀賞到較為單調的圖像。再者，若是原生的立體靜態圖像，在立體顯示器上顯示時也僅呈現一種三維深度。當輸入動態圖像(二維圖像或立體圖像均可)時，每個輸入圖像均可分析出一對應的深度圖像，然而在立體圖像繪製器220中所套用的深度值的極限值與中間值均為一固定值，即便是動態圖像，其景深仍被受限，例如景深受限於屏幕平面內凹10公分至100公分之間，而無法具有動態的景深範圍。更進一步，無論輸入圖像是純二維圖像或是立體圖像，均需轉換為二維圖像與對應的深度圖像，若輸入圖像已為二維圖像加上對應的深度圖像，則不必進一步轉換，立體圖像繪製器220接收二維圖像及對應的深度圖像後，便能在立體圖像顯示器上播放立體圖像。在一實施例中，動態景深調整裝置200可應用於顯示器或個人電腦此類可將二維圖像轉換為三維圖像或檢測立體圖像內容景深的裝置上，且動態景深調整裝置200可用特定的硬體或邏輯電路加以實現，或是以程序碼的形式在處理器上執行運作，但本發明不限於此。當立體圖像呈現於立體圖像顯示器時，有三種方式進行呈現:正視差、零視差及負視差，正視差表示立體圖像呈現於屏幕平面內，零視差表示立體圖像系呈現於屏幕平面上，而負視差表示立體圖像呈現於雙眼及屏幕平面之間。在一實施例中，若使用者坐在解析度為1920x1080的46時IXD顯示器前方I公尺，使用者雙眼的距離為6.25公分，而圖3A所示為一二維圖像所對應的深度圖像的灰階值的直方圖(histogram)。再參考圖3B,當通過像素位移至正視差111個像素(意即左眼圖像及右眼圖像相差111個像素)，可產生景物凹進屏幕平面內10公尺的效果，若通過像素位移至負視差-106個像素時，則可以產生景物凸出屏幕平面53公分的效果。簡單來說，本發明可利用像素位移設定檔對深度圖像或二維圖像進行調整，以產生不同於原始立體圖像(或二維圖像)的深度效果。圖4A 4C顯示依據本發明一實施例的像素位移設定檔的示意圖。依據圖3的實施例，當深度圖像的灰階值O至255分別對應至像素位移O至111時，可得到從屏幕平面凹進去10公尺的效果，當圖像的灰階值O至255分別對應至像素位移-106至111時，則可得到從屏幕平面凸出53公分至凹進去10公尺的效果。以圖4A為例，曲線圖400及410的像素位移範圍均在O至111之間，但其深度圖像的直方圖分布的像素位移調整曲線略有不同，因此使用者觀賞到的景深分布也會有些微差異。以圖4B為例，曲線圖420及430的像素位移範圍均在-106至111之間，但其深度圖像的直方圖分布的像素位移調整曲線略有不同，曲線圖420以線性方式以平均調整景深，而曲線圖430以二次曲線的方式調整景深，故較靠近鏡頭的景物的景深變化會較少，因此使用者觀賞到的景深分布也會有些微差異。以圖4C為例，曲線圖440及450的像素位移範圍均在-106至50之間，曲線圖440以線性方式以平均調整景深，而曲線圖450的調整曲線具有多個轉折點，可以將不同深度的景深分別進行調整。圖5顯示依據本發明一實施例的調整曲線與景深關係的示意圖。曲線圖500 540的調整曲線系表示對深度圖像560中的灰階值進行像素位移。曲線圖510表示預設的調整曲線，將像素位移限制於O 111之間。曲線圖500表示將所有深度的位移均調整至
O,因此觀眾若從屏幕平面550左側觀看，會看到圖像中的所有物體均聚集在屏幕平面550上。曲線圖520的調整曲線的像素位移的最小值設定在20，故曲線520的調整曲線的斜率比曲線圖510的調整曲線的斜率為小，使用者會感受到物體略為後退，且深度變化較少。曲線圖530的調整曲線將像素位移均限制在111，因此使用者會感受到圖像中的物體的深度均會維持在最遠處。曲線圖540的調整曲線的最小值設定在-80，因此使用者會感受到前景圖像凸出於屏幕平面550，且景物的深度變化較大。更詳細地說，舉凡改變調整曲線而造成對應的像素位移值不同，也可視為像素位移設定檔的改變。圖6A顯示依據本發明一實施例的靜態圖像的像素位移設定檔的圖表600。在一實施例中，對於靜態圖像來說，可依一預定畫面張數、一預定時間間隔或是以重複循環的方式以對靜態圖像所對應的深度圖像套用圖表600中的像素位移設定檔(pixel-offsetprofile)，其中像素位移設定檔可針對深度圖像的像素位移程度(例如:最大值、最小值及中間值)進行調整，也可使用不同的曲線對深度圖像進行像素位移調整，但本發明不限於此。圖6B顯示依據本發明一實施例的動態圖像的像素位移設定檔的圖表610。在另一實施例中，當輸入圖像為動態圖像(非靜態圖像)時，需針對輸入圖像所對應的深度圖像套用用於動態圖像的圖表610中的像素位移設定檔，但本發明不限於此。在又一實施例中，像素位移設定檔的選擇可通過深度分析器的一設定值或是由外部裝置(例如縮放器Scalar)要求選擇特定或相對應的像素位移設定檔。在又一實施例中，深度分析器210可儲存不同二維圖像的深度圖像，且立體圖像繪製器220也可儲存對應的像素位移設定檔。立體圖像繪製器220對於在動態圖像中的第一張二維圖像之後其餘的二維圖像可套用第一張二維圖像所對應的像素位移設定檔及第一張二維圖像所對應的深度圖像。又，立體圖像繪製器220在動態圖像中的第一張二維圖像之後其餘的二維圖像也可搭配各自的深度圖像與第一張二維圖像的像素位移設定檔。接著，立體圖像繪製器220依據其餘的二維圖像、第一張二維圖像所對應的深度圖像及其像素位移設定檔以產生立體圖像。也或是，立體圖像繪製器220依據其餘的二維圖像、其餘二維圖像所對應的深度圖像及第一張圖像所對應的像素位移設定檔以產生立體圖像。在一實施例中，使用者觀看三維立體遊戲(非二維轉三維)，在立體圖像繪製器220由深度分析器210得知輸入圖像為靜態圖像後，選擇用於靜態圖像的一像素位移設定檔並將調整曲線的斜率設定為0，再將斜率逐漸調高，此時使用者可實際感受到顯示的圖像內容由二維逐漸變得立體，且景深也愈來愈深，猶如圖像動起來一般。在另一實施例中，當使用者觀看立體影片(非二維轉三維)且持續播放立體影片，立體圖像繪製器220由深度分析器210得知輸入圖像為動態圖像，並接收由外部裝置(例如:縮放器)而來的設定檔控制信號以切換像素位移設定檔。舉例來說，對立體影片的第I至60張圖像套用像素位移設定檔1，將調整曲線的斜率設定為0，此時的影片毫無立體效果。接著在立體影片的第61至180張圖像，對將像素位移設定檔中的調整曲線的斜率增大，且最小值從O開始，每張圖像遞減I直到-50為止，此時使用者可實際感受到顯示的內容由二維逐漸變得立體，且景深範圍愈來愈大，且前景也逐漸凸出於屏幕平面。在立體圖像的第181至300張圖像中，將像素位移設定檔中的調整曲線的斜率逐漸降低，但最大值及最小值也逐漸降低至-50，使用者會感覺到圖像的整體內容凸出屏幕平面，且景深範圍愈來愈小，最後僅凸出屏幕。在立體圖像的第301至500張圖像，將像素位移設定檔中的調整曲線的斜率逐漸降低至一預定值，且最大值及最小值完全不變，此時使用者會感受到圖像的整體內容凸出屏幕平面，但完全不動。在立體圖像的第501至800張圖像，像素位移設定檔中的調整曲線之斜率保持不變，但最大值及最小值逐漸增加至100，此時使用者會感受到圖像的整體內容由原本凸出屏幕平面漸漸凹進去至屏幕深處。上述實施例僅說明本發明如何套用像素位移設定檔的方式及效果，當不能以此限定本發明。在又一實施例中，當使用者觀賞立體照片(由二維轉三維所構成)，因照片本身即為靜態圖像，因此立體圖像繪製器220由深度分析器210得知輸入圖像為靜態圖像後，即依據用於靜態圖像的一像素位移設定檔，而深度圖像一開始依據像素位移設定檔的調整曲線的原始斜率，接著將最大值由50逐漸增加至150像素，同時也漸漸增加調整曲線的斜率，此時使用者可實際感受到顯示圖像之內容由一開始的立體且為凹進去的景深，接著景深範圍逐漸增大至屏幕深處約2公尺之處。圖7顯示依據本發明一實施例的動態景深調整方法的流程圖。在步驟S700，動態景深調整裝置200接收輸入圖像，其中輸入圖像可為純二維圖像或立體圖像(二維圖像與對應的深度圖像，或是可轉換成二維圖像及對應的深度圖像的立體圖像(例如純三維圖像、或立體圖像))。在步驟S710，深度分析器210判斷輸入圖像是否為靜態圖像，藉以產生一狀態信號至立體圖像繪製器210，並依據輸入圖像產生二維圖像及對應的深度圖像(若輸入圖像為立體圖像，則不必再經過轉換)。在步驟S720，立體圖像繪製器220由深度分析器210接收狀態信號、二維圖像及對應的深度圖像，立體圖像繪製器220並依據狀態信號(例如一預定畫面張數、一預定時間間隔或是以重複循環，但非限定)，對深度圖像套用像素位移設定檔，以改變深度圖像的灰階值的最大值、最小值及中間值，以調整深度圖像的景深分布並產生動態深度圖像。在步驟S730，立體圖像繪製器220依據二維圖像及動態深度圖像以產生對應的立體圖像。惟以上所述者，僅為本發明的較佳實施例而已，當不能以此限定本發明實施的範圍，即大凡依本發明申請專利範圍及發明說明內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。另外本發明的任一實施例或權利要求不須達成本發明所揭示的全部目的或優點或特點。此外，摘要部分和標題僅是用以輔助專利文件搜尋的用，並非用以限制本發明的權利範圍。
權利要求
1.一種動態景深調整方法，包括: 接收至少一輸入圖像； 依據該輸入圖像，產生一二維圖像及對應的一深度圖像；以及 對該深度圖像套用一像素位移設定檔以產生多張動態深度圖像。
2.如權利要求1所述的動態景深調整方法，其中該深度圖像為一灰階圖像，且該像素位移設定檔用以調整該灰階圖像中的灰階值所對應的一像素位移程度。
3.如權利要求2所述的動態景深調整方法，其中對該深度圖像套用該像素位移設定檔以產生所述多張動態深度圖像的步驟還包括: 依據一預定時間間隔，對該深度圖像套用該像素位移設定檔。
4.如權利要求2所述的動態景深調整方法，其中對該深度圖像套用該像素位移設定檔以產生所述多張動態深度圖像的步驟還包括: 依據一預定圖像張數，對該深度圖像套用該像素位移設定檔。
5.如權利要求1所述的動態景深調整方法，還包括: 依據該二維圖像及所述多張動態深度圖像，產生多張立體圖像；以及 播放所述多張立體圖像。
6.如權利要求1所述的動態景深調整方法，還包括: 依據該輸入圖像以產生多張第二二維圖像及其分別對應的多張第二深度圖像； 依據所述多張第二二維圖像、該深度圖像及該像素位移設定檔以產生多張第二立體圖像；以及 播放所述多張第二立體圖像。
7.如權利要求1所述的動態景深調整方法，還包括: 依據該輸入圖像以產生多張第二二維圖像及其分別對應的多張第二深度圖像； 依據所述多張第二二維圖像、對應之所述多張第二深度圖像及該像素位移設定檔以產生多張第二立體圖像；以及 播放所述多張第二立體圖像。
8.一種動態景深調整裝置，包括: 一深度分析器，用以接收至少一輸入圖像，並依據該輸入圖像以產生一二維圖像及對應的一深度圖像；以及 一立體圖像繪製器，用以接收該二維圖像及該深度圖像，並對該深度圖像套用一像素位移設定檔以產生多張動態深度圖像。
9.如權利要求8所述的動態景深調整裝置，其中該深度圖像為一灰階圖像，且該像素位移設定檔用以調整該灰階圖像中的灰階值的最大值、最小值或中間值。
10.如權利要求9所述的動態景深調整裝置，其中該立體圖像繪製器還依據一預定時間間隔，對該深度圖像套用該像素位移設定檔。
11.如權利要求9所述的動態景深調整裝置，其中該立體圖像繪製器還依據一預定圖像張數，對該深度圖像套用該像素位移設定檔。
12.如權利要求8所述的動態景深調整裝置，其中該立體圖像繪製器還依據該二維圖像及所述多張動態深度圖像以產生多張立體圖像，並播放所述多張立體圖像。
13.如權利要求8所述的動態景深調整裝置，其中該深度分析器還依據該輸入圖像以產生多張第二二維圖像及其分別對應的多張第二深度圖像，且該立體圖像繪製器還依據所述多張第二二維圖像、該深度圖像及該像素位移設定檔以產生多張第二立體圖像，並播放所述多張第二立體圖像。
14.如權利要求8所述的動態景深調整裝置，其中該深度分析器還依據該輸入圖像以產生多張第二二維圖像及其分別對應的多張第二深度圖像，且該立體圖像繪製器還依據所述多張第二二維圖像、對應的所述多張第二深度圖像及該像素位移設定檔以產生多張第二立體圖像，並播放所述多張第二立體`圖像。
全文摘要
本發明提供一種動態景深調整裝置及方法，該方法包括接收至少一輸入圖像；依據輸入圖像，產生一二維圖像及對應的一深度圖像；對深度圖像套用一像素位移設定檔以產生多張動態深度圖像。本發明可調整深度圖像以增進視覺效果。
文檔編號H04N13/00GK103108199SQ20111035961
公開日2013年5月15日 申請日期2011年11月9日 優先權日2011年11月9日
發明者柯傑斌 申請人:宏碁股份有限公司