用於修正三維圖像的深度圖的裝置和方法

2023-12-01 11:32:26

用於修正三維圖像的深度圖的裝置和方法
【專利摘要】本發明公開了一種用於修正三維圖像的深度圖的裝置和方法，其能根據圖像的特性精確修正初始產生的深度圖，由此實現三維圖像的畫面質量的提升。所述裝置包括：原始深度圖產生單元，所述原始深度圖產生單元用於產生從外部提供到所述原始深度圖產生單元的幀圖像數據的原始深度圖；和深度圖修正單元，所述深度圖修正單元用於分析從外部提供的幀圖像數據，根據分析結果計算幀圖像數據的圖像圖案和幀圖像數據的每像素亮度值，並根據所計算的圖像圖案和所計算的亮度值修正從所述原始深度圖產生單元輸出的原始深度圖，以產生修正後深度圖。
【專利說明】用於修正三維圖像的深度圖的裝置和方法
[0001]本申請要求2012年11月23日提交的韓國專利申請N0.10-2012-0133373的優先權，在此援引該專利申請作為參考，如同在這裡完全闡述一樣。
【技術領域】
[0002]本發明涉及一種用於修正將二維圖像轉換為三維圖像所需的三維圖像深度圖的裝置，尤其涉及一種三維圖像深度圖修正裝置和方法，其能根據圖像的特性精確修正初始產生的深度圖，由此實現三維圖像的畫面質量的提升。
【背景技術】
[0003]作為三維圖像呈現方法，主要存在其中根據為了呈現三維圖像而產生的二維左眼和右眼圖像產生深度圖，並使用產生的深度圖呈現三維圖像的方法(三維圖像呈現方法)、以及其中根據為了呈現二維圖像而產生的二維圖像產生深度圖，並將二維圖像轉換為三維圖像以呈現三維圖像的方法(三維圖像轉換方法)。
[0004]根據常規的三維圖像轉換方法，根據圖像的統計亮度和顏色特性確定圖像中物體的三維距離。一般來說，圖像中表現出高亮度的物體被分配統計高深度值並如此在深度圖中呈現，從而向前凸出。另一方面，圖像中表現出低亮度的物體被分配統計低深度值並如此在深度圖中呈現，從而向後凹陷。根據統計值產生的這種深度圖有效地反映了圖像的各種特性。然而，當圖像具有表現出暗顏色(例如黑色)的物體布置在表現出亮顏色(例如白色)的物體前方的特性時，這種圖像的深度圖會具有深度圖不能精確呈現圖像的原始特性的較高可能性。這是因為常規的三維圖像轉換裝置會錯誤地確定亮顏色物體布置在前側，暗顏色物體布置在亮顏色物體後方的一側，如此會產生具有錯誤信息的深度圖。
[0005]三維圖像的畫面質量受三維圖像的深度圖的精度影響。為此，為了提高三維圖像的畫面質量，重要的是精確修正深度圖的錯誤信息。
[0006]然而，在常規情形中不可能精確修正深度圖的錯誤信息。由於此原因，常規情形仍具有三維圖像的畫面質量劣化的問題。

【發明內容】

[0007]因此，本發明旨在提供一種基本上克服了由於現有技術的限制和缺點而導致的一個或多個問題的用於修正三維圖像的深度圖的裝置和方法。
[0008]本發明的一個目的是提供一種三維圖像深度圖修正裝置和方法，其能根據圖像的特性精確修正初始產生的深度圖，由此實現三維圖像的畫面質量的提升。
[0009]在下面的描述中將部分列出本發明的附加優點、目的和特徵，這些優點、目的和特徵的一部分在研究下面的描述之後對於本領域普通技術人員來說將是顯而易見的，或者可從本發明的實施領會到。通過說明書、權利要求書以及附圖中具體指出的結構可實現和獲得本發明的這些目的和其他優點。
[0010]為了實現這些目的和其他優點，並根據本發明的意圖，如在此具體化和概括描述的，一種用於修正三維圖像的深度圖的裝置包括:原始深度圖產生單元，所述原始深度圖產生單元用於產生從外部提供到所述原始深度圖產生單元的幀圖像數據的原始深度圖；和深度圖修正單元，所述深度圖修正單元用於分析從外部提供的幀圖像數據，根據分析結果計算幀圖像數據的圖像圖案和幀圖像數據的每像素亮度值，並根據所計算的圖像圖案和所計算的亮度值修正從所述原始深度圖產生單元輸出的原始深度圖，以產生修正後深度圖。
[0011]所述深度圖修正單元可包括:亮度提取器，所述亮度提取器用於從自外部提供的幀圖像數據提取每像素亮度值；圖像圖案分析器，所述圖像圖案分析器用於根據從所述亮度提取器輸出的亮度值識別幀圖像數據的圖像圖案，並根據識別結果輸出預定的圖案增益值；塊深度圖產生器，所述塊深度圖產生器用於根據像素的空間位置將幀圖像數據的像素分類為η個像素塊，在參考從所述亮度提取器輸出的亮度值的同時計算每個像素塊的平均亮度值，並根據每個像素塊的平均亮度值和來自所述圖像圖案分析器的圖案增益值修正從所述原始深度圖產生單元輸出的原始深度圖，以產生基於塊的深度圖，其中η為大於I的自然數；像素深度圖產生器，所述像素深度圖產生器用於根據來自所述亮度提取器的亮度值和來自所述圖像圖案分析器的圖案增益值修正從所述原始深度圖產生單元輸出的原始深度圖，以產生基於像素的深度圖；和修正後深度圖產生器，所述修正後深度圖產生器用於根據來自所述塊深度圖產生器的基於塊的深度圖和來自所述像素深度圖產生器的基於像素的深度圖產生修正後深度圖。
[0012]所述圖像圖案分析器可根據像素的空間位置將幀圖像數據的像素分類為m個圖案塊，可將m個圖案塊的一部分分組為空中區域，同時將m個圖案塊的另一部分分組為側區域，可在參考從所述亮度提取器輸出的亮度值的同時計算所述空中區域的平均亮度值和所述側區域的平均亮度值，可根據所計算的平均亮度值識別幀圖像數據的圖像圖案，並可根據識別結果選擇圖案增益值，其中m為大於I的自然數。
[0013]所述圖像圖案分析器可將所述空中區域的平均亮度值與預定的參考亮度值進行比較，可將所述側區域的平均亮度值與所述參考亮度值進行比較，並可根據比較結果從多個預定的圖案增益值選擇一個圖案增益值。
[0014]所述圖像圖案分析器可將像素分類為9個圖案塊，可將在空間上布置在9個圖案塊的最上側處的三個水平相鄰的圖案塊分組為所述空中區域，並可將在空間上布置在9個圖案塊的左邊緣側處的兩個垂直相鄰的圖案塊以及在空間上布置在9個圖案塊的右邊緣側處的兩個垂直相鄰的圖案塊分組為所述側區域。
[0015]所述圖像圖案分析器可在所述空中區域的平均亮度值小於等於所述參考亮度值，且所述側區域的平均亮度值高於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第一圖像圖案，然後選擇所述圖案增益值中的第一圖案增益值。所述圖像圖案分析器可在所述空中區域的平均亮度值高於所述參考亮度值，且所述側區域的平均亮度值小於等於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第二圖像圖案，然後選擇所述圖案增益值中的第二圖案增益值。所述圖像圖案分析器可在所述空中區域的平均亮度值小於等於所述參考亮度值，且所述側區域的平均亮度值小於等於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第三圖像圖案，然後選擇所述圖案增益值中的第三圖案增益值。所述圖像圖案分析器可在所述空中區域的平均亮度值高於所述參考亮度值，且所述側區域的平均亮度值高於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第四圖像圖案，然後選擇所述圖案增益值中的第四圖案增益值。
[0016]所述第一圖案增益值可為0.3，所述第二圖案增益值可為0.7，所述第三圖案增益值可為0，所述第四圖案增益值可為I。
[0017]所述塊深度圖產生器還可根據像素的垂直位置計算每個像素塊中的一個像素的第一垂直權重，並可根據每個像素塊的平均亮度值和來自所述圖像圖案分析器的圖案增益值、以及所述第一垂直權重修正所述原始深度圖。所述像素深度圖產生器還可根據像素的垂直位置計算一個像素的第二垂直權重，並根據來自所述亮度提取器的亮度值、來自所述圖像圖案分析器的圖案增益值、以及所述第二垂直權重修正所述原始深度圖，以產生基於像素的深度圖。
[0018]所述第一垂直權重和所述第二垂直權重可由下面的表達式I表示，
[0019][表達式I]: (HL_total/60) - (N_HL_pxl/60) X 8
[0020]其中，「HL_total」表示顯示屏的水平行的總數，「N_HL_pxl」表示標記出一個水平行的編號，在所述一個水平行上布置有確定一個像素。在所述第一垂直權重具有十進位值時，所述第一垂直權重可對一個小數位四捨五入。
[0021]所述塊深度圖產生器可根據布置有確定一個像素的第k個像素塊的平均亮度值計算第k個像素塊的第k個塊增益值；可根據在第k個像素塊左側處與第k個像素塊相鄰布置的第k-Ι個像素塊的平均亮度值，計算第k-Ι個像素塊的第k-Ι個塊增益值；並可根據在第k個像素塊右側處與第k個像素塊相鄰布置的第k+Ι個像素塊的平均亮度值，計算第k+Ι個像素塊的第k+Ι個塊增益值。所述塊深度圖產生器可將第k-Ι個塊增益值和第k+1個塊增益值中較高的一個定義為側塊增益值。所述塊深度圖產生器可將第k個塊增益值、所述側塊增益值、所述第一垂直權重和所述圖案增益值相乘，以計算第一總增益值。所述塊深度圖產生器可搜索分配給所述確定一個像素的原始深度值的原始深度圖，並可向搜索到的原始深度值添加所述第一總增益值，以計算所述確定一個像素的塊深度值。所述塊深度圖產生器可對所有像素進行塊深度值的計算，以產生基於塊的深度圖。
[0022]第k個塊增益值可由下面的表達式I表示，第k-Ι個塊增益值可由下面的表達式2表示，第k+Ι個塊增益值可由下面的表達式3表示，
[0023][表達式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)
[0024][表達式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[0025][表達式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2)
[0026]其中，「Max_thl」表不預定的第一最大參考值，「Min_thl」表不預定的第一最小參考值，「Max_th2」表示預定的第二最大參考值，「Min_th2」表示預定的第二最小參考值，「blk_apl_k」表示第k個像素塊的平均亮度值，「blk_apl_k-l」表示第k_l個像素塊的平均亮度值，「blk_apl_k+l」表示第k+Ι個像素塊的平均亮度值。
[0027]所述第一最大參考值、所述第一最小參考值、所述第二最大參考值和所述第二最小參考值可分別為400，200，440和240。
[0028]所述像素深度圖產生器可根據確定的第i個像素的亮度值計算第i個像素的第i個像素增益值；可根據在第i個像素左側處與第i個像素相鄰布置的第i_l個像素的亮度值，計算第i_l個像素的第i_l個像素增益值；並可根據在第i個像素右側處與第i個像素相鄰布置的第i+Ι個像素的亮度值，計算第i+Ι個像素的第i+Ι個像素增益值。所述像素深度圖產生器可將第1-ι個像素增益值和第i+ι個像素增益值中較高的一個定義為側像素增益值。所述像素深度圖產生器可將第i個像素增益值、所述側像素增益值、所述第二垂直權重和所述圖案增益值相乘，以計算第二總增益值。所述像素深度圖產生器可搜索分配給第i個像素的原始深度值的原始深度圖，並可向搜索到的原始深度值添加所述第二總增益值，以計算第i個像素的像素深度值。所述像素深度圖產生器可對所有像素進行像素深度值的計算，以產生基於像素的深度圖。
[0029]第i個像素增益值可由下面的表達式I表示，第i_l個像素增益值可由下面的表達式2表示，第i+Ι個像素增益值可由下面的表達式3表示，
[0030][表達式 I]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[0031][表達式 2]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)
[0032][表達式 3]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4)
[0033]其中，「Max_th3 」表示預定的第三最大參考值，「Min_th3 」表示預定的第三最小參考值，「Max_th4」表示預定的第四最大參考值，「Min_th4」表示預定的第四最小參考值，「pxl_i」表示第i個像素的亮度值，表示第i_l個像素的亮度值，「pxl_i+l」表示第i+Ι個像素的亮度值。
[0034]所述第三最大參考值、所述第三最小參考值、所述第四最大參考值和所述第四最小參考值可分別為250，170,290和210。
[0035]所述修正後深度圖產生器可搜索分配給確定像素的塊深度值的基於塊的深度圖，可搜索分配給所述確定像素的像素深度值的基於像素的深度圖，可將搜索到的塊深度值乘以第一修正增益值以計算修正後的塊深度值，可將搜索到的像素深度值乘以第二修正增益值以計算修正後的像素深度值，可將修正後的塊深度值和修正後的像素深度值相加以計算所述確定像素的修正後深度值，並可對所有像素進行修正後深度值的計算，以產生所述修正後深度圖。
[0036]修正後的塊深度值和修正後的像素深度值之和可為I。
[0037]所述第一修正增益值可為0.7，所述第二修正增益值可為0.3。
[0038]在本發明的另一個方面，提供一種用於修正三維圖像的深度圖的方法，包括下述步驟:A)產生從外部提供的幀圖像數據的原始深度圖；和B)分析從外部提供的幀圖像數據，根據分析結果計算幀圖像數據的圖像圖案和幀圖像數據的每像素亮度值，並根據所計算的圖像圖案和所計算的亮度值修正所述原始深度圖，以產生修正後深度圖。
[0039]所述步驟B)可包括:B_a)從自外部提供的幀圖像數據提取每像素亮度值；B_b)根據所述亮度值識別幀圖像數據的圖像圖案，並根據識別結果輸出預定的圖案增益值；B-c)根據像素的空間位置將幀圖像數據的像素分類為η個像素塊，在參考所述亮度值的同時計算每個像素塊的平均亮度值，並根據每個像素塊的平均亮度值和所述圖案增益值修正所述原始深度圖，以產生基於塊的深度圖，其中η為大於I的自然數；B-d)根據所述亮度值和所述圖案增益值修正所述原始深度圖，以產生基於像素的深度圖；和B-e)根據基於塊的深度圖和基於像素的深度圖產生修正後深度圖。
[0040]所述步驟B-b)可包括:根據像素的空間位置將幀圖像數據的像素分類為m個圖案塊，將m個圖案塊的一部分分組為空中區域，同時將m個圖案塊的另一部分分組為側區域，在參考所述亮度值的同時計算所述空中區域的平均亮度值和所述側區域的平均亮度值，根據所計算的平均亮度值識別幀圖像數據的圖像圖案，並根據識別結果選擇圖案增益值，其中m為大於I的自然數。
[0041]所述步驟B-b)可包括:將所述空中區域的平均亮度值與預定的參考亮度值進行比較，將所述側區域的平均亮度值與所述參考亮度值進行比較，並根據比較結果從多個預定的圖案增益值選擇一個圖案增益值。
[0042]所述步驟B-b)可包括:將像素分類為9個圖案塊，將在空間上布置在9個圖案塊的最上側處的三個水平相鄰的圖案塊分組為所述空中區域，並將在空間上布置在9個圖案塊的左邊緣側處的兩個垂直相鄰的圖案塊以及在空間上布置在9個圖案塊的右邊緣側處的兩個垂直相鄰的圖案塊分組為所述側區域。
[0043]所述步驟B-b)可包括:當所述空中區域的平均亮度值小於等於所述參考亮度值，且所述側區域的平均亮度值高於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第一圖像圖案，然後選擇所述圖案增益值中的第一圖案增益值。所述步驟B-b)還可包括:當所述空中區域的平均亮度值高於所述參考亮度值，且所述側區域的平均亮度值小於等於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第二圖像圖案，然後選擇所述圖案增益值中的第二圖案增益值。所述步驟B-b)還可包括:當所述空中區域的平均亮度值小於等於所述參考亮度值，且所述側區域的平均亮度值小於等於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第三圖像圖案，然後選擇所述圖案增益值中的第三圖案增益值。所述步驟B-b)還可包括:當所述空中區域的平均亮度值高於所述參考亮度值，且所述側區域的平均亮度值高於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第四圖像圖案，然後選擇所述圖案增益值中的第四圖案增益值。
[0044]所述第一圖案增益值可為0.3，所述第二圖案增益值可為0.7，所述第三圖案增益值可為0，所述第四圖案增益值可為I。
[0045]所述步驟B-c)還可包括:根據像素的垂直位置計算每個像素塊中的一個像素的第一垂直權重，並根據每個像素塊的平均亮度值和所述圖案增益值、以及所述第一垂直權重修正所述原始深度圖。所述步驟B-d)還可包括:根據像素的垂直位置計算一個像素的第二垂直權重，並根據所述亮度值、所述圖案增益值、以及所述第二垂直權重修正所述原始深度圖，以產生基於像素的深度圖。
[0046]所述第一垂直權重和所述第二垂直權重可由下面的表達式I表示，
[0047][表達式I]: (HL_total/60) - (N_HL_pxl/60) X 8
[0048]其中，「HL_total」表示顯示屏的水平行的總數，「N_HL_pxl」表示標記出一個水平行的編號，在所述一個水平行上布置有確定一個像素。當所述第一垂直權重具有十進位值時，所述第一垂直權重可對一個小數位四捨五入。
[0049]所述步驟B-C)可包括:根據布置有確定一個像素的第k個像素塊的平均亮度值計算第k個像素塊的第k個塊增益值；根據在第k個像素塊左側處與第k個像素塊相鄰布置的第k-Ι個像素塊的平均亮度值，計算第k-Ι個像素塊的第k-Ι個塊增益值；並根據在第k個像素塊右側處與第k個像素塊相鄰布置的第k+Ι個像素塊的平均亮度值，計算第k+Ι個像素塊的第k+Ι個塊增益值；將第k-Ι個塊增益值和第k+Ι個塊增益值中較高的一個定義為側塊增益值；將第k個塊增益值、所述側塊增益值、所述第一垂直權重和所述圖案增益值相乘，以計算第一總增益值；搜索分配給所述確定一個像素的原始深度值的原始深度圖，並向搜索到的原始深度值添加所述第一總增益值，以計算所述確定一個像素的塊深度值；和對所有像素進行塊深度值的計算，以產生基於塊的深度圖。
[0050]第k個塊增益值可由下面的表達式I表示，第k-Ι個塊增益值可由下面的表達式2表示，第k+Ι個塊增益值可由下面的表達式3表示，
[0051][表達式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)
[0052][表達式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[0053][表達式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2)
[0054]其中，「Max_thl」表不預定的第一最大參考值，「Min_thl」表不預定的第一最小參考值，「Max_th2」表示預定的第二最大參考值，「Min_th2」表示預定的第二最小參考值，「blk_apl_k」表示第k個像素塊的平均亮度值，「blk_apl_k-l」表示第k_l個像素塊的平均亮度值，「blk_apl_k+l」表示第k+Ι個像素塊的平均亮度值。
[0055]所述第一最大參考值、所述第一最小參考值、所述第二最大參考值和所述第二最小參考值可分別為400，200，440和240。
[0056]所述步驟B-d)可包括:根據確定的第i個像素的亮度值計算第i個像素的第i個像素增益值；根據在第i個像素左側處與第i個像素相鄰布置的第i_l個像素的亮度值，計算第1-ι個像素的第1-ι個像素增益值；並根據在第i個像素右側處與第i個像素相鄰布置的第i+ι個像素的亮度值，計算第i+ι個像素的第i+ι個像素增益值；將第1-ι個像素增益值和第i+ι個像素增益值中較高的一個定義為側像素增益值；將第i個像素增益值、所述側像素增益值、所述第二垂直權重和所述圖案增益值相乘，以計算第二總增益值；搜索分配給第i個像素的原始深度值的原始深度圖，並向搜索到的原始深度值添加所述第二總增益值，以計算第i個像素的像素深度值；和對所有像素進行像素深度值的計算，以產生基於像素的深度圖。
[0057]第i個像素增益值可由下面的表達式I表示，第i_l個像素增益值可由下面的表達式2表示，第i+Ι個像素增益值可由下面的表達式3表示，
[0058][表達式 I]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[0059][表達式 2]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)
[0060][表達式 3]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4)
[0061]其中，「Max_th3」表示預定的第三最大參考值，「Min_th3」表示預定的第三最小參考值，「Max_th4」表示預定的第四最大參考值，「Min_th4」表示預定的第四最小參考值，「pxl_i」表示第i個像素的亮度值，表示第1-Ι個像素的亮度值，「pxl_i+l」表示第i+Ι個像素的亮度值。
[0062]所述第三最大參考值、所述第三最小參考值、所述第四最大參考值和所述第四最小參考值可分別為250，170,290和210。
[0063]所述步驟B-e)可包括:搜索分配給確定像素的塊深度值的基於塊的深度圖，搜索分配給所述確定像素的像素深度值的基於像素的深度圖，將搜索到的塊深度值乘以第一修正增益值以計算修正後的塊深度值，將搜索到的像素深度值乘以第二修正增益值以計算修正後的像素深度值，將修正後的塊深度值和修正後的像素深度值相加以計算所述確定像素的修正後深度值，並對所有像素進行修正後深度值的計算，以產生所述修正後深度圖。
[0064]修正後的塊深度值和修正後的像素深度值之和為I。[0065]所述第一修正增益值可為0.7，所述第二修正增益值可為0.3。
[0066]應當理解，本發明前面的大體性描述和下面的詳細描述都是例示性的和解釋性的，意在對要求保護的本發明提供進一步的解釋。
【專利附圖】

【附圖說明】
[0067]給本發明提供進一步理解並且併入本申請中組成本申請一部分的附圖圖解了本發明的實施方式，並與說明書一起用於說明本發明的原理。在附圖中:
[0068]圖1是圖解根據本發明示例性實施方式的用於修正三維圖像的深度圖的裝置的框圖；
[0069]圖2是解釋圖1中所示的圖像圖案分析器的操作的示圖；
[0070]圖3是圖解圖像圖案的種類的示圖；
[0071]圖4是解釋像素塊的示圖；
[0072]圖5是圖解圖4中所示的一部分像素塊的示圖；
[0073]圖6是圖解與圖4中所示的像素塊對應的一部分顯示屏的示圖；
[0074]圖7是解釋修正後深度圖產生器的操作的示圖；
[0075]圖8是圖解根據本發明示例性實施方式的用於修正三維圖像的深度圖的方法流程圖；以及
[0076]圖9到11是解釋根據本發明示例性實施方式的三維圖像深度圖產生裝置的效果的示圖。
【具體實施方式】
[0077]現在將詳細描述本發明的優選實施方式，附圖中圖解了這些優選實施方式的一些例子。
[0078]圖1是圖解根據本發明示例性實施方式的用於修正三維圖像的深度圖的裝置的框圖。
[0079]如圖1中所示，根據本發明所示實施方式的深度圖修正裝置包括原始深度圖產生單元100和深度圖修正單元200。
[0080]原始深度圖產生單元100產生從外部提供到原始深度圖產生單元100的幀圖像數據img_data的原始深度圖d_mp_org。巾貞圖像數據img_data是一巾貞的二維圖像數據。原始深度圖產生單元100分析幀圖像數據img_data，由此確定圖像中包含的物體間的三維距離差。根據確定的結果，原始深度圖產生單元100通過相對高的亮度值(與亮級別對應的灰度級)呈現相對向前凸出的物體，同時通過相對低的亮度值(與暗級別對應的低灰度級)呈現相對向後凹陷的物體。也就是說，在原始深度圖d-mp_org中呈現與這些物體間的三維距離差相關的信息作為深度值。原始深度圖產生單元100根據圖像的統計亮度和顏色特性確定上述物體的三維距離。例如，圖像中表現出高亮度的物體被分配統計高深度值，表現出與紅色接近的顏色的物體被分配較高的深度值。另一方面，表現出與藍色接近的顏色的物體被分配較低的深度值。在原始深度圖d-mp_org中存儲每像素深度值(原始深度值)。
[0081]深度圖修正單元200分析從外部提供的幀圖像數據img_data，以識別圖像的圖案並計算圖像的每像素亮度值。根據識別的圖像圖案和計算的圖像亮度值，深度圖修正單元200修正從原始深度圖產生單元100輸出的原始深度圖d-mp_org。通過深度圖修正單元200修正原始深度圖d-mp_org而獲得的圖為修正後深度圖d-mp_cr。
[0082]圖像可具有表現出暗顏色(例如黑色)的物體布置在表現出亮顏色(例如白色)的物體前方的特性。這種圖像的深度圖會具有深度圖不能精確呈現圖像的原始特性的較高可能性。這是因為原始深度圖產生單元100會錯誤地確定亮顏色物體布置在前側，暗顏色物體布置在亮顏色物體後方的一側，如此會產生具有錯誤信息的深度圖。為此，根據本發明所示實施方式的深度圖修正單元200識別圖像的上述特性，並根據識別的結果修正原始深度圖d-mp_0rg。因而，可產生具有更加精確三維圖像信息的深度圖。
[0083]對於此功能，如圖1中所示，深度圖修正單元200可包括亮度提取器201、圖像圖案分析器202、塊深度圖產生器203A、像素深度圖產生器203B和修正後深度圖產生器204。下文將詳細描述這些組件。
[0084]亮度提取器201
[0085]亮度提取器201從外部提供的幀圖像數據img_data提取每像素亮度值。幀圖像數據img_data包括與組成一幀的全部像素對應的像素數據。像素數據分為紅色數據、綠色數據和藍色數據。亮度提取器201將一幀的圖像數據中包含的每個像素的數據分離為亮度分量Y和色度分量UV，並選擇性提取亮度分量Y。提取的亮度分量Y是相關像素數據的亮度值Y。因而，亮度提取器201從一幀的圖像數據提取每個像素的亮度值。
[0086]同時，色度數據(紅色數據、綠色數據和藍色數據之一)可具有8比特的大小。每個亮度值可具有10比特的大小。同時，上述原始深度圖d-mp_org的每像素深度值可具有8比特的大小。
[0087]圖像圖案分析器202
[0088]圖像圖案分析器202根據從亮度提取器201輸出的亮度值Y識別幀圖像數據img_data的圖像圖案，並根據識別的結果輸出預定圖案增益值gn_pt中的一個。
[0089]詳細地說，圖像圖案分析器202根據像素的空間位置將幀圖像數據img_data的像素分類為m個圖案塊(m是大於I的自然數)。也就是說，當將其上顯示幀圖像的顯示屏(圖2中的「DSP」)劃分為m個圖案塊時，幀圖像的每個像素屬於m個圖案塊中的相應一個。然後，圖像圖案分析器202把m個圖案塊的一部分分組為一個組，即空中區域(圖2中的「SK」)，而將m個圖案塊的另一部分分組為另一個組，即側區域(圖2中的「SD」)。隨後，圖像圖案分析器202在參考從亮度提取器201輸出的亮度值的同時計算空中區域SK的平均亮度值和側區域SD的平均亮度值。根據計算的平均亮度值，圖像圖案分析器202可識別幀圖像的圖像圖案並且可根據識別的結果選擇一個圖案增益值gn_pt。在這種情形中，圖像圖案分析器202可根據空中區域SK的平均亮度值與預定參考亮度值之間的比較結果以及側區域SD的平均亮度值與預定參考亮度值之間的比較結果，從多個預定圖案增益值選擇一個圖案增益值。將參照圖2更詳細地描述圖像圖案分析器202的這種操作。
[0090]圖2是解釋圖1中所示的圖像圖案分析器202的操作的示圖。
[0091]如圖2中所示，圖像圖案分析器202可將幀圖像的所有像素分類為9個圖案塊PBl到 PB9。
[0092]圖像圖案分析器202將空間上布置在9個圖案塊PBl到PB9的最上側處的三個水平相鄰的圖案塊PB1，PB2和PB3分組為空中區域SK。例如，第一圖案塊PB1、第二圖案塊PB2和第三圖案塊PB3被分成一組，以組成一個空中區域SK。
[0093]圖像圖案分析器202還將空間上布置在9個圖案塊PBl到PB9的左邊緣側處的兩個垂直相鄰的圖案塊PB4和PB7以及空間上布置在9個圖案塊PBl到PB9的右邊緣側處的兩個垂直相鄰的圖案塊PB6和PB9分組為側區域SD。例如，第四圖案塊PB4、第七圖案塊PB7、第六圖案塊PB6和第九圖案塊PB9被分成一組，以組成一個側區域SD。
[0094]圖像圖案分析器202根據空中區域SK的平均亮度值和側區域SD的平均亮度值分析幀圖像的圖像圖案。例如，圖像圖案分析器202將布置在空中區域SK中的所有像素的亮度值相加，以計算空中區域SK的總亮度值。然後，圖像圖案分析器202將總亮度值除以空中區域SK中所有像素的數量，由此得到空中區域SK的平均亮度值。類似地，圖像圖案分析器202將布置在側區域SD中的所有像素的亮度值相加，以計算側區域SD的總亮度值。然後，圖像圖案分析器202將總亮度值除以側區域SD中所有像素的數量，由此得到側區域SD的平均亮度值。
[0095]之後，圖像圖案分析器202將空中區域SK的平均亮度值與參考亮度值進行比較，並將側區域SD的平均亮度值與參考亮度值進行比較。根據比較結果，圖像圖案分析器202確定巾貞圖像的圖像圖案。巾貞圖像的圖像圖案可以是圖3中所不的四個圖像圖案之一。
[0096]圖3是圖解圖像圖案的種類的示圖。
[0097]圖3 (a)是圖解第一圖像圖案的示圖。第一圖像圖案是在空中區域SK (由圖案塊PBl到PB3組成的區域)的平均亮度值小於等於參考亮度值，且側區域SD (由圖案塊PB4，PB7，PB6和PB9組成的區域)的平均亮度值高於參考亮度值的情形中的圖像圖案。當外部輸入的幀圖像數據img_data表現出圖3 (a)中所示的第一圖像圖案的特性時，圖像圖案分析器202選擇並輸出第一圖案增益值。
[0098]圖3(b)是圖解第二圖像圖案的示圖。第二圖像圖案是在空中區域SK的平均亮度值高於參考亮度值，且側區域SD的平均亮度值小於等於參考亮度值的情形中的圖像圖案。當外部輸入的巾貞圖像數據img_data表現出圖3 (b)中所示的第二圖像圖案的特性時，圖像圖案分析器202選擇並輸出第二圖案增益值。
[0099]圖3 (C)是圖解第三圖像圖案的示圖。第三圖像圖案是在空中區域SK的平均亮度值小於等於參考亮度值，且側區域SD的平均亮度值也小於等於參考亮度值的情形中的圖像圖案。當外部輸入的巾貞圖像數據img_data表現出圖3 (C)中所示的第三圖像圖案的特性時，圖像圖案分析器202選擇並輸出第三圖案增益值。
[0100]圖3 (d)是圖解第四圖像圖案的示圖。第四圖像圖案是在空中區域SK的平均亮度值高於參考亮度值，且側區域SD的平均亮度值也高於參考亮度值的情形中的圖像圖案。當外部輸入的巾貞圖像數據img_data表現出圖3 (d)中所示的第四圖像圖案的特性時，圖像圖案分析器202選擇並輸出第四圖案增益值。
[0101 ] 上述參考亮度值可被設為300或400。
[0102]上述第一到第四圖案增益值被預先確定，可以是O到I。例如，第一圖案增益值可被設為0.3，第二圖案增益值可被設為0.7，第三圖案增益值可被設為0，第四圖案增益值可被設為I。
[0103]塊深度圖產牛器203A
[0104]圖4是解釋像素塊的示圖。[0105]如圖4中所示，塊深度圖產生器203A根據像素的空間位置將幀圖像的像素分類為η個像素塊(η是大於I的自然數)。也就是說，當將其上顯示幀圖像的顯示屏DSP劃分為η個像素塊PX-B時，幀圖像的每個像素屬於η個像素塊PX-B中的相應一個。然後，塊深度圖產生器203Α在參考從亮度提取器201輸出的亮度值Y的同時計算每個像素塊PX-B的平均亮度值。根據每個像素塊PX-B的平均亮度值和來自圖像圖案分析器202的圖案增益值gn_Pt，塊深度圖產生器203A修正從原始深度圖產生器100輸出的原始深度圖d-mp_org，由此產生基於塊的深度圖d-mp_blk。
[0106]同時，塊深度圖產生器203A可根據像素的垂直位置進一步計算每個像素塊PX-B中一個像素的第一垂直權重值。在這種情形中，除了每個像素塊PX-B的平均亮度值和圖案增益值gn_pt之外，塊深度圖產生器203A還根據第一垂直權重值修正原始深度圖d-mp_
orgo
[0107]下文將參照圖5詳細描述塊深度圖產生器203A的這種操作。
[0108]圖5是圖解圖4中所示的一部分像素塊的示圖。
[0109]塊深度圖產生器203A計算所有像素的塊深度值，由此產生基於塊的深度圖d_mp_blk。首先，將描述一個確定像素PX_i的塊深度值的計算。
[0110]參照圖5，顯示了三個相鄰的像素塊PX-B_k-l到PX_B_k+l。在這種情形中，假定確定像素PX_i布置在第k個像素塊PX-B_k中。
[0111]在這種情形中，塊深度圖產生器203A計算其中布置有確定像素PX_i的第k個像素塊PX-B_k的平均亮度值。根據計算的平均亮度值，塊深度圖產生器203A計算第k個像素塊PX-B_k的第k個塊增益值。塊深度圖產生器203A還計算第k-Ι個像素塊PX-B_k-l的平均亮度值，並根據第k-Ι個像素塊PX-B_k-l的平均亮度值計算第k-Ι個像素塊PX_B_k-1的第k-1個塊增益值。此外,塊深度圖產生器203A計算第k+Ι個像素塊PX_B_k+l的平均亮度值，並根據第k+Ι個像素塊PX_B_k+l的平均亮度值計算第k+Ι個像素塊PX_B_k+l的第k+Ι個塊增益值。
[0112]其中布置有確定像素PX_i的第k個像素塊PX_B_k的第k個塊增益值由下面的表達式I表示。
[0113][表達式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)
[0114]在表達式I中，「Max_thl」表示預定的第一最大參考值，「Min_thl」表示預定的第一最小參考值，「blk_apl_k」表示第k個像素塊PX_B_k的平均亮度值。在這種情形中，第一最大參考值可被設為400,第一最小參考值可被設為200。同時,第k個像素塊PX-B_k的平均亮度值是通過將第k個像素塊PX-B_k中布置的所有像素的亮度值相加，然後將相加後的亮度值除以第k個像素塊PX_B_k中布置的像素數量所獲得的值。
[0115]在第k個像素塊PX_B_k左側處與第k個像素塊PX_B_k相鄰布置的第k-Ι個像素塊PX-B_k-l的第k-Ι個塊增益值由下面的表達式2表示。
[0116][表達式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[0117]在表達式2中，「Max_th2」表示預定的第二最大參考值，「Min_th2」表示預定的第二最小參考值，「blk_apl_k_l 」表不第k_l個像素塊PX-B_k_l的平均売度值。在這種情形中，第二最大參考值可被設為440，第二最小參考值可被設為240。同時，第k-Ι個像素塊PX-B_k-l的平均亮度值是通過將第k-Ι個像素塊PX-B_k-l中布置的所有像素的亮度值相力口，然後將相加後的亮度值除以第k-ι個像素塊PX-B_k-l中布置的像素數量所獲得的值。
[0118]在第k個像素塊PX_B_k右側處與第k個像素塊PX_B_k相鄰布置的第k+Ι個像素塊PX-B_k+l的第k+Ι個塊增益值由下面的表達式3表示。
[0119][表達式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2)
[0120]在表達式3中，「Max_th2」表示預定的第二最大參考值，「Min_th2」表示預定的第二最小參考值，「blk_apl_k+l」表示第k+Ι個像素塊PX-B_k+l的平均亮度值。在這種情形中，第k+Ι個像素塊PX-B_k+l的平均亮度值是通過將第k+Ι個像素塊PX_B_k+l中布置的所有像素的亮度值相加，然後將相加後的亮度值除以第k+Ι個像素塊PX-B_k+l中布置的像素數量所獲得的值。
[0121]在計算了第k個塊增益值、第k-Ι個塊增益值和第k+Ι個塊增益值之後，塊深度圖產生器203A選擇第k-Ι個塊增益值和第k+Ι個塊增益值中較高的一個，並將選擇的塊增益值定義為側塊增益值。然後，塊深度圖產生器203A將第k個塊增益值、側塊增益值、第一垂直權重值和圖案增益值相乘，以計算第一總增益值。
[0122]在這種情形中，第一垂直權重值由下面的表達式4表示。
[0123][表達式4]: (HL_total/60) - (N_HL_pxl/60) X 8
[0124]在表達式4中，「HL_total」表示顯示屏DSP的水平行的總數，「N_HL_pxl 」表示其中布置有確定像素PX_i的水平行的編號。例如，當根據本發明的三維圖像深度圖產生裝置應用於具有1080X960解析度的全高清(FHD)顯示裝置時，「HL_total」為1080。在這種情形中，布置在顯示屏DSP最上部的水平行為第一水平行，而布置在顯示屏DSP最下部的水平行為第1080水平行。「N_HL_pxl」表示其中布置有確定像素PX_i的水平行的編號。例如，當確定像素PX_i布置在第P水平行HL_p (p是I到1080的自然數)上時，「N_HL_pxl」的值為P。
[0125]根據在顯示屏DSP下部上顯示的圖像比在顯示屏DSP上部上顯示的圖像更凸出的統計基礎，設定第一垂直權重值。因此，其中布置有確定像素PX_i的顯示屏DSP的水平行越靠下，確定像素PX_i的第一垂直權重值越高。同時，當第一垂直權重值具有十進位值時，其對一個小數位四捨五入。因此，在FHD顯示裝置中，第一垂直權重值可具有8到144自然數的值。
[0126]之後，塊深度圖產生器203A搜索分配給確定像素PX_i的原始深度值的原始深度圖d-mp_0rg。然後，塊深度圖產生器203A向搜索到的原始深度值添加第一總增益值，以計算確定像素PX_i的塊深度值。
[0127]也就是說，確定像素PX_i的塊深度值由下面的表達式5表示。
[0128][表達式5]:原始深度值+(第一垂直權重值X第k個塊增益值X側塊增益值X圖案增益值)
[0129]為了得到確定像素PX_i的塊深度值，需要從其中布置有確定像素PX_i的像素塊(第k個像素塊PX_B_k)獲得的塊增益值、從在像素塊PX-B_k左、右側處與像素塊PX_B_k相鄰布置的兩個像素塊(第k-Ι個像素塊PX-B_k-l和第k+Ι個像素塊PX_B_k+l)獲得的側塊增益值、從確定像素PX_i的垂直位置獲得的第一垂直權重值、以及對應於確定像素PX_i的原始深度值。
[0130]塊深度圖產生器203A根據其中布置有像素的像素塊，以上述方式計算其餘每個像素的塊深度值。因此，布置在同一像素塊且在同一水平行上的像素具有相同的塊深度值。
[0131]然而，當其中布置有確定像素的像素塊位於顯示屏DSP的左邊緣或右邊緣時，從一個相鄰的像素塊獲得這種情形中的側塊增益值。例如，當將要得到塊深度值的確定像素布置在位於顯示屏DSP左端的像素塊(下文稱「確定像素塊」)中時，因為不存在布置於確定像素塊左側的像素塊，所以從在確定像素塊右側處與確定像素塊相鄰布置的像素塊獲得的增益值被用作側塊增益值。另一方面，當確定像素塊位於顯示屏DSP右端時，因為不存在布置於確定像素塊右側的像素塊，所以從在確定像素塊左側處與確定像素塊相鄰布置的像素塊獲得的增益值被用作側塊增益值。
[0132]當以上述方式計算所有像素的塊深度值時，根據塊深度值產生基於塊的深度圖d_mp—blk。
[0133]同時，上述第k個塊增益值、第k-Ι個塊增益值、第k+Ι個塊增益值和第一垂直權重值可分別具有負值。負值被轉換為零。也就是說，上述值不能小於O。
[0134]像素深度圖產生器203B
[0135]像素深度圖產生器203B根據來自亮度提取器201的亮度值Y和來自圖像圖案分析器202的圖案增益值gn_pt，修正從原始深度圖產生單元100輸出的原始深度圖d_mp_orgo
[0136]同時，像素深度圖產生器203B可根據一個像素的垂直位置進一步計算這一個像素的第二垂直權重值。在這種情形中，像素深度圖產生器203B根據亮度值Y、圖案增益值gn_pt和第二垂直權重值修正原始深度圖d-mp_org,由此產生基於像素的深度圖d_mp_
pxlo
[0137]下文將參照圖6詳細描述像素深度圖產生器203B的這種操作。
[0138]圖6是圖解與圖4中所示的像素塊對應的一部分顯示屏的示圖。
[0139]像素深度圖產生器203B計算所有像素的像素深度值，由此產生基於像素的深度圖d-mp_pxl。首先,將描述一個確定像素PX_i的像素深度值的計算。確定像素PX_i與圖5中所示的確定像素PX_i相同，將稱之為「第i個像素PX_i」。
[0140]參照圖6，顯示了三個相鄰的像素。在這種情形中，三個相鄰像素中的中間一個為第i個像素PX_i。
[0141]在這種情形中，像素深度圖產生器203B根據第i個像素PX_i的亮度值計算第i個像素PX_i的第i個像素增益值。像素深度圖產生器203B還根據第i_l個像素PX_i_l的亮度值計算第i_l個像素PX_i_l的第1-Ι個像素增益值，同時根據第i+Ι個像素PX_i+l的亮度值計算第i+Ι個像素PX_i+l的第i+Ι個像素增益值。
[0142]確定像素PX_i的第i個像素增益值由下面的表達式6表示。
[0143][表達式 6]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[0144]在表達式6中，「Max_th3」表示預定的第三最大參考值，「Min_th3」表示預定的第三最小參考值，「pxl_i」表示第i個像素PX_i的亮度值。在這種情形中，第三最大參考值可被設為250，第三最小參考值可被設為170。
[0145]在第i個像素PX_i左側處與第i個像素PX_i相鄰布置的第1-Ι個像素PX_i_l的第i_l個像素增益值由下面的表達式7表示。
[0146][表達式 7]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)[0147]在表達式7中，「Max_th4」表示預定的第四最大參考值，「Min_th4」表示預定的第四最小參考值，「pxl_1-l」表示第i_l個像素PX_i_l的亮度值。在這種情形中，第四最大參考值可被設為290，第四最小參考值可被設為210。
[0148]另一方面，在第i個像素PX_i右側處與第i個像素PX_i相鄰布置的第i+Ι個像素PX_i+l的第i+ι個像素增益值由下面的表達式8表示。
[0149][表達式 8]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4)
[0150]在表達式8中，「Max_th4」表示預定的第四最大參考值，「Min_th4」表示預定的第四最小參考值，「pxl_i+l」表示第i+Ι個像素PX_i+l的亮度值。
[0151]在計算了第i個像素增益值、第i_l個像素增益值和第i+Ι個像素增益值之後，像素深度圖產生器203B選擇第1-Ι個像素增益值和第i+Ι個像素增益值中較高的一個，並將選擇的像素增益值定義為側像素增益值。然後，像素深度圖產生器203B將第i個像素增益值、側像素增益值、第二垂直權重值和圖案增益值相乘，以計算第二總增益值。
[0152]在這種情形中，第二垂直權重值由表達式4表示。假設當第二垂直權重值是十進位值時，在不進行改變的情形下使用十進位值。也就是說，第二垂直權重值可具有小數值。
[0153]之後，像素深度圖產生器203B搜索分配給第i個像素PX_i的原始深度值的原始深度圖d-mp_org。然後，像素深度圖產生器203B向搜索到的原始深度值添加第二總增益值，以計算第i個像素PX_i的像素深度值。
[0154]也就是說，第i個像素PX_i的像素深度值由下面的表達式9表示。
[0155][表達式9]:原始深度值+(第二垂直增益值X第i個像素增益值X側像素增益值X圖案增益值)
[0156]為了得到第i個像素PX_i (即確定像素PX_i)的像素深度值，需要從第i個像素獲得的像素增益值、從在第i個像素PX_i左、右側處與第i個像素PX_i相鄰布置的兩個像素(第1-Ι個像素PX_1-l和第i+Ι個像素PX_i+l)獲得的側像素增益值、從第i個像素PX_i的垂直位置獲得的第二垂直權重值、以及對應於第i個像素PX_i的原始深度值。
[0157]像素深度圖產生器203B根據像素的位置以上述方式計算其餘每個像素的像素深度值。
[0158]然而，當確定像素位於顯示屏DSP的左邊緣或右邊緣時，從一個相鄰的像素獲得這種情形中的側像素增益值。例如，當將要得到像素深度值的確定像素位於顯示屏DSP左端時，因為不存在布置於確定像素左側的像素，所以從在確定像素右側處與確定像素相鄰布置的像素獲得的增益值被用作側像素增益值。另一方面，當確定像素位於顯示屏DSP右端時，因為不存在布置於確定像素右側的像素，所以從在確定像素左側處與確定像素相鄰布置的像素獲得的增益值被用作側像素增益值。
[0159]當以上述方式計算所有像素的像素深度值時，根據像素深度值產生基於像素的深度圖 d_mp_pxl。
[0160]同時，上述第i個像素增益值、第i_l個像素增益值、第i+Ι個像素增益值和第二垂直權重值可分別具有負值。負值被轉換為零。也就是說，上述值不能小於O。
[0161]修IH後深度圖產生器204
[0162]修正後深度圖產生器204根據來自塊深度圖產生器203A的基於塊的深度圖d_mp_blk和來自像素深度圖產生器203B的基於像素的深度圖d-mp_pxl產生修正後深度圖d-mp_cr0下文將參照圖7詳細描述修正後深度圖產生器204的這種操作。
[0163]圖7是解釋修正後深度圖產生器204的操作的示圖。
[0164]如圖7中所示，修正後深度圖產生器204搜索分配給確定像素PX_i的塊深度值dvl_blk的基於塊的深度圖d-mp_blk，同時搜索分配給確定像素PX_i的像素深度值dvl_pxl的基於像素的深度圖d-mp_pxl。之後，修正後深度圖產生器204將搜索到的塊深度值dvl_blk乘以第一修正增益值，以計算修正後的塊深度值dvl_blk_cr。此外，修正後深度圖產生器204將搜索到的像素深度值dvl_pxl乘以第二修正增益值，以計算修正後的像素深度值dvl_pXl_cr。隨後，修正後深度圖產生器204將修正後的塊深度值dvl_blk_cr和修正後的像素深度值dvl_pxl_cr相加，以計算確定像素PX_i的最終修正後的深度值dvl_cr。
[0165]修正後深度圖產生器204以上述方式計算其餘每個像素的修正後的深度值。
[0166]根據上述所有像素的修正後深度值的計算，產生最終修正後深度圖d-mp_Cr。
[0167]同時，第一修正增益值和第二修正增益值之和為I，如此，例如第一修正增益值為
0.7，第二修正增益值為0.3。
[0168]同時，修正後深度圖d_mp_cr被應用於未示出的三維圖像產生單元。三維圖像產生單元根據修正後深度圖d_mp_cr處理巾貞圖像數據img_data,由此將巾貞圖像數據img_data轉換為三維幀圖像數據。
[0169]同時，對於在上述幀圖像數據img_data之後隨後輸入的下一幀圖像數據來說，以與上述相同的方式進行圖像圖案分析，如此，產生修正後深度圖d-mp_Cr。也就是說，本發明的深度圖修正裝置確定每幀的圖像特性，並產生每幀的修正後深度圖d-mp_cr。
[0170]圖8是圖解根據本發明示例性實施方式的用於修正三維圖像的深度圖的方法流程圖。
[0171]如圖8中所示，根據所示的修正方法，本發明的三維圖像深度圖修正裝置分析幀圖像數據img_data，以檢測空中區域SK和側區域SD。然後，修正裝置檢測空中區域SK和側區域SD的暗部(S卩，檢測較低的空中區域SK和較低的側區域SD)。根據檢測結果，修正裝置確定幀圖像的圖像圖案。
[0172]之後，深度圖修正裝置根據確定的圖像圖案計算圖案增益值。
[0173]然後，深度圖修正裝置如上所述計算塊增益值和像素增益值。
[0174]隨後，深度圖修正裝置如上所述計算側塊增益值和側像素增益值。
[0175]深度圖修正裝置還根據像素的垂直位置計算垂直權重值。
[0176]最後，深度圖修正裝置根據塊增益值、像素增益值、側塊增益值、側像素增益值和垂直權重修正原始深度圖d-mp_org,由此產生修正後深度圖d_mp_cr。
[0177]因而，根據本發明的深度圖修正裝置識別圖像特性，從而當確定像素的亮度值低於預定參考值(例如最小參考值)時增加確定像素的深度值，同時當確定像素的亮度值高於所述參考值時保持確定像素的深度值(原始深度值)。然而，如果布置在確定像素相對兩側處的像素中的至少一個具有低於所述參考值的亮度值，則即使確定像素的亮度值高於所述參考值，仍可增加確定像素的深度值。然而，當確定像素的亮度值相當高時(例如當確定像素的亮度值超過了最大參考值時)，保持確定像素的深度值。
[0178]當空中區域SK和側區域SD均為表現出比參考亮度值低的亮度值的暗區域(第三圖案圖像)時，根據本發明的深度圖修正裝置將具有相對低亮度值的像素確定為背景區域。另一方面，當空中區域SK和側區域SD中的至少一個不是暗區域時，深度圖修正裝置確定具有相對低亮度值的像素被布置成更靠近顯示屏的前側。深度圖修正裝置還根據被確定為暗區域的區域的增益值，適應性計算所述區域中的像素的深度值。
[0179]為了避免連續幀之間突然的圖像變化，預先確定最大參考值與最小參考值之間的
最佳差值。
[0180]圖9到11是解釋根據本發明示例性實施方式的三維圖像深度圖產生裝置的效果的示圖。
[0181]圖9 Ca)圖解了原始幀圖像數據img_data。圖9 (b)圖解了原始深度圖d_mp_orgo圖9 (c)是修正後深度圖d-mp_cr。
[0182]圖9 (a)中的區域A、圖9 (b)中的區域B和圖9 (C)中的區域C是與顯示屏DSP的確定部分對應的同一區域。
[0183]如圖9 (a)中所示，因為原始幀圖像數據img_data的區域A具有與暗級別對應的低灰度級，所以不管區域A具有相當向前凸出的形狀這一事實，根據原始幀圖像數據img_data產生的原始深度圖d_mp_org的區域B表現出與暗級別對應的相當低的亮度值。這是因為如上所述，在產生原始深度圖d-mp_0rg的方法中存在局限性。
[0184]然而,與區域B不同，圖9 (C)中所示的修正後深度圖d_mp_cr的區域C通過使用與亮級別對應的相當高的灰度級被修正地顯示。這是因為根據本發明的深度圖修正方法精確修正了原始深度圖d-mp_org。
[0185]圖10 (a)圖解了原始幀圖像數據img_data。圖10 (b)圖解了原始深度圖d_mp_orgo圖10 (c)是修正後深度圖d-mp_cr。參照圖10 (a)到10 (c),可以看出修正後深度圖d-mp_cr的灰度級被修正地呈現。
[0186]類似地，圖11 (a)圖解了原始幀圖像數據img_data。圖11 (b)圖解了原始深度圖d-mp_org。圖11 (c)是修正後深度圖d_mp_cr。參照圖11 (a)到11 (c),可以看出修正後深度圖d-mp_cr的灰度級被修正地呈現。
[0187]根據本發明的用於產生三維圖像的深度圖的裝置和方法具有下面的效果。
[0188]也就是說，根據本發明，分析幀圖像數據，以計算每個像素的圖像圖案和亮度值。根據圖像圖案和亮度值，精確地修正從原始深度圖產生單元產生的原始深度圖。因而，可產生具有更加精確的三維信息的深度圖。
[0189]在不脫離本發明的精神或範圍的情況下，本發明可進行各種修改和變化，這對於本領域技術人員來說是顯而易見的。因而，本發明意在覆蓋落入所附權利要求書範圍及其等同範圍內的對本發明的所有修改和變化。
【權利要求】
1.一種用於修正三維圖像的深度圖的裝置，包括: 原始深度圖產生單元，所述原始深度圖產生單元用於產生從外部提供到所述原始深度圖產生單元的幀圖像數據的原始深度圖；和 深度圖修正單元，所述深度圖修正單元用於分析從外部提供的幀圖像數據，根據分析結果計算幀圖像數據的圖像圖案和幀圖像數據的每像素亮度值，並根據所計算的圖像圖案和所計算的亮度值修正從所述原始深度圖產生單元輸出的原始深度圖，以產生修正後深度圖。
2.根據權利要求1所述的裝置，其中所述深度圖修正單元包括: 亮度提取器，所述亮度提取器用於從自外部提供的幀圖像數據提取每像素亮度值； 圖像圖案分析器，所述圖像圖案分析器用於根據從所述亮度提取器輸出的亮度值識別幀圖像數據的圖像圖案，並根據識別結果輸出預定的圖案增益值； 塊深度圖產生器，所述塊深度圖產生器用於根據像素的空間位置將幀圖像數據的像素分類為η個像素塊，在參考從所述亮度提取器輸出的亮度值的同時計算每個像素塊的平均亮度值，並根據每個像素塊的平均亮度值和來自所述圖像圖案分析器的圖案增益值修正從所述原始深度圖產生單元輸出的原始深度圖，以產生基於塊的深度圖，其中η為大於I的自然數； 像素深度圖產生器，所述像素深度圖產生器用於根據來自所述亮度提取器的亮度值和來自所述圖像圖案分析器的圖案增益值修正從所述原始深度圖產生單元輸出的原始深度圖，以產生基於像素的深度圖；和 修正後深度圖產生器，所述修正後深度圖產生器用於根據來自所述塊深度圖產生器的基於塊的深度圖和來自所述像素深度圖產生器的基於像素的深度圖產生修正後深度圖。
3.根據權利要求2所述的裝置，其中所述圖像圖案分析器根據像素的空間位置將幀圖像數據的像素分類為m個圖案塊，將m個圖案塊的一部分分組為空中區域，同時將m個圖案塊的另一部分分組為側區域，在參考從所述亮度提取器輸出的亮度值的同時計算所述空中區域的平均亮度值和所述側區域的平均亮度值，根據所計算的平均亮度值識別幀圖像數據的圖像圖案，並根據識別結果選擇圖案增益值，其中m為大於I的自然數。
4.根據權利要求3所述的裝置，其中所述圖像圖案分析器將所述空中區域的平均亮度值與預定的參考亮度值進行比較，將所述側區域的平均亮度值與所述參考亮度值進行比較，並根據比較結果從多個預定的圖案增益值選擇一個圖案增益值。
5.根據權利要求4所述的裝置，其中所述圖像圖案分析器將像素分類為9個圖案塊，將在空間上布置在9個圖案塊的最上側處的三個水平相鄰的圖案塊分組為所述空中區域，並將在空間上布置在9個圖案塊的左邊緣側處的兩個垂直相鄰的圖案塊以及在空間上布置在9個圖案塊的右邊緣側處的兩個垂直相鄰的圖案塊分組為所述側區域。
6.根據權利要求5所述的裝置，其中: 所述圖像圖案分析器在所述空中區域的平均亮度值小於等於所述參考亮度值，且所述側區域的平均亮度值高於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第一圖像圖案，然後選擇所述圖案增益值中的第一圖案增益值； 所述圖像圖案分析器在所述空中區域的平均亮度值高於所述參考亮度值，且所述側區域的平均亮度值小於等於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第二圖像圖案，然後選擇所述圖案增益值中的第二圖案增益值； 所述圖像圖案分析器在所述空中區域的平均亮度值小於等於所述參考亮度值，且所述側區域的平均亮度值小於等於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第三圖像圖案，然後選擇所述圖案增益值中的第三圖案增益值；以及 所述圖像圖案分析器在所述空中區域的平均亮度值高於所述參考亮度值，且所述側區域的平均亮度值高於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第四圖像圖案，然後選擇所述圖案增益值中的第四圖案增益值。
7.根據權利要求6所述的裝置，其中所述第一圖案增益值為0.3，所述第二圖案增益值為0.7，所述第三圖案增益值為O，所述第四圖案增益值為I。
8.根據權利要求2所述的裝置，其中: 所述塊深度圖產生器還根據像素的垂直位置計算每個像素塊中的一個像素的第一垂直權重，並根據每個像素塊的平均亮度值和來自所述圖像圖案分析器的圖案增益值、以及所述第一垂直權重修正所述原始深度圖；以及 所述像素深度圖產生器還根據像素的垂直位置計算一個像素的第二垂直權重，並根據來自所述亮度提取器的亮度值、來自所述圖像圖案分析器的圖案增益值、以及所述第二垂直權重修正所述原始深度圖，以產生基於像素的深度圖。
9.根據權利要求8所述的裝置，其中: 所述第一垂直權重和所述第二垂直權重由下面的表達式I表示，
[表達式 I]: (HL_total/60) - (N_HL_pxl/60) X 8 其中，「HL_total」表示顯示屏的水平行的總數，「N_HL_pxl」表示標記出一個水平行的編號，在所述一個水平行上布置有確定一個像素； 在所述第一垂直權重具有十進位值時，所述第一垂直權重對一個小數位四捨五入。
10.根據權利要求8所述的裝置，其中: 所述塊深度圖產生器根據布置有確定一個像素的第k個像素塊的平均亮度值計算第k個像素塊的第k個塊增益值；根據在第k個像素塊左側處與第k個像素塊相鄰布置的第k-1個像素塊的平均亮度值，計算第k-Ι個像素塊的第k-ι個塊增益值；並根據在第k個像素塊右側處與第k個像素塊相鄰布置的第k+Ι個像素塊的平均亮度值，計算第k+Ι個像素塊的第k+Ι個塊增益值； 所述塊深度圖產生器將第k-ι個塊增益值和第k+Ι個塊增益值中較高的一個定義為側塊增益值； 所述塊深度圖產生器將第k個塊增益值、所述側塊增益值、所述第一垂直權重和所述圖案增益值相乘，以計算第一總增益值；所述塊深度圖產生器搜索分配給所述確定一個像素的原始深度值的原始深度圖，並向搜索到的原始深度值添加所述第一總增益值，以計算所述確定一個像素的塊深度值；以及所述塊深度圖產生器對所有像素進行塊深度值的計算，以產生基於塊的深度圖。
11.根據權利要求10所述的裝置，其中: 第k個塊增益值由下面的表達式I表示，第k-ι個塊增益值由下面的表達式2表示，第k+Ι個塊增益值由下面的表達式3表示，
[表達式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)[表達式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[表達式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2) 其中，「Max_thl」表示預定的第一最大參考值，「Min_thl」表示預定的第一最小參考值，「Max_th2」表示預定的第二最大參考值，「Min_th2」表示預定的第二最小參考值，「blk_apl_k」表示第k個像素塊的平均亮度值，「blk_apl_k-l」表示第k-1個像素塊的平均亮度值，「blk_apl_k+l」表示第k+Ι個像素塊的平均亮度值。
12.根據權利要求11所述的裝置，其中所述第一最大參考值、所述第一最小參考值、所述第二最大參考值和所述第二最小參考值分別為400，200，440和240。
13.根據權利要求8所述的裝置，其中: 所述像素深度圖產生器根據確定的第i個像素的亮度值計算第i個像素的第i個像素增益值；根據在第i個像素左側處與第i個像素相鄰布置的第i_l個像素的亮度值，計算第1-Ι個像素的第1-ι個像素增益值；並根據在第i個像素右側處與第i個像素相鄰布置的第i+ι個像素的亮度值，計算第i+ι個像素的第i+ι個像素增益值； 所述像素深度圖產生器將第1-ι個像素增益值和第i+ι個像素增益值中較高的一個定義為側像素增益值； 所述像素深度圖產生器將第i個像素增益值、所述側像素增益值、所述第二垂直權重和所述圖案增益值相乘，以計算第二總增益值； 所述像素深度圖產生器 搜索分配給第i個像素的原始深度值的原始深度圖，並向搜索到的原始深度值添加所述第二總增益值，以計算第i個像素的像素深度值；以及 所述像素深度圖產生器對所有像素進行像素深度值的計算，以產生基於像素的深度圖。
14.根據權利要求13所述的裝置，其中: 第i個像素增益值由下面的表達式I表示，第i_l個像素增益值由下面的表達式2表示，第i+Ι個像素增益值由下面的表達式3表示，
[表達式 I]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[表達式 2]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)
[表達式 3]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4) 其中，「Max_th3」表示預定的第三最大參考值，「Min_th3」表示預定的第三最小參考值，「Max_th4」表示預定的第四最大參考值，「Min_th4」表示預定的第四最小參考值，「pxl_i」表示第i個像素的亮度值，表示第i_l個像素的亮度值，「pxl_i+l」表示第i+1個像素的亮度值。
15.根據權利要求14所述的裝置，其中所述第三最大參考值、所述第三最小參考值、所述第四最大參考值和所述第四最小參考值分別為250，170，290和210。
16.根據權利要求2所述的裝置，其中所述修正後深度圖產生器搜索分配給確定像素的塊深度值的基於塊的深度圖，搜索分配給所述確定像素的像素深度值的基於像素的深度圖，將搜索到的塊深度值乘以第一修正增益值以計算修正後的塊深度值，將搜索到的像素深度值乘以第二修正增益值以計算修正後的像素深度值，將修正後的塊深度值和修正後的像素深度值相加以計算所述確定像素的修正後深度值，並對所有像素進行修正後深度值的計算，以產生所述修正後深度圖。
17.根據權利要求16所述的裝置，其中修正後的塊深度值和修正後的像素深度值之和為I。
18.根據權利要求17所述的裝置，其中所述第一修正增益值為0.7，所述第二修正增益值為0.3。
19.一種用於修正三維圖像的深度圖的方法，包括下述步驟: A)產生從外部提供的幀圖像數據的原始深度圖；和 B)分析從外部提供的幀圖像數據，根據分析結果計算幀圖像數據的圖像圖案和幀圖像數據的每像素亮度值，並根據所計算的圖像圖案和所計算的亮度值修正所述原始深度圖，以產生修正後深度圖。
20.根據權利要求19所述的方法，其中所述步驟B)包括: B-a)從自外部提供的幀圖像數據提取每像素亮度值； Β-b)根據所述亮度值識別幀圖像數據的圖像圖案，並根據識別結果輸出預定的圖案增益值； B-c)根據像素的空間位置將幀圖像數據的像素分類為η個像素塊，在參考所述亮度值的同時計算每個像素塊的平均亮度值，並根據每個像素塊的平均亮度值和所述圖案增益值修正所述原始深度圖，以產生基於塊的深度圖，其中η為大於I的自然數； B-d)根據所述亮度值和所述圖案增益值修正所述原始深度圖，以產生基於像素的深度圖；和 B-e)根據基於塊的深度圖和基於像素的深度圖產生修正後深度圖。
21.根據權利要求20所述的方法，其中所述步驟B-b)包括:根據像素的空間位置將幀圖像數據的像素分類為m個圖案塊，將m個圖案塊的一部分分組為空中區域，同時將m個圖案塊的另一部分分組為側區域，在參考所述亮度值的同時計算所述空中區域的平均亮度值和所述側區域的平均亮度值，根據所計算的平均亮度值識別幀圖像數據的圖像圖案，並根據識別結果選擇圖案增益值，其中m為大於I的自然數。
22.根據權利要求21所述的方法，其中所述步驟B-b)包括:將所述空中區域的平均亮度值與預定的參考亮度值進行比較，將所述側區域的平均亮度值與所述參考亮度值進行比較，並根據比較結果從多個預定的圖案增益值選擇一個圖案增益值。
23.根據權利要求22所述的方法，其中所述步驟B-b)包括:將像素分類為9個圖案塊，將在空間上布置在9個圖案塊的最上側處的三個水平相鄰的圖案塊分組為所述空中區域，並將在空間上布置在9個圖案塊的左邊緣側處的兩個垂直相鄰的圖案塊以及在空間上布置在9個圖案塊的右邊緣側處的兩個垂直相鄰的圖案塊分組為所述側區域。
24.根據權利要求23所述的方法，其中: 所述步驟B-b)包括:當所述空中區域的平均亮度值小於等於所述參考亮度值，且所述側區域的平均亮度值高於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第一圖像圖案，然後選擇所述圖案增益值中的第一圖案增益值； 所述步驟B-b)還包括:當所述空中區域的平均亮度值高於所述參考亮度值，且所述側區域的平均亮度值小於等於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第二圖像圖案，然後選擇所述圖案增益值中的第二圖案增益值； 所述步驟B-b)還包括:當所述空中區域的平均亮度值小於等於所述參考亮度值，且所述側區域的平均亮度值小於等於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第三圖像圖案，然後選擇所述圖案增益值中的第三圖案增益值；以及 所述步驟B-b)還包括:當所述空中區域的平均亮度值高於所述參考亮度值，且所述側區域的平均亮度值高於所述參考亮度值時，識別出從外部提供的幀圖像數據具有第四圖像圖案，然後選擇所述圖案增益值中的第四圖案增益值。
25.根據權利要求24所述的方法，其中所述第一圖案增益值為0.3，所述第二圖案增益值為0.7，所述第三圖案增益值為O，所述第四圖案增益值為I。
26.根據權利要求20所述的方法，其中: 所述步驟B-c)還包括:根據像素的垂直位置計算每個像素塊中的一個像素的第一垂直權重，並根據每個像素塊的平均亮度值和所述圖案增益值、以及所述第一垂直權重修正所述原始深度圖；以及 所述步驟B-d)還包括:根據像素的垂直位置計算一個像素的第二垂直權重，並根據所述亮度值、所述圖案增益值、以及所述第二垂直權重修正所述原始深度圖，以產生基於像素的深度圖。
27.根據權利要求26所述的方法，其中: 所述第一垂直權重和所述第二垂直權重由下面的表達式I表示，
[表達式 I]: (HL_total/60) - (N_HL_pxl/60) X 8 其中，「HL_total」表示顯示屏的水平行的總數，「N_HL_pxl」表示標記出一個水平行的編號，在所述一個水平行上布置有確定一個像素；以及 當所述第一垂直權重具有十進位值時，所述第一垂直權重對一個小數位四捨五入。
28.根據權利要求26所述的方法，其中: 所述步驟B-c )包括:根據布置有確定一個像素的第k個像素塊的平均亮度值計算第k個像素塊的第k個塊增益值，根據在第k個像素塊左側處與第k個像素塊相鄰布置的第k-Ι個像素塊的平均亮度值，計算第k-Ι個像素塊的第k-Ι個塊增益值，並根據在第k個像素塊右側處與第k個像素塊相鄰布置的第k+Ι個像素塊的平均亮度值，計算第k+Ι個像素塊的第k+Ι個塊增益值；將第k-Ι個塊增益值和第k+Ι個塊增益值中較高的一個定義為側塊增益值； 將第k個塊增益值、所述側塊增益值、所述第一垂直權重和所述圖案增益值相乘，以計算第一總增益值； 搜索分配給所述確定一個像素的原始深度值的原始深度圖，並向搜索到的原始深度值添加所述第一總增益值，以計算所述確定一個像素的塊深度值；和對所有像素進行塊深度值的計算，以產生基於塊的深度圖。
29.根據權利要求28所述的方法，其中: 第k個塊增益值由下面的表達式I表示，第k-Ι個塊增益值由下面的表達式2表示，第k+Ι個塊增益值由下面的表達式3表示，
[表達式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)
[表達式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[表達式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2) 其中，「Max_thl」表示預定的第一最大參考值，「Min_thl」表示預定的第一最小參考值，「Max_th2」表示預定的第二最大參考值，「Min_th2」表示預定的第二最小參考值，「blk_apl_k」表示第k個像素塊的平均亮度值，「blk_apl_k-l」表示第k-Ι個像素塊的平均亮度值，「blk_apl_k+l」表示第k+Ι個像素塊的平均亮度值。
30.根據權利要求29所述的方法，其中所述第一最大參考值、所述第一最小參考值、所述第二最大參考值和所述第二最小參考值分別為400，200，440和240。
31.根據權利要求26所述的方法，其中: 所述步驟B-d)包括: 根據確定的第i個像素的亮度值計算第i個像素的第i個像素增益值；根據在第i個像素左側處與第i個像素相鄰布置的第i_l個像素的亮度值，計算第i_l個像素的第i_l個像素增益值；並根據在第i個像素右側處與第i個像素相鄰布置的第i+Ι個像素的亮度值，計算第i+Ι個像素的第i+Ι個像素增益值； 將第i_l個像素增益值和第i+Ι個像素增益值中較高的一個定義為側像素增益值；將第i個像素增益值、所述側像素增益值、所述第二垂直權重和所述圖案增益值相乘，以計算第二總增益值； 搜索分配給第i個像素的原始深度值的原始深度圖，並向搜索到的原始深度值添加所述第二總增益值，以計算第i個像素的像素深度值；和 對所有像素進行像素深度值的計算，以產生基於像素的深度圖。
32.根據權利要求31所述的方法，其中: 第i個像素增益值由下面的表達式I表示，第i_l個像素增益值由下面的表達式2表示，第i+Ι個像素增益值由下面的表達式3表示，
[表達式 I]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[表達式 2]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)
[表達式 3]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4) 其中，「Max_th3」表示預定的第三最大參考值，「Min_th3」表示預定的第三最小參考值，「Max_th4」表示預定的第四最大參考值，「Min_th4」表示預定的第四最小參考值，「pxl_i」表示第i個像素的亮度值，表示第i_l個像素的亮度值，「pxl_i+l」表示第i+1個像素的亮度值。
33.根據權利要求32所述的方法，其中所述第三最大參考值、所述第三最小參考值、所述第四最大參考值和所述第四最小參考值分別為250，170，290和210。
34.根據權利要求20所述的方法，其中所述步驟B-e)包括:搜索分配給確定像素的塊深度值的基於塊的深度圖，搜索分配給所述確定像素的像素深度值的基於像素的深度圖，將搜索到的塊深度值乘以第一修正增益值以計算修正後的塊深度值，將搜索到的像素深度值乘以第二修正增益值以計算修正後的像素深度值，將修正後的塊深度值和修正後的像素深度值相加以計算所述確定像素的修正後深度值，並對所有像素進行修正後深度值的計算，以產生所述修正後深度圖。
35.根據權利要求34所述的方法，其中修正後的塊深度值和修正後的像素深度值之和為I。
36.根據權利要求35所述的方法，其中所述第一修正增益值為0.7，所述第二修正增益值為0.3。
【文檔編號】H04N13/00GK103841401SQ201310594835
【公開日】2014年6月4日 申請日期:2013年11月21日 優先權日:2012年11月23日
【發明者】全虎敃, 金性均 申請人:樂金顯示有限公司