用於校正立體圖像中的誤差的方法和設備的製作方法
2023-04-26 14:05:51
專利名稱：用於校正立體圖像中的誤差的方法和設備的製作方法
技術領域：
本發明的實施方式涉及用於校正三維(3D)圖像中的誤差的方法和設備。更具體地，本發明涉及用於校正3D圖像中的誤差的方法和設備，該方法和設備檢測深度圖信息中的誤差，並在提供通過將深度圖信息應用於輸入二維(2D)圖像內容所產生的3D圖像內容的處理中校正所述誤差，從而防止由於深度圖信息中的誤差而降低3D效果。
背景技術：
隨著數位技術的快速發展並且隨著由於廣播和通信的聚合導致的廣播媒體的多樣化，最近出現了與廣播相關的增值業務。目前，儘管諸如TV廣播的視頻業務的開發致力於高清晰和大屏幕技術，但迄今為止僅提供2D圖像內容，因此觀看者無法從當前的2D圖像內容感知3D效果。因此，對3D圖像的需求逐漸增加，但迄今為止明顯缺乏3D圖像內容。3D圖像處理是下一代信息技術業務領域中的關鍵技術，並且隨著信息工業社會的發展還是一種具有增加的競爭力的最先進的技術。3D圖像處理技術是提供高質量視頻業務的基本要素，並且被應用於諸如廣播、醫療、教育、軍事、遊戲和虛擬實境的多個領域以及信息技術領域。因此，需要從2D圖像內容提供3D圖像內容的技術。然而，在利用當前技術從2D圖像內容提供3D圖像內容的處理期間出現誤差，這是個問題。
發明內容
技術問題因此，本發明致力於解決上述問題，本發明的實施方式的目的在於一種用於校正三維(3D)圖像中的誤差的方法和設備，該方法和設備能夠防止在輸出3D圖像內容的處理中由於深度圖信息中的誤差而導致降低3D效果。技術方案用於實現以上目的的本發明的實施方式提供了一種用於校正三維(3D)圖像中的誤差的設備，該設備包括:空間直方圖生成單元，其利用與輸入圖像數據相關的深度圖信息生成空間直方圖信息；峰值頻率生成單元，其利用所述輸入圖像數據的二維(2D)圖像數據生成峰值頻率；對象分析單元，其基於所述空間直方圖和所述峰值頻率來檢測所述輸入圖像數據的各個幀中的誤差；深度圖誤差校正單元，如果確定所述幀中存在誤差，則該深度圖誤差校正單元校正所述深度圖信息，使得所述誤差被校正；以及渲染處理單元，其利用所述經校正的深度圖信息來產生用於形成3D圖像的左眼圖像和右眼圖像。根據本發明的另一目的，提供了一種用於校正3D圖像中的誤差的方法，該方法包括以下步驟:空間直方圖生成步驟，利用與輸入圖像數據相關的深度圖信息生成空間直方圖信息；峰值頻率生成步驟，利用所述輸入圖像數據的2D圖像數據生成峰值頻率；對象分析步驟，基於所述空間直方圖和所述峰值頻率來檢測所述輸入圖像數據的各個幀中的誤差；深度圖誤差校正步驟，如果確定所述幀中存在誤差，則校正所述深度圖信息，使得所述誤差被校正；以及渲染處理步驟，利用所述經校正的深度圖信息來產生用於形成3D圖像的左眼圖像和右眼圖像。根據本發明的另一目的，提供了一種用於校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用於輸入2D圖像數據所產生的3D圖像的處理中檢測所述深度圖信息中的誤差，該方法包括以下步驟:確定超出針對所述2D圖像數據的各個幀中的根據所述深度圖信息分類的各個對象生成的空間直方圖信息的標準差的特定值；如果所述特定值在第一閾值的縱(Y)軸的正(+ )方向或負(_)方向上超出所述第一閾值，則將與所述特定值對應的區域分類為誤差傾向區域；如果所述誤差傾向區域的峰值頻率在所述正(+ )方向或負(_)方向上超出第二閾值，則確定所述峰值頻率超出所述第一閾值的方向的結果與所述峰值頻率超出所述第二閾值的方向的結果是否彼此一致；以及如果確定所述峰值頻率超出所述第一閾值的方向的結果與所述峰值頻率超出所述第二閾值的方向的結果彼此不一致，則確定所述深度圖信息中存在誤差。根據本發明的另一目的，提供了一種用於校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用於輸入2D圖像數據所產生的3D圖像的處理中校正所述深度圖信息中的誤差，該方法包括以下步驟:確定超出被確定為所述深度圖信息中具有誤差的誤差包含區域的空間直方圖信息的標準差的特定值；確定所述特定值是否在縱(Y)軸的正(+ )方向或負(_)方向上超出第一閾值；以及如果確定所述特定值超出所述第一閾值，則通過基於所述特定值超出所述第一閾值的方向將所述特定值增加或減小到所述空間直方圖信息的所述標準差來校正所述誤差。根據本發明的另一目的，提供了一種用於校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用於輸入2D圖像數據所產生的3D圖像的處理中檢測所述深度圖信息中的誤差並校正所述誤差，該方法包括以下步驟:確定超出針對所述2D圖像數據的各個幀中的根據所述深度圖信息分類的各個對象生成的空間直方圖信息的標準差的特定值；如果所述特定值超出第一閾值，則將與所述特定值對應的區域分類為誤差傾向區域；如果所述誤差傾向區域的峰值頻率超出第二閾值，則確定所述峰值頻率超出所述第一閾值的方向的結果與所述峰值頻率超出所述第二閾值的方向的結果是否彼此一致；如果確定所述峰值頻率超出所述第一閾值的方向的結果與所述峰值頻率超出所述第二閾值的方向的結果彼此不一致，則確定所述深度圖信息中存在誤差；以及通過基於所述特定值超出所述第一閾值的方向將所述特定值增加或減小到所述空間直方圖信息的所述標準差來校正所述誤差。有益效果如上所述，根據本發明的實施方式，能夠在提供通過將深度圖信息應用於輸入2D圖像內容所產生3D圖像內容的處理中檢測深度圖信息中的誤差並校正所述誤差，從而防止深度圖信息中的誤差降低3D效果。此外，根據本發明的實施方式，能夠檢測與2D圖像數據一起接收的或者從2D圖像數據估計的單獨的深度圖信息中的所有誤差，並校正所述誤差。即，能夠在輸出3D圖像內容時校正誤差，從而使得觀看者能夠感知經改進的3D效果。
圖1是示意性示出根據本發明的實施方式的用於校正3D圖像中的誤差的設備的框圖。圖2是示出根據本發明的實施方式的用於校正3D圖像中的誤差的方法的流程圖。圖3是示出根據本發明的實施方式的空間直方圖的說明性示圖。圖4是示出本發明的實施方式的輸入2D圖像數據的說明性示圖。圖5是示出根據本發明的實施方式的特定幀的正常深度圖信息的說明性示圖。圖6是示出根據本發明的實施方式的特定幀的誤差傾向區域的說明性示圖。圖7是示出根據本發明的實施方式的特定對象的誤差傾向區域的說明性示圖。圖8是示出根據本發明的實施方式的根據快速傅立葉變換(FFT)的應用的峰值頻率的說明性示圖。〈標號說明〉100:用於校正3D圖像中的誤差的設備112:圖像接收單元120:深度圖接收單元122:空間直方圖生成單元130:2D圖像接收單元132:峰值頻率生成單元140:對象分析單元150:深度圖誤差校正單元160:渲染處理單元
具體實施例方式下文中，將參照附圖描述本發明的示例性實施方式。在以下描述中，儘管元件在不同的附圖中示出，但相同的元件用相同的標號來表示。此外，在本發明的以下描述中，當對合併於此的已知功能和結構的詳細描述可能使得本發明的主題不清晰時，將省略該詳細描述。另外，當描述本發明的部件時，這裡可能使用諸如第一、第二、A、B、(a)、(b)等術語。這些術語中的每一個不用於限定對應部件的本質、順序或次序，而僅用於將對應的部件與其它部件區分開。應該注意，如果在說明書中描述了一個部件「連接」、「耦接」或「結合」到另一部件，則儘管第一部件可直接「連接」、「耦接」或「結合」到第二部件，但是第三部件可「連接」、「耦接」和「結合」在第一部件和第二部件之間。圖1是示意性示出根據本發明的實施方式的用於校正3D圖像中的誤差的設備的框圖。根據本發明的實施方式的用於校正3D圖像中的誤差的設備100包括圖像接收單元112、深度圖估計單元114、深度圖接收單元120、空間直方圖生成單元122、2D圖像接收單元130、峰值頻率生成單元132、對象分析單元140、深度圖誤差校正單元150和渲染處理單元160。儘管在本發明的實施方式中描述了用於校正3D圖像中的誤差的設備100包括圖像接收單元112、深度圖估計單元114、深度圖接收單元120、空間直方圖生成單元122、2D圖像接收單元130、峰值頻率生成單元132、對象分析單元140、深度圖誤差校正單元150和渲染處理單元160，但是這僅旨在示出本發明的實施方式的技術構思，本發明所屬領域的技術人員將理解，在不脫離本發明的實施方式的基本特徵的情況下可對用於校正3D圖像中的誤差的設備100的部件做出各種修改和改變。根據本發明的實施方式的用於校正3D圖像中的誤差的設備是指將輸入圖像數據轉換成3D圖像數據，在將輸入圖像數據轉換成3D圖像數據的處理中檢測誤差，並且校正所述誤差的設備。即，用於校正3D圖像中的誤差的設備100是指可從圖像內容供應方接收2D圖像數據並在顯示所述2D圖像數據之前將所接收到的2D圖像數據轉換成3D圖像的設備。此外，用於校正3D圖像中的誤差的設備100可從諸如廣播公司的圖像內容供應方接收獨立於2D圖像數據提供的深度圖信息。即，用於校正3D圖像中的誤差的設備100可以檢測從圖像內容供應方接收的或者從2D圖像數據估計的深度圖信息中的誤差，並校正所檢測到的誤差。這裡，用於校正3D圖像中的誤差的設備100可安裝在諸如TV、監視器等的顯示裝置中，或者可實現為諸如機頂盒的獨立裝置並連接到顯示裝置。因此，在本發明中將僅描述由用於校正3D圖像中的誤差的設備100執行的輸入圖像數據到用於3D圖像的左眼圖像和右眼圖像的轉換，而不單獨描述由顯示裝置執行的按照立體或自動立體方式對3D圖像的顯不O可按照兩個方面定義本發明所述的3D圖像。首先，3D圖像可被定義為應用了深度圖信息使得用戶能夠感覺到圖像的一部分從畫面凸出的圖像。其次，3D圖像可被定義為向用戶提供多個視點使得用戶能夠從圖像感知真實感的圖像。即，本發明所述的3D圖像是指使得觀看者能夠感知聽覺-視覺3D效果從而提供生動感和真實感的圖像。可以基於獲取方法、深度印象和顯示方法來將3D圖像分類成立體類型、多視點類型、集成成像(IP)類型、多視點(omni)類型、全景類型和全息圖類型。用於顯示3D圖像的方法可包括基於圖像的重建和基於網格(mesh)的呈現。與人眼類似，需要從左側和右側這二者拍攝的兩個圖像來呈現3D圖像。S卩，通過左眼觀看從左側拍攝的圖像，並且通過右眼觀看從右側拍攝的圖像，使得觀看者感知3D效果。用於拍攝3D圖像的廣播相機具有兩個相機彼此並排放置或者其中設置有兩個鏡頭的結構。3D圖像需要左圖像和右圖像，因此，圖像數據的尺寸是普通廣播數據的尺寸的兩倍。結果，作為廣播信號發送的3D圖像佔據雙頻帶。可通過分別將左圖像和右圖像的尺寸減小一半並類似於「並排」方法將左圖像和右圖像組合來按照普通廣播數據的尺寸傳送3D圖像。然而，數據量在水平方向被壓縮，從而出現數據損失。為了在保持與普通圖像數據的量相等的數據量的同時發送3D圖像數據，可將與普通圖像對應的2D圖像數據與包含關於3D圖像數據的信息的深度圖信息一起發送。深度圖信息的量對應於2D圖像數據量的大約10%，因此，如果添加大約10%的信息，則可顯示3D圖像。此外，當作為接收2D圖像的接收單元的用於校正3D圖像中的誤差的設備100可將2D圖像數據轉換成3D圖像數據時，需要與普通圖像數據相同的信息量，進而無需附加數據就可顯示3D圖像。可以按照這種方式來處理用於提供3D圖像的信號數據:發送左圖像和右圖像這兩者，左圖像和右圖像在水平方向上被壓縮並被發送，2D圖像數據和深度圖信息被一起發送，或者由作為接收單元的用於校正3D圖像中的誤差的設備100將2D圖像數據轉換成3D圖像數據。此外，當圖像內容供應方按照發送左圖像和右圖像這二者或者左圖像和右圖像在水平方向上被壓縮並被發送的這種方式來發送圖像數據時，3D圖像數據被發送，並且在這種情況下，無法修改3D圖像的3D效果。然而，當2D圖像數據和深度圖信息被一起發送時，或者當作為接收單元的用於校正3D圖像中的誤差的設備100將2D圖像數據轉換成3D圖像數據時，用於校正3D圖像中的誤差的設備100可以控制深度圖信息，這可以修改3D效果。因此，根據本發明的實施方式的用於校正3D圖像中的誤差的設備100可以通過檢測深度圖信息中的誤差以創建3D效果來向觀看者提供更加改進的3D圖像。3D效果對應於根據觀看者的年齡、標準等顯著改變的主觀判斷，但是感知3D效果中的差異可通過以下客觀項來確定。即，當在一個圖像中同時存在深度圖信息具有大的差異的多個對象時，當從人眼的角度左圖像和右圖像具有大的差異時，當自然存在的3D效果和應用於圖像的3D效果在特定對象或特定區域中被不同地感知時，或者當有意增加3D效果以強調3D效果時，差異是明顯的。如上所述，一個圖像中同時存在深度圖信息具有大的差異的多個對象的情況，或者從人眼的角度左圖像和右圖像具有大的差異的情況主要是通過3D相機拍攝圖像時導致的，這主要取決於攝影師的技術。此外，可通過利用作為接收對應圖像的接收單元的用於校正3D圖像中的誤差的設備100檢測深度圖信息中的誤差並校正所述誤差來將自然存在的3D效果和應用於圖像的3D效果在特定對象或特定區域中被不同地感知的情況或者有意增加3D效果以強調3D效果的情況減輕到一定程度。具體地，當作為接收單元的用於校正3D圖像中的誤差的設備100從2D圖像數據估計深度圖信息，並基於所估計出的深度圖信息將2D圖像數據轉換成用於3D圖像的左眼圖像和右眼圖像時，執行諸如圖像的識別和分析、對象的分離、對象的距離透視的確定等的各種處理。因此，在3D圖像轉換期間出現誤差，進而在深度圖信息中可能包括該誤差。由於該誤差，導致3D圖像的觀看者感覺眩暈。S卩，當從圖像內容供應方接收單獨的深度圖信息或者從2D圖像數據估計深度圖信息時，用於校正3D圖像中的誤差的設備100可從深度圖信息檢測誤差。例如，當位於短距離的對象被示出遠離位於長距離的對象時，無法將其恢復為其原始形式，但是可以利用用於校正3D圖像中的誤差的設備100來檢測深度圖信息中包含的誤差並校正該誤差。此外，可通過基於深度圖像的渲染(DIBR)來顯示3D圖像。基於深度圖像的渲染是指利用具有與各個相關像素中的深度、角度差等有關的信息的基準圖像在不同的視點創建幀的方法。基於深度圖像的渲染能夠容易地渲染3D模型的難以描述且複雜的形狀，並使得能夠應用諸如普通圖像濾波的信號處理，從而產生高質量的3D圖像。基於深度圖像的渲染使用由深度相機和多視點相機拍攝的深度圖像和紋理圖像。此外，深度圖像是以黑和白為單位顯示位於3D空間中的對象與拍攝該對象的相機之間的距離的圖像。通過深度圖信息和相機參數在3D恢復或3D摺疊變換(warping)中使用深度圖像。此外，深度圖像被應用於自由視點TV或3D TV。自由視點TV是指使得用戶能夠根據用戶的選擇不是從預定視點而是從任何視點觀看圖像的TV。3D TV提供通過將深度圖像與2D圖像相加所獲得的圖像。針對自由視點TV和3D TV中的平穩視點轉換，必須生成中間圖像，因此必須估計準確的深度圖信息。此外，在本發明中，稍後將參照深度圖估計單元114來詳細描述用於估計深度圖信息的方法。圖像接收單元112確定是否單獨輸入了與輸入圖像數據相關的深度圖信息，如果確定單獨輸入了深度圖信息，則將深度圖信息發送到深度圖接收單元120。如果沒有單獨輸入與輸入圖像數據相關的深度圖信息，則深度圖估計單元114針對輸入圖像數據的各個幀估計深度圖信息，並將所估計出的深度圖信息發送到深度圖接收單元120。即，深度圖估計單元114針對輸入圖像數據的各個幀中存在的各個像素估計深度圖信息。這裡，各個像素可包括R、G和B子像素。此外，輸入圖像數據是指2D圖像數據。此外，深度圖估計單元114可使用立體匹配算法作為用於估計深度圖信息的通常方法。立體匹配算法僅在水平方向上搜索周圍圖像，以獲得變化值，並且僅輸入利用平行相機構造拍攝的圖像或經過了校正的圖像。本發明中描述的深度圖信息是指指示深度感知的信息，並可稱為Z緩衝器。此外，深度圖估計單元114利用與畫面的傾斜、對象的陰影、畫面的焦點和對象圖案相關的多個信息中的至少一個來分析各個幀，以估計深度圖信息。例如，深度圖估計單元114可通過基於幀中的傾斜確定在幀中位於畫面的底部的對象在近處並且位於頂部的對象在遠處來估計深度圖信息。此外，深度圖估計單元114可通過基於對象的陰影確定幀中的對象的暗色部分在遠處並且該對象的亮色部分在近處來估計深度圖信息。即，該方法使用陰影總在對象後面的原理。此外，深度圖估計單元114可通過基於畫面的焦點確定清晰對象在前面並且模糊對象在後面來估計深度圖信息。此外，如果存在同一類型的多個連續圖案，則深度圖估計單元114可通過基於對象圖案確定大尺寸圖案在小尺寸圖案的前面來估計深度圖信息。深度圖接收單元120從圖像接收單元112或深度圖估計單元114接收與輸入的圖像數據相關的深度圖信息。即，當從圖像內容供應方獨立於圖像數據接收深度圖信息時，除了圖像數據之外，深度圖接收單元120通過圖像接收單元112單獨接收深度圖信息。此外，當除了深度圖信息之外還從圖像內容供應方接收圖像數據時，深度圖接收單元120從輸入圖像數據接收由深度圖估計單元114估計的深度圖信息。空間直方圖生成單元122利用與輸入圖像數據相關的深度圖信息來生成空間直方圖信息。空間直方圖生成單元122通過針對輸入圖像數據的各個幀中的根據深度圖信息分類的各個對象在橫軸(X)和縱軸(Y)上對深度圖信息進行直方圖分析(histogramming)來生成空間直方圖信息。空間直方圖生成單元122通過針對各個對象對深度圖信息進行直方圖分析來生成空間直方圖表。即，本發明中描述的空間直方圖信息是指通過在橫軸(X)和縱軸(Y)上對根據深度圖信息分類的對象進行直方圖分析所獲得的信息。2D圖像接收單元130接收從圖像接收單元112或深度圖估計單元114輸入的圖像數據的2D圖像數據。即，當從圖像內容供應方獨立於圖像數據接收深度圖信息時，除了深度圖信息之外，2D圖像接收單元130通過圖像接收單元112接收2D圖像數據。此外，當除了深度圖信息之外，還從圖像內容供應方接收圖像數據時，2D圖像接收單元130通過深度圖估計單元114僅接收2D圖像數據。峰值頻率生成單元132利用輸入圖像數據的2D圖像數據生成峰值頻率。峰值頻率生成單元132通過按照預定宏塊為單位對輸入圖像數據的各個幀進行掃描來將所述幀劃分成多個區域，並利用所劃分的多個區域中的每一個的像素值來計算峰值頻率。為了計算峰值頻率，峰值頻率生成單元132利用快速傅立葉變換(FFT)將各個幀的頻率分量劃分成高頻分量和低頻分量，並將高頻分量的係數的比確定為峰值頻率。峰值頻率生成單元132基於針對各個區域計算出的峰值頻率生成峰值頻率表。本發明中描述的宏塊可具有諸如8X8、16X16、32X32、8X16、16X8、16X32、32X16等的各種尺寸，並可具有根據對應幀中的對象的各種尺寸。然而，可按照具有子塊的宏塊為單位對幀進行掃描。對象分析單元140基於從空間直方圖生成單元122接收的空間直方圖和從峰值頻率生成單元132接收的峰值頻率來檢測輸入圖像數據的各個幀中的誤差。如果對象中包括的空間直方圖信息超過第一閾值，則對象分析單元140將該對象的對應區域分類為誤差傾向區域410。然而，如果超出對象中包括的空間直方圖信息的標準差的特定值在第一閾值的縱(Y)軸的正(+ )方向或負(_)方向上超過第一閾值，則對象分析單元140將與所述特定值對應的區域分類為誤差傾向區域410。此外，對象分析單元140從通過按照預定宏塊為單位對輸入圖像數據的各個幀進行掃描所劃分的多個區域中選擇與誤差傾向區域410對應的區域，並且如果所選擇的區域的峰值頻率超出第二閾值，則確定誤差傾向區域410的深度圖信息中存在誤差，從而將誤差傾向區域410識別為誤差包含區域。此外，如果與誤差傾向區域410對應的峰值頻率在所述正(+ )方向或負(-)方向上超出第二閾值，並且如果峰值頻率超出第一閾值的正(+ )方向或負(_)方向的結果與峰值頻率超出第二閾值的正(+ )方向或負(_)方向的結果彼此不一致，則對象分析單元140確定誤差傾向區域410的深度圖信息中存在誤差，從而將誤差傾向區域410識別為誤差包含區域。當確定幀中存在誤差時，深度圖誤差校正單元150對深度圖信息進行校正，使得所述誤差被校正。此外，深度圖誤差校正單元150對誤差包含區域的深度圖信息中的誤差進行校正。例如，在深度圖誤差校正單元150可被實現為對整個幀的深度圖信息中的誤差進行校正的同時，如果由對象分析單元140確定了誤差包含區域，則深度圖誤差校正單元150可被實現為對誤差包含區域的深度圖像信息進行校正。此外，如果超出與誤差包含區域相關的空間直方圖信息的標準差的特定值在第一閾值的縱(Y)軸的正(+)方向上超出第一閾值，則深度圖誤差校正單元150用於將在正(+)方向上超出第一閾值的所述特定值減小到空間直方圖信息的標準差。此外，如果超出與誤差包含區域相關的空間直方圖信息的標準差的特定值在第一閾值的縱(Y)軸的負(_)方向上超出第一閾值，則深度圖誤差校正單元150用於將在負(_)方向上超出第一閾值的所述特定值增加到空間直方圖信息的標準差。現在將描述圖1中示出的用於校正3D圖像中的誤差的設備100的另一實施方式。空間直方圖生成單元122預設生成與一個幀相關的整個空間直方圖信息，並且如果所生成的空間直方圖大於特定區域，則創建空間直方圖表。這裡，所創建的空間直方圖表的各個元素可作為一個對象被分開 。對象分析單元140通過針對由峰值頻率生成單元132分開的各個對象對2D圖像數據的對應區域 中的峰值頻率進行分析來計算對應對象的峰值頻率。即，對象分析單元140通過空間直方圖生成單元122和峰值頻率生成單元132而具有針對各個對象的空間直方圖信息和峰值頻率。這裡，在下表I中示出了對象分析單元140獲得的空間直方圖表和峰值頻率表。[表 I]
權利要求
1.一種用於校正三維3D圖像中的誤差的設備，該設備包括: 空間直方圖生成單元，其利用與輸入圖像數據相關的深度圖信息生成空間直方圖信息； 峰值頻率生成單元，其利用所述輸入圖像數據的二維2D圖像數據生成峰值頻率； 對象分析單元，其基於所述空間直方圖和所述峰值頻率來檢測所述輸入圖像數據的各個幀中的誤差； 深度圖誤差校正單元，如果確定所述幀中存在誤差，則該深度圖誤差校正單元校正所述深度圖信息，使得所述誤差被校正；以及 渲染處理單元，其利用所述經校正的深度圖信息來產生用於形成3D圖像的左眼圖像和右眼圖像。
2.根據權利要求1所述的設備，其中，所述空間直方圖生成單元通過針對所述輸入圖像數據的各個幀中的根據所述深度圖信息分類的各個對象在橫(X)軸和縱(Y)軸上對所述深度圖信息進行直方圖分析來生成所述空間直方圖信息。
3.根據權利要求2所述的設備，其中，所述空間直方圖生成單元通過針對各個對象對所述深度圖信息進行直方圖分析來生成空間直方圖表。
4.根據權利要求1所述的設備，其中，所述峰值頻率生成單元通過按照預定宏塊為單位對所述輸入圖像數據的各個幀進行掃描來將所述幀劃分成多個區域，並利用所劃分的多個區域中的每一個的像素值來計算所述峰值頻率。
5.根據權利要求4所述的設備`，其中，所述峰值頻率生成單元利用快速傅立葉變換FFT將各個幀的頻率分量劃分成高頻分量和低頻分量，並將所述高頻分量的係數的比確定為所述峰值頻率。
6.根據權利要求5所述的設備，其中，所述峰值頻率生成單元基於針對各個區域計算出的所述峰值頻率來生成峰值頻率表。
7.根據權利要求2所述的設備，其中，如果所述對象中包括的所述空間直方圖信息超出第一閾值，則所述對象分析單元將所述對象的對應區域分類為誤差傾向區域。
8.根據權利要求7所述的設備，其中，如果超出所述對象中包括的所述空間直方圖信息的標準差的特定值在所述第一閾值的縱(Y)軸的正(+)方向或負(_)方向上超出所述第一閾值，則所述對象分析單元將與所述特定值對應的區域分類為所述誤差傾向區域。
9.根據權利要求7所述的設備，其中，所述對象分析單元從通過按照預定宏塊為單位對所述輸入圖像數據的各個幀進行掃描所劃分的所述多個區域中選擇與所述誤差傾向區域對應的區域，如果所選擇的區域的所述峰值頻率超出第二閾值，則所述對象分析單元確定所述誤差傾向區域的所述深度圖信息中存在誤差，從而將所述誤差傾向區域識別為誤差包含區域。
10.根據權利要求9所述的設備，其中，如果與所述誤差傾向區域對應的所述峰值頻率在所述正(+ )方向或負(_)方向上超出所述第二閾值，並且如果所述峰值頻率超出所述第一閾值的所述正(+ )方向或負(_)方向的結果與所述峰值頻率超出所述第二閾值的所述正(+ )方向或負(_)方向的結果彼此不一致，則所述對象分析單元確定所述誤差傾向區域的所述深度圖信息中存在誤差，從而將所述誤差傾向區域識別為所述誤差包含區域。
11.根據權利要求9所述的設備，其中，所述深度圖誤差校正單元校正所述誤差包含區域的所述深度圖信息中的所述誤差。
12.根據權利要求9所述的設備，其中，如果超出與所述誤差包含區域相關的所述空間直方圖信息的所述標準差的特定值在所述第一閾值的縱(Y)軸的所述正(+)方向上超出所述第一閾值，則所述深度圖誤差校正單元將在所述正(+)方向上超出所述第一閾值的所述特定值減小到所述空間直方圖信息的所述標準差。
13.根據權利要求9所述的設備，其中，如果超出與所述誤差包含區域相關的所述空間直方圖信息的所述標準差的特定值在所述第一閾值的所述縱(Y)軸的所述負(_)方向上超出所述第一閾值，則所述深度圖誤差校正單元將在所述負(_)方向上超出所述第一閾值的所述特定值增加到所述空間直方圖信息的所述標準差。
14.根據權利要求1所述的設備，該設備還包括: 深度圖接收單元，其接收與所述圖像數據相關的所述深度圖信息；以及 2D圖像接收單元，其接收所述輸入圖像數據的2D圖像數據。
15.根據權利要 求14所述的設備，該設備還包括: 圖像接收單元，其確定與所述輸入圖像數據相關的所述深度圖信息是否被單獨輸入，如果確定所述深度圖信息被單獨輸入，則該圖像接收單元將所述深度圖信息發送到所述深度圖接收單元；以及 深度圖估計單元，如果與所述輸入圖像數據相關的所述深度圖信息沒有被單獨輸入，則該深度圖估計單元針對所述輸入圖像數據的各個幀估計所述深度圖信息，並且將所估計出的深度圖信息發送到所述深度圖信息接收單元。
16.根據權利要求15所述的設備，其中，所述深度圖估計單元利用與畫面的傾斜、對象的陰影、畫面的焦點和對象圖案相關的多個信息中的至少一個來分析各個幀，以估計所述深度圖信息。
17.一種用於校正3D圖像中的誤差的方法，該方法包括以下步驟: 空間直方圖生成步驟，利用與輸入圖像數據相關的深度圖信息生成空間直方圖信息； 峰值頻率生成步驟，利用所述輸入圖像數據的2D圖像數據生成峰值頻率； 對象分析步驟，基於所述空間直方圖和所述峰值頻率來檢測所述輸入圖像數據的各個中貞中的誤差； 深度圖誤差校正步驟，如果確定所述幀中存在誤差，則校正所述深度圖信息，使得所述誤差被校正；以及 渲染處理步驟，利用所述經校正的深度圖信息來產生用於形成3D圖像的左眼圖像和右眼圖像。
18.根據權利要求17所述的方法，其中，所述空間直方圖生成步驟包括以下步驟:通過針對所述輸入圖像數據的各個幀中的根據所述深度圖信息分類的各個對象在橫(X)軸和縱(Y)軸上對所述深度圖信息進行直方圖分析來生成所述空間直方圖信息。
19.根據權利要求17所述的方法，其中，所述峰值頻率生成步驟包括以下步驟: 通過按照預定宏塊為單位對所述輸入圖像數據的各個幀進行掃描來將所述幀劃分成多個區域； 利用快速傅立葉變換FFT將所劃分的多個區域中的每一個區域中存在的像素的頻率分量劃分成高頻分量和低頻分量；以及將所述高頻分量的係數的比確定為所述峰值頻率。
20.根據權利要求17所述的方法，其中，所述對象分析步驟包括以下步驟: 如果所述對象中包括的所述空間直方圖信息超出第一閾值，則將所述對象的對應區域分類為誤差傾向區域； 從通過按照預定宏塊為單位對所述輸入圖像數據的各個幀進行掃描所劃分的所述多個區域中選擇與所述誤差傾向區域對應的區域；以及 如果所選擇的區域的所述峰值頻率超出第二閾值，則確定所述誤差傾向區域的所述深度圖信息中存在誤差，從而將所述誤差傾向區域識別為誤差包含區域。
21.一種用於校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用於輸入2D圖像數據所產生的3D圖像的處理中檢測所述深度圖信息中的誤差，該方法包括以下步驟: 確定超出針對所述2D圖像數據的各個幀中的根據所述深度圖信息分類的各個對象生成的空間直方圖信息的標準差的特定值； 如果所述特定值在第一閾值的縱(Y)軸的正(+ )方向或負(_)方向上超出所述第一閾值，則將與所述特定值對應的區域分類為誤差傾向區域； 如果所述誤差傾向區域的峰值頻率在所述正(+ )方向或負(_)方向上超出第二閾值，則確定所述峰值頻率超出所述第一閾值的方向的結果與所述峰值頻率超出所述第二閾值的方向的結果是否彼此一致；以及 如果確定所述峰值頻率超出所述第一閾值的方向的結果與所述峰值頻率超出所述第二閾值的方向的結果彼此不一致，`則確定所述深度圖信息中存在誤差。
22.一種用於校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用於輸入2D圖像數據所產生的3D圖像的處理中校正所述深度圖信息中的誤差，該方法包括以下步驟: 確定超出被確定為所述深度圖信息中具有誤差的誤差包含區域的空間直方圖信息的標準差的特定值； 確定所述特定值是否在縱(Y)軸的正(+ )方向或負(_)方向上超出第一閾值；以及如果確定所述特定值超出所述第一閾值，則通過基於所述特定值超出所述第一閾值的方向將所述特定值增加或減小到所述空間直方圖信息的所述標準差來校正所述誤差。
23.根據權利要求22所述的方法，其中，所述校正所述誤差的步驟包括以下步驟:如果確定所述特定值在所述縱(Y)軸的所述正(+)方向上超出所述第一閾值，則將所述特定值減小到所述空間直方圖信息的所述標準差，如果確定所述特定值在所述縱(Y)軸的所述負(_)方向上超出所述第一閾值，則將所述特定值增加到所述空間直方圖信息的所述標準差。
24.一種用於校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用於輸入2D圖像數據所產生的3D圖像的處理中檢測所述深度圖信息中的誤差並校正所述誤差，該方法包括以下步驟: 確定超出針對所述2D圖像數據的各個幀中的根據所述深度圖信息分類的各個對象生成的空間直方圖信息的標準差的特定值； 如果所述特定值超出第一閾值，則將與所述特定值對應的區域分類為誤差傾向區域； 如果所述誤差傾向區域的峰值頻率超出第二閾值，則確定所述峰值頻率超出所述第一閾值的方向的結果與所述峰值頻率超出所述第二閾值的方向的結果是否彼此一致； 如果確定所述峰值頻率超出所述第一閾值的方向的結果與所述峰值頻率超出所述第二閾值的方向的結果彼此不一致，則確定所述深度圖信息中存在誤差；以及 通過基於所述特定值超出所述第一閾值的方向將所述特定值增加或減小到所述空間直方圖信息的所述標準差來校正所述誤 差。
全文摘要
本發明的實施方式涉及用於校正立體圖像中的誤差的方法和設備。根據本發明的實施方式的用於校正立體圖像中的誤差的設備包括空間直方圖生成單元，其利用與輸入圖像數據相關的深度圖信息生成空間直方圖信息；峰值頻率生成單元，其利用所述輸入圖像數據的2D圖像數據生成峰值頻率；對象分析單元，其基於所述空間直方圖和所述峰值頻率來確定所述輸入圖像數據的各個幀中的誤差；深度圖誤差校正單元，其校正所述深度圖信息，以減小誤差；以及渲染處理單元，其利用經校正的深度圖信息來生成作為立體圖像的左眼圖像和右眼圖像。根據本發明的實施方式，可以確定並減小深度圖信息中的誤差，從而從提供深度圖信息被應用於輸入2D圖像內容的立體圖像內容的處理中減小由於深度圖信息中的誤差所導致的立體感知。
文檔編號H04N13/00GK103119947SQ201180028346
公開日2013年5月22日 申請日期2011年4月8日 優先權日2010年6月8日
發明者禹大植, 全柄璣, 金娥爛, 李洪雨, 金鐘大, 鄭元晳 申請人:Sk 普蘭尼特有限公司