圖像轉換設備及使用其的顯示設備和方法
2024-03-04 08:14:15 3
專利名稱：圖像轉換設備及使用其的顯示設備和方法
技術領域：
與示例性實施例一致的方法和設備涉及圖像轉換設備及使用該圖像轉換設備的顯示設備和方法，更具體地講，涉及一種將立體圖像轉換為多視點圖像的圖像轉換設備及使用該圖像轉換設備的顯示設備和方法。
背景技術：
隨著電子技術的發展，已生產了具有多個功能的各種家用電器。那些家用電器之一是諸如電視機的顯示設備。最近，允許用戶觀看三維(3D)圖像的3D顯示設備也變為流行。3D顯示設備可根據用戶觀看3D圖像是否需要眼鏡而被劃分為眼鏡型系統或非眼鏡型系統。眼鏡型系統的一個示例是快門眼鏡方法，其中，所述快門眼鏡方法在顯示設備交替地輸出立體圖像時通過交替地阻擋左眼和右眼來使人感受立體感。在採用快門眼鏡方法的這種3D顯示設備中，如果輸入了 2D圖像信號，則輸入信號被轉換為左眼圖像和右眼圖像並被交替輸出。另一方面，如果輸入了包括左眼圖像和右眼圖像的立體圖像信號，則輸入信號被交替輸出，以創建3D圖像。非眼鏡型系統通過在空間上移動多視點圖像並顯示移動的圖像來允許用戶感受立體感，而無需佩戴眼鏡。這樣，非眼鏡型系統的優點在於無需佩戴眼鏡而允許用戶觀看3D圖像。但是，為此應提供多視點圖像。多視點圖像指的是從多個視點觀看圖像中的對象的圖像。為了產生這種多視點圖像，應使用多個相機產生多個圖像信號，但是這在實際上是困難的，不僅因為產生多視點圖像不容易且昂貴，而且在傳輸內容時需要大量帶寬。因此，直到最近大多開發了眼鏡型系統，並且內容的開發也聚焦在2D或立體內容。但是，對於無需佩戴眼鏡而允許用戶觀看3D圖像的非眼鏡型系統存在持續需要。另外，多視點圖像還可用於眼鏡型系統。因此，需要使用現有立體圖像提供多視點圖像的技術。
發明內容
技術問題示例性實施例的一方面涉及能夠使用立體圖像產生多視點圖像的圖像轉換設備及使用該圖像轉換設備的顯示設備和方法。技術方案根據示例性實施例的一種用於在圖像轉換設備中轉換圖像的方法，包括如下步驟:縮小立體圖像；通過將自適應權重應用於縮小的立體圖像，來執行立體匹配；根據立體匹配產生深度圖；通過參照原始解析度的輸入圖像來放大深度圖；通過針對放大的深度圖和原始解析度的輸入圖像執行基於深度圖像的渲染，來產生多個多視點圖像。立體匹配步驟可包括:將具有預定大小的窗口順序地應用於立體圖像的第一輸入圖像和第二輸入圖像中的每一個圖像；計算在應用於第一輸入圖像和第二輸入圖像的每一個圖像的窗口中的中央像素與周圍像素之間的相似度；通過根據中央像素和周圍像素之間的相似度將不同的自適應權重應用於中央像素與外圍像素，來搜索第一輸入圖像和第二輸入圖像之間的匹配點。深度圖可以是根據匹配點之間的距離差而具有不同灰度級的圖像。權重可被設置為與中央像素的相似度成比例的大小，灰度級可被設置為與匹配點之間的距離差成反比的值。放大深度圖的步驟可包括:搜索深度圖和原始解析度的輸入圖像之間的相似度；通過針對搜索的相似度應用權重,來執行放大。所述多個多視點圖像可被非眼鏡3D顯示系統顯示，以表現3D屏幕。根據示例性實施例的一種圖像轉換設備，包括:縮小單元，縮小立體圖像；立體匹配單元，通過將自適應權重應用於縮小的立體圖像，來執行立體匹配並根據立體匹配產生深度圖；放大單元，通過參照原始解析度的輸入圖像來放大深度圖；渲染單元，通過針對放大的深度圖和原始解析度的輸入圖像執行基於深度圖像的渲染，來產生多個多視點圖像。立體匹配單元可包括:窗口產生單元，將具有預定大小的窗口順序地應用於立體圖像的第一輸入圖像和第二輸入圖像中的每一個圖像；相似度計算單元，計算在窗口中的中央像素與周圍像素之間的相似度；搜索單元，通過根據相似度應用不同的權重，來搜索第一輸入圖像和第二輸入圖像之間的匹配點；深度圖產生單元，使用搜索的匹配點之間的距離產生深度圖。深度圖可以是根據匹配點之間的距離差而具有不同灰度級的圖像。權重可被設置為與中央像素的相似度成比例的大小，並且灰度級可被設置為與匹配點之間的距離差成反比的值。放大單元可搜索深度圖和原始解析度的輸入圖像之間的相似度，並通過針對搜索的相似度應用權重，來執行放大。所述圖像轉換設備還可包括:接口單元，將所述多個多視點圖像提供給非眼鏡3D顯不系統。根據示例性實施例的顯示設備包括:接收單元，接收立體圖像；圖像轉換處理單元，通過在縮小立體圖像之後應用自適應權重來產生深度圖並通過使用產生的深度圖和解析度圖像的放大來產生多視點圖像；顯示單元，輸出由圖像轉換處理單元產生的多視點圖像。所述圖像轉換處理單元可包括:縮小單元，縮小立體圖像；立體匹配單元，通過針對縮小的立體圖像應用自適應權重來執行立體匹配，並根據立體匹配的結果產生深度圖；放大單元，通過參照原始解析度的輸入圖像來放大深度圖；渲染單元，通過針對放大的深度圖和原始解析度的輸入圖像執行基於深度圖像的渲染，來產生多個多視點圖像。有益效果如此，根據各種示例性實施例，多視點圖像可從立體圖像容易地產生且可被利用。
通過參照附圖描述特定示例性實施例，本發明構思的上述和/或其他方面變得更加清楚，其中:圖1是示出根據示例性實施例的圖像轉換設備的構造的框圖；圖2是示出根據示例性實施例立體匹配單元的構造的示例的框圖；圖3是示出根據另一示例性實施例的圖像轉換設備的構造的框圖；圖4是示出根據示例性實施例的顯示設備的構造的框圖；圖5至圖9是用於解釋根據示例性實施例的轉換圖像的處理的示圖；圖10至圖11是示出根據示例性實施例的應用圖像轉換設備的非眼鏡型3D系統及其顯示方法的示圖；圖12是用於解釋根據示例性實施例的用於轉換圖像的方法的流程圖；圖13是用於立體匹配處理的示例的流程圖。
具體實施例方式下面參照附圖更加詳細描述特定示例性實施例。在下面描述中，即使在不同附圖中，相同附圖標號用於相同元件。提供在描述中限定的內容(諸如，詳細結構和元件)，以幫助全面理解示例性實施例。但是，無需這種具體限定的內容也可實施示例性實施例。此外，由於公知功能或結構可能在不必要的細節上使得本申請不清楚，因此不對公知功能或結構進行詳細描述。圖1是示出根據示例性實施例的圖像轉換設備的構造的框圖。根據圖1，圖像轉換設備包括接收單元110、縮小(down-scaling)單元120、立體匹配單元130、放大(up-scaling)單兀140和值染單兀150。接收單元110接收立體圖像。立體圖像指的是兩個以上的圖像。例如，立體圖像可以是作為從兩個不同角度拍攝的一個對象的兩個圖像的第一輸入圖像和第二輸入圖像。為了方便解釋，在示例性實施例中，第一輸入圖像將被稱作左眼圖像(或左圖像)，第二輸入圖像將被稱作右眼圖像(或右圖像)。可從各種源提供這種立體圖像。例如，接收單元110可經由線纜或無線地從廣播信道接收立體圖像。在這種情況下，接收單元110可包括各種部件，諸如，調諧器、解調器和
量化器。另外，接收單元HO可接收由再現各種記錄介質(諸如，DVD、藍光碟和存儲卡)的記錄介質再現單元(未示出)再現的立體像，或從相機直接接收拍攝的立體圖像。在這種情況下，接收單元110可包括各種接口，諸如USB接口。縮小單元120對經由接收單元110接收的立體圖像執行縮小。g卩，為了將立體圖像轉換為多視點圖像，期望減少計算負擔。為此，縮小單元120縮小輸入的立體圖像以減小其數據大小，從而減少計算負擔。詳細地講，縮小單元120分別減小包括在立體圖像中的左眼圖像和右眼圖像的解析度，如預定常數(η)倍一樣多。例如，可通過按預定時間間隔去除像素或以具有預定大小的像素塊中的像素的平均值或代表值表示具有預定大小的像素塊，來執行縮小。因此，縮小單元120可輸出低解析度左眼圖像數據和低解析度右眼圖像數據。立體匹配單元130執行立體匹配操作，以搜索縮小的左眼圖像和縮小的右眼圖像之間的匹配點。在這種情況下，立體匹配單元130可使用自適應權重執行立體匹配操作。
由於左眼圖像和右眼圖像是從不同視點拍攝的一個對象的圖像，所以由於不同視點可存在圖像之間的差別。例如，在左眼圖像中對象與背景重疊，而在右眼圖像中對象與背景間隔一些距離。因此，可應用自適應權重，以增加在針對對象的預定範圍內的具有像素值的像素的權重並減小超過預定範圍的具有像素值的像素的權重。因此，立體匹配單元130可將自適應權重分別應用於左眼圖像和右眼圖像，並通過比較自適應權重來確定是否執行匹配操作。如此，通過使用自適應權重，由於可防止即使是正確的匹配點也將匹配結果確定為低相關度的這種現象，因此可增加匹配精確度。立體匹配單元130可根據匹配結果產生深度圖。圖2是示出根據示例性實施例的立體匹配單元130的構造的示例的框圖。根據圖2，立體匹配單元130包括窗口產生單元131、相似度計算單元132、搜索單元133和深度圖產生單元134。窗口產生單元131產生具有預定大小(nXm)的窗口，並將產生的窗口分別應用於縮小的左眼圖像和縮小的右眼圖像。相似度計算單元132計算窗口中的中央像素和周圍像素之間的相似度。例如，如果第一像素被指定為中央的窗口應用於左眼圖像中的第一像素，則相似度計算單元132檢查在窗口中圍繞中央像素的像素的像素值。然後，相似度計算單元132將具有針對中央像素的像素值在預定範圍內的像素值的周圍像素確定為相似像素，並將具有超過預定範圍的像素值的周圍像素確定為非相似像素。搜索單元132通過基於相似度計算單元132計算的相似度應用不同權重，來搜索左眼圖像和右眼圖像之間的匹配點。權重可以與相似度成比例地增加。例如,如果應用兩個權重，即，O和1，「1」可被給予與中央像素相似的周圍像素，而「O」可被給予與中央像素不相似的周圍像素。如果應用四個權重，即，0、0.3、0.6、1，則像素可根據像素和中央像素之間的像素值差的範圍而被劃分為四個組，「O」可被給予具有最大差的周圍像素，「0.3」可被給予具有下一個最大差的周圍像素，「0.6」可被給予具有下一個最大差的周圍像素，「I」可被給予具有最小差的周圍像素或具有與中央像素相同像素值的組中的周圍像素，因此可產生權重圖。搜索單元133可使用下面等式產生匹配等級。數學式I[數學式I]a =SUM(L_image*Wl_R_image*W2)2在等式I中，SUMO指的是表示窗口中的全部像素的計算結果之和的函數，L_image和R_image分別表示左眼圖像的像素值和右眼圖像的像素值，Wl和W2表示對於每一個相應像素確定的權重。搜索單元133可通過如等式I將左眼圖像的每一個窗口與右眼圖像的全部窗口進行比較，來搜索左眼圖像和右眼圖像之間的匹配窗口。深度圖產生單元134基於搜索單元133搜索到的匹配點之間的距離產生深度圖。即，深度圖產生單元134將在左眼圖像中構成對象的「a」像素的位置與在右眼圖像中的「a」像素的位置進行比較，並計算差。因此，深度圖產生單元134產生具有與計算的差對應的灰度級的圖像，即深度圖。深度可被定義為對象和相機之間的距離、對象和形成對象的圖像的記錄介質(例如，膠片)之間的距離或立體感的程度。因此，如果左眼圖像的點和右眼圖像的點之間的距離大，則立體感增加到那個程度。深度圖在單個圖像中示出這種深度的改變。詳細地講，深度圖可使用根據左眼圖像和右眼圖像中的匹配點之間的距離而不同的灰度級示出深度。即，深度圖產生單元134可產生具有大距離差的點是亮的而具有小距離差的點是暗的深度圖。返回參照圖1，如果由立體匹配單元130產生深度圖，則放大單元140放大深度圖。這裡，放大單元134可通過參照原始解析度的輸入圖像(B卩，左眼圖像或右眼圖像)來放大深度圖。即，放大單元140可在考慮輸入圖像的亮度信息和顏色值的結構來將不同權重應用於低解析度狀態的深度圖的每個點的同時執行放大。例如，放大單元140可按塊劃分原始解析度的輸入圖像，並通過比較每個塊的像素值來檢查相似度。基於檢查結果，可通過將高權重應用於相似部分來產生權重窗口。然後，如果通過將產生的權重窗口應用於深度圖來執行放大，則可通過應用高權重來放大深度圖中的重要部分。如此，可通過考慮原始解析度的輸入圖像來執行自適應放大。渲染單元150可針對放大的深度圖和原始解析度的輸入圖像執行基於深度圖像的渲染，來產生多個多視點圖像。在這種情況下，渲染單元150可產生從一個視點觀看的圖像，然後使用所述圖像和深度圖推斷並產生從另一視點觀看的圖像。即，如果一個圖像被產生，則渲染單元150參照產生的圖像使用焦距和對象的深度來推斷視點改變時在記錄介質(膠片)上的傳播距離。渲染單元150通過根據推斷的傳播距離和方向移動參照圖像的每一個像素的位置，來產生新圖像。產生的圖像可以是從參考圖像間隔預定角度處的視點觀看的對象的圖像。如此，渲染單元150可產生多個多視點圖像。同時，圖1的圖像轉換設備可被實現為單個模塊或晶片並安裝在顯示設備上。可選擇地，圖像轉換設備可實現為與顯示設備分開提供的單獨的設備。例如，圖像轉換設備可實現為諸如機頂盒、PC或圖像處理器的設備。在這種情況下，可需要附加部件，以將產生的多視點圖像提供給顯示設備。圖3是解釋圖像轉換設備與顯示設備分開提供的情況的框圖。根據圖3，除接收單元110、縮小單元120、立體匹配單元130、放大單元140和渲染單元150之外，圖像轉換設備還可包括接口單元160。接口單元160是用於將由渲染單元150產生的多個多視點圖像發送到外部顯示設備的部件。例如，接口單元160可被實現為USB接口單元或使用無線通信協議的無線通信接口單元。另外，上述顯示設備可以是非眼鏡型3D顯示系統。由於除接口單元160之外的其它部件與上面參照圖1描述的部件相同，因此將不提供進一步描述。圖4是示出根據示例性實施例的顯示設備的構造的框圖。圖4的顯示設備可以是能夠顯示3D圖像的設備。詳細地講，圖4的顯示設備可以是各種類型，諸如，TV、PC監視器、數碼相框、PDP和行動電話。根據圖4,顯示設備包括接收單元210、圖像轉換處理單元220和顯示單元230。接收單元210從外部源接收立體圖像。圖像轉換處理單元220對於接收的立體圖像執行縮小，並通過應用自適應權重來產生深度圖。然後，通過使用產生的深度圖和原始解析度的圖像來進行放大，產生多視點圖像。顯示單元230可通過輸出由圖像轉換處理單元220產生的多視點圖像，來形成3D屏幕。例如，顯示單元230可空間地劃分多視點圖像並輸出劃分的圖像，從而使用戶無需佩戴眼鏡而可通過感受與對象的一些距離來感受3D圖像。在這種情況下，顯示單元230可被實現為使用視差光柵技術或透鏡技術的顯示面板。或者，顯示單元230可被實現為通過交替輸出多視點圖像來創建立體感。即，顯示設備可被實現為非眼鏡型系統或眼鏡系統。同時，圖像轉換處理單元220可具有圖1至圖3所示出的構造。即，圖像轉換處理單元220可包括:縮小單元，對立體圖像進行縮小；立體匹配單元，通過針對縮小的立體圖像應用自適應權重來執行立體匹配並根據立體匹配結果產生深度圖；放大單元，通過參照原始解析度的輸入圖像來放大深度圖；渲染單元，通過針對放大的深度圖和原始解析度的輸入圖像執行基於深度圖的渲染來產生多個多視點圖像。圖像轉換處理單元220的詳細構造和操作與上述針對圖1至圖3的描述相同，因此將不提供進一步的解釋。圖5至圖9是解釋根據示例性實施例的轉換圖像的處理的示圖。根據圖5，如果具有原始解析度的左眼圖像500和右眼圖像600被接收單元110接收，則縮小單元120執行縮小以輸出具有低解析度的左眼圖像510和右眼圖像610。針對具有低解析度的左眼圖像510和右眼圖像610執行立體匹配處理，從而可計算成本量520。因此，對於每一個像素選擇具有最小成本量的深度，並產生深度圖530。立體匹配處理需要相當大的計算量，並且如果執行縮小以降低圖像的解析度，並對於低解析度的圖像執行立體匹配來使算法較簡單，則可降低計算負擔。但是，如果使用簡單方法執行立體匹配，則合成圖像的圖像質量可劣化。因此，在示例性實施例中，使用基於自適應權重窗口的立體匹配算法，這將在後面詳細描述。同時，如果深度圖530被產生，則使用深度圖530和原始解析度的輸入圖像之一(在圖5的情況中，左眼圖像500)來執行放大。即，如果針對低解析度的深度圖530執行簡單放大，則圖像質量可劣化。因此，基於原始解析度的左眼圖像500產生權重窗口，並且通過將權重窗口應用於深度圖530來執行放大，從而針對特定部分執行大比例放大，而對諸如背景的部分執行相對小比例放大。具體地講，原始解析度的左眼圖像500按塊被劃分，以比較和檢查每個塊的像素值的相似度。通過基於像素值的相似度的檢查將高權重應用於具有相似度的部分，來產生權重窗口。然後，通過將產生的權重窗口應用於低解析度的深度圖530的相同部分，來執行放大。因此，除背景之外的對象(尤其是，邊緣)可通過高權重被放大，從而防止圖像質量的劣化。如此，如果通過放大準備了高解析度的深度圖540，則通過參照原始解析度的輸入圖像500產生多個多視點圖像700-1 700-n。多視點圖像的數量根據示例性實施例而不同。例如，9個多視點圖像可被使用。在圖5中，使用左眼圖像510的深度圖和原始解析度的左眼圖像500來執行放大，但是這僅是示例，因此不限於此。圖6是解釋將窗口應用於低解析度的左眼圖像和右眼圖像中的每一個圖像的處理的示圖。根據圖6，對於左眼圖像510和右眼圖像610順序產生窗口。窗口分別具有作為中央像素的圖像的每個像素。在這種情況下，可存在背景的邊界與人像的邊界相似的部分。由於左眼圖像和右眼圖像的視點互不相同，所以背景和人像可根據背景和人像之間的位置關係看起來分離或重疊。S卩，如果如圖6所示，背景20在人像10的左側，則在像素(Cl)指定為中央像素的左眼圖像510的窗口(a)中，背景20看起來與人像10有些分離，而在像素(C2)指定為中央像素的右眼圖像610的窗口(b)中，背景20看起來與人像10重疊。圖7示出使用應用於左眼圖像的窗口(a)和應用於右眼圖像的窗口(b)產生匹配等級的處理。如圖7所示，從左眼圖像窗口(a)的每一個像素值直接減去右眼圖像窗口(b)的每一個像素值，並進行平方，以確定是匹配還是不匹配。在這種情況下，左眼圖像和右眼圖像的窗口(a，b)的像素可在如圖6所示的背景和人像之間的邊界表現出完全不同，示出低匹配等級。圖8示出根據示例性實施例的使用權重窗口產生匹配程度的處理。根據圖8，使用關於左眼圖像窗口(a)的第一權重窗口(wl)和關於右眼圖像窗口(b)的第二權重窗口(w2)。可分別基於左眼圖像和右眼圖像獲得第一權重窗口(wl)和第二權重窗口(w2)。SP,例如,在第一權重窗口(Wl)中，中央像素(Cl)的像素值與左眼圖像窗口(a)中的周圍像素的像素值相比較。因此，將高權重應用於具有與中央像素(Cl)的像素值相同的像素值的周圍像素或差在預定範圍內的周圍像素。即，由於在窗口(a)中，中央像素(Cl)是構成人像的像素，所以將高權重應用於構成人像的其它像素。另一方面，將相對低權重應用於除構成人像的像素之外的剩餘像素。如果存在「O」和「 I」的權重，則「 I」可被應用於與人像對應的像素，「O」可被應用於剩餘像素。如此，可產生第一權重窗口(wl)。還可基於右眼圖像窗口(b)以相似方式產生第二權重窗口(w2)。在這種情況下，如果第一權重窗口(wl)和第二權重窗口(w2)被產生，則分別與左眼圖像窗口(a)和右眼圖像窗口(b)相乘。然後，從第一權重窗口(wl)和左眼圖像窗口(a)之積減去第二權重窗口(《2)和右眼圖像窗口(b)之積，對結果進行平方，並基於計算的值確定匹配還是不匹配。如此，每一個窗口(a，b)與權重窗口相乘，因此最小化背景的影響的同時，可基於作為人像的主部分確定匹配還是不匹配。因此，如圖6所示，可防止因背景的影響而將關於背景和人像之間的邊界的窗口確定為不匹配的點。如果如圖8所示，分別搜索具有低解析度的左眼圖像510和右眼圖像610之間的匹配點，則通過計算匹配點之間的距離來提供成本量520。因此，產生具有與計算的距離對應的灰度級的深度圖。然後，使用產生的深度圖和原始解析度的輸入圖像執行放大。圖9是解釋根據示例性實施例的放大處理的示圖。圖9示出在沒有考慮原始解析度的左眼圖像500的情況(a)下和在考慮原始解析度的左眼圖像500的情況(b)下針對低解析度狀態的左眼圖像的深度圖530執行放大時的圖像質量。首先，圖9 Ca)示出沒有參照原始解析度的左眼圖像500而直接放大低解析度的深度圖530-1的情況。在這種情況下，可根據常用放大方法，使用通過按預定間隔或按預定圖案插入像素來簡單地增加解析度的方法。在這種情況下，對於邊緣部分的放大不會適當地執行，因此邊緣部分不會被表現，而邊緣部分看上去沒有位於放大的深度圖530-2上。因此，深度圖540』的整個圖像質量被劣化。另一方面，圖9 (b)示出通過參照原始解析度的左眼圖像500來放大低解析度的深度圖的處理。首先，將窗口 530-1應用於低解析度的深度圖530的每一個像素。然後，在原始解析度的左眼圖像500的窗口中，搜索與深度圖窗口 530-1匹配的窗口 500-1，然後針對搜索的窗口 500-1產生權重窗口(w3)。權重窗口(w3)表示:使用中央像素和窗口 500-1中的其周圍像素之間的相似度將權重應用於窗口的每一個像素的窗口。因此，可通過將產生的權重窗口(w3)應用於深度圖窗口 530-1來執行放大。因此，可以看到，放大的深度圖窗口 540-1具有光滑的邊緣，與圖9(a)的深度圖窗口 530-2不同。結果，如果組合全部的深度圖窗口 540-1，則產生高解析度的深度圖540。與圖9 (a)中的沒有參照原始解析度的輸入圖像而放大的放大的深度圖540』比較，圖9 (b)中的參照原始解析度的輸入圖像而放大的放大的深度圖540具有更好的圖像質量。圖10是解釋使用利用放大的深度圖540和原始解析度的輸入圖像產生的多視點圖像的3D顯示的示圖。根據圖10，執行立體輸入，S卩，左眼圖像(L)和右眼圖像(R)輸入到圖像轉換設備100。圖像轉換設備100使用上述方法處理左眼圖像和右眼圖像，以產生多視點圖像。然後，使用空間劃分方法通過顯示單元230顯示多視點圖像。因此，用戶可基於位置觀看來自不同視點的對象，因此用戶可感受立體感，而無需佩戴眼鏡。圖11是示出用於輸出多視點圖像的方法的示例的示圖。根據圖11，顯示單元230沿劃分空間的方向輸出總共9個多視點圖像(VI至V9)。如圖11所示，在第九圖像在左側輸出之後第一圖像再次輸出。因此，即使用戶位於顯示單元230的側邊，而不是在顯示單元230的前邊，用戶仍可以感受到立體感。同時，多視點圖像的數量不限於9個，並且顯示方向的數量可根據多視點圖像的數量而改變。如此，根據各種示例性實施例，立體圖像可被有效地轉換為多視點圖像，因此可應用於非眼鏡3D顯示系統和其它顯示系統。圖12是解釋根據示例性實施例的用於轉換圖像的方法的流程圖。根據圖12，如果接收到立體圖像(S1210)，針對每個圖像執行縮小(S1220)。這裡，立體圖像表示從不同視點拍攝的多個圖像。例如，立體圖像可以是左圖像和右圖像，即，從如雙眼視差一樣多地相互分離的兩個視點拍攝的左眼圖像和右眼圖像。然後，通過將窗口應用於每一個縮小的圖像來搜索匹配點。即，執行立體匹配(S1230)。在這種情況下，可使用考慮窗口中的像素之間的相似度而應用權重的權重窗口。當搜索到匹配點時，使用對應點之間的距離差產生深度圖(S1240)。然後，放大產生的深度圖(S1250)。在這種情況下，可通過考慮原始解析度的輸入圖像將權重應用於特定部分，來執行放大。因此，放大可更多聚焦在主要部分(諸如，邊緣)，從而防止圖像質量的劣化。在如上所述地執行放大之後，使用放大的深度圖和原始解析度的輸入圖像產生多視點圖像(S1260)。詳細地講，在產生一個多視點圖像之後，基於產生的多視點圖像產生剩餘的多視點圖像。如果在與顯示設備分開提供的圖像轉換設備中執行該操作，則可存在將產生的多視點圖像發送到顯示設備(尤其是，非眼鏡3D顯示系統)的附加步驟。因此，多視點圖像可被顯示為3D屏幕。可選擇地，如果該操作在顯示設備本身中執行，則可存在將產生的多視點圖像輸出到3D屏幕的附加步驟。圖13是解釋使用加權窗口的立體匹配處理的示例的流程圖。根據圖13，將窗口分別應用於第一輸入圖像和第二輸入圖像(S1310)。 然後，通過檢查窗口中的每一個像素值來計算像素之間的相似度(S1320 )。因此，通過根據相似度應用不同權重來產生關於第一輸入圖像窗口和第二輸入圖像窗口中的每一個的權重窗口。然後，通過將產生的權重窗口分別應用於第一輸入圖像窗口和第二輸入圖像窗口，來確定匹配還是不匹配(S1330)。同時，將一個窗口應用於第一輸入圖像的一個像素並針對第二輸入圖像的全部像素移動窗口的同時，可比較匹配點。然後，可將窗口應用於第一輸入圖像的下一像素，並且新窗口可與第二輸入圖像的全部像素再次相比較。如此，通過將第一輸入圖像的全部窗口與第二輸入圖像的全部窗口相比較，來搜索匹配點。如上所述，根據各種示例性實施例，通過適當地轉換立體圖像信號，來產生多個多視點圖像。因此，構成傳統立體圖像的內容可被用作多視點圖像內容。另外，根據各種示例性實施例的轉換圖像的方法可存儲在各種類型的記錄介質中，以實現為CPU可執行的程序代碼。詳細地講，用於執行上述圖像轉換方法的程序可存儲在終端可讀取的各種類型的記錄介質的隨機存取存儲器(RAM)、閃速存儲器、只讀存儲器(ROM)、可擦除可編程ROM(EPROM)、電可擦除和編程ROM(EEPROM)、寄存器、硬碟、可移動盤、存儲卡、USB存儲器或CD-ROM 中。雖然已示出和描述了本發明構思的一些實施例，但是本領域技術人員應該理解，在不脫離範圍由權利要求及其等同物限定的本發明構思的原理和精神的前提下，可對實施例進行修改。
權利要求
1.一種用於在圖像轉換設備中轉換圖像的方法，包括如下步驟: 縮小立體圖像； 通過將自適應權重應用於縮小的立體圖像，來執行立體匹配； 根據立體匹配產生深度圖； 通過參照原始解析度的輸入圖像來放大深度圖； 通過針對放大的深度圖和原始解析度的輸入圖像執行基於深度圖像的渲染，來產生多個多視圖。
2.根據權利要求1所述的方法，其中，立體匹配的步驟還包括: 將具有預定大小的窗口順序地應用於立體圖像的第一輸入圖像和第二輸入圖像中的每一個圖像； 計算在每個窗口中的中央像素與周圍像素之間的相似度； 通過根據計算的中央像素和周圍像素之間的相似度應用不同的自適應權重，來搜索第一輸入圖像和第二輸入圖像之間的匹配點。
3.根據權利要求2所述 的方法，其中，深度圖是根據匹配點之間的距離差而具有不同灰度的圖像。
4.根據權利要求3所述的方法，其中，自適應權重與中央像素的相似度成比例地增加， 其中，灰度級被設置為與匹配點之間的距離差成反比。
5.根據權利要求2所述的方法，其中，放大深度圖的步驟包括: 搜索深度圖和原始解析度的輸入圖像之間的相似度； 通過針對搜索的相似度應用自適應權重，來針對深度圖執行放大。
6.根據權利要求1所述的方法，其中，所述多個多視點圖像被非眼鏡3D顯示系統顯示，以表現3D屏幕。
7.一種圖像轉換設備，包括: 縮小單元，縮小立體圖像； 立體匹配單元，通過將自適應權重應用於縮小的立體圖像，來執行立體匹配並根據立體匹配產生深度圖； 放大單元，通過參照原始解析度的輸入圖像來放大深度圖； 渲染單元，通過針對放大的深度圖和原始解析度的輸入圖像執行基於深度圖像的渲染，來產生多個多視圖。
8.根據權利要求7所述的設備，其中，立體匹配單元包括: 窗口產生單元，將具有預定大小的窗口順序地應用於立體圖像的第一輸入圖像和第二輸入圖像中的每一個圖像； 相似度計算單元，計算在第一輸入圖像和第二輸入圖像中的每一個的窗口中的中央像素與周圍像素之間的相似度； 搜索單元，通過根據計算的在第一輸入圖像和第二輸入圖像中的每一個的窗口中的中央像素和周圍像素之間的相似度應用自適應權重，來搜索第一輸入圖像和第二輸入圖像之間的匹配點； 深度圖產生單元，使用搜索的匹配點之間的距離產生深度圖。
9.根據權利要求8所述的設備，其中，深度圖是根據匹配點之間的距離差而具有不同灰度級的圖像。
10.根據權利要求9所述的設備，其中，自適應權重與中央像素的相似度成比例地增加， 其中，灰度級被設置為與匹配點之間的距離差成反比。
11.根據權利要求8所述的設備，其中，放大單元搜索深度圖和原始解析度的輸入圖像之間的相似度，並通過針對搜索的相似度應用自適應權重,來執行放大。
12.根據權利要求7所述的設備，還包括: 接口單元，將所述多個多視點圖像提供給非眼鏡3D顯示系統。
13.根據權利要求7所述的設備，還包括:接收單元，接收立體圖像。
14.一種顯示設備，包括: 接收單元，接收立體圖像； 圖像轉換處理單元，通過在縮小立體圖像之後應用自適應權重來產生深度圖並通過使用產生的深度圖和解析度圖像的放大來產生多視點圖像； 顯示單元，輸出由圖像轉換處理單元產生的多視點圖像。
15.根據權利要求14所述的顯示設備，其中，圖像轉換處理單元包括: 縮小單元，縮小立體圖像； 立體匹配單元，通過針對縮小的立體圖像應用自適應權重來執行立體匹配，並根據立體匹配產生深度圖； 放大單元，通過參照原始解析度的輸入圖像來放大深度圖； 渲染單元，通過針對放大的深度圖和原始解析度的輸入圖像執行基於深度圖像的渲染，來產生多個多視點圖像。
16.根據權利要求14所述的顯示設備，其中，顯示設備包括電視機、PC監視器、數碼相框、PDP和行動電話之一。
17.根據權利要求1所述的方法，包括步驟:接收立體圖像。
全文摘要
提供了一種在圖像轉換設備中轉換圖像的方法。所述方法包括接收立體圖像；縮小立體圖像；通過將自適應權重應用於縮小的立體圖像，來執行立體匹配；根據立體匹配產生深度圖；通過參照原始解析度的輸入圖像來放大深度圖；通過針對放大的深度圖和原始解析度的輸入圖像執行基於深度圖像的渲染，來產生多個多視點圖像。因此，可容易獲得多個多視點圖像。
文檔編號H04N13/00GK103202026SQ201180054239
公開日2013年7月10日 申請日期2011年8月9日 優先權日2010年11月10日
發明者張朱鎔, 李珍晟, 閔鍾述, 金聖晉 申請人:三星電子株式會社