圖像處理方法和圖像處理設備的製作方法

2023-07-14 19:46:41

圖像處理方法和圖像處理設備的製作方法
【專利摘要】本發明公開了一種圖像處理方法和圖像處理設備。提供一種用於使用多視圖圖像和像素信息來處理圖像的圖像處理設備和圖像處理方法。所述圖像處理方法包括：使用從顯示像素髮射的光線和視圖圖像的視圖來確定與所述光線相應的視圖圖像；使用顯示像素的位置在視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素；基於所述至少一個視圖圖像像素的像素值來確定顯示像素的像素值。
【專利說明】圖像處理方法和圖像處理設備
[0001]本申請要求於2012年10月31日在韓國知識產權局提交的第10_2012_0122346號韓國專利申請的優先權權益，所述專利申請的公開通過引用合併於此。
【技術領域】
[0002]以下描述的一個或多個示例實施例涉及一種用於轉換多視圖圖像以適合於光場顯示器的實現方法的圖像處理方法和設備。
【背景技術】
[0003]為了有效地實現提供立體感覺的三維(3D)圖像，不同視圖的圖像將分別被顯示給人的左眼和右眼。為了在不使用濾波器(諸如眼鏡)的情況下實現3D圖像，需要根據視圖在空間上劃分3D圖像。使用上述方法的顯示器被稱為自動立體顯示器。自動立體顯示器通常使用光學單元以通過在空間上劃分圖像來實現圖像。典型地，柱狀透鏡或視差屏障被用作光學單元。柱狀透鏡表現僅在特定方向上的每個像素圖像，而視差屏障通過狹縫僅顯示特定方向上的特定像素。
[0004]自動立體顯示器包括利用光場原理的光場顯示器。光場表示如下的場，所述場指示沿所有方向在3D空間上的所有點處的光的強度。因此，光場適合於表現空間中的實際對象。光場顯示器可通過在實際空間中實現光場來實現與實際對象相似的3D圖像。
[0005]光場顯示方法包括實現一般光場的整體成像方法。根據整體成像方法，在預定空間中呈現的點利用實際對象從一點沿多個方向產生或反射光的原理來實現沿多個方向發射的光。
[0006]當使用光場時，表現沿多個方向從多個點發射的光。因此，當輸入多視圖圖像時，顯示像素和視圖圖像像素通常可能無法一一對應，這是因為實現特定視圖的圖像的像素的位置與從像素髮射的光的方向未被明確定義。因此，為了利用光場原理使用在一般顯示器中輸入的多視圖圖像實現3D圖像，多視圖圖像需要被轉換以通過光場顯示器被實現。

【發明內容】

[0007]通過提供一種圖像處理方法來實現上述和/或其他方面，所述圖像處理方法包括:使用從顯示像素髮射的光線和視圖圖像的視圖來確定與所述光線相應的視圖圖像；使用顯示像素的位置在視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素；基於所述至少一個視圖圖像像素的像素值來確定顯示像素的像素值。
[0008]確定視圖圖像的步驟可包括:對多個視圖圖像中的具有與所述光線接近的視圖的多個視圖圖像進行插值；將通過插值產生的視圖圖像確定為與所述光線相應的視圖圖像。
[0009]通過提供一種圖像處理方法來實現上述和/或其他方面，所述圖像處理方法包括:基於用戶眼睛的位置識別將應用像素值的顯示像素；使用從顯示像素髮射的光線和視圖圖像的視圖來確定與所述光線相應的視圖圖像；使用顯示像素的位置在視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素；基於所述至少一個視圖圖像像素的像素值來確定顯示像素的像素值。
[0010]確定視圖圖像的步驟可包括:對多個視圖圖像中的具有與所述光線接近的視圖的多個視圖圖像進行插值；將通過插值產生的視圖圖像確定為與所述光線相應的視圖圖像。
[0011]通過提供一種圖像處理設備來實現上述和/或其他方面，所述圖像處理設備包括:視圖圖像確定單元，使用從顯示像素髮射的光線和視圖圖像的視圖來確定與所述光線相應的視圖圖像；視圖圖像像素確定單元，使用顯示像素的位置在視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素；像素值確定單元，基於所述至少一個視圖圖像像素的像素值來確定顯示像素的像素值。
[0012]視圖圖像確定單元可包括:視圖圖像插值單元，對多個視圖圖像中的具有與所述光線接近的視圖的多個視圖圖像進行插值。
[0013]像素值確定單元可包括:像素值插值單元，對確定的視圖圖像像素的像素值進行插值。
[0014]所述圖像處理設備還可包括:顯示像素識別單元，基於用戶眼睛的位置識別將應用像素值的顯示像素。
[0015]示例實施例的另外方面、特徵和/或優點將在下面的描述中部分地闡述，並且部分將從描述中是顯然的，或者可通過本公開的實施而得知。
【專利附圖】

【附圖說明】
[0016]從下面結合附圖對示例實施例進行的描述，這些和/或其他方面和優點將變得清楚和更易於理解，其中:
[0017]圖1示出根據示例實施例的圖像處理設備的整體操作；
[0018]圖2示出根據其他示例實施例的與傳感器相關聯地處理圖像的圖像處理設備的整體操作；
[0019]圖3示出根據示例實施例的包括三維(3D)像素的光場顯示器；
[0020]圖4示出根據示例實施例的圖像處理設備的詳細結構；
[0021]圖5示出根據其他示例實施例的圖像處理設備的詳細結構；
[0022]圖6示出根據示例實施例的確定視圖圖像的操作；
[0023]圖7示出根據示例實施例的確定顯示像素的像素值的操作；
[0024]圖8示出根據示例實施例的在包括光學單元的光場顯示器中確定顯示像素的像素值的操作；
[0025]圖9示出根據示例實施例的在使用多個投影儀的光場顯示器中的圖像處理操作；
[0026]圖10示出根據示例實施例的當具有水平視差的多視圖圖像被輸入到使用多個投影儀的光場顯示器中時的圖像處理操作；
[0027]圖11示出描述根據示例實施例的圖像處理方法的詳細步驟的流程圖；
[0028]圖12示出描述根據其他示例實施例的圖像處理方法的詳細步驟的流程圖。
【具體實施方式】
[0029]現在將詳細參照示例實施例，在附圖中示出了示例實施例的示例，其中，相同的標號始終表示相同的元件。根據示例實施例的圖像處理方法可由根據示例實施例的圖像處理設備執行。
[0030]圖1是示出根據示例實施例的圖像處理設備的整體操作的示圖。
[0031]參照圖1，光場顯示系統可包括圖像處理設備110和光場顯示器120。
[0032]光場顯不器120表不利用光場原理輸出對象的顯不器。光場顯不器120可表現由三維(3D)空間中的對象產生或反射的光的強度和方向。例如，光場顯示器120可使用沿特定方向輸出光線的像素組，或者使用屏幕和多個投影儀。另外，光場顯示器120可採用諸如柱狀透鏡或視差屏障的光學單元。光場顯示器120可包括多視圖3D顯示器或應用整體成像方法的顯示器。
[0033]圖像處理設備110可使用光場顯示器120的像素信息轉換多視圖圖像，使得多視圖圖像適合於光場顯示器120的實現方法。所述像素信息可包括關於光場顯示器120中包括的顯示像素的位置和從顯示像素髮射的光線的信息。
[0034]多視圖圖像表示在相同時間以不同視圖拍攝同一對象的圖像。例如，多視圖圖像可由包括布置的多個相機的相機陣列拍攝。根據相機陣列中的各個相機的位置，可獲得各個不同視圖的視圖圖像。
[0035]當輸入了多視圖圖像時，圖像處理設備110可確定與光場顯示器120的各個顯示像素相應的視圖圖像。圖像處理設備110可在多個視圖圖像中確定基於各個顯示像素的像素信息的視圖圖像。可選擇地，圖像處理設備110可通過對多個視圖圖像進行插值來產生新視圖的視圖圖像，並將產生的視圖圖像確定為與顯示像素相應的視圖圖像。
[0036]當確定了與顯示像素相應的視圖圖像時，圖像處理設備110可基於與顯示像素相應的視圖圖像像素的像素值來確定顯示像素的像素值。可選擇地，圖像處理設備110可通過對多個視圖圖像像素的像素值進行插值來確定顯示像素的像素值。通過上述處理，圖像處理設備110可將多視圖圖像轉換為適合於光場顯示器120的圖像。
[0037]另外，圖像處理設備110可通過實現與在3D對象中產生的實際光場相似的光場來向用戶提供3D對象的真實感覺。此外，雖然用戶移動，但是圖像處理設備110可提供猶如光場顯不器120中的3D對象被固定一樣的真實感覺。
[0038]圖2示出根據其他示例實施例的與傳感器相關聯地處理圖像的圖像處理設備的整體操作。
[0039]參照圖2,光場顯不系統包括傳感器210、圖像處理設備220和光場顯不器230。
[0040]傳感器210可檢測凝視光場顯示器230的用戶眼睛的位置。傳感器210可以是拍攝用戶眼睛從而產生3D空間坐標的相機。這裡，相機可被嵌入在光場顯示器230中，或者被安裝在外部並與光場顯示器230連接。例如，相機可包括從至少一個可見光波段相機、至少一個紅外(IR)相機和至少一個深度相機中選擇的至少一個。
[0041]在示例實施例中，圖像處理設備220可使用由相機拍攝的2D圖像以及包括深度信息的深度圖像來計算用戶眼睛的位置。圖像處理設備220可基於2D圖像中的相機的位置和方向來獲得關於3D空間坐標的兩個軸的位置信息，並從深度圖像獲得關於剩餘的一個軸的位置信息。圖像處理設備220可通過組合獲得的位置信息來計算用戶眼睛的位置。
[0042]圖像處理設備220可基於用戶眼睛的位置識別用於圖像處理的顯示像素。詳細地講，圖像處理設備220可基於從顯示像素髮射的光線與用戶眼睛的位置之間的距離來識別在預定距離內呈現的顯示像素。圖像處理設備220可通過對光場顯示器230中包括的顯示像素選擇性地執行圖像處理來減小計算量。
[0043]也就是說，圖像處理設備220可僅針對識別的與視圖圖像相應的顯示像素來確定視圖圖像，並確定相應顯示像素的像素值。由圖像處理設備220確定視圖圖像和確定顯示像素的像素值的操作可參考關於圖1的描述。
[0044]圖像處理設備220可使用用戶眼睛的位置來提供根據用戶眼睛的位置的不同內容。此外，圖像處理設備220可使用用戶眼睛的位置將不同內容同時提供給不同用戶。
[0045]圖3示出根據示例實施例的包括多個3D像素320的光場顯示器310。
[0046]根據圖3，光場顯示器310可包括多個3D像素320。3D像素320可包括用於輸出均具有預定方向的光線340的顯示像素330。可選擇地，3D像素320可使用光學濾波器(諸如柱狀透鏡、視差屏障或微透鏡陣列)沿各個方向發射光線340。從而，顯示像素330被積聚，因此3D空間上的點可通過光場顯示器310被顯示。
[0047]在3D像素320中，顯示像素330的位置和關於從顯示像素330發射的光線340的信息可被預先存儲在光場顯示器310或圖像處理設備中。顯示像素330的位置和關於從顯示像素330發射的光線340的信息可根據光場顯示器310的設計條件和使用的光學濾波器而變化。
[0048]從顯示像素330發射的光線340的方向可包括水平方向和垂直方向之一或者水平方向和垂直方向兩者。例如，當從顯示像素330發射的光線340具有沿水平方向的特定方向，但是沿垂直方向上的所有方向前進時，光場顯示器310可形成水平光場。相反，當從顯示像素330發射的光線340具有沿垂直方向的特定方向，但是沿水平方向上的所有方向前進時，光場顯示器310可形成垂直光場。另外，當光線340沿水平方向和垂直方向兩者上的特定方向前進時，光場顯不器310可形成關於所有方向的光場。
[0049]圖4示出根據示例實施例的圖像處理設備410的詳細結構。
[0050]根據圖4，圖像處理設備410可包括視圖圖像確定單元420、視圖圖像像素確定單元440和像素值確定單元450。視圖圖像確定單元420可包括視圖圖像插值單元430。像素值確定單元450可包括像素值插值單元460。
[0051]視圖圖像確定單元420可使用分別從顯示像素髮射的光線和組成多視圖圖像的視圖圖像的視圖來確定與分別從顯示像素髮射的光線相應的視圖圖像。
[0052]顯示像素可輸出均具有預定前進方向的光線。關於從顯示像素髮射的光線的信息可被預先存儲在光場顯示器或圖像處理設備410中。視圖圖像的視圖表示視圖圖像被拍攝的位置。例如，視圖可指示相機拍攝對象的位置。視圖圖像的視圖可從諸如對象與相機之間的距離、拍攝角度等信息而獲得。
[0053]視圖圖像確定單元420可使用從顯示像素髮射的光線和視圖圖像的視圖的位置來確定與從顯示像素髮射的光線相應的視圖圖像。詳細地講，視圖圖像確定單元420可將多個視圖圖像中的分別具有與光線最接近的視圖的視圖圖像確定為與光線相應的視圖圖像。
[0054]根據示例實施例，視圖圖像確定單元420可計算組成多視圖的視圖圖像與從顯示像素髮射的光線之間的距離。視圖圖像確定單元420可將具有計算的距離中的最短距離的視圖的視圖圖像確定為與光線相應的視圖圖像。
[0055]可選擇地，視圖圖像確定單元420可包括:視圖圖像插值單元430，對多個視圖圖像中的具有與光線接近的視圖的多個視圖圖像進行插值。視圖圖像插值單元430可通過對多個視圖圖像進行插值來產生具有新視圖的視圖圖像。通過上述處理，視圖圖像插值單元430可產生具有位於光線的方向上的視圖的視圖圖像。
[0056]根據示例實施例，當從顯示像素髮射的光線與視圖圖像的視圖之間的距離包括在預定閾值範圍內時，視圖圖像插值單元430可基於視圖圖像執行插值。視圖圖像插值單元430可通過對與待插值的視圖圖像相應的位置處的像素值求平均或者通過使用各種預定插值公式來對視圖圖像進行插值。視圖圖像確定單元420可將通過插值產生的新的視圖圖像確定為與顯示像素或光線相應的視圖圖像。
[0057]視圖圖像像素確定單元440可使用顯示像素的位置在由視圖圖像確定單元420確定的視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素。
[0058]視圖圖像像素確定單元440可識別在光場顯示器中顯示視圖圖像的顯示區域。接著，視圖圖像像素確定單元440可識別顯示區域中的與顯示像素的位置相應的坐標。視圖圖像像素確定單元440可使用視圖圖像的顯示區域中的與顯示像素的位置相應的坐標來確定視圖圖像像素。
[0059]詳細地講，視圖圖像像素確定單元440可識別視圖圖像像素中的與所述坐標相應的像素。根據示例實施例，視圖圖像像素確定單元440可將最接近於與所述坐標相應的視圖圖像的位置的視圖圖像像素確定為與顯示像素相應的視圖圖像像素。
[0060]可選擇地，視圖圖像像素確定單元440可將接近於與所述坐標相應的視圖圖像的位置的視圖圖像像素確定為與顯示像素相應的視圖圖像像素。視圖圖像像素確定單元440可將多個視圖圖像像素確定為與每個顯示像素相應的視圖圖像像素。例如，視圖圖像像素確定單元440可基於視圖圖像像素之間的距離和與所述坐標相應的視圖圖像的位置來確定包括在預定閾值範圍內的視圖圖像像素。
[0061]像素值確定單元450可基於由視圖圖像像素確定單元440確定的視圖圖像像素的像素值來確定顯示像素的像素值。像素值確定單元450可將視圖圖像像素的像素值確定為相應顯示像素的像素值。也就是說，像素值確定單元450可將與顯示像素相應的視圖圖像像素的像素值應用於相應顯示像素。
[0062]當視圖圖像像素確定單元440確定了與所述坐標接近的多個視圖圖像時，像素值插值單元460可對確定的視圖圖像像素的像素值進行插值。像素值插值單元460可通過對視圖圖像像素的像素值求平均或者通過應用預定插值公式來對像素值進行插值。像素值確定單元450可將插值後的像素值確定為顯示像素的像素值。
[0063]通過上述處理，針對光場顯示器的每個顯示像素確定視圖圖像，並且基於相應視圖圖像的像素值將大多數合適的像素值應用於顯示像素。圖像處理設備410可基於多視圖圖像執行圖像轉換，使得圖像適合於光場顯示器的實現方法。
[0064]雖然包括在多視圖圖像中的視圖圖像的多個視圖不對應於由光場顯示器的顯示像素表現的光線的多個方向，但是圖像處理設備410可將多視圖轉換為適合於由光場顯示器實現的圖像。另外，不管包括在光場顯示器中的光學濾波器的類型如何，圖像處理設備410可使用關於從顯示像素髮射的光線的信息來執行圖像處理。圖像處理設備410可對確定了實現光線的方法的光場顯示器應用上述圖像處理過程。
[0065]圖5示出根據其他示例實施例的圖像處理設備520的詳細結構。[0066]根據圖5，圖像處理設備520可包括顯示像素識別單元530、視圖圖像確定單元540、視圖圖像像素確定單元560和像素值確定單元570。視圖圖像確定單元540可包括視圖圖像插值單元550。像素值確定單元570可包括像素值插值單元580。
[0067]顯示像素識別單元530可基於用戶眼睛的位置識別將應用像素值的顯示像素。用戶眼睛的位置可以使用傳感器510來獲得。例如，傳感器510可以是拍攝用戶眼睛從而產生3D空間坐標的相機。這裡，相機可被嵌入在光場顯示器中，或者被安裝在外部並與光場顯示器連接。顯示像素識別單元530可使用用戶眼睛的2D圖像或用戶眼睛的深度圖像來獲得用戶眼睛的位置。
[0068]詳細地講，顯示像素識別單元530可識別滿足從顯示像素髮射的光線與用戶眼睛之間的距離不大於預定閾值的至少一個顯示像素。例如，可依據從顯示像素髮射的光線是否包括在可見光區域內來設置所述預定閾值。可見光區域可被預先確定為從顯示像素髮射光線並且光線對用戶眼睛可見的區域。也就是說，雖然從顯示像素髮射的光線不直接到達用戶眼睛的瞳孔，但是光線的預定光量可到達用戶眼睛並對用戶眼睛可見。
[0069]通過上述處理，顯示像素識別單元530可識別作為圖像處理的對象的顯示像素。因此，圖像處理設備520可減小圖像處理所需的計算量，並快速地執行圖像轉換。
[0070]視圖圖像確定單元540可使用分別從由顯示像素識別單元530識別的顯示像素髮射的光線和視圖圖像的視圖來確定與光線相應的視圖圖像。詳細地講，視圖圖像確定單元540可將多個視圖圖像中的具有與光線最接近的視圖的視圖圖像確定為與光線相應的視圖圖像。
[0071]根據示例實施例，視圖圖像確定單元540可計算組成多視圖的視圖圖像與從顯示像素髮射的光線之間的距離。視圖圖像確定單元540可將具有計算的距離中的最短距離的視圖的視圖圖像確定為與光線相應的視圖圖像。
[0072]可選擇地，視圖圖像確定單元540可包括:視圖圖像插值單元550，對多個視圖圖像中的具有與光線接近的視圖的多個視圖圖像進行插值。視圖圖像插值單元550可通過對多個視圖圖像進行插值來產生具有新視圖的視圖圖像。通過上述處理，視圖圖像插值單元550可產生具有位於光線的方向上的視圖的視圖圖像。
[0073]根據示例實施例，當從顯示像素髮射的光線與視圖圖像的視圖之間的距離包括在預定閾值範圍內時，視圖圖像插值單元550可基於視圖圖像執行插值。視圖圖像插值單元550可將通過插值新產生的視圖圖像確定為與顯示像素或光線相應的視圖圖像。
[0074]視圖圖像像素確定單元560可使用顯示像素的位置在由視圖圖像確定單元540確定的視圖圖像中確定與顯示像素相應的至少一個視圖圖像。
[0075]視圖圖像像素確定單元560可識別在光場顯示器中顯示視圖圖像的顯示區域。接著，視圖圖像像素確定單元560可識別顯示區域中的與顯示像素的位置相應的坐標。視圖圖像像素確定單元560可使用視圖圖像的顯示區域中的與顯示像素的位置相應的坐標來確定視圖圖像像素。
[0076]詳細地講，視圖圖像像素確定單元560可識別視圖圖像像素中的與所述坐標相應的像素。根據示例實施例，視圖圖像像素確定單元560可將最接近於與所述坐標相應的視圖圖像的位置的視圖圖像像素確定為與顯示像素相應的視圖圖像像素。
[0077]可選擇地，視圖圖像像素確定單元560可將接近於與所述坐標相應的視圖圖像的位置的視圖圖像像素確定為與顯示像素相應的視圖圖像像素。視圖圖像像素確定單元560可將多個視圖圖像像素確定為與每個顯示像素相應的視圖圖像像素。例如，視圖圖像像素確定單元560可基於視圖圖像像素之間的距離和與所述坐標相應的視圖圖像的位置來確定包括在預定閾值範圍內的視圖圖像像素。
[0078]像素值確定單元570可基於由視圖圖像像素確定單元560確定的視圖圖像像素的像素值來確定顯示像素的像素值。像素值確定單元570可將視圖圖像像素的像素值確定為相應顯示像素的像素值。也就是說，像素值確定單元570可將與顯示像素相應的視圖圖像像素的像素值應用於相應顯示像素。
[0079]當視圖圖像像素確定單元560確定與所述坐標接近的多個視圖圖像時，像素值插值單元580可對確定的視圖圖像像素的像素值進行插值。像素值插值單元580可通過對視圖圖像像素的像素值求平均或者通過應用預定插值公式來對像素值進行插值。像素值確定單元570可將插值後的像素值確定為顯示像素的像素值。
[0080]圖6示出根據示例實施例的確定視圖圖像的操作。
[0081]根據圖6,從光場顯不器620的一個顯不像素610發射光線660。另外,針對光場顯示器620的位置示出多個視圖圖像630。視圖圖像630可均具有不同視圖。例如，視圖圖像630的視圖可與拍攝對象的相機的位置相應。
[0082]在圖6中，由具有平面結構的相機陣列拍攝的視圖圖像630被示出為示例。例如，圖像處理設備可參考光線660與相機陣列的平面相遇的點640來計算光線660與視圖圖像的視圖之間的距離。圖像處理設備可確定具有光線660與視圖圖像的視圖之間的距離中的最小值的視圖圖像650。例如，圖像處理設備可確定具有與光線660最接近的視圖的視圖圖像 650。
[0083]可選擇地，圖像處理設備可使用與點640接近的多個視圖圖像來產生具有新視圖的視圖圖像。詳細地講，圖像處理設備可通過對與點640接近的多個視圖圖像進行插值來產生新的視圖圖像，並將產生的視圖圖像確定為與顯示像素610的光線660相應的視圖圖像。通過上述處理，圖像處理設備可產生具有位於光線660的方向上的視圖的視圖圖像。
[0084]在此情況下，圖像處理設備可從視圖圖像630識別光線660與視圖圖像的視圖之間的距離在預定閾值範圍內的視圖圖像。此外，圖像處理設備可通過對識別的視圖圖像進行插值來產生具有新視圖的視圖圖像。
[0085]當圖像處理設備通過對多個接近的視圖圖像進行插值來產生新視圖圖像時，可通過基於光線660與相應視圖圖像之間的距離設置權重來執行插值。例如，當光線660與相應視圖圖像之間的距離較小時，圖像處理設備可設置較大的權重。當權重較大時，較大的權重可在插值期間被分配給相應視圖圖像的像素值。
[0086]圖7示出根據示例實施例的確定顯示像素610的像素值的操作。
[0087]根據圖7，當顯示像素610或者與從顯示像素610發射的光線660相應的視圖圖像650被確定時，圖像處理設備可從視圖圖像650確定與從顯示像素610發射的光線660相應的至少一個視圖圖像像素。
[0088]圖像處理設備可在光場顯示器620上識別視圖圖像650的顯示區域710。顯示區域710可表示當視圖圖像650被顯示時顯示視圖圖像650的內容的區域。
[0089]圖像處理設備可從顯示區域710識別與顯示像素610的位置相應的坐標720。圖像處理設備可使用顯示區域710中的坐標720在視圖圖像650中確定與顯示像素610相應的視圖圖像像素。在此情況下，圖像處理設備可確定最接近於與顯示像素610的位置相應的坐標720的視圖圖像像素，並將該視圖圖像像素的像素值應用於顯示像素610。
[0090]可選擇地，圖像處理設備可確定接近於與顯示像素610的位置相應的坐標720的視圖圖像。圖像處理設備可對接近於坐標720的視圖圖像的像素值進行插值，從而確定相應顯示像素610的像素值。在此情況下，圖像處理設備可基於坐標720與每個視圖圖像像素之間的距離來對視圖圖像像素的像素值設置權重，並基於所述權重執行插值。
[0091]圖8示出根據示例實施例的在包括光學單元的光場顯示器820中確定顯示像素的像素值的操作。
[0092]根據圖8，光場顯示器820可使用諸如柱狀透鏡或視差屏障的光學濾波器。例如，在圖8的實施例中，從顯示像素810發射的光線870在沿垂直方向上的所有方向前進的同時由於光學濾波器而具有水平方向上的特定方向。在此情況下，僅在水平方向上發生視差，並且圖像處理設備可僅使用從顯示像素810發射的光線870的水平分量。
[0093]圖像處理設備可基於從顯示像素810發射的光線870與視圖圖像830的視圖之間的距離來確定與顯示像素810或光線870相應的視圖圖像840。圖像處理設備可將具有與光線870最接近的視圖的視圖圖像確定為與顯示像素810或光線870相應的視圖圖像840。可選擇地，圖像處理設備可通過對接近於光線870的多個視圖圖像進行插值來產生具有位於光線870的前進方向上的視圖的視圖圖像。
[0094]當視圖圖像840被確定時，圖像處理設備可基於視圖圖像840的顯不區域850中的與顯示像素810的位置相應的坐標860來確定顯示像素810的像素值。詳細地講，圖像處理設備可將最接近於與顯示區域850中的坐標860相應的位置的視圖圖像像素的像素值確定為顯示像素810的像素值。
[0095]可選擇地，圖像處理設備可對接近於與顯示區域850中的坐標860相應的位置的視圖圖像的像素值進行插值，從而確定相應顯示像素810的像素值。
[0096]圖9示出根據示例實施例的在使用多個投影儀的光場顯示器中的圖像處理操作。
[0097]根據圖9，光場顯示器可包括多個投影儀910和920以及屏幕930。這裡，假定輸入到圖像處理設備的所有視圖圖像980是與屏幕930相應的區域的圖像。也就是說，視圖圖像980的顯示區域等同於屏幕930的區域。
[0098]作為示例將描述第一投影儀910。從第一投影儀910的一個顯示像素髮射的光線970到達屏幕930上的位置950。圖像處理設備可使用光線970和視圖圖像980的視圖來確定與該顯示像素相應的視圖圖像。
[0099]圖9的實施例假定具有與光線970最接近的視圖的視圖圖像990被確定為與顯示像素相應的視圖圖像。以另一方式，圖像處理設備可通過對多個視圖圖像進行插值來產生具有位於光線970上的視圖的新視圖圖像，並將所述新視圖圖像確定為與顯示像素相應的視圖圖像。
[0100]當視圖圖像990被確定時，圖像處理設備可基於顯示區域960中的與屏幕930上的位置950相應的坐標940來確定與光線970相關的顯示像素的像素值。詳細地講，圖像處理設備可將最接近於與顯示區域960中的坐標940相應的位置的視圖圖像像素的像素值確定為顯示像素的像素值。[0101]可選擇地，圖像處理設備可對接近於與顯示區域960中的坐標940相應的位置的視圖圖像像素的像素值進行插值，從而確定顯示像素的像素值。
[0102]圖像處理設備可對第一投影儀910和第二投影儀920的所有顯示像素執行上述處理。因此，圖像處理設備可將多視圖圖像轉換為在光場顯示器上自然顯示的圖像。雖然第一投影儀910和第二投影儀920被示出在圖9的實施例中，但是組成光場顯示器的多個投影儀不受限制。
[0103]圖10示出根據示例實施例的當具有水平視差的多視圖圖像被輸入到使用多個投影儀的光場顯示器中時的圖像處理操作。
[0104]與圖9不同，圖10示出輸入了僅具有水平視差的視圖圖像1010的情況。在此情況下，圖像處理設備可僅使用從投影儀910和920發射的光線的水平分量。用於確定投影儀910和920的顯示像素的像素值的結構與參照圖9描述的相同。圖像處理設備可確定與顯示像素或從顯示像素髮射的光線970相應的視圖圖像1020。接著，圖像處理設備可識別與從顯示像素髮射的光線970所到達的屏幕930上的位置950相應的坐標940。圖像處理設備可基於坐標940確定與光線970相關的顯示像素的像素值。圖像處理設備可對第一投影儀910和第二投影儀920的所有顯示像素執行上述處理。
[0105]圖11示出描述根據示例實施例的圖像處理方法的詳細步驟的流程圖。
[0106]在操作1110，圖像處理設備可使用分別從顯示像素髮射的光線和組成多視圖圖像的視圖圖像的視圖來確定與所述光線相應的視圖圖像。詳細地講，圖像處理設備可將多個視圖圖像中的具有與所述光線最接近的視圖的視圖圖像確定為與所述光線相應的視圖圖像。
[0107]可選擇地，圖像處理設備可通過對多個視圖圖像中的具有與所述光線接近的視圖的多個視圖圖像進行插值來產生具有新視圖的視圖圖像。當從顯示像素髮射的光線與視圖圖像的視圖之間的距離包括在預定閾值範圍內時，圖像處理設備可基於視圖圖像執行插值。圖像處理設備可將通過插值新產生的視圖圖像確定為與顯示像素或光線相應的視圖圖像。
[0108]在操作1120，圖像處理設備可使用顯示像素的位置在視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素。
[0109]圖像處理設備可在顯示區域中識別與顯示像素的位置相應的坐標。接著，圖像處理設備可使用視圖圖像的顯示區域中的與顯示像素的位置相應的坐標來確定視圖圖像像素。
[0110]詳細地講，圖像處理設備可識別視圖圖像像素中的與所述坐標相應的像素。根據示例實施例，圖像處理設備可將最接近於與所述坐標相應的視圖圖像的位置的視圖圖像像素確定為與顯示像素相應的視圖圖像像素。
[0111]可選擇地，圖像處理設備可將接近於與所述坐標相應的視圖圖像的位置的視圖圖像像素確定為與顯示像素相應的視圖圖像像素。在此情況下，圖像處理設備可基於視圖圖像像素之間的距離和與所述坐標相應的視圖圖像的位置來確定包括在預定閾值範圍內的視圖圖像像素。
[0112]在操作1130，圖像處理設備可基於由圖像處理設備確定的視圖圖像像素的像素值來確定顯示像素的像素值。圖像處理設備可將視圖圖像像素的像素值確定為相應顯示像素的像素值。
[0113]當圖像處理設備確定與所述坐標接近的多個視圖圖像像素時，圖像處理設備可對視圖圖像像素的像素值進行插值。這裡，圖像處理設備可通過對視圖圖像的像素值求平均或者應用預定插值公式來執行插值。圖像處理設備可將插值後的像素值確定為顯示像素的像素值。
[0114]通過上述處理，針對光場顯示器的顯示像素確定視圖圖像，並且基於相應視圖圖像的像素值將大多數合適的像素值應用於顯示像素。
[0115]圖12示出描述根據其他示例實施例的圖像處理方法的詳細步驟的流程圖。
[0116]在操作1210，圖像處理設備可基於用戶眼睛的位置來識別將應用像素值的顯示像素。用戶眼睛的位置可使用傳感器來獲得。例如，傳感器510可以是拍攝用戶眼睛從而產生3D空間坐標的相機。圖像處理設備可使用用戶眼睛的2D圖像或用戶眼睛的深度圖像來獲得用戶眼睛的位置。
[0117]詳細地講，圖像處理設備可識別滿足從顯示像素髮射的光線與用戶眼睛之間的距離不大於預定閾值的至少一個顯示像素。這裡，可依據從顯示像素髮射的光線是否包括在對用戶眼睛可見的區域中來設置所述預定閾值。圖像處理設備可通過上述處理識別用於圖像處理的顯示像素。
[0118]在操作1220，圖像處理設備可使用分別從顯示像素髮射的光線和組成多視圖的視圖圖像的視圖來確定與所述光線相應的視圖圖像。詳細地講，視圖圖像處理設備可將多個視圖圖像中的具有與所述光線最接近的視圖的視圖圖像確定為與所述光線相應的視圖圖像。
[0119]可選擇地，圖像處理設備可通過對多個視圖圖像中的具有與所述光線接近的視圖的多個視圖圖像進行插值來產生具有新視圖的視圖圖像。當從顯示像素髮射的光線與視圖圖像的視圖之間的距離包括在預定閾值範圍內時，圖像處理設備可基於視圖圖像執行插值。圖像處理設備可將通過插值新產生的視圖圖像確定為與顯示像素或光線相應的視圖圖像。
[0120]在操作1230，圖像處理設備可使用顯示像素的位置在視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素。
[0121]圖像處理設備可在顯示區域中識別與顯示像素的位置相應的坐標。接著，圖像處理設備可使用視圖圖像的顯示區域中的與顯示像素的位置相應的坐標來確定視圖圖像像素。
[0122]詳細地講，圖像處理設備可識別視圖圖像像素中的與所述坐標相應的像素。根據示例實施例，圖像處理設備可將最接近於與所述坐標相應的視圖圖像的位置的視圖圖像像素確定為與顯示像素相應的視圖圖像像素。
[0123]可選擇地，圖像處理設備可將接近於與所述坐標相應的視圖圖像的位置的視圖圖像像素確定為與顯示像素相應的視圖圖像像素。在此情況下，圖像處理設備可基於視圖圖像像素之間的距離和與所述坐標相應的視圖圖像的位置來確定包括在預定閾值範圍內的視圖圖像像素。
[0124]在操作1240，圖像處理設備可基於由圖像處理設備確定的視圖圖像像素的像素值來確定顯示像素的像素值。圖像處理設備可將視圖圖像像素的像素值確定為相應顯示像素的像素值。
[0125]當圖像處理設備確定與所述坐標接近的多個視圖圖像像素時，圖像處理設備可對視圖圖像像素的像素值進行插值。這裡，圖像處理設備可通過對視圖圖像的像素值求平均或者應用預定插值公式來執行插值。圖像處理設備可將插值後的像素值確定為顯示像素的像素值。
[0126]通過上述處理，圖像處理設備可對光場顯示器的顯示像素選擇性地執行圖像處理。通過僅對顯示像素的部分執行圖像處理，圖像處理設備可減小計算量，並因此提高圖像處理速度。
[0127]根據上述示例實施例的方法可被記錄在非暫時性計算機可讀介質中，所述介質包括用於實現由計算機實施的各種操作的程序指令。所述介質還可單獨地或與程序指令結合地包括數據文件、數據結構等。記錄在介質上的程序指令可以是為了示例實施例的目的而專門設計和構造的程序指令，或者它們可以是對計算機軟體領域的技術人員公知和可用的程序指令。非暫時性計算機可讀介質的示例包括:磁介質，諸如硬碟、軟盤和磁帶；光學介質，諸如⑶ROM盤和DVD ;磁光介質，諸如光碟；以及專門被構造為存儲和執行程序指令的硬體裝置，諸如只讀存儲器(ROM)、隨機存取存儲器(RAM)、快閃記憶體等。所述介質可以是用於傳輸指定程序命令和數據構造的信號的傳輸介質，諸如光線、金屬線或包括載波的波導。程序指令的示例包括諸如由編譯器產生的機器代碼和包含可由計算機使用注釋器執行的更高級代碼的文件兩者。所描述的硬體裝置可被構造為用作一個或多個軟體模塊，以執行上述示例實施例的操作，反之亦然。
[0128]雖然已經示出和描述了示例實施例，但是本領域的技術人員將理解的是，在不脫離本公開的原理和精神的情況下，可在這些示例實施例中進行改變，本公開的範圍在權利要求及其等同物中限定。
【權利要求】
1.一種圖像處理方法，包括: 使用從顯示像素髮射的光線和視圖圖像的視圖來確定與所述光線相應的視圖圖像； 使用顯示像素的位置在視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素； 基於所述至少一個視圖圖像像素的像素值來確定顯示像素的像素值。
2.如權利要求1所述的圖像處理方法，其中，確定視圖圖像的步驟包括: 將多個視圖圖像中的具有與所述光線最接近的視圖的視圖圖像確定為與所述光線相應的視圖圖像。
3.如權利要求1所述的圖像處理方法，其中，確定視圖圖像的步驟包括: 對多個視圖圖像中的具有與所述光線接近的視圖的多個視圖圖像進行插值； 將通過插值產生的視圖圖像確定為與所述光線相應的視圖圖像。
4.如權利要求1所述的圖像處理方法，其中，確定至少一個視圖圖像像素的步驟包括: 使用視圖圖像的顯示區域中的與顯示像素的位置相應的坐標來確定所述至少一個視圖圖像像素。
5.如權利要求4所述的圖像處理方法，其中，確定至少一個視圖圖像像素的步驟包括: 將視圖圖像中的最接近於與所述坐標相應的位置的視圖圖像像素確定為與顯示像素相應的所述至少一個視圖 圖像像素。
6.如權利要求4所述的圖像處理方法，其中，確定至少一個視圖圖像像素的步驟包括: 將視圖圖像中的接近於與所述坐標相應的位置的視圖圖像像素確定為與顯示像素相應的所述至少一個視圖圖像像素。
7.如權利要求6所述的圖像處理方法，其中，確定顯示像素的像素值的步驟包括: 對與所述坐標的位置接近的視圖圖像像素的像素值進行插值，並將插值後的值確定為顯示像素的像素值。
8.—種圖像處理方法，包括: 基於用戶眼睛的位置識別將應用像素值的顯示像素； 使用從顯示像素髮射的光線和視圖圖像的視圖來確定與所述光線相應的視圖圖像； 使用顯示像素的位置在視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素； 基於所述至少一個視圖圖像像素的像素值來確定顯示像素的像素值。
9.如權利要求8所述的圖像處理方法，其中，識別顯示像素的步驟包括: 識別滿足從顯示像素髮射的光線與用戶眼睛的位置之間的距離小於或等於預定閾值的至少一個顯示像素。
10.如權利要求8所述的圖像處理方法，其中，確定視圖圖像的步驟包括: 將多個視圖圖像中的具有與所述光線最接近的視圖的視圖圖像確定為與所述光線相應的視圖圖像。
11.如權利要求8所述的圖像處理方法，其中，確定視圖圖像的步驟包括: 對多個視圖圖像中的具有與所述光線接近的視圖的多個視圖圖像進行插值； 將通過插值產生的視圖圖像確定為與所述光線相應的視圖圖像。
12.如權利要求8所述的圖像處理方法，其中，確定至少一個視圖圖像像素的步驟包括: 使用視圖圖像的顯示區域中的與顯示像素的位置相應的坐標來確定所述至少一個視圖圖像像素。
13.如權利要求12所述的圖像處理方法，其中，確定至少一個視圖圖像像素的步驟包括: 將視圖圖像中的最接近於與所述坐標相應的位置的視圖圖像像素確定為與顯示像素相應的所述至少一個視圖圖像像素。
14.如權利要求12所述的圖像處理方法，其中，確定至少一個視圖圖像像素的步驟包括: 將視圖圖像中的接近於與所述坐標相應的位置的視圖圖像像素確定為與顯示像素相應的所述至少一個視圖圖像像素。
15.如權利要求14所述的圖像處理方法，其中，確定顯示像素的像素值的步驟包括: 對與所述坐標的位置接近的視圖圖像像素的像素值進行插值，並將插值後的值確定為顯示像素的像素值。
16.如權利要求8所述的圖像處理方法，其中，使用用戶眼睛的二維2D圖像或用戶眼睛的深度圖像來獲得用戶眼睛的位置。
17.一種圖像處理設備，包括: 視圖圖像確定單元，使用從顯示像素髮射的光線和視圖圖像的視圖來確定與所述光線相應的視圖圖像； 視圖圖像像素確定單元，使用顯示像素的位置在視圖圖像中確定與顯示像素相應的至少一個視圖圖像像素； 像素值確定單元，基於所述至少一個視圖圖像像素的像素值來確定顯示像素的像素值。
18.如權利要求17所述的圖像處理設備，其中，視圖圖像確定單元包括:視圖圖像插值單元，對多個視圖圖像中的具有與所述光線接近的視圖的多個視圖圖像進行插值。
19.如權利要求17所述的圖像處理設備，其中，像素值確定單元包括:像素值插值單元，對確定的視圖圖像像素的像素值進行插值。
20.如權利要求17所述的圖像處理設備，還包括:顯示像素識別單元，基於用戶眼睛的位置識別將應用像素值的顯示 像素。
【文檔編號】H04N13/00GK103795998SQ201310524977
【公開日】2014年5月14日 申請日期:2013年10月30日 優先權日:2012年10月31日
【發明者】樸柱容, 南東暻 申請人:三星電子株式會社