用於多視圖顯示器的圖像數據呈現的製作方法

2023-07-23 19:55:06 1

專利名稱：用於多視圖顯示器的圖像數據呈現的製作方法
用於多視圖顯示器的圖像數據呈現
本發明涉及用於多視圖顯示器的圖像數據呈現方法。尤其是，本發 明涉及用於多視圖顯示器的圖像數據呈現方法，其中在該多視圖顯示 器上，可從多個方向上觀看到圖像。本發明還涉及多視圖顯示器、信號 呈現系統以及用於實現所述方法的計算機可讀代碼。
多視圖顯示器是這樣一種顯示器，其能夠取決於觀看方向而向觀看 者展示不同圖像，以便可從不同角度看到一個圖像中的對象。多視圖 顯示器的一個例子是能夠向觀看者的左眼展示與右眼不同的圖像的自 動立體顯示器。有各種多視圖顯示器技術存在， 一種這樣的技術基於 雙凸透鏡。雙凸透鏡顯示器是一種能夠為不同水平觀看方向顯示多個
圖像的視差3D顯示器。通過這種方式，觀看者可體驗到例如運動視差 和立體提示。
關於多視圖顯示器的一個問題是用於不同觀看方向的圖像可能重 疊因而產生鬼4象(ghost image )、或者圖4象之間的幹擾(cross-talk )。 與之有關的另一問題是觀看-方向的數量可能相對較少(一般是8或9 個)，這可在某些觀看-方向上產生混疊效果。
已公布的美國專利申請US 2003/0117489公開了一種三維顯示器 和一種降低3D自動立體顯示器上的左右眼圖像之間的幹擾的方法。該 公開的降低幹擾的方法基於向左右圖像的每個像素上增加一個基本灰 度級以提高背景灰度級。
本發明的發明人已經了解到呈現圖像數據的改進的方法具有益處， 並/人而i殳計出本發明。
本發明尋求提供用於多視圖顯示器的呈現圖像數據的改進裝置，而 可看作是本發明目的的是提供一種改善多視圖顯示器的觀看者或使用
者所感知的圖像質量的濾波技術。優選地，本發明可單獨或以任何組合 方式緩和、調節或消除上述或其他缺點中的一個或多個。
因而，在第一個方面提供了一種用於多視圖顯示器的呈現圖像數據的方法，該方法包括步驟
提供用於圖像的視圖相關的圖像數據， 確定用於所述圖像的視圖相關的強度函數， 施加空間濾波至所述強度函數的視圖相關的坐標， 取樣所述視圖相關的強度函數至多個子圖像，每個子圖像與所述圖 像的觀看方向相關聯。
在多視圖顯示器中，所述圖像數據一般是為了適當的展示而呈現。 因為圖像可能基於以這樣的方式投射到觀看者以便觀看者看到該圖像 的空間或3D維度的2D圖像數據，所以可能需要呈現。對於圖像的每 個觀看方向，生成從那個觀看方向看到的圖像的子圖像，並且將該子 圖像投射至相關聯的觀看方向中。
呈現處理一般包括幾個操作或步驟，例如這取決於圖像數據的輸 入格式、顯示設備、圖像數據的類型等。在第一步驟中提供視圖相關 的圖像數據。該第一步驟不必是整個呈現處理的第一步驟。根據視圖 相關的圖像數據確定視圖相關、或多維度的強度函數。該視圖相關的 強度函數涉及顯示器在可能的觀看方向上的發光強度或亮度。強度函 數的視圖相關坐標被空間濾波，並且將該經空間濾波的強度函數取樣 為多個子圖像。視圖相關的坐標取決於圖像數據的坐標表示。在一個 典型的坐標表示中，圖像的強度函數依據涉及顯示屏幕上的位置的空 間坐標集和表示觀看者的水平觀看方向的角度來進行描述，其中該表 示水平觀看方向的角度是視圖相關的坐標。但是，應該理解的是取決 於多視圖顯示器的種類、圖像數據、呈現處理等，可想像到替代的坐 標表示。
根據該第一個方面的本發明因一些理由而有特別但不唯一的優點。 在該方法中，呈現處理被認為是真實的三維濾波處理，因而提供在圖像 數據的呈現和其中圖像展示於其上的顯示設備之間的直接和直覺的鏈 接。這便於該方法在各種不同顯示設備上進行簡單和穩定的實現。另 .外，該方法還有效地降低了諸如幹擾和混疊贗象之類的贗象，這是因為 贗象在明確定義的呈現階段中進行處理，這使得進一步的處理變得沒 有必要，諸如使進行前處理或後-處理以進一步除去或減少幹擾或混疊 贗象變得沒有必要。還有，該方法是很通用的方法，其對圖像數據的 輸入或輸出格式要求很小、或者甚至沒有限制。視圖相關的強度函數可從一些圖像格式中生成，且可基於視圖相關的強度函數生成或取樣 出任何輸出圖像格式。如權利要求2到4所定義的光學特徵具有優點，這是因為由低通濾 波、高通濾波和/或兩者組合完成的空間濾波是眾所周知的帶通濾波技 術，其可以很多種方式實現，因此確保穩固和通用的實現。如權利要求5所定義的光學特徵具有優點，這是因為通過施加正增 益至高於預定頻率的頻率，強度函數可進行銳化，因而有效處理幹擾 效應。如權利要求6所定義的光學特徵具有優點，這是因為通過在低通濾 波中除去高於尼奎斯特(Nyqu i s t )頻率的頻率，有效處理了混疊效應。如權利要求7所定義的光學特徵具有優點，這是因為通過將視圖相 關的強度函數分解為圖像的顏色分量、並施加空間濾波至該圖像的至 少一種顏色分量，可分別處理不同顏色分量的強度，這可導致更加有 效的圖像數據處理。如權利要求8到IO所定義的光學特徵具有優點，這是因為它們描 述了如何生成視圖相關的強度函數的具有優點的實施例。在權利要求8 中，視圖相關的強度函數根據光學元件的結構、例如多視圖顯示器的 透鏡結構而生成。這是有利的，因為視圖相關的強度函數可取決於光 學元件。在權利要求9中，視圖相關的強度函數根據包括顏色和深度 信息的圖像格式來生成。這是有利的，因為即使深度圖不與圖像數據 相關聯，這種深度圖也可生成，因而該方法既可應用於包括顏色和深度 的圖像格式，又可應用於只包括顏色且其中的深度信息隨後生成的圖 像格式。在權利要求10中，視圖相關的強度函數從大批圖像中生成。 這是有利的，因為圖像的視圖相關度可基於例如從各個視圖獲取的圖 像而生成。如權利要求11所定義的光學特徵具有優點，這是因為通過將視圖 相關的強度函數取樣至任意數量的視圖方向，該方法可應用於顯示分 數數量和整數數量視圖二者的顯示器。分數的視圖數量可以例如有利 地應用於視圖-距離校正。如權利要求12所定義的光學特徵具有優點，這是因為2. 5D視頻圖 像格式是標準且廣泛使用的格式。根據本發明的第二個方面提供了 一種多視圖顯示設備，其包括顯示面板，包括顯示元件陣列，所述顯示元件成組設置，每組與圖 像的觀看方向相關聯，光學元件，用於引導從所述顯示面板發出的光，以使從一組顯示元 件發出的光被引導到與所述組的觀看方向相關聯的角分布中，輸入模塊，用於接收用於圖像的視圖相關的圖像數據，呈現模塊，用於確定用於所述圖像的視圖相關的強度函數並用於施 加空間濾波到所述強度函數的視圖相關的坐標，輸出模塊，用於輸出所述視圖相關的強度函數至多個子圖像，每個 子圖像與一組顯示元件和所述圖像的觀看方向相關聯。顯示設備是由第 一方面的呈現方法增強的多視圖顯示設備。本發明 的 一個優點是多視圖顯示設備可以是提供有根據本發明第 一方面的功 能的顯示設備，或者可以是未提供有根據本發明第一方面的功能、但 是隨後為本發明的功能所增強的顯示設備。輸入模塊、呈現模塊和輸出模塊可做為根據本發明第三方面的信號 呈現系統來提供。根據本發明第四方面，提供了用於實現根據第一方面的方法的計算 機可讀代碼。總的來說，本發明的各方面可以本發明範圍內的任何可能的方式進 行結合和耦合。本發明的這些和其他方面、特徵和/或優點將根據以下 描述的實施例而變得明顯，並參考以下描述的實施例進行闡述。本發明的實施方式將結合附圖，僅通過示例的方式進行描述，其中 圖l給出了 3D雙凸透鏡顯示器的原理； 圖2A和2B示出了俯視下的雙凸透鏡顯示器的示意圖； 圖3給出了來自相鄰視圖的子圖像之間的幹擾； 圖4 A和4B給出了對於2D顯示器和3D雙凸透4竟顯示器、觀看者 從各種角度對固定點的觀看；圖5 A和5B給出了視圖相關的強度函數的例子； 圖6給出了強度函數的帶通濾波的效果； 圖7示出了本發明實施例的流程圖。圖l給出了 3D雙凸透鏡顯示器的原理。雙凸透鏡顯示器基於LCD面板顯示器l，在該面板顯示器1前面附有透鏡2。該透鏡被調節成對 於特定視角q>、觀看者3僅看到位於下面的LCD的像素子集。如果向與 各個觀看方向相關聯的像素子集設置了合適的值，則該觀看者將從不 同觀看方向看見不同的圖像。這樣該觀看者3就看見該圖像的中心視 圖，然而觀看者將從以6表示的視角看見圖像的側視圖。每個透鏡覆蓋一些像素4、 5，並將它們投射出，如若干以7表示 的像素所述。觀看者用右眼看見像素的一個子集4而用左眼看見像素 的另一個子集5。從而獲得了 3D的體驗。圖2A示出了俯視下的雙凸透鏡顯示器的示意圖。該顯示器包括顯 示元件2 0或像素的陣列，諸如傳統LC矩陣顯示面板，其中這些像素以 組排列，每個組與圖像的觀看方向相關聯。每組像素構成子圖像，每個 子圖像與觀看方向相關聯。光學元件，即透鏡，引導從像素髮出的光，這 樣從一組像素髮出的光被引導到與該組的觀看方向相關聯的角分布 中，從而向觀看者的眼睛提供分離的圖像。在該說明的實施例中，雙凸透鏡透鏡被設置成相對於像素列呈微小 角度或傾斜，以便它們的主長軸相對於顯示元件的列方向呈一角度。 在該結構中，觀看者將看見沿透鏡的方向22取樣的點。在9視圖顯示 器中，9個圖像(每個觀看方向一個)被同時計算並顯示在與子圖像相 關聯的像素組上。當點亮像素時，位於該像素上方的整個透鏡被照亮了 21 (這如圖2B所示)，以便對於特定觀看方向，看見的是位於該像素上方的整個透鏡。

圖1、 2A和2B描述了 LCD-雙凸透鏡顯示器，但是應該理解本發明 不限於這種顯示器。作為示例，可將本發明應用於諸如屏障型顯示器 之類的顯示器，而且矩陣顯示面板可以是除了 LC面板以外的其他類型， 諸如空間光調製器的其他形式，或其他類型的顯示面板如電致發光或 等離子面板。從單個觀看方向對來自相鄰視圖的子圖像的可視性可導致諸如幹 擾之類的贗象。這如圖3所示，其中顯示為作為4 2/3顯示器、即其 中每個透鏡在水平方向上覆蓋4 2/3像素的顯示器的視角的函數的可 視光I。可看出，來自不同子圖像的角分布30-34重疊。觀看者所感 知的圖像是來自每個角分布的光的總和，而且可以看出的是，對於該 具體例子，三個子圖像對每個觀看方向所感知的圖像有貢獻。本發明的發明人已經了解到，通過合適的濾波，可以除去或至少減 少有關幹擾、鬼像和混疊的問題。這些問題是通過將用於3D顯示器的呈現考慮為真實的三維濾波處 理而解決的。對於顯示器40上的每個位置(x, y)和視角cp ，給出了 強度或亮度的函數，L(x, y, (p),該強度函數描述了顯示器的強度， 或從顯示器發出的亮度。圖4A給出了標準20顯示器的情況，其中使用者從所有方向觀察到 相同圖像。在理想3D顯示器(圖4B)中，觀看者從不同觀看方向觀察到 不同圖像。即，從兩個觀看方向41、 42看見不同圖像。在強度函數中反映了觀看者從不同觀看方向觀察到不同圖像。與 2D顯示器相關的強度函數對於各個視角(p是常數(圖5A)，而與3D顯 示器相關的強度函數是視角(p的函數，圖5B給出了這樣的一個例子。圖6給出了強度函數的帶通濾波的效果。在濾波後，將視圖相關的 強度函數取樣至多個子圖像。將結果得到的像素值分配給顯示器以便 在顯示器上形成這些子圖像。圖6給出了作為視角的函數的強度曲線60。用61表示的虛線示出 了初始強度函數。用62表示的點線示出了在施加了低通濾波後的函數， 而用63表示的實線示出了在施加了高通濾波後的函數。在該實施例中， 首先施加低通濾波並隨後施加高通濾波。在該示例中，被取樣至子圖 像的結果得到的強度函數是使用了這兩個帶通濾波後的函數63。低通濾波減輕了與將強度函數取樣成為小數量(諸如8或9個，這 取決於顯示器的視圖數量)個子圖像相關的問題，其一般是混疊問題。 在低通濾波中，可除去高於尼奎斯特頻率的頻率。高通濾波減輕了與在 觀看方向由幹擾產生的模糊相關的問題。高通濾波通過提升高頻率(例 如低於尼查斯特頻率的頻率)、即通過向高於預定頻率的頻率施加正 增益來放大這些頻率。圖6給出了高通濾波和低通濾波的組合，但是 濾波也可分離地應用，以使/f義施加高通濾波或l又施加《氐通濾波。對於 其中施加了高通濾波和低通濾波組合的實施例，濾波順序可不同於圖6 的順序。帶通濾波可以通過視圖相關的坐標，即cp的傅立葉變換或其 他適合的變換來完成。在一個實施例中，將包括要展示給觀看者的圖像數據在內的信號輸 入至輸入模塊中。在呈現模塊處，從所輸入的圖像數據重建或確定視圖相關的強度函數，其中該呈現模塊一般是處理器單元。可以根據光 學元件的結構，例如通過考慮透鏡的數量、透鏡的種類或者幾何結構、 透鏡的位置等，可重建或生成視圖相關的強度函數。視圖相關的強度函數也可根據諸如2. 5D視頻格式之類、包括圖像的顏色和深度信息的 輸入信號來重建。視圖相關的強度函數也可根據諸如大量的圖像之類、 從大量的觀看方向描述該圖像的任何數量的視圖來重建。在呈現模塊 上也施加了對視圖相關的坐標的空間濾波，並且在輸出模塊中將經濾 波的強度函數輸出至多個子圖像，每個子圖像與一組顯示元件和圖像 的觀看方向相關聯。輸入模塊、呈現模塊和輸出模塊，不必是，但是可 以是獨立的結構。呈現模塊也可將其他呈現函數施加到圖像數據，例如可以將圖像數 據適當地縮放到視圖解析度，可調整顏色等。可為不同顏色分量分離 地完成對圖像信號的呈現，且可為圖像的至少一種顏色分量確定視圖 相關的強度函數，以及將空間濾波施加到圖像的至少 一 種顏色分量。 例如，因為在RGB-信號中，綠色分量是最亮的分量，所以在一個實施 例中，空間濾波可僅用於綠色分量。可將視圖相關的強度函數取樣至任意數量的觀看方向，因而使得視 圖相關的強度函數可應用於其中像素不與整數視圖數量相關聯、例如 是4. 4999視圖系統的顯示器。在這種情況下，對於顯示器的每個像素， 計算非整數的視圖數量且在像素位置處取樣視圖相關的強度函數。可 以將強度函數取樣應用至非整數顯示器，以用於視圖距離校正。正常 地，為某個視圖距離優化多視圖顯示器。如果從第一視圖距離看某個 像素，且如果應該從第二視圖距離看相同圖像，那麼 一不同的像素就應 該分配有該像素值。隨著視圖移動靠近屏幕或遠離屏幕，分配給像素 的視圖數量發生改變。但是，這只是小的校正並結果導致分數個視圖 數量。在一個實施例中，可通過調整用於透鏡寬度的值來考慮進該校 正。因為隨著視圖移動得更靠近，透鏡好象覆蓋稍微更多的像素，而視 圖移動遠離的情況則相反。在一個實施例中，用兩個階段來執行呈現。在第一階段中，在空間 域中採用適當的前濾波來呈現幾個中間視圖，前濾波確保中間視圖以 適當的中間解析度生成，其中諸如混疊之類的贗象未由呈現處理等引 入。對於每條輸出線，這為每個透鏡結果導致了對應於每個被計算的視圖的多個RGB顏色。在第二階段中，根據視圖樣本重建視圖維度的連續信號，即重建強 度函數，並使用適當的空間濾波函數、即與圖6中以63表示的強度曲 線相對應的函數重新取樣到那個空間位置所需要的輸出視圖。這可通 過用於一個空間位置的視圖信號的1D重建來完成。可選地，對於象4 1/2 (9視圖)和4 2/3 (7或14視圖)顯示器那樣的、可從給定方向 (從相鄰透鏡)看見多於一個視圖的顯示器，也可考慮來自相鄰透鏡的 取樣並執行2D濾波。這種兩階段方法是非常通用的第 一 階段中生成的視圖數量可被 參數化，甚至對於不同於輸出所需要的視圖數量的數量也可進行參數 化。如果已得到了幾個圖像(例如用多個相機抓拍，或用CGI生成)， 則第二階段可用於交織這些圖像，例如以此方式可為14 (4 2/3)顯示 器呈現為9視圖顯示器抓拍的九幅圖像。由於該方法的通用性，可在第一階段計算在第二階段從不需要的顏 色對於特定顯示器類型的最優的有效實現，可專門定製算法。圖7給出了本發明一個實施例的流程圖。在第一步驟70中，例如 在輸入模塊中提供用於圖像的視圖相關的圖像數據，接下來根據輸入 數據生成或提供(71)用於該圖像的視圖相關的強度函數。接著例如 在呈現模塊中將空間濾波施加72到該強度函數的視圖相關的坐標，而 該視圖相關的強度函數被取樣73至多個子圖像，每個子圖像與該圖像 的觀看方向相關聯。取樣可在輸出才莫塊中完成。附圖中表示的一些特徵一般以軟體實現、並因此表示軟體結構，如 軟體模塊或對象。本發明可以任何適合的形式實現，這包括硬體、軟體、固件或它們 的組合。本發明可實現為在一個或多個數據處理器和/或數位訊號處理 器上運行的計算機軟體。本發明實施例的元件和部件可以以任何適合 方式物理地、功能地和邏輯地實現。的確，功能可以單個單元、多個 單元或其他功能單元的一部分來實現。這樣，本發明可以單個單元實現，^ °儘管^發明已結合:選實施例進行了描述，但並不能將本發明限於 此處陳述的特定形式。相反，本發明的範圍僅由所附的權利要求來限定。在這個部分中，所公開實施例中的某些特定細節是為解釋而不是限 制的目的來進行陳述的，以便提供對本發明的清楚和徹底的理解。但 是，本領域技術人員應該容易理解的是，本發明可以其他不完全符合此 處陳述的細節的實施例來實施，而不顯著脫離本7〉開的精神和範圍。 進一步地，在該上下文中，為了簡潔和清楚的目的，已經省略了眾所 周知的設備、電路和方法的詳細描述以避免不必要的細節和可能的混 淆。在權利要求中包括有參考符號，但包括參考符號僅為了清楚而不應 該認作是限制了該權利要求的範圍。
權利要求
1.一種用於多視圖顯示器的圖像數據呈現方法，所述方法包括步驟提供用於圖像的視圖相關的圖像數據；確定用於所述圖像的視圖相關的強度函數；向所述強度函數的視圖相關坐標施加空間濾波；將所述視圖相關的強度函數取樣至多個子圖像，其中每個子圖像與所述圖像的觀看方向相關聯。
2. 如權利要求l所述的方法，其中所述空間濾波是高通濾波。
3. 如權利要求l所述的方法，其中所述空間濾波是低通濾波。
4. 如權利要求l所述的方法，其中所述空間濾波是高通濾波和低 通濾波的組合。
5. 如權利要求2所述的方法，其中所述高通濾波向高於預定頻率 的頻率施加正增益。
6. 如權利要求3所述的方法，其中在低通濾波中，除去高於尼奎 斯特頻率的頻率。
7. 如權利要求l所述的方法，其中為所述圖像的至少一種顏色分 量確定所述視圖相關的強度函數，並且其中向所述圖像的所述至少一 種顏色分量施加所述空間濾波。
8. 如權利要求l所述的方法，其中所述視圖相關的強度函數根據 光學元件的結構生成。
9. 如權利要求l所述的方法，其中所述視圖相關的強度函數從包 括顏色和深度信息的圖像格式生成。
10. 如權利要求1所述的方法，其中所述視圖相關的強度函數從 大批圖像中生成。
11. 如權利要求1所述的方法，其中將所述視圖相關的強度函數 取樣到任意數量的觀看方向。
12. 如權利要求1所述的方法，其中所述圖像數據的圖像格式是 2. 5D視頻圖像格式。
13. —種多視圖顯示設備，包括顯示面板，包括顯示元件陣列，所述顯示元件以組排列，每組與圖像的觀看方向相關聯，光學元件，用於引導從所述顯示面板發出的光，以使從一組顯示 元件發出的光被引導到與所述組的觀看方向相關聯的角分布中，輸入模塊，用於接收圖像的視圖相關的圖像數據，呈現模塊，用於確定用於所述圖像的視圖相關的強度函數，並用於 向強度函數的視圖相關的坐標施加空間濾波，輸出模塊，用於將所述視圖相關的強度函數輸出到多個子圖像，其 中每個子圖像與一組顯示元件和所述圖像的觀看方向相關聯。
14. 一種信號呈現系統，包括輸入模塊，用於接收圖像的視圖相關的圖像數據， 呈現模塊，用於確定用於所述圖像的視圖相關的強度函數，並用於 向所述強度函數的視圖相關的坐標施加空間濾波， 輸出模塊，用於輸出所述視圖相關的強度函數。
15. —種用於實現權利要求1所述的方法的計算機可讀代碼。
全文摘要
本發明關於用於多視圖顯示器的圖像數據的呈現，如用於雙凸透鏡自動立體顯示器的圖像數據的呈現。該方法包括步驟提供用於圖像的視圖相關的圖像數據；確定用於該圖像的視圖相關的強度函數或亮度函數；施加空間濾波至該強度函數的視圖相關的坐標，該空間濾波是如低通濾波，高通濾波或低通和高通濾波的組合；以及將該視圖相關的強度函數取樣到多個子圖像，每個子圖像與圖像的觀看方向相關聯。
文檔編號H04N13/00GK101300855SQ200680041071
公開日2008年11月5日 申請日期2006年10月31日 優先權日2005年11月4日
發明者R·-p·M·伯雷蒂 申請人:皇家飛利浦電子股份有限公司