用於確定圖像序列的二維或三維顯示模式的方法和設備的製作方法

2023-06-15 03:18:06

專利名稱：用於確定圖像序列的二維或三維顯示模式的方法和設備的製作方法
技術領域：
本發明涉及二維(2D)圖像和三維(3D)圖像的顯示。
背景技術：
2D圖像序列包括從一個視點捕獲的圖像，而3D圖像序列包括從至少兩個視點捕獲的圖像。特別地，可以在使得圖像能夠投射到用戶的左眼和右眼兩者的3D顯示設備上三維地顯示包括左視點和右視點圖像的3D圖像序列。
當前的3D顯示設備可以三維地顯示輸入的3D圖像序列，並且也可以二維地顯示輸入的2D圖像序列。預定的3D顯示設備可以通過從輸入圖像序列中提取指示是二維地還是三維地顯示輸入圖像序列的參數或標誌來確定顯示模式。

發明內容
技術方案 本發明提供用於確定將以二維還是以三維(2D或3D)顯示模式顯示圖像序列的方法及設備。
根據本發明的一個示範性方面，提供一種確定二維(2D)或三維(3D)顯示模式的方法，所述方法包括接收圖像序列；確定圖像序列中包含的當前圖像是2D圖像還是3D圖像；並且根據確定結果來確定用於所述圖像序列的顯示模式是2D顯示模式還是3D顯示模式。
所述確定當前圖像是2D圖像還是3D圖像的步驟可以包括通過使用包含在圖像序列中的當前圖像的相鄰圖像來確定當前圖像是2D圖像還是3D圖像。
所述確定當前圖像是2D圖像還是3D圖像的步驟可以包括確定所述相鄰圖像的特徵變量和所述當前圖像的特徵變量；計算在所述相鄰圖像和所述當前圖像當中的兩個圖像的特徵變量之間的變化量；並且通過使用變化量之間的比值來確定所述當前圖像是2D 圖像還是3D圖像。
所述確定當前圖像是2D還是3D圖像的步驟還可以包括存儲特徵變量。所述計算變化量的步驟可以包括調用所存儲的特徵變量以便計算在所述兩個圖像的特徵變量之間的變化量。
所述確定特徵變量的步驟可以包括將所述當前圖像的前一圖像的第一統計值、所述當前圖像的第二統計值和所述當前圖像的後一圖像的第三統計值確定為特徵變量。所述計算變化量的步驟可以包括計算作為所述第一和第二統計值之間的差的絕對值的第一差值、作為所述第二和第三統計值之間的差的絕對值的第二差值、以及作為所述第二和第三統計值之間的差的絕對值的第三差值。所述確定當前圖像是2D還是3D圖像的步驟可以包括計算所述第一差值和所述第二差值之和與所述第三差值的比值。
在確定所述第一、第二和第三統計值的步驟中，可以將所述圖像序列的每一圖像的預定區域的平均值、方差和標準偏差中的一個用作統計值。
所述確定特徵變量的步驟可以包括當預定圖像的視差(disparity)表示所述圖像的預定區域相對於在所述預定圖像之前的圖像的預定區域的視差時，通過使用所述圖像序列的圖像的預定區域的視差，確定所述當前圖像的前一圖像的第一視差矢量、所述當前圖像的第二視差矢量和所述當前圖像的後一圖像的第三視差矢量；並且計算與所述第一視差矢量相關的第一視差值、與所述第二視差矢量相關的第二視差值和與所述第三視差矢量相關的第三視差值作為特徵變量。所述計算變化量的步驟可以包括計算作為在所述第一和第二視差值之間的差值的絕對值的第一差值、作為在所述第二和第三視差值之間的差值的絕對值的第二差值、和作為在所述第一和第三視差值之間的差值的絕對值的第三差值。所述確定當前圖像是2D還是3D圖像的步驟可以包括計算所述第一和第二差值之和與所述第三差值的比值。
所述計算所述第一、第二和第三視差值的步驟可以包括計算表示具有所述前一圖像的第一視差矢量當中的負的第一視差矢量的塊的數量與具有所述前一圖像的第一視差矢量當中的正的第一視差矢量的塊的數量的比值的第一視差值、表示具有所述當前圖像的第二視差矢量當中的負的第二視差矢量的塊的數量與具有所述當前圖像的第二視差矢量當中的正的第二視差矢量的塊的數量的比值的第二視差值、和表示具有所述後一圖像的第三視差矢量當中的負的第三視差矢量的塊的數量與具有所述後一圖像的第三視差矢量當中的正的第三視差矢量的塊的數量的比值的第三視差值。
所述確定所述當前圖像是2D圖像還是3D圖像的步驟還可以包括當在所述變化量之間的比值等於或大於閾值時，將所述當前圖像確定為3D圖像，而在所述變化量之間的比值小於所述閾值時，將所述當前圖像確定為2D圖像。
所述確定用於所述圖像序列的顯示模式是2D還是3D顯示模式的步驟還可以包括如果確定所述圖像序列的當前圖像是2D還是3D圖像的結果與確定所述圖像序列的預定數量的相鄰圖像是2D還是3D圖像的結果不同，則將所述當前圖像的顯示模式變換成與所述相鄰圖像的顯示模式相同的顯示模式。
如果用於圖像序列的顯示模式被確定為2D顯示模式，則所述確定2D或3D顯示模式的方法還可以包括以2D圖像格式排列所述圖像序列，並且利用2D圖像格式輸出所述圖像序列。
如果用於所述圖像序列的顯示模式被確定為3D顯示模式，則所述確定2D或3D顯示模式的方法還可以包括根據並排格式、上下格式、垂直線交織格式、水平線交織格式、幀順序格式、和場順序格式中的至少一種來形成具有彼此對應的左視點圖像和右視點圖像的幀，並輸出該幀。
根據本發明的另一示範性方面，提供一種用於確定2D或3D顯示模式的設備，所述設備包括圖像輸入單元，用於接收圖像序列；2D/3D圖像確定單元，用於確定所述圖像序列的當前圖像是2D圖像還是3D圖像；和2D/3D顯示模式確定單元，用於根據確定當前圖像是2D圖像還是3D圖像的結果來確定所述圖像序列的顯示模式是2D顯示模式還是3D顯示模式。
所述2D/3D圖像確定單元可以通過利用包含在圖像序列中的當前圖像的相鄰圖像來確定當前圖像是2D圖像還是3D圖像。
所述2D/3D圖像確定單元可以包括特徵變量確定單元，用於確定所述相鄰圖像的特徵變量和所述當前圖像的特徵變量；變化量計算單元，用於計算在所述相鄰圖像和所述當前圖像當中的兩個圖像的特徵變量之間的變化量；和變化量比值確定單元，用於通過使用根據在變化量之間的比值來確定所述當前圖像是2D圖像還是3D圖像。
所述設備還可以包括存儲單元，用於存儲特徵變量。所述變化量計算單元可以計算在所述相鄰圖像和當前圖像當中的兩個圖像的特徵變量之間的變化量，所述特徵變量存儲在所述存儲單元中。
根據本發明的再一示範性方面，提供一種計算機可讀記錄介質，其上記錄有程序， 所述程序用於執行如上所述的用於確定2D或3D顯示模式的方法。
技術效果 在根據本發明示範性實施例的用於確定2D或3D顯示模式的方法及設備中，即使不能支持或識別3D圖像的參數或標誌的3D顯示設備也可以通過僅僅利用與圖像序列的像素值有關的信息來確定圖像序列是2D圖像序列還是3D圖像序列，並且以合適的格式顯示所述圖像序列。
發送端不需要發送表示圖像序列是2D還是3D圖像序列的標誌等，而接收端不需要從所接收的圖像序列提取2D或3D圖像標誌。因而，甚至在使用顯示系統的硬體(諸如現有圖形卡)和傳輸線纜時，利用根據本發明示範性實施例的2D或3D顯示模式確定方法及設備的3D顯示設備也能夠顯示2D或3D圖像。


通過參照附圖詳細描述本發明的示範性實施例，本發明的上述和其他特徵將變得更加清楚，在附圖中 圖1是根據本發明一示範性實施例的二維/三維(2D/3D)顯示模式確定設備的方框圖； 圖2圖解了用於3D顯示的3D圖像格式和用於3D顯示的3D顯示方法； 圖3是根據本發明一示範性實施例的用於確定2D或3D顯示模式作為圖像序列的顯示模式的方法的流程圖； 圖4圖解了根據本發明一示範性實施例的2D/3D顯示設備； 圖5A是示出2D圖像序列的幀的平均值的分布的圖； 圖5B是示出3D圖像序列的幀的平均值的分布的圖； 圖6圖解了根據本發明一示範性實施例的用於執行2D/3D圖像確定的幀的平均值之間的關係； 圖7是示出3D圖像序列的每一幀的視差矢量的方向分布的圖； 圖8圖解了根據本發明一示範性實施例的用於執行2D/3D圖像確定的每一幀的視差矢量之間的關係； 圖9圖解根據本發明一示範性實施例的圖像序列的2D或3D顯示模式的確定； 圖10是根據本發明的另一示範性實施例的用於確定圖像序列的2D或3D顯示模式的方法的流程圖；和 圖11圖解了根據本發明一示範性實施例的2D/3D顯示模式確定設備的細節。
具體實施例方式根據本發明的一個示範性方面，提供一種確定二維(2D)或三維(3D)顯示模式的方法，所述方法包括接收圖像序列；確定包含在圖像序列中的當前圖像是2D圖像還是3D 圖像；並且根據確定結果來確定用於所述圖像序列的顯示模式是2D顯示模式還是3D顯示模式。
現在將參照其中示出了本發明的示範性實施例的附圖全面描述本發明。
圖1是根據本發明一示範性實施例的二維/三維(2D/3D)顯示模式確定設備100 的方框圖。參照圖1，該2D/3D顯示模式確定設備100包括圖像輸入單元110、2D/3D圖像確定單元120和2D/3D顯示模式確定單元130。
圖像輸入單元110接收圖像序列。所述圖像序列可以是2D圖像序列或3D圖像序列。可以以其中交替輸入彼此對應的左視點幀和右視點幀的幀順序格式來形成3D圖像序列。
2D/3D圖像確定單元120確定由圖像輸入單元110接收的圖像序列的當前圖像是 2D圖像還是3D圖像。下文中，由圖像輸入單元110接收的圖像序列被稱為當前圖像序列。 2D/3D圖像確定單元120也可以確定包括當前圖像的當前圖像序列是2D圖像序列還是3D 圖像序列。
2D/3D圖像確定單元120可以通過利用諸如當前圖像的前一圖像和後一圖像的相鄰圖像來確定包含在當前圖像序列中的當前圖像是2D圖像還是3D圖像。
如圖11所示，2D/3D圖像確定單元120可以包括特徵變量確定單元140，用於確定所述當前圖像和相鄰圖像的特徵變量；變化量計算單元150，用於計算在所述相鄰圖像和所述當前圖像當中的兩個圖像的特徵變量之間的變化量；和變化量比值確定單元160， 用於根據在變化量之間的比值來確定所述當前圖像是2D圖像還是3D圖像。
例如，在兩個圖像的特徵變量之間的變化量可以是特徵變量之間的差值、增加的比值或減小的比值。圖6和8中示出的兩個圖像的特徵變量之間的差值對應於特徵變量之間的變化量。
該2D/3D顯示模式確定設備100還可以包括存儲單元162，用於存儲用於確定當前圖像序列的2D/3D顯示模式的圖像的特徵變量。在示範性實施例中，特徵變量確定單元 140可以確定當前圖像和相鄰圖像的特徵變量並且將它們輸出到存儲單元162。變化量計算單元150可以從存儲單元162接收當前圖像和相鄰圖像的特徵變量，並且計算來自相鄰圖像和當前圖像的兩個圖像的特徵變量之間的變化量。
特徵變量確定單元140可以使用圖像中包含的像素的統計值或者與所述圖像相對於前一圖像的視差矢量相關的數字值作為所述圖像的特徵變量。所述統計值可以是像素的平均值、其方差或其標準偏差。所述與視差矢量相關的數字值可以是包含在所述圖像中的塊當中的具有負的視差矢量的塊的數量與包含在所述圖像中的塊當中的具有正的視差矢量的塊的數量的比值。
特徵變量確定單元140確定所述當前圖像的前一圖像的第一特徵變量、所述當前圖像的第二特徵變量和所述當前圖像的後一圖像的第三特徵變量。
變化量計算單元150計算作為在所述第一和第二特徵變量之間的差的絕對值的第一變化量，作為在所述第二和第三特徵變量之間的差的絕對值的第二變化量，以及作為在所述第一和第三特徵變量之間的差的絕對值的第三變化量。
變化量比值確定單元160可以包括變化量比值計算單元170，用於計算所述第一和第二變化量之和與所述第三變化量的比值。
變化量比值確定單元160可以包括差值比值比較單元180，用於比較所述變化量比值與預定閾值以確定當前圖像是2D還是3D圖像。
當由變化量比值計算單元170計算的所述第一和第二變化量之和與所述第三變化量的比值等於或大於閾值時，變化量比值確定單元160可以將所述當前圖像確定為3D圖像。另一方面，當由變化量比值計算單元170計算的與所述變化量相關的比值小於所述閾值時，變化量比值確定單元160可以將所述當前圖像確定為2D圖像。
下面參照圖5A到8描述在2D/3D圖像確定單元120中使用特徵變量、變化量和變化量比值的示範性實施例。
2D/3D顯示模式確定單元130根據由2D/3D圖像確定單元120執行的確定結果來確定2D顯示模式或3D顯示模式作為當前圖像序列的顯示模式。如果在2D/3D圖像確定單元120中確定所述當前圖像序列是3D圖像序列，則2D/3D顯示模式確定單元130可以確定當前圖像序列的顯示模式是3D顯示模式。另一方面，如果在2D/3D圖像確定單元120中確定所述當前圖像序列是2D圖像序列，則2D/3D顯示模式確定單元130可以確定當前圖像序列的顯示模式是2D顯示模式。
2D/3D顯示模式確定單元130可以以幀為單位或以包括幀的圖像序列為單位來執行顯示模式確定。
2D/3D顯示模式確定單元130可以包括顯示模式變換單元182，用於如果由 2D/3D圖像確定單元120對當前圖像執行的確定結果與對相鄰圖像執行的確定結果不同， 則將所述當前圖像的顯示模式變換成與所述相鄰圖像的顯示模式相同的顯示模式。
在通常的實時系統中，由於不存在關於將來圖像的信息，所以在對當前幀的顯示模式的確定上反映對一些在前幀的顯示模式的確定結果。在顯示模式方面與當前圖像進行比較的相鄰圖像是屬於輸入圖像序列的整個部分的包括當前圖像的特定部分的一系列圖像。下面參照圖9描述其中在2D/3D顯示模式確定單元130中使用顯示模式變換單元的示範性實施例。
2D/3D顯示模式確定設備100還可以包括3D圖像格式輸出單元184，用於以包括彼此對應的左視點圖像信息和右視點圖像信息的3D圖像格式排列在2D/3D顯示模式確定單元130中被確定為要以3D顯示模式顯示的每一圖像，以及用於以3D圖像格式輸出每一圖像以便在輸出設備185上再現。
2D/3D顯示模式確定設備100還可以包括2D圖像格式輸出單元186，用於以2D圖像格式排列在2D/3D顯示模式確定單元130中被確定為要以2D顯示模式顯示的每一圖像， 以及用於以2D圖像格式輸出每一圖像以便在輸出設備185上再現。
3D圖像格式的例子包括並排格式、上下格式、垂直線交織格式、水平線交織格式， 以及包括幀順序格式和場順序格式的翻(page-flip)格式。參照圖2詳細描述3D圖像格式。
圖2圖解了用於3D顯示的3D圖像格式200和3D顯示方法260。3D圖像格式200 的示例包括並排格式210、上下格式220、線交織格式230，以及包括幀順序格式240和場順序格式250的翻頁格式238。
並排格式210通過將左視點和右視點圖像的解析度在水平方向上減半並且橫向彼此相鄰(即並排)排列關於解析度被減半的左視點圖像的信息214和關於解析度被減半的右視點圖像的信息216來形成圖像。
上下格式220通過將左視點和右視點圖像的解析度在垂直方向上減半並且彼此上下排列關於解析度被減半的左視點圖像的信息222和關於解析度被減半的右視點圖像的信息224來形成圖像。
線交織格式230通過交替排列左視點圖像線和右視點圖像線來形成圖像。當左視點圖像的水平線252與右視點圖像的水平線254交替時，形成水平線交織格式的3D圖像。 當左視點圖像的垂直線與右視點圖像的垂直線交替時，形成垂直線交織格式的3D圖像。
在翻頁格式238中，按照時間交替排列左視點圖像的完整頁和右視點圖像的完整頁。在幀順序格式240中，按照時間以幀為單位交替排列彼此對應的左視點圖像信息255 和右視點圖像信息256。在場順序格式250中，按照時間交替排列左視點圖像場257和右視點圖像場258。
在翻頁格式238中，可以使用關於其解析度在空間上沒有減小的左視點圖像和右視點圖像的每一個的信息，但是左視點圖像和右視點圖像的頻率在時間上減半。
利用3D圖像格式200的3D顯示方法260的例子包括在數字光處理(DLP)顯示設備271、等離子體顯示板(PDP) 272和液晶顯示器(LCD) 273中使用的顯示方法270、使用偏振頁的空間分割顯示方法274、和在偏振類型的投影器中使用的顯示方法280。
根據在包括DLP顯示設備271、PDP 272和IXD 273的顯示設備275中使用的顯示方法270，可以利用翻頁格式238 (例如幀順序格式240或場順序格式250)來顯示3D圖像。 根據空間分割顯示方法274，可以利用垂直或水平線交織格式230來顯示3D圖像。根據在偏振類型的投影器使用的顯示方法280，可以在第一設備284和第二設備286上顯示經由兩個通道282接收的3D圖像。
圖3是根據本發明一示範性實施例的用於確定圖像序列的2D或3D顯示模式的方法的流程圖。
當在操作310中輸入圖像序列時，在操作320中分析輸入圖像序列的類型以確定該輸入圖像序列是否是3D圖像序列。在操作330中，根據確定結果來確定所述輸入圖像序列是否是3D圖像序列。當在操作330中確定輸入圖像序列是3D圖像序列時，在操作340 將包含在輸入圖像序列中的圖像排列成3D圖像格式。然後，在操作350，在3D顯示設備上三維地顯示具有3D圖像格式的圖像，並且因而用戶可以體驗3D效果。
另一方面，當在操作330中確定輸入圖像序列是2D圖像序列時，在操作360中以 2D圖像格式來排列輸入圖像序列。在操作370，在3D顯示設備上二維地顯示具有2D圖像格式的圖像序列。參照圖4到10描述根據本發明一示範性實施例的、通過僅僅使用關於輸入圖像序列的圖像的信息而確定輸入圖像序列是2D還是3D圖像序列的方法及設備。
圖4圖解了根據本發明一示範性實施例的2D/3D顯示設備430。
2D/3D顯示設備430採用根據本發明一示範性實施例的2D/3D顯示模式確定方法並且可以從圖形卡410接收2D圖像序列415或從DVD/藍光碟(BD)播放器420接收具有幀順序格式的3D圖像序列425。
2D/3D顯示設備430包括3D圖像分析單元440、3D圖像格式變換單元450和顯示單元460。圖4的部件也可以包含在諸如BD播放器之類的圖像顯示設備中，或者包含在諸如3D TV或3D監視器之類的3D圖像顯示設備中。
3D圖像分析單元440通過使用關於輸入的2D圖像序列415和3D圖像序列425的圖像信息來分析輸入的2D圖像序列415和3D圖像序列425的類型以確定輸入的2D圖像序列415和3D圖像序列425的圖像是否是3D圖像。3D圖像分析單元440向3D圖像格式變換單元450輸出被確定為3D圖像序列的圖像序列並且直接向顯示單元460輸出被確定為2D圖像序列的圖像序列。
3D圖像格式變換單元450以3D圖像格式排列被確定為3D圖像序列的圖像序列的圖像，並且向顯示單元460輸出具有3D圖像格式的圖像。3D圖像格式變換單元450可以根據顯示單元460中使用的3D顯示方法以並排格式、上下格式、垂直/水平線交織格式、幀順序格式或場順序格式來排列所接收的圖像。
根據圖像格式的類型，顯示單元460可以二維地顯示2D圖像格式的圖像序列，或者三維地顯示3D圖像格式的圖像序列。
當將2D/3D顯示設備430與2D/3D顯示模式確定設備100比較時，3D圖像分析單元440可以充當2D/3D圖像確定單元120，3D圖像格式變換單元450可以充當2D/3D顯示模式確定單元130。
在根據本發明示範性實施例的確定2D或3D顯示模式的方法及設備中，甚至不能支持或識別3D圖像的參數或標誌的3D顯示設備仍然可以通過僅僅使用關於圖像序列的像素值的信息來確定圖像序列是2D還是3D圖像序列，並且以合適的圖像格式來顯示圖像序列。
發送端不需要發送表示圖像序列是2D還是3D圖像序列的標誌等，而接收端不需要從所接收的圖像序列提取2D或3D標誌。因而，甚至在使用顯示系統的硬體(諸如現有圖形卡)和傳輸線纜時，利用根據本發明示範性實施例的2D或3D顯示模式確定方法及設備的3D顯示設備能夠顯示2D或3D圖像。
圖5A是示出2D圖像序列的幀的平均值的分布的圖，而圖5B是示出3D圖像序列的幀的平均值的分布的圖。
通過按照時間以幀為單位排列從一個視點捕獲的圖像來獲得圖5A中示出的2D圖像序列。通過按照時間順序以幀為單位交替排列從左視點和右視點捕獲的圖像來獲得圖5B 中示出的3D圖像序列。
參照圖5A的2D圖像序列的圖，在時間上相鄰的幀的像素值的平均值之間的變化量不大。另一方面，參照圖5B的3D圖像序列的圖，在時間上相鄰的幀的像素值的平均值之間的變化量相當大。
由於在3D圖像序列中交替排列的左視點幀和右視點幀具有不同分布的像素值， 所以圖5B的圖顯示了在左視點幀的像素值的平均值510和緊挨著該左視點幀之前或之後的右視點幀的像素值的平均值520之間的變化量相當大。
雖然圖5A和5B通過圖解幀的像素值的平均值來示出在2D/3D圖像序列的幀特徵之間的差，但是也可以通過使用幀的像素值的方差、標準偏差等而不是使用像素值的平均值來檢查在2D/3D圖像序列的幀特徵之間的差。
圖1的2D/3D圖像確定單元120可以通過使用如圖5A和5B所示的幀的像素值的平均值的分布來確定輸入圖像序列是2D還是3D圖像序列。參照圖6來描述其中2D/3D圖像確定單元120使用幀的像素值的平均值作為幀的特徵變量的方法。
圖6圖解了根據本發明一示範性實施例的用於執行2D/3D圖像確定的幀的平均值之間的關係。
前一幀610是在時刻t-Ι的第一左視點圖像Li，當前幀620是在時刻t的右視點圖像R，而後一幀630是在時刻t+Ι的第二左視點圖像L2。所述前一幀610、當前幀620和後一幀630對應於在左視點圖像L和右視點圖像R之間的交替。所述前一幀610、當前幀 620和後一幀630是包含在3D圖像序列632中的一些幀。
當每一幀的像素值的統計值被用作每一幀的特徵變量時，2D/3D圖像確定單元 120的特徵變量確定單元140可以包括統計值確定單元634，用於確定每一幀的像素值的統計值，並且2D/3D圖像確定單元120的變化量計算單元150可以包括統計值差值計算單元636，用於計算在相鄰幀的統計值之間的差值。2D/3D圖像確定單元120的變化量比值確定單元160可以包括統計值差值比值計算單元638，用於計算在相鄰幀之間的差值的比值。
雖然在圖6中示出所述前一幀610、當前幀620和後一幀630在左視點圖像和右視點圖像之間交替，但是2D/3D顯示模式確定設備100可以通過利用所述前一幀610、當前幀620和後一幀630的像素值的統計值來確定輸入圖像序列是2D還是3D圖像序列，而不接收表示左視點圖像信息和右視點圖像信息在輸入圖像序列中交替的信息。在圖6中，使用各種類型的統計值當中的平均值作為每一幀的特徵變量。
統計值確定單元634確定所述前一幀610的第一統計值、所述當前幀620的第二統計值和所述後一幀630的第三統計值。
參照圖6，統計值確定單元634可以確定所述前一幀610的像素值的平均值 mean (t_l) 640、所述當前幀620的像素值的平均值mean (t) 650和所述後一幀630的像素值的平均值 mean (t+1) 660。
統計值差值計算單元636計算在所述前一幀610和當前幀620的統計值之間的第一差值、在所述當前幀620和後一幀630的統計值之間的第二差值和在所述前一幀610和後一幀630的統計值之間的第三差值。
統計值差值計算單元636通過利用差值的絕對值來計算幀的統計值之間的差值。 使用統計值之間的差值的絕對值的原因是防止差值的和由於差值的方向(例如正的值或負的值)而抵消。
參照圖6，統計值差值計算單元636可以確定等於在所述前一幀610的平均值 mean (t_l) 640和所述當前幀620的平均值mean (t) 650之間的差值的絕對值的第一差值diffMl。類似地，統計值差值計算單元636可以確定等於在所述當前幀620的平均值 mean (t) 650和所述後一幀630的平均值mean (t+1) 660之間的差值的絕對值的第二差值 diffM2,以及等於在所述前一幀610的平均值mean (t-1) 640和所述後一幀630的平均值 mean (t+1) 660之間的差值的絕對值的第三差值diffM3。
統計值差值比值計算單元638計算所述第一差值和所述第二差值之和與所述第三差值的比值。通過將所述第一差值diffMl和第二差值diffM2之和除以所述第三差值 diffM3和常數c之和來獲得統計值差值比值Dm。
Dm= (diffMl+diffM2)/(diffM3+c).............(1) 其中，所述常數c用於防止除數等於0。
差值比值比較單元180比較所述差值比值Dm和閾值以確定當前圖像是2D還是3D 圖像。例如，當閾值是1時，如果在緊緊相鄰的幀之間的差值的和大於在其間具有一幀的相鄰幀之間的差值(即統計值差值比值Dm > 1)，則在相鄰幀的統計值之間的差較大。因而， 變化量比值確定單元160可以確定所述前一幀610、當前幀620和後一幀630包含在3D圖像序列中。
另一方面，如果在緊緊相鄰的幀之間的差值的和小於在其間具有一幀的相鄰幀之間的差值(即統計值差值比值Dm < 1)，則在相鄰幀的統計值之間的差較小。因而，變化量比值確定單元160可以確定所述前一幀610、當前幀620和後一幀630包含在2D圖像序列中。
圖7是示出3D圖像序列的每一幀的視差矢量的方向分布的圖。
通過根據幀的順序交替地排列左視點圖像信息和右視點圖像信息來獲得3D圖像序列。如果當前幀是左視點幀，則前一幀和後一幀是右視點幀。可以通過估計幀相對於前一幀的視差來確定所述幀的視差矢量。如果提供了圖像序列的視差矢量的參數，則可以利用所述圖像序列的視差矢量的參數來確定所述圖像序列的每一幀的視差矢量。
可以通過利用具有負方向的視差矢量的幀的塊的數量810和具有正方向的視差矢量的幀的塊的數量820之間的比值來確定圖像序列是否在左和右視點圖像之間交替。參照根據圖7的視差矢量的方向的塊分布，根據右視點幀(即偶數序號的幀)的視差矢量的方向的塊的數量之間的比值與根據左視點幀(即奇數序號的幀)的視差矢量的方向的塊的數量之間的比值存在較大的差。
2D/3D圖像確定單元120可以通過比較具有負的視差矢量的預定幀的塊數與具有正的視差矢量的塊數之間的比值與相鄰幀的比值，基於如圖7所示的每個幀的視差矢量的方向，來確定輸入圖像序列是2D還是3D圖像序列。參照圖8來描述2D/3D圖像確定單元 120通過其來使用每一幀的視差矢量作為每一幀的特徵變量的方法。
圖8圖解了根據本發明一示範性實施例的用於執行2D/3D圖像確定的每一幀的視差矢量之間的關係。
參照圖8，圖像序列902是通過交替地排列在時刻t-2的第一右視點幀910、在時刻t-Ι的第一左視點幀920、在時刻t的第二右視點幀930和在時刻t+Ι的第二左視點幀 940而獲得的3D圖像序列。在時刻t的第二右視點幀930是當前幀。
2D/3D顯示模式確定設備100可以通過利用每一幀910、920、930和940的視差矢量的方向來確定輸入圖像序列是2D還是3D圖像序列，而不接收表示左視點圖像信息和右視點圖像信息在該輸入圖像序列中交替的信息。特徵變量確定單元140可以利用根據每一幀的視差矢量的方向的塊數之間的比值作為每一幀的特徵變量。
當在根據每一幀的視差矢量的方向的塊數之間的比值被用作每一幀的特徵變量時，2D/3D圖像確定單元120的特徵變量確定單元140可以包括視差矢量確定單元950， 用於確定每一幀的視差矢量；和視差值計算單元960，用於根據每一幀的視差矢量來計算視差值。2D/3D圖像確定單元120的變化量計算單元150可以包括視差值差值計算單元 970，用於計算在相鄰幀的視差值之間的差值。2D/3D圖像確定單元120的變化量比值確定單元160可以包括視差值差值比值計算單元980，用於計算所述差值的比值。
視差矢量確定單元950可以通過估計預定幀的預定區域相對於所述預定幀的前一幀的預定區域的視差來確定預定幀的視差矢量。因而，視差矢量確定單元950可以不僅使用一幀的整個區域的視差，而且可以使用該幀的一些區域的視差。當輸入了一幀的視差矢量的參數時，視差矢量確定單元950可以從該參數中提取該幀的視差矢量值。
視差矢量確定單元950可以確定作為前一幀920的視差矢量的第一視差矢量、作為當前幀930的視差矢量的第二視差矢量和作為後一幀940的視差矢量的第三視差矢量。 參照圖8，視差矢量確定單元950可以確定前一幀920的第一視差矢量DVw、當前幀930的第二視差矢量DVt和後一幀940的第三視差矢量DVt+1。
視差值計算單元960計算表示根據第一視差矢量的方向的前一幀920的塊數之間的比值的第一視差矢量值、表示根據第二視差矢量的方向的當前幀930的塊數之間的比值的第二視差矢量值、和表示根據第三視差矢量的方向的後一幀940的塊數之間的比值的第三視差矢量值。
參照圖8，視差值計算單元960可以計算表示根據第一視差矢量DVw的方向的前一幀920的塊數之間的比值的視差值RDV(t-l)、表示根據第二視差矢量DVt的方向的當前幀 930的塊數之間的比值的視差值RDV(t)、和表示根據第三視差矢量DVt+1的方向的後一幀940 的塊數之間的比值的視差值RDV(t+l)。
視差值計算單元960通過將具有負方向的視差矢量的第η幀的塊數除以具有正方向的視差矢量的第η幀的塊數與1之和來計算視差值Rdv(H) Rdv(η)=(具有負的視差矢量的塊數)/(具有正的視差矢量的塊數 +1)............(2) 其中，將1加到除數中以防止除數等於0。
視差值差值計算單元970計算所述前一幀920和當前幀930的視差值之間的第一差值、所述當前幀930和後一幀940的視差值之間的第二差值、和所述前一幀920和後一幀 940的視差值之間的第三差值。
參照圖8，視差值差值計算單元970計算所述前一幀920的視差值RDV(t_l)和當前幀930的視差值RDV(t)之間的第一差值diffDVl、所述當前幀930的視差值RDV(t)和後一幀940的視差值RDV(t+l)之間的第二差值diffDV2、和所述前一幀920的視差值RDV(t_l)和後一幀940的視差值RDV(t+l)之間的第三差值diffDV3。
視差值差值比值計算單元980計算所述第一差值和第二差值之和與所述第三差值的比值。更具體地說，通過將第一差值diffDVl和第二差值diffDV2之和除以第三差值 diffDV3和常數c之和來獲得視差值差值比值Dd Dd= (diffDV l+diffDV2)/(diffDV3+c)............(3) 其中，常數c用於防止除數等於0。
如上所述，差值比值比較單元180可以比較由視差值差值比值計算單元980獲得視差值差值比值Dd與閾值以確定當前圖像是2D還是3D圖像。
圖9圖解根據本發明一示範性實施例的圖像序列的2D或3D顯示模式的確定。
由2D/3D圖像確定單元120確定圖像序列1100的幀是2D還是3D圖像，由此獲得作為確定結果的所確定的圖像序列1110。如果僅僅圖像序列1100的特定幀1120被確定為2D (或3D)圖像並且其餘幀被確定為3D (或2D)圖像，則2D/3D顯示模式確定單元130可以將整個圖像序列1100的顯示模式確定為3D(或2D)顯示模式以保證圖像序列1100的顯示模式的統一或者增加由2D/3D圖像確定單元120執行的確定結果的可靠性。
2D/3D顯示模式確定單元130可以在考慮諸如系統的存儲器之類的系統資源的情況下，調整在由2D/3D圖像確定單元120執行的比較中使用的相鄰幀的範圍。
在一些情況中，如果當前圖像或當前圖像序列的顯示模式被2D/3D顯示模式確定單元130確定為3D顯示模式，則需要以適合於在能夠執行3D顯示的圖像顯示設備中使用的顯示方法的格式來排列和輸出當前圖像或當前圖像序列。相應地，根據本發明另一示範性實施例的2D/3D顯示模式確定設備100的輸出單元以合適的3D圖像格式排列3D圖像序列並且輸出該具有3D圖像格式的3D圖像序列。
如果在遵循以幀順序格式顯示圖像的方法的顯示設備上輸出圖像序列，則2D/3D 顯示模式確定設備100還可以包括3D幀順序格式輸出單元，其通過以幀為單位交替與當前圖像對應的左和右視點圖像來形成幀順序格式並以幀順序格式輸出當前圖像。
2D/3D顯示模式確定設備100還可以包括3D垂直線交織格式輸出單元，其以垂直線交織格式排列左視點圖像和右視點圖像，並以垂直線交織格式輸出左視點圖像和右視點圖像，在垂直線交織格式中，交替排列具有水平減半的解析度的左視點圖像和右視點圖像的垂直線。
圖10是根據本發明的另一示範性實施例的用於確定圖像序列的2D或3D顯示模式的方法的流程圖。
在操作1210，輸入圖像序列。在示範性實施例中，甚至在表示該輸入圖像序列是 2D還是3D圖像的信息不單獨輸入時，也可以僅利用該圖像序列來確定所述輸入圖像序列是2D還是3D圖像序列。
在操作1220，確定包含在圖像序列中的當前圖像是2D還是3D圖像。更具體地，可以以幀為單位或以圖像序列為單位執行該確定。可以通過利用在時間上相鄰的圖像或相鄰圖像的特徵變量之間的變化量來執行該確定。例如，每一幀的特徵變量可以是諸如每個幀的像素的平均值、方差或標準偏差的統計值，或者是與每一幀的視差矢量相關的信息。
在操作1230，根據在操作1220中執行的確定的結果，當前圖像的顯示模式被確定為2D或3D顯示模式。如果在操作1220中確定當前圖像是2D圖像，則當前圖像的顯示模式被確定為2D顯示模式。另一方面，如果在操作1220中確定當前圖像是3D圖像，則當前圖像的顯示模式被確定為3D顯示模式。
如果對於包含在圖像序列的預定區域中的圖像當中的預定圖像進行的確定的結果與對其他大量圖像的確定的結果不同，則圖像序列的顯示模式可被確定為與其他大量圖像的顯示模式相同。在實時系統中，根據對一些在前圖像的確定的結果來確定當前圖像的顯示模式。
在操作1240，根據在操作1230中執行的顯示模式的確定結果以2D或3D圖像格式來輸出圖像序列。甚至在圖像序列的顯示模式被確定為3D顯示模式時，也可以根據顯示設備支持的3D顯示方法來確定諸如垂直線交織格式或幀順序格式之類的3D圖像格式，並且可以以3D圖像格式來排列圖像序列。
本發明的示範性實施例可以被編寫成電腦程式並且可以被實現在利用計算機可讀記錄介質來執行該程序的通用數字計算機中。計算機可讀記錄介質的例子包括磁存儲介質(例如ROM、磁碟、硬碟等)、光記錄介質(例如⑶-ROM或DVD)。
示範性實施例也可以被體現為在傳輸介質上的計算機可讀代碼或指令。傳輸介質的例子包括載波和可以通過網際網路攜帶數據的其他數據傳輸設備。
雖然已參照本發明的示範性實施例示出和描述了本發明，但是本領域普通技術人員將理解在不脫離由隨後的權利要求限定的本發明的精神和範圍的情況下，可以在其中進行形式上和細節上的各種變化。
權利要求
1.一種確定二維(2D)或三維(3D)顯示模式的方法，所述方法包括 接收包括當前圖像的圖像序列；確定當前圖像是2D圖像還是3D圖像；以及基於確定當前圖像是2D圖像還是3D圖像的結果來確定用於所述圖像序列的顯示模式是2D顯示模式還是3D顯示模式。
2.如權利要求1所述的方法，其中，所述確定當前圖像是2D圖像還是3D圖像的步驟包括基於包含在圖像序列中的當前圖像的相鄰圖像來確定當前圖像是2D圖像還是3D圖像。
3.如權利要求2所述的方法，其中，所述確定當前圖像是2D圖像還是3D圖像的步驟還包括確定所述相鄰圖像的特徵變量和所述當前圖像的特徵變量；計算所述相鄰圖像和所述當前圖像當中的兩個圖像的特徵變量之間的變化量；以及基於變化量之間的比值來確定所述當前圖像是2D圖像還是3D圖像。
4.如權利要求3所述的方法，還包括 存儲所確定的特徵變量；以及檢索所存儲的特徵變量以計算所述兩個圖像的特徵變量之間的變化量。
5.如權利要求3所述的方法，其中，所述相鄰圖像包括前一圖像和後一圖像，所述方法還包括將所述前一圖像的第一統計值、所述當前圖像的第二統計值和所述後一圖像的第三統計值確定為所述特徵變量；計算作為所述第一和第二統計值之間的差值的絕對值的第一差值，作為所述第二和第三統計值之間的差值的絕對值的第二差值，以及作為所述第一和第三統計值之間的差值的絕對值的第三差值；並且計算所述第一差值和所述第二差值之和與所述第三差值的比值。
6.如權利要求5所述的方法，其中，在確定所述第一、第二和第三統計值的步驟中，所述圖像序列的每一圖像的預定區域的平均值、方差和標準偏差中的一個被用作統計值。
7.如權利要求3所述的方法，其中，所述相鄰圖像包括前一圖像和後一圖像，所述方法還包括基於所述圖像序列的圖像的預定區域的視差，確定所述前一圖像的第一視差矢量、所述當前圖像的第二視差矢量和所述後一圖像的第三視差矢量，其中，預定圖像的視差表示所述圖像的預定區域相對於在所述預定圖像之前的圖像的預定區域的視差；計算與所述第一視差矢量相關的第一視差值、與所述第二視差矢量相關的第二視差值和與所述第三視差矢量相關的第三視差值作為特徵變量；計算作為所述第一和第二視差值之間的差值的絕對值的第一差值、作為所述第二和第三視差值之間的差值的絕對值的第二差值、和作為所述第一和第三視差值之間的差值的絕對值的第三差值；以及計算所述第一和第二差值之和與所述第三差值的比值。
8.如權利要求7所述的方法，其中，計算所述第一、第二和第三視差值的步驟包括計算作為具有所述前一圖像的第一視差矢量當中的負的第一視差矢量的塊的數量與具有正的第一視差矢量的塊的數量的比值的第一視差值、作為具有所述當前圖像的第二視差矢量當中的負的第二視差矢量的塊的數量與具有正的第二視差矢量的塊的數量的比值的第二視差值、和作為具有所述後一圖像的第三視差矢量的負的第三視差矢量的塊的數量與具有正的第三視差矢量的塊的數量的比值的第三視差值。
9.如權利要求3所述的方法，其中確定所述當前圖像是2D圖像還是3D圖像的步驟還包括當所述變化量之間的比值等於或大於閾值時，將所述當前圖像確定為3D圖像，以及當所述變化量之間的比值小於所述閾值時，將所述當前圖像確定為2D圖像。
10.如權利要求2所述的方法，其中，確定用於所述圖像序列的顯示模式是2D顯示模式還是3D顯示模式的步驟包括如果確定所述圖像序列的當前圖像是2D還是3D圖像的結果與確定所述圖像序列的預定數量的相鄰圖像是2D還是3D圖像的結果不同，則將所述當前圖像的顯示模式變換成與所述相鄰圖像的顯示模式相同的顯示模式。
11.如權利要求1所述的方法，還包括如果用於圖像序列的顯示模式被確定為2D顯示模式，則以2D圖像格式排列所述圖像序列，並且輸出具有所述2D顯示格式的圖像序列。
12.如權利要求1所述的方法，還包括如果用於所述圖像序列的顯示模式被確定為3D顯示模式，則根據並排格式、上下格式、垂直線交織格式、水平線交織格式、幀順序格式、和場順序格式中的至少一種來形成具有彼此對應的左視點圖像和右視點圖像的幀，並輸出所形成的幀。
13.一種用於確定2D或3D顯示模式的設備，所述設備包括圖像輸入單元，用於接收包括當前圖像的圖像序列；2D/3D圖像確定單元，用於確定當前圖像是2D圖像還是3D圖像；和2D/3D顯示模式確定單元，用於基於確定當前圖像是2D圖像還是3D圖像的結果來確定所述圖像序列的顯示模式是2D顯示模式還是3D顯示模式。
14.如權利要求13所述的設備，其中，所述2D/3D圖像確定單元基於包含在圖像序列中的當前圖像的相鄰圖像來確定當前圖像是2D圖像還是3D圖像。
15.如權利要求14所述的設備，其中，所述2D/3D圖像確定單元包括特徵變量確定單元，用於確定所述相鄰圖像的特徵變量和所述當前圖像的特徵變量；變化量計算單元，用於計算所述相鄰圖像和所述當前圖像當中的兩個圖像的特徵變量之間的變化量；和變化量比值確定單元，用於基於變化量之間的比值來確定所述當前圖像是2D圖像還是3D圖像。
16.如權利要求15所述的設備，還包括存儲單元，用於存儲所計算的特徵變量。
17.如權利要求15所述的設備，其中，所述相鄰圖像包括前一圖像和後一圖像，並且其中所述2D/3D圖像確定單元還包括統計值確定單元，用於將所述前一圖像的第一統計值、所述當前圖像的第二統計值和所述後一圖像的第三統計值確定為所述特徵變量；統計值差值計算單元，用於計算作為所述第一和第二統計值之間的差值的絕對值的第一差值，作為所述第二和第三統計值之間的差值的絕對值的第二差值，以及作為所述第一和第三統計值之間的差值的絕對值的第三差值；力口統計值差值比值計算單元，用於計算所述第一差值和所述第二差值之和與所述第三差值的比值。
18.如權利要求17所述的設備，其中，所述統計值確定單元將所述圖像序列的每一圖像的預定區域的平均值、方差和標準偏差中的一個確定為統計值。
19.如權利要求15所述的設備，其中，所述相鄰圖像包括前一圖像和後一圖像，並且其中所述2D/3D圖像確定單元還包括視差矢量確定單元，用於基於所述圖像序列的圖像的預定區域的視差來確定所述前一圖像的第一視差矢量、所述當前圖像的第二視差矢量和所述後一圖像的第三視差矢量，其中，預定圖像的視差表示所述圖像的預定區域相對於在所述預定圖像之前的圖像的預定區域的視差；視差值計算單元，用於計算與所述第一視差矢量相關的第一視差值、與所述第二視差矢量相關的第二視差值和與所述第三視差矢量相關的第三視差值作為特徵變量；視差值差值計算單元，用於計算作為所述第一和第二視差值之間的差值的絕對值的第一差值、作為所述第二和第三視差值之間的差值的絕對值的第二差值、和作為所述第一和第三視差值之間的差值的絕對值的第三差值；和視差值差值比值計算單元，用於計算所述第一和第二差值之和與所述第三差值的比值。
20.如權利要求19所述的設備，其中，所述視差值計算單元計算作為具有所述前一圖像的第一視差矢量當中的負的第一視差矢量的塊的數量與具有正的第一視差矢量的塊的數量的比值的第一視差值，作為具有所述當前圖像的第二視差矢量當中的負的第二視差矢量的塊的數量與具有正的第二視差矢量的塊的數量的比值的第二視差值，和作為具有所述後一圖像的第三視差矢量當中的負的第三視差矢量的塊的數量與具有正的第三視差矢量的塊的數量的比值的第三視差值。
21.如權利要求15所述的設備，其中所述變化量比值確定單元還包括變化量比值比較單元，用於當所述變化量之間的比值等於或大於閾值時，將所述當前圖像確定為3D圖像，以及當所述變化量之間的比值小於所述閾值時，將所述當前圖像確定為2D圖像。
22.如權利要求14所述的設備，其中，所述2D/3D顯示模式確定單元還包括 顯示模式變換單元，用於如果確定所述圖像序列的當前圖像是2D還是3D圖像的結果與確定所述圖像序列的預定數量的相鄰圖像是2D還是3D圖像的結果不同，則將所述當前圖像的顯示模式變換成與所述相鄰圖像的顯示模式相同的顯示模式。
23.如權利要求13所述的設備，還包括2D顯示模式輸出單元，用於如果用於圖像序列的顯示模式被確定為2D顯示模式，則以 2D圖像格式排列所述圖像序列，並且輸出具有所述2D顯示格式的圖像序列。
24.如權利要求13所述的設備，還包括3D圖像格式輸出單元，用於如果用於所述圖像序列的顯示模式被確定為3D顯示模式， 則根據並排格式、上下格式、垂直線交織格式、水平線交織格式、幀順序格式、和場順序格式中的至少一種來形成具有彼此對應的左視點圖像和右視點圖像的幀，並且輸出所形成的幀。
25.一種計算機可讀記錄介質，其上記錄有程序，其中，所述程序在由計算機運行時使得所述計算機執行用於確定2D或3D顯示模式的方法，所述方法包括接收包括當前圖像的圖像序列；確定當前圖像是2D圖像還是3D圖像；並且基於確定當前圖像是2D圖像還是3D圖像的結果來確定用於所述圖像序列的顯示模式是2D顯示模式還是3D顯示模式。
全文摘要
提供一種用於確定二維(2D)或三維(3D)顯示模式的方法。接收圖像序列。確定在圖像序列中包含的當前圖像是2D圖像還是3D圖像。基於確定結果，確定用於圖像序列的2D或3D顯示模式。
文檔編號H04N13/04GK102187680SQ200980141106
公開日2011年9月14日 申請日期2009年5月19日 優先權日2008年8月18日
發明者金容臺, 樸相武, 金大式 申請人:三星電子株式會社