深度相關的影像加強系統及方法

2023-05-03 00:39:46 1

專利名稱：深度相關的影像加強系統及方法
技術領域：
本發明涉及 一 種影像強化(enhancement)，特別是涉及 一 種深度相關 (d印th-based)的影像或視訊強化的深度相關的影像加強系統及方法。
背景技術：
當三維物體藉由照相機或攝影機而投影映射至二維影像平面時，由於此種投射為 非唯一的多對一轉換，因此會失去立體深度資訊。換句話說，無法藉由投射後的影像點來決 定其深度。為了得到一個完整重現或近似的立體表現，必須恢復或產生這些立體深度資訊， 用以進行影像強化(enhancement)、影像復原(restoration)、影像合成或影像的顯示。
影像強化是數字(即數位，本文均稱為數字)影像或視訊處理當中很重要的一種。 廣義來看，幾乎所有的數字影像處理工作都會應用到影像強化。 一方面來看，影像強化用以 改進影像的品質(例如對比及亮度)；另一方面來看，影像強化用以作為後續影像處理的準 備或前置處理。 影像邊界(edge)的強化或偵測為一種重要的影像強化操作。影像邊界強化會加 強影像的邊界或顯示出邊界的細節(例如影像中物體的輪廓)，而保持或甚至壓制影像的 其他部分。 傳統的邊界加強通常對二維影像進行二維頻率轉換。頻率轉換是將影像自空間域 的亮度表示轉換為頻域的頻率成分表示。經頻率轉換的高頻成分或邊界資訊，其強度會增 加或加強，因而產生邊界加強的影像。然而，傳統方法對於不同深度的邊界並沒有作區別， 因此，單調地分派相同的深度值給不同的邊界。 鑑於上述傳統方法未能忠實地進行影像的加強，因此亟需提出一種深度相關的影
像/視訊加強系統及方法，除了加強影像外，也考量了個別的立體深度資訊。 由此可見，上述現有的影像加強系統及方法在產品結構、方法與使用上，顯然仍存
在有不便與缺陷，而亟待加以進一步改進。為了解決上述存在的問題，相關廠商莫不費盡心
思來謀求解決之道，但長久以來一直未見適用的設計被發展完成，而一般產品及方法又沒
有適切的結構及方法能夠解決上述問題，此顯然是相關業者急欲解決的問題。因此如何能
創設一種新的深度相關的影像加強系統及方法，實屬當前重要研發課題之一，亦成為當前
業界極需改進的目標。

發明內容
本發明的目的在於，克服現有的影像加強系統及方法存在的缺陷，而提供一種新 的深度相關的影像/視訊加強系統及方法，所要解決的技術問題是使其使用立體深度資訊 以忠實地改良影像品質，非常適於實用。 本發明的目的及解決其技術問題是採用以下技術方案來實現的。依據本發明提出 的一種深度相關的影像加強系統，包含一深度估算單元，用以從二維影像產生立體深度資 訊；以及一影像加強單元，其根據該立體深度資訊以加強該二維影像。
本發明的目的及解決其技術問題還可採用以下技術措施進一步實現。 前述的深度相關的影像加強系統，其中上述的影像加強單元對於該二維影像中具
有較小深度值的物體使用較大加強權重，而對於具有較大深度值的物體則使用較小加強權重。 前述的深度相關的影像加強系統，其中上述的影像加強單元對於下列的一或多個 特徵進行加強邊界、對比及飽和度。 前述的深度相關的影像加強系統，其中上述的影像加強單元包含下列的一或多個 元件一深度相關邊界加強單元，用以強調(emphasize)該二維影像的邊界細節；一顏色空 間轉換器，用以轉換該二維影像的顏色空間(color space)，以得到亮度(luma)成分及色 度(chroma)成分；一深度相關對比調整單元，用以加強該亮度成分的對比特徵；一深度相 關飽和度調整單元，用以加強該色度成分的飽和度特徵；及一顏色空間反轉換器，用以將該 亮度成分及色度成分轉換回原始二維影像的顏色空間。 前述的深度相關的影像加強系統，其中上述的深度相關邊界加強單元包含一空 間域折遮罩(convolution mak)，其針對該二維影像的一中心像素周圍的像素群進行處理。
前述的深度相關的影像加強系統，其中上述的深度相關對比調整單元包含一亮 度分布圖伸展(histogram stretching)裝置，用以將灰階值大於臨界值的像素值予以增 加，而將灰階值小於臨界值的像素值予以降低。 前述的深度相關的影像加強系統，其中上述的顏色空間轉換器將該二維影像從紅 /綠/藍(RGB)顏色空間轉換至色調/飽和度/亮度(hue/saturation/intensity，HSI)顏 色空間。 前述的深度相關的影像加強系統，其中上述的顏色空間反轉換器將經加強的二維 影像從紅/綠/藍顏色空間轉換回色調/飽和度/亮度顏色空間。 本發明的目的及解決其技術問題還採用以下技術方案來實現。依據本發明提出的 一種深度相關的影像加強方法，其包含以下步驟從二維影像產生立體深度資訊；以及根 據該立體深度資訊以加強該二維影像。 本發明的目的及解決其技術問題還可採用以下技術措施進一步實現。 前述的深度相關的影像加強方法，其中在上述的加強步驟中，對於該二維影像中
具有較小深度值的物體使用較大加強權重，而對於具有較大深度值的物體則使用較小加強權重。 前述的深度相關的影像加強方法，其中上述的加強步驟對於下列的一或多個特徵 進行加強邊界、對比及飽和度。 前述的深度相關的影像加強方法，其中上述的加強步驟包含下列的一或多個次 步驟根據該立體深度資訊，加強該二維影像的邊界細節；轉換該二維影像的顏色空間 (color space)，以得到亮度(luma)成分及色度(chroma)成分；根據該立體深度資訊，加強 該亮度成分的對比特徵；根據該立體深度資訊，加強該色度成分的飽和度特徵；及將該亮 度成分及色度成分轉換回原始二維影像的顏色空間。 前述的深度相關的影像加強方法，其中上述的邊界細節加強次步驟包含使用一
空間域折遮罩(convolution mask)於該二維影像的一中心像素周圍的像素群。 前述的深度相關的影像加強方法，其中上述的對比特徵加強次步驟包含將灰階值大於臨界值的像素值予以增加，而將灰階值小於臨界值的像素值予以降低。
前述的深度相關的影像加強方法，其中上述的顏色空間轉換次步驟將該二維影像 從紅/綠/藍(RGB)顏色空間轉換至色調/飽和度/亮度(hue/saturation/intensity， HSI)顏色空間。 前述的深度相關的影像加強方法，其中上述的顏色空間反轉換次步驟將經加強的 二維影像從色調/飽和度/亮度顏色空間轉換回紅/綠/藍顏色空間。
本發明與現有技術相比具有明顯的優點和有益效果。由以上技術方案可知，本發 明的主要技術內容如下 為達到上述目的，本發明提供了一種深度相關的影像加強系統及方法，深度估算 單元從二維影像產生立體深度資訊。接著，影像加強單元根據立體深度資訊以加強二維影 像。在本實施例的影像加強單元中，深度相關邊界加強單元強調(emphasize) 二維影像的 邊界細節。深度相關對比調整單元加強亮度(luma)成分的對比特徵，而深度相關飽和度調 整單元則加強色度(chroma)成分的飽和度特徵。 藉由上述技術方案，本發明深度相關的影像加強系統及方法至少具有下列優點及 有益效果本發明可忠實地改良影像品質，例如邊界、對比或飽和度，或者為其他特徵(例 如材質(texture)特徵、空間特徵、雜訊或模糊程度(blurriness))。 綜上所述，本發明一種深度相關的影像加強系統及方法。深度估算單元從二維影
像產生立體深度資訊。接著，影像加強單元根據立體深度資訊以加強二維影像。 本發明在技術上有顯著的進步，並具有明顯的積極效果，誠為一新穎、進步、實用
的新設計。 上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段， 而可依照說明書的內容予以實施，並且為了讓本發明的上述和其他目的、特徵和優點能夠 更明顯易懂，以下特舉較佳實施例，並配合附圖，詳細說明如下。


圖1A顯示本發明實施例的深度相關影像/視訊加強系統流程圖。 圖IB顯示本發明實施例的深度相關影像/視訊加強方法的流程步驟圖。 圖2A顯示本發明實施例的影像加強單元的詳細方塊圖。 圖2B顯示本發明實施例的影像加強步驟的詳細流程步驟圖。 100 :深度相關影像/視訊加強系統10 :輸入裝置 ll:立體深度估算單元 12:影像加強單元 13 :輸出裝置 20-23 :實施例的流程步驟 120 :邊界加強單元 122 :轉換器 124:對比調整單元 126:飽和度調整單元 128 :顏色空間反轉換 220-228影像加強步驟的詳細流程步驟
具體實施例方式
為更進一步闡述本發明為達成預定發明目的所採取的技術手段及功效，以下結合附圖及較佳實施例，對依據本發明提出的深度相關的影像加強系統及方法其具體實施方 式、結構、方法、步驟、特徵及其功效，詳細說明如後。 有關本發明的前述及其他技術內容、特點及功效，在以下配合參考圖式的較佳實 施例的詳細說明中將可清楚呈現。通過具體實施方式
的說明，當可對本發明為達成預定目 的所採取的技術手段及功效得一更加深入且具體的了解，然而所附圖式僅是提供參考與說 明之用，並非用來對本發明加以限制。 圖1A顯示本發明實施例的深度相關(d印th-based)影像/視訊加強 (enhancement)系統100。為了便於了解本發明，包含有原始影像、處理中影像、結果影像的 例示影像也同時附屬顯示於圖式中。圖1B顯示本發明實施例的深度相關影像/視訊加強 方法的流程步驟圖。 輸入裝置10提供或接收一或多張二維(平面)輸入影像(步驟20)，用以進行本
實施例的影像/視訊處理之用。輸入裝置io可以是一種光電裝置，用以將三維物體投影映
射至二維影像平面。在本實施例中，輸入裝置IO可以是照相機，用以取像得到二維影像； 或者可以是攝影機，用以取得多幅影像。在另一實施例中，輸入裝置io可以是前置處理裝 置，用以進行一或多個影像處理工作，例如影像強化、影像復原、影像分析、影像壓縮或影像 合成。再者，輸入裝置IO可更包含一儲存裝置(例如半導體存儲器(即記憶體，本文均稱 為存儲器)或硬碟)，用以儲存經前置處理裝置所處理的影像。如前所述，當三維物體投影 映射至二維影像平面時，會失去立體深度資訊，因此，以下將詳述本發明實施例的深度相關 影像/視訊加強系統100的其他方塊是如何用來處理輸入裝置10所提供的二維影像。
接下來，輸入裝置IO所提供的二維影像經由立體深度估算單元11處理，以產生或 重現影像中物體的立體深度資訊(步驟21)。在本說明書中，"單元"一詞可用以表示一電 路、一程序或其組合。立體深度估算單元11可以是傳統的電路或演算法，用以自二維影像 產生立體深度資訊。或者，立體深度估算單元11也可以是新穎的電路或演算法，其揭露於 本案申請人的下列專利申請案中"偵測消失線以產生立體深度資訊"(發明人為陳良基等 人)、"區塊相關的材質密度分析以產生立體深度資訊"(發明人為陳良基等人)、"估算區域 模糊程度以產生立體深度資訊"(發明人為陳良基等人)。 立體深度估算單元11所產生的立體深度資訊和輸入裝置10所提供的原始二維影 像共同饋至影像加強(或調整(adjustment))單元12 (步驟22)。在本實施例中，影像加強 單元12改進原始二維影像的邊界、對比及飽和度(saturation)。再者，本發明實施例的影 像加強單元12根據立體深度資訊來進行此影像處理，使得影像中的邊界細節(例如個別區 域的物體的輪廓)根據個別不同深度而施予不同程度的強調(emphasize)或加強。例如， 具有較小深度值(亦即，較靠近觀看者)的物體輪廓施予較大程度的加強或使用較大加強 權重，而具有較大深度值(亦即，較遠離觀看者)的物體輪廓則施予較小程度的加強或使用 較小加強權重。影像加強的執行可以使用傳統或未來的影像技術，其可以屬於空間域加強 處理或頻域加強處理。 請參閱圖2A、圖2B所示，分別顯示本發明實施例的影像加強單元12的詳細方塊圖 及顯示本發明實施例的影像加強步驟22的詳細流程步驟圖。 首先，二維影像藉由邊界加強單元120以強調顯示出影像中的邊界細節。特別的 是，此邊界加強的執行是根據深度資訊的。例如，具有較小深度值(亦即，較靠近觀看者)的物體使用較大加強權重，而具有較大深度值(亦即，較遠離觀看者)的物體則使用較小加 強權重。權重值可以根據個別應用需求而從實驗得到。在本實施例中，邊界加強的進行是 藉由高通濾波技術，首先使用一空間域折遮罩(convolution mask)，接著以此遮罩針對一 中心像素周圍的像素群進行處理。 邊界加強單元120所得到的邊界加強影像可藉由一轉換器122將其自紅/綠/ 藍(RGB)顏色空間轉換至色調/飽和度/亮度(hue/saturation/intensity， HSI)顏色空 間(步驟222)。然而，如果經轉換的顏色資料可以事先提供的話，則上述的轉換即可省略。 再者，雖然本實施例使用HSI顏色空間，然而也可以使用其他的顏色空間，例如HSL(hue/ saturation/lightness)或HSV(hue/saturation/value)。經轉換的景;像資料基本上包含 亮度(luma)成分及色度(chroma)成分。 在本實施例中，使用對比調整單元124對亮度成分進行對比調整或加強(步驟 224)，以加強其對比特性。特別的是，此對比調整的執行是根據深度資訊的。例如，具有較 小深度值(亦即，較靠近觀看者)的物體使用較大加強權重，而具有較大深度值(亦即，較 遠離觀看者)的物體則使用較小加強權重。權重值可以根據個別應用需求而從實驗得到。 在本實施例中，對比調整的進行是使用亮度分布圖伸展(histogram stretching)技術，其 將分布圖中灰階值大於臨界值的像素值予以增加，而將分布圖中灰階值小於臨界值的像素 值予以降低。 此外，使用飽和度調整單元126對色度成分進行飽和度調整或加強(步驟226)，以 加強其飽和度特性或顏色/色調的純度。特別的是，此飽和度調整的執行是根據深度資訊 的。例如，具有較小深度值(亦即，較靠近觀看者)的物體使用較大加強權重，而具有較大 深度值(亦即，較遠離觀看者)的物體則使用較小加強權重。權重值可以根據個別應用需 求而從實驗得到。 接下來，將對比調整單元124所得到的對比調整亮度成分和飽和度調整單元126 所得到的飽和度調整色度成分從HSI顏色空間轉換回到RGB顏色空間(方塊128，步驟 228)。上述的顏色空間反轉換可以省略，或者暫時保持不動。再者，在本實施例中，雖然邊 界的調整120先於對比/飽和度的調整124/126，然而，其順序也可以予以顛倒。另外，可以 根據個別應用需求而將邊界調整120、對比調整124、飽和度調整126其中的一或多個予以 省略。 輸出裝置13從影像加強單元12接收加強影像，並產生輸出影像(步驟23)。在一 實施例中，輸出裝置13可以為顯示裝置，用以顯示或供觀看所接收的加強影像。在另一實 施例中，輸出裝置13可以為儲存裝置，例如半導體存儲器或硬碟，用以儲存所接收的加強 影像。再者，輸出裝置13也可更包含一後置處理裝置，用以進行一或多種影像處理，例如影 像復原、影像分析、影像壓縮或影像合成。 根據上述，本發明實施例可忠實地改良影像品質，例如邊界、對比或飽和度，或者 為其他特徵(例如材質(texture)特徵、空間特徵、雜訊或模糊程度(blurriness))。
以上所述，僅是本發明的較佳實施例而已，並非對本發明作任何形式上的限制，雖 然本發明已以較佳實施例揭露如上，然而並非用以限定本發明，任何熟悉本專業的技術人 員，在不脫離本發明技術方案範圍內，當可利用上述揭示的方法及技術內容作出些許的更 動或修飾為等同變化的等效實施例，但凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬於本發明技術方案 的範圍內。
權利要求
一種深度相關的影像加強系統，其特徵在於其包含一深度估算單元，用以從二維影像產生立體深度資訊；以及一影像加強單元，其根據該立體深度資訊以加強該二維影像。
2. 根據權利要求1所述的深度相關的影像加強系統，其特徵在於其中上述的影像加強 單元對於該二維影像中具有較小深度值的物體使用較大加強權重，而對於具有較大深度值 的物體則使用較小加強權重。
3. 根據權利要求1所述的深度相關的影像加強系統，其特徵在於其中上述的影像加強 單元對於下列的一或多個特徵進行加強邊界、對比及飽和度。
4. 根據權利要求1所述的深度相關的影像加強系統，其特徵在於其中上述的影像加強 單元包含下列的一或多個元件一深度相關邊界加強單元，用以強調該二維影像的邊界細節；一顏色空間轉換器，用以轉換該二維影像的顏色空間，以得到亮度成分及色度成分； 一深度相關對比調整單元，用以加強該亮度成分的對比特徵； 一深度相關飽和度調整單元，用以加強該色度成分的飽和度特徵；及 一顏色空間反轉換器，用以將該亮度成分及色度成分轉換回原始二維影像的顏色空間。
5. 根據權利要求4所述的深度相關的影像加強系統，其特徵在於其中上述的深度相關 邊界加強單元包含一空間域折遮罩，其針對該二維影像的一中心像素周圍的像素群進行處理。
6. 根據權利要求4所述的深度相關的影像加強系統，其特徵在於其中上述的深度相關 對比調整單元包含一亮度分布圖伸展裝置，用以將灰階值大於臨界值的像素值予以增加，而將灰階值小 於臨界值的像素值予以降低。
7. 根據權利要求4所述的深度相關的影像加強系統，其特徵在於其中上述的顏色空間 轉換器將該二維影像從紅/綠/藍顏色空間轉換至色調/飽和度/亮度顏色空間。
8. 根據權利要求7所述的深度相關的影像加強系統，其特徵在於其中上述的顏色空間 反轉換器將經加強的二維影像從紅/綠/藍顏色空間轉換回色調/飽和度/亮度顏色空間。
9. 一種深度相關的影像加強方法，其特徵在於其包含以下步驟 從二維影像產生立體深度資訊；以及 根據該立體深度資訊以加強該二維影像。
10. 根據權利要求9所述的深度相關的影像加強方法，其特徵在於其中在上述的加強 步驟中，對於該二維影像中具有較小深度值的物體使用較大加強權重，而對於具有較大深 度值的物體則使用較小加強權重。
11. 根據權利要求9所述的深度相關的影像加強方法，其特徵在於其中上述的加強步 驟對於下列的一或多個特徵進行加強邊界、對比及飽和度。
12. 根據權利要求9所述的深度相關的影像加強方法，其特徵在於其中上述的加強步 驟包含下列的一或多個次步驟根據該立體深度資訊，加強該二維影像的邊界細節； 轉換該二維影像的顏色空間，以得到亮度成分及色度成分；根據該立體深度資訊，加強該亮度成分的對比特徵； 根據該立體深度資訊，加強該色度成分的飽和度特徵；及 將該亮度成分及色度成分轉換回原始二維影像的顏色空間。
13. 根據權利要求12所述的深度相關的影像加強方法，其特徵在於其中上述的邊界細 節加強次步驟包含使用一空間域折遮罩於該二維影像的一中心像素周圍的像素群。
14. 根據權利要求12所述的深度相關的影像加強系統方法，其特徵在於其中上述的對 比特徵加強次步驟包含將灰階值大於臨界值的像素值予以增加，而將灰階值小於臨界值的像素值予以降低。
15. 根據權利要求12所述的深度相關的影像加強方法，其特徵在於其中上述的顏色空 間轉換次步驟將該二維影像從紅/綠/藍顏色空間轉換至色調/飽和度/亮度顏色空間。
16. 根據權利要求15所述的深度相關的影像加強方法，其特徵在於其中上述的顏色空間反轉換次步驟將經加強的二維影像從色調/飽和度/亮度顏色空間轉換回紅/綠/藍顏 色空間。
全文摘要
本發明是有關於一種深度相關的影像加強系統及方法，該深度相關的影像加強系統，包含一深度估算單元，用以從二維影像產生立體深度資訊；以及一影像加強單元，其根據該立體深度資訊以加強該二維影像。該深度相關的影像加強方法，包含以下步驟從二維影像產生立體深度資訊；以及根據該立體深度資訊以加強該二維影像。
文檔編號G06T5/00GK101751661SQ20081017849
公開日2010年6月23日 申請日期2008年12月1日 優先權日2008年12月1日
發明者李宗德, 鄭朝鐘, 陳良基, 黃鈴琇 申請人:奇景光電股份有限公司;陳良基