影像校正方法及影像校正裝置的製作方法

2023-05-12 12:58:11

專利名稱：影像校正方法及影像校正裝置的製作方法
技術領域：
本發明與影像處理技術相關，並且尤其與用以校正形變的影像處理技術相關。
背景技術：
隨著製造各種消費性電子產品的技術日趨成熟，近年來許多車輛的駕駛座前方都裝設有小型顯示屏幕，用來播放影片、呈現多媒體系統的控制畫面，或是顯示導航軟體提供的地圖。除了上述功能外，目前有些屏幕還可以進一步配合裝設在車輛前端或後端的攝影裝置，呈現車輛外部的影像，協助使用者掌控鄰近區域的狀況。為了擴大可提供給駕駛人的參考範圍，上述車用攝影裝置通常會採用廣角鏡頭。 然而，當被攝物和攝影裝置之間的距離不夠大，廣角鏡頭所拍攝的畫面邊緣不可避免地會存在枕形形變或是桶形形變。換句話說，屏幕上所呈現的影像與實際上車外物體的尺寸比例、距離或是形狀皆有或多或少的差異。這樣的差異可能會導致駕駛人誤判情勢，甚至造成意外事故。已知技術中已存在修正拍攝結果的形變的方案。現有的方案大多是在攝影裝置和顯示裝置之間設置採用二維引擎OD engine)的影像處理晶片，用以即時分析每一張拍攝結果的形變情況，再針對該種形變進行還原運算，產生修正後影像。這種方式的缺點在於影像處理晶片所需負荷的運算量相當龐大，且能勝任複雜即時運算的影像處理晶片通常較為
曰蟲印貝。

發明內容
為解決上述問題，本發明提出了一種影像校正方法及影像校正裝置。利用紋理映射處理以及針對個別攝影裝置預先建立的映射數據，影像中因攝影裝置的光學鏡頭造成的形變可被有效校正。根據本發明的方法及裝置可被廣泛應用在各種配備有外部影像監控系統的交通工具中，也可應用於各種存在影像形變問題的攝影系統。本發明揭露一種影像校正裝置，用以校正一攝影裝置所拍攝的一原始影像，其中包含一儲存模塊和一紋理映射模塊。該儲存模塊用以儲存與該攝影裝置中的一光學鏡頭所造成的一影像形變相關的一映射數據。該紋理映射模塊則用以根據該映射數據，透過一紋理映射處理校正該原始影像，以產生一校正後影像。本發明亦揭露一種影像校正方法。該方法首先執行接收由攝影裝置所拍攝的一原始影像的步驟。接著，該方法所執行的步驟為根據與該攝影裝置中的一光學鏡頭所造成的一影像形變相關的一映射數據，透過一紋理映射處理校正該原始影像，以產生一校正後影像。關於本發明的優點與精神可以藉由以下的發明詳述及附圖得到了解。


圖1為根據本發明的一具體實施例中的影像校正方法的流程圖。
圖2㈧為特定已知紋路物體的範例，圖2 (B)為相對應的拍攝結果的範例，圖2 (C) 為包含多個三角形的網格圖樣的範例。圖3(A)為原始影像的範例，圖3(B)為參考影像的範例，圖3(C)為校正後影像的範例。圖3(D)為網格圖樣的範例，圖3(E)為原始影像的範例，圖3(F)為校正後影像的範例。圖4為紋理映射處理的一詳細實施流程範例。圖5為根據本發明的一具體實施例中的影像校正裝置的方塊圖；圖6為該影像校正裝置的一詳細實施範例。主要元件符號說明20:拍攝結果畫面21A、21B、22A、22B 座標點S12 S14:流程步驟Tl:目標四角形T2:原始四角形T3:四角形區域S14A S14C 流程步驟50 影像校正裝置52:儲存模塊54:紋理映射模塊54A:選擇單元54B:映射單元
具體實施例方式根據本發明的一具體實施例為一影像校正方法。圖1為此方法的流程圖。舉例而言，一攝影裝置可被裝設在車輛的前端或後端，用以拍攝車輛外部的周邊情況。於此實施例中，與該攝影裝置相關的一映射數據被預先建置、並儲存於實施本方法的硬體內。該方法首先執行步驟S12，接收由該攝影裝置所拍攝的一原始影像。接著，步驟S14為根據該映射數據，透過一紋理映射處理(texture mapping procedure)校正該原始影像，以產生一校正後影像。該映射數據可被設計為與攝影裝置中的光學鏡頭所造成的影像形變相關，用以補償、還原光學鏡頭所造成的影像失真。舉例而言，設計者可利用該攝影裝置拍攝具有特定已知紋路的物體，再藉由比較拍攝結果與實際物體的差異來決定該映射數據。圖2(A)所示的矩形網格為上述特定已知紋路物體的範例，圖2(B)中的實線矩形20及其中的虛線線條則是拍攝結果的範例。受到光學鏡頭本身或是攝影裝置其他非理想特性影響，拍攝結果的邊緣區域通常會發生如圖2(B)所示的形變；實際物體原本為直線的線條在拍攝結果中被不規則地扭曲、伸展或是壓縮。步驟S14中所採用的映射數據包含對應於原始影像與校正後影像間的映射關係。 該映射關係可以是座標與座標之間的對應關係，也可以是描述該對應關係的數學模型。舉例而言，若以畫面20中所包含的虛線圖樣的網格圖樣(mesh pattern)，該網格圖樣即包含多多個形狀不一的四角形，且每一四角形對應至校正後影像中的一四角形。若圖2(A)中各線條的長度及其間的實際距離為已知，利用標示比例尺或是座標點的方式，可找出圖2(A) 和圖2(B)中兩影像間的映射關係。於此範例中，圖2(A)中的座標點21A對應於圖2(B)中的座標點21B，圖2(A)中的座標點22A則是對應於圖2(B)中的座標點22B，而該映射數據包含對應於原始影像的一網格圖樣的各個格子點與對應於校正後影像的一網格圖樣的各個格子點間的映射關係。實務上，對應於原始影像的網格圖樣及對應於校正後影像的網格圖樣各可包含多個N角形，N為大於2的一正整數，例如等於3。圖2(C)即為包含多個三角形的網格圖樣的範例。需說明的是，每一個攝影裝置所適用的映射數據可能都不相同。易言之，在配合不同的攝影裝置時可採用不同的映射數據，即不同的原始影像的網格圖樣與校正後影像的網格圖樣間的映射關係，以達到較佳的校正效果。根據該映射數據，校正前的拍攝結果(例如圖 2(B))可藉由紋理映射處理而產生校正後影像，進而使校正後影像接近如圖2(A)所示的原始影像。於本發明的另一個實施例中，設計者可首先拍攝任一畫面或物件做為原始影像； 如圖3(A)所示，此原始影像具有光學鏡頭所造成的影像形變。如圖3(B)所示，該原始影像上可被標示虛擬的格線，成為一參考影像。接著，設計者可憑肉眼及經驗判斷應如何拉伸或壓縮該參考影像，以消除影像形變的影響。圖3(C)即為經過拉伸/壓縮的結果範例。如圖 3(C)所示，除了原始影像包含的內容之外，這些虛擬格線也一併被拉伸/壓縮。比較圖3(B) 和圖3(C)中的格線，也可以找出步驟S14中所採用的映射數據，亦即原始影像與校正後影像間的映射關係。於此範例中，校正圖3(A)所示的原始影像的方式為拉伸該原始影像的四個角落，或是相對壓縮該原始影像的上下兩邊界。實務上，步驟S14中所採用的映射數據可以為圖3(C)中經過拉伸/壓縮的虛線格線與圖3 (B)中的原始影像的虛線格線間的映射關係。在其它實施例中，亦可藉由影像分析處理來分析原始影像中的形變，再據以得到適當的映射數據，以消除影像形變。在建立映射數據之後，後續由該攝影裝置拍攝的影像皆可根據該映射數據藉由紋理映射處理而被校正，以產生校正後影像。換句話說，針對某一攝影裝置，設計者只需要在一開始建立一映射數據做為後續的處理基準即可，不需要在每次拍攝影像時重新尋找形變模式及相對應的校正標準。以採用圖3(D)所示的虛線格線為網格圖樣的情況為例，步驟S14中的紋理映射處理可包含如圖4所示的步驟。首先，步驟S14A為由網格圖樣的多個N角形中選擇一目標N 角形，例如圖3(D)中的目標四角形Tl。步驟S14B為根據該映射數據中該網格圖樣所對應的映射關係，由該原始影像中找出對應於該目標N角形的一原始N角形，例如圖3(E)中的原始四角形T2。接著，步驟S14C為藉由紋理映射處理將該原始N角形映射為該校正後影像中的一 N角形區域，例如圖3(F)中的四角形區域T3。更明確地說，四角形區域T3為消除形變之後的影像區塊，亦即較接近被拍攝物體的真實樣貌的影像。為將校正後影像呈現於一顯示裝置上，需對校正後影像進行裁切以截去其四個角落較不規則的部份，使顯示裝置最終所呈現的校正後影像僅包含位在圖3(F)中央的矩形區域。攝影裝置的拍攝結果(亦即上述原始影像)和該校正後影像通常存在一定的映射關係。如上所述，該映射數據即包含此映射關係。設計者可預先決定該目標四角形Tl的四個頂點與該原始影像的對應關係，例如令目標四角形Tl的四個頂點各自對應於原始影像中的四個預設座標。在已知這些對應關係的狀況下，步驟S14B的詳細實施方式可為根據這些預設座標找出原始四角形T2在原始影像中涵蓋的範圍。於實際應用中，原始四角形T2的四個頂點可分別為一像素，每一個頂點像素又可各自對應於一組原始影像數據。在找出原始四角形T2之後，步驟S14C的詳細實施方式可為根據這四組原始影像數據決定四角形區域T3的至少一校正後影像數據。舉例而言，假設四角形區域Τ3包含M個像素(Μ為一正整數)，步驟S14C可包含以插補等方式根據原始四角形Τ2決定該M個像素中的每一個像素各自對應的一組校正後影像數據。或者，步驟S14C 可為根據原始四角形Τ2決定填入四角形區域Τ3中的至少一影像紋理。於實際應用中，步驟S14中的紋理映射處理可包含利用紋理過濾決定各像素的影像數據。目前普遍使用的方法是鄰近區域插補法(nearest-neighborinterpolation)。此夕卜，雙線性插補法(bilinear interpolation)禾口三線插補法(trilinear interpolation) 具有可降低失真和鋸齒問題的優點，也常被採用。目前許多交通工具中配備有用以處理多媒體數據或是配合導航裝置的立體圖像引擎(graphic three-dimension engine)，此立體圖像引擎即可在原有的功能之外，進一步被用來執行步驟S14中的紋理映射處理。由於紋理映射處理為立體圖像引擎中基本的功能，直接利用導航裝置中的立體圖像引擎來進行紋理映射處理，可省去另外設置專門用以校正影像失真的影像處理晶片的成本。須注意的是，步驟S14中的紋理映射處理可藉由其他圖像引擎完成，不以立體圖像引擎為限。實務上，立體圖像引擎固有的紋理映射、紋理陰影(texture shading)功能和紋理過濾(texture filtering)等功能都可以用以協助完成步驟S14中的紋理映射處理。針對網格圖樣中的各個N角形，上述決定校正後影像數據的程序可被依序重複執行，以找出對應於各個N角形的校正後影像數據，再根據這些數據產生完整的校正後影像， 亦即步驟S14的最終結果。根據本發明的另一具體實施例為如圖5所示的影像校正裝置50，用以校正一攝影裝置所拍攝的一原始影像，影像校正裝置50包含一儲存模塊52和一紋理映射模塊54。儲存模塊52用以儲存與該攝影裝置相關的一映射數據，該映射數據可被設計為與攝影裝置中的光學鏡頭所造成的影像形變相關，用以補償、還原光學鏡頭所造成的影像失真。紋理映射模塊 54則用以根據該映射數據，透過一紋理映射處理校正該原始影像，以產生一校正後影像。如先前所述，交通工具中原本即配備有的立體圖像引擎可被用以執行該紋理映射處理。易言之，紋理映射模塊M可為影像校正裝置50所處的系統中固有的立體圖像引擎。 這種共用硬體的做法可以省去另外設置高階影像處理晶片的成本。圖6所示為影像校正裝置50的一詳細實施範例。此範例中的紋理映射模塊M包含一選擇單元54A和一映射單元MB。選擇單元54A用以由映射數據中的網格圖樣的多個 N角形中選擇一目標N角形。映射單元54B則用以根據映射數據中的映射關係由該原始影像中找出對應於該目標N角形的一原始N角形，並將該原始N角形映射為該校正後影像中的一 N角形區域。如上所述，本發明提出了一種影像校正方法及影像校正裝置，利用紋理映射處理以及針對個別攝影裝置預先建立的映射數據，有效校正影像中因攝影裝置的光學鏡頭造成的形變。根據本發明的方法及裝置可被廣泛應用在各種配備有外部影像監控系統的交通工具中，也可應用於各種存在影像形變問題的攝影系統。藉由以上較佳具體實施例的詳述，以更加清楚描述本發明的特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明的範疇加以限制。本發明可由熟悉本技術領域者任施匠思而為諸般修飾，皆不脫權利要求書限定的保護範圍。
權利要求
1.一種影像校正方法，包含下列步驟(a)接收由一攝影裝置所拍攝的一原始影像；以及(b)根據與該攝影裝置中的一光學鏡頭所造成的一影像形變相關的一映射數據，透過一紋理映射處理校正該原始影像，以產生一校正後影像。
2.如權利要求1所述的影像校正方法，其特徵在於，該映射數據包含多個N角形的數據，N為大於2的一正整數，該紋理映射處理包含下列步驟(bl)由這些N角形中選擇一目標N角形；(b2)由該原始影像中找出對應於該目標N角形的一原始N角形；以及(b3)將該原始N角形映射為該校正後影像中的一 N角形區域。
3.如權利要求2所述的影像校正方法，其特徵在於，該正整數N等於3。
4.如權利要求2所述的影像校正方法，其特徵在於，該目標N角形包含N個頂點，該N 個頂點各自對應於該原始影像中的一預設座標，並且步驟( )根據這些預設座標找出該原始N角形。
5.如權利要求2所述的影像校正方法，其特徵在於，該原始N角形具有N個頂點像素， 每一個頂點像素各自對應於一組原始影像數據，並且步驟(b3)根據該N組原始影像數據決定該N角形區域的至少一校正後影像數據。
6.如權利要求2所述的影像校正方法，其特徵在於，步驟(b3)包含根據該原始N角形決定填入該N角形區域中的至少一影像紋理。
7.如權利要求2所述的影像校正方法，其特徵在於，該N角形區域包含M個像素，並且步驟(b!3)包含根據該原始N角形決定該M個像素中的每一個像素各自對應的一組校正後影像數據，M為一正整數。
8.如權利要求1所述的影像校正方法，其特徵在於，該紋理映射處理藉由一立體圖像引擎所完成。
9.一種影像校正裝置，用以校正一攝影裝置所拍攝的一原始影像，包含一儲存模塊，用以儲存與該攝影裝置中的一光學鏡頭所造成的一影像形變相關的一映射數據；以及一紋理映射模塊，用以根據該映射數據，透過一紋理映射處理校正該原始影像，以產生一校正後影像。
10.如權利要求9所述的影像校正裝置，其特徵在於，該紋理映射模塊為一立體圖像引擎。
11.如權利要求9所述的影像校正裝置，其特徵在於，該映射數據包含多個N角形的數據，N為大於2的正整數，該紋理映射模塊包含一選擇單元，用以由這些N角形中選擇一目標N角形；以及一映射單元，用以由該原始影像中找出對應於該目標N角形的一原始N角形，並將該原始N角形映射為該校正後影像中的一 N角形區域。
12.如權利要求11所述的影像校正裝置，其特徵在於，該正整數N等於3。
13.如權利要求11所述的影像校正裝置，其特徵在於，該目標N角形包含N個頂點，該 N個頂點各自對應於該原始影像中的一預設座標，並且該映射單元根據這些預設座標找出該原始N角形。
14.如權利要求11所述的影像校正裝置，其特徵在於，該原始N角形具有N個頂點像素，每一個頂點像素各自對應於一組原始影像數據，並且該映射單元根據該N組原始影像數據決定該N角形區域的至少一校正後影像數據。
15.如權利要求11所述的影像校正裝置，其特徵在於，該映射單元根據該原始N角形決定填入該N角形區域中的至少一影像紋理。
16.如權利要求11所述的影像校正裝置，其特徵在於，該N角形區域包含M個像素，並且該映射單元根據該原始N角形決定該M個像素中的每一個像素各自對應的一組校正後影像數據，M為一正整數。
全文摘要
發明提供一種影像校正裝置，用以校正一攝影裝置所拍攝的一原始影像，其中包含一儲存模塊和一紋理映射模塊。該儲存模塊用以儲存與該攝影裝置相關的一映射數據。該紋理映射模塊則用以根據該映射數據，透過一紋理映射處理校正該原始影像，以產生一校正後影像。
文檔編號G06T5/00GK102469249SQ20101054447
公開日2012年5月23日 申請日期2010年11月4日 優先權日2010年11月4日
發明者林士欽 申請人:晨星半導體股份有限公司, 晨星軟體研發(深圳)有限公司