影像處理方法及其裝置的製作方法

2023-05-14 23:14:51 1

專利名稱：影像處理方法及其裝置的製作方法
技術領域：
本發明是揭露一種影像處理方法及其裝置，特別是用於穩定影像。
背景技術：
目前數位相機越來越普及，在發展設計上有體積小以及重量輕的趨勢。當數位相機越來越輕巧，使用者在拍照的時候就越容易因為手部不自覺的抖動導致照攝出來的影像有模糊，品質不佳的現象。
請參閱圖1以及圖2，為習知技藝的用於穩定影像的示意圖。請參閱圖1，因為使用者手部不自覺的抖動產生一手震移動13，使得物件17原本成像在A位置14的影像移動到A』位置15，此影像位移16造成影像模糊。請續參閱圖2，運動偵測裝置(未表示)根據手震移動13計算出補償位移量18，並將補償位移量18傳送至補償裝置11。而補償裝置11根據補償位移量18進行透鏡12的移動，使得物件17的成像回復到A位置14，以達到穩定影像的目的。然而，上述的運動補償裝置以及補償裝置具有複雜的電路以及機構，會增加裝置的體積以及成本。
因此，本發明人基於諸多實務經驗與專題探討，遂於本發明提出一種影像處理的裝置以作為上述期望的實現方式與依據。

發明內容
有鑑於上述課題，本發明的目的為提供一種影像處理方法，以達到穩定影像的目的。
緣是，為達上述目的，依本發明所揭露的種影像處理裝置，包含一影像擷取模組、一影像選擇模組、一運動向量產生模組以及一影像結合模組。影像擷取模組用以擷取至少兩張影像。影像選擇模組依據該些影像選擇一最銳利化影像及一次銳利化影像。運動向量產生模組根據最銳利化影像及次銳利化影像以產生至少一第一運動向量。影像結合模組根據運動向量及一結合比例提供該最銳利化影像及該次銳利化影像的一結合動作。
本發明的另一個目的是提供一種影像處理方法，至少包含下列步驟(a)利用影像擷取模組擷取至少兩張影像；(b)依據該些影像選擇一最銳利化影像及一次銳利化影像；(c)藉由該最銳利化影像及該次銳利化影像，產生至少一運動向量；(d)依據該運動向量及一結合比例提供該最銳利化影像及該次銳利化影像的一結合動作，以產生一結合影像。


圖1乃習知技藝的用於穩定影像的示意圖；圖2乃習知技藝的用於穩定影像的示意圖；圖3乃依據本發明的影像處理裝置的示意圖；
圖4乃依據本發明的影像選擇模組的示意圖；圖5乃依據本發明的影像選擇模組的流程圖；圖6乃依據本發明的水平方向邊緣偵測參數的範例；圖7乃依據本發明的垂直方向邊緣偵測參數的範例；圖8乃依據本發明的影像原始數值；圖9乃依據本發明的運動向量產生模組的示意圖；圖10乃依據本發明的運動向量選擇模組的流程圖；圖11乃依據本發明的影像結合模組的流程圖；圖12乃依據本發明的結合方格的示意圖；圖13乃依據本發明的結合方格的示意圖.
圖號簡單說明11補償裝置；12透鏡；13手震移動；14成像位置；15成像位置；16影像位移；17物件；18補償位移量； 21影像擷取模組；22影像選擇模組；23運動向量產生模組；24影像結合模組；211複數張影像；221最銳利化影像； 222次銳利化影像；231第一運動向量； 241結合影像； 31儲存模組；32邊緣偵測模組；33影像選擇控制模組；34第一緩衝模組；35第二緩衝模組；331第一暫存器；332第二暫存器； S41～S49步驟流程；61特徵產生模組；62特徵比對模組；
63運動向量選擇模組； 611影像特徵；621第二運動向量； S71～S79步驟流程；S81～S83步驟流程；91結合方格的寬度；92結合方格的高度；93影像的長度；94影像的寬度；95具有運動向量的結合方格；96無運動向量的結合方格；951具有運動向量的結合方格；952具有運動向量的結合方格；961具有運動向量的結合方格；962具有運動向量的結合方格。
實施方式茲為使審查員對本發明的結構特徵及所達成的功效有更進一步的了解與認識，謹佐以較佳實施例及配合詳細的說明，說明如後請參閱圖3，為本發明的影像處理裝置的示意圖，該裝置包括一影像擷取模組21、一影像選擇模組22、一運動向量產生模組23，以及一影像結合模組24，其中，影像擷取模組21用以擷取至少兩張影像211，將該些影像211傳送至影像選擇模組22。影像選擇模組22從該些影像中選擇出一最銳利化影像221及一次銳利化影像222，並將此兩影像傳送至運動向量產生模組23。運動向量產生模組23藉由最銳利化影像221及該次銳利化影像222產生至少一第一運動向量231。最後，影像結合模組依據第一運動向量231以及一預先設定的結合比例，進行最銳利化影像221及次銳利化影像222的結合，產生一結合影像241。
請參閱圖4以及圖5，為圖3所示影像選擇模組22的示意圖以及流程圖。圖中，影像選擇模組包含一儲存模組31、一邊緣偵測模組(edge detector)32、一第一緩衝模組34、一第二緩衝模組35以及一影像選擇控制模組33，其中，影像選擇控制模組33包含一第一暫存器331以及第二暫存器332，第一暫存器331儲存目前最大邊緣值，第二暫存器332儲存目前第二大邊緣值。儲存模組31用以儲存擷取的影像211，並將尚未處理的影像傳送至邊緣偵測模組32。邊緣偵測模組32用以計算影像的邊緣值，並將邊緣值傳送到影像選擇控制模組33。影像選擇控制模組33將邊緣值與目前最大邊緣值以及目前第二大邊緣值做一比對，如果該邊緣值比目前最大邊緣值大，首先把第一暫存器331裡的資料儲存到第二暫存器332，第一緩衝模組34裡的資料儲存到第二緩衝模組35，接著，把該邊緣值儲存到第一暫存器331，以及把影像儲存到第一緩衝模組34。如果該邊緣值比目前最大邊緣值小，而比目前第二大邊緣值大，則把該邊緣值儲存到第二暫存器332，把影像儲存到第二緩衝模組35。處理所有的影像後，第一緩衝模組34裡所儲存的即為最銳利化影像221，第二緩衝模組35裡所儲存的即為次銳利化影像222。
請續參閱圖5，為圖3所示影像選擇模組22的流程圖。包含下列步驟(1)設定第一暫存器的儲存值以及第二暫存器的儲存值為零S41。
(2)自儲存模組讀取尚未處理的影像並傳送至邊緣偵測模組S42。
(3)利用邊緣偵測模組計算該影像的邊緣值S43。
(4)判斷該邊緣值是否大於目前最大邊緣值S44。
(5)如果是，把第一暫存器裡的資料儲存到第二暫存器，第一緩衝模組裡的資料儲存到第二緩衝模組，接著，把該邊緣值儲存到第一暫存器，以及把該影像儲存到第一緩衝模組S47。
(6)如果否，判斷該邊緣值是否大於目前第二大邊緣值S45。
(7)如果是，把該邊緣值儲存到第二暫存器，把該影像儲存到第二緩衝模組S48。
(8)判斷是否已經處理完所有影像S46。
(9)如果否，則回到S42。
(10)如果是，則結束流程S49。
請參閱圖6至圖8，為圖4所示邊緣偵測模組32的示意圖。請參閱圖6以及圖7，圖中為二維影像邊緣偵測參數，通常可包含有九個參數。圖6為水平方向的邊緣偵測參數。圖7為垂直方向的邊緣偵測參數。圖8為原始的影像數值，以計算像素E的邊緣值為例，其運算過程如下首先，找出如圖8所示的鄰近像素位置E的A、B、C、D、F、G、H及I為鄰近的像素亮度。
接著，其像素位置E的水平方向邊緣值Gh可由下列公式計算出Gh＝(-1)*A+(-2)*B+(-1)*C+(0)*D+(0)*E+(0)*F+(1)*G+(2)*H+(1)*I
其像素位置E的垂直方向邊緣值Gv可由下列公式計算出Gv＝(-1)*A+(0)*B+(1)*C+(-2)*D+(0)*E+(2)*F+(-1)*G+(0)*H+(1)*I最後，其像素位置E的邊緣值g可由下列公式計算出g=Gv2+Gh2]]>若將圖8中所有像素皆以上述算式計算出，便可得出所有像素的邊緣值，並累加所有像素的邊緣值，便可得到該影像的邊緣值。
請參閱圖9，為圖3所示運動向量產生模組23的示意圖以及流程圖。圖中，運動向量產生模組23包含一特徵產生模組61、一特徵比對模組62以及一運動向量選擇模組63。特徵產生模組61用以產生最銳利化影像的至少一影像特徵611。其中，該模組是根據像素間的水平差異值以及垂直差異值以產生一矩陣，並利用該矩陣的特徵值以及一特徵門檻值來判斷該像素是否為一影像特徵611。上述影像特徵產生方法，已有相關公開文獻佐證，如Harris and M.Stephens.A combined corner and edgedetector.In Alvey Vision Conference，pp.147-151，1988.，在此不再贅述。接著，特徵比對模組62依據一比對方法以及影像特徵611進行該最銳利化影像及該次銳利化影像的比對動作，並產生至少一第二運動向量621。該比對方法可為最小平方誤差法。最後，運動向量選擇模組63從第二運動向量621中選擇出第一運動向量231。
請續參閱圖10，為圖9所示本發明的運動向量選擇模組63的流程圖。首先，設定一長度門檻值以及一角度門檻值S71。接著，將所有第二運動向量根據長度作排序，並以該排序的中位數作為長度代表向量S72。將所有第二運動向量根據角度作排序，並以該排序的中位數作為角度代表向量S73。接著，選擇一尚未比對的第二運動向量S74。判斷該第二運動向量與長度代表向量的長度差異是否小於長度門檻值S75，如果否，則選擇其他尚未比對的第二運動向量進行比對S74。如果是，則判斷該第二運動向量與角度代表向量的角度是否差異小於角度門檻值S76，如果是，則設定該第二運動向量為第一運動向量S77。如果否，則選擇其他尚未比對的第二運動向量進行比對S74。最後，判斷是否已經比對所有第二運動向量S78，如果是，則結束流程。如果否，則選擇其他尚未比對的第二運動向量進行比對S74。
請參閱圖11至圖13，為圖3所示本發明的影像結合模組的流程圖以及示意圖。請參閱圖11，首先，設定結合方格的長度以及寬度S81。接著，計算結合方格的運動向量S82。最後，根據一結合比例進行最銳利化影像以及次銳利化影像的結合，產生一結合影像S83。其中，結合比例可由使用者預設，或是由最銳利化影像和次銳利化影像的邊緣值比(edge responses ratio)及一比例參數(proportional factor)產生。例如，當最銳利化影像和次銳利化影像的邊緣值比為40∶60，比例參數為0.4，則結合比例為(40×0.4)∶(100-40×0.4)＝16∶84，因此結合影像依據最銳利化影像，次銳利化影像以及結合比例16∶84進行一結合動作，產生結合影像。
請續參閱圖12，為圖11所示本發明的步驟S82的示意圖。圖中，以寬度93為2048像素，高度94為1536像素的影像為例，首先設定結合方格的寬度91為128像素，寬度92為128像素。如果方格內具有至少一第一運動向量，如結合方格95，則以該些第一運動向量的平均值作為結合方格95的運動向量。如果結合方格內無第一運動向量，如結合方格96，則該結合方格以Null表示，並依據附近的具運動向量的結合方格95來產生運動向量。請續參閱圖13，結合方格961根據附近具有運動向量的結合方塊951以產生運動向量為20，結合方格962根據附近具有運動向量的結合方塊952以產生運動向量為15。最後，每一個結合方格皆有一運動向量。
以上所述，僅為本發明的較佳實施例而已，並非用來限定本發明實施的範圍，凡依本發明申請專利範圍所述的形狀、構造、特徵及原理的等變化與修飾，均應包含於本發明的申請專利範圍內。
權利要求
1.一種影像處理裝置，其包含一影像擷取模組，擷取至少兩張影像；一影像選擇模組，依據該些影像選擇一最銳利化影像及一次銳利化影像；一運動向量產生模組，藉由該最銳利化影像及該次銳利化影像，產生至少一第一運動向量；一影像結合模組，依據該運動向量及一結合比例提供該最銳利化影像及該次銳利化影像的一結合動作。
2.如申請專利範圍第1項所述的影像處理裝置，其中該影像選擇模組更包含一邊緣偵測模組，是計算該影像的邊緣值。
3.如申請專利範圍第1項所述的影像處理裝置，其中該運動向量產生模組更包含一特徵產生模組，藉由該最銳利化影像，產生至少一影像特徵；一特徵比對模組，依據該影像特徵提供該最銳利化影像及該次銳利化影像的一比對動作，並產生至少一第二運動向量；一運動向量選擇模組，是依據至少一門檻值對該第二運動向量進行一選擇動作，以產生該第一運動向量。
4.如申請專利範圍第3項所述的影像處理裝置，其中該特徵產生模組可為一邊角偵測模組(cornerdetect)。
5.如申請專利範圍第3項所述的影像處理裝置，其中該特徵比對模組可為最小平方差模組。
6.如申請專利範圍第3項所述的影像處理裝置，其中該門檻值可為一長度門檻值。
7.如申請專利範圍第3項所述的影像處理裝置，其中該門檻值可為一角度門檻值。
8.如申請專利範圍第6項所述的影像處理裝置，其中該選擇動作是依該些第二運動向量中找出一第三運動向量，並由該第三運動向量與該些第二運動向量分別所對應的一長度差異值續與該長度門檻值進行一比對選擇動作，以產生該第一運動向量。
9.如申請專利範圍第7項所述的影像處理裝置，其中該選擇動作是依該些第二運動向量中找出一第三運動向量，並由該第三運動向量與該些第二運動向量分別所對應的一角度差異值續與該角度門檻值進行一比對選擇動作，以產生該第一運動向量。
10.如申請專利範圍第1項所述的影像處理裝置，其中該結合比例可為該最銳利化影像及該次銳利化影像的銳利度比例。
11.如申請專利範圍第1項所述的影像處理裝置，其中該結合比例可為使用者自行預設。
12.一種影像處理方法，用於一影像處理裝置，該方法包含(a)擷取至少兩張影像；(b)依據該些影像選擇一最銳利化影像及一次銳利化影像；(c)藉由該最銳利化影像及該次銳利化影像，產生至少一運動向量；(d)依據該運動向量及一結合比例提供該最銳利化影像及該次銳利化影像的一結合動作。
13.如申請專利範圍第12項所述的影像處理方法，其中(b)步驟中更包含計算該影像的邊緣值。
14.如申請專利範圍第12項所述的影像處理方法，其中(c)步驟中更包含(c1)藉由該最銳利化影像，產生至少一影像特徵；(c2)依據該影像特徵提供該最銳利化影像及該次銳利化影像的一比對動作，並產生至少一第二運動向量；(c3)依據至少一門檻值對該第二運動向量進行一選擇動作，以產生該第一運動向量。
15.如申請專利範圍第14項所述的影像處理方法，其中(c1)步驟更包含利用一邊角偵測模組以產生該影像特徵。
16.如申請專利範圍第14項所述的影像處理方法，其中(c2)步驟更包含利用一最小平方差模組以進行一比對動作。
17.如申請專利範圍第14項所述的影像處理方法，其中該門檻值可為一長度門檻值。
18.如申請專利範圍第14項所述的影像處理方法，其中該門檻值可為一角度門檻值。
19.如申請專利範圍第17項所述的影像處理方法，其中該選擇動作更包含依據該些第二運動向量中找出一第三運動向量，並由該第三運動向量與該些第二運動向量分別所對應的一長度差異值續與該長度門檻值進行一比對選擇動作，以產生該第一運動向量。
20.如申請專利範圍第18項所述的影像處理方法，其中該選擇動作更包含依據該些第二運動向量中找出一第三運動向量，並由該第三運動向量與該些第二運動向量分別所對應的一角度度差異值續與該角度門檻值進行一比對選擇動作，以產生該第一運動向量。
21.如申請專利範圍第12項所述的影像處理方法，其中該結合比例可為該最銳利化影像及該次銳利化影像的銳利度比例。
22.如申請專利範圍第12項所述的影像處理方法，其中該結合比例可為使用者自行預設。
全文摘要
本發明是揭露一種影像處理方法及其裝置，適用於穩定影像，此方法是擷取至少兩張影像，依據該些影像選擇一最銳利化影像及一次銳利化影像，藉由最銳利化影像及次銳利化影像以產生至少一第一運動向量。最後，依據運動向量及一結合比例提供該最銳利化影像及該次銳利化影像的一結合動作，產生一結合影像，達到穩定影像的目的。
文檔編號H04N5/232GK1794790SQ20051010815
公開日2006年6月28日 申請日期2005年10月9日 優先權日2005年10月9日
發明者傅楸善, 邱健平, 陳景富 申請人:英華達股份有限公司