圖像處理裝置及圖像處理方法

2023-08-04 12:24:51

專利名稱：圖像處理裝置及圖像處理方法
技術領域：
本發明涉及一種圖像處理裝置和圖像處理方法，用於檢測在兩 個不同畫面或畫面圖像間的移動矢量。在本i兌明書中，術語"畫面" 或"畫面圖^f象"用於表示由一個幀或一個場的圖傳d改據所形成的並 作為圖像顯示在顯示裝置上的圖像。
背景技術：
通過圖4象信息本身來確定兩個畫面間的移動矢量的塊匹配方 法是具有很悠久歷史的技術。主要關於電視攝相機的雲臺檢測或圖 像拾取對象跟蹤、MPEG (移動圖像專家組)方法的動態圖像編碼 等的塊匹配技術的開發取得了進展。進入九十年代之後，通過圖像 的疊加將塊匹配方法進4亍了各種應用，例如無傳感器相才幾震動4交正 或在低亮度圖像拾取時的降噪。
塊匹配為這才羊一種方法，其中，通過計算關於預定大小的矩形 區域的塊在參考圖像和基礎畫面之間的相關性來計算兩個畫面之 間的移動矢量，所述兩個畫麵包4舌作為關注畫面的參考畫面和作為 確定參考畫面移動的基礎的基礎畫面(下文中，稱作目標畫面)。參考畫面圖^f象和目標畫面圖{象可以具有這才羊的兩種時間關係，其一
為例如在根據MPEG的移動檢測的情況下，目標畫面圖像在時間上 先於參考畫面圖像，其二為例如在通過下文中所描述的圖像幀的疊 加來降噪的情況下，參考畫面圖像在時間上先於目標畫面圖像。
需要注意，儘管如上所述在本i兌明書中畫面或畫面圖^f象用於表 示由 一 個幀或 一 個場的圖像數據所形成的圖像，但是在下面的描述 中，支設畫面圖像由一個幀形成，並且為了描述方《更在下文中稱作 幀。因此，參考畫面圖^象在下文中^皮稱作參考幀，而目標畫面圖像 在下文中稱作目標幀。
圖51A 圖56示出了相關技術的塊匹配的概要。在此處所描 述的塊匹配方法中，例如，如圖51A所示，目標幀或基礎幀10(H皮 分成多個包括在水平方向上的多個像素和在垂直方向上的多條線 的預定大小的被稱作塊的矩形區域。目標幀的多個塊102的每一個 在下文中均;陂稱作目標塊。
在塊匹配中，從參考幀101中搜索與目標塊102具有高相關性 的塊。作為搜索結果被檢測為在參考幀101中具有最高相關性的塊 的塊103 (參照圖51B ) ;f皮稱作移動補償塊。此外，目標塊102和 移動補償塊103之間的位置偏移量^C稱作移動矢量(參照圖51B中 的參考悽t字104)。
在假設目標塊102的投影圖像塊109位於參考幀101中與目標 幀100的目標塊102的4立置相同的位置處的情況下，與包^^f立置偏 移量和位置偏移方向的目標塊102和移動補償塊103之間位置偏移 相應的移動矢量104，對應於目標幀100的每個目標塊102的^:影 圖像塊109的位置(例如，中心位置)與移動補償塊103的位置(例 如，中心位置)之間的位置偏移。此外，在這種情況下的位置偏移 具有位置偏移量和位置偏移方向組分。描述了塊匹配處理的相剋要。如圖52中的虛線所示，在參考幀 101上，4艮:沒目標塊的4殳影圖^f象塊109 4立於與目標幀100的目標塊 102的位置相同的位置處，並且，目標塊的^:影圖像塊109的中心 的坐標;故定義為用於移動^r測的原點105。隨後，々支i殳移動矢量104 存在於包括用於移動才企測的原點105的範圍內，將以原點105為中 心的預定範圍設置為搜索範圍106 (參照圖52中的點劃線)。
隨後，將具有與目標塊102相同大小塊(參考塊)108i殳置在 參考畫面圖^象上。隨後，在4臾索範圍106內的例如水平方向和垂直 方向上將參考塊108的位置移動一個像素或多個像素的單位距離。 因此，在搜索範圍106中，i殳置了多個參考塊108。
此處，由於在本實例中原點105為目標塊的中心位置，所以在 二搜索範圍106中移動參考塊108表示在4叟索範圍106內移動參考塊 108的中心位置。因此，構成參考塊108的某些〗象素有時會乂九後索 範圍106中突出。
隨後，為在^_索範圍106內i殳置每個參考塊108， i殳置在下文 中^C稱作參考矢量(參照圖52)的矢量107，該矢量表示參考塊108 和目標塊102之間的位置偏移量和位置偏移方向。隨後，評價位於 通過每個參考矢量107所表示的位置處的參考塊108的圖4象內容和 目標塊102的圖像內容之間的相關性。
參照圖53,在通過Vx表示在水平或X方向上的參考塊108的 位置偏移量並且通過Vy表示在垂直或Y方向上的參考塊108的位 置偏移量的情況下，參考矢量107可被表示為矢量(Vx， Vy)。當 諸如參考塊108中心位置坐標的位置坐標與諸如目標塊102的中心 位置坐標的位置坐標4皮此相同時，參考矢量107^皮表示為矢量(0， 0)。例如，如果如圖53所示參考塊108位於從目標塊102的位置 在X方向上移動一個像素距離的位置，則參考矢量107為矢量(1， 0 )。其間，如果如圖54所示參考塊108位於從目標塊102的位置 在X方向上移動三個^f象素3巨離並且在Y方向上移動兩個^f象素3巨離 的位置，則參考矢量107為矢量(3， 2)。
具體而言，如在圖54的實例中，目標塊102和參考塊108的 位置^皮定義為塊的中心位置的情況下，參考矢量107表示參考塊108 的中心位置和目標塊102的中心位置之間的位置偏移，即，具有位 置偏移量和偏移方向的矢量。
當參考塊108在^叟索範圍106內移動時，參考塊108的中心位 置在搜索範圍106內移動。如上所述，由於參考塊108由在水平方 向上和垂直方向上的多個^f象素構成，所以作為與目標*夫102進4亍塊 匹配處理的目標的參考塊108的移動的最大範圍為比如圖54所示 的4叟索範圍106更大的匹配處理範圍110。
隨後，被檢測為與目標塊102的圖像內容具有最高相關性的塊 的參考塊108的^f立置，^皮確定為在參考幀101中目標幀100的目標 塊102移動後的^f立置，並且，所才企測出的目標塊^皮確定為上文所述 的移動補償塊103。隨後，4金測所4企測出的移動補償塊103的位置 和目標塊102的位置之間的位置偏移量，作為包括方向組分的量的 移動矢量104 (參照圖51B)。
此處，基本上4吏用目標塊102和參考塊108的相應^象素j直來計 算表示目標塊102和在4叟索範圍106內移動的參考塊108之間的相 關度的相關值。為了計算，提出多種方法，並且這些方法中的其中 一種使用均方根法。作為計算移動矢量普遍使用的相關值，例如，使用與塊中所有
像素相關的，目標塊102中的像素的亮度值和搜索範圍106中相應 像素的亮度值之間的差分的絕對值總和(參照圖55)。所述差分的 絕對值的總和^皮稱為差分絕對值總和並且在下文中稱作SAD(差分 絕對值總和)。
在SAD值被用作相關值的情況下，SAD值越小，相關性越高。 因此，當在搜索範圍106內移動的參考塊108被定位於SAD值為 最小值的位置處時，該參考塊變為最高相關參考塊。因此，4企測出 最高相關參考塊，作為移動補償塊103，並且檢測所檢測出的移動 補償塊103與目標塊102位置的位置偏移量，作為移動矢量。
如上所述，在塊匹配中，關於目標塊102位置在4臾索範圍106 中所設置的多個參考塊108中的每一個的位置偏移量被表示為作為 包括方向組分的量的參考矢量107。每個參考塊108的參考矢量107 具有以參考塊108在目標塊102上的^f立置為基礎的值。如上所述， 在塊匹配中，檢測出示出SAD值的最小值作為相關值的參考塊108 的參考矢量，作為移動矢量104。
因此，在塊匹配中，如圖56所示，通常採用如下所述的這種 才企測方法。特別地，在搜索範圍106中所i殳置的多個參考塊108與 目標塊102之間的SAD值(為了簡化描述，這種SAD值在下文中 簡稱為參考塊108的SAD值)以與相應於參考塊108的位置的參 考矢量107的對應關係被存儲至存儲器中(為了簡化描述，相應於 參考塊108的位置的這種參考矢量107在下文中稱作參考塊108的 參考矢量107)。隨後，從在存儲器中存儲的所有參考塊108的SAD 值中檢測出示出最小SAD值的其中一個參考塊108，從而檢測出移 動矢量104。以與參考矢量107 (其相應於在;J叟索範圍106中所i殳置的多個 參考塊108的位置)的各自的對應關係來存儲諸如參考塊108的 SAD值的相關值的存儲器或存儲區被稱作相關值表。在本實例中， 由於作為差分的絕對值總和的SAD值-故用作相關值，所以相關值 表被形成為在下文中被稱作SAD表的差分絕對值總和表。
SAD表被表示為圖56中的SAD表TBL。參照圖56，在所示 的SAD表TBL中，每個參考塊108的相關^直(此實例中所示的是 SAD值)被稱作相關值表要素。在圖56的實例中，通過參考數字 111所表示的SAD值表示參考矢量為矢量(0， 0)的SAD值。此 夕卜，在圖56的實例中，由於SAD值的最小值是參考矢量為矢量(3， 2)的"7",所以所要確定的移動矢量104自然為矢量(3, 2)。
應該注意，目標塊102和參考塊108的任何一個的位置表示塊 中的任意特定位置(例如，塊的中心位置)，並且，參考矢量107 表示參考幀101中的目標塊102的投影圖像塊109的位置與參考塊 108的位置之間的偏移量。
隨後，相應於每個參考塊108的參考矢量107為參考塊108與 參考幀101中相應於目標塊102的才更影圖4象塊109的位置的位置的 偏移，因此，如果參考塊108的位置被指定，則參考矢量值也根據 參考塊108的位置被指定。因此，如果在SAD表TBL的存儲器中 的參考塊的相關值表要素的地址被指定，則相應的參考矢量^皮指 定。
應該注意，可以同時計算兩個以上的目標塊的SAD ^直。如果 同時處理的目標塊ft增加，則處理速度增加。 <旦是，由於用於計算 SAD值的硬體的規模增大，所以處理速度的提高和電路規模的擴大 -波此存在此消彼長的關係。附帶地，在上述塊匹配方法中，由於處理對象圖<象的解析度拔_
高，所以與#r測兩個圖 <象或兩個畫面圖 <象之間的移動相關的^象素數 增加。因此，為了追蹤這種移動，需要對於移動矢量使用更大的搜 索範圍，即，增大在搜索範圍中所包括的像素數。
但是，在以這種方式使用更大的搜索範圍的情況下，從處理目 標的每一個塊的幀存儲器中讀入像素信息的次數增多，導致需要更 多的處J裡時間的問題。
另一方面，在處理對象圖4象的解析度4氐的情況下，或在幀率高 的情況下，由於^象素之間的移動4艮小，所以需要4企測比一個〗象素更 小的亞像素精度的小移動。因此，需要使用過採樣圖像來檢測移動 矢量，從而檢測小於一個像素的移動矢量。但是，這種方法的採用 會引起電路規模增大並且處理次數由於過採樣而增加的問題。
如上所述，塊匹配方法預示著響應於對4艮大4叟索範圍和小於一 個像素的非常小的移動的需求而導致處理時間和電路規模增加的 傾向。因此，需要消除處理時間和電^各規才莫的這種增加。
同時，近年來，高清晰度動態圖片的圖像開發已經進行，並且 對於圖像的更高解析度和更高圖片質量的需求正在增加。與此同 時，對於實現更大搜索範圍和小於一個像素的亞像素精度的非常小 的移動的檢測的塊匹配方法的需求正在增加。
為了解決如上所述的這些問題，在過去已經提出了多種方法。 例如，已經 -提出了用於在小於 一 個 開第Hei. 7-95585號 中。用於通過採樣參考幀來減小幀存儲器和計算量的另一種方法也 ^皮才皮露於日本專利/>開第2006-160829號中。4皮i人為更為實際的進一 步的方法4皮露於日本專利7>開第Hei 5-91492號中。才艮才居該方法，在SAD表中，SAD表中的最小SAD 值和與最小SAD值位置鄰近的位置處的多個SAD值被用於執行內 插處理，使得以比SAD表的精度低的高精度(即，目標幀和參考 幀的像素間距精度)來計算SAD值的最小值。通過上述方法，參 考圖像不需要預處理，並且對電路規模的影響也很小。

發明內容
如上所述，基於處理對象圖j象的解析度或幀率以不同的方式應 用塊匹配方法。具體;也i兌，該塊匹配方法足夠用於^r測一個〗象素4青 度的移動，或者需要該塊匹配方法來檢測小於一個像素的亞像素精 度的非常小的移動。
此外，例如，在靜止圖片的情況下，期望亞像素精度的移動檢 測，而在動態圖片的情況下，可以使用一個像素精度(像素精度) 的移動4企測。此外，在動態圖片的情況下，因為需要實時性，所以 處理速度更加重要，而在靜止圖片的情況下，應該首先考慮精度。
例如，在像機系統中，由於更高功能的發展，已提出了多種應 用，因此，關於處理對象圖<象或圖<象處理，發生如上所述的多種情 況。4旦是，不能通過一種塊匹配來實現準備用於如上所述的這樣的 各種需,jt的^:匹配。
因此，需要提供能夠響應於關於處理對象圖像或用於該圖像的 處理的各種情況來4丸4亍適當的塊匹配處理的圖 <象處理裝置和圖{象 處理方法。
根據本發明的實施例，提供了一種圖像處理裝置，用於計算包 括目標畫面圖像和參考畫面圖像這兩個畫面圖像之間的移動矢量。
圖^f象處理裝置包括以下部分基礎面移動矢量計算部，#1配置為/人各自與目標塊具有相同大 小並且^皮設置在參考畫面圖像中的第 一搜索範圍中被設置的多個 參考塊中，檢測出最大相關基礎面參考塊，該最大相關基礎面參考 塊與被設置在目標畫面圖像中的預定位置處的預定大小的目標塊 具有高相關性，並且該基礎面移動矢量計算部根據在畫面圖像中所 檢測的最大相關基礎面參考塊關於目標塊的位置偏移量來計算基
礎面移動矢量；
高精度基礎面移動矢量計算部，被配置為使用最大相關基礎面 參考塊的相關值和位於與最大相關基礎面參考塊鄰近位置的多個 參考塊的相關值來執行內插處理，從而檢測高精度最大相關基礎面 參考塊的位置，並且根據在畫面圖像中高精度最大相關基礎面參考 塊關於目標塊的位置偏移量來計算高精度基礎面移動矢量；
縮小面移動矢量計算部，^皮配置為以預定縮小率縮小目標畫面 圖像和參考畫面圖像，/人而生成縮小目標畫面圖4象和縮小參考畫面
圖像，從各自與縮小面目標塊具有相同大小並且被設置在縮小參考
畫面圖4象中所_沒置的第二4臾索範圍中的多個縮小面參考塊中^r測 最大相關縮小面參考塊，該參考塊與具有預定大小並且^皮設置在縮 小目標畫面圖像的預定位置處的縮小面目標塊具有高相關性，並且 該縮小面移動矢量計算部根據在畫面圖像中所檢測的最大相關縮 小面參考塊關於縮小面目標塊的位置偏移量來計算縮小面移動矢
量；
高精度縮小面移動矢量計算部，被配置為使用最大相關縮小面 參考塊的相關值和位於與最大相關縮小面參考塊鄰近位置的多個 縮小面參考塊的相關值來執行內插處理，從而檢測高精度最大相關 縮小面參考塊的位置，並且根據在畫面圖像中高精度最大相關縮小
面參考塊關於目標塊的位置偏移量來計算高精度縮小面移動矢量；第 一基礎面4臾索範圍確定部，被配置為4艮據通過縮小面移動矢 量計算部所計算的縮小面移動矢量來確定第一搜索範圍；
第二基礎面搜索範圍確定部，被配置為根據通過高精度縮小面
移動矢量計算部所計算的高精度縮小面移動矢量來確定第二搜索 範圍；以及
選擇部，被配置為從基礎面移動矢量計算部、高精度基礎面移 動矢量計算部、縮小面移動矢量計算部以及高精度縮小面移動矢量 計算部中選擇要使用的計算部，並選4奪是否應使用第 一或第二基礎 面4叟索範圍確定部，並且隨後在確定要〗吏用4壬一確定部的情況下， 從第 一和第二基礎面搜索範圍確定部中選擇要使用的確定部。
根據本發明的另一個實施例，提供了一種圖像處理方法，用於 計算包4舌目標畫面圖〗象和參考畫面圖 <象的兩個畫面圖l象之間的移 動矢量，通過包括基礎面移動矢量計算裝置、高精度基礎面移動矢 量計算裝置、縮小面移動矢量計算裝置、高精度縮小面移動矢量計 算裝置、第一基礎面搜索範圍確定裝置、及第二基礎面搜索範圍確 定裝置的圖像處理裝置來執行所述圖像處理方法。圖像處理方法包 4舌以下步-驟
基礎面移動矢量計算步驟，通過基礎面移動矢量計算裝置來執 行，在參考畫面圖像中所設置的第一^t索範圍中設置各自與具有預 定大小並且一皮設置在目標畫面圖像中的預定位置處的目標塊具有 相同大小的多個參考塊，從而從多個參考塊中檢測與目標塊具有高 相關性的最大相關基礎面參考塊，並且根據在畫面圖像中所檢測的 最大相關基礎面參考塊關於目標塊的位置偏移量來計算基礎面移 動矢量；高精度基礎面移動矢量計算步驟，通過高精度基礎面移動矢量 計算裝置來執行，使用最大相關基礎面參考塊的相關值和位於與最 大相關基礎面參考塊鄰近位置的多個參考塊的相關值來執行內插 處理，從而檢測高精度最大相關基礎面參考塊的位置，並且根據在 畫面圖像中高精度最大相關基礎面參考塊關於目標塊的位置偏移
量來計算高精度基礎面移動矢量；
縮小面移動矢量計算步驟，通過縮小面移動矢量計算裝置來執 4亍，以預定縮小率縮小目標畫面圖^象和參考畫面圖i"象，/人而生成縮 小目標畫面圖像和縮小參考畫面圖像，在縮小參考畫面圖像中所設 置的第二搜索範圍中設置各自與具有預定大小並且被設置在縮小 目標畫面圖<象中的預定4立置處的縮小面目標塊具有相同大小的多 個縮小面參考塊，從多個縮小面參考塊中衝企測與縮小面目標塊具有 高相關性的最大相關縮小面參考塊，並且根據在畫面圖像中所檢測 的最大相關縮小面參考塊關於縮小面目標塊的位置偏移量來計算 縮小面移動矢量；
高精度縮小面移動矢量計算步驟，通過高精度縮小面移動矢量 計算裝置來執行，使用最大相關縮小面參考塊的相關值和位於與最 大相關縮小面參考塊鄰近位置的多個縮小面參考塊的相關值來執 行內插處理，從而檢測高精度最大相關縮小面參考塊的位置，並且 根據在畫面圖像中高精度最大相關縮小面參考塊關於目標塊的位 置偏移量來計算高精度縮小面移動矢量；
第一基礎面搜索範圍確定步驟，通過第一基礎面搜索範圍確定 裝置來執行，根據通過縮小面移動矢量計算裝置所計算的縮小面移 動矢量來確定第 一搜索範圍；第二基礎面搜索範圍確定步驟，通過第二基礎面搜索範圍確定 裝置來執行，根據通過高精度縮小面移動矢量計算裝置所計算的高
精度縮小面移動矢量來確定第二搜索範圍；以及
選擇步驟，當要計算兩個畫面圖像之間的移動矢量時，從基礎 面移動矢量計算步驟、高精度基礎面移動矢量計算步驟、縮小面移 動矢量計算步驟、基高精度縮小面移動矢量計算步驟中選擇要使用 的計算步驟，選擇是否應使用第 一或第二基礎面搜索範圍確定步 驟，在確定要使用任一確定步驟的情況下，乂人第一和第二基礎面搜 索範圍確定步驟中選擇要使用的確定裝置。
在圖像處理裝置中，預備了多個不同的塊匹配方法，並且響應 於處理只於象圖^f象或用於該圖 <象的處理的情況通過選4奪部乂人所預備 的塊匹配方法中選4奪適當的塊匹配方法。
簡而言之，通過圖^f象處理裝置，響應於處理對象圖^f象或用於該 圖像的處理的情況從所預備的塊匹配方法中選擇適當的塊匹配方 法。
下面，將結合附圖對本發明的優選實施例進行i兌明，本發明的 上述和其他的目的、特4正和優點將更加明顯。在附圖中，相同的參
考符號表示相同的元件。


圖1是示出作為應用了本發明的實施例的圖像處理裝置的圖像 拾取裝置的構造實例的框圖2A和圖2B是示出通過圖1的圖像拾取裝置從所拾取的圖 像中生成經降噪的圖像的示意圖；圖3是示出由圖1的圖像拾取裝置進行的塊匹配處理的示意
圖4和圖5是示出由圖1的圖像拾取裝置進行的不同的降噪處 理的示意圖6、圖7、圖8A~圖8C、圖9~圖12、圖13A~圖13C、圖 14、圖15A和圖15B、及圖16A和圖16B是示出通過圖1的圖Y象 拾取裝置所進行的幾種圖像處理方法的示意圖17和圖18是示出圖1的圖像拾取裝置的移動檢測和移動補 償單元的操作的示意圖19是示出圖1中所示的移動4全測和移動補償單元的結構實 例的才匡圖20和圖21是示出圖1的移動檢測和移動補償單元的不同部 分的詳細結構實例的4匡圖22是示出圖1的圖像拾取裝置的圖像疊加單元的結構實例 的框圖23是示出圖1中所示的移動衝企測和移動補償單元的移動矢 量計算部的第 一 實例的衝匡圖24是示出圖23的移動矢量計算部的處理才喿作實例的流程
圖25A~圖25C和圖26A~圖26C是示出移動^r測和移動補償 單元的移動矢量計算部的第二實例的才喿作的示意圖；圖27是示出移動才企測和移動補償單元的移動矢量計算部的第 一實例的結構的才匡圖28和圖29是示出圖27的移動矢量計算部的處理操作的實 例的流程圖30是示出移動^r測和移動補償單元的移動矢量計算部的第 三實例的框圖31和圖32是示出圖30的移動矢量計算部的處理才喿作的實 例的流程圖33是示出圖像處理裝置的部分的功能組塊結構的框圖34是示出選擇在應用了本發明實施例並且被整合在圖1的 圖 <象拾取裝置中的圖像處理方法中所4吏用的多個塊匹配才莫式的其 中 一個的處理實例的流禾呈圖35是示出在圖34中所示出的處理中所4吏用的才喿作才莫式和移 動矢量精度的示圖36和圖37是示出在根據本發明實施例的圖像處理方法中所 使用的靜止圖片降噪處理的實例的流程圖38是示出在根據本發明實施例的圖像處理方法中所使用的 動態圖片降噪處理的實例的流程圖39~圖42是示出在根據本發明實施例的圖像處理方法中所 使用的靜止圖片降噪處理中的圖像數據的流程的框圖；圖43和圖44是示出在根據本發明實施例的圖像處理方法中所 -使用的動態圖片降噪處理中的圖傳-數據的流程的框圖45和圖46是示出在才艮據本發明實施例的圖像處理方法中所 使用的分級塊匹配處理才莫式的實例的流程圖47和圖48是示出在4艮據本發明實施例的圖Y象處理方法中所 使用的分級塊匹配處理模式的另 一個實例的流程圖49A-圖49F是示出在根據本發明實施例的圖像處理方法中 所4吏用的分級塊匹配處理的效果的示意圖；並且
圖50A 50C、圖51A和51B、及圖52 ~圖56是示出塊匹配 處理的示意圖。
具體實施例方式
下面，將圖像拾取裝置作為實例，參照附圖描述使用根據本發 明的圖<象處理方法的圖1象處理裝置。此外，在圖^f象處理方法中，將 疊加多個圖傳J人而降，喿的處理作為實例，描述^f吏用所4企測的移動矢 量所扭^於的處理。
在根據本發明實施例的圖像拾取裝置中，將連續拾取的多個圖 像(例如，圖2中所示的圖像P1、 P2以及P3) ^使用移動才企測和移 動補償相對地進行定位，隨後彼此疊加，從而獲得經降噪的圖像 Pmix。具體地，由於噪點隨機地包含於多個圖4象中，所以如果相同 組分的圖像彼此疊加，則能夠降低所得圖4象中的噪點。在下面的描述中，使用移動檢測和移動補償來疊加多個圖像從
而減少p喿點^皮稱作降，噪(NR),而通過這種降噪而減少了p喿點的圖 像被稱作降噪圖像。
在本i兌明書中，祠4皮執4亍降i喿的畫面圖傳4皮稱作目標畫面圖l象 或目標幀，而待疊加的畫面圖傳4皮定義為參考畫面圖像或參考幀。 由於圖像拾取人的相機震動，被連續拾取的圖像位置發生偏移，並 且，為了疊加兩個圖像，圖像的定位是非常重要的。此處，不僅應 該考慮諸如由於手而導致的相才幾震動的整個畫面的相才幾震動的存 在，而且應該考慮畫面中圖傳4合取對象的移動的存在。
因此，為了也增強關於圖像拾取對象的降噪效果，如圖3所示， 需要將目標幀100分割成多個目標塊102,並且以目標塊102為單 位執行定位。此處，每個目標塊102包括水平方向上的多個像素x 垂直方向上的多個4亍。
在本實施例中，從所有目標塊102中檢測以塊為單位的塊移動 矢量104B (下文中被稱作塊移動矢量)，使得使用塊移動矢量104B 對目標塊102執行定位，從而疊加圖像。
本實施例的圖像拾取裝置具有用於拾取靜止圖片的模式和用 於拾取動態圖片的另 一種模式。
當圖像拾取裝置處於靜止圖片拾取模式時，高速連續拾取多個 圖像，並且如圖4所示，將第一拾取圖像設置為目標幀100，並將 包括第二及隨後所拾取的圖像的預定數目的隨後所拾取圖像設置 為參考幀101，將它們進行疊加，並且每個所得圖傳3皮記錄在靜止 圖片拾取圖像中。具體地，如果圖像拾取人按下圖像拾取裝置的快 門按鈕，則高速連續拾取預定數目的圖像，並且在首先拾取的圖像 或幀上，疊加隨後才合取的多個圖〗象或幀。另一方面，當圖像拾取裝置處於動態圖片圖像拾取模式時，如
圖5所示，將當前從圖像拾取裝置所輸出的幀的圖像確定為目標幀 100的圖4象，並且將在時間上先於該幀的圖^f象確定為參考幀101的 圖像。因此，為了執行當前幀的圖像的降噪，將先前幀的圖像疊加 到當前幀上。
需要注意，在圖4和圖5的疊加方法的描述中，當所要記錄的 動態圖片圖像的幀率為60fps (幀/秒)時，來自圖像拾取裝置的幀 率為60 fps的兩個圖像幀被疊加，從而獲取經降噪的幀率為60 fps 的拾取圖像信號。
但是，在從圖像拾取裝置中以更高的幀率(例如，240fps)輸 出才合耳又圖<象的情況下，也能通過每4個圖^象的疊加而產生一個動態 圖片幀來獲取幀率為60fps的拾耳又圖像信號。當然，通過以類似的 方式來疊加每兩個所才合取的240 fps的動態圖片圖^f象，可以獲取幀 率為240 fps且經降噪的所拾取圖像信號。
通過這種方式，本實施例的圖像拾取裝置通過對靜止圖片和動 態圖片的圖像疊加來用於降噪。通常，靜止圖片通過圖像疊加所進 行的降噪需要高精度，而動態圖片通過圖像疊加進行的降噪需要實 時性(即，高速處理速度)。
因此，例如，對於靜止圖片的降噪，需要在很寬的搜索範圍內 的亞像素精度的移動檢測。同時，對於動態圖片的降噪，需要能夠 高速執行像素精度的移動檢測並且對總線帶寬的負載低。此處，所 述總線帶寬為能夠在用於數據傳輸的路徑上傳輸#:據同時防止過 載的數據率。
因此，用於移動4企測的塊匹配方法優選預備至少兩種不同的才乘 作模式，包括在靜止圖片圖像拾取模式下用於靜止圖片降噪的操作模式和在動態圖片圖像拾取模式下用於動態圖片降噪的另 一種操 作模式。
近年來，隨著高功能性像機系統的發展，已經提出了多種應用 並將其實際整合在圖像拾取裝置中。因此，在降噪系統中用於移動 衝企測的塊匹配^支術優選不^f又預備用於靜止圖片降噪和動態圖片降 噪的兩種操作模式，而且還根據處理速度、總線帶寬、像素大小、 搜索範圍、幀率、移動矢量的檢測精度等預備多種輔助操作模式。
鑑於上述情況，本實施例的圖像拾取裝置具有兩種以上的作為 用於執行移動檢測的塊匹配的操作模式的操作模式，並且響應於在 靜止圖片圖像拾取模式和動態圖片圖像拾取模式之間的圖像拾取
模式的選擇操作(例如，通過用戶操作輸入單元3所執行的操作)
以及處理速度、總線帶寬、用於移動矢量的檢測精度的選擇指定操 作等，自動選擇適當的塊匹配操作模式。
圖1示出作為根據本發明的圖像處理裝置的實施例的圖像拾取 裝置的實例。
參照圖1，所示的圖像拾取裝置包括被連接至系統總線2的中 央處理單元(CPU) 1。圖像拾取裝置進一步包括,皮連接至系統總 線2的圖像信號處理系統10、用戶操作輸入單元3、圖像存儲單元 4、及記錄和再生裝置單元5等。需要注意，儘管未示出，CPU 1 還包括用於存儲才丸行各種軟體處理的程序的ROM (只讀存儲器)、 用於工作區的RAM (隨機存取存儲器)等。
圖1的圖像拾取裝置的拾取圖像信號處理系統10如下文所述 地通過用戶操作輸入單元3接收圖像拾取記錄啟動操作，並且執行這種拾取圖像數據記錄處理。此外，圖1的圖像拾取裝置的拾取圖
像信號處理系統10通過用戶操作輸入單元3接收所拾取並被記錄 的圖1象的再生啟動糹乘作，並且對記錄在記錄和再生裝置單元5的記 錄介質上的拾取圖像數據執行再生處理。需要注意，下文中所描述 的拾取圖像信號處理系統10的各組件通過控制寄存單元7接收來 自CPU 1的控制命令，並且在CPU 1的控制下才丸4亍獨立的處理。
如圖1所示，在拾取圖像信號處理系統10中，來自圖像拾取 對象且通過包括圖像拾取透鏡10L的相機光學系統(未示出)的入 射光照射在圖像拾取器件11上，從而執行圖像拾取。在本實例中， 圖像拾取器件11由CCD (電荷耦合器件)成像器構成。需要注意， 此外圖像拾取器件11也可以用CMOS (互補金屬氧化物半導體) 成像器來構成。
在圖像拾取裝置中，如果執行圖像記錄啟動操作，則通過圖像 拾取透鏡10L所輸入的圖像通過圖像拾取器件11轉換成拾取圖像 信號。因此，與來自定時信號發生單元12的定時信號同步，從圖 像拾取器件11輸出作為由三原色紅(R)、綠(G)和藍(B)的信 號組分所構成的貝爾陣列(Bayer array)的RAW信號的模擬拾取 圖像信號。所輸出的模擬拾取圖像信號被提供至預處理單元13,通 過該單元執行諸如缺陷校正和Y校正的預處理。隨後，所得的信號 4皮才是供至數據轉換單元14。
數據轉換單元14將作為輸入其中的RAW信號的模擬拾取圖像 信號轉換成由亮度信號組分Y和色差信號組分Cb/Cr所構成的數字 拾取圖像信號或YC數據，並且將數字拾取圖像信號提供至圖像校 正和解析度轉換單元15。圖像才交正和解析度轉換單元15將lt字衝合 取圖像信號轉換成具有通過用戶操作輸入單元3所指定的解析度的 數字拾取圖像信號，並且將所得的數字拾取圖像信號通過系統總線 2提供至圖像存儲單元4。如果通過用戶操作輸入單元3所接收的圖像拾取指示為通過按
下快門按鈕引起的靜止圖片圖像拾取指示，則對於上述多個幀，具
有通過圖^象4交正和解析度轉換單元15所轉4灸的解析度的悽t字衝合取 圖像信號被寫入圖像存儲單元4中。在多個幀的圖像一皮寫入圖〗象存 儲單元4後，通過移動檢測和移動補償單元16讀入目標幀的圖像 數據和參考幀的圖像數據，由此，執行如下文所述的這種塊匹配處
理，從而檢測移動矢量。隨後，圖像疊加單元17根據這樣檢測的 移動矢量執行下文中所描述的圖像疊加處理。作為疊加的結果，經 降噪的降噪圖像的圖像數據被存儲在圖像存儲單元4中。
隨後，通過靜止圖片編碼i奪碼單元18來編碼:澤碼轉換存儲在 圖像存儲單元4中的疊加結果的降噪圖像的圖像數據，並且通過系 統總線2將其記錄在諸如DVD (數字通用光碟)或石更盤的記錄和 再生裝置單元5的記錄介質中。在本實施例中，4爭止圖片編碼i奪碼 單元18對JPEG (聯合圖像專家組)系統的靜止圖片執行圖像壓縮 編；馬處理。
此外，當圖像拾取裝置處於靜止圖片圖像拾取模式時，在按下 快門按4醜之前，來自圖傳4交正和解析度轉換單元15的圖傳4"居通 過圖像存儲單元4被提供至NTSC (國家電一見系統委員會)編碼器 20，通過該編碼器將其轉換成NTSC系統的標準彩色一見頻信號。標 準彩色視頻信號被提供至例如LCD (液晶顯示器)裝置的監控顯示 器6,並且靜止圖片圖像拾取模式下的監控圖像被顯示在監控顯示 器6的顯示屏上。
另 一方面，如果通過用戶才喿作輸入單元3所llr入的圖傳_拾取指 示為通過按下動態圖片記錄按鈕而獲得的動態圖片圖像拾取指示， 則解析度轉換後的圖傳H據^皮寫入圖4象存儲單元4,並且同時浮皮發 送至移動檢測和移動補償單元16。因此，通過移動檢測和移動補償 單元16,對圖像數據執行如下文所述的這樣的塊匹配處理，從而檯r測移動矢量，並且圖像疊加單元17根據所檢測出的移動矢量來執 行如下文所述的圖4象疊加處理。因此，作為疊加結果的經降噪的降 噪圖像的圖像數據被存儲在圖像存儲單元4中。
在圖像存儲單元4中所存儲的疊加結果的這種降噪圖像的圖像 數據通過NTSC編碼器20被輸出至監控顯示器6的顯示屏，並且 同時通過動態圖片編碼^奪石馬單元19淨皮編；馬i奪石馬轉4奐。此後，#皮編 碼解碼轉換的圖傳4t據通過系統總線2淨皮提供至記錄和再生裝置單 元5，通過該單元-皮i己錄在卞者如DVD或石更盤的記錄介質上。在本 實施例中，動態圖片編碼解碼單元19根據MPEG (動態圖片專家 組)系統對動態圖片執行圖像壓縮編碼處理。
響應於通過用戶操作輸入單元3所執行的再生啟動操作，記錄 在記錄和再生裝置單元5的記錄介質上的拾取圖像數據被讀出，並 且一皮提供^會動態圖片編碼i奪碼單元19並由其為再生進4亍解碼。隨 後，所解碼的圖^f象數據通過NTSC編碼器2(H皮4是供至監控顯示器6， 由此根據圖像數據在顯示屏上顯示再生圖像。需要注意，儘管在圖 1中未被示出，但是來自NTSC編碼器20的輸出視頻信號能夠通過 視頻輸出終端被導出至外部。
上述移動4企測和移動補償單元16可通過^更件構成，或者4吏用 DSP (數位訊號處理器)構成。可選地，移動^r測和移動補償單元 16可以通過CPU 1配置為軟體處理。
類似地，上述圖〗象疊加單元17也可以通過硬體或使用DSP老 構成。可選地，圖l象疊加單元17可以通過CPU1配置為^:件處理。 這也可以類似地應用於靜止圖片編碼解碼單元18和動態圖片編碼 i奪碼單元19。
如上所述，在本實施例中，具有如上所述的這種石更件結構的移 動才全測和移動補償單元16能夠糹丸ft如上所述的所有這些塊匹配處 理的多個操作模式。圖33中示出在本實施例中用於實現移動檢測 和移動補償單元16的多個操作模式的功能組塊結構。
參照圖33，移動衝企測和移動補償單元16包4舌作為其功能組塊 的縮小面匹配處理部201、縮小面鄰近SAD值獲耳又部202、縮小面 SAD值內插部203、基礎面匹配處理部204、基礎面鄰近SAD值獲 耳又部205 、及基礎面SAD值內插部206。
縮小面匹配處理部201計算在縮小面目標塊133與在縮小面匹 配處理範圍143內所有縮小面參考塊139之間的縮小面SAD值， 乂人而確定縮小面最小SAD值Smin。隨後，縮小面匹配處理部201 通過所確定的縮小面最小SAD值Smin4企測縮小面移動矢量，並且 將縮小面移動矢量輸出至控制部165。控制部165進4亍控制，4吏得縮小面匹配處理部201 ^f又在縮小面 匹配處理才莫式下4喿作。
縮小面鄰近SAD值獲取部202獲取在如上所述通過縮小面匹 配處理部201所確定的縮小面最小SAD值Smin鄰近的4個點處的 縮小面鄰近SAD值Sxl、 Sx2和Syl、 Sy2。
縮小面SAD值內插部203 4吏用縮小面最小SAD值Smin和縮 小面鄰近SAD值Sxl、 Sx2和Syl、 Sy2，從而4丸行上文所述的亞 像素精度的二次曲線近似內插處理，確定高精度縮小面最小SAD 值。隨後，縮小面SAD值內插部203通過高4青度縮小面最小SAD 值檢測高精度縮小面移動矢量，並且將高精度縮小面移動矢量輸出 至控制部165。
另一方面，在縮小面匹配+內插處理;漠式下，控制部165進4亍 控制，使得縮小面匹配處理部201、縮小面鄰近SAD值獲耳又部202、 及縮小面SAD值內插部203進行#:作。
基礎面匹配處理部204計算基礎面目標塊131和在基礎面匹配 處理範圍144中的所有基礎面參考塊142之間的基礎面SAD值， 從而確定基礎面最小SAD值SSmin，通過所檢測的基礎面最小SAD 值SSmin檢測基礎面移動矢量，並將基礎面移動矢量輸出至控制部 165。
此外，在分級匹配處理衝莫式1中，控制部165進行控制，4吏得 縮小面匹配處理部201和基礎面匹配處理部204進4亍操作。此時， 基礎面匹配處理部204才艮據通過縮小面匹配處理部201所確定的縮 小面移動矢量來確定基礎面4叟索範圍和基礎面匹配處理範圍。此外，在分級匹配處理模式2中，控制部165進行控制，使得 縮小面匹配處理部201 、縮小面鄰近SAD值獲取部202、縮小面SAD 值內插部203、及基礎面匹配處理部204進行操作。此時，基礎面 匹配處理部204才艮據通過縮小面SAD值內插部203所確定的高精 度縮小面移動矢量來確定基礎面4臾索範圍和基礎面匹配處理範圍。
如圖33所示，控制部165轉換作為功能部的轉換部207，從而 執行在分級匹配處理模式1和分級匹配處理才莫式2之間的選擇性轉 換控制。
基礎面鄰近SAD值獲取部205獲取在如上所述通過基礎面匹 配處理部204所確定的基礎面最小SAD值SSmin鄰近的4個點處 的基石出面4卩近SAD^直SSxl、 SSx2和SSyl、 SSy2。
基礎面SAD值內插部206 4吏用基礎面最小SAD值SSmin和基 礎面鄰近SAD值SSxl、 SSx2和SSyl、 SSy2，執行在上文所述的 亞像素精度的二次曲線近似內插處理，從而確定高精度基礎面最小 SAD值。隨後，基礎面SAD值內插部206通過高精度基礎面最小 SAD值來檢測高精度基礎面移動矢量，並且將高精度基礎面移動矢 量發送至控制部165。
在分級匹配+內插處理模式1中，控制部165進行控制，使得 縮小面匹配處理部201、基礎面匹配處理部204、基礎面鄰近SAD 值獲取部205、及基礎面SAD值內插部206進行操作。此時，基礎 面匹配處理部204才艮據通過縮小面匹配處理部201所確定的縮小面 移動矢量來確定基礎面4叟索範圍和基礎面匹配處理範圍。
另一方面，在分級匹配+內插處理才莫式2中，控制部165進行 控制，使得縮小面匹配處理部201、縮小面鄰近SAD值獲取部202、 縮小面SAD <直內4翁部203、基礎面匹配處理部204、基礎面鄰近SAD值獲取部205、及基礎面SAD值內插部206進行操作。此時，基礎 面匹配處理部204根據通過縮小面SAD值內插部203所確定的高 精度縮小面移動矢量來確定基礎面4叟索範圍和基礎面匹配處理範 圍。
如圖33所示，控制部165轉換作為功能部的轉換部207,從而 4丸4亍在分級匹配+內插處理才莫式1和分級匹配+內插處理才莫式2之間 的選擇性轉換控制。
現在，將描述本實施例中塊匹配處理的多個才喿作才莫式的選擇的 幾個實例。

圖34示出了響應於靜止圖片拾取模式和動態圖片拾取模式之 間的選擇和移動矢量的檢測精度或處理速度的選擇所進行的塊匹 配處理的多個操作模式的選擇的實例。通過CPU 1執行圖34的處
理步驟。
首先，CPU 1監控來自用戶才喿作輸入單元3的用戶才喿作輸入， 判定選擇靜止圖片拾取模式還是選擇動態圖片拾取模式(步驟 S51)。如果在步驟S51中判定選擇靜止圖片拾取模式，則CPU 1 判定是否通過用戶操作輸入單元3選擇性地輸入了最高精度作為移 動檢測精度(步驟S52)。如果判定未選擇性地輸入最高精度，則 CPU 1向移動衝企測和移動補償單元16的4空制部165發出指示，以 執行分級匹配+內插處理模式1 (步驟S53)。另一方面，如果在步 驟S52中判定選l奪性地輸入了最高精度，則CPU 1向移動才企測和移動補償單元16的控制部165發出指示，以才丸行分級匹配+內插處 理模式2 (步驟S54 )。
另一方面，如果在步驟S51中判定選擇了動態圖片拾取模式， 則CPU 1判定是否通過用戶操作輸入單元3選擇性地輸入了低精度 作為移動矢量檢測精度(步驟S55 )。如果判定選4奪性地輸入了低精 度，則CPU 1向移動衝企測和移動補償單元16的控制部165發出指 示，以執行縮小面匹配處理模式(步驟S56)。
另一方面，如果在步驟S55中判定未選擇性地輸入低精度，則 CPU 1判定是通過用戶才喿作輸入單元3選4奪了高處理速度-高精度 狀態還是選擇了處理速度可為低速的高精度狀態(步驟S57 )。
隨後，如果判定選擇了高處理速度-高精度狀態，則CPU 1向 移動檢測和移動補償單元16的控制部165發出指示，執行縮小面 匹配+內插處理才莫式(步驟S58 )。
另一方面，如果在步驟S57中判定選擇處理速度可為低速的高 精度狀態，貝'J CPU 1向移動檢測和移動補償單元16的控制部165 發出指示，執行分級匹配處理才莫式1或分級匹配處理才莫式2 (步驟 S59)。而且，可以響應於用戶進行的移動矢量檢測精度的選擇輸入， 類似地執行步驟S59中的分級匹配處理才莫式1或分級匹配處理才莫式 2的選擇，使得當選擇高精度時，選擇分級匹配處理模式2，而在 其他情況下，選擇分級匹配處理才莫式1。
需要注意，雖然在上述實例中，當用戶通過用戶才喿作iir入單元
3進行選擇使得以動態圖片拾取模式來檢測高精度的移動矢量時， 在步驟S57中判定響應於用戶對處理速度的選擇性設置輸入，選擇 縮小面匹配+內插處理才莫式和分級匹配+內插處理才莫式1或分級匹 配+內插處理模式2中的其中一個，還可以通過下面的方式執行這種確定。具體地，CPU1檢測被輸入其中的拾取圖像數據的幀率，
並且當幀率低時，選擇縮小面匹配+內插處理模式，而當幀率高時，
選4奪分級匹配+內插處理才莫式1或分級匹配+內插處理才莫式2。
需要注意，在用戶輸入並i殳置幀率的情況下，所i殳置的輸入包 括在用戶對處理速度的選4奪性設置輸入中。
<選4奪的第二實例〉
在本實施例的圖像拾取裝置中，當在執行圖像拾取記錄前處於 圖像拾取記錄執行模式或像機EE (電子眼)圖片模式時，能夠從 包括節電模式和沒有執行節電的普通模式的兩種模式之間選擇操 作模式。
在大多數情況下，像機EE圖片模式在進入圖像記錄狀態(即， 圖片記錄狀態)前被連續執行，並且直接連接至整個圖像拾取裝置 的節電模式。另一方面，因為僅在液晶顯示部或電子取景器上顯示 圖像而不記錄所述圖像，所以像機EE圖片模式下的圖片質量優選 為低。因此，在像機EE圖片模式下，功耗被抑制到儘可能低的水 平，並且在進入圖傳_拾取記錄#1行才莫式後，優選提高圖片質量。
隨後，在上述塊匹配的多個操作模式下，移動矢量的檢測精度 低的操作模式需要對系統總線2更少的總線訪問及更小的功耗。
此夕卜，本實施例中的內插處理對功庫毛和處理速度具有更^f氐的影響。
如上所述，當在執行圖像拾取記錄前圖像拾取裝置處於圖像拾 取記錄執行模式或像機EE (電子眼)圖片模式時，如圖35所示， 所需的處理速度和功耗依賴於包括節電才莫式和沒有包含節電的普通模式的兩種操作模式中所應用的其中一種。CPU1響應處理速度
和功率消耗來確定移動矢量的最佳檢測精度，並且根據確定來轉換 ^f寺^皮應用的塊匹配的糹乘作才莫式。
具體地，如圖35所示，當圖像拾取裝置處於像機EE圖片模式 下的節電模式時，由於操作矢量可以為n像素精度的縮小面移動矢 量，所以選擇縮小面匹配處理才莫式作為用於塊匹配的才喿作才莫式。
另一方面，當圖像拾取裝置處於像機EE圖片模式下的普通模 式時，可以將其設置為用於檢測像素精度的高精度縮小面移動矢 量，並且選4奪縮小面匹配+內插處理才莫式作為用於塊匹配的才喿作才莫 式。
但是，當圖像拾取裝置處於圖像拾取記錄執行模式下的節電模 式時，由於移動矢量可以為一個像素精度的基礎面移動矢量，所以 選才奪分級匹配處理才莫式1或2作為用於塊匹配的才喿作才莫式。
另一方面，當圖像拾取裝置處於圖像拾取記錄執行才莫式下的普 通模式時，優選檢測亞像素精度的高精度基礎面移動矢量。因此， 選擇分級匹配+內插處理才莫式1或2作為用於塊匹配的才喿作才莫式。
需要注意，儘管用戶設置了上述的節電模式和普通模式的操作 模式，但是像機EE圖片模式和圖像圖片記錄執行模式響應於圖像 拾取記錄啟動按鈕的開/關來轉換。因此，CPU1參照圖像拾取記錄 啟動按鈕的開/關和節電模式或普通模式的操作模式來確定移動矢 量的檢測精度，隨後，確定用於塊匹配的處理操作模式。
需要注意，不能根據用戶所輸入並設置的節電模式或普通模式 的操作模式來檢測功耗和處理速度，但是CPU 1可以依賴於是比預 定水平更頻繁和過度頻繁還是比預定水平更不頻繁地4丸行對系統總線2的總線訪問來4企測功庫毛和處理速度，隨後，確定移動矢量衝企
測精度，從而確定用於塊匹配的處理才喿作才莫式。

作為用於在用於塊匹配的多個操作模式中的選擇的參數，不僅 可以使用上述的靜止/動態圖片、移動矢量檢測精度以及處理速度， 而且還可以使用待用於系統總線的總線帶寬、像素大小、搜索範圍 的大小、幀率等，或者也可以使用這些參悽t的適當組合。

圖36和圖37的流程圖示出了通過具有上述結構的本實施例的 圖像拾取裝置，在靜止圖片圖像拾取才莫式下的圖像疊加的降噪處 理。在CPU 1和通過CPU 1所控制的移動4企測和移動補償單元16 的控制部165的控制下，通過圖像疊加單元17執行圖36和圖37
的流禾呈圖的步驟。
首先，參照圖36,如果首先4要下快門4姿4醜，則在本實施例的圖 像拾取裝置中，在CPU1的控制下高速執行多個圖像的高速圖像拾 取。在本實例中，CPU 1提取在靜止圖片拾取模式下待被疊加的M 個(M為大於等於2的整數)圖像或幀的拾取圖像數據，並且將它 們存儲在圖像存儲單元4中(步驟S61 )。
隨後，儘管從在圖像存儲單元4中所存儲的M個圖像幀中將 參考幀及時地設置為第N個(N為大約等於2而小於等於M的整 數)，但是控制部165為值N設置初始值為N = 2 (步驟S62 )。隨後，控制部165將第一圖像幀設置為目標圖像或目標幀，並且將N =2的圖像設置為參考圖像或參考幀(步驟S63)。
此後，控制部165在目標幀中設置目標塊(步驟S64 )，並且移 動衝企測和移動補償單元16將來自圖^f象存〗諸單元4的目標塊讀入目 標塊緩衝部161 (步驟S65 )。隨後，控制部165將匹配處理範圍內 的像素數據讀入參考塊緩沖部162 (步驟S66 )。
隨後，控制部165從參考塊緩衝部162中讀出搜索範圍內的參 考塊，並且匹配處理部163以上述方式^M亍/人多個塊匹配處理才莫式 中所選擇的操作模式的塊匹配處理(步驟S67)。
隨後，控制部165才艮據通過塊匹配處理所一企測的移動矢量從參 考塊緩沖部162中讀出移動補償塊(步驟S68)，並且在隨後的階段 將移動補償塊與目標塊同步地發送至圖像疊加單元17 (步驟S69)。
隨後，圖像疊加單元17執行目標塊與移動補償塊的疊加，並 且將所疊加的塊的降噪圖像數據存儲在圖像存儲單元4中。換句話 說，圖像疊加單元17將所疊加的塊的降噪圖像數據寫入圖像存儲 單元4 (步艱《S70 )。
隨後，控制部165判定是否對目標幀中所有目標塊完成了塊匹 配(步-驟S71 )。隨後，如果判定沒有對所有目標塊完成塊匹配處理， 則處理返回步驟S64，在此處，設置目標幀中的下一個目標塊，使 4f重複步-驟S64 ~ S71的處理。
另 一方面，如果判定對目標幀中的所有目標塊完成了塊匹配處 理，則控制部165判定是否對祠"故疊加的所有參考幀完成了所述處 理，即，是否M-N (步艱爻S72)。如果在步驟S72中判定不滿足M-N，則值N被增加至N-N + 1(步驟873)。隨後，通過步驟S70中的疊加所生成的降噪圖像 ^皮i殳置為目標圖像或目標幀，並且N-N+1的幀^皮i殳置為參考圖 像或參考幀(步驟S74)。此後，處理返回步驟S64，使得重複從步 驟S64開始的步驟處的處理。具體地，在M大於等於3的情況下， 執行疊加的所有目標塊的圖像被確定為下一個目標圖像，並且第三 個或隨後的圖像被確定為參考幀。隨後，重複上述處理。重複這個 過程，直至完成了第M個圖像的疊加後為止。隨後，當在步驟S72 中判定M-N時，結束處理禾呈序。
需要注意，M個拾取圖像的疊加結果的降噪圖像的圖像數據被 靜止圖片編碼i奪碼單元18壓縮編碼，並且^U是供至記錄和再生裝 置單元5，由此，爿尋其i己錄在"i己錄介質上。
需要注意，雖然上述靜止圖片的降噪處理方法將M個圖像的 圖像數據的存儲包括在圖像存儲單元4中，但是也可以在每次拾取 圖像時執行疊加。在這種情況下，由於待被存儲在圖像存儲單元4 中的圖像幀數可以僅為1，所以儘管圖像拾取間隔變得更長，但是 當與圖36和圖37的處理程序的降噪處理方法相比時，存卡者器成本 能夠;故最小化。

現在，在圖38的流程圖中示出了通過本實施例的圖像拾取裝 置以動態圖片拾取模式疊加圖像的降噪處理。圖38的流程圖的步 驟也是在CPU 1和通過CPU 1所控制的移動檢測和移動補償單元 16的控制部165的控制下來執行。如果用戶按下動態圖片記錄按鈕， 則CPU 1發布指示，從起始點開始圖38的處理。在本實施例中，移動才企測和移動補償單元16具有適於以目標 塊為單位執行匹配處理的結構。因此，圖像校正和解析度轉換單元 15保留幀圖^f象，並且在CPU 1的控制下以目標塊為單位將圖像數 據發送至移動4全測和移動補償單元16 (步驟S81 )。
#皮發送至移動4僉測和移動補償單元16的目標塊的圖像數才居#皮 存4渚在目標塊》爰沖部161中。隨後，控制部165i殳置相應於目標塊 的參考塊(步驟S82 )，並且將來自圖像存儲單元4的在匹配處理範 圍內的圖像數據讀入參考塊緩衝部162 (步驟S83 )。
隨後，匹配處理部163和移動矢量計算部164以如上所述的方 式4丸行從多種不同的塊匹配處理才莫式中所選擇的才喿作才莫式的塊匹 配處理(步驟S84 )。
隨後，控制部165糹艮據在步驟S84所計算的移動矢量/人參考塊 緩衝部162中讀出移動補償塊的圖^f象數據(步驟S85),並且在隨後 階段將所讀出的圖像數據與目標塊同步地發送至圖像疊加單元17 (步驟S86 )。
圖像疊加單元17執行目標塊與移動補償塊的疊加。隨後，圖 像疊加單元17通過NTSC編碼器20將疊加對象的降噪圖像的圖像 數據輸出至監控顯示器6，從而^^亍動態圖片記錄監控，並且通過 動態圖片編碼解碼單元19將圖像數據發送至監控顯示器6，使得圖 像數據被記錄在記錄介質上(步驟S87 )。
通過圖像疊加單元17所疊加的圖像被存儲至圖像存儲單元4 中，使其變為關於下一個幀(目標幀)的參考幀(步驟S88)。
隨後，CPU1判定用戶是否執行了動態圖片記錄停止操作(步 驟S89)。如果判定用戶沒有執行動態圖片記錄停止才喿作，則CPU1發出指示，將處理返回步驟S81，從而重複從步驟S81開始的步驟 的處理。另一方面，如果在步驟S89中判定用戶執行了動態圖片記 錄停止才喿作，則CPU 1結束處理程序。
雖然在上述動態圖片降噪處理的處理程序中，可以使用前一個 圖像作為參考幀，^f旦是也可以使用更前的幀的圖像作為參考幀。或 者，之前第 一個幀和之前第二個幀的圖像可以被存儲在圖像存儲單 元4中，使得其中一個圖像幀根據兩個圖像幀的圖像信息的內容被 選擇性地確定為參考幀。
通過4吏用如上所述的這種裝置、處理禾呈序和系統結構，可以通 過用於塊匹配處理的一個爿^共的石更件來^U亍I爭止圖片降噪處理和 動態圖片降，喿處理。
如上所述，在靜止圖像降噪處理中，高速拾取多個圖像，並且 將多個圖像的圖像數據存儲在圖像存儲單元4中。隨後，移動檢測 和移動補償單元16 4吏用在圖<象存儲單元4中所存儲的圖像，從而 執行塊匹配處理。通過圖39~圖42中的虛線來表示當執行靜止降 噪處理行時、在圖像拾取中加算時圖像數據的流程。
具體地，如圖39所示，來自圖像拾取器件11的拾取圖像首先 通過預處理單元13進行諸如傳感器校正的預處理，隨後以RAW信 號形式被存儲在圖像存儲單元4中，其中，RAW信號形式為執行 像機信號處理前的數據形式。
此後，拾取圖像從圖像存儲單元4中被讀出，並且通過數據轉 換單元14被從RAW信號轉換成YC圖像格式的YC圖像數據。YC 圖像悽t據通過圖像衝交正和解析度轉換單元15進^亍圖〗象校正、分辨 率轉換等，並且隨後以YC圖像格式被寫入圖像存儲單元4。在高 速連續拍攝過程中，多次(相應於圖像數)重複執行所述處理，並且圖像數目的拾取圖像數據以YC圖像格式被存儲並保留在圖像存 4渚單元4中。
被寫入圖像存儲單元4中的YC圖像格式的圖像數據通過移動 檢測和移動補償單元16被提供至圖像疊加單元17，其中，通過圖 22所示的縮小面生成部174將其縮小。
此後，如圖40所示，與來自圖像拾取器件11的第三圖像的提 取處理並行，使用第 一圖像作為目標圖像並使用第二圖像作為參考 圖像、通過移動檢測和移動補償單元16執行通過分級塊匹配的移 動矢量的一企測和移動補償塊的生成。隨後，這樣所生成的移動補償 塊被用於通過圖像疊加單元17執行圖像疊加處理。
隨後，當第一和第二拾取圖像的疊加被完成時，使用疊加圖像 或降噪圖像作為下 一個目標圖像並使用第三圖像作為參考圖像來 執行接下來的移動矢量檢測和圖像疊加。對多個被連續拾取的拾取 圖像重複所述處理，從而獲取一個靜止圖片降噪圖像。在本實施例 中，才艮據如圖42所示的靜止圖片編碼解碼單元18的JPEG系統， 所得的靜止圖片降噪圖像的圖像數據^C壓縮，並且被存儲至記錄和 再生裝置單元5的記錄介質中。
現在，將參照圖43和圖44來描述動態圖片降噪處理過程中的 圖像數據的流程。
在動態圖片降噪處理中，目標塊^皮實時地從圖像校正和解析度 轉換單元15發送至移動^r測和移動補償單元16。如圖43所示，移 動檢測和移動補償單元16將從圖像校正和解析度轉換單元15發送 至其中的目標塊存儲在目標塊緩衝部161中，從圖像存儲單元4中 讀出相應於目標塊的塊匹配處理範圍，並且將塊匹配處理範圍存儲 在參考塊緩衝部162中。隨後，移動4全測和移動4卜償單元16讀出來自目才示塊鄉爰衝部161 的目標塊和來自塊匹配處理範圍的參考塊，並且執4亍上述塊匹配處 理，/人而#1^於移動矢量4企測和移動補償塊的生成。隨後，移動4企測 和移動補償單元16將移動補償塊和目標塊提供至圖像疊加單元17。
圖^f象疊加單元17連續疊加所4妄收的目標塊和移動補償塊。隨 後，如圖43所示，圖像疊加單元17將通過圖像疊加所獲取的降噪 圖像置入圖<象存<渚單元4中。
如圖44所示，在圖^象存儲單元4中所放置的降噪圖像在下一 個幀(前一個幀中的降噪圖像)中被讀入動態圖片編碼i奪碼單元19， 並且^皮壓縮並存4諸在記錄和再生裝置單元5的記錄介質中。此外， 在圖像存儲單元4中所放置的降噪圖像(前一個幀中的降噪圖像) 也同時從NTSC編碼器20中被讀入，而且，執行對監控顯示器6 的監控輸出。
在動態圖片降噪處理中，對每個拾取圖像重複上述處理。
需要注意，雖然4吏用用於一個幀的參考圖<象，^f旦是如圖44所 示，也能夠保留用於多個幀的參考圖像，使得使用具有更高相關性 的圖像。
此外，在動態圖片降，噪處理中，由於實時性^艮重要，所以不如 同在靜止圖片降噪處理中 一樣執行縮小面目標圖像的生成和及其 在圖像存儲單元4中的存儲，而是通過在圖20所示的目標塊緩衝 部161中的縮小處理部1613生成縮小面目4示塊，並JM奪其就這才羊 存儲在縮小面緩沖器1612中。3見在，將描述在上文所述的塊匹配的多個4喿作才莫式下的處理的 流程。就縮小面匹配處理才莫式和縮小面匹配+內插處理才莫式而言，
關於在移動矢量計算部164的三個實例的描述中的處理的流程，在 上面描述了處理的流程。因此，下面將描述在分級匹配+內插處理 模式1和分級匹配+內插處理模式2中的操作實例。需要注意，分 級匹配處理才莫式1和分級匹配處理衝莫式2 y一別相應於不包括 —級-匹 配+內插處理模式1和分級匹配+內插處理模式2中的內插處理的 處理糹喿作。
圖45和圖46示出了通過本實施例中的移動4企測和移動補償單 元16在分級匹配+內插處理模式1中的操作實例。
需要注意，儘管圖45和圖46中所示出的處理流程與上文所述 的匹配處理部163和移動矢量計算部164的處理實例的流程部分重 疊，但是為了便於理解本實施例的圖像拾取裝置的操作，給出了流 程的描述。此外，所述處理流程的實例相應於^f吏用上文所述的移動 才全測和移動補償單元16的石更件結構的第三實例的情況。
參照圖45，移動4全測和移動補償單元16讀入目標塊的縮小圖 像(即，縮小面目標塊)(步驟S91)。隨後，移動檢測和移動補償 單元16將縮小面最小SAD^f直的初始〗直i殳置為移動矢量計算部164 的SAD值保留部1643的最小SAD值Smin的初始值(步驟S92 )。 作為縮小面最小SAD值Smin的初始值，例如，設置像素之間的差 分的最大值。
接下來，匹配處理部163設置縮小面搜索範圍，並且在如此所 設置的縮小搜索範圍內設置縮小面參考矢量(Vx/n, Vy/n: 1/n為 縮小率)，從而設置用於SAD值計算的縮小面參考塊位置(步驟 S93)。隨後，匹配處理部163從參考塊鄉爰衝部162讀入這樣_沒置的 縮小面參考塊的像素數據(步驟S94)。此後，匹配處理部163確定縮小面目標塊和縮小面參考塊的像素數據的差分的絕對值總和，
即，縮小面SAD值。隨後，匹配處理部163將所確定的縮小面SAD 值發送至移動矢量計算部164 (步驟S95 )。
在移動矢量計算部164中，SAD值比較部1642互相比較通過 匹配處理部163所計算的縮小面SAD值Sin與在SAD值保留部 1643中所保留的縮小面最小SAD值Smin，從而判定所計算的縮小 面SAD值Sin是否低於至此為止在SAD值保留部1643中所保留的 作小面最小SAD值Smin (步驟S96 )。
如果在步驟S96中判定所計算的縮小面SAD值Sin低於縮小 面最小SAD值Smin，則處理前進至步驟S97,其中，在SAD值保 留部1643中所保留的縮小面最小SAD值及其位置信息一皮更新。
具體地，SAD值比4交部1642將所計算的縮小面SAD值Sin低 於縮小面最小SAD值Smin的比較結果的信息DET發送至SAD值 寫入部1641。因此，SAD值寫入部1641將所計算的縮小面SAD 值Sin及其位置信息或縮小面參考矢量作為縮小面最小SAD值 Smin的新信息發送至SAD值保留部1643。 SAD值保留部1643用 所接收的新的縮小面SAD值Sin和縮小面SAD值Sin的位置信息 來更新其中所保留的縮小面最小SAD值Smin和位置信息。
處理從步驟S97前進至步驟S98。另 一方面，如果在步驟S96 中判定所計算的縮小面SAD值Sin高於縮小面最小SAD值Smin， 則處理直接前進至步驟S98,不執行步驟S97中的所保留信息的更 新處理。
在步驟S98中，匹配處理部163判定是否對在縮小面搜索範圍 內所有縮小面參考塊的位置或縮小面參考矢量完成了匹配處理。如果判定沒有被處理的縮小面目標塊仍然存在於縮小面搜索範圍內，
則處理返回步-驟S93,重複乂人步艱《S93開始的步驟中的處理。
另一方面，如果在步驟S98中判定對在縮小面搜索範圍內的所 有縮小面參考塊的位置或縮小面參考矢量完成了匹配處理，則匹配 處理部163從SAD值保留部1643中接收縮小面最小SAD值Smin 的位置信息或縮小面移動矢量。隨後，匹配處理部163將基礎面目 標塊i殳置在基礎面目標幀中以通過將所4妄收的縮小面移動矢量乘 以縮小率的倒數(即，n)所獲取的矢量所表示的位置坐標為中心 的位置。此外，匹配處理部163將基礎面搜索範圍設置為在基礎面 目標幀中以通過被乘以n的矢量所表示的位置坐標處為中心的相對 較小的範圍(步驟S99)。此後，匹配處理部163從目標塊緩衝部 161讀入基礎面目標塊的圖像數據(步驟S100 )。
隨後，匹配處理部163將基礎面最小SAD值SSmin的初始值 i殳置為移動矢量計算部164的SAD值^f呆留部1643的最小SAD值 的^^臺^f直(圖46中的步艱《S101 )。侈寸^口，基石出面最小SAD <直SSmin 的初始值可以為^象素之間的差分的最大值。
隨後，匹配處理部163在步驟S99中所i殳置的基礎面4叟索範圍 中設置基礎面參考矢量(Vx， Vy)，從而設置用於計算SAD值的基 礎面參考塊位置(步驟S102)。隨後，匹配處理部163 乂人參考塊緩 沖部162中讀入所i殳置的基礎面參考塊的^f象素lt據(步驟S103)。 隨後，匹配處理部163確定基礎面目標塊和基礎面參考塊之間的像 素數據的差分的絕對值總和(即，基礎面SAD值)，並且將所確定 的基礎面SAD值信號發送至移動矢量計算部164 (步驟S104 )。
在移動矢量計算部164中，SAD j直比4交部1642互相比4交通過 匹配處理部163所計算的基礎面SAD值Sin與在SAD值保留部 1643中所保留的基礎面最小SAD值SSmin, 乂人而判定所計算的基礎面SAD值Sin是否低於此前所保留的基礎面最小SAD值SSmin (步驟S105 )。
如果在步驟S105中判定所計算的基礎面SAD值Sin低於基礎 面最小SAD值SSmin，則處理前進至步驟S106,其中，在SAD值 保留部1643中所保留的基礎面最小SAD值SSmin及其位置信息被 更新。
具體地，SAD值比4交部1642將所計算的基礎面SAD值Sin低 於基礎面最小SAD值SSmin的比較結果的信息DET發送至SAD ^f直寫入部1641。因此，SAD值寫入部1641將所計算的基礎面SAD 值Sin及其位置信息或參考矢量作為基礎面最小SAD值SSmin的 新的信息發送至SAD值保留部1643。 SAD值保留部1643用所接 收的新的基礎面SAD值Sin及其位置信息更新在其中所保留的基礎 面最小SAD值SSmin及其位置信息。
處理/人步驟S106前進至步艱《S107。另 一方面，如果在步驟S105 中判定所計算的基礎面SAD值Sin高於基礎面最小SAD值SSmin， 則處理直4妻前進至步驟S107，不寺丸行步驟S106中的所保留信息的 更新處理。
在步驟S107中，匹配處理部163判定是否對在基礎面搜索範 圍內的所有基礎面參考塊的位置或基礎面參考矢量完成了匹配處 理。如果判定沒有^皮處理的基礎面參考塊仍然存在於基礎面4臾索範 圍內，則處理返回步驟S102,重複從步驟S102開始的步驟中的處 理。
另一方面，如果在步驟S107中判定完成了對於在基礎面搜索 範圍內所有基礎面參考塊的位置或基礎面參考矢量的匹配處理，則 匹配處理部163從SAD值保留部1643中接收基礎面最小SAD值SSmin的4立置〗言息或基石出面移動矢量，並且執4於關於在鄰近4個點 的位置處的基礎面參考塊的基礎面SAD值的再計算。隨後，匹配 處理部163通過SAD值寫入部1641將所再計算的基礎面鄰近SAD 值SSxl、 SSx2和SSyl、 SSy2提供至SAD值保留部1643，從而將 其保留在SAD值保留部1643中(步驟S108 )。
隨後，在移動矢量計算部164中，X方向(水平方向)鄰近^直 才是耳又部1644和Y方向(垂直方向)鄰近值^是耳又部1645讀出在SAD 值保留部1643中所保留的所衝企測出的基礎面最小SAD值SSmin和 基礎面鄰近SAD值SSxl、 SSx2和SSyl、 SSy2及它們的位置信息， 並且將所讀出的SAD值和位置信息發送至二次曲線近似內插處理 部1646。 二次曲線近似內插處理部1646 4妄收^皮發送至其中的SAD 值和位置信息，並且才艮據二次曲線在X方向和Y方向上扭J於兩次 內插，從而以如上所述的方式計算亞像素精度的高精度基礎面移動 矢量(步驟S109)。由此，對於一個參考幀的分級匹配+內插處理 模式1的實例的塊匹配處理完成。
需要注意，在分級匹配處理才莫式1的情況下，當在步驟S107 中判定對於在基礎面搜索範圍內的所有基礎面參考塊的所有位置 或基礎面參考矢量完成了匹配處理時，不衝丸^f亍步駛《S108和S109的 處理。替代地，從來自SAD值保留部1643中的基礎面最小SAD 值SSmin的位置信息中檢測出基礎面移動矢量，並且將其輸出至控 制部165。
圖47和圖48中示出了分級匹配+內插處理模式2中的4乘作實 例。而且，在本操作實例中，第三實例被用作移動檢測和移動補償 單元16的硬—件結構實例。
圖47的步驟S111-S117的處理才喿作分別與上文所述的圖45 的步-驟S91 S97的步-驟完全相同。隨後，在圖47的實例中，如果在步驟S118中判定沒有對縮小面搜索範圍內的所有縮小面參考矢 量執行匹配，則處理範圍步驟S113,重複從步驟S113開始的步驟 的處理。
另一方面，如果在步驟S118中判定完成了對在縮小面搜索範 圍內的所有縮小面參考矢量的匹配，則接收來自SAD值保留部1643 中的縮小面最小SAD值Smin的位置信息或縮小面移動矢量，並且 對在鄰近4個點的位置處的縮小面參考塊執行縮小面SAD值的再 計算。隨後，所再計算的縮小面鄰近SAD值Sxl、 SX2和Syl、 Sy2 通過SAD值寫入部1641被提供至SAD值保留部1643,從而被保 留在SAD值保留部1643中(步驟S119 )。
隨後，在移動矢量計算部164中，X方向(水平方向)鄰近^f直 才是取部1644和Y方向(垂直方向)鄰近值才是取部1645讀出在SAD 值保留部1643中所保留的所衝企測出的縮小面最小SAD值Smin和 鄰近縮小面SAD值Sxl、 Sx2和Syl、 Sy2及它們的位置信息，並 且將所讀出的SAD值和位置信息發送至二次曲線近似內插處理部 1646。 二次曲線近似內插處理部1646^妻收^皮發送至其中的SAD值 和位置信息，並且4艮據二次曲線在X方向和Y方向上^U亍兩次內 插，從而以如上所述的方式計算像素^青度的高精度縮小面移動矢量 (步驟S120 )。
隨後，二次曲線近似內插處理部1646將基礎面目標塊設置在 基礎面目標幀中在以通過將在步驟S120中所計算的高精度縮小面 移動矢量乘以縮小率的倒數(即，n)所獲取的矢量所表示的位置 坐標為中心的位置處。此外，二次曲線近似內插處理部1646將基 礎面4臾索範圍和基礎面匹配處理範圍i殳置為在基礎面目標幀中以 通過被乘以n的矢量所表示的位置坐標為中心的相對較小的範圍 (圖48的步驟S121 )。隨後，二次曲線近似內插處理部1646從目 標塊緩衝部161讀入基礎面目標塊的像素數據(步驟S122 )。隨後，基礎面最小SAD值SSmin的初始值淨皮i殳置為移動矢量 計算部164的SAD值保留部1643的最小SAD值的初始值(步驟 S123)。步驟S123~步驟S131的處理分別與上文所述的圖46的步 驟S101 ~步驟S109完全相同。
需要注意，在分級匹配處理才莫式2的情況下，當在步驟S129 中判定完成了在基礎面搜索範圍內對所有基礎面參考塊的位置或 基礎面參考矢量的匹配處理時，不扭a亍步-驟S130和S131的處理。 替代地，從來自SAD值保留部1643的基礎面最小SAD值SSmin 的位置信息中檢測出基礎面移動矢量，並將其輸出至控制部165。
現在，將與具體實例相耳關係，描述4吏用本實施例中的分級塊匹 配方法的圖^象處理方法的效果。
圖49A~圖49F示出在實施例的描述中所使用的基礎面和縮小 面上的參考塊、4叟索範圍、及匹配處理範圍的具體實例。在圖49A~ 圖49F所示的實例中，在水平方向和垂直方向上的縮小率1/n的值 n被設置為n =鬥。
圖49A ~圖49B中示出了比較例。在比較例中，例如，不使用 縮小圖1"象的參考塊108具有水平x垂直=32 x 32個^f象素的大小，並 且4叟索範圍106具有水平x垂直=144 x 64個^f象素的大小。此外， 匹配處理範圍110具有水平x垂直=176 x 96個^f象素的大小。
因此，在上述實施例中的水平方向和垂直方向上淨皮縮小至1/n =1/4的縮小面上，如圖49C和圖49D所示，縮小面參考塊139具 有水平x垂直-8x8個像素的大小。同時，縮小面^_索範圍137具 有水平x垂直-36xl6個^f象素的大小，並且縮小面匹配處理範圍 143具有水平x垂直=44 x 24個〗象素的大小。在只於在水平方向和垂直方向上^皮縮小至1/4的縮小面扭J亍塊匹 配的情況下，縮小面移動矢量具有4像素精度，並且如果將其簡單 地乘以4，則關於一個^f象素4青度的移動矢量出現誤差。具體地，在 通過圖9所示的圓來表示基礎面上的^f象素的情況下，作為基礎面上 的匹配處理點148，基礎面上的所有像素變為對象，而在對被縮小 至1/4的縮小面執行塊匹配的情況下的匹配處理點被限制為如通過 圖9中的實心圓所表示的以4個像素為單位出現的那些匹配處理點 147。
但是，可以估計， 一個像素精度的移動矢量至少存在於通過縮 小面移動矢量所表示的縮小面上的匹配處理點周圍的4個像素範圍 內。
因此，在本實施例中，在才艮據所計算的縮小面移動矢量確定基 礎面搜索範圍的基礎面匹配中，基礎面目標塊被設置在通過將縮小 面移動矢量乘以作為縮小率的倒數的4所獲取的參考塊所表示的像 素位置所提供的中心處，並且確定用於4個^f象素的搜索範圍(基礎 面4臾索範圍140)以才丸4亍基礎面塊匹配，乂人而再次計算移動矢量。
因此，如圖49E和圖49F所示，基礎面參考塊142具有水平x 垂直- 32 x 32個像素的大小，並且基礎面糹臾索範圍140具有水平x 垂直-4x4個^f象素的大小，同時基礎面匹配處理範圍144具有水平 x垂直=40 x 40個<象素的大小。
圖50A ~圖50C示出在邗l/沒在才丸4亍縮小面匹配和基礎面匹配的 兩種分級匹配處理的情況下使用SAD表的時候的基礎面和縮小面 上的SAD^直的大小。需要注意，圖50A-圖50C的實例相應於圖 49A~圖49F的具體實例。在縮小前144 x 64個像素的搜索範圍的情況下的SAD表TBL 具有》口圖50A所示的145 x 65個點的大小。
相反，在縮小面搜索範圍36 x 16 (參照圖49D)的情況下的縮 小面SAD表具有如圖50B所示的37 x 17個點的大小。
另一方面，在基礎面4臾索範圍為4x4 (參照圖49F)的情況下 的基礎面SAD表具有5x5個點的大小。
因此，雖然在沒有應用分級匹配的情況下的匹配處理次為 145 x 65 = 9，425》欠，^f旦是應用了分級匹酉己的匹酉己;欠悽t為37 x 17 + 5 x 5 = 654次。因此，能夠i人為，處理時間-故顯著降^f氐。
因此，由於在上文所述的移動矢量才企測方法的第二實例的情況 下的行存儲器可以具有用於縮小面SAD表的一行的容量，所以它 可以具有用於37個SAD值及其位置信息的容量。同時，SAD表 TBL必須具有用於9,425個SAD值及其位置信息的容量。因此，當 與SAD表TBL相比時，行存儲器可以具有非常小的存儲容量。
此外，在上文所述的移動矢量計算部164的第三結構實例的情 況下，由於還不需要用於存儲這樣的37個SAD值及其位置信息的 縮小面SAD表，所以能夠進一步減小電路規模。
因此，利用本實施例的圖像拾取裝置，通過在執行分級匹配處 理後在基礎面上執行內插處理，能夠在很寬的搜索範圍內執行亞像 素精度的移動矢量檢測。需要注意，雖然上文所述的實施例的圖傳_拾取裝置使用如上所 述的這六種操作模式，但是此外還可以使用不包括在縮小面上的塊 匹配的基礎面匹配處理才莫式和基石出面匹配+內一翁處理才莫式。
此外，在上述實施例的圖像拾取裝置中的移動檢測和移動補償
單元16的移動矢量計算部164的第二實例中，搜索範圍內的搜索 方向淨皮設置為水平行方向，並且例如，參考塊從搜索範圍的左上角 開始^皮連續移動，乂人而^W於4叟索，並且衝是供了用於SAD表一行的 存儲器。但是，可以採用另一種搜索方法，包括重複開始的程序， 將搜索範圍內的搜索方向i殳置為垂直方向，例如，在垂直方向上的 搜索從搜索範圍的左上角開始，在垂直方向上完成一列的搜索後， 將參考塊的位置水平向右移動一列的距離，至右側的列，隨後，從 右側列的上端起在垂直方向上執行搜索。在從搜索範圍的左上角開 始在垂直方向上連續移動參考塊乂人而以這種方式#^於4叟索的情況 下，可以提供用於SAD表的一個垂直列的存儲器。
此處，考慮匹配處理部和移動矢量計算部的電鴻—見才莫來確定4臾 索方向應該^皮設置為水平方向還是垂直方向。優選地，選擇糹臾索方 向，使得電路規模被縮'J 、得相對較多。
需要注意，可以對於每一個像素或每一行甚至於每多個像素或 行來4丸行參考塊的移動。因此，前者情況下用於水平方向上一^f亍的 存儲器可以具有用於在水平方向上的參考塊的移動位置的容量，而 後者情況下用於垂直方向上一列的存〗渚器可以具有用於在垂直方 向上的參考塊的移動位置的容量。具體地，在對於每一個像素或每 一行執行參考塊的移動的情況下，用於在水平方向上的一行的存儲 器必須具有一行中的像素數的容量，並且用於在垂直方向上的一列 的存儲器必須具有用於水平方向的行的數量的容量。但是，在對於 每多個像素或行來移動參考塊的情況下，用於一行的存儲器或用於一列的存儲器的容量能夠比對於每一個像素或對於每一行來移動 參考塊的情況下要減少。
此外，內插處理的方法不限制於上文所述的二次曲線近似內插 處理，而是可以應用4吏用三次曲線或更高次曲線的內插方法。
此夕卜，雖然在上述實例中才艮據本發明的圖^f象處理裝置淨皮應用於 圖像拾取裝置，但是本發明的應用不限制於圖像拾取裝置，本發明 還可以被應用於涉及圖像幀之間的移動的檢測的所有裝置。
此外，雖然在上述實施例中，本發明被應用於為了通過圖像疊 加執行降噪處理而以塊為單位的移動矢量4全測，但是本發明的應用 不一皮限制於此，本發明實際上能夠一皮應用於例如通過圖傳4合取時的 像機振動的移動矢量檢測。例如，由像機振動產生的移動矢量可被 確定為多個塊移動矢量的平均值。
雖然已經使用具體條件描述了本發明的優選實施例，但是這種 描述僅用於舉例說明的目的，應該了解，在不違背所附權利要求精 神和範圍的情況下，可以進4亍變化和^修改。
權利要求
1. 一種圖像處理裝置，用於計算包括目標畫面圖像和參考畫面圖像這兩個畫面圖像之間的移動矢量，所述圖像處理裝置包括基礎面移動矢量計算裝置，用於從各自與目標塊具有相同大小並且被設置在所述參考畫面圖像中所設置的第一搜索範圍中的多個參考塊中，檢測出最大相關基礎面參考塊，所述最大相關基礎面參考塊與被設置在所述目標畫面圖像中的預定位置處的預定大小的所述目標塊具有高相關性，並且，所述基礎面移動矢量計算部根據在所述畫面圖像中所述檢測到的最大相關基礎面參考塊相對於所述目標塊的位置偏移量來計算基礎面移動矢量；高精度基礎面移動矢量計算裝置，用於使用所述最大相關基礎面參考塊的相關值和位於所述最大相關基礎面參考塊的鄰近位置處的多個參考塊的相關值來執行內插處理，從而檢測高精度最大相關基礎面參考塊的位置，並根據在所述畫面圖像上所述高精度最大相關基礎面參考塊相對於所述目標塊的位置偏移量來計算高精度基礎面移動矢量；縮小面移動矢量計算裝置，用於通過預定的縮小率縮小所述目標畫面圖像和所述參考畫面圖像，從而生成縮小目標畫面圖像和縮小參考畫面圖像，從各自與縮小面目標塊具有相同大小並且被設置在所述縮小參考畫面圖像中所設置的第二搜索範圍中的多個縮小面參考塊中檢測最大相關縮小面參考塊，所述最大相關縮小面參考塊與具有預定大小並且被設置在所述縮小目標畫面圖像的預定位置處的所述縮小面目標塊具有高相關性，並且所述縮小面移動矢量計算部根據在所述畫面圖像中所述檢測到的最大相關縮小面參考塊相對於所述縮小面目標塊的位置偏移量來計算縮小面移動矢量；高精度縮小面移動矢量計算裝置，用於使用所述最大相關縮小面參考塊的相關值和位於所述最大相關縮小面參考塊的鄰近位置處的多個縮小面參考塊的相關值來執行內插處理，從而檢測高精度最大相關縮小面參考塊的位置，並且根據在所述畫面圖像上所述高精度最大相關縮小面參考塊相對於所述目標塊的位置偏移量來計算高精度縮小面移動矢量；第一基礎面搜索範圍確定裝置，用於根據通過所述縮小面移動矢量計算裝置所計算的所述縮小面移動矢量來確定所述第一搜索範圍；第二基礎面搜索範圍確定裝置，用於根據通過所述高精度縮小面移動矢量計算裝置所計算的所述高精度縮小面移動矢量來確定所述第二搜索範圍；以及選擇裝置，用於從所述基礎面移動矢量計算裝置、所述高精度基礎面移動矢量計算裝置、所述縮小面移動矢量計算裝置、及所述高精度縮小面移動矢量計算裝置中選擇要用的計算裝置，並且選擇是否應該使用所述第一或第二基礎面搜索範圍確定裝置，隨後在確定要使用任一所述確定裝置的情況下，從所述第一和第二基礎面搜索範圍確定裝置中選擇要用的確定裝置。
2. 根據權利要求1所述的圖像處理裝置，其中，所述選擇裝置在 接收到來自用戶的選擇操作輸入後執行所述選擇。
3. 根據權利要求1所述的圖像處理裝置，其中，所述選擇裝置至 少根據處理速度和所述移動矢量的檢測精度來自動執行所述 選擇。
4. 根據權利要求1所述的圖像處理裝置，其中，所述選擇裝置根 據要檢測其移動矢量的對象圖像是靜止圖片圖像還是動態圖 片圖像來自動執行所述選擇。
5. —種圖像處理方法，用於計算包括目標畫面圖像和參考畫面圖 像這兩個畫面圖像之間的移動矢量，所述圖像處理方法通過圖 像處理裝置來4丸^f於，所述圖像處理裝置包括基礎面移動矢量計 算裝置、高精度基礎面移動矢量計算裝置、縮小面移動矢量計 算裝置、高精度縮小面移動矢量計算裝置、第一基礎面搜索範 圍確定裝置及第二基礎面搜索範圍確定裝置，所述圖像處理方 法包括基礎面移動矢量計算步驟，通過所述基礎面移動矢量計 算裝置來執行，在所述參考畫面圖像中所設置的第 一搜索範圍 中設置各自與具有預定大小並且被設置在所述目標畫面圖像 上的預定位置處的目標塊具有相同大小的多個參考塊，乂人而檯r 測在所述多個參考塊中與所述目標塊具有高相關性的最大相 關基礎面參考塊，並且才艮據在所述畫面圖 <象中所述才全測到的最 大相關基礎面參考塊相對於所述目標塊的位置偏移量來計算 基石出面移動矢量；高精度基礎面移動矢量計算步驟，通過所述高精度基礎 面移動矢量計算裝置來執行，使用所述最大相關基礎面參考塊 的相關值和位於所述最大相關基礎面參考塊的鄰近位置處的 多個參考塊的相關值來執行內插處理，從而檢測高精度最大相 關基礎面參考塊的位置，並根據在所述畫面圖像上所述高精度最大相關基礎面參考塊相對於所述目標塊的位置偏移量來計 算高精度基礎面移動矢量；縮小面移動矢量計算步驟，通過縮小面移動矢量計算裝 置來執行，通過預定的縮小率縮小所述目標畫面圖像和所述參考畫面圖〗象，乂人而生成縮小目標畫面圖^f象和縮小參考畫面圖像，在所述縮小參考畫面圖像上所設置的第二搜索範圍中設置 各自與具有預定大小並且被設置在所述縮小目標畫面圖像上的預定位置處的縮小面目標塊具有相同大小的多個縮小面參 考塊，檢測在所述多個縮小面參考塊中與所述縮小面目標塊具 有高相關性的最大相關縮小面參考塊，並且根據在所述畫面圖 像中所述檢測到的最大相關縮小面參考塊相對於所述縮小面目標塊的位置偏移量來計算縮小面移動矢量；高精度縮小面移動矢量計算步驟，通過高精度縮小面移 動矢量計算裝置來執行，使用所述最大相關縮小面參考塊的相 關值和位於所述最大相關縮小面參考塊的鄰近位置處的多個 縮小面參考塊的相關值來執行內插處理，從而檢測高精度最大 相關縮小面參考塊的位置，並且4艮據在所述畫面圖^f象上所述高精度最大相關縮小面參考塊相對於所述目標塊的位置偏移量 來計算高精度縮小面移動矢量；第一基礎面搜索範圍確定步驟，通過第一基礎面搜索範 圍確定裝置來執行，根據通過所述縮小面移動矢量計算裝置所 計算的所述縮小面移動矢量來確定所述第 一搜索範圍；第二基礎面4叟索範圍確定步驟，通過第二基礎面4臾索範 圍確定裝置來執行，根據通過所述高精度縮小面移動矢量計算 裝置所計算的所述高精度縮小面移動矢量來確定所述第二搜 索範圍；以及選擇步艱"當要計算所述兩個畫面圖^f象之間的所述移動 矢量時，從所述縮小面移動矢量計算步驟、所述高精度縮小面 移動矢量計算步驟、所述基礎面移動矢量計算步驟及所述高精 度基礎面移動矢量計算步驟中選擇要用的計算步驟，選擇是否 應該4吏用所述第 一或第二基礎面4臾索範圍確定步艱《，隨後在確定要使用任一所述確定步驟的情況下，通過所述第 一和第二基 礎面搜索範圍確定步驟選擇要用的確定裝置。
6. 根據權利要求5所述的圖像處理方法，其中，在所述選擇步驟 中，響應於從用戶所接收的選擇操作輸入來執行所述選擇。
7. 根據權利要求5所述的圖像處理方法，其中，在所述選擇步驟 中，至少根據處理速度和所述移動矢量的檢測精度來自動執行 所述選擇。
8. 才艮據權利要求5所述的圖〗象處理方法，其中，在所述選4奪步驟 中，根據要檢測其移動矢量的對象圖像是靜止圖片圖像還是動 態圖片圖像來自動執行所述選擇。
9. 一種圖像處理裝置，用於計算在包括目標畫面圖〗象和參考畫面 圖<象這兩個畫面圖<象之間的移動矢量，包4舌基礎面移動矢量計算部，被配置為從各自與目標塊具有 相同大小並且被設置在所述參考畫面圖像中所設置的第 一搜 索範圍中的多個參考塊中，檢測出最大相關基礎面參考塊，所 述最大相關基礎面參考塊與被設置在所述目標畫面圖像中的 預定位置處的預定大小的所述目標塊具有高相關性，並且所述 基礎面移動矢量計算部才艮據在所述畫面圖 <象中所述衝全測到的 最大相關基礎面參考塊相對於所述目標塊的位置偏移量來計 算基礎面移動矢量；高精度基礎面移動矢量計算部，；陂配置為使用所述最大 相關基礎面參考塊的相關值和位於所述最大相關基礎面參考塊的鄰近位置處的多個參考塊的相關值來才丸4亍內插處理，從而檢測高精度最大相關基礎面參考塊的位置，並根據在所述畫面圖像上所述高精度最大相關基礎面參考塊相對於所述目標塊的位置偏移量來計算高精度基礎面移動矢量；縮小面移動矢量計算部，被配置為通過預定的縮小率縮 小所述目標畫面圖4象和所述參考畫面圖4象，/人而生成縮小目標 畫面圖<象和縮小參考畫面圖{象，/人各自與縮小面目標塊具有相 同大小並且被設置在所述縮小參考畫面圖像中所設置的第二 搜索範圍中的多個縮小面參考塊中檢測最大相關縮小面參考 塊，所述最大相關縮小面參考塊與具有預定大小並且被設置在 所述縮小目標畫面圖像的預定位置處的所述縮小面目標塊具 有高相關性，並且所述縮小面移動矢量計算部根據在所述畫面 圖像中所述檢測到的最大相關縮小面參考塊相對於所述縮小 面目標塊的位置偏移量來計算縮小面移動矢量；高精度縮小面移動矢量計算部，被配置為使用所述最大 相關縮小面參考塊的相關值和位於所述最大相關縮小面參考 塊的鄰近位置處的多個縮小面參考塊的相關值來執行內插處 理，從而檢測高精度最大相關縮小面參考塊的位置，並且根據 在所述畫面圖像上所述高精度最大相關縮小面參考塊相對於 所述目標塊的位置偏移量來計算高精度縮小面移動矢量；第一基礎面4叟索範圍確定部，；故配置為才艮據通過所述縮 小面移動矢量計算部所計算的所述縮小面移動矢量來確定所 述第一搜索範圍；第二基礎面4叟索範圍確定部， 一皮配置為才艮據通過所述高 精度縮小面移動矢量計算部所計算的所述高精度縮小面移動 矢量來確定所述第二搜索範圍；以及選l奪部，；故配置為^人所述基礎面移動矢量計算部、所述 高精度基礎面移動矢量計算部、所述縮小面移動矢量計算部、 及所述高精度縮小面移動矢量計算部中選擇要使用的計算部， 並且選擇是否應該使用所述第 一或第二基礎面搜索範圍確定 部，隨後在確定要〗吏用任一所述確定部的情況下，乂人所述第一 和第二基礎面4臾索範圍確定部中選l奪要4吏用的確定部。
全文摘要
本發明公開了一種圖像處理裝置和圖像處理方法，用於計算在包括目標畫面圖像與參考畫面圖像的兩個畫面圖像之間的移動矢量，包括基礎面移動矢量計算部；高精度基礎面移動矢量計算部；縮小面移動矢量計算部；高精度縮小面移動矢量計算部；第一和第二基礎面搜索範圍確定部；及選擇部，用於從所述基礎面移動矢量計算部、高精度基礎面移動矢量計算部、縮小面移動矢量計算部、及高精度縮小面移動矢量計算部中選擇待使用的計算部，並且選擇是否應該使用所述第一或第二基礎面搜索範圍確定部，隨後，在確定要使用任一確定部的情況下，從確定部中選擇待使用的確定部。
文檔編號H04N5/14GK101420613SQ200810170560
公開日2009年4月29日 申請日期2008年10月21日 優先權日2007年10月22日
發明者倉田徹, 和田仁孝, 沼田憐 申請人:索尼株式會社