拍攝圖像信號失真補償方法和裝置及圖像拍攝方法和裝置的製作方法

2023-05-27 06:00:26

專利名稱：拍攝圖像信號失真補償方法和裝置及圖像拍攝方法和裝置的製作方法
技術領域：
本發明涉及一種用於對成像器所成(imager-created)圖像補償該成像器所 成圖像中產生的失真的方法，所述失真諸如在使用拍攝(image taking)裝置為 拍攝對象照相的過程中發生手移動而導致的失真，本發明還涉及補償成像器 所成圖像中的這種失真的裝置。更具體地，本發明適用於採用諸如CMOS(互 補金屬氧化物半導體)固態圖像拾取器件的X-Y尋址固態圖像拾取器件的拍 攝裝置以及具有拍攝功能的記錄/再現裝置。採用X-Y尋址固態圖像拾取器件 的拍攝裝置的例子是攝像機和數字靜態照相機，它們每一個都採用X-Y尋址 固態圖像拾取器件。在以下描述中，CMOS固態圖像拾取器件也稱為CMOS 成像器。
背景技術：
在將拍攝對象的電子成像器所成圖像存儲在電子拍攝裝置所採用的圖像 拾取器件中並且以後從圖像拾取器件讀取圖像的電子拍攝裝置的情形中，由 於某些原因，諸如拍攝者的所謂手移動以及在類似船舶上這種不平穩的地方 進行拍攝操作的情形，在進行拍攝操作的同時，圖像拾取器件可能物理地移 動，導致在拍攝對象的水平和/或垂直方向上以相當高的速度改變位置，因而 在成像器所成圖像中產生失真。然而，在電子拍攝裝置中，可以進行稱為失真補償處理的數字處理，以 便對從圖像拾取器件讀取的成像器所成圖像補償尤其是由於拍攝者的所謂手 移動造成的失真。通常，在諸如傳統攝像機或傳統數字靜態照相機這種傳統拍攝裝置以及 具有拍攝功能的記錄/再現裝置中採用的圖像拾取器件大部分都是採用 CCD(電荷耦合器件)的固態拍攝元件。具有拍攝功能的記錄/再現裝置的例子 是具有內置照相機的手機和包含內置照相機的個人電腦。在以下描述中，採用CCD的固態拍攝元件也稱為CCD成像器。以前，包括在本專利說明書中作為專利文獻1的美國專利第3,384,459號 在內的多篇文獻公開了許多使用CCD成像器作為圖像拾取器件的手移動補 償技術。另外，世界上已經廣泛使用採用手移動補償技術的產品。傳統手移動補償技術的特徵在於，對CCD成像器結構中的所有像素，同 時採樣所有像素中存儲的光通量。也就是說， 一幀的光通量被採樣一次。在 以下描述中，幀又稱為屏(screen)。換言之，CCD成像器在同一時期曝光其所有像素，並且在同一時刻從成 像器獲取一幀像素數據。因而，需要將圖58中所示箭頭所代表的僅僅一個手 移動位移Vcs考慮作為一幀的所有像素的手移動位移。也就是說，在圖58中， 由於手移動，應當自然地存儲在實線矩形表示的區域Fla中的拍攝對象移動 到由虛線矩形表示的區域FLb。在這種情況下，檢測到拍攝對象的成像器所 成圖像的幀的手移動位移Vcs，通過將讀取像素位置(或採樣像素位置)校正手 移動位移Vcs ，可以對成像器所成圖像補償由於手移動引起的失真。需要注意的是，在很多情況下，通常並不是將圖像拾取器件的所有像素 都作為有效像素來處理，而是只有部分像素被用作有效像素。在圖58所示的 例子中，覆蓋所有像素的區域AFL的周邊區域被排除，只有在剩餘區域EFL 內的像素才作為有效像素來處理。覆蓋所有像素的區域AFL稱為可用的圖像 區域，而不包括周邊區域的剩餘區域EFL稱為有效圖像區域。如圖所示，有 效圖像區域EFL是包含在可用圖像區域AFL內的中間區域，即具有由水平有 效尺寸限定的寬度和由垂直有效尺寸限定的高度的區域。如果採用上述成像器，如果表示手移動的距離的位移Vcs在小於有效圖 像區域EFL與可用圖像區域AFL之差的範圍內，則通過利用成像器中原始存 儲的像素數據，可以在手移動處理中針對由於讀取像素位置改變引起的失真 而對成像器中存儲的圖像進行補償。因而，與諸如產生用於補償由於手移動 造成的圖像失真的數據的內插處理等處理相比，圖片劣化處理的量較小。順便說說，近年來，關於圖像拾取器件，電子拍攝裝置採用X-Y尋址固 態圖像拾取器件，其通過指定像素的水平方向位置(或X方向位置)和垂直方
向位置(或Y方向位置)，能使拍攝裝置讀取圖像拾取器件上的任何像素的數 據，即從成像器讀取像素單元中的數據。X-Y尋址固態圖像拾取器件的例子是CMOS固態圖像拾取器件，以下稱為CMOS成像器。 CMOS成像器具有以下特徵(a) : CMOS成像器是放大型成像器，允許從成像器讀取放大信號以便提供高 靈敏度。(b) :由於CMOS成像器採用CMOS電路，因而能耗低。(c) : CMOS成像器能以低成本製造。(d) :原理上，CMOS成像器允許其數據以像素為單位隨機存取(或讀取)。儘管CMOS成像器如上所述允許其拍攝圖像數據以像素為單位隨機存 取(或讀取)，但是在實際應用中，數據通常以每一個對應於水平線的像素組為 單元從CMOS成像器讀取(採樣)和輸出。如果如上所述數據以每一個對應於水平線的像素組為單元從CMOS成 像器讀取(採樣)和輸出，如圖59所示，水平線的曝光周期從緊前面的水平線 的曝光周期位移讀取時間差At，這是讀取水平線單元的數據所需要的時間。 應當注意，如果以像素為單位從CMOS成像器讀取(採樣)和輸出拍攝數據， 另 一方面，像素的曝光周期從緊前面的像素的曝光周期位移像素間讀取時間 差，這遠小於線間讀取時間差At,因而可忽略像素間讀取時間差。不過，即 使以像素為單位從CMOS成像器讀取(採樣)和輸出拍攝數據，也存在像素間 讀取時間差。因而，當用採用CMOS成像器的拍攝裝置在例如行駛的火車內的位置拍 攝景物的圖片時，原本像圖60A中所示的那樣的畫面會得到像圖60B中所示 的圖片。在作為拍照操作的結果而實際得到的如圖60B所示的圖片中，諸如 房子和樹這些原本在垂直方向上向上直立的東西是傾斜的。拍攝對象的這些 傾斜圖像每一個都是所謂焦平面現象的結果，這是CMOS成像器固有的現象。圖60B所示的典型圖片是拍攝者在水平方向上移動時進行拍攝操作所得 到的結果。另一方面，如果在拍攝者在垂直方向上移動時進行拍攝操作，則 在作為拍攝操作的結果而得到的圖片中，拍攝對象的圖像在垂直方向上縮短 或伸長。然而，應當注意，作為這種拍攝操作的結果而得到的圖片並未在圖 60A至60C中示出。當拿著採用CMOS成像器的拍攝裝置的拍攝者在進行拍攝操作的同時以高速移動時，或者另一方面，當拍攝者穩定地站在固定位置上拍攝高速移 動著的拍攝對象時，會產生焦平面現象。拍攝者與拍攝對象之間的移動速度 差越大，焦平面現象就越明顯。然而，可以說，在通常的拍攝操作中，存在 拍攝者與拍攝對象之間的移動速度差的情況很少見。然而，如果拍攝者用手拿著拍攝裝置進行拍攝而拍攝者的手以高抖動速 度抖動了一點，即，如果手移動，就會產生上述焦平面現象。這是因為，與CCD成像器的情形不同，CMOS成像器的手移動不是由 一個幀中的單個數值表示的，而是因為如上所述的採樣時間因像素而異或因 水平線而異的事實而由因像素而異或者因幀中的水平線而異的數值表示。在 以下描述中，CMOS成像器的手移動稱為CMOS手移動。因而，使用採用 CMOS成像器的拍攝裝置拍攝的圖像中由於前述的焦平面現象而產生的失真 無法消除，並將無法避免地保留在圖像中，即使用手移動距離對各個幀進行 補償處理亦是如此。圖60C示出了用採用CMOS成像器的拍攝裝置對拍攝對象進行拍攝操 作、經歷焦平面現象的發生而獲得的典型圖片。因為焦平面現象中手移動的 方向、大小和速度在圖像的一幀中是不均勻的，因而得到圖中所示的具有海 綿一樣的古怪失真的圖片。另外，在用於進行拍攝操作以獲得靜止圖片的裝置的情況下，由CMOS 手移動造成的焦平面現象的作用可輕易地在相當程度上被抑制，因為從一開 始就假設拍攝者只用裝置拍攝靜物拍攝對象，因而限制了手移動的距離。對 由於CMOS手移動造成的焦平面現象作用的輕易抑制也是由於裝置採用機械 快門這個事實引起的。前述數字靜態照相機是進行拍攝操作以獲得靜止圖片 的典型裝置。另 一方面，假設為用於執行拍攝操作以獲得動態圖片的裝置的拍攝裝置 的專業應用模式或高性能模式可採用基本上去除由CMOS手移動造成的焦平 面現象的方法。根據這種方法，在極短的時間內進行從CMOS成像器讀取圖 像數據的操作，以便減小一幀中的最大採樣時間差。最大採樣時間差是CMOS 成像器上的頂水平線與底水平線之間的採樣時間差。前述攝像機是假設執行 拍攝操作以獲得動態圖片的裝置的典型拍攝裝置。另外，與成像器所成圖像相關的手移動距離的大小與光學變焦鏡頭的放 大率成正比。因而，即使在拍攝裝置的動態圖片拍攝應用中，CMOS手移動
對於沒有光學變焦功能或具有小光學變焦放大率的拍攝裝置模式來說不是大 問題。從剛開始，CMOS手移動的不良影響較小，對於大部分廉價拍攝裝置 來說不會出現問題，這些裝置甚至沒有使用加速度傳感器的手移動補償功能， 而是具有使用傳統CCD成像器的手移動補償功能。發明內容為了解決上述問題，需要為除了靜止圖片拍攝應用之外主要為了動態圖 片拍攝應用的、具有內置高放大率的光學變焦功能的拍攝裝置提供諸如機械 快門的特殊功能或者提供一種高速時鐘功能。然而，具有這種構造的拍攝裝 置的精度極高，產生了高製造成本的問題。另外，通常採用使用諸如迴轉儀傳感器(或角速度傳感器)的機械元件的方 法作為檢測手移動的傳統方法。然而，在拍攝裝置中使用的迴轉儀傳感器會 帶來阻礙減'J、拍攝裝置的尺寸、重量和製造成本的努力的問題。此外，過去，即使迴轉儀傳感器本身的低精度是通過使用迴轉儀傳感器 對圖像補償由於手移動造成的失真的方法的缺點，但是迴轉儀傳感器的低精 度不會帶來動態圖片拍攝中的問題，動態圖片拍攝是使用迴轉儀傳感器的拍 攝裝置的主要應用。然而，近年來，數字靜物照相機的快速普及趨勢以及作 為圖像拾取器件中使用的像素數的突然增加趨勢而與所述速普及趨勢同時觀 察到的趨勢開始帶來新的問題。在需要長時間曝光周期的低亮度的拍攝環境 中通過使用數字靜物照相機拍攝的靜止圖片也帶來了對圖片補償由於手移動 造成的失真的強烈要求。然而，這些問題僅通過使用諸如迴轉儀傳感器來解 決。結果，還是沒有解決前述迴轉儀傳感器的缺點及其它問題。通過使用公知的迴轉儀傳感器或公知的加速度傳感器測量手移動位移矢量、並反饋給高速控制中的機構以防止投影在諸如CCD(電荷耦合器)或 CMOS(互補金屬氧化物半導體)成像器的圖像傳感器上的圖像受到手移動的 影響，對通過使用普通消費者在靜止圖片拍攝應用的市場上能買到的照相機 所拍攝的靜止圖片補償由於手移動造成的失真。作為上述的機構，已經提出一種包括透鏡、稜鏡和成像器(或者包含成像 器的集成模塊)的機構。在以下描述中，透鏡、稜鏡和成像器分別稱為透鏡變 換、稜鏡變換和成像器變換。即使如上所述對圖像補償了由於手移動造成的失真之後，也沒有校正回 轉儀傳感器的上述精度誤差。另外，由於手移動位移矢量向機構的反饋所造 成的延遲或者用於消除反饋延遲的估計誤差及機構的控制誤差疊加在迴轉儀 傳感器的精度誤差上。因而根本不可能以像素精度水平對圖像補償由於手移 動造成的失真。儘管通過使用現代的傳感器對圖像補償由於手移動造成的失真的方法存 在原則上不能追求精度的大問題，但是採用這種方法的拍攝裝置在市場上很 受歡迎，因為即使不能完全消除失真也會降低失真。然而，在將來，像素的大小將會減小，而像素數將會越來越多。伴隨著 像素大小的減小， 一定會給像素精度帶來對失真補償的限制，市場意識到必 須要給像素精度帶來失真補償以伴隨對於增加像素數的像素減小的事實只是 時間的問題。針對上述問題，本發明的發明人已經發現了一種拍攝方法，能夠減小特 別是由於手移動造成的焦平面現象中成像器所成圖像中產生的失真並提供解 決上述問題的方案，發明人還發現了一種拍攝裝置，用於在通過使用諸如 CMOS成像器的X-Y尋址圖像拾取器件且不使用前述包括迴轉儀傳感器的機 構的元件、以高精確度進行的數位訊號處理中以低成本實現所述拍攝方法。根據本發明的實施例，提供一個實施例，其實現一種對一屏圖像的信號 補償在該一屏圖像的水平和/或垂直方向上的失真的方法。該方法包括如下步驟將圖像的一屏區域分成多個圖片劃分；根據與兩個屏中的每一個上的具 體圖片劃分之間的圖像差有關的信息，對於所述圖片劃分中每個具體的圖片 劃分檢測所述圖像的移動矢量，該方法還包括如下步驟找出任何特定圖片 劃分與臨近該圖片劃分的圖片劃分之間的所檢測的移動矢量之差，以便對於 特定圖片劃分檢測圖像失真的變化速度；以及根據作為圖像失真變化速度的 所檢測出的所述每個圖片劃分的速度，針對每個所述圖片劃分補償所述圖像 的失真。根據本發明的上述實施例，對於通過劃分圖像的 一屏區域得到的多個圖 片劃分中的每一個特定的圖片劃分，根據圖片劃分的圖像信息而不使用諸如 迴轉儀傳感器這種機械元件來檢測特定圖片劃分中的移動矢量。然後，找出對於任何特定圖片劃分檢測出的移動矢量與對於臨近該特定 圖片劃分的每個圖片劃分檢測出的移動矢量之間的差，以便計算特定圖片劃 分的圖像失真的變化速度。隨後，根據作為每個圖片劃分的圖像失真的變化 速度而檢測到的速度，對圖像補償諸如由焦平面現象造成的失真等失真。根據本發明的另一實施例，使用根據本發明上述實施例的方法，將對於 每個特定的圖片劃分的圖像失真的變化速度的時間積分值作為在用作圖像的 失真補償目標的特定圖片劃分中產生的失真造成的位移，並且通過使用該關 於時間的積分值對圖像補償失真。根據本發明另一實施例的方法，如上所述，將對於每個特定的圖片劃分 的圖像失真的變化速度的時間積分值作為在用作圖像的失真補償目標的特定 圖片劃分中產生的失真造成的位移，並且通過使用該關於時間的積分值對圖 像補償失真。因此，可以對圖像補償例如由於焦平面現象而造成的失真，而 不會導致較長的處理時間延遲。另外，由於使用關於時間的積分值，即使在 一屏圖像的兩個相鄰圖片劃分之間的邊界上，也不產生圖像位移，儘管在這 種邊界上的圖像失真中的變化速度有改變。根據本發明的另一實施例，提供實現一種對一屏圖像的信號補償在參考 屏的水平和/或垂直方向上的失真的方法的另一實施例。該方法包括如下步驟將圖像的一屏區域分成多個圖片劃分；根據與用作參考屏的觀察屏上的具體圖片劃分與參考屏前面的原始屏上 的具體圖片劃分之間的圖像差相關的信息，對於圖片劃分中每個具體的圖片 劃分檢測圖像的移動矢量；以及根據對於每個圖片劃分檢測的移動矢量，對每個圖片劃分補償圖像 的失真。對每個具體的圖片劃分檢測圖像的移動矢量的步驟包括以下子步驟 在原始屏上的每個圖片劃分內的預定位置設定至少一個目標塊，該目標塊具有與多個像素的大小相等的預定大小；對於每個目標塊，在參考屏內設定的搜索範圍中設定多個大小與所述目 標塊的所述預定大小相同的參考塊；從多個參考塊檢測與特定目標塊具有最強相關性的參考塊，以及位置到所述檢測的參考塊的位置的位移的大小和方向的所述移動矢量對參考塊中每個特定參考塊的差異絕對值總和計算處理，作為找出 特定參考塊中的所有像素與位於特定目標塊上的相應位置上的所有像素 之間的像素值之差的絕對值總和的處理縮小矢量設定處理；縮小參考矢量設定處理，設定每個都表示在參考屏上從對應於所述 特定目標塊的位置到一個所述參考塊的位置的位移的大小和方向的參考矢量，並以預定的縮小因子縮小所述參考矢量以得到縮小參考矢量； 絕對差總和表創建處理，創建包括表元素的收縮的絕對差總和表，表元素數目根據所述縮小參考矢量的數目及所述縮小因子來確定，並分配各個所述表元素作為用於存儲由總和計算得出的數值的位置，所述總和的每一個都是為一個所述參考塊找出的並作為所述像素值之差的絕對值的所述總和；以及移動矢量計算處理，至少使用縮小參考矢量來計算每個所述圖片劃分的所述移動矢量作為所述參考屏與所述原始屏之間的移動矢量，所述縮小參考矢量對應於存儲在所述收縮的絕對差總和表內作為所述像素值之差的絕對值的所述總和的各個值中最小的 一個。通過執行以下處理來進行絕對差總和表創建處理鄰近參考矢量檢測子處理，確定多個鄰近參考矢量，每一個都具有與在 所述縮小參考矢量設定處理中得到的所述縮小的參考矢中相應一個的矢量大 小接近的矢量大小；總和分量計算子處理，根據參考塊的所述差異絕對值總和計算處理中計算出的總和計算多個總和分量作為所述像素值之差的絕對值的所述總和，每 個總和分量都與在所述鄰近參考矢量檢測子處理中確定為對應於一個特定的 所述縮小參考矢量的所述鄰近參考矢量的一個鄰近參考矢量相關，由此縮小 所述特定縮小參考矢量；以及分量總數計算子處理，通過將每個所述總和分量與對於所述特定鄰近參 考矢量迄今為止所得到的累加總數相累加來計算總和分量的總數，所述總和 分量已經在所述總和分量計算子處理中計算出，作為每一個都與一個特定的 所述鄰近參考矢量相關的所述總和分量。在根據本發明另 一 實施例的對圖像信號補償失真的方法中，在作為檢測 移動矢量的步驟的步驟處，為每個特定的參考塊進行差異絕對值總和計算處 理，作為找出特定參考塊內的所有像素與目標塊上的相應位置上的所有像素 之間的像素值之差的絕對值總和處理。在以下描述中，將特定參考塊內的所 有像素與目標塊上的相應位置上的所有像素之間的像素值之差的絕對值總和 稱為特定參考塊與目標塊之間的SAD(絕對差的總和)值。
根據本發明另一實施例的方法，特定參考塊與目標塊之間的SAD值不存 儲在由與特定參考塊相關的參考矢量所指向的表元素中。取而代之的是，SAD 值與在縮小參考矢量設定處理中收縮參考矢量所得到的縮小參考矢量相關地 存儲。
在這種情況下，縮小參考矢量不與SAD表的表元素一對一地相關。由於 這個原因，首先通過鄰近參考矢量檢測子處理的執行來進行SAD表創建處 理，所述鄰近參考矢量檢測子處理確定多個鄰近參考矢量，每個鄰近參考矢 量具有接近於與在縮小參考矢量設定處理中得到的一個縮小參考矢量相對應 的矢量大小的矢量大小。
然後，進行總和分量計算子處理，以便根據對於由參考矢量所指向的參 考塊的差異絕對值總各計算處理中計算出的總和計算多個總和分量作為SAD 值，每個總和分量都與在鄰近參考矢量檢測子處理中確定為對應於一個特定 的所述縮小參考矢量的所述鄰近參考矢量的一個鄰近參考矢量相關，由此縮 小特定縮小參考矢量。然後，通過將每個所述總和分量與對於所述特定鄰近 參考矢量迄今為止所得到的累加總數相累加來計算總和分量的總數，所述總 和分量已經在所述總和分量計算子處理中計算出，作為每一個都與一個特定 的所述鄰近參考矢量相關的所述總和分量。
作為上述處理的結果得到的SAD表是由與鄰近參考矢量相關的表元素 構成的SAD表，每一個所述表元素都具有接近於與縮小參考矢量一一對應的 矢量大小的矢量大小。SAD表具有由縮小因子確定的小的大小，參考矢量按 該縮小因子縮小成縮小參考矢量。
換言之，通過以與將參考矢量縮小成縮小參考矢量的縮小因子對應的縮 小因子減小對於參考幀中的參考塊產生的原始SAD表的大小來產生作為上 述處理的結果而得到的SAD表。然而，在這種情況下，目標塊和每個參考塊 的大小沒有減小，只是所產生的SAD表的大小變小了。
在具有減小的大小的SAD表中搜索最小SAD值，並確定與最小SAD值 相關的鄰近參考矢量。然後，根據鄰近參考矢量識別移動矢量。更詳細地說， 識別代表鄰近參考矢量的縮小參考矢量，並將縮小參考矢量乘以縮小因子的 倒數值以得到移動矢量。
另外，按照根據本發明另一實施例的方法，不必縮小圖像本身。因而， 處理時間不因為縮小圖像的處理而增加，也不需要存儲處理數據的成像器的 更大存儲空間。此外，根據原始幀中的所有像素找出SAD值，然後計算為參考矢量找出的SAD值的多個分量，這些分量與位於作為縮小參考矢量的結果 所得到的縮小參考矢量的附近的鄰近參考矢量相關。通過拆分為參考矢量所 計算的SAD值找出為鄰近參考矢量的參考矢量所計算的SAD值的分量的處 理本身等於適應於縮小因子的適當濾波處理，所述鄰近參考矢量位於作為縮 小參考矢量的結果所得到的縮小參考矢量的附近。因而，不需要像在縮小圖 像中所需要的低通濾波器的實現。根據本發明，可以提供一種拍攝方法，能夠減小特別是由於例如手移動 造成的焦平面現象中的成像器所成圖像中產生的失真並提供解決上述問題的 方案，還可以提供一種拍攝裝置，用於在通過使用諸如CMOS成像器的X-Y 尋址圖像拾取器件且不使用前述包括迴轉儀傳感器的機構的元件、以高精確 度進行的數位訊號處理中以低成本實現所述拍攝方法。


圖1A至1D每一個都是用於描述本發明提供的圖像失真補償方法的概要 的解釋說明圖；圖2是用於描述本發明提供的圖像失真補償方法的元素的概要的解釋說 明圖；圖3是用於描述採用塊匹配技術檢測移動矢量的處理的解釋說明圖； 圖4是用於描述採用塊匹配技術檢測移動矢量的處理的解釋說明圖； 圖5是用於描述採用塊匹配技術檢測移動矢量的處理的解釋說明圖； 圖6是用於描述根據本發明實施例、檢測移動矢量的處理的概要的解釋 說明圖；圖7A和7B每一個都是用於描述根據本發明實施例、檢測移動矢量的處 理的概要的解釋說明圖；圖8是用於描述根據本發明實施例、檢測移動矢量的處理的概要的解釋 說明圖；圖9A和9B每一個都是用於描述根據本發明實施例的圖像處理方法的第 一典型實施例的、檢測精確移動矢量的處理的解釋說明圖；圖10是用於描述根據本發明實施例的圖像處理方法的第一典型實施例
的、檢測精確移動矢量的處理的解釋說明圖；圖11是用於描述根據本發明實施例的、檢測移動矢量的處理的概要的解釋說明圖；.圖12是用於描述根據本發明實施例的、檢測移動矢量的處理的概要的解 釋說明圖；圖13A和13B每一個都是用於描述根據本發明實施例的移動矢量檢測方 法的第 一典型實施例的、檢測精確移動矢量的處理的解釋說明圖；圖14是用於描述根據本發明實施例的移動矢量檢測方法的第一典型實 施例的、檢測精確移動矢量的處理的解釋說明圖；圖15是用千描述根據本發明實施例的移動矢量檢測方法的第一典型實 施例的、檢測精確移動矢量的處理的解釋說明圖；圖16A和16B每一個都是用於描述根據本發明實施例的移動矢量檢測方 法的第一典型實施例的、檢測精確移動矢量的處理的解釋說明圖；圖17A、 17B、 17C和17D每一個都是用於描述根據本發明實施例的移 動矢量檢測方法的第一典型實施例的、檢測精確移動矢量的處理的解釋說明圖；圖18是用於描述根據本發明實施例的的移動矢量檢測方法的第一典型 實施例的、檢測精確移動矢量的處理的解釋說明圖；圖19是用於描述根據本發明實施例的移動矢量檢測方法的第一典型實 施例的、檢測精確移動矢量的處理的解釋說明圖；圖20A和20B每一個都是用於描述根據本發明的實施例的移動矢量檢測 方法的第二典型實施例的、檢測精確移動矢量的處理的解釋說明圖；圖21是用於描述根據本發明實施例的移動矢量檢測方法的第二典型實 施例的、檢測精確移動矢量的處理的解釋說明圖；圖22是用於描述根據本發明實施例的移動矢量檢測方法的第二典型實 施例的、檢測精確移動矢量的處理的解釋說明圖；圖23A、 23B、 23C和23D每一個都是用於描述根據本發明實施例的移 動矢量檢測方法的第二典型實施例的、檢測精確移動矢量的處理的解釋說明 圖；圖24是用於描述根據本發明實施例的移動矢量檢測方法的特性的解釋 說明圖25是將根據本發明實施例的移動矢量檢測方法的特徵與傳統方法的特徵進行比較的解釋說明圖；圖26是將根據本發明實施例的移動矢量檢測方法的特徵與傳統方法的特徵進行比較的解釋說明圖；圖27是將根據本發明實施例的移動矢量檢測方法的特徵與傳統方法的特徵進行比較的解釋說明圖；圖28是用於描述根據本發明實施例的檢測移動矢量的處理的概要的解 釋說明圖；圖29是用於描述根據本發明實施例的檢測移動矢量的處理的概要的解 釋說明圖；圖30是顯示根據本發明第一實施例的、採用對圖像信號失真進行補償的 方法的拍攝裝置的典型結構的框圖；圖31是代表根據本發明第一實施例的拍攝裝置的第一典型實施例的、檢 測移動矢量所進行的處理的流程圖；圖32是代表根據本發明第一實施例的拍攝裝置的第一典型實施例的、檢 測移動矢量所進行的處理的流程圖的續圖；圖33是代表根據本發明第一實施例的拍攝裝置的第二典型實施例的、檢 測移動矢量所進行的處理的流程圖；圖34是代表根據本發明第一實施例的拍攝裝置的第二典型實施例的、檢 測移動矢量所進行的處理的流程圖的續圖；圖35是代表根據本發明第一實施例的拍攝裝置的第二典型實施例的、檢 測移動矢量所進行的處理的流程圖；圖36是代表根據本發明第一實施例的拍攝裝置的第三典型實施例的、檢 測移動矢量所進行的處理的流程圖的續圖；圖37是代表根據本發明第一實施例的拍攝裝置的第二典型實施例的、檢 測移動矢量所進行的處理的流程圖的另 一續圖；圖38是代表根據本發明第一實施例的拍攝裝置的第二典型實施例的、檢 測移動矢量所進行的處理的流程圖的又一續圖；圖39是顯示作為根據本發明第一實施例的拍攝裝置而在圖30中示出的 拍攝裝置的部分結構的更加詳細的典型結構的框圖；圖40是顯示作為根據本發明第一實施例的拍攝裝置而在圖30中示出的 拍攝裝置的部分結構的更加詳細的典型結構的框圖41表示由作為根據本發明第一實施例的拍攝裝置而在圖30中示出的 拍攝裝置的部分結構進行的處理操作的流程圖42是用於描述作為採用根據本發明實施例的圖像失真補償方法對圖 像失真進行補償的部分處理所進行的內插處理的解釋說明圖43是用於描述作為採用根據本發明實施例的圖像失真補償方法對圖 像失真進行補償的部分處理所進行的內插處理的解釋說明圖44是用於描述作為採用根據本發明實施例的圖像失真補償方法對圖 像失真進行補償的部分處理所進行的內插處理的解釋說明圖45是示出根據本發明實施例的拍攝裝置中採用的水平手移動補償量 積分單元所進行的處理操作的框圖46是示出根據本發明實施例的拍攝裝置中採用的水平圖像處理單元 的典型詳細結構進行的處理操作的框圖WA和47B每個都是示出圖45和46中所示的處理衝喿作的時序圖的解 釋說明圖48是示出根據本發明實施例的拍攝裝置中採用的垂直手移動補償量 積分單元所進行的處理操作的框圖49是示出根據本發明實施例的拍攝裝置中採用的垂直圖像處理單元 的典型詳細結構進行的處理操作的框圖50A和50B每一個都是顯示圖48和49中所示的處理操作的時序圖的 解釋說明圖51是顯示作為根據本發明第一實施例的裝置在圖30中示出的圖像失 真補償裝置中採用的單元所進行的處理操作中所處理的圖像數據流的解釋框 圖52是顯示作為根據本發明第一實施例的裝置在圖30中示出的圖像失 真補償裝置中採用的信號處理單元的寄存器組採用的寄存器的操作的時序圖 的解釋說明圖53是採用根據本發明第二實施例的補償圖像信號失真的方法的拍攝 裝置的典型結構的框圖54是用於描述根據本發明第二實施例的拍攝裝置中的檢測移動矢量 的處理的解釋說明圖55是用於描述根據本發明第二實施例的拍攝裝置中的檢測移動矢量的處理的解釋說明圖；圖56是代表在根據本發明第二實施例的拍攝裝置中檢測移動矢量所進 行的處理的流程圖；圖57是代表在根據本發明第二實施例的拍攝裝置中檢測移動矢量所進 行的處理的流程圖的續圖；圖58是用於描述傳統方法對由於手移動造成的圖像失真進行補償的解 釋說明圖；圖59是用於描述作為CMOS成像器中創建的幀中的失真的、由於手移 動造成的失真的解釋說明圖；圖60A至60C每一個都是用於描述作為CMOS 成像器中創建的幀中的失真的、由於手移動造成的失真的解釋說明圖；以及圖61A至61D每一個都是用於描述對由於手移動造成的CMOS成像器 中創建的圖像中的失真進行#卜償的方法的解釋說明圖。具體實施例通過參照附圖，以下描述解釋了每一個由本發明提供作為 一個實施例的 多個實施例，這些實施例分別對拍攝方法以及使用CMOS成像器作為圖像拾 取器件來實施該拍攝方法的拍攝裝置應用失真補償方法和採用該失真補償方 法的失真補償裝置，所述失真補償方法用於補償代表成像器所成圖像的信號 的失真。[對由於CMOS手移動造成的焦平面現象中產生的失真進行補償的實施例]日本專利公開第2004-266322號公開了 一種對成像器所成圖像補償由於 CMOS手移動造成的焦平面現象中產生的失真的技術，本說明書中將其作為 專利文獻2。根據專利文獻2中公開的失真補償方法，在從水平線單元中的CMOS成 像器中讀取成像器所成圖像的數據的處理中，對每個水平線檢測由手移動造 成的位移，並從在與手移動的方向相反的方向上從當前位置移位了檢測的位 移的位置讀取當前位置的拍攝數據，所述位移在下文中也將稱為手移動距離。然而，面對由於包括檢測手移動的傳感器的採樣頻率在內的條件造成的 難以獲得每個水平線的手移動距離的現實，根據專利文獻2中公開的失真補 償方法，以一定間隔離散地檢測手移動距離，所述每個間隔對應於在如圖61A所示的屏幕(或幀)的垂直方向上設定的多個水平線。在如圖61A至61D所示 的檢測手移動距離的典型處理中，以一定間隔離散地檢測手移動距離Q1、Q2、 Q3等，所述每一個間隔對應於如圖61B中所示的50個水平線。然而，應當 注意，圖中只示出了水平方向上的手移動距離。不直接檢測被受過處理以檢測手移動距離的水平線夾在中間的每個間隔 內的49個水平線的手移動距離。取而代之的是，依據直接檢測到的手移動距 離Q1、 Q2、 Q3等通過內插找到49個水平線的手移動距離中的每一個。如圖 61C所示，存在一些對於49個水平線找到手移動距離的內插方法。根據圖61C 所示的內插方法，基本上，依據49個水平線前緊鄰的一個水平線的手移動距 離Qn以及49個水平線後緊鄰的一個水平線的手移動距離Qn+1找到不直接 經受檢測手移動距離的處理的49個水平線的手移動距離，其中n是至少等於 一的整數。例如，根據內插方法(l), 49個水平線前緊鄰的一個水平線的手移動距 離Qn用作屬於49個水平線的前一半水平線的手移動距離。另一方面，49個 水平線後緊鄰的一個水平線的手移動距離Qn+1用作屬於49個水平線的後一 半水平線的手移動距離。另一方面，根據內插方法(2), 49個水平線中每一個具體的水平線的手 移動距離由位於連接49個水平線前緊鄰的一個水平線的手移動距離Qn與49 個水平線後緊鄰的一個水平線的手移動距離Qn+1的直線上的點代表，該點 作為對應於具體的水平線的點。也就是說，內插方法(2)是基於平均值內插的 方法。根據專利文獻2中所述的內插方法，可以對成像器所成圖像補償CMOS 成像器中產生的由於CMOS手移動造成的焦平面現象中產生的失真。然而，根據專利文獻2中所述的內插方法，首先在預定離散採樣位置檢 測手移動距離Q1、 Q2、 Q3等，通過依據直接檢測到的手移動距離Ql、 Q2、 Q3等進行內插來推斷在除了預定離散採樣位置之外的每個點處的手移動距 離。因而，根據專利文獻2中所述的內插方法，在內插處理中找到位於對應 於水平線n和(n+l)的預定離散採樣位置之間的點處的手移動距離，這隻有在 檢測了對應於該點的水平線前的水平線n的手移動距離Qn以及對應於該點 的水平線後的水平線(n+l)的手移動距離QnTl之後才能進行。結果，水平線 n之後的水平線的手移動補償處理延遲一延遲時間，該延遲時間的最大值對 應於在水平線n和(n+l)的之間的採樣間隔內存在的多個離散水平線。另外，在內插方法(l)的情況下，有可能由於用內插為水平線找到的手移 動距離因為內插值的突然改變而與水平線的真實手移動距離相差很多的事 實，而從未從當前位置正確移位的位置讀取成像器中的當前位置的拍攝數據。另外，在內插方法(2)的情況下，從一個採樣間隔中的水平線前緊鄰的一 個水平線的手移動距離Qn到該採樣間隔中的水平線後緊鄰的一個水平線的 的手移動距離Qn+1找到代表手移動距離中的變化的線的斜度，僅通過將斜 度乘以特定水平線與前面緊鄰的水平線之間存在的水平線的個數就能找到前 面緊鄰的水平線後特定水平線的手移動距離。因而，需要一個乘法器，並且 需要提供獨立於乘法器的、存儲乘法參數的寄存器。結果，硬體變複雜，電 路的尺寸增大。而且，由於乘法誤差，在手移動距離的採樣點附近的點上， 通過內插找到的距離不連續改變。例如，在圖61C所示的內插方法(2)的情況 下，在手移動距離Q2的採樣點附近的點上，用內插找到的距離不連續改變， 因而很有可能從由於內插值的突然改變而未正確地從當前位置移位的位置讀 取成像器中的當前位置的圖像數據。在將如下描述成通過採用諸如CMOS成像器的X-Y尋址圖像拾取器件來 解決上迷問題的拍攝裝置的實施例的實施例中，可以對成像器所成圖像補償 CMOS成像器中產生的由於CMOS手移動造成的焦平面現象中產生的失真。首先，參照圖1,以下說明解釋了在實施根據本發明的補償圖像信號失 真的方法的實施例中減少由於焦平面現象造成的成像器所成圖像上產生的失 真的方法的概要。下面要描述的實施例是對成像器所成圖像補償由於前述 CMOS手移動造成的失真的實施例。作為使用CMOS成像器進行拍攝處理的 結果得到成像器所成圖像，其是前述X-Y尋址固態圖像拾取器件的典型代表。 應當注意，本發明可應用於作為拍攝處理的結果所得到成像器所成圖像是動 態或靜止圖片的情況。在說明減少失真的方法的概要時參照的圖1的解釋說明圖中，圖1A示 出不存在由於CMOS手移動造成的失真的原始圖像，以便使圖像失真容易理 解。原始圖像被成像為包括大量矩形的格子圖案。因而，由於CMOS手移動 在成像器所成圖像中產生的失真表現為構成格子圖案的每個矩形的變形。
應當注意，同樣在該實施例中，CMOS成像器用於創建具有有效圖像區域EFL的一屏的圖像數據，其是包含在有效圖像區域AFL中的中間區域，尺 寸大於有效圖像區域EFL的尺寸，例如圖58所示具有由水平有效尺寸限定 的寬度和由垂直有效尺寸限定的高度的區域。還應當注意，圖1A至1D所示 的 一 屏圖像是容納在圖5 8所示的有效圖像區域EFL中的圖像。在該實施例中，假設水平方向上的像素時鐘信號掃描像素的速度足夠高 於手移動的速度，順序進行從水平線單元中的CMOS成像器讀取圖像數據的 操作。因而，也對每個水平線進行失真補償處理。在該實施例中，CMOS成像器的有效圖像區域EFL的圖塊(picture segment) 在垂直方向上分成多個圖片劃分(picture division)Pdiv,如圖1B至1D所示。 假設每個圖片劃分Pdiv中的圖像數據由於手以一定速度移動而移動相同距 離。在這種情況下，劃分的個數被確定使得每個圖片劃分Pdiv的尺寸足夠小， 以在失真補償處理中起到足夠需要的作用。在以下要描述的實施例中，CMOS 成像器的有效圖像區域EFL的圖塊在垂直方向上分成八個圖片劃分Pdiv_0 至Pdiv一7。也就是說，在該實施例中，每個圖片劃分Pdiv的高度是前述有效 圖像區域EFL的垂直有效尺寸的1/8。每個圖片劃分Pdiv包括多個上述水平線。假設屬於相同圖片劃分Pdiv 的每個水平線上的圖像數據由於手以一定速度移動(即施加到圖片劃分Pdiv的圖像數據的手移動)而移動相同距離來進行失真補償處理。圖IB左側所示的各個箭頭表示施加到八個圖片劃分Pdiv—0至Pdiv—7之 一中的第一水平線上的手移動的速度矢量，其與箭頭相關。由配置用於檢測 手移動的速度的矢量的手移動速度^r測單元檢測手移動速度矢量。也就是說， 在該實施例中，在八個離散位置檢測一屏的成像器所成圖像的手移動速度矢 量。圖IB所示的圖像具有由圖左側所示的每個箭頭表示的手移動造成的拍 攝失真，以將手移動速度矢量表示為每一個都施加到圖片劃分Pdiv的手移動。 在該實施例中，通過進行分成水平方向和垂直方向處理的失真補償處理來處 理手移動造成的拍攝失真，以便對成像器所成圖像補償水平和垂直方向上的 失真。如下面將詳細描述的，在該實施例中，首先，對失真的水平方向上的分 量進行用於失真的失真補償處理的水平方向處理。然後，對失真的垂直方向 分量進行用於失真的失真補償處理的垂直方向處理。在失真補償處理中，一 旦能對失真的垂直方向分量進行垂直方向失真補償處理，即使還沒有對1屏 中整個成像器所成圖像的數據完成水平方向失真補償處理，也開始垂直方向 失真補償處理。以這種方式，能與水平方向失真補償處理同時進行垂直方向 失真補償處理，以便以高效率進行失真補償處理。在該實施例中，首先，為了對成像器所成圖像補償由水平方向上的手移動造成的失真，進行水平方向失真補償處理，以找到相反符號分量X一STBJ) 至X—STB—7。對於圖片劃分Pdiv檢測到的手移動速度矢量Vec的相反符號 分量X—STB是與手移動速度矢量Vec的水平方向分量的方向相反的方向上的 分量。在該實施例的情況下，分別為圖片劃分PdivJ)至Pdiv—7 ^f全測手移動速 度矢量Vec_0至Vec—7，分別為手移動速度矢量Vec_0至Vec—7找出相反符 號分量X—STB—0至X—STB—7。相反符號分量X_STB—0至X—STB—7示出在圖1C和2的左側。在以下 的描述中，在與手移動速度矢量Vec的水平方向分量的方向相反的方向上的 相反符號分量X一STB稱為水平補償速度分量VecH,其是在上述水平方向失 真補償處理中找到(found)的。將對應於圖片劃分Pdiv的第一水平線的時間點作為積分起點，對如上所 述對於每個圖片劃分Pdiv找到的相反符號分量X—STB(或水平補償速度分量 VecH)關於覆蓋圖片劃分Pdiv的所有水平線的時間進行積分，以便對於所有 水平線計算用於對圖像數據補償水平方向上的手移動距離的補償量。更具體 地，如上所述分別為圖片劃分Pdiv—0至Pdiv—7找出的相反符號分量X—STB一O 至X一STB一7中的每一個關於時間積分。在圖2的右側，示出積分結果SX_ADD 以表示水平方向手移動補償量，以下將其簡稱為水平手移動補償量。從圖2中明顯可以看出，在圖片劃分Pdiv—0至Pdiv—7每一個中，表示對 於圖片劃分中的所有水平線的補償量的水平補償位移量SX—ADD以固定斜度 變化。另外，由於水平補償位移量SX一ADD作為積分的結果而得到，水平補 償位移量SX—ADD平滑變化，即使水平補償位移量SX—ADD在任何兩個相 鄰圖片劃分Pdiv一n與Pdiv—(n+l)之間的邊界點上形成虛曲線，其中n是至少 等於0的整數。也就是說，水平補償位移量SX—ADD沒有顯示突然改變。在補償拍攝數據失真的水平方向失真補償處理中，作為圖片劃分中的所 有水平線的補償量的、如上所述計算的水平補償位移量SX_ADD用於找出正 確的水平方向讀取起始位置，以從CMOS成像器讀取用於每個水平線的圖像 數據。也就是說，如圖IB所示施加到水平線上的、手移動造成的在水平方向 上移動的位置作為水平線的正確水平方向讀取起始位置。因而，對成像器所 成圖像補償在水平方向上的失真，導致圖1C中所示的圖像。圖1C中所示的圖像是對圖IB中所示的圖像補償水平方向上的圖像失真而得到的。在該圖像中，還未補償垂直方向中的失真。因而，為了對成像器所成圖像補償由垂直方向上的手移動造成的失真，進行垂直方向失真補償處理，以找到相反符號分量Y_STB_0至Y—STB一7。 為圖片劃分Pdiv檢測到的手移動速度矢量Vec的相反符號分量Y—STB是與 手移動速度矢量Vec的垂直方向分量的方向相反的方向上的分量。在該實施 例的情況下，分別為圖片劃分Pdiv—0至Pdiv—7檢測手移動速度矢量Vec—0 至Vec_7,分別為手移動速度矢量Vec—0至Vec—7找出相反符號分量Y—STB—0 至Y—STB—7。相反符號分量Y—STB—O至Y_STB—7示出在圖1D的左側。在 以下的描述中，在與手移動速度矢量Vec的垂直方向分量的方向相反的方向上的相反符號分量Y—STB被稱為垂直補償速度分量VecV,其是在上述垂直 方向失真補償處理中找到的。將對應於圖片劃分Pdiv的第 一水平線的時間點作為積分起點，對如上所 述對於每個圖片劃分Pdiv找到的相反符號分量Y—STB(或垂直補償速度分量 VecH)關於覆蓋圖片劃分Pdiv的所有水平線的時間進行積分，以便對於所有 水平線計算用於對圖像數據補償垂直方向上的手移動距離的補償量。更具體 地，如上所述分別為圖片劃分Pdiv_0至Pdiv—7找出的相反符號分量Y—STB—0 至Y_STB—7中的每一個關於時間積分。在圖2的右側，示出積分結果SY_ADD 以表示垂直方向手移動補償量，以下將其簡稱為垂直手移動補償量。在圖片劃分Pdiv—0至Pdiv—7每一個中，表示對於圖片劃分中的所有水平 線的補償量的垂直補償位移量SY_ADD以固定斜度變化。另外，由於垂直補 償位移量SY一ADD作為積分的結果而得到，垂直補償位移量SY—ADD平滑 變化，即使垂直補償位移量SY—ADD在任何兩個相鄰圖片劃分Pdiv—n與 Pdiv一(n+1)之間的邊界點上形成虛曲線。也就是說，垂直補償位移量SY_ADD 沒有顯示突然改變。在補償拍攝數據失真的垂直方向失真補償處理中，作為圖片劃分中的所 有水平線的補償量的、如上所述計算的垂直補償位移量SY—ADD用於找出正
確的垂直方向讀取起始位置，以從CMOS成像器讀取用於每個水平線的圖像數據。也就是說，如圖1C所示施加到水平線上的、手移動造成的在垂直方向上移動的位置作為水平線的正確垂直方向讀取起始位置。因而，對成像器所成圖像補償在垂直方向上的失真，導致圖1D中所示的圖像。通過使用水平和垂直手移動補償量對CMOS成像器中產生的圖像數據進 行補償由於焦平面現象造成的失真的水平和垂直失真補償處理後得到的狀態 與前述專利文獻2中所述的相同。然而，根據專利文獻2中所公開的失真補償方法，以每一個都對應於設 定在屏幕的垂直方向上的多個水平線的間隔來離散地檢測手移動距離。不直 接檢測被經受檢測手移動距離的處理的水平線夾入中間的每個間隔中的水平 線的手移動距離。取而代之的是，依據直接檢測到的手移動距離通過內插找 出每個間隔中的水平線的手移動距離。另一方面，根據該實施例的失真補償 方法與專利文獻2中所述的失真補償方法有很大不同，因為根據按照該實施 例的失真補償方法，以一定間隔離散地;險測手移動速度，每一個所述間隔對 應於在屏幕的垂直方向上設定的多個水平線，且每一個所述間隔關於覆蓋被 經受檢測手移動速度的處理的水平線夾入中間的每個間隔中的所有水平線的 時間積分，以便找出每個水平線的手移動距離(或手移動補償量)。如上所述，在該實施例中，在圖片劃分Pdiv一0至Pdiv一7的每一個中，作 為積分的結果獲得表示圖片劃分中的所有水平線的手移動距離(或手移動補 償量)的水平補償位移量SX—ADD，水平補償位移量SX_ADD平滑變化，即 使水平補償位移量SX一ADD在任何兩個相鄰圖片劃分Pdiv—n與Pdiv—(n+1) 之間的邊界點上形成虛曲線，其中n是至少等於0的整數。也就是說，水平 補償位移量SX一ADD沒有顯示突然改變。應當注意，根據該實施例，在從手移動速度矢量中提取水平和垂直分量 的處理中，通過反向(inverting)手移動速度矢量的分量的符號找到相反符號分 量，並用作補償速度分量。手移動速度矢量的分量的符號可被反向以在任何 時候產生補償速度分量或者手移動補償量，只要在對成像器所成圖像的數據 補償由於手移動造成的失真之前進行該符號反向處理。 [手移動位移矢量及手移動速度矢量的計算]該實施例採用用於找到2屏之間的相關性的塊匹配技術作為檢測成像器 所成圖像的手移動位移矢量的方法。由於塊匹配方法不需要諸如迴轉儀傳感 器(或角速度傳感器)等機械元件，所以該方法具有拍攝裝置尺寸小及製造裝置 的成本低的優點。圖3和4每一個是描述塊匹配方法的概要時要參照的圖。另一方面，圖 5示出了代表基於塊匹配方法的典型處理的流程圖。塊匹配方法是計算拍攝單元產生的成像器所成圖像的參考屏中的每個塊 (以下也稱為參考塊)與同一成像器所成圖像的原始屏中的預定塊(以下稱為目 標塊)之間的相關性的方法，以試圖找出參考屏與原始屏之間的相關性，作為 表示參考屏與原始屏之間的屏單元位移矢量的相關性。成像器所成圖像的參 考屏是當前觀察的屏。另一方面，成像器所成圖像的原始屏是比參考屏領先 對應於1屏的時間差的屏。也就是說，原始屏是參考屏前緊鄰的一屏。屏中 的塊是具有預定尺寸的矩形區域。應當注意，在這種情況下， 一屏是由一幀或一場的圖像數據構成的圖像。 然而，在本專利說明書中， 一屏定義為由一幀的圖像數據構成的圖像，以便 使解釋易於理解。因而，屏也稱為幀。也就是說，參考屏及原始屏也分別稱 為參考幀及原始幀。例如，參考幀的圖像數據是圖像數據，其由拍攝單元輸出作為當前幀的 圖像數據或已經在幀存儲器中存儲了對應於從當前幀出現到呈現一幀的延遲 時間的經過。另一方面，原始幀的圖像數據是圖像數據，其已經由拍攝單元 輸出，並在幀存儲器中存儲了對應於從當前幀出現到呈現兩個連續幀的延遲 時間的經過，作為緊鄰在前面的一幀的圖像。如上所述，圖3和4每一個是在描述傳統塊匹配技術的概要時參照的圖。 圖5示出了表示採用傳統塊匹配技術的典型處理的流程圖。根據傳統塊匹配技術，如圖3所示，在原始幀101 (也稱為目標幀101 ) 上的任何任意預定位置，設定目標塊103。目標塊103是具有預定尺寸的矩 形區域。目標塊103具有排列在水平方向上以形成線的多個像素和排列在垂 直方向上的多個這種線。另一方面，在作為目標塊103的位置的參考幀102上的相同位置，目標 塊投影圖像塊104將作為目標塊103。在圖3中，目標塊投影圖像塊104被 畫成由虛線圍成的塊。然後，設定搜索範圍105,其中心與目標塊投影圖像 塊104重合。在圖3中，搜索範圍105被畫成由點線圍成的塊。另外，假設 參考塊106是在搜索範圍105內要從一個位置移動到另一位置的塊，如下所 述。然後，參考塊106在參考幀102上的位置在搜索範圍105上盡力改變， 以在搜索範圍105內找一個位置，該位置示出在該位置的參考塊106中包含 的圖像數據與在目標塊103中包含的圖像數據之間的最強相關性，即，找一 個移動參考塊106與目標塊103之間的相關性變得最強的位置。檢測表示參 考塊106與目標塊103之間的最強相關性的位置，作為參考塊106的最強相 關性位置或者目標塊103在參考幀102上的實際位置。檢測測得的參考塊106 的最強相關性位置或目標塊103在參考幀102上的實際位置從目標塊投影圖 像塊104的位置的位移大小，作為上述手移動位移矢量110,以下也簡稱為 移動矢量IIO,其包括移動方向。在處理中，參考塊106在參考幀l'02上的位置在搜索範圍105上典型地 在垂直和水平方向上一次改變對應於一個像素或多個像素的距離。因而，在 搜索範圍105內預先設定多個參考塊位置的每一個，作為在尋找處理過程中 參考塊106將要移動到的位置。在搜索範圍105上從一個位置移動到另一個位置的參考塊106與目標塊 103之間的最強相關性基本上依據參考塊106在其每個當前位置上的像素及 目標塊103的相應像素來計算。SAD(絕對差的總和)值是參考塊106中的所有 像素與目標塊103中的所有相應像素之間的亮度值之差的絕對值之和。最強 相關性由來自目標塊投影圖像塊104的位置的移動矢量IIO表示的最強相關 性位置的最小SAD代表。根據塊匹配技術，預先設定參考塊106將要在搜索範圍105上移動到的 多個位置，在這些位置中尋找特定的一個，這個位置表示參考塊106與目標 塊103之間的最強相關性，或者具有參考塊106與目標塊103之間的最小SAD 值，並且包括移位方向的參考矢量107用作代表從目標塊103在原始幀101 上的位置或者目標塊投影圖像塊104在參考幀102上的位置到表示參考塊106 與目標塊103之間的最強相關性的特定位置或者到具有參考塊106與目標塊 103之間的最小SAD值的特定位置的移動的矢量，如圖3所示。因而指向參 考塊106的參考矢量107具有由參考塊106在參考幀102上的最強相關性位 置決定的值，並且在塊匹配技術的情況下，參考塊106的最強相關性位置是 顯示最小SAD值的位置。根據塊匹配技術，對於參考塊106要在搜索範圍105上移動到的多個位
置中的每一個，參考塊106與目標塊103之間的計算的SAD值基本上與指向 參考塊106的位置的參考矢量107相關地記錄在存儲器中。如圖4所示。為 了使解釋簡單，在以下說明中，參考塊106與目標塊103之間的SAD值也稱 為參考塊SAD值。指向參考塊106具有最小SAD值的位置的參考矢量107 是前述的移動矢量110。因而，通過在存儲在存儲器中的所有參考塊SAD值 中尋找最小參考塊SAD值，能找到與具有最小SAD值的參考塊106相關的 移動矢量110。如上所述，對於參考塊106要在搜索範圍105上移動到的多個位置的每 一個，參考塊106與目標塊103之間的參考塊SAD值與參考矢量107相關地 在相關值表108中記錄成表元素109,該表108以下也稱為SAD表108。參 考塊SAD值表示參考塊106與目標塊103之間的相關性。如圖4所示，相關 值表108的每個元素109是位於對應於該元素的地址的位置處的參考塊106 的相關值或者該位置的參考塊SAD值。在以下描述中，可交換地使用SAD 值和相關值以表示相同數量。應當注意，在上述描述中，目標塊103或參考塊106的位置分別是目標 塊103或參考塊106的特定部分的位置。特定部分的例子是目標塊103或參 考塊106的中心。同樣如上所述，包括移位方向的參考矢量107是表示從目 標塊103在原始幀101上的位置或者目標塊投影圖像塊104在參考幀102上 的位置到表示參考塊106與目標塊103之間的最強相關性的位置或者到具有 參考塊106與目標塊103之間的最小SAD值的位置的移位量的矢量。在圖3 和4所示的例子中，目標塊103和目標塊投影圖像塊104每一個都位於幀的 中心。指向參考塊106並包括移位方向的參考矢量107是代表從目標塊103在 原始幀101上的位置或者目標塊投影圖像塊104在參考幀102上的位置到表 示參考塊106與目標塊103之間的最強相關性的位置或者到具有參考塊106 與目標塊103之間的最小SAD值的位置的移位量的矢量。因而，如果表示參 考塊106與目標塊103之間的最強相關性的位置或者具有參考塊106與目標 塊103之間的最小SAD值的位置是相同的，那麼參考矢量107的值也是相同 的。也就是說，如果存儲器中的相關值表108的元素的地址是相同的，那麼 參考矢量107的值也是相同的。下面參照圖5所示的流程圖更加詳細地解釋上述傳統塊匹配處理。 流程圖從步驟Sl開始，在該步驟，由圖3中的附圖標記106指示的參考塊Ii被指定在搜索範圍105中具有(vx,vy)坐標的位置。在搜索範圍105中指 定參考塊Ii的操作等價於指定對應於參考塊Ii的參考矢量107的操作。在圖 5所示的流程圖所表示的典型處理中，(vx,vy)坐標是由指定參考矢量107指向 的位置的坐標，(O,O)坐標作為原點位置的坐標。(O,O)坐標是目標塊103在原 始幀101上的的置的坐標，或者目標塊投影圖像塊104在參考幀102上的位 置的坐標。坐標vx表示由特定參考矢量107指向的位置從原點位置的水平方 向移位，而坐標vy表示由特定參考矢量107指向的位置從具有坐標(0，0)的原 點位置的垂直方向移位。移動量(vx,vy)每一個都是按照像素為單位所表示的量。例如，表達式 vx=+l表示在水平方向上從原點位置(O,O)向右移位等於一個像素的距離的位 置。另一方面，表達式vx=-l表示在水平方向上從原點位置(O,O)向左移位等 於一個像素的距離的位置。另外，表達式vy=+l表示在垂直向下方向上從原 點位置(O,O)移動等於一個像素的距離的位置。另一方面，表達式vy=-l表示 在垂直向上方向上從原點位置(O,O)移動等於一個像素的距離的位置。如上所述，坐標(vx，vy)是作為與原點位置(0，O)相關的位置而由參考矢量 107所指向的位置的坐標。在以下描述中，作為與原點位置(O,O)相關的位置而 由參考矢量107所指向的位置筒稱為由參考矢量107所指向的位置，以便使 解釋易於理解。由參考矢量107所指向的每個位置被說成是對應於參考矢量 107的位置。也就是說，量(vx，vy)表示參考矢量107本身，其中符號vx和vy 都是整數。因而，在以下描述中，指向位置(vx，vy)的參考矢量107表示成參 考矢量(vx,vy),該位置具有坐標(vx,vy)。如前所述，搜索範圍105的中心位置作為目標塊投影圖像塊104的中心 位置或原點位置(O,O)。參考塊106在搜索範圍105上從一個位置移動到另一 個位置，在水平方向上移動了在定義搜索範圍105的水平極限的範圍士Rx內 的距離，且在垂直方向上移動了在定義搜索範圍105的垂直極限的範圍士Ry 內的距離。在這種情況下，量(vx，vy)滿足以下關係 -Rx^vx^+Rx並且-Ry^vy^+Ry在下一個步驟S2中，坐標為(x,y)的點(或像素)指定為圖3中用附圖標記 103指示的目標塊Io中的點。讓我們用符號Io(x,y)指示位於指定點(x,y)的像 素值，而用符號Ii(x+vx，y+vy)指示位於在步驟S3中設在塊位置(vx,vy)處的參
考塊Ii中的點(x+vx,y+vy)的像素值。在以下描述中，參考塊Ii中的點 (x+vx,y+vy)說成是對應於目標塊Io中的點(x,y)的點。然後，在下一步驟S3 中，像素值Io (x,y)與像素值Ii(x+vx，y+vy)之間的差的絕對值a根據以下公式 (l)來計算a=| Io (x,y)- Ii(x+vx，y+vy)l (1)為目標塊Io中的所有點(x,y)與它們在參考塊Ii中所有的相應點 (x+vx,y+vy)計算上述差的絕對值a,代表為目標塊Io和參考塊Ii計算的差的 絕對值a的和的SAD值存儲在與指向參考塊Ii的當前位置的參考矢量(vx,vy) 相關的表元素的地址。也就是說，SAD值存儲為作為相關值表108的元素的、 與參考塊Ii相關的參考值表元素。為了計算這種SAD值，在下一個步驟S4， 在步驟S3找出的差的絕對值a累加到臨時SAD值，該臨時SAD值已經作為 與由作為迄今為止所計算的SAD值的參考矢量(vx,vy)所指向的參考塊Ii相關 的參考值表元素109而被存儲。作為將所有差的絕對值a累加的處理的結果 而得到最終SAD值SAD (vx，vy)，如上所述，這些差的絕對值a是為目標塊 Io中的所有點(x，y)以及它們在參考塊Ii中的所有相應點(x+vx,y+vy)計算得出 的。因而，最終SAD值SAD(vx,vy)可以由公式p)表示如下 SAD (vx,vy)=Sa=S|Io (x,y)- Ii(x+vx,y+vy)| (2)然後，傳統塊匹配處理的流程繼續到下一步驟S5，以產生關於是否已經 對目標塊Io中的所有點(x,y)以及它們在參考塊Ii中的所有對應點(x+vx，y+vy) 進行了步驟S3和S4的處理的確定的結果。如果確定的結果表明還沒有對目 標塊Io中的所有點(x,y)以及它們在參考塊Ii中的所有對應點(x+vx,y+vy)進行 步驟S3和S4的處理，傳統塊匹配處理的流程返回到步驟S2,在該步驟坐標 為(x,y)的另一點被指定為目標塊Io中的另一個點。然後，重複步驟S2之後 的步驟S3和S4的處理。
另一方面，如果在步驟S5產生的確定結果表明已經對目標塊Io中的所 有點(x,y)以及它們在參考塊Ii中的所有對應點(x+vx,y+vy)進行了步驟S3和 S4的處理，即，如果已經找到參考矢量(vx,vy)的最終SAD值SAD(vx,vy), 則傳統塊匹配處理的流程繼續到步驟S6,以產生關於是否已經對搜索範圍 105中的所有參考塊位置，即，對所有參考矢量(vx,vy)進行了步驟S2至S5 的處理的確定的結果。如果在步驟S6產生的確定結果表明還沒有對搜索範圍105中的所有參考 塊位置，即，對所有參考矢量(vx,vy)進行步驟S2至S5的處理，傳統塊匹配處理的流程返回到步驟Sl，在該步驟由另一參考矢量(vx，vy)指向的另一參考塊Ii被設定在搜索範圍105中的另一塊位置(vx,vy)處。然後，重複步驟Sl 及後續步驟的處理。另一方面，如果在步驟S6產生的確定結果表明已經對搜索範圍105中的 所有參考塊位置，或對所有參考矢量(vx，vy)進行了步驟S2至S5的處理，也 就是說，相關值表108的所有元素已經被充填了最終SAD值(vx,vy)，則傳統 塊匹配處理的流程繼續到下一步驟S7，在該步驟，檢測相關值表108的所有 元素中存儲的所有最終SAD值(vx,vy)中的最小的一個值作為最小值。然後， 在下一個步驟S8,將指向作為用於存儲最小最終SAD值(vx,vy)的元素的、 相關值表108中包含的元素的地址的參考矢量(vx,vy)識別為前述的移動矢量 110。讓我們用符號SAD(mx,my)指示最小最終SAD值(vx,vy),而用符號矢量 (mx,my)指示指向元素109的地址的參考矢量(vx,vy)或者指示移動矢量110, 所述元素109包括在相關值表108中，作為用於存儲SAD值(vx，vy)的元素。如上所述，執行對目標塊103的傳統塊匹配處理，以便為目標塊103確 定矢量(mx,my)。根據如上所述使用塊匹配技術檢測手移動位移矢量(以下也稱為移動矢 量)的不用傳感器的方法，原則上，能以像素精度水平檢測手移動位移矢量。 另外，由於該方法不需要諸如傳感器和透鏡變換的機械元件，所以從降低成 本的角度來看該方法非常好。然而，在依靠傳統塊匹配技術的技術範圍內，構成前述相關值表108(或 SAD表108)的元素的個數與一屏上的像素數成比例地增加。因而很難實施一 種處理，即通過使用具有現實規模的電路對顯示在具有大於5,000,000像素的 大小的現代顯示屏上的靜止圖片檢測移動矢量。過去，製造商對拍攝裝置做了很多努力，卻在嘗試消除用於檢測顯示在 大小不超過170,000像素的顯示屏上的NTSC(全國電視系統委員會)動態圖片 的手移動位移矢量的電路時遭受痛苦的失敗，在這種背景下，在檢測以 60Q)s(幀每秒)的速率產生的NTSC動態圖片的手移動位移矢量的處理中可以 使用窄手移動搜索範圍。然而，在靜止圖片的情況下，採用3fps的速率作為 先決條件，使得變得極大的手移動搜索範圍作為一個原因，這使存在的問題 更加難以解決。這是因為構成相關值表108的元素的個數與一屏上的像素數
以及手移動搜索範圍的大小成比例地增加。在某些文獻中，特別是在作為專利文獻3的日本專利公開待審第Hei 7-283999號中已經公開了實施靜止圖片的無傳感器手移動補償技術的方法。 根據專利文獻3公開的技術，公開了一種算法，由此在沒有發生手移動的短 曝光時間內拍攝一些連續的靜止圖片，找到靜態圖片之間的手移動位移矢量。 在曝光時間內連續拍攝的多個靜止圖片在根據它們的手移動位移矢量平行移 動的同時彼此重疊(或在曝光時間內連續拍攝的靜止圖片平均化)，以便產生最 終的高質量靜止圖像，沒有由於手移動造成的失真，也沒有低照明噪聲。作為專利文獻4的日本專利公開待審第2005-38396號提出了 一種可以實 現的實用技術。專利文獻4公開的技術包括配置用於找出作為轉換處理的結 果而得到的圖片尺寸的移動矢量、以縮小原始圖片的單元，以及配置用於允 許普通SAD表被多個塊共享的單元。縮小原始圖片並允許普通SAD表被多 個塊共享的技術是減小相關值表108的大小的非常好的方法，並且還用於諸 如MPEG(動態圖像專家組)圖片壓縮系統中的移動矢量的檢測以及場景變化 的檢測等其它領域。然而，在專利文獻4中公開的算法存在一個問題，即，它需要時間來進存儲器的例子是DRAM(動態RAM(隨機存取存儲器))。訪問存儲器的時間變 得很長，因為所述算法以分時為基礎使用配置用來訪問相關值表108(或者 SAD表108)的單元，所述相關值表108被多個塊共享。訪問存儲器需要的很 長時間也不可避免地增加了依據算法進行處理的時間。由於對拍攝裝置補償 因手移動造成的失真的處理必須以實時方式進行，以便縮短系統延遲時間， 所以用來依據算法進行處理的長時間顯著地帶來了問題。另外，為了進行縮小原始圖片的轉換處理，必需在轉換處理之前使用用 於去除混淆現象和低照明噪聲的低通濾波器進行預處理。由於低通濾波器的 特徵根據轉換處理的縮小因子而改變，並且，特別是在垂直方向低通濾波器 的情況下，使用多抽頭(multi-tap)的數字濾波器，然而，需要許多行存儲器和 處理邏輯電路，這帶來了電路尺寸增大的問題。另一方面，諸如作為專利文獻5的日本專利公開待審第Hei 6-86149號以 及作為專利文獻6的日本專利公開待審第2004-343483號等文獻中也已經提 出了每一個都使用非塊匹配技術的多個算法。所提出的算法的每一個使用配
置用於檢測多個點的單元，這些點的每一個由於某些原因而被認為是兩個連 續幀圖像上的特徵點，並依據所檢測到的特徵點使兩個連續幀圖像彼此關聯 以便找出球形矢量，其是每個幀圖像整個表面的手移動位移矢量。或者，只 檢測兩個連續幀圖像中的一個的特徵點，並且只對每個都圍繞著一個被檢測 特徵點的區域進行關於另 一幀圖像的塊匹配處理。專利文獻5和6中公開的算法每一個都減小了處理電路的尺寸，每個都 很有效，所以是理想的。然而，算法的有效性非常依賴於有多少實際上作為 兩個幀圖像的整個表面的特徵以及兩個連續幀圖像共同的特徵的所識別的特 徵點能以高效率被減少。只要世界上所有的東西都作為用戶拍攝裝置的拍攝對象，在健壯方面，塊匹配技術被認為比專利文獻5和6中公開的算法稍好 一些。如前所述，在諸如數位相機這種拍攝裝置中，越來越努力地增大成像器 的像素密度，因為預想到未來會要求更好的性能。在這種條件下，實施通過於在拍攝靜止圖片的j作中產i的^;;動造成^失真的處理是很有意義的。為了實施這種處理，如前所述，有前途的方法是通過採用塊匹配技術以 無傳感器方式識別手移動位移矢量，並使用所識別的矢量對對拍攝裝置補償 由於手移動造成的失真。然而，在當前狀態下，採用塊匹配技術的解決辦法 存在一個問題，即，沒有一種建議能滿足小處理電路尺寸、高處理速度和優 良的健壯性這些所有要求。塊匹配技術的最大問題是由相關值表大小的增大造成的。如前面已經描述過的，目前作為前提，數位相機中產生的圖像需要具有至少5,000,000像素 的大小，相關值表的大小不可避免地與構成圖像的像素的數目成比例地增加， 除此之外，在靜止圖片的情形中採用大約3^的速率。因而，對於靜止圖片， 需要尺寸為以60fps速率產生的動態圖片的手移動搜索範圍的尺寸的大約10 倍的手移動搜索範圍。手移動搜索範圍的增大尺寸等價於相關值表的增大， 相關值表的增大被認為是由塊匹配技術帶來的最大問題。由大量用戶給出的評估結果明顯表明，假定幀的整個區域是100，在3Q)s 的速率的靜止圖片的情況下，手移動搜索區域的尺寸是大約±10%。在高性能 拍攝裝置的情況下，已經假定構成圖像的像素數是12,000,000，並且使用目 前提出的這種技術，所需要的SAD表的大小估計大約是80兆位。另外，如
果試圖滿足現實處理速度，需要SRAM(靜態RAM(隨機存取存儲器))作為用 於存儲包含在相關值表內的信息的存儲器。儘管半導體處理標準說成是進行 處理，但是這個大約80兆位的大小與現實水平相差很遠，比現實值大大約三 個位數(digit)。針對上述問題，本發明的發明人已經提出了一種圖像處理方法，允許在 通過採用塊匹配技術識別兩個連續幀之間的移動矢量的處理中使用的SAD 表的大小充分地減小，並提出了一種採用該圖像處理方法的圖像處理裝置。另外，在塊匹配領域中提出的傳統方法中，對於作為通過進行圖像轉換 處理以縮小圖像來減小相關值表的大小的技術的、在專利文獻4中公開的技 術，發明人指出以下兩個問題。 一個問題是增加的處理時間及增大的存儲器 尺寸，這是由縮小圖像的圖像轉換處理造成的。另一個問題是由實現適當的 低通濾波器以避免執行縮小圖像的圖像轉換處理時的混淆現象而造成的處理 電路尺寸增大。因而希望下述實施例解決這些問題。 [實施例採用的新塊匹配技術的概要]同樣在該實施例中，採用上述塊匹配技術來^r測兩個連續幀之間的移動 矢量。然而，在該實施例的情況下，在目標塊與參考塊之間找出的每個SAD 值分別存儲成相關值表TBLo中的表元素tbl，而不將SAD值與指向已經為 其找出了 SAD值的參考塊的參考矢量RV相關。取而代之，如圖6所示，為 原始SAD表TBLo原始提供的每個參考矢量RV縮小成用於大小遠遠小於原 始SAD表TBLo的收縮(shrunk)SAD表TBLs的縮小參考矢量。然後，原始 存儲在作為由與SAD值關聯的參考矢量RV所指向的表元素的、原始SAD 表TBLo中包含的表元素中的SAD值現在被分成分量SAD值，然後再存儲 在作為與縮小參考矢量CV關聯的表元素的收縮SAD表TBLs中包含的多個 表元素中。如圖所示，與縮小參考矢量CV關聯的表元素位於由縮小參考矢 量CV所指向的位置的附近。與縮小參考矢量CV關聯的每一個表元素也與 另一縮小參考矢量CV關聯。因而，每個表元素與多個縮小參考矢量CV關 聯，並用於存儲分量SAD值的和，這些分量SAD值的每一個都是通過拆分 為參考矢量RV找出的SAD值得到的，所述參考矢量RV被縮小成縮小參考 矢量CV中的一個。如上所述，收縮SAD表TBLs的大小遠遠小於原始SAD表TBLo的大小。 圖6至8每一個都是用於描述該實施例採用的新塊匹配技術的概要的解
釋說明圖。圖6是顯示傳統SAD表TBLo與該實施例採用的新塊匹配技術中 產生的收縮SAD表TBLs之間的關係的圖。同樣在該實施例的情況下，與前面參照圖3描述的傳統方法很像，搜索 範圍在參考幀中設定成集中在對應於原始幀中的目標塊103的目標塊投影圖 像塊104的中心位置的範圍，所述原始幀是目標幀101。然後，在搜索範圍 中，設定前述多個參考塊106,計算每個參考塊106中的像素的照明值與目 標塊103中的相應像素的照明值之間的SAD值。如上所述，SAD值是參考 塊106中的所有像素與目標塊103中的所有對應像素之間的照明值之差的絕 對值的和。根據傳統塊匹配方法，如圖6所示，計算的SAD值存儲在SAD表TBLo 中，作為位於由參考塊的參考矢量RV所指向的地址的表元素tbl,其中已經 為所述參考塊計算了 SAD值。因而，在傳統塊匹配技術的情況下，表示從目標幀上的目標塊移動到參 考幀上的參考塊的大小的參考矢量RV與作為參考塊的表元素tbl存儲在 SAD表TBLo中的SAD值一對一地相關。也就是說，構成傳統SAD表TBLo 的表元素的數目等於能在搜索範圍內設定的參考矢量RV的數目。另一方面，在根據該實施例的塊匹配技術的情況下，如圖6、 7A和7B 所示，指向被處理的參考塊的每個參考矢量RV以1/n的縮小因子被縮小成前 述縮小參考矢量CV，其中符號n代表整數。在以下描述中，為了使解釋易於理解，假定水平方向縮小因子等於垂直 方向縮小因子。然而，水平方向縮小因子和垂直方向縮小因子也能彼此獨立 地設成彼此不同的值。另外，如後面會描述到的，水平方向縮小因子和垂直 方向縮小因子還可彼此獨立地設成任意分數(如1/m和1/n,其中符號m和n 每一個代表整數)，以便提供更高度的靈活性和更高度的便利。同樣在該實施例的情況下，與傳統圖像處理方法很像，對應於目標塊的 目標塊投影圖像塊的位置作為搜索範圍中心的原點位置(O,O)。參考矢量RV 的水平方向和垂直方向分量(vx，vy)每一個是代表從原點位置(0,0)測量的水平 方向和垂直方向大小的整數。在以下描述中，具有水平方向和垂直方向分量 (vx,vy)的參考矢量RV稱為參考矢量RV(vx，vy)。參考矢量RV(vx，vy)以1/n的縮小因子縮小成縮小參考矢量 CV(vx/n,vy/n)。因而，即使預縮小的原始參考矢量RV(vx，vy)的水平方向和垂 直方向分量(vx,vy)每一個是整數，縮小參考矢量CV(vx/n,vy/n)的水平方向和 垂直方向分量(vx/n，vy/n)也不必是整數。也就是說，在有些情況下，它們每一 個可以是包含分數部分的數值。因而，如果為預縮的小原始參考矢量RV計 算出的SAD值僅僅作為與具有最接近於該實施例中的縮小參考矢量CV的非 整數vx/n和vy/n值的整數vx/n和vy/n的縮小參考矢量相關的元素存儲成收 縮SAD表中包含的元素，就會產生錯誤。在該實施例中，定義由縮小參考矢量CV(vx/n,vy/n)的鄰近參考矢量所指 向的多個位置(表元素)。然後，為參考矢量RV指出的參考塊計算出的SAD 值被分成與位於縮小參考矢量CV附近的臨近參考矢量一樣多的分量SAD 值。然後，每個分量SAD值累積地存儲在收縮相關值表中，作為與鄰近參考 矢量之一相關的表元素。在這種情況下，縮小參考矢量CV(vx/n,vy/n)不與收縮相關值表的表元素 相關。然而，鄰近參考矢量一對一地與收縮相關值表的表元素相關。因而， 在該實施例中，根據縮小參考矢量CV指向的位置與位於縮小參考矢量CV 附近的鄰近參考矢量NV所指向的位置之間的距離計算出的臨近參考矢量的 分量SAD值累積地存儲在與鄰近參考矢量相關的表元素中。更具體地，通過 將數值與為另一預縮小的原始參考矢量計算的已經存儲的SAD值累加，將 SAD值存儲在表元素中。作為每一個都與縮小參考矢量CV相關的元素而包含在收縮相關值表中 的每個表元素也與另一縮小參考矢量CV相關。因而，每個表元素與多個縮 小參考矢量CV相關，並用於存儲通過拆分為參考矢量RV找到的SAD值得 到的分量SAD值的總和，所述參考矢量RV分別被縮小成縮小參考矢量CV。 通過累加分量SAD值，分量SAD值的總和存儲在表元素中。應當注意，如果縮小參考矢量CV(vx/n,vy/n)的值(vx/n,vy/n)每一個都是整 數，縮小參考矢量CV(vx/n，vy/n)本身一對一地與收縮相關值表的元素相關。 因而，在與縮小參考矢量CV(vx/n，vy/n)相關的表元素中，可以存儲對應於參 考矢量RV(vx,vy)本身的SAD值。另外，在這種縮小參考矢量CV(vx/n,vy/n) 的情況下，不必確定縮小參考矢量CV(vx/n,vy/n)的多個鄰近參考矢量。下面，通過給出下述的例子來解釋上述處理。如前所述，對應於目標塊 的目標塊投影圖像塊位於原點位置(O，O)。在這種的情況下，讓我們假定圖7A 中所示的參考矢量RV(-3,-5)在水平和垂直方向上同時以l/n(= 1/4)的縮小因
子縮小，得到縮小參考矢量CV(-0.75,-1.25),如圖7B所示。
由縮小參考矢量CV指向的位置的值包括分數部分，表明該位置不同於 由參考矢量指向的位置。
在圖8所示的例子中，選擇多個這種鄰近參考矢量，每一個所述鄰近參 考矢量的值都是最接近於縮小參考矢量的值的整數。如圖8所示，對於上述 縮小參考矢量CV(-0.75,-1.25)確定四個鄰近參考矢量NV1(-1，-1), NV2(-l,-2)， NV3(0，-l)和NV4(0，-2)。
在圖8所示的例子中，四個鄰近參考矢量NV1， NV2, NV3和NV4是 從原點(O,O)分別指向每個都用圓圈示出的位置P1，P2,P3和P4的矢量。另 一方 面，縮小參考矢量CV是從辰點(O,O)指向如符號X所示的點PO的矢量。
然後，在該實施例的情況下，對為作為縮小參考矢量CV的原點的參考 矢量RV找出的相關值應用線性加權分布技術，計算四個鄰近參考矢量NV1, NV2, NV3和NV4的分量相關值。然後，鄰近參考矢量NV1的分量相關值 累積地存儲在包含在收縮相關值表中的、作為與鄰近參考矢量NV1相關的元 素的表元素中。同樣地，鄰近參考矢量NV2， NV3和NV4的分量相關值累 積地存儲在包含在收縮相關值表中的、作為與鄰近參考矢量NV2， NV3和 NV4相關的元素的表元素中。
例如，如下確定將在找出鄰近參考矢量NVl, NV2, NV3和NV4的分 量相關值的處理中使用的分量。如上所述，縮小參考矢量CV指向點PO，而 鄰近參考矢量NVl, NV2， NV3和NV4分別指向位置P1，P2,P3和P4。因而， (位置PO與Pl之間的距離)(位置PO與P2之間的距離)(位置PO與P3之 間的距離)(位置P0與P4之間的距離一1: 3: 3: 9。
讓我們假定為作為縮小參考矢量CV的原點的預縮小原始參考矢量RV 計算的相關值是Sa。在這種的情況下，如下找出分別指向位置P1,P2,P3和 P4的鄰近參考矢量NV1， NV2, NV3和NV4的分量相關值SADpl,SADp2, SADp3和SADp4:
SADpl=Sax9/16 SADp2=Sax3/16 SADp3=Sax3/16 SADp4=Saxl/16
四個鄰近參考矢量NVl, NV2， NV3和NV4的分量相關值SADpl,SADp2,SADp3和SADp4的最終分量相關值通過將當前計算的值與它們各自 的臨時總和相加來計算，並存儲在SAD表中包含的、作為提供給分別指向位 置P1,P2,P3和P4的四個鄰近參考矢量NVl, NV2， NV3和NV4的元素的表 元素中。在該實施例中，對每一個都指向在搜索範圍內設定的參考塊的所有參考 矢量進行上述處理。如從到目前為止給出的描述可以明顯看出，在該實施例中，以縮小因子 1/n進行將每個參考矢量RV縮小成縮小參考矢量CV的處理，以伴隨以同樣 的縮小因子1/n在水平和垂直方向上收縮SAD表TBLo以1更產生具有縮小大 小的收縮SAD表TBLs的處理，所述SAD表TBLo其具有原始大小並包括一 對一地與參考矢量RVs相關的元素。然後，通過拆分為作為與元素相關的縮 小參考矢量CV的原點的參考矢量RV所指向的參考塊而計算SAD值，為收 縮SAD值表TBLs的每個元素計算分量SAD值。關於更多信息，建議讀者 參考圖6。因而，在該實施例的情況下，構成收縮SAD表TBLs的元素的數目是構 成原始相關值表TBLo的元素的數目的(l/n"倍。也就是說，可以顯著地減小 相關值表的大小。根據該實施例的以上描述，對於收縮SAD值表TBLs中的每個元素，選 擇縮小參考矢量CV的附近的四個鄰近參考矢量NV,然後，從為由作為縮小 參考矢量CV的原點的參考矢量RV所指向的處理過的參考塊計算的相關值 中找出所選鄰近參考矢量NV的分量相關值。在基於所謂線性加權分布技術 的處理中找出位於縮小參考矢量CV附近的鄰近參考矢量NV的分量相關值， 所述處理用於拆分為由作為縮小參考矢量CV的原點的參考矢量RV所指向 的參考塊計算出的相關值。然而，應當注意，選擇在縮小參考矢量CV附近 的鄰近參考矢量的方法以及找出收縮SAD表TBLs的各個元素的分量相關值 的線性加權分布技術不限於該實施例中採用的那些。例如，作為替換，對收縮SAD表TBLs中的每個元素，選擇縮小參考矢 量CV附近的9或16個鄰近參考矢量NV,然後，從為由作為縮小參考矢量 CV的原點的參考矢量RV所指向的處理過的參考塊計算的相關值找出所選鄰 近參考矢量NV的分量相關值。然而，在這種的情況下，在基於所謂三次差 值技術的處理中找出位於縮小參考矢量CV附近的鄰近參考矢量NV的分量
相關值，所述處理用於拆分為由作為縮小參考矢量CV的原點的參考矢量RV 所指向的參考塊計算出的相關值。通過進行這些處理，提高了分量相關值的 精度。然而，如果更強的強調加在實時需求和減小的處理電路數上，則僅找 出四個鄰近參考矢量NV的分量相關值的處理更加有效。同樣在該實施例的情形中，在以與傳統塊匹配技術相同的方式進行的累加處理中，分量相關值存儲為收縮SAD表的元素，由此相關值存儲為搜索範圍中包含的每個位置的原始相關值表的元素，所述各位置作為參考塊要移動 到的位置。然而，在傳統塊匹配技術的情況下，參考矢量一對一地與構成相關值表 的元素的地址相關，從而為對應於參考矢量的每個參考塊計算相關值，且相 關值僅存儲在相關值表中作為與參考矢量相關的元素。另一方面，在根據該實施例的情況下，參考矢量並不一對一地與構成收縮SAD表(或收縮SAD表) 的元素的地址相關。因而，為參考塊計算出的相關值被拆分成多個分量參考 值，它們中的每一個都累積地存儲在收縮SAD表中作，為對應於與分量參考 值關聯的鄰近參考矢量之一的元素。與相關值表的每個元素很像，每一個都 用於存儲計算出的分量參考值的存儲器位置的每一個在初始時間被初始化為 0。在前述的傳統塊匹配技術的情況下，在相關值表中尋找用於存儲最小 SAD值的表元素。然後，將指向用於存儲最小SAD值的表元素的地址的參 考矢量作為代表從目標幀的位置到參考幀的位置的移動。另一方面，在該實施例的情況下，根據該實施例存儲在收縮SAD表中作 為收縮SAD表的元素的相關值是分量相關值，也是SAD值。然後，在收縮 SAD表中尋找用於存儲最小SAD值的表元素，該最小SAD值表示目標幀上 的目標塊與包含在參考幀中的多個參考塊之間的最強相關性，所述多個參考 塊作為由它們各自的鄰近參考矢量所指向的塊，必須從其中識別出移動矢量， 因為由於每個鄰近參考矢量並非必須是精確的移動矢量的事實，鄰近參考矢 量本身不能被識別成移動矢量。作為從每一個都與收縮SAD表的表元素相關的鄰近參考矢量識別移動 矢量的最合理的技術，通過將收縮SAD表的大小乘以整數n(其是縮小因子 1/n的倒數)將收縮SAD表恢復成原始相關值表，然後，識別作為對應於收縮 SAD表的檢測到的元素的元素的、原始相關值表中包含的元素。最後，確定指向原始相關值表的選擇的元素的移動矢量。然而，只能對允許一定程度誤 差的圖像處理裝置釆用該技術。然而，為了以更高精度檢測移動矢量，必需對存儲在收縮SAD表中存的 元素值進行下述的一個典型內插處理。通過進行一個典型內插處理，可以以 原始精度檢觀〗準確的移動矢量。[以更高精度檢測移動矢量的第一典型內插處理]以更高精度檢測移動矢量的第 一典型內插處理採用 一種技術，使得存儲在收縮SAD表的元素中的多個相關值近似地由二次曲面表示。該技術是通過 對收縮SAD表施加前述專利文獻1所述的方法得到的技術。在該實施例中，由於SAD值用作相關值，所以相關值越小，由相關值指 示的相關性就越強。因而，在該實施例中，在收縮相關值表中尋找存儲最小 相關值的特定表元素，該最小相關值指示目標幀上的目標塊與作為由它們各 自鄰近參考矢量所指向的塊的參考幀中包含的多個參考塊之間的最強相關 性。可以以表地址精度搜索收縮相關值表的表元素，該精度是整數水平的精 度。另外，表區域中的多個鄰近表元素的每一個也以整數水平的精度被識別， 所述表區域以已經以整數水平精度檢測的特定表元素為中心，並作為收縮相 關值表中的區域。然後，通過採用最小平方方法，找出二次曲面，作為表示 作為表區域中檢測到的特定表元素和鄰近表元素、存儲在收縮相關值表中的 相關值的表面。隨後，確定表示相關值的二次曲面的最小值，識別確定為最 小值的相關值的位置，作為從原點位置(0,0)移動的位置。識別為最小值的相 關值的識別位置對應於包含在參考幀上的搜索區域內的位置，該位置作為顯 示與目標塊具有最強相關性的參考塊的位置。識別位置是包含在縮小相關值 表(或縮小的SAD表)中的位置，作為具有分數水平的精度的地址處的位置。 最後，檢測指向識別位置的縮小參考矢量，作為指向以分數水平的精度識別 出的位置的矢量。設定二次曲面的處理的例子如圖9A或9B所示。在這兩個例子的任何一 個中，符號tm表示收縮相關值表中的特定表元素，該元素以整數水平精度識 別為代表最小相關值的表元素。另一方面，符號tl,t2,t3和t4的每一個表示也 以整數水平精度在以特定表元素tm為中心的表區域中識別出的表元素。至少 需要在兩個方向上把特定表元素tm夾在中間的四個表元素。然後，如圖10所示，假定坐標空間在縮小參考矢量的範圍內(或收縮相
關值表的範圍內)。縮小參考矢量的範圍對應於參考幀的搜索範圍。釆用目標 幀的位置(或者，嚴格說來，圖3所示的目標塊投影圖像塊104的位置)作為坐標空間的原點位置(o,o,o),該坐標空間有以下三個軸。垂直z軸(或相關值軸) 作為表示相關值的軸，其和參考塊與目標塊之間的相關性成反比地減小。在該實施例中，相關值是SAD值。水平X軸(或vx/n軸)作為表示參考塊在X 方向上從目標塊的移動的軸，或者表示縮小參考矢量的值vx/n的軸。同樣，移動的軸，或者表示縮小參考矢量的值vy/n的軸。垂直Z軸垂直於水平X和 Y軸所在的平面。然後，從以整數水平的精度識別出的最小值表元素的相關值以及也以整 數水平精度識別出的、作為在特定方向上把最小值表元素夾在中間的表元素 的兩個表元素tl和t3的相關值，在圖10所示的坐標空間中建立二次曲線。 同樣，從最小值表元素tm的相關值以及也以整數水平的精度識別出的、作為 在垂直於所述特定方向的方向上將最小值表元素夾在中間的表元素的兩個表 元素t2和t4的相關值，在坐標空間中建立另一二次曲線。然後，通過採用最 小平方方法，在圖IO所示的坐標空間中找出包括這兩個二次曲線的近似二次 曲面201。隨後，在位於X-Y平面上的位置203檢測近似二次曲面201的最小值點 202,所述位置203作為具有如圖10所示的坐標為(vx/n,vy/n)的位置。位置 (vx/n,vy/n)是以分數水平精度識別出的位置，作為在收縮相關值表中具有最小 相關值的表元素(或表元素地址)的位置。最後，確定指向以分數水平精度識別 出的位置(vx/n,vy/n)的最小值矢量204，通過將最小值矢量204與縮小因子的 倒數值n相乘計算具有原始數量和原始方向的移動矢量205,如圖ll所示。例如，通過收縮原始相關值表得到圖12所示的收縮相關值表TBLs以伴 隨以1/4的縮小因子縮小參考矢量的處理，從以分數水平精度識別出的最小 值表元素的地址找出附圖標記204指示的移動矢量(-0.777,-1.492)。在這種情 況下，最小值矢量204乘以4以得到由附圖標記205表示的原始移動矢量 (-3.108,-5.968)。移動矢量205是按照原始圖像的比例尺的移動矢量。根據上述本發明，在收縮相關值表中搜索用於存儲表示最強相關性的最 小相關值的特定表元素tm以及以特定表元素tm為中心的表區域中的四個鄰 近表元素。然而，為了設定相關值的近似二次曲面，最好在這種表區域中找
出更多鄰近表元素。由於這個原因，通常，找出中心為以整數水平精度檢測 出的特定表元素tm的矩形表區域中的鄰近表元素，該區域作為在水平和垂直方向上包括mxm(其中m表示至少等於3的整數)表元素的區域。然而，更多鄰近表元素不一定更好。這是因為在這種大表區域中的鄰近 表元素導致處理量的增加。另外，如果鄰近表元素的數目增加，就更有可能 不可避免地檢測到依賴於圖像圖案的錯誤的局部最小值。因而，選擇包括適 當數量的鄰近表元素的矩形表區域中的表元素。以下描述解釋了在收縮相關值表中包含的、作為包含適當數量的鄰近表 元素的區域的矩形表區域的兩個例子。根據該實施例的一個例子是一個矩形 表區域，該區域的中心是以整數水平精度找出的最小值表元素tm,並且該區 域作為包含在水平和垂直方向上圍繞著最小值表元素tm的3x3鄰近表元素的 區域。根據該實施例的另一例子是一個矩形表區域，該區域的中心是以整數 水平精度找出的最小值表元素tm，並作為包含在水平和垂直方向上圍繞著最 小值表元素tm的4x4鄰近表元素的區域。 [包括3x3表元素的矩形表區域] 圖13是示出使用矩形表區域找出移動矢量的技術的示圖，該區域的中心 是以整數水平精度找出的最小值表元素tm,並作為包含在水平和垂直方向上 圍繞最小值表元素tm的3x3鄰近表元素的區域。在圖13A中，表區域如灰 色塊所示。根據圖13A和13B所示的技術，基於以整數水平精度找出的最小值表元 素tm的相關值以及圍繞圖13A所示的最小值表元素tm的八個鄰近表元素， 通過釆用最小平方方法設定圖13B所示的近似二次曲面201。隨後，在位於 X-Y平面上的位置203處檢測近似二次曲面201的最小值點202，該位置203 作為具有坐標(vx/n,vy/n)的位置，如圖13B所示。位置(vx/n,vy/n)是以分數水 平精度識別出的位置，作為在收縮相關值表中對應於具有最小相關值的表元 素(或表元素地址)的位置。最後，確定指向以分數水平精度識別出、作為表元素的位置的位置203 的最小值矢量204，通過將最小值矢量204與圖11所示的縮小因子的倒數值 n相乘計算具有原始大小和原始方向的移動矢量205(或最小值矢量)。採用下述方法進行找出對應於近似二次曲面201上的最小值點202的位 置203的處理。如圖14所示，(x,y)坐標系設計成這樣一個系統，其中以整數
水平精度找出的最小值表元素tm的中心的位置作為原點(O,O)。在這種情況 下，圍繞以整數水平精度找出的最小值表元素tm的八個鄰近表元素位於下述 位置具有在水平方向上由x=-l，x=0和x=+l表示的x軸坐標，在垂直方向 上由y=-l,y=0和y=+l表示的y軸坐標，且除了在坐標(x-O, 丫=0)處的位置。 也就是說，圍繞以整數水平精度找出的最小值表元素tm的八個鄰近表元素位 於坐才示(-l,-l), (0,-1), (l,-l), (-l，O)， (0,1)， (-1,1), (O，-l)和(l，l)處。讓我們用符號Sxy表示圖14所示坐標系中的表元素的相關值。例如，以 整數水平精度在原點位置(O,O)找出的最小值表元素的相關值用符號S。。表示， 而位於最小值表元素tm右側且在最小值表元素下方的位置(l,l)處的鄰近表 元素的相關值用符號Sn表示。因而，可以根據圖15所示的等式(A)和(B)找出以整數水平精度在(x，y)坐 標系的原點位置(O,O)找到最小值表元素tm的、以分數水平精度在(x,y)坐標系 中觀察到的位置203的坐標(dx,dy)。在圖15所示的等式(A)和(B)中，Kx和Ky的值如下當x=-l時，Kx=-1;當x=0時，Kx=0;當x=l時，Kx=l;當y=-l時，Ky=-1;當y=0時，Ky=0;和當y=l時，Ky=l;由於坐標(dx,dy)是以整數水平精度在(x，y)坐標系的原點位置(0,0)找到最 小值表元素tm的、以分數水平精度在(x,y)坐標系中觀察到的位置的坐標 (dx,dy),所以，從以分數水平精度在(x，y)坐標系中觀察到的位置(dx,dy)以及 以整數水平精度在(x,y)坐標系的原點位置(O,O)找出的最小值表元素tm的位 置，可以檢測作為遠離識別出的最小值表元素tm的中心的位置的位置203。 [包括4x4表元素的矩形表區域]圖16是示出使用矩形表區域找出移動矢量的技術的示圖，該區域的中心 是以整數水平精度找出的最小值表元素tm，並作為包含在水平和垂直方向上 圍繞著最小值表元素tm的4x4鄰近表元素的區域。在圖16A中，表區域如 篩樣塊(screening block)所示。在mxm表區域(包括mxm個鄰近表元素，其中m是奇數)的情況下，比 如上述包括9(-3x3)個鄰近表元素的表區域和包括25(-5x5)個鄰近表元素的 表區域，以整數水平精度找出的最小值表元素tm通常作為鄰近表元素的中心 表元素。因而，可容易地設定用於確定移動矢量的矩形表區域。另一方面，在mxm表區域(包括mxm個鄰近表元素，其中m是偶數)的 情況下，比如包括由以整數水平精度找出的最小值表元素tm和15個鄰近表 元素組成的4x4表元素的表區域，最小值表元素tm不作為鄰近表元素的中心 表元素。因而，不能容易地設定用於確定移動矢量的矩形表區域，因而必須 做以下一些努力。在這種情況下，對與最小值表元素tm在收縮相關值表的同一行上、包括 以整數水平精度找出的最小值表元素tm的鄰近表元素的相關值(該實施例中 每個所述相關值是最終分量SAD值)彼此進行比較，作為比較的結果，設定 這樣一個矩形表區域，使得最小值表元素tm作為該行的第二表元素，而在包 括最小值表元素的四個鄰近表元素中具有最小相關值的表元素作為該行的第 四鄰近表元素。同樣，與最小值表元素tm在收縮相關值表的同一列上、包括 以整數水平精度找出的最小值表元素tm的鄰近表元素的相關值彼此進行比 較，作為比較的結果，設定這樣一個矩形表區域，使得最小值表元素tm作為 該列的第二表元素，而在包括最小值表元素的四個鄰近表元素中具有最小相 關值的表元素作為該列的第四鄰近表元素。在圖16A所示的例子中，以整數水平精度找出的最小值表元素tm被在 同一行的分別具有相關值177和173的兩個相鄰的鄰近表元素夾在中間。在 這種情況下，最小值表元素tm作為該行的第二表元素，而在具有較小相關值 173的鄰近表元素右側的鄰近表元素作為該行的第四表元素。同樣，以整數 水平精度找出的最小值表元素tm被在同一列的分別具有SAD值168和182 的兩個相鄰的鄰近表元素夾在中間。在這種情況下，最小值表元素tm作為該 列的第二表元素，而在具有較小相關值168的鄰近表元素上方的鄰近表元素 作為該列的第四表元素。然後，在圖16A和16B所示的例子中，依據如圖16A所示以整數水平精 度找出的最小值表元素tm的相關值以及圍繞最小值表元素加的15個鄰近表 元素，採用最小平方方法設定圖16B所示的近似二次曲面201。隨後，在位 於X-Y平面上的位置203檢測近似二次曲面201的最小值點202,該位置作 為具有坐標(vx/n,vy/n)的位置，如圖16B所示。位置(vx/n,vy/n)是以分數水平
精度識別出的位置，作為在收縮相關值表中對應於具有最小相關值的表元素 (或表元素地址)的位置。最後，確定指向以分數水平精度識別出、作為表元素的位置的位置203的最小值矢量204，並通過如圖11所示將最小值矢量204的縮小因子的倒數 值n相乘計算出具有原始大小和原始方向的移動矢量205(或最小值矢量)。通過採用下述方法進行找出對應於近似二次曲面201上的最小值點202 的位置203的處理。如圖17所示，(x，y)坐標系設計成這樣一個系統，其中將 以整數水平精度找出的最小值表元素tm的中心的位置作為原點(O，O)。在圖17A、 17B、 17C和17D所示的例子中，存在四個矩形表區域，包 括以不同方式布置16個表元素造成以整數水平精度找出的最小值表元素tm 的不同位置。在矩形表區域中以整數水平精度找出的最小值表元素tm的位置 取決於包括最小值表元素tm的行的前述第四表元素是否是最小值表元素tm 的右側或左側的鄰近表元素以及包括最小值表元素tm的列的前述第四表元 素是否是最小值表元素tm的上方或下方的鄰近表元素。在這種情況下，如從圖17A、 17B、 17C和17D所顯見的，雖然以整數 水平精度找出的最小值表元素tm的位置固定在坐標系的位置(O,O),但位於最 小值表元素tm附近的15個鄰近表元素的位置具有在水平方向上由x=-2或 x=-l，x=0以及乂=+1 4x=+2表示的x軸坐標以及在垂直方向上由y-2或y;l， y=0以及y=+l或y=+2表示的y軸坐才示。讓我們用符號Sxy表示圖17所示坐標系中的表元素的相關值。例如，以 整數水平精度在原點位置(O,O)找出的最小值表元素的相關值用符號S。表示， 而位於最小值表元素tm右側並在最小值表元素tm下方的位置(l,l)處的表元 素的相關值用符號Su表示。因而，可以根據圖18所示的等式(C)和(D)找出以整數水平精度在(x,y)坐 標系的原點位置(O,O)找到最小值表元素tm的、以分數水平精度在(x,y)坐標系 中觀察到的位置203的坐標(dx，dy)。 (x,y)坐標系的原點位置(O，O)與覆蓋16個 表元素的矩形區域的中心重合，所述16個表元素包括以整數水平精度在(x，y) 坐標系的原點位置(O,O)找到的最小值表元素tm。在圖18所示的等式(C)和(D)中，Kx和Ky的值是分別由圖19所示的(Kx, Ky)坐標系的水平和垂直軸表示的值，該坐標系作為在矩形表區域上的坐標 系，其包括以整數水平精度找出的最小值表元素tm以及位於最小值表元素tm
附近的15個鄰近表元素，以這種方式使得矩形表區域的中心與(Kx,Ky)坐標 系的原點(0,0)重合。Kx和Ky的值取決於分別作為表元素的分布的圖17A、 17B、 17C和17D中所示的四個不同分布(A)、 (B)、 (C)和(D)。更加詳細地說，在圖17A所示的坐標系的情況下，圖19所示的(Kx， Ky) 坐標系的坐標Kx和Ky具有如下值當x=-2時，Kx=-1.5;當x=-l時，Kx=-0.5;當x=0時，Kx=0.5;當x=l時，Kx=1.5;當y=-2時，Ky=-1.5;當y=-l時，Ky=-0.5;當y=0時，Ky=0.5;和當y=l時，Ky=1.5。 在圖17B所示的坐標系的情況下，圖19所示的(Kx, Ky)坐標系的坐標 Kx和Ky具有如下值當x=-2時，Kx=-1.5;當x=_l時，Kx=-0.5;當x=0時，Kx=0.5;當x=l時，Kx=1.5;當y=-l時，Ky=-1.5;當y=0時，Ky=-0.5;當y=l時，Ky=0.5;和當y=2時，Ky=1.5。 在圖17C所示的坐標系的情況下，圖19所示的(Kx, Ky)坐標系的坐標 Kx和Ky具有如下值當x=-l時，Kx=-1.5;當x=0時，Kx=-0.5;當x=l時，Kx=0.5;當x=2時，Kx=1.5;當y=-2時，Ky=-1.5;當y=-l時，Ky=-0.5;當y=0時，Ky=0.5;和當y=l時，Ky=1.5。 在圖17D所示的坐標系的情況下，圖19所示的(Kx, Ky)坐標系的坐標 Kx和Ky具有如下值當x=-l時，Kx=-1.5;當x=0時，Kx=-0.5;當x=l時，Kx=0.5;當x=2時，Kx=1.5;當y=-l時，Ky=-1.5;當y=0時，Ky=-0.5;當y=l時,Ky=0.5;和當y=2時，Ky=1.5。 圖18中所示的等式(C)中用的符號Ax是對於圖19中所示的(Kx, Ky)坐 標系中的坐標Kx，圖17A、 17B、 17C和17D所示的(x, y)坐標系中的表元 素的位置的坐標x的位移。同樣地，圖18中所示的等式(D)中用的符號Ay是 對於圖19中所示的(Kx, Ky)坐標系的坐標Ky,圖17A、 17B、 17C和17D 所示的(x, y)坐標系中的表元素的位置的坐標y的位移。位移Ax和Ay具有 如下值在圖17A的情況下，Ax=-0.5和Ay=-0.5; 在圖17B的情況下，Ax=-0.5和Ay=0.5; 在圖17C的情況下，Ax=0.5和Ay=-0.5;和 在圖17D的情況下，Ax=0,5和Ay=0.5。 由於坐標(dx,dy)是以整數水平精度在(x，y)坐標系的原點位置(0,0)找到最 小值表元素tm的、以分數水平精度在(x，y)坐標系中觀察到的位置的坐標，所 以，從以分數水平精度在(x,y)坐標系中觀察到的位置(dx,dy)以及以整數水平 精度在(x,y)坐標系的原點位置(0,0)找出的最小值表元素tm的位置，可以檢測 作為遠離識別出的最小值表元素tm的中心的位置的位置203。 [以更高精度檢測移動矢量的第二典型內插處理] 以更高精度檢測移動矢量的第二典型內插處理採用 一種技術，使得在包 括收縮SAD表中以整數水平精度找出的最小值表元素tm的行上的水平方向 上設定的元素中存儲的多個相關值(它們分別是該實施例中的最終分量SAD目不局限於此。從每個像素逐點讀出的信號是噪聲信號Nl以及(飽和之前的、 在FD中經過電荷/電壓轉換的光信號)+ (噪聲信號)(即(S1+N1)); 噪聲信號N2以及(飽和之前和之後的在FD和CS中經過電荷/電壓轉 換的求和光信號)+ (噪聲信號)(即(Sl+S2+N2))。通過減法電路， 執行關於飽和之前的信號的噪聲去除操作[(S1+N1) -Nl]。這去除 了隨機噪聲分量和固定圖樣噪聲分量。另一方面，在開始存儲之後立 即讀取過飽和側的噪聲N2，當要去除隨機噪聲分量和固定圖樣噪聲分 量時，立即將噪聲N2存儲在幀存儲器中，其後，由減法電路執行噪聲 去除操作[(S1+N1) -Nl]。因此，可以獲得清除了噪聲的飽和前信 號Sl和過飽和側信號(Sl+S2)。可以在圖像傳感器晶片上形成減法電 路和幀存儲器，或者將其形成為獨立晶片。假設浮置區FD和存儲電容器CS的電容分別是Cfd和Ccs，則可以 由(Cm + Ccs)/CFD大致地表示動態範圍的放大比。然而，實際上，與復 位浮置區FD的情況相比，在復位(FD+CS)的情況下，復位電晶體R 處的時鐘饋通具有較小影響，並且過飽和側信號S2的飽和電壓變得高 於飽和前信號S1的電壓，因此動態範圍以大於上述比值的放大比被放 大。為了在保持光電二極體的高數值孔徑的同時有效地擴展動態範圍 而不增加像素尺寸，希望可以形成具有高面積效率的大存儲電容。可以通過選擇清除了噪聲的飽和前信號Sl和過飽和信號(S1+S2) 之一，實現較寬的動態範圍信號的合成。可以在將預設的S1/(S1 + S2) 切換參考電壓和Sl的信號輸出電壓相比較之後，選擇信號Sl和 (Sl+S2)之一，來實現S1和(Sl+S2)之間的選擇。推薦將切換參考 電壓設置為小於Sl飽和電壓，以避免切換參考電壓受飽和前信號Sl 的飽和電壓中的變化的影響，並且同時，在切換點將其設置為高電壓， 以便保持過飽和側信號(Sl+S2)的高S/N比。此處，將過飽和側信號 (Sl+S2)的增益乘以比值(G。 + Ccs)/Ud，使得該增益與飽和前信號 Sl的增益一致。因此，通過選擇性地組合從低照度直到高照度都是線 性的信號，可以獲得具有放大的動態範圍的圖像信號。從上述操作中顯而易見，在該固體成像器件中，因為飽和前信號
然後從以分數水平精度選擇的水平方向位置vx/n以及以分數水平精度選 擇的垂直方向位置vy/n中，以分數水平精度找出最小值表地址208。分數精 度最小值表地址208是對應於水平三次曲線206和垂直三次曲線207上的最 小值的表元素地址。最後，確定指向以分數水平精度識別為表元素中的位置 的分數精度最小值表地址208的最小值矢量209,用最小值矢量209乘以如 圖ll所示的縮小因子的倒數值n計算出具有原始大小和原始方向的移動矢量 (或最小值矢量)。也就是說，第二典型內插處理採用一種技術，使得通過採用與第一典型元素，然後，依據在行上選擇的四個表元素建立施加在水平方向的平面上的 三次曲線，同時依據在列上選擇的四個表元素建立施加在垂直方向的平面上 的三次曲線，如圖20B所示。採用下述方法進行找出對應於水平三次曲線206和垂直三次曲線207上 的最小值點202的分數精度最小值表地址208的處理。讓我們用符號SQ， S,，S2和S3表示在水平方向的行以及垂直方向的列上所選擇的四個表元素的相關值。如上所述，在該實施例中，相關值是最終分量SAD值。相關值So, Sj , S2和S3對應於沿著水平方向上的水平三次曲線206或垂直方向上的垂直三次 曲線207連續分布的四個相鄰點。如圖21所示，符號Ra,Rb和Rc分別表示 代表點So與S,之間的軸向距離的線段、代表點S、與S2之間的軸向距離的線 段、以及代表點S2與S3之間的軸向距離的線段。線段部分u是包含在最小相 關值的位置處的坐標值中的分數部分。根據一個等式找出線段部分u,根據 該等式，圖21所示的三個線段Ra,Rb和Rc包括作為包含在最小相關值位置 處的坐標值中的分數部分的線段部分u。如上所述，線段Ra是對應於相關值(或SAD值)So的位置與對應於相關 值S！的位置之間的線段，線段Rb是對應於相關值Si的位置與對應於相關值 S2的位置之間的線段，而線段Rc是對應於相關值S2的位置與對應於相關值 S3的位置之間的線段。如上所述，在該實施例中，相關值是最終分量SAD值。如果最小相關值的分數精度位置位於圖21所示的段Ra，就用圖22所示 的等式(E)找出表示從段Ra到該位置的距離的線段部分u作為分數。同樣，如果最小相關值的分數精度位置位於圖21所示的段Rb,就用圖 22所示的等式(F)找出表示從線段Rb到該位置的距離的線段部分u作為分數。
同樣，如果最小相關值的分數精度位置位於圖21所示的線段Rc,就用圖22所示的等式(G)找出表示從段Rc到該位置的距離的線段部分u作為分 數。以下描述解釋用於確定圖21所示的三個線段Ra,Rb和Rc中哪一個包括 分數部分u的處理。圖23A至23D是描述用於確定圖21所示的三個線段Ra,Rb和Rc中哪一 個包括分數部分u的技術時參考的解釋說明圖。首先，符號Smin表示以整數 水平精度檢測出的位置處的最小相關值，而符號Sn2表示位於整數精度位置 處的相關值，該值作為與所有四個表元素的整數精度位置的相關值中的最小 相關值Smin具有最小差異的相關值。在圖23A、 23B和23C中由符號x表示 的真實最小相關值必須位於以分數水平精度檢測出的位置，該位置作為最小 相關值Smin與相關值Sn2的位置之間的位置。然後，通過識別21所示的相 關值SQ， Sp S2和S3中的哪一個作為最小相關值Smin和相關值Sn2,可以 確定三個線段Ra,Rb和Rc中哪一個包括分數部分u。應當注意，還存在一種情況，其中最小相關值Smin的整數精度位置是包 含圖23D所示四個表元素的相關值的位置的範圍的邊緣。在這種情況下，不 能確定真實最小相關值x的位置，該實施例找不出真實最小相關值x的位置， 這種情況按照錯誤來處理。然而，即使在像圖23D所示的這種情況下仍然能 找出真實最小相關值x的位置。如上所述，根據上述實施例，通過使用大小按1/112的縮小因子而按比例 縮小了的收縮相關值表，可以檢測原始圖像比例的移動矢量。圖24是顯示如 下事實的示圖儘管使用大小按1/112的縮小因子而按比例縮小了的收縮相關 值表，但能夠得到與傳統圖像處理裝置幾乎一樣的矢量檢測結果。圖24的水平軸表示在水平或垂直方向上縮小相關值表中使用的一維縮 小因子1/n。另一方面，垂直軸表示矢量誤差，這是檢測到的移動矢量的誤差。 圖24所示的矢量誤差的值按像素來表示。在圖24中，曲線301表示為不同縮小因子檢測的矢量誤差的平均值。曲 線302表示為不同縮小因子檢測的矢量誤差的方差(variance)a的3倍值 (3(7(99.7%)值)。曲線303是曲線302的近似曲線。圖24所示的曲線表示以不同的一維縮小因子1/n檢測出的矢量誤差。然 而，由於相關值表是兩維表，所以表的大小(即，構成相關值表的元素的個數)
以等於圖24中使用的一維縮小因子1/n的平方的比率縮小。然而，從指示矢量誤差的平均值的曲線不改變以及矢量誤差的方差只隨著縮小因子的改變而 線性增加的曲線，可以明顯看出根據該實施例的技術的有用性。另外，即使當『64(或縮小因子為1/64)時，矢量誤差的平均值也很小， 證明沒有由不正確的移動矢量的檢測造成的錯誤。因而，我們可以說，可以 用1/4,096的縮小因子充分減小相關值表的大小。此外，如前所述，在對動態圖片補償由手移動造成的失真的處理中，非 常需要實時響應及時間延遲的減小。然而，檢測出的移動矢量的誤差可以容 許到一定程度，只要該誤差不是由不完全不正確的移動矢量的檢測造成的錯 誤。因而，能充分地減小SAD表的大小而不造成錯誤。結果，這些實施例可 以說是非常有用。與專利文獻4公開的作為對具有減小的尺寸的圖像檢測移動矢量的方法 的傳統方法相比，根據上述這些實施例的圖像處理方法具有以下與傳統方法 不同的顯著優點。首先，與專利文獻4公開的傳統方法不同，根據這些實施例的圖像處理 方法根本不需要縮小圖像的處理。這是因為，根據由這些實施例提供的圖像 處理方法，在將對於參考塊計算的分量相關值存儲在收縮SAD表中作為表元 素的處理中，同時進行轉化元素地址的處理。如上所述，對於參考塊計算的 相關值實際上是為參考塊計算的最終分量SAD值。因而，與比專利文獻4公開的傳統方法相比，根據這些實施例的圖像處 理方法提供諸如消除縮小圖像的邏輯、用於在存儲器中存儲縮小圖像的時間、 在存儲器中存儲縮小圖像的處理的帶寬以及存儲縮小圖像的存儲器等優點。第二，專利文獻4公開的傳統方法帶來另一嚴重的問題，如前所述，所 述方法需要去除在收縮圖像的處理中產生的混淆現象以及低照明噪聲的低通 濾波器。也就是說，在收縮圖像的處理中，圖像數據在被再次採樣之前必須 提供給適當的低通濾波器。否則，會發生混淆現象，並且通過使用收縮圖像 檢測的移動矢量的精度會顯著變差。函數已經在理論上被證明是低通濾波器的理想特性。正弦函數本身是具有以 sin(xn)/(xn)表示的截止頻率f/2的無限-抽頭(tap)的FIR(有限脈衝響應)濾波 器的函數。在對於縮小因子1/n具有理想截止頻率f/(2n)的低能濾波器的情況
下，截止頻率由sin(xll/n)/(xn/n)表示，雖然其也能用作正弦函數的形式。圖25、 26和27上側的圖分別顯示縮小因子為1/2、 1/4和1/8的正弦函 數(或低通濾波器的理想特性)的形狀。從圖25至27可以明顯看出，縮小因子 越大，函數在抽頭軸方向上擴展的因子就越大。換言之，即使在只用主要系 數近似無限抽頭正弦函數的情況下，我們也可以說FIR濾波器的抽頭的個數 一定會增大。另外，公知地，通常，頻帶中的截止頻率越低，與濾波器形狀的支配相 比，抽頭個數在低通濾波器的性能中的支配越多。因而，使用根據專利文獻4公開的傳統方法產生的收縮圖像的移動矢量 識別方法通常表現出這樣的矛盾，即，儘管圖像的縮小因子越大，減小相關 值表的大小的效果就越明顯，但是我們遇到成本與縮小因子的增大成比例地 增加的事實。通常，在高階抽頭FIR濾波器的執行中，處理邏輯的成本與抽頭的個數 的平方成比例地增加，這帶來了大問題。然而，更大的問題是由於用於實現 垂直濾波器的行成像器的增加的個數造成的。在近年來製造的數位照相機中， 為了減小行存儲器的尺寸以跟上增加的像素數，進行所謂的帶處理(strap processing).然而，即使例如減小每個存儲器行的尺寸，當行存儲器本身的數 目增加，則如果物理布置區域轉換成成本，總成本顯著上升。如上所述，大家公知依據根據專利文獻4公開的傳統方法的圖像縮小辦 法在特別是垂直低通濾波器的執行過程中遇到很大的障礙。另一方面，根據 這些實施例的圖像處理方法已經以完全不同的方式有效地解決了該問題。圖25至27下側的框圖的每一個示出根據由本發明提供的圖像處理方法 的低通濾波器的圖像。根據由本發明提供的圖像處理方法，不進行收縮圖像 的處理。然而，產生收縮相關值表的處理包括低通濾波器的處理，其圖像示 出在任何一個圖中。如同從圖25至27下側的圖中可以明顯看出的那樣，該低通濾波器的特 性是簡單濾波器特性，其中正弦函數的主要係數部分可被線性近似，但是抽 頭的數目以與縮小因子聯鎖的方式增加。簡單濾波器特性和抽頭數的增加方 式適合於截止頻率越低，抽頭的數目在通濾波器的性能中支配越多的事實。 也就是說，根據本發明的找出分量相關值(每一個是分量SAD值)的處理等同 於低通濾波器的實現，所述低通濾波器作為簡單電路、以與縮小因子聯鎖的 方式顯示出高性能。如前所述，根據這些實施例進行找出分量相關值的處理， 該處理作為依據線性加權分布技術找出分量相關值的處理。關於低通濾波器，實施低通濾波器的簡單電路與專利文獻4公開的傳統 方法相比提供另一優點。也就是說，根據專利文獻4公開的傳統方法，在圖 像通過低通濾波器之後，圖像在採樣處理中收縮。以該收縮處理中，丟失了 很多圖像信息。更具體地，在低通濾波器進行的處理中，圖像信息的亮度值 的字長在圖像信息存儲進存儲器中之前大量地捨入的。因而，像素信息的大 多數低階位對收縮圖像沒有影響。另一方面，根據按照實施例的圖像處理技術，在計算作為表元素存儲在收縮SAD表中的最終分量相關值的處理中同樣地使用目標塊中所有像素的亮度值。也就是說，最終分量相關值是每一個都是為目標塊中的一個像素找 出的相關值的累加和。因而，僅通過增大收縮相關值表的各元素的字長，就 可能進行這種相關值計算處理，即使最後計算出的最終相關值根本不包括舍 入處理誤差。由於收縮相關值表的大小比幀存儲器的大小要小，所以構成收現收縮相關值表以及確定移動矢量的處理。如上所述，在觀察的參考幀102中設定以原始幀101中考慮的目標塊103 的目標塊投影圖像塊104為中心的搜索範圍105,檢測指向搜索範圍105中 具有最小SAD值的參考塊的移動矢量110。然而，在對圖像補償由手移動造 成的失真的真實系統中，原始幀101劃分為多個圖像子區域，目標塊103的 每一個在一個圖像子區域中考慮。然後，每一個都以每個被考慮的目標塊103 的目標塊投影圖像塊104為中心的搜索範圍105設定在被觀察的參考幀102 中，並且為每個搜索範圍105檢測搜索範圍105中的移動矢量205。另夕卜，在使用CCD成像器作為圖像拾取器件來對圖像補償由手移動造成 的失真的真實系統中，在統計處理中，也通過考慮每一個都由來自過去幀的 一個移動矢量指示的轉變，為設在參考幀中的多個搜索範圍內的多個參考塊 檢測多個移動矢量，以確定參考幀的整體移動矢量，即，參考幀的手移動位 移矢量。另一方面，在該實施例的情況下，對作為目標幀的每個原始幀，確定多 個目標塊103,並為每個目標塊103設定多個搜索範圍105。然後，每一個都 是為一個目標塊103檢測的多個移動矢量110分別用於為上述圖像子區域中
的一個找出手移動速度矢量。在該實施例中， 一幀圖像區域典型地劃分為在垂直方向上排列的八行和 在水平方向上排列的八列以得到64個圖像子區域。在這種的情況下，該幀可以是目標幀101或圖28所示的參考幀102。在參考幀102的情況下，要分別為64個圖像子區域檢測64個移動矢量 205。然後，如圖28所示，設定64個搜索範圍SR1、 SR2.,.和SR64,其分別 以64個移動矢量205的64個參考位置P01、 P02…和P064為中心。在搜索 範圍SR1、 SR2…和SR64中，想像目標塊投影圖像塊IB1、 IB2…和IB64。 即使相鄰的目標塊投影圖像塊IB1、 IB2.,.和IB64彼此不重疊，如從圖28可 以明顯看出的，相鄰的搜索範圍SR1、 SR2.,.和SR64也會彼此重疊。然後，每一個都具有與目標塊投影圖像塊IB1、 IB2…和IB64相同大小 的64個參考塊分別設在64個搜索範圍SR1、 SR2…和SR64中，以在它們各 自的搜索範圍SR1、 SR2…和SR64上移動，以便產生如上所述的收縮相關值 (SAD)表。隨後，分別從收縮相關值表檢測用於沒有在任何一個圖中示出的目 標塊TG1、 TG2…和TG64的、圖29中示出的總共64個移動矢量205V1 、 205V2…205V64。然後，在該實施例中，對在對應於前述圖片劃分Pdiv一O的垂直圖像子區 域中包含的八個目標塊TG1至TG8檢測的八個手移動位移矢量(以下也將它 們的每一個稱為移動矢量)經歷平均處理，以得到手移動位移矢量(或移動矢 量)VCdiv—0。以同樣的方式對圖片劃分PdivJ至Pdiv—7進行該平均處理，以 計算如圖29所示的手移動位移矢量(或移動矢量)VCdivJ至VCdiv—7。更詳細地說，八個移動矢量205V1至205V8經歷平均處理以得到圖片劃 分Pdiv—0的手移動位移矢量VCdiv—0。同樣地，八個移動矢量205V9至205V16 經歷平均處理以得到圖片劃分Pdiv—1的手移動位移矢量VCdiv一l。以相同的 方式，八個移動矢量205V17至205V24經歷平均處理以得到圖片劃分Pdiv—2 的手移動位移矢量VCdiv—2。同樣，八個移動矢量205V25至205V32經歷平 均處理以得到圖片劃分Pdiv一3的手移動位移矢量VCdiv一3。類似地，八個移 動矢量205V33至205V40經歷平均處理以得到圖片劃分Pdiv_4的手移動位 移矢量VCdiv一4。同樣地，八個移動矢量205V41至205V48經歷平均處理以 得到圖片劃分Pdiv—5的手移動位移矢量VCdiv—5。以相同的方式，八個移動 矢量205V49至205V56經歷平均處理以得到圖片劃分Pdiv一6的手移動位移
矢量VCdiv—6。同樣，八個移動矢量205V57至205V64經歷平均處理以得到 圖片劃分Pdiv_7的手移動位移矢量VCdiv—7。如果八個移動矢量205Vi至205V(i+7)包括一個異常移動矢量，就>^人平均 處理中排除該異常移動矢量，其中i-l、 9、 17、 25、 33、 41、 49或57。該實施例通過將特定移動矢量與為垂直或水平鄰近特定目標塊的目標塊 檢測的其它移動矢量進行比較，產生關於為特定目標塊檢測的特定移動矢量 是否為異常矢量的確定結果，如果確定結果表示特定和任何其它移動矢量之 間的差大於預先確定的閾值，就認定該特定移動矢量是異常矢量並將其從平 均處理中排除。應當注意，每一種用於產生關於為特定目標塊檢測的特定移動矢量是否 是異常矢量的確定結果的方法不限於上述技術。例如，在產生關於為特定目 標塊檢測的特定移動矢量是否異常的確定結果的處理中，找出為特定圖片劃 分和水平鄰近特定圖片塊劃分的圖片劃分檢測的移動矢量的平均值和方差， 通過確定特定移動矢量與平均值之間的差是否超出了以方差為中心的預定範 圍而產生關於特定移動矢量是否異常的確定結果。然後，在該實施例中，按照以下等式、如圖29所示找出特定圖片劃分 Pdiv—i的手移動速度矢量Vec—i,其中i是0至6範圍內的整數，作為特定圖 片劃分Pdiv_i與緊跟著特定圖片劃分Pdivj的圖片劃分Pdiv一(i+1)之間的手 移動位移矢量VCdiv中的差(或變化)Vec—0=VCdiv—1 - VCdiv一OVec—l=VCdiv_2 - VCdiv—1Vec—2=VCdiv—3 - VCdiv_2Vec—3=VCdiv_4 - VCdiv—3Vec—4=VCdiv—5 - VCdiv—4Vec_5=VCdiv—6 - VCdiv_5Vec_6=VCdiv_7 - VCdiv一6 (3) 然而，由於不存在位於幀圖像底部的圖片劃分Pdiv一7後面的圖片劃分 Pdiv，所以不能通過使用計算差異的上述公式找出位於圖像底部的圖片劃分 Pdiv—7的手移動速度矢量Vec—7。在該實施例中，通過基於前述手移動速度矢量或為對應於手移動速度矢 量Vec—7的圖片劃分Pdiv一7前面的圖片劃分找出的多個手移動速度矢量進行
估算，來計算位於圖像底部的圖片劃分Pdiv一7的手移動速度矢量Vec—7。應 當注意，對於對應於手移動速度矢量Vec一7的圖片劃分Pdiv—7前面的圖片劃 分Pdiv一6找到的多個手移動速度矢量Vec一6也能原樣地用作手移動速度矢量 Vec—7。還值得注意的是，如前面參照圖1所述，通過將圖片劃分Pdiv一0至Pdiv—7 的手移動速度矢量Vec—0至Vec—7的符號反向得到的相反符號分量用於對所 述幀補償由於手移動以及焦平面現象造成的失真。另外，在該實施例中， 一幀的任何圖片劃分Pdiv—i的手移動位移矢量 VCdiv—i用作該幀的圖片劃分Pdiv—i的移動矢量。通過從一個圖像位置開始 的讀取操作，從用於存儲圖像數據的圖像存儲器讀取幀的圖片劃分Pdiv—i的 圖像數據，所述圖像位置是從物理地對應於圖片劃分Pdiv一i的位置移動依據 圖片劃分Pdivj的手移動位移矢量VCdiv—i計算出的位移後的位置。移動後 的圖像位置也稱為要從圖像存儲器讀取的圖片劃分圖像數據的存儲器地址位 置。更詳細地說，在該實施例中、對幀補償由於手移動和焦平面現象造成的 失真的處理中，通過從一個圖像位置開始讀取操作而從圖像存儲器讀取幀的 圖片劃分Pdiv—0的圖像數據，所述圖像位置是在水平和垂直方向上從物理地 對應於圖片劃分Pdiv_0的位置移動了圖像失真位移的位置，其中依據對根據 前面給出的等式(3)從圖片劃分Pdiv—0的手移動位移矢量VCdiv一O推導出的手 移動速度矢量Vec_0的相反符號分量關於時間進行積分處理得到的值計算出 所述圖像失真位移。分別以同樣方式依據手移動速度矢量Vec一l至Vec一7對 其它圖片劃分Pdiv—1至Pdiv—7進行該讀取操作。[作為補償圖像信號失真的裝置而由本發明提供的裝置的第一實施例]通過參照附圖，以下描述解釋使用上述特徵實現對圖像信號補償由於手 移動造成的失真的失真補償裝置的第一實施例。圖30是示出第一實施例的方 框圖，第 一實施例實現作為本發明提供的失真補償裝置的拍攝裝置。如圖30所示，根據該實施例的拍攝裝置10包括拍攝信號處理系統、 CPU(中央處理單元)l、用戶操作輸入單元3、圖像存儲器單元4和記錄/再現 裝置5,這些部件由系統總線2彼此連接。拍攝信號處理系統包括拍攝鏡頭 IOL、圖像拾取器件ll、定時信號產生單元12、預處理單元13、數據轉換單 元14、手移動位移矢量檢測單元15、失真補償分辯率轉換單元16、編碼/解
碼單元17、 NTSC編碼器18和監控器6。應當注意，本專利說明書中描述的 CPU 1包括用於存儲被CPU 1當作處理程序執行的各種軟體的ROM(只讀存 儲器)和被CPU 1用作工作區的RAM(隨機存取存儲器)。接到用戶通過用戶操作輸入單元3輸入的、作為啟動拍攝和記錄處理命 令的操作命令，圖30所示的拍攝裝置10進行記錄後面將描述到的拍攝數據 的處理。接到用戶通過用戶操作輸入單元3輸入的、作為啟動再現記錄的拍 攝圖像數據的處理的命令的操作命令，圖30所示的拍攝裝置10進行再現在 記錄/再現裝置5中使用的記錄介質上記錄的拍攝數據的處理。用戶輸入到用戶操作輸入單元3的輸入被提供給作為控制單元的CPU 1。 輸入的例子是圖像放大/收縮命令、分辯率指定輸入和變焦放大指定輸入。 CPU l依據用戶輸入的輸入產生控制信號，並將控制信號提供給定時信號產 生單元12及其它處理單元。 .如圖30所示，通過使用拍攝鏡頭10L的照相機光學系統從拍攝對象進入 的光束射向對光束進行拍攝處理的圖像拾取器件11。應當注意，照相機光學 系統本身並沒有顯示在圖中。在該實施例中，圖像拾取器件11配置為CCD(電 荷耦合器件)成像器。應當注意，圖像拾取器件11也可以配置為CMOS(互補 金屬氧化物半導體)成像器。在根據的該實施例的拍攝裝置中，當用戶通過用戶操作輸入單元3向拍 攝裝置10輸入開始拍攝及記錄處理的命令時，圖像拾取器件11輸出包括三 原色，即紅(R)、綠(G)和藍(B)色的bayer陣列的RAW(寫後讀取)信號。在該實施例中，作為模擬拍攝圖像信號的RAW信號是根據定時信號產 生單元12產生的定時信號進行採樣處理後得到的信號。圖像拾取器件11向預處理單元13提供模擬拍攝信號，以進行諸如缺陷 補償處理和Y補償處理的處理。預處理單元13將預處理結果輸出給數據轉換 單元14。數據轉換單元14將提供至其的模擬拍攝信號轉換成包括亮度信號分量Y 和色度信號分量Cb/Cr的數字拍攝信號(YC數據)，通過系統總線2將數字拍 攝信號提供給圖像存儲器單元4。在圖30所示的實施例中，圖像存儲器單元4包括兩個幀存儲器41和42。 首先，從數據轉換單元14接收到的數字拍攝信號存儲在幀存儲器41中。然 後，在經過對應於一幀的時間以後，存儲在幀存儲器41中的數字拍攝信號轉
移到幀存儲器42中，並且從數據轉換單元14接收到的新數字拍攝信號存儲在幀存儲器41中。因而，存儲在幀存儲器42中的數字拍攝信號代表的幀是 前面緊接的一幀，其比存儲在幀存儲器41中的數字拍攝信號代表的幀提前一幀。然後，手移動位移矢量檢測單元15經過系統總線2訪問兩個幀存儲器 41和42,以便從幀存儲器41和42讀取數字拍攝信號。然後手移動位移矢量 檢測單元15進行檢測前述數字拍攝信號之間的移動矢量的處理。在該移動矢 量才企測處理中，幀存儲器41中存儲的數字拍攝信號代表的幀作為參考幀，而 幀存儲器42中存儲的數字拍攝信號代表的幀作為原始幀，該原始幀作為目標 幀。然後，手移動位移矢量檢測單元15將作為移動矢量檢測處理的結果的檢 測到的移動矢量提供給失真補償分辯率轉換單元16作為控制信號。根據從手移動位移矢量檢測單元15接收到的移動矢量，失真補償分辯率 轉換單元16進行處理，以剪切幀存儲器42中存儲的數字拍攝信號代表的延 遲幀的圖像數據，並將該幀轉換成具有所需分辯率和所需大小的幀。通過根 據從手移動位移矢量檢測單元15接收到的移動矢量剪切幀存儲器42中存儲 的數字拍攝信號代表的幀的圖像數據，作為轉換處理的結果得到的圖像是不 存在手移動和焦平面現象造成的失真的圖像。失真補償分辯率轉換單元16產生的圖像數據作為不包括由手移動造成 的失真的圖像數據，被提供給將圖像數據轉換成符合NTSC系統的標準彩色 視頻信號的NTSC(全國電視系統委員會)編碼器18。然後，NTSC編碼器18 將標準彩色視頻信號提供給電子取景器的監控器6,該監控器6為監控的目 的在屏上顯示成像器所成圖像的。與為了控制的目的在監控器6的屏幕上顯示成像器所成圖像的處理同 時，失真補償分辯率轉換單元16也將不包括由手移動造成的失真的圖像數據 提供給編碼/解碼單元17，用於進行諸如調製記錄的編碼處理。然後，編碼/ 解碼單元17將作為編碼處理的結果得到的圖像數據提供給記錄/再現裝置5， 用於在記錄介質上記錄圖像數據。記錄介質的例子是諸如DVD(數字多用途 盤)的光碟和硬碟。當用戶通過用戶操作輸入單元3向拍攝裝置10作為開始再現記錄的拍攝 數據的操作的命令的操作命令時，從記錄/再現裝置5的記錄介質再現數據並 提供給編碼/解碼單元17。這時，編碼/解碼單元17對拍攝數據進行解碼/再現處理。然後編碼/解碼單元17通過在屏幕上顯示再現圖像的NTSC編碼器18 將作為解碼/再現處理的結果而得到的圖像數據提供給監控器6。應當注意， NTSC編碼器18也能通過視頻輸出端將視頻信號輸出提供給外部信號接收 器，雖然視頻輸出端並未顯示在圖24中。手移動位移矢量檢測單元15可以實現為硬體或DSP(數位訊號處理器)。 可替換的，手移動位移矢量檢測單元15也可以實現為由CPU 1執行的軟體。 同樣地，失真補償分辯率轉換單元16可以實施為硬體或DSP(數位訊號處理 器)。可替換的，失真補償分辯率轉換單元16也可以實現為由CPU 1執行的 軟體。[手移動位移矢量檢測單元15的操作〗 如下參照圖31和32解釋實現手移動位移矢量檢測單元15的操作的第一 典型實施方式的處理流程圖。流程圖從步驟S101開始，在該步驟，在搜索範圍105中具有坐標(vx,vy) 的位置指定由圖3或28中的附圖標記106指示的參考塊Ii。在搜索範圍105 中指定參考塊Ii的操作也是指定對應於參考塊Ii的參考矢量的操作。如前所 述，(vx,vy)坐標是由指定參考矢量107指向的位置的坐標，並用(O,O)坐標作 為原點位置的坐標。(O，O)坐標是目標塊103在原始幀101上的位置的坐標或 者目標塊投影圖像塊104在參考幀102上的位置的坐標。坐標vx表示由指定 參考矢量107指向的位置從坐標為(O，O)的原點位置的水平方向位移，而坐標 vy表示由指定參考矢量107指向的位置從指向的位置從原點位置的垂直方向 位移。與前述傳統方法很像，位移vx和vy都按照像素來表示。如前所述，搜索範圍105的中心位置作為目標塊投影圖像塊104的中心 位置或原點位置(O，O)。參考塊106在搜索範圍105上從一個位置移動到另一 個位置，在水平方向上移動了在定義搜索範圍105的水平極限的範圍士Rx內 的距離，且在垂直方向上移動了在定義搜索範圍105的垂直極限的範圍士Ry 內的距離。在這種情況下，量(vx,vy)滿足以下關係 -Rx^vx^+Rx以及-Ry^vy^+Ry在下一個步驟S102中，坐標為(x,y)的點(或像素)指定為圖3中用附圖標 記103表示的目標塊Io中的點。讓我們用符號Io(x，y)表示位於指定點(x，y)的 像素值，而用符號Ii(x+vx，y+vy)表示位於在步驟S10I中設在塊位置(vx，vy) 處的參考塊Ii中的點(x+vx，y+vy)的像素值。在以下描述中，參考塊Ii中的 點(x+vx,y+vy)說成是對應於目標塊Io中的點(x,y)的點。然後，在下一步驟 S103中，像素值Io (x，y)與像素值Ii(x+vx,y+vy)之間的差的絕對值a根據前述 公式(l)來計算。為目標塊Io中的所有點(x，y)與它們在參考塊Ii中所有的相應點 (x+vx,y+vy)計算上述差的絕對值a,代表為目標塊Io和參考塊Ii計算的差的 絕對值a的和的SAD值存儲在與指向參考塊Ii的當前位置的參考矢量(vx,vy) 相關的臨時存儲位置。為了計算這種SAD值，在下一個步驟S104,在步驟 S103找出的差的絕對值a累加到已經作為迄今為止所計算的SAD值存儲在 臨時存儲位置的臨時SAD值。作為將所有差的絕對值a累加的處理的結果而 得到最終SAD值SAD (vx，vy),如上所述，這些差的絕對值a是為目標塊Io 中的所有點(x，y)以及它們在參考塊Ii中的所有相應點(x+vx,y+vy)計算得出 的。因而，最終SAD值SAD(vx，vy)可以由如下公式(2)表示 SAD (vx，vy)=Sa=i:|Io (x,y)- Ii(x+vx，y+vy)| (2)然後，根據第一典型實施方式的處理流程繼續到下一步驟S105，以產生 關於是否已經對目標塊Io中的所有點(x,y)以及它們在參考塊Ii中的所有對應 點(x+vx,y+vy)進行了步驟S103和S104的處理的確定結果。如果確定的結果 表明還沒有對目標塊Io中的所有點(x，y)以及它們在參考塊Ii中的所有對應點 (x+vx,y+vy)進行步驟S103和S104的處理，才艮據第一典型實施方式的處理流 程退回到步驟S102，在該步驟坐標為(x,y)的另一點被指定為目標塊Io中的另 一個點。然後，重複步驟S102之後的步驟S103和S104的處理。除了在步驟S103和S104的情況下SAD值存儲在臨時存儲位置以外，步 驟S101至S105的處理分別與圖5所示的流程圖的步驟S1至S5的處理完全 一樣。另一方面，如果步驟S105產生的確定結果表示已經對目標塊Io中的所 有點(x,y)以及它們在參考塊Ii中的所有對應點(x+vx，y+vy)進行了步驟S3和 S4的處理，根據第一典型實施方式的處理流程繼續到步驟S106，在該步驟通 過縮小參考矢量(vx,vy)來計算縮小參考矢量(vx/n,vy/n)。具體地，通過將參考 矢量(vx,vy)乘以縮小因子1/n計算縮小參考矢量(vx/n，vy/n)。然後，在下一步驟S107,識別位於縮小參考矢量(vx/n,vy/n)附近的多個 鄰近參考矢量。鄰近參考矢量的每一個是具有整數vx/n值和整數vy/n值的縮 小參考矢量(vx/n,vy/n),它們分別最接近於縮小參考矢量(vx/n，vy/n)的x方向 和y方向值(vx/n,vy/n)。在該實施方式中，鄰近參考矢量的個數設定為4。然 後，在下一個步驟S108,如前所述，基於由鄰近參考矢量所指向的位置與縮 小參考矢量(vx/n,vy/n)所指向的位置之間的關係，採用線性加權分布技術，將 在步驟S104存儲在臨時位置的SAD值拆分成四個分量SAD值。隨後，在下 一步驟S109,這四個分量SAD值在包括在縮小相關值表中作為分別與四個 鄰近參考矢量相關的四個表元素的四個表元素中進行分發。在完成步驟S109的處理以後，根據第一典型實施方式的處理流程進行到 圖32所示的流程圖的步驟Slll,以產生關於是否已經對搜索範圍105中的 所有參考塊位置，即對所有參考矢量(vx,vy),進行了步驟S101至S109的處 理的確定結果。如果步驟Slll產生的結果表明還沒有對所有參考矢量(vx,vy)進行了步 驟S101至S109的處理，根據第一典型實施方式的處理流程退回到步驟SlOl， 在該步驟由另一參考矢量(vx，vy)所指向的另一參考塊Ii設定在搜索範圍105 中的另一塊位置(vx，vy)處。然後，重複步驟S101及隨後步驟的處理。另一方面，如果在步驟Slll產生的確定結果表明已經對所有參考矢量 (vx,vy)進行了步驟S101至S109的處理，也就是說，如果縮小相關值表的所 有元素中的每一個已經被充填了最終SAD值，則根據第一典型實施方式的處 理流程繼續到步驟S112，在該步驟，在表元素地址(mx,my)檢測縮小相關值 表的所有元素中存儲的所有分量最終SAD值中的最小值。然後，在下一個步驟Sl 13，建立二次曲面，作為近似在表元素地址(mx,my) 檢測的最小相關值以及作為表元素地址(mx,my)附近的表元素存儲在收縮相 關值表中的多個相關值的曲面。如上所述，相關值的每一個是SAD值。在該 實施方式的情況下，作為表元素地址(mx,my)附近的表元素存儲在收縮相關值 表中的相關值的個數設定為15。然後，在下一個步驟S114,檢測以分數水平 精度指向X-Y表面上的位置的最小值矢量(px，py),作為對應於二次曲面上的 最小SAD值的矢量。由最小值矢量(px，py)所指向的位置是對應於二次曲面上 的最小SAD值的位置。然後，在最後的步驟S115,通過將最小值矢量(px,py)乘以如圖6所示的 縮小因子的倒數值n計算出具有原始大小和原始方向的移動矢量 (pxxn,pyxn)。圖31和32中所示的流程圖表示根據依照第一典型實施方式的塊匹配技 術來進行以檢測一個目標塊的移動矢量的處理。對於分段的幀，需要如圖28 所示為幀片段檢測多個移動矢量。在這種的情況下，對於每個要被檢測的移 動矢量或每個幀片段，必須重新設定搜索範圍和縮小因子l/n，以便進行由圖 31和32所示的流程圖代表的處理。請記住，不必說，使用上述位於朝向垂直和水平方向的平面上的三次曲 線的方法也能用來找出指向以分數水平的精度在搜索範圍上檢測到的位置的 最小值矢量(px,py)的技術。在上述第一典型實施方式的情況卞，通過採用線性加權分布技術，為參 考塊或參考矢量找出SAD值，然後將SAD值拆分為多個鄰近參考矢量的多 個分量SAD值，所述多個鄰近參考矢量的每一個靠近作為收縮參考矢量的結 果而得到的收縮參考矢量。另一方面，在第二典型實施方式的情況下，計算作為目標塊上的像素與 參考塊上的對應像素之間的像素值之差的相關值。因而所計算的相關值不是 SAD值。然後，通過採用線性加權分布技術，將所計算的相關值拆分為多個 鄰近參考矢量的多個分量相關值，所述多個鄰近參考矢量的每一個靠近作為 縮小指向參考塊的參考矢量的結果而得到的收縮參考矢量。為目標塊中的所 有像素(或參考塊中的所有對應像素)重複計算相關值的處理以及將所計算的 相關值拆分成多個分量相關值的處理，以便通過採用累加技術找出多個最終 分量相關值。當對參考塊中的所有對應像素完成了計算相關值的處理以及將 所計算的相關值拆分成多個分量相關值的處理時，所得到的縮小相關值表(或 所得到的收縮SAD表)的狀態與通過第一典型實施方式產生的縮小相關值表 的相同。如下通過參照圖33和34解釋實現手移動位移矢量檢測單元15的操作的 第二典型實施方式的處理流程。由於圖33所示的流程圖的步驟S121至S123的處理分別與圖31所示的 步驟S101至S103的處理相同，所以不再詳細解釋步驟S121至S123的處理。在第二典型實施方式的流程的下一步驟S123,根據等式(l)計算目標塊Io 上的像素(x,y)的像素值Io(x，y)與參考塊Ii上的對應像素的像素值Ii(x+vx,y+vy)
之間的差的絕對值a。然後，在下一個步驟S124，通過以縮小因子l/n縮小 指向參考塊ii的參考矢量(vx,vy)來計算縮小參考矢量(vx/n,vy/n)。隨後，在下一步驟S125,識別位於縮小參考矢量(vx/n,vy/n)附近的多個 鄰近參考矢量。鄰近參考矢量的每一個是具有整數vx/n值和整數vy/n值的縮 小參考矢量(vx/n,vy/n)，它們分別最接近於縮小參考矢量(vx/n,vy/n)的x方向 和y方向值(vx/n,vy/n)。在該實施方式中，鄰近參考矢量的個數設定為4。然 後，在下一個步驟S126,如前所述，基於由鄰近參考矢量所指向的位置與由 縮小參考矢量(vx/n，vy/n)所指向的位置之間的關係，採用線性加權分布技術， 將像素值差異的絕對值的、在步驟S123發現的絕對值a分成四個分量差異。
隨後，在下一步驟S127，這四個分量差異分布在包含在縮小相關值表中 的四個表元素中，該四個表元素作為分別與四個鄰近參考矢量相關的四個表 元素。
在完成步驟S127的處理以後，根據第二典型實施方式的處理流程繼續到 下一步驟S128，以產生關於是否已經對目標塊Io中的所有點(x,y)以及它們在 參考塊Ii中的所有對應點(x+vx,y+vy)進行了步驟S122至S127的處理的確定 的結果。如果確定的結果表明還沒有對目標塊Io中的所有像素(x,y)以及它們 在參考塊Ii中的所有對應像素(x+vx,y+vy)進行步驟S122至S127的處理，則 根據第二典型實施方式的處理流程退回到步驟S122,在該步驟坐標為(x,y)的 另一點被指定為目標塊Io中的另一個點。然後，重複步驟S122之後的步驟 S123至S127的處理。
另一方面，如果在步驟S128產生的確定結果表明已經對目標塊l0中的 所有像素(x，y)以及它們在參考塊Ii中的所有對應像素(x+vx,y+vy)進行了步驟 S123至S127的處理，則根據第二典型實施方式的處理流程繼續到圖34所示 的流程圖的步驟S131,以產生關於是否已經對搜索範圍105中的所有參考塊 位置，即對所有參考矢量(vx，vy)，進行了步驟S122至S128的處理的確定的 結果。
如果在步驟S131產生的確定結果表明還沒有對搜索範圍105中的所有參 考塊位置，即對所有參考矢量(vx,vy)進行步驟S122至S128的處理，則根據 第二典型實施方式的處理流程退回到步驟S121，在該步驟由另一參考矢量 (vx,vy)指向的另一參考塊Ii被設定在搜索範圍105中的另一塊位置(vx,vy)處。 然後，重複步驟S122及後續步驟的處理。
另一方面，如果在步驟S131產生的確定結果表明已經對搜索範圍105中的所有參考塊位置或對參考矢量(vx,vy)進行了步驟S122至S128的處理，也 就是說，如果縮小相關值表的所有元素已經被充填了最終SAD值，則根據第 二典型實施方式的處理流程繼續到步驟S132，在該步驟，在表元素地址 (mx，my)檢測縮小相關值表或收縮SAD表的所有元素中存儲的所有分量最終 SAD值中的最小值。
然後，在下一個步驟S133,建立二次曲面，作為近似表示在表元素地址 (mx，my)檢測的最小相關值以及作為表元素地址(mx,my)附近的表元素存儲在 收縮相關值表中的多個相關值的曲面。如上所述，相關值的每一個是SAD值。 在該實施方式的情況下，作為表元素地址(mx，my)附近的表元素存儲在收縮相 關值表中的相關值的個數設定為15。然後，在下一個步驟S134，檢測以分數 水平精度指向X-Y表面上的位置的最小值矢量(px,py),作為對應於二次曲面 上的最小SAD值的矢量。由最小值矢量(px，py)所指向的位置是對應於二次曲 面上的最小SAD值的位置。然後，在最後的步驟S135,通過將最小值矢量(px,py)乘以如圖6所示的 縮小因子的倒數值n計算出具有原始大小和原始方向的移動矢量 (pxxn,pyxn)。
圖33和34中所示的流程圖表示根據依照第二典型實施方式的塊匹配技 術來進行以檢測一個目標塊的移動矢量的處理。對於分段的幀，需要如圖28 所示為幀片段檢測多個移動矢量。在這種的情況下，對於每個要被檢測的移 動矢量或每個幀片段，必須重新設定搜索範圍和縮小因子1/n,以便進行由圖 33和34所示的流程圖代表的處理。
請切記，不必說，即使在第二典型實施方式中，代替上述二次曲面方法， 基於如上所述分別位於朝向垂直和水平的平面上的兩個三次曲線的三次曲線 方法也能用來找出指向以分數水平的精度在搜索範圍上檢測到的位置的最小 值矢量(px，py)的技術。如果採用根據該實施例的確定移動矢量的任何一種方法，確定移動矢量 的處理都不會有諸如檢測到完全不正確的移動矢量的錯誤，即使是對用於縮 小參考矢量的一維縮小因子1/64,這從圖24所示的方法展示的效果可以明顯 看出。因而，實際上，能以1/4096-(l/64xl/64)的兩維縮小因子成功地減小用
作典型相關值表的SAD表的大小。事實上，可以嘗試進一步減小收縮SAD表(用作典型相關值表)的大小， 其中已經作為利用兩維收縮因子1/4096或一維縮小因子1/64進行的縮小處理 的結果得到所述收縮SAD表。也就是說，首先，通過以1/64的一維縮小因 子1/na進行檢測移動矢量的第一處理得到收縮SAD表。然後，在以一般為 1/8的一維縮小因子1/nb進行檢測移動矢量的第二處理之前，進一步減小搜 索範圍(對應於相關值表)的大小，得到其中心與檢測到的移動矢量所指向的位 置重合的新搜索範圍。因而，通過減小一維縮小因子(即，增大1/n的數值) 進行檢測移動矢量的處理，以便將所得到的矢量誤差減小到容許範圍內的數 值。通過對於第二處理適當地設定一維縮小因子以便以適當值檢測移動矢量， 能以很高的精度檢測移動矢量。如下參照圖35至38所述的流程圖解釋實現手移動位移矢量檢測單元15 的操作的第三典型實施方式的處理流程。由圖35至38所示的流程圖表示為根據第三典型實施方式的處理的處理 基本上依據根據第一典型實施方式檢測移動矢量的處理。因而，圖35所示的 流程圖的步驟S141至S149的處理分別與圖31所示的流程圖的步驟S101至 S109的處理完全一樣，而圖36所示的流程圖的步驟S151至S155的處理分 別和圖32所示的流程圖的步驟S111至S115的處理完全一樣。然而，在第三典型實施方式的情況下，檢測移動矢量的處理不在圖36所 示的流程圖的步驟S155結束。取而代之的是，在步驟S155檢測的移動矢量 用作第一移動矢量。然後，在下一步驟S156，通過將由檢測出的第一移動矢 量所指向的位置用作具有減小的大小的新搜索範圍的中心，並通過將在4企測 移動矢量的第一處理中使用的一維縮小因子從1/na減小成在第二處理中使用 的1/nb(其中na>nb),進一步減小在同一參考幀內的搜索範圍的尺寸以得到新 搜索範圍。詳細地說，在第一移動矢量檢測處理中檢測的移動矢量指向包括與目標 塊具有一定程度的相關性的參考塊的近似塊範圍。然後，可以新設定一個較 窄的搜索範圍作為在檢測另 一移動矢量的第二處理中使用的新塊範圍，所述 搜索範圍以包括與目標塊具有一定程度的相關性的參考塊的近似塊範圍為中 心。通過使用較小縮小矢量，可以期望能檢測具有較小誤差的第二移動矢量。因而，如上所述，在步驟S156,使用較窄搜索範圍和減小的一維縮小進 行第二處理，以在圖36所示的流程圖的步驟S157和S158、圖37所示的流 程圖的步驟S161至S168和圖38所示的流程圖的步驟S171至S174以與第 一移動矢量檢測處理完全相同的方式檢測另 一移動矢量。這些步驟的處理與 圖31所示流程圖的步驟S101至S109的處理以及圖32所示的流程圖的步驟 Sill至S115的處理是完全相同。通過執行上述第二移動矢量檢測處理，最後，在步驟S174檢測第二移動 矢量作為所需的最終移動矢量。通過重複執行兩次根據第一典型實施方式的檢測移動矢量的方法來實現 根據第三典型實施方式的檢測移動矢量的方法。然而不用說，以逐漸減小的 搜索範圍以及，如果需要的話，逐漸減小的縮小因子，可以重複執行兩次以 上根據第一典型實施方式的檢測移動矢量的方法。另外，也不用說，在實施根據第三典型實施方式的檢測移動矢量(px,py) 的方法時，可以執行根據第二典型實施方式的檢測移動矢量(px,py)的方法， 來代替根據第一典型實施方式的檢測移動矢量(px,py)的方法。此外，與前述 第一和第二典型實施方式的情況一樣，取代上述二次曲面方法，也可以採用 基於分別朝向垂直和水平方向的平面上的兩個三次曲線的三次曲線方法，作 為以分數水平精度;f企測指向 一位置的移動矢量(px,py)的方法。 [失真補償分辯率轉換單元16的典型構造及其處理操作]圖39是示出根據該實施例的失真補償分辯率轉換單元16的典型構造的 框圖。如圖所示，失真補償分辯率轉換單元16包括信號處理單元50、圖像存 儲器60、初始坐標計算單元70和速度矢量處理單元80。圖像存儲器60、初 始坐標計算單元70和速度矢量處理單元80連接至信號處理單元50。信號處理單元50是這樣的一個部件，用於對從在圖像存儲器單元4中使 用的幀存儲器42接收的成像器所成圖像數據Din進行補償處理，同時執行從 連接到信號處理單元50的圖像存儲器60讀取數據以及向圖像存儲器60寫入 數據，以便產生具有特定分辯率的輸出圖像數據Dout的處理的控制。信號處 理單元50進行的處理包括對成像器所成圖像數據Din補償由手移動造成的失 真的處理，以及成像器所成圖像數據Din的電子變焦(zoom)處理。成像器所 成圖像數據Din的電子變焦處理是電子地放大和收縮成像器所成圖像數據 Din的處理。
為了水平同步信號H-SYNC、垂直同步信號V-SYNC和l像素周期時鐘 信號CLK的同步，信號處理單元50用由處理定時信號St確定的定時從定時 信號產生單元12接收諸如水平同步信號H-SYNC、垂直同步信號V-SYNC 和1像素周期時鐘信號CLK的信號。水平同步信號H-SYNC是與輸出圖像 數據Dout的水平周期同步的信號，而垂直同步信號V-SYNC是與輸出圖像 數據Dout的垂直周期同步的信號。應當注意，水平同步信號H-SYNC、垂直 同步信號V-SYNC、 1像素周期時鐘信號CLK、時鐘信號和處理定時信號St 本身未顯示在附圖中。速度矢量處理單元80是從前述手移動位移矢量檢測單元15接收移動矢 量的部件。在該實施例的情況下，速度矢量處理單元80從手移動位移矢量檢 測單元15接收圖29所示的64個移動矢量205V1至205V64。速度矢量處理 單元80可以實現為硬體或由CPU 1執行的軟體。如圖39所示，速度矢量處理單元80包括速度矢量產生單元81、水平補 償速度分量檢測單元82和垂直補償速度分量檢測單元83。速度矢量產生單 元81是根據從接收自手移動位移矢量檢測單元15的64個移動矢量205V1 至205V64產生八個圖片劃分Pdiv_0至Pdiv—7的八個手移動速度矢量Vec—0 至Vec一7的部件。速度矢量產生單元81將八個手移動速度矢量Vec—0至Vec—7 提供給水平補償速度分量檢測單元82和垂直補償速度分量檢測單元83。圖40是顯示速度矢量產生單元81的典型硬體構造的示圖。如圖40所示， 速度矢量產生單元81包括平均化處理單元810、 811、 812、 813、 814、 815、 816和817，它們分別與八個圖片劃分Pdiv—0至Pdiv—7相關；減法單元821、 822、 823、 824、 825、 826和827;手移動矢量輸出單元830;以及速度矢量 輸出單元840。減法單元821、 822、 823、 824、 825、 826和827的每一個是 進行減法、以便找出從位於前一階段的兩個平均化處理單元接收的兩個手移 動位移矢量VCdiv之間的差異的部件。平均化處理單元810是這樣一個部件用於從手移動位移矢量檢測單元 15接收與平均化處理單元810相關的圖片劃分Pdiv—0的8個移動矢量205V1 至205V8,並對8個移動矢量205V1至205V8進行包括前述異常排除處理的 平均化處理，以產生圖片劃分PdivJ)的手移動位移矢量Vcdiv。同樣地，其 他平均化處理單元811、 812、 813、 814、 815、 816或817是這樣的部件分 別從手移動位移矢量檢測單元15接收與平均化處理單元811、 812、 813、 814、 815、 816或817相關的圖片劃分Pdiv—1 、 Pdiv—2 、 Pdiv—3 、 Pdiv—4 、 Pdiv—5 、 Pdiv—6或Pdiv_7的8個移動矢量205Vi至205V(i+7)，並對8個移動矢量205Vi 至205V(i+7)進行包括前述異常排除處理的平均化處理，以分別產生圖片劃分 Pdiv—1、 Pdiv—2、 Pdiv_3、 Pdiv_4、 Pdiv—5、 Pdiv—6或Pdiv—7的手移動位移矢 量VCdiv—1、 VCdiv—2、 VCdiv—3、 VCdiv—4、 VCdiv—5、 VCdiv—6或VCdiv—7, 其中i是分別具有值9、 17、 25、 33、 41、 49或57的整數。減法單元821是這樣一個部件用於通過依據前述等式(3)計算分別從平 均化處理單元810和811接收的手移動位移矢量VCdiv—0和VCdiv—1之間的 差異來找出圖片劃分Pdiv_0的手移動速度矢量Vec一O，並向速度矢量輸出單 元840提供手移動速度矢量Vec_0。同樣地，其它減法單元822、 823、 824、 825、 826或827是這樣的部件用於通過依據前述等式(3)計算分別從平均化 處理單元81i和81(i+l)接收的手移動位移矢量VCdiv—i和VCdiv一(i+l)之間的 差異來分別找出圖片劃分Pdiv—1、 Pdiv—2、 Pdiv—3、 Pdiv—4、 Pdiv—5或Pdiv—6 的手移動速度矢量Vec—1、 Vec—2、 Vec—3、 Vec—4、 Vec—5或Vec—6,並向速 度矢量輸出單元840提供手移動速度矢量Vec—1、 Vec—2、 Vec—3、 Vec_4、 Vec—5或Vec—6,其中i是範圍1至6內的整數。速度矢量輸出單元840是用於找出前述位於圖像底部的圖片劃分Pdiv_7 的手移動速度矢量Vec_7的部件。在該實施例的情況下，速度矢量輸出單元 840基於手移動速度矢量Vec_0、 Vec—1、 Vec—2、 Vec—3、 Vec—4、 Vec—5和 Vec一6、通過採用評估技術找出位於圖像底部的圖片劃分Pdiv一7的手移動速 度矢量Vec—7。速度矢量輸出單元840將手移動速度矢量Vec_7連同分別從 減法單元821至827接收的手移動速度矢量Vec—0至Vec一6 —起提供給水平 補償速度分量檢測單元82和垂直補償速度分量檢測單元83。圖41示出代表為了進行速度矢量產生單元80的處理而執行的軟體的流 程圖。應當注意，在圖41所示的流程圖的以下描述中，移動矢量205Vi至 205V(i+7)稱為矢量V(x,y),其中x和y每一個都是範圍1至8內的整數。如圖所示，流程圖從步驟S181開始，在該步驟從手移動位移矢量檢測單 元15找回(retrieve)移動矢量V(x，y)。然後，在下一個步驟S182，通過找出所 比較的移動矢量之間的差將找回的移動矢量V(x,y)與同一圖片劃分的另 一找 回的移動矢量V(0至7,y)進行比較。隨後，在下一個步驟S183，通過找出所 比較的移動矢量之間的差，將找回的移動矢量V(x，y)與垂直靠近已經從其中 找回移動矢量V(x，y)的圖片劃分的圖片劃分的找回的移動矢量V(O至7,y±l) 進行比較。然後，處理的流程前進到下一步驟S184，以便通過確認作為在步驟S182 和S183進行的比較處理的結果而得到的每個差不大於事先確定的閾值，產生 關於找回的移動矢量V(x，y)是否是異常矢量的確定結果。如果由作為步驟S182和S183進行的比較處理的結果得到的差異中的任 何一個大於閾值的事實證明，步驟S184產生的確定結果表明找回的移動矢量 V(x,y)是異常矢量，則處理流前進到步驟S185,在該步驟將找回的移動矢量 V(x，y)排除在平均化處理之外。然後，處理流返回步驟S181以重複該處理及 後續步驟。另一方面，如果由作為步驟S182和S183進行的比較處理的結果得到的 差異中沒有一個大於閾值的事實證明，在步驟S184產生的確定結果表明找回 的移動矢量V(x，y)不是異常矢量，則處理流前進到步驟S186，在該步驟作出 在平均化處理中包括找回的移動矢量V(x,y)的決定。然後，處理流進行到步 驟S187,以產生關於是否已經對整個屏的所有移動矢量進行了步驟S181至 S186的處理的確定結果。如果步驟S187產生的確定結果表明還沒有對整個屏的所有移動矢量進 行步驟S181至S186的處理，處理流退回到步驟S181,對重複該處理及後續 步驟。另一方面，如果步驟S187產生的確定結果表明已經對整個屏的所有移動 矢量進行了步驟S181至S186的處理，處理流前進到步驟S188,在該步驟進 行平均化處理以計算每個圖片劃分Pdiv的平均移動矢量VCdiv。然後，在下一步驟S189，找出任何兩個相鄰圖片劃分之間、在平均化處 理中計算的平均移動矢量的差，並作為手移動速度矢量Vec。隨後，處理流 進行到步驟S190，以產生關於是否已經對PdivJ)至Pdiv—6完成了計算平均 移動矢量VCdiv的平均處理以及找出手移動速度矢量Vec的處理的確定結 果。如果在步驟S190產生的確定結果表明還沒有對所有圖片劃分Pdiv_0至 Pdiv一6完成計算平均移動矢量VCdiv的平均化處理以及找出手移動速度矢量 Vec的處理，處理流就返回到步驟S188以重複該處理及後續步驟。另一方面， 如果在步驟S190產生的確定結果表明已經對所有圖片劃分Pdiv—0至Pdiv—6
完成了計算平均移動矢量VCdiv的平均化處理以及找出手移動速度矢量Vec 的處理，處理流就前進到步驟S191,在該步驟通過採用前述評估技術找出位 於圖像底部的圖片劃分Pdiv—7的手移動速度矢量Vec一7。最後，結束處理。如前所述，速度矢量輸出單元840將通過進行上述處理找出的圖片劃分 Pdiv一0至Pdiv一7的手移動速度矢量Vec—0至Vec一7提供給水平補償速度分 量檢測單元82和垂直補償速度分量檢測單元83。水平補償速度分量檢測單元82是這樣一個部件用於提取分別為圖片劃 分PdivJ)至Pdiv—7找出的手移動速度矢量VecJ)至Vec—7的每一個的水平 方向分量，並找出每個水平方向分量的相反符號分量。讓我們將該相反符號 分量稱為水平補償速度分量X_STB—0至X—STB—7。水平補償速度分量檢測 單元82將水平補償速度分量X—STB—0至X—STB—7提供給信號處理單元50。另 一方面，垂直補償速度分量檢測單元83是這樣一個部件用於提取分 別為圖片劃分Pdiv一0至Pdiv—7找出的手移動速度矢量Vec一O至Vec—7的每 一個的垂直方向分量，並找出每個垂直方向分量的相反符號分量。讓我們將 該相反符號分量稱為垂直補償速度分量Y_STB—0至Y—STB_7。垂直補償速 度分量檢測單元83將垂直補償速度分量Y—STB—0至Y_STB—7提供給信號處 理單元50。另外，速度矢量產生單元81通過手移動矢量輸出單元830將由平均化處 理單元810為圖片劃分Pdiv一0找出的平均移動矢量VCdiv—0照原樣提供給初 始坐標計算單元70。初始坐標計算單元70從手移動速度矢量VCdiv_0找出用於存儲被處理的 幀的圖像數據的圖像存儲器中的讀取位置的初始坐標(SX,SY)，並將該初始坐 標(SX，SY)提供給信號處理單元50。然後，如後面將詳細描述的，在控制向圖像存儲器60寫入圖像數據及從 圖像存儲器60讀取圖像數據的同時，信號處理單元50從接收自速度矢量處 理單元80中使用的水平補償速度分量檢測單元82的水平補償速度分量 X—STB—0至X—STB—7為每個水平線計算水平補償位移量SX—ADD,並從接 收自速度矢量處理單元80中使用的垂直補償速度分量檢測單元83的垂直補 償速度分量Y_STB—0至Y—STB_7為每個水平線計算垂直補償位移量 SY—ADD。然後，信號處理單元50使用水平補償位移量SX一ADD和垂直補 償位移量SY—ADD,進行對接收自圖像存儲器單元4的成像器所成圖像數據Din補償由手移動造成的圖像失真的處理，以便產生輸出圖像數據Dout。應當注意，如前所述，除了電子變焦(圖像放大和收縮)處理，信號處理單元50也進行諸如根據包括標準精細度和高精細度的預定量的分辯率轉換處 理的處理。也就是說，信號處理單元50配備有用於進行失真補償處理、電子變焦處 理和輸出數據產生處理的水平處理塊51、垂直處理塊52和寄存器塊53。水 平處理塊51包括水平手移動補償量積分單元511和水平圖像處理單元512， 而垂直處理塊52包括垂直水平手移動補償量積分單元521和垂直圖像處理單 元522。水平處理塊51是對成像器所成圖像數據Din進行水平方向處理的部件。 水平方向處理包括水平方向失真補償處理。另一方面，垂直處理塊52是對成 像器所成圖像數據Din進行垂直方向處理的部件。垂直方向處理包括垂直方 向失真補償處理。寄存器塊53是用於進行如下處理的部件將作為每個手移 動速度矢量Vec的分量的、每一個都在速度矢量處理單元80中使用的水平補 償速度分量檢測單元82中檢測的水平補償速度分量X—STB傳給水平處理塊 51,並將作為每個手移動速度矢量Vec的分量的、每一個都在速度矢量處理 單元80中使用的垂直補償速度分量檢測單元83中檢測的垂直補償速度分量 Y_STB傳給垂直處理塊52。在該實施例的情況下，水平補償速度分量X—STB—0至X一STB—7和垂直 補償速度分量Y—STBJ)至Y—STB—7的每一個是每水平線周期時間長度的手 移動補償量。也就是說，水平補償速度分量X—STB(X—STB—0至X一STB—7)在數量上表 達如下X—STB:水平補償量/水平線周期的時間長度 同樣地，垂直補償速度分量Y—STB(Y—STB—0至Y—STB—7)在數量上表達 如下:Y—STB:垂直補償量/水平線周期的時間長度 水平補償速度分量X_STB_0至X—STB—7每一個是水平方向像素間隔dx 的倍數，該間隔定義為2個水平相鄰像素之間的水平方向距離。在以下描述 中，水平方向像素間隔dx的倍數的值可包括分數部分。也就是說，水平補償 速度分量X—STB—0至X一STB一7的每一個是在下文中呈現為一個值的像素數，
其可包括分數部分。同樣地，垂直補償速度分量Y—STB一0至Y一STB一7每一 個是垂直方向像素間隔dy的倍數，該間隔定義為2個垂直相鄰像素之間的垂 直方向距離。在以下描述中，垂直方向像素間距dy的倍數的值可包括分數部 分。也就是說，垂直補償速度分量Y—STB—0至Y一STB—7的每一個是在下文 中呈現為一個值的像素數，其可包括分數部分。通過使用用於將速度矢量產生單元81輸出的手移動速度Vec的水平分量 轉換成在下文中呈現為一個值的像素數的表，可以在水平補償速度分量檢測 單元82中找出水平補償速度分量X—STB_0至X一STB—7，其可包括分數部分。 更具體地，從該表中搜索對應於從速度矢量產生單元81輸入的手移動速度 Vec的水平分量的像素數。然後，具有與手移動速度Vec的水平分量的方向 相反方向的符號被附加到像素數上，以便得到水平補償速度分量X一STB。同 樣地，通過使用用於將速度矢量產生單元81輸出的手移動速度Vec的垂直分 量轉換成在下文中呈現為一個值的像素量數表，可以在垂直補償速度分量檢 測單元83中找出垂直補償速度分量Y一STB—0至Y_STB—7,其可包括分數部 分。更具體地，從該表中搜索對應於從速度矢量產生單元81輸入的手移動速 度Vec的垂直分量的像素量。然後，具有與手移動速度Vec的垂直分量的方 向相反的標記被附加到像素量上，以便得到垂直補償速度分量Y—STB。在該實施例中，每個水平補償速度分量X一STB—0至X—STB一7都用於在時間軸積分處理中找出水平手移動補償位移量SX—ADD，其實際上是對於與水平補償速度分量X—STB相關的水平線的簡單累加處理。也就是說，如圖2所示，關於時間的積分處理是如下找出水平手移動補償位移量SX一ADD的處 理SX—ADD=X—STB的累加和 同樣地，在該實施例中，每個垂直補償速度分量Y一STB—0至Y一STB一7 都用於在時間軸積分處理中找出垂直手移動補償位移量SY—ADD,其實際上 是對於與垂直補償速度分量Y—STB相關的水平線的簡單累加處理。也就是 說，如圖2所示，關於時間的積分處理是如下找出垂直手移動補償位移量 SY—ADD的處理SY—ADD=Y—STB的累加和 然後，在例如由定時信號產生單元12產生的定時信號St設定的定時， 將水平補償速度分量檢測單元82產生的水平補償速度分量X—STB_0至X一STB一7以及垂直補償速度分量檢測單元83產生的垂直補償速度分量 Y_STB_0至Y—STB一7順序提供給在信號處理單元50中使用的寄存器塊53 的IF(接口)寄存器。應當注意，IF寄存器本身未顯示在圖39中。隨後，在作為除了由定時信號St設定的上述定時的、為水平處理塊51 產生的處理定時，將水平補償速度分量X—STB—0至X_STB—7順序地從IF(接 口)寄存器傳給在寄存器塊53中使用的寄存器。同樣地，在作為除了由定時 信號St設定的上述定時的、為垂直處理塊52產生的處理定時，將垂直補償 速度分量Y_STB—0至Y—STB—7順序地從接口寄存器傳給寄存器塊53中使用 的寄存器。應當注意，圖39中未示出該水平處理寄存器和該垂直處理寄存器。對於圖片劃分PdivJ)至Pdiv—7，水平處理塊51中使用的水平手移動補 償量積分單元511分別對寄存器塊53中使用的水平處理寄存器中存儲的水平 補償速度分量X—STB—0至X—STB—7進行前述關於時間的積分處理，以便找 出圖2中所示的圖片劃分Pdiv一0至Pdiv一7的水平手移動補償位移量 SX—ADD。同樣地，對於圖片劃分PdivJ)至Pdiv—7，垂直處理塊52中使用 的垂直手移動補償量積分單元521分別對寄存器塊53中使用的垂直處理寄存 器中存儲的垂直補償速度分量Y—STB—0至Y—STB—7進行前述關於時間的積 分處理，以便找出圖片劃分Pdiv一0至Pdiv—7的垂直手移動補償位移量 SY—ADD。水平處理塊51中使用的水平圖像處理單元512進行補償處理，以便通過 使用由水平手移動補償量積分單元511計算的水平手移動補償位移量 SX—ADD對圖像補償由手移動在水平方向上造成的失真。同樣地，垂直處理 塊52中使用的垂直圖像處理單元522進行補償處理，以便通過使用由垂直手 移動補償量積分單元521計算的垂直手移動補償位移量SY—ADD對圖像補償 由於手移動在垂直方向上造成的失真。水平處理塊51中使用的水平圖像處理 單元512和垂直處理塊52中使用的垂直圖像處理單元522進行補償處理，同 時控制向圖像存儲器60寫入圖像數據及從圖像存儲器60讀取圖像數據的操 作。在該實施例中，圖像存儲器60具有水平處理FIFO行存儲器61和垂直處 理FIFO行存儲器62。在該實施例的情況下，水平處理FIFO行存儲器61具 有存儲一個水平線的數據的存儲器容量。另一方面，垂直處理FIFO行存儲器 62具有如後面所述的、與垂直方向內插處理的FIR(有限脈衝響應)濾波器的
抽頭 一樣多的水平線的數據的存儲容量。水平處理塊51中使用的水平圖像處理單元512具有均未顯示在圖39中的FIFO存儲器控制器和水平方向內插處理單元。FIFO存儲器控制器是用於 控制向水平處理FIFO行存儲器61寫入圖像數據及從水平處理FIFO行存儲 器61讀取圖像數據的操作的部件。水平方向內插處理單元是這樣一個部件， 假定計算出的水平手移動補償位移量SX—ADD具有表示像素的後補償位置與 從像素的真實位置水平方向偏移重合的分數部分，來進行內插處理。如後所 述，根據該實施例的水平方向內插處理單元使用後面筒稱為水平FIR濾波器 的水平方向數字FIR濾波器。同樣地，垂直處理塊52中使用的垂直圖像處理單元522具有均未顯示在 圖39中的存儲器控制器和垂直方向內插處理單元。存儲器控制器是用於控制 向垂直處理FIFO行存儲器62寫入圖像數據及從垂直處理FIFO行存儲器62 讀取圖像數據的操作的部件。垂直方向內插處理單元是這樣一個部件，假定 計算出的垂直手移動補償位移量SY一ADD具有表示像素的後補償位置與從像 素的真實位置垂直方向偏移重合的分數部分，來進行內插處理。如後所述， 根據該實施例的垂直方向內插處理單元使用後面簡稱為垂直FIR濾波器的垂 直方向數字FIR濾波器。以下的描述解釋在假定計算的水平手移動#卜償位移量SX—ADD和計算的 垂直手移動補償位移量SY一ADD中任何一個具有分數部分的前提下所進行的 內插處理。讓我們想像一種典型情況，其中手移動的水平方向分量速度分量X一STB 引起如圖42中所示的圖像失真。也就是說，在圖42中所示的例子中，如果 沒有手移動，像素Gll、 G21、 G31等、像素G12、 G22、 G32等以及像素 G13、 G23、 G33等分別位於垂直與水平虛線交叉處。然而，因為有手移動， 所以像素Gll、 G21、 G31等、像素G12、 G22、 G32等以及像素G13、 G23、 G33等分別位於傾斜實線與水平虛線的交叉處。為了對圖像補償由於手移動造成的失真，必需將移位的像素位置恢復到 它們的原始位置。如圖42所示，水平線的像素位置偏移大小是為該線計算的 水平手移動補償位移量SX—ADD。如果所計算的水平手移動補償位移量 SX—ADD是像素間隔dx的倍數，則為了對圖像補償由於手移動造成的失真， 從特定位置讀取的圖像數據作為從特定位置移位一定距離後的位置處的像素
的圖像數據，所述距離等於所計算的水平手移動補償位移量SX—ADD,其是像素間隔dx的倍數。然而，如果所計算的水平手移動補償位移量SX—ADD不是像素間隔dx 的倍數，即，如果所計算的水平手移動補償位移量SX一ADD具有分數部分， 像素不存在於從特定位置偏移一定距離的位置上，所述距離等於所計算的水 平手移動補償位移量SX一ADD。在這種情況下，需要基於每一個從觀察位置 移位一定距離的多個位置上的像素的圖像數據、通過執行內插技術，得到在 觀察位置處的像素的圖像數據，所述距離等於像素間隔dx的倍數並且最接近 於所計算的水平手移動補償位移量SX—ADD。圖43是示出上述內插技術的圖。具有分數部分的所計算的水平手移動補 償位移量SX_ADD對應於從上述觀察位置到特定像素Gl和G2之間的不存 在像素的位置Gs的距離。在這種情況下，基於每一個從觀察位置移位一定距 離的位置上存在的像素G1和G2的圖像數據、通過進行內插技術，得到位於 觀察位置上的像素的圖像數據，所述距離等於像素間隔dx的倍數並且最接近 所計算的水平手移動補償位移量SX—ADD。讓我們假定，Gl與Gs之間的距 離kl與Gs與G2之間的距離k2之比kl:k2是W:(l-W)，即，kl:k2=W:(l-W)。 在這種情況下，根據下面的內插等式找到的內插圖像數據作為觀察位置上的 像素的圖像數據Gs處的內插圖像數據二G1 s圖像數據x(W-l)+G2 s圖像數據xW取代如圖43所示的例子中在內插處理中僅使用兩個像素Gl和G2的像 素數據的情況，可以使用多於兩個像素的圖像數據。在圖44所示的另一例子 中，在內插處理中使用四個像素GO至G3的像素數據。與圖43所示的例子 很像，像素GO至G3存在於每一個從觀察位置移位一定距離的位置，該距離 等於像素間隔dx的倍數並且最接近所計算的水平手移動補償位移量 SX一ADD。在這種情況下，依據從不存在的像素位置Gs分別到像素G0、 Gl、 G2和G3的位置的距離k0、 kl、 k2和k3，分別確定像素G0、 Gl、 G2和 G3的插值權重W0、 Wl、 W2和W3，根據以下內插等式找到的內插圖像數 據作為觀察位置上的像素的圖像數據Gs處的內插圖像數據=G0xW0+GlxWl+G2xW2+G3xW3通常，分別從具有每一個都顯示一組前述插值權重W0、 Wl、 W2和W3 的條目的插值權重表找出像素G0、 Gl、 G2和G3的插值權重W0、 Wl、 W2
和W3。然後，通過使用從不存在的像素位置Gs至像素Gl或G2的位置的 距離ds作為檢索關鍵字，在插值權重表中搜索顯示對應於檢索關鍵字的一組 前述插值權重W0、 Wl 、 W2和W3的條目。應當注意，如從圖44明顯看出 的那樣，從不存在像素位置Gs至像素Gl或G2的位置的距離ds對應於所計 算的水平手移動補償位移量SX—ADD的分數部分。在該實施例中，通過使用水平FIR濾波器進行內插處理。也就是說，在 上述插值權重表中搜索對應於所計算的水平手移動補償位移量SX—ADD的分 數部分的一組插值權重。然後，插值權重被提供給水平FIR濾波器以便進行 內插處理。除了在垂直方向內插處理中用垂直方向代替在水平方向處理中用作內插 方向的水平方向之外，垂直方向內插處理與上述水平方向處理一樣。 [水平處理塊51的處理操作] [產生水平手移動補償位移量SX_ADD的積分]圖45示出代表由水平手移動補償量積分單元511進行的積分處理操作以 產生作為積分結果的水平手移動補償位移量SX—ADD的流程圖。如圖所示，該流程圖包括步驟S201,在該步驟對於水平同步信號H-SYNC 的每個脈衝，將值'step，累加到初始y軸坐標SY上。在這種情況下，y軸表 示水平線的位置，而水平同步信號H-SYNC表示包含在普通水平掃描信號中 的定時信號，該掃描信號作為掩蔽有效像素區域外部的區域的信號。初始y軸坐標SY表示輸出屏的第一水平線在CMOS成像器上的所有像 素坐標系中的位置。通常，初始y軸坐標SY不對應於所有像素坐標系的y 軸坐標0。在以下描述中，所有像素坐標系稱為絕對坐標系。除了初始坐標(SX,SY)包括由施加到上述幀的手移動造成的初始位移這 個事實以外，依據以下因素確定初始坐標(SX,SY)。也就是說，在動態圖片的 情況下，通常，CMOS成像器上的所有像素的圖像數據不按原樣提供給信號 處理單元50。取而代之的是，在提供到位於在後階段的信號處理單元50之 前，對於排列在CMOS成像器中的垂直方向上的每個圖片劃分，圖像數據經 歷平均化處理。另外，即使在被提供給信號處理單元50以後，圖像數據也再 次經歷一些處理。出於這個原因，在^f艮多情況下第一線的絕對坐標不對應於 0。而且，如果對輸入圖像數據進行垂直方向部分放大處理，初始y軸坐標 SY變成屏中間的水平線的位置。因而，初始y軸坐標SY可以具有極大的值，
而不是等於0。在步驟S201,對於水平同步信號H-SYNC的每個脈衝，將值'step，累加 到初始y軸坐標SY上，表示絕對坐標系的垂直坐標的^f亍間插入增加。由於 位於前一階段的平均處理塊關於CMOS成像器中垂直方向上排列的多個水平 線對圖像數據進行平均化處理，所以值'stepl艮有可能不是1。例如，值'step， 是2或4。在步驟S201，通過對於水平同步信號H-SYNC的每個脈衝將值'step，累 加到初始y軸坐標SY上，可以找出當前被處理的水平線的絕對坐標。然後， 在步驟S202,找出絕對坐標的整數分量vp一i。整數分量對應於在積分處理中 到當前時間點為止對水平補償速度分量X—STBJ進行的累加次數。符號+是0 至7範圍內的整數。也就是說，在以下描述中，水平補償速度分量X一STB—* 表示水平補償速度分量X—STB—0至X—STB—7中的任何一個。符號X—S丁B—* 在以下描述中用作代表水平補償速度分量X一STB一0至X—STB一7的符號。在 積分處理中對水平補償速度分量進行的累加次數是屏的積分值。然後，在步驟S203,將目前正被處理的水平線的絕對坐標的整數分量vpj 與直到緊鄰在當前正被處理的水平線之前的水平線為止所進行的積分處理中 對水平補償速度分量進行的累加次數進行比較。順便提及，在以下描述中， 當前正被處理的水平線稱為當前處理線，而直到緊鄰在當前正被處理的水平 線之前水平線為止所進行的積分處理中對水平補償速度分量進行的累加次數 稱為累加計數hstb一cnt。整數分量分vp一i與累加計數vstb_cnt之間的差表示 還需要對該當前處理線的積分處理中的水平補償速度分量進行多少額外累 加。然後，分別為每個處理單元周期產生與所需要的積分處理的額外累加一 樣多的觸發脈衝TG1,所述處理單元周期短於一個水平周期。然後，在步驟S204和S205，每當產生一個觸發脈衝TG1,水平累加計 數hstb—cnt就力口 1 。隨後，在步驟S206,通過每產生一個觸發脈衝TG1就將水平補償速度分 量X一STBJ累加到到目前為止得到的累加和，進行積分處埋以產生水平手移 動補償位移量SX_ADD,所述水平補償速度分量X—STBJ是從作為包括當前 處理線的圖片劃分的分量的水平補償速度分量X—STB—0至X一STB—7中選擇 的。圖45的流程圖的步驟S206所示的符號stb_x表示從水平補償速度分量 X—STB—0至X—STB—7中選擇的水平補償速度分量X—STB—*。也就是說，在
圖45的流程圖的步驟S206所示的符號stb一x表示當前處理線所屬的圖片劃 分的水平補償速度分量X—STB_*。如果在步驟S201對於水平同步信號H-SYNC的每個脈衝累加到初始y 軸坐標SY上的值'step，是l(即，step=l),且輸出圖像的處理是不放大圖像的 處理或其它普通處理，則對水平同步信號H-SYNC的每個脈衝產生觸發脈衝 TG1。因而，在步驟S206,在積分處理中對於每個水平線累加代表水平補償 速度分量X—STBJ的stb一x。如前所述，以這種方式得到的水平補償位移量SX_ADD用作CMOS成 像器中的每個水平線的讀取開始位置的水平方向補償量。也就是說，水平補 償位移量SX_ADD正是由水平處理塊51進行的水平方向圖像失真處理中的 每個水平線的水平初始位置(或水平偏移)。如上所述，在步驟S206進行的積分處理中，必須根據當前處理線屬於八 個圖片劃分Pdiv—0至Pdiv—7中的哪一個來選擇水平補償速度分量X—STB—0 至X一STB—7之一作為處理對象。如前所述，八個圖片劃分Pdiv—0至Pdiv—7 是作為在垂直方向上劃分1屏(或一幀，其為垂直同步周期)的結果得到的劃 分。在圖45所示流程圖的剩餘部分中進行的處理中實現選擇水平補償速度分 量X_STB_0至X—STB—7之一的機制。在該實施例中，在步驟S207,找出水平補償速度分量的水平累積線計數 hstb_grid。水平累積線計數hstb—grid的初始值是表示一個圖片劃分中的水平 線的數目的線計數DIV。在步驟S208,將水平累積線計數hstb—grid與水平累加計數hstb_cnt進行 比較。在步驟S208,每次水平累加計數hstb—cnt超過水平累積線計數 hstb—grid,就產生觸發脈衝TG2。在步驟S209,每次產生觸發脈衝TG2,就 通過將代表一個圖片劃分中的水平線的數目的線計數DIV加入到水平累加計 數hstb一cnt,來更新水平累加計數hstb_cnt。在上述處理中，每次當前處理線從一個圖片劃分轉變到下一圖片劃分， 就產生觸發脈衝TG2。因而，在步驟S210，找出代表在積分處理中到目前為 止產生的觸發脈衝TG2的數目或到目前為止已經處理的圖片劃分的數目的水 平圖片劃分值HDIV_CNT。也就是說，水平圖片劃分值HDIV—CNT代表圖 片劃分Pdiv一O至Pdiv—7中的哪一個正在經歷積分處理。在步驟S211，每次 產生觸發脈衝TG2,水平圖片劃分值HDIV—CNT就增加1 。因而，水平圖片 劃分值HDIV—CNT具有在分別對應於圖片劃分Pdiv—0至Pdiv一7的範圍0至 7內的整數值。也就是說，水平圖片劃分值HDIV—CNT是示出水平積分處理 中的進展程度的指示符。因而，參照水平圖片劃分值HDIV—CNT來確定作為 選捧的水平補償速度分量X—STB—*的、在步驟S206示出的符號stb—x的值。應當注意，在該實施例中，水平圖片劃分值HDIV一CNT二8表示已經完成 了對一幀圖像數據進行的積分處理。另外，如果水平圖片劃分值HDIV_CNT=8 增加1,則水平圖片劃分值HDIV—CNT=8重設回0。水平圖片劃分值HDIV—CNT被提供給垂直處理塊52和寄存器塊53,作 為示出當前處理線屬於圖片劃分PdivJ)至Pdiv一7中的哪一個或者水平處理 塊51所進行的水平積分處理的進展程度的指示符。 [水平圖像處理塊512的處理才乘作]圖46是示出水平圖像處理單元512的典型構造的圖。在圖46所示的典 型構造中，加法器5101包含在水平圖像處理單元512中，作為對於圖45中 流程圖所示的水平同步信號H-SYNC的每個脈衝，將值'step，累加到初始y軸 坐標SY的單元。由於這個原因，初始y軸坐標SY被提供給水平圖像處理單 元512。另外，初始x軸坐標SX也被提供給水平圖像處理單元512。初始y 軸坐標SY和初始x軸坐標SX是一幀的開始的坐標，並且通常由作為控制單 元的CPU 1設定。作為對於水平同步信號H-SYNC的每個脈衝將值'step，累加到初始y軸坐 標SY的結果而由加法器5101產生的y軸坐標SY，被提供給水平手移動補償 量積分單元511。響應於y軸坐標SY，， 水平手移動補償量積分單元511將 SX_ADD返回給水平圖像處理單元512,作為當前處理線的開始的x軸坐標 的偏移。水平圖像處理單元512中使用的加法器5102僅在每個水平線的開始處將 從水平手移動補償量積分單元511接收的水平補償位移量SX—ADD加到初始 x軸坐標SX上一次。然後，對於像素處理時鐘信號CLK的每個脈衝，加法器5103將作為水 平放大/收縮參數的值hmag加到加法器5102的輸出。加法器5103的輸出 X—ADD被提供給比較單元5104和5015以及分數部分提取單元5106和整數 部分提取單元5107。比較單元5104將/人加法器5103接收的當前輸出X—ADD與在比當前輸
出X—ADD提前像素處理時鐘信號CLK的一個周期的時刻從加法器5103接 收的輸出X_ADD的整數部分進行比較。如果發現從加法器5103接收的當前 輸出X—ADD與比當前輸出X一ADD提前像素處理時鐘信號CLK的一個周期 的輸出X—ADD的整數部分的差大於1，即，如果像素位置跳躍至少等於一個 像素間隔的距離，比較單元5104輸出表示該跳躍的信號SKIP。在該實施例 中，通過獲知表示跳躍的信號SKIP的存在，可能獲知具有通過像素處理時鐘 信號CLK表示的定時的下一個要處理的跳躍目的像素位置。信號SKIP被提 供給FIFO存儲器控制器5108。另夕卜，比較單元5105對從加法器5103接收的當前輸出X—ADD與在比 當前輸出X一ADD提前像素處理時鐘信號CLK的一個周期的時刻從加法器 5103接收的輸出X—ADD的整數部分進行比較。如果發現從加法器5103接收 的當前輸出X—ADD與比當前輸出X—ADD提前像素處理時鐘信號CLK的一 個周期的輸出X一ADD的整數部分的差小於1,比較單元5105就輸出信號 HOLD,該信號表示從加法器5103接收的當前輸出X一ADD與比當前輸出 X_ADD提前像素處理時鐘信號CLK的一個周期的輸出X—ADD的整數部分 的差小於l的事實。因而，通過獲知信號HOLD的存在，可能獲知當前讀取 的像素是與在比當前時刻提前像素處理時鐘信號CLK的一個周期的時刻讀 取的像素 一樣的像素。信號HOLD也提供給FIFO存儲器控制器5108 。分數部分提取單元5106對於像素處理時鐘信號CLK的每個脈衝提取從 加法器5103接收的輸出X—ADD的分數部分，並將提取的分數部分的值 X一PHASE輸出給具有水平FIR濾波器5110的水平內插處理單元5109。依據 值X一PHASE,水平內插處理單元5109在乘法係數表中搜索將要提供給水平 FIR濾波器5110的乘法係數。整數部分提取單元5107根據水平同步信號H-SYNC，在每個水平線的開 始處提取從加法器5103接收的輸出X—ADD的整數部分，並將提取的整數部 分的值ST一POS輸出給FIFO存儲器控制器5108,作為當前處理線的初始x 軸坐標。FIFO存儲器控制器5108通過使用水平處理FIFO行存儲器61、基於輸 入圖像數據上的水平補償位移量SX一ADD進行水平手移動補償處理以及水平 方向放大或收縮處理。如後面會描述到的，僅當考慮支持圖像的部分放大處 理的情況時，水平處理FIFO行存儲器61才實際上需要具有容納一個水平線
的圖像數據的存儲容量。詳細地說，FIFO存儲器控制器5108通過使用整數部分的值ST—POS確 定輸入圖像數據的每個水平線的圖像數據的初始x軸坐標。另外，在確定要 從水平處理FIFO行存儲器61讀取的像素數據時，FIFO存儲器控制器5108 對於圖像處理時鐘信號CLK的每個脈衝參照信號SKIP和HOLD。然後，FIFO存儲器控制器5108將作為每個水平線的圖像數據而從上述 水平處理FIFO行存儲器61中讀取的圖像數據與數據啟用信號(data enable signal)EN —起提供給水平內插處理單元5109。只有在數據啟用信號EN處於活躍狀態時水平內插處理單元5109才將輸 入圖像數據作為有效數據處理，並通過使用水平FIR濾波器5110對有效數據 進行水平方向內插處理。如前所述，在那時，基於提供給水平內插處理單元 5109作為分數部分的值的值X—PHASE,水平內插處理單元5109在乘法係數 表中搜索要提供給水平FIR濾波器5110的乘法係數。這樣，作為根據水平補償位移量SX—ADD進行的水平手移動補償處理的 結果以及水平方向放大或收縮處理的結果，水平內插處理單元5109產生圖像 數據DHout,並將圖像數據DHout提供給垂直處理塊52。順便提及，上面的描述不具體涉及由水平手移動補償量積分單元511進 行的找出水平補償位移量SX—ADD的積分處理與由水平圖像處理單元512進 行的水平方向放大或收縮處理之間的共有處理時間。以簡單處理序列無時間 延遲地進行找出水平補償位移量SX—ADD的積分處理和水平方向放大或收縮 處理所帶來的便利幾乎限於如後面描述到的圖47上部的圖47A所示的不支 持水平方向剪切處理和部分放大處理的情況。在圖47中，符號V-SYNC表 示垂直同步信號，符號ST—TG表示代表有效水平線的起點的脈衝。另外，在 圖47中，由陰影矩形圈起的每個片斷表示處理片斷。另一方面，如果支持垂直方向剪切處理和/或部分放大處理，初始y軸坐 標SY具有極大的值。因而很有可能在幀開始處的像素處理周期的個數(即， 積分處理中需要的周期數)很大。圖47下部的圖47B的序列中所示的符號tm 表示在幀開始處的積分處理的周期。通過一個長的第一積分處理，如圖47上部的圖47A所示的簡單處理序 列中的第一水平方向放大或收縮處理會超過水平同步信號H—SYNC的一個周 期，從而必需提供行存儲器，用於存儲對應於垂直同步信號的第二脈衝的輸 入的第二水平線的圖像數據。在該實施例中，為了解決上述問題，如圖47下部的圖47B的處理序列所 示，在對應於水平同步信號H—SYNC脈衝的前一個水平同步信號H—SYNC 脈衝的周期中進行積分處理，以開始在積分處理之後 一 個水平同步信號 H一SYNC周期的水平方向放大或收縮處理。也就是說，該實施例採用一個圖 像處理序列，其中總是在比開始在積分處理之後一個水平同步信號H—SYNC 周期的水平方向放大或收縮處理的時刻提前的時刻進行積分處理。因而，該 實施例使用一水平處理FIFO行存儲器61，其具有用於容納1個水平周期的 圖像數據的存儲容量。通過釆用總是用於對所有輸入線進行水平處理的結構，可以避免上述問 題，而不用關心圖像部分^L大處理或類似處理。然而，在任一情況下，如果 試圖實現如圖47上部的圖47A中所示的處理序列，需要產生積分處理的新 終止信號，並必須檢測該信號以便開始圖像處理，從而構造變得相當複雜。 換言之，上述實施例中使用的技術提供下述優點該技術可以被實現，而不 用為圖像處理電路提供額外部件。應當注意，對於絕對坐標系的垂直大小大於1周期的水平同步信號 H一SYNC中的圖像處理周期個數的情況，不能採用上述實施例中使用的技術。 對於這種情況，必需採用前述體系，以便總是對所有輸入線進行水平處理。[垂直處理塊52的處理操作][產生垂直手移動補償位移量SY_ADD的積分]以下描述解釋了由垂直手移動補償量積分單元521進行的、用於產生作 為積分結果的垂直手移動補償位移量SY—ADD的積分處理操作。圖48示出 了代表積分處理操作的流程圖，所述積分處理操作由垂直手移動補償量積分 單元521進行，以產生作為積分結果的垂直手移動補償位移量SY—ADD。除了以下不同，由垂直手移動補償量積分單元521進行並產生垂直手移 動補償位移量SY—ADD作為積分結果的積分處理操作與前面參照圖45解釋 的、由水平手移動補償量積分單元511進行的並產生水平手移動補償位移量 SX_ADD作為積分結果的的積分處理操作類似。在積分處理操作的情況下，對於水平同步信號H一SYNC的每個脈衝，將 值vmag累加到初始y軸坐標SY上，通過考慮代表水平處理中的進展狀態的 水平圖片劃分值HDIV一CNT建立等待狀態，並產生表示每個線的積分處理的
完成的積分終止信號STB_RDY,以提供給垂直圖像處理^^莫塊。在該實施例中，假定垂直圖像處理包括垂直方向放大或收縮處理，值 vmag是代表放大或收縮因子的值。因而，取代由水平處理塊51輸出所有圖 像數據的處理，垂直處理塊52通過將放大或收縮處理後輸出的線的垂直坐標 作為參照而進行處理。因此，同樣在垂直方向積分處理中，需要在垂直方向積分處理後輸出在 經歷垂直圖像處理的坐標處的積分值的操作，從而對於水平同步信號 H_SYNC的每個脈衝，將垂直方向坐標增加參數累加到初始y軸坐標SY上。 應當注意，不考慮關心圖像放大或收縮處理，只要將進行CMOS手移動補償 處理，值vmag就可設定為l(vmag:l)。作為第二個差異，在由垂直手移動補償量積分單元521進行積分處理操 作以產生垂直手移動補償位移量SY一ADD的情況下，需要觀察代表水平處理 中的進展狀態的水平圖片劃分值HDIV—CNT,因為垂直處理中的進展不許超 越水平處理中的進展。在普通圖像的放大或收縮處理中，當對還未產生的圖 像進行垂直處理時，垂直處理中的進展被說成是超越了水平處理中的進展。 為了防止垂直處理中的進展超越水平處理中的進展，需要通過其本身來設定 等待狀態的機制。同樣地，在垂直方向積分處理中，需要防止垂直處理中的 進展超越水平處理中的進展的機制，即使不直接處理圖像也是如此。稍詳細些說，水平補償速度分量X一STB—*是將接近當前正被處理的水平 線的採樣時間的手移動速度矢量的水平分量的符號反向後得到的水平積分參 數。符號*是0至7範圍內的整數。也就是說，在以下描述中，水平補償速度 分量X—STBJ表示水平補償速度分量X—STB一0至X—STB—7中的任何一個。 同樣地，垂直補償速度分量Y—STBJ是將接近當前正被處理的水平線的採樣 時間的手移動速度矢量的垂直分量的符號反向後得到的垂直積分參數。符號* 是0至7範圍內的整數。也就是說,在以下描述中，垂直補償速度分量Y—STB—* 表示垂直補償速度分量Y—STB—0至Y—STB_7中的任何一個。嚴格地說，採 樣時間對應於時間的曝光周期的中心點。手移動的手移動速度矢量是代表手 移動的大小和方向的矢量。因而，如果將時間的極短曝光周期也考慮在內的 話，直到緊鄰在輸入水平線的圖像數據的操作前的時刻為止，不可能確認水 平線的水平補償速度分量X—STBJ和垂直補償速度分量Y—STB_*。考慮到上述情況，在參照指示水平方向積分處理中當前正被處理的水平 線所屬的圖片劃分的水平圖片劃分值HDIV一CNT之後，水平線的水平補償速 度分量X—STBJ和垂直補償速度分量Y—STB—*分別被鎖存在後面將會詳細 描述的寄存器塊53的水平處理塊寄存器和垂直處理塊寄存器中。因而，水平 處理塊51可以順序地處理輸入圖像，而不需要提供特殊的機制。另一方面，在由垂直處理塊52進行的積分處理中，將積分處理的結果用 作在隨後的階段進行的垂直方向圖像處理的初始偏移坐標。因而，即使已知 還沒有在一個時間點接收到由線的水平處理輸出的圖像，在該時間點，線的 垂直方向積分處理已經完成。也就是說，已經對未確認的垂直補償速度分量 進行了垂直方向積分處理。為了解決上述問題，在積分處理階段，依據水平處理中的進展的狀態， 必需確定作為要被處理的積分參數的垂直補償速度分量Y—STBJ是否已經被 確認。積分參數的垂直補償速度分量Y—STB—*是否已經被確認的機制，在圖48所 示的流程圖的步驟S312,如果表示垂直處理中的進展的狀態的垂直圖片劃分 值VDIV—CNT超越了表示水平處理中的進展的狀態的水平圖片劃分值 HDIV_CNT，就產生WAIT信號。選擇確認的垂直補償速度分量Y—STB—*, 在圖48底部左側的步驟S306,對於包括在水平積分處理中當前正被處理的 水平線的圖片劃分，將表示圖片劃分的的垂直方向補償速度分量的符號stb一y 累加到圖片劃分的垂直補償速度分量Y—STB—ADD上。然而，產生信號WAIT， 選擇未確認的垂直補償速度分量Y—STBJ時，防止在步驟S306將圖片劃分 的垂直方向補償速度分量的符號stb_y累加到在水平積分處理中當前正被處 理的水平線中包括的圖片劃分的垂直補償速度分量Y—STB—ADD上。作為產生作為圖48所示積分結果的垂直手移動補償位移量SY—ADD、由 垂直手移動補償量積分單元521進行的積分處理操作與產生作為圖45所示積 分結果的水平手移動補償位移量SX_ADD、由水平手移動補償量積分單元511 進行的積分處理操作之間的第三個差異，在產生如圖48所示的垂直手移動補 償位移量SY—ADD、由垂直手移動補償量積分單元521進行的積分處理操作 的情況下，產生代表當前正被處理的水平線的積分處理的完成的積分終止信 號STB—RDY,以提供到在後面的P介段用作垂直圖像處理單元522d垂直圖像 處理模塊。作為對圖片劃分進行的垂直積分處理的結果，當前被處理的水平
線的絕對坐標的整數部分vp一i變得等於垂直累加計數vstb—cnt。那時，找出 也將被提供給垂直圖像處理模塊的垂直偏移SY—ADD,並且積分終止信號 STB_RDY用於激活垂直圖像處理模塊。在前述水平方向積分處理中，在比輸入有效圖像的定時提前水平同步信 號H_SYNC的一個周期的定時開始積分處理，從而能在對有效圖像進行水平 圖像處理之前完成積分處理。在大多數情況下，能確保這樣的系統其中能 在對有效圖像進行進行水平圖像處理之前，完成對有效圖像進行的積分處理。 然而，在垂直方向積分處理中，很有可能建立上述等待狀態從而不能確保在 所有情況下在水平同步信號H一SYNC緊鄰的前一周期中完成積分處理。也就 是說，通過建立等待狀態，當產生積分終止信號STB—RDY時，進行包括垂 直手移動校正處理和垂直放大或收縮處理的垂直圖像處理。通過參照圖48所示的流程圖，以下描述解釋通過使用具有上述功能的垂 直方向積分電^各進^於的垂直方向積分處理。如圖所示，流程圖包括步驟S301，在該步驟對於水平同步信號H-SYNC 的每個脈衝，值'vmag，被累加到代表水平線的位置的初始y軸坐標SY上。通過在步驟S301對於水平同步信號H-SYNC的每個脈沖，將值'vmag， 累加到初始y軸坐標SY上，可以找出當前正被處理的水平線的絕對坐標。 然後，在步驟S302,找出絕對坐標的整數分量vp—i。該整數分量對應於在到 當前時間點為止的積分處理中，對表示垂直補償速度分量Y—STB—0至 Y—STB_7的垂直補償速度分量Y_STB—*進行的累加次數。在積分處理中對垂 直補償速度分量進行的累加次數是屏的積分值。然後，在步驟S303,將目前正被處理的水平線的絕對坐標的整數分量vp一i 與到當前正被處理的水平線前面緊鄰的一個水平線為止所進行的積分處理中 對垂直補償速度分量進行的累加計數進行比較。順便提及，到當前正被處理 的水平線前面緊鄰的 一個水平線為止所進行的積分處理中對垂直補償速度分 量進行的累加次數稱為垂直累加計數vstb—cnt。整數分量vp—i與垂直累加計 數vstb_cnt之間的差表示還需要對當前處理的線的積分處理中的垂直補償速 度分量進行多少額外累加。然後，對於每個處理單元周期，產生與積分處理 所需的額外累加一樣多的觸發脈衝TG3,所述處理單元周期比一個水平周期 要短。然後，在步驟S304和S305,每當產生一個觸發脈衝TG3,垂直累加計 數 vstb—cnt ;就加 1 。隨後，在步驟S306，通過每產生一個觸發脈衝TG3就將垂直補償速度分 量Y一STB一、累加到到目前為止得到的累加和，進行積分處理以產生垂直手移 動校正位移量SY—ADD，所述垂直補償速度分量Y—STBJ是從作為包括當前 處理的線的圖片劃分的分量的垂直補償速度分量Y—STB—0至Y_STB—7中選 擇的。圖48的流程圖的步驟S306所示的符號stb_y表示從垂直補償速度分 量Y_STB—0至Y—STB—7中選擇的垂直補償速度分量Y—STB—*。也就是說， 在圖48的流程圖的步驟S306所示的符號stb—y表示當前處理的線所屬的圖 片劃分的垂直補償速度分量Y_STB_*。如果在步驟S301中對於垂直同步信號H-SYNC的每個脈衝累加到初始y 軸坐標SY上的值'vmag，是l(即，vmag=l),且輸出圖像的處理是不放大圖像 的處理或其它普通處理，則對垂直同步信號H-SYNC的每個脈衝產生觸發脈 衝TG1。因而，在步驟S306,在每個水平線的積分處理中，累加代表垂直補 償速度分量Y—STB—*的stb—y。如前所述，以這種方式得到的垂直補償位移量SY一ADD用作CMOS成 像器中的每個水平線的讀取開始位置的垂直方向補償量。也就是說，垂直補 償位移量SY一ADD就是由垂直處理塊52進行的垂直方向圖像失真處理中的 每個水平線的垂直初始位置(或垂直偏移)。如上所述，在步驟S306進行的積分處理中，必須^f艮據當前處理的線屬於 八個圖片劃分Pdiv一0至Pdiv一7中的哪一個，選擇垂直補償速度分量 Y—STB—0至Y—STB—7中的一個作為處理目標。如前所述，八個圖片劃分 Pdiv—0至Pdiv一7是作為在垂直方向上劃分一屏(或一幀，其為垂直同步周期) 的結果得到的劃分。在該實施例中，在步驟S307，找出垂直補償速度分量的垂直累積線計數 vstb_grid。垂直累積線計數vstb_grid的初始值是表示一個圖片劃分中的水平 線的數目的線計數DIV。在步驟S308，將垂直累積線計數vstb_grid與垂直累加計數vstb_cnt進行 比較。在步驟S308，每當垂直累加計數vstb—cnt超過垂直累積線計數 vstb—grid,就產生觸發脈衝TG4。在步驟S309,每當產生觸發脈衝TG4，就 通過將代表一個圖片劃分中的水平線數目的線計數DIV加到垂直累加計數 hstb—cnt來更l斤垂直累加量hstb—cnt。
在上述處理中，每噹噹前處理的線從一個圖片劃分轉變到下一圖片劃分，就產生觸發脈衝TG4。因而，在步驟S310,找出代表在積分處理中到目前為 止產生的觸發脈衝TG4的個數或到目前為止已經處理過的圖片劃分的個數的 垂直圖片劃分值VDIV—CNT。也就是說，垂直圖片劃分值VDIV—CNT代表 圖片劃分PdivJ)至Pdiv—7中的哪一個正在經歷積分處理。在步驟S311 ，每 當產生觸發脈衝TG4，垂直圖片劃分值VDIV一CNT就增加1。因而，垂直圖 片劃分值VDIV_CNT具有分別對應於圖片劃分Pdiv一O至Pdiv—7的範圍0至 7內的一個整數值。也就是說，垂直圖片劃分值VDIV—CNT是顯示垂直積分 處理中的進展程度的指示符。應當注意，在該實施例中，垂直圖片劃分值VDIV一CNT二8表示已經完成 了對一幀圖像數據進行的積分處理。另外，如果垂直圖片劃分值VDIV—CNT=8 增加1,則垂直圖片劃分值VDIV—CNT重設回0 。在步驟S312,將指示垂直積分處理中的進展程度的垂直圖片劃分值 VDIV—CNT與作為顯示水平積分處理中進展程度的指示符而從水平處理塊 51接收的水平圖片劃分值HDIV—CNT進行比較。垂直圖片劃分值VDIV一CNT 大於水平圖片劃分值HDIV—CNT表示垂直處理的進展超越水平處理的進展。 因而，在這種情況下，建立等待狀態以便延遲觸發脈衝TG3的產生。也就是 說，延遲觸發脈沖TG3的產生以便在等待狀態結束後產生觸發脈沖TG3。在該實施例中，在步驟S313,將在步驟S302得到的整數部分vpj與垂 直累加計數vxtb_cnt進行比較以產生關於整數分量vp—i是否等於垂直累加計 數vxtb_cnt的確定結果。如果確定的結果表明整數分量vp—i等於垂直累加計 數vxtb—cnt,則產生積分終止信號STB一RDY，作為指示對當前處理的線進行 的垂直積分處理已經完成的信號。積分終止信號STB_RDY被提供給垂直圖 像處理單元522，以便通知垂直圖像處理單元522可以對當前處理的線開始 垂直方向手移動補償處理。因此，垂直圖像處理單元522在水平同步信號 H-SYNC的下一脈衝指示的定時開始垂直方向手移動補償處理。 [垂直圖像處理塊522的處理操作]圖49是示出垂直圖像處理單元522的典型構造的示圖。在圖49所示的 典型構造中，垂直圖像處理單元522包含加法器5201,作為對於圖48中的 流程圖所示的水平同步信號H-SYNC的每個脈衝、將值'vmag，累加到初始y 軸坐標SY的單元。由於這個原因，初始y坐標SY被提供給垂直圖像處理單 元522。作為對於水平同步信號H-SYNC的每個脈衝、將值'vmag，累加到初始y 軸坐標SY的結果而由加法器5201產生的y軸坐標SY，被提供給垂直手移動 補償量積分單元521。響應於y軸坐標SY，，垂直手移動補償量積分單元521 將SY_ADD返回給垂直圖像處理單元522,作為當前處理的線的起點的y軸 坐標的偏移。僅在每個水平線的起點，垂直圖像處理單元522中使用的加法器5202將 從垂直手移動補償量積分單元521接收的垂直補償位移量SY一ADD加到初始 y軸坐標SY上一次。加法器5202向分數部分提取單元5203和整數部分提取 單元5204輸出值Y-ADD。分數部分提取單元5203對於水平同步信號H-SYNC的每個脈衝，提取 從加法器5202接收的輸出Y—ADD的分數部分，並將提取出的分數部分的值 Y—PHASE輸出給具有垂直FIR濾波器5207的垂直內插處理單元5206。垂直FIR濾波器5207是通過使用在垂直方向上排列的多個水平線的圖像 數據進行內插處理的部件。依據分數部分的值Y—PHASE,垂直內插處理單元 5206在乘法係數表中尋找要提供給垂直FIR濾波器5207的乘法係數。在這 種情況下，只在垂直方向上進行內插。因而，內插處理幾乎與前面參照圖42 至44解釋的、通過使用水平FIR濾波器5109在水平方向上進行的內插處理 一樣。整數部分提取單元5204根據水平同步信號H-SYNC在每個水平線的開 始處提取從加法器5202接收的輸出值Y一ADD的整數部分，並將提取出的整 數部分的值Y—POS輸出給存儲器控制器5205，作為當前處理的線的初始x 軸坐標。存儲器控制器5205通過使用垂直處理FIFO行存儲器62,基於從水平處 理塊51接收的圖像數據DHout上的垂直補償位移量SY—ADD進行垂直手移 動補償處理以及垂直方向放大或收縮處理。垂直處理FIFO行存儲器62需要 具有至少能容納在垂直FIR濾波器5207進行的內插處理中使用的水平線的圖 像數據的、足夠大的存儲容量。也就是說，垂直處理FIFO行存儲器62需要 具有對應於垂直FIR濾波器5207的抽頭個數的存儲容量。存儲器控制器5205臨時存儲垂直處理FIFO行存儲器62中的圖像數據 DHout,並使用整數部分的值Y—POS以確定作為多個水平線的數據片的輸出
圖像數據片DYout—0、 DYout—1…和Dyout—n。然後，存儲器控制器5205從垂 直處理FIFO行存儲器62讀取水平線的輸出圖像數據片DYout—0、 DYout_l... 和Dyout—n,並將圖像數據片DYout—0、 DYout—l...和DYout_n輸出給垂直內 插處理單元5206。垂直內插處理單元5206通過使用垂直FIR濾波器5207對圖像數據片 DYout—0、 DYout—l...和Dyout—n進行垂直方向內插處理。如前所述，依據分 數部分的值Y—PHASE,垂直內插處理單元5206在乘法係數表中搜索要提供 給垂直FIR濾波器5207的乘法係數。這樣，作為根據垂直補償位移量SY—ADD進行的垂直手移動補償處理的 結果以及作為垂直方向放大或收縮處理的結果，垂直內插處理單元5206產生 圖像數據Dout,並輸出圖像數據Dout。圖50示出上述垂直方向積分處理與垂直圖像處理的定時關係。更具體 地，圖50上部的圖50A示出其中不支持垂直方向剪切處理和部分放大/收縮 處理的情況。在這種情況下，不建立前述等待狀態。當前處理的線的垂直方 向累加次數的上限最多設為稍小的值。因而，可以在水平同步信號H-SYNC 的一個周期內順序進行同一水平線的垂直方向積分處理與垂直圖像處理。結 果，在這種情況下，不必麻煩地提供積分終止信號STB一RDY。另一方面，圖50下部的圖50B示出其中支持垂直方向剪切處理和/或垂 直方向部分放大處理的情況。在這種情況下，很有可能在對第一水平線進行 的積分處理過程中建立等待狀態。另一方面，如果支持垂直方向部分收縮處 理，很有可能在對第 一水平線後面的任何水平線進行積分處理的過程中建立 等待狀態。在任一情況下，由於等待狀態，對同一水平線進行的積分處理掛起與水 平同步信號H-SYNC的1個周期一樣長的時間或者甚至更長的時間。因而， 必需產生積分終止信號STB一RDY,用於通知已經完成了積分處理。然後，如 圖50B最下面兩個時序圖所示，在等待狀態末端、積分終止信號STB一RDY 的脈衝之後的水平同步信號H-SYNC的脈沖定時開始垂直方向部分放大處 理。另外，當還未完成對特定水平線進行的垂直圖像處理時，水平同步信號 H-SYNC的下一脈衝被掩蔽成圖50B中的虛線脈衝。也就是說，掩蔽在等待 狀態生成為水平同步信號H-SYNC的脈衝。
圖51是顯示由包括水平處理塊51和垂直處理塊52的記錄/再現裝置5 進行的上述處理的流程的示圖。也就是說，由用戶操作輸入單元3提供的圖 像數據Din臨時存儲在水平處理FIFO行存儲器61中，以便在以後經歷通過 使用水平手移動補償量積分單元511和水平圖像處理單元512的水平手移動 補償處理和水平放大或收縮處理時被讀取。然後，作為水平圖像處理單元512 產生的處理結果得到的圖像數據被存儲在垂直處理FIFO行存儲器62中。隨後，存儲在垂直處理FIFO行存儲器62中的圖像數據在經歷通過使用 水平手移動補償量積分單元521和垂直圖像處理單元522的垂直手移動補償 處理和垂直放大或收縮處理時被讀取。然後，作為由垂直圖像處理單元522 執行的處理的結果得到的圖像數據被存儲回垂直處理FIFO行存儲器62中。 最後，從垂直處理FIFO行存儲器62讀取圖像數據並作為圖像數據Dout輸出。作為由記錄/再現裝置5執行的處理的最終結果而得到的、圖51右下角 所示的圖像數據Dout是補償手移動造成的失真的圖像中的數據。如上所述，垂直處理FIFO行存儲器62需要具有對應於垂直FIR濾波器 5207的抽頭數的最小存儲容量。然而，實際上，如果進行垂直方向部分放大 處理，水平處理的速度會變得高於垂直處理的速度，從而垂直處理FIFO行存 儲器62需要具有足夠大的存儲容量，以容納作為將要經歷放大處理的結果的 水平處理的結果。另外，即使不進行垂直方向部分放大處理，如果在向上方向上垂直建立 垂直補償速度分量Y一STB—*，則操作會與進行垂直方向部分放大處理的情況 中的那些操作一樣。因而，垂直處理FIFO行存儲器62需要具有將垂直方向 的手移動變化考慮在內的存儲容量。應當注意，在上述實施例的情況下，如果1個垂直周期是1/60秒，則每 個圖片劃分Pdiv的時間長度DIV是(l/60)/8-l/480秒。根據實驗結果，用每 一個具有1/480秒的時間長度DIV的圖片劃分Pdiv,基於檢測出的手移動速 度矢量對圖像補償由於手移動造成的失真的處理提供充分的所需補償效果， 已經證明作為補償處理的結果得到的圖像是良好的圖像。圖52示出作為在水平處理和垂直處理過程中的鎖存時間、在寄存器塊 53中使用的寄存器的鎖存定時，這在前述描述過。如圖所示，在該實施例中，在對應於垂直同步信號V-SYNC的一個周期 中的每個圖片劃分Pdiv—0至Pdiv_7的第 一 水平線的時間點產生微機中斷。當發生微機中斷時，在速度矢量處理單元80產生水平補償速度分量X—STB—*和垂直補償速度分量Y—STB—*,並存儲在寄存器塊53中使用的IF 寄存器中。如果水平補償速度分量X—STB—*和垂直補償速度分量Y—STB—*的值要 通過CPU執行軟體來計算，圖52所示的周期性產生中斷的技術是一種有效 方法。在寄存器塊53中，觀察圖片劃分值HDIV一CNT的變化，並用作產生鎖 存脈衝的基礎。然後，已經如前所述由CPUl在上述IF寄存器中設置的水平 補償速度分量X—STB—*和垂直補償速度分量Y—STB—*分別被傳給水平處理 寄存器和垂直處理寄存器，並且以如上述產生的鎖存脈衝設定的定時鎖存在 水平處理寄存器和垂直處理寄存器中。也就是說，將在水平處理塊51中使用 的水平補償速度分量X—STB—*在其使用前鎖存在水平處理寄存器中。同時， 要在垂直處理塊52中使用的垂直補償速度分量Y—STB—*也鎖存在垂直處理 寄存器中。基本上，要在垂直處理塊52中使用的垂直補償速度分量Y一STB—*持續 保持為垂直補償速度分量Y—STB—*的值，其與要在水平處理塊51中使用的 水平補償速度分量X_STB—*同時鎖存在垂直處理寄存器中。然而，垂直處理塊52持續保持為這個數值的事實僅在垂直處理塊52的 幀處理激活脈衝VL1的激活狀態與水平處理塊51的幀處理激活脈沖VL0的 激活狀態之間的周期的情況中存在。幀處理激活脈衝VL1的激活狀態是幀處 理激活脈衝VL1設定為高水平的狀態。同樣地，幀處理激活脈衝VL0的激活 狀態是幀處理激活脈衝VL0設定為高水平的狀態。幀處理激活脈衝VL1的激 活狀態與幀處理激活脈衝VL0的激活狀態之間的周期是鎖存啟動信號RV處 於激活狀態或設定在高水平的狀態。這是因為垂直處理時間會變長，不僅延長至輸入圖像的垂直同步信號 V-SYNC，而且延長至作為水平處理塊51的幀處理激活脈衝VL0的、為下一 幀產生的脈衝。[本發明提供的圖像信號失真補償裝置的第二實施例]在圖30所示的實施例中，圖像存儲器單元4包括兩個幀存儲器41和42。 首先，從數據轉換單元14接收到的數字拍攝信號作為原始幀存儲在幀存儲器 41中。然後，在經過對應於一幀的時間以後，存儲在幀存儲器41中的原始
幀轉移到幀存儲器42中，並且從數據轉換單元14接收到的新數字拍攝信號作為參考幀存儲在幀存儲器41中。也就是說，原始幀存儲在幀存儲器42中， 參考幀存儲在幀存儲器41中。因而，手移動位移矢量檢測單元15所採用的、 作為用於檢測原始和參考幀之間的移動矢量的定時的定時比原始幀滯後對應 於一幀的時間段。另一方面，在第二實施例的情況下，觀察圖像拾取器件ll輸出的圖像數 據，並將其作為允許對光澤掃描(lusterscan)的流數據計算SAD值的結構中的 參考幀的圖像數據來處理。圖53是表示實現拍攝裝置IO的第二實施例的框圖。如從圖53中可以清 楚看出，拍攝裝置10的結構與圖30所示的第一實施例所實現的拍攝裝置10 的結構完全一樣，只是在第二實施例的情況中，圖像存儲器單元4隻包括一 個幀存儲器43。在第二實施例中，作為目標幀的原始幀存儲在行存儲器43中，作為流而 由數據轉換單元14輸出的流作為參考幀。前述第一實施例中使用的手移動位 移矢量檢測單元15進行依據分別存儲在幀存儲器41和42中的兩個幀中的圖 像數據計算SAD值的處理，將該值作為表示目標塊與參考塊之間的相關性的 典型相關值。另一方面，在圖53所示的該第二實施例的情況下，幀存儲器 43中存儲的圖像數據作為用作目標幀的原始幀的圖像，而來自數據轉換單元 14的流圖像數據用作參考幀的圖像數據，手移動位移矢量檢測單元15依據 這兩幀的圖像數據進行計算SAD值的處理，將該值作為表示目標塊與參考塊 之間的相關性的典型相關值。然後，解析度轉換單元16依據手移動位移矢量檢測單元15檢測的移動 矢量從幀存儲器43中剪切圖像數據。這樣，可以輸出沒有由於手移動造成的 失真的圖像數據。其餘的結構和操作與第 一 實施例相同。如上所述，在第二實施例的情況下，來自數據轉換單元14的流圖像數據 用作參考幀的圖像數據。結果，對於輸入參考幀上的特定像素，包括作為特 定像素的拷貝的像素的多個參考塊同時存在於參考幀上。參照圖54解釋這些 參考塊的存在。從圖54中可以清楚看出，參考幀102上的搜索範圍105包括輸入像素 Din，其是原始幀101上的目標塊103上的像素D2的拷貝像素。輸入像素Din 是由參考矢量1071指向的參考塊1061的左側上包含的像素以及由參考矢量
1072指向的參考塊1062的右上角處包含的像素。因而，在計算像素間的像素值的差異的處理中處理參考塊1061中時，輸 入像素Din的像素值必須與目標塊103上的像素Dl進行比較。另一方面， 在計算像素間的像素值的差異的處理中處理參考塊1062時，輸入像素Din的 像素值必須與目標塊103上的像素D2進行比較。為了使解釋易於理解，後面要描述的圖54和圖55中的每一個只示出兩 個參考幀。然而，現實中，參考塊的數目包括存在的輸入像素Din。在根據第二實施例計算目標塊與參考塊之間的SAD值的處理中，通過找 出正被處理的參考塊106上的輸入像素Din的亮度值Y與作為對應於輸入像 素Din的點的點的、目標塊103上存在的點處的像素的亮度值Y之間的差的 絕對值，來計算像素值的差。每次計算這個差的絕對值時，差的絕對值就累 加到之前存儲在表元素中的臨時和上作為所述差的絕對值的和，所述臨時和 作為表元素根據與參考塊106相關的參考矢量107包含在SAD表108中。對 與包括輸入像素Din的參考幀106相關的每個參考矢量107進行計算像素值讓我們假定，例如，參考塊1061是當前正被處理的參考塊。在這種情況 下，通過找出參考塊1061上的輸入像素Din的亮度值Y與作為對應於輸入 像素Din的點的點的、目標塊103上存在的點處的像素Dl的亮度值Y之間 的差的絕對值，來計算像素值的差。然後，將計算出的差的絕對值累加到之 前存儲在相關值表元素(或SAD表元素)1091中的臨時和上作為所述差的絕對 值的和,所述臨時和根據與參考塊1061相關的參考矢量1071、作為表元素 包含在圖55所示相關值表(或SAD表)108中。對與包括輸入像素Din的參考 幀106相關的每個參考矢量107進行計算像素值中的差的絕對值的處理以及 將計算出的絕對值累加到之前計算出並存儲在SAD表元素1091中的臨時和 上的處理。例如，參考矢量1072和也包括輸入像素Din的參考塊1062相關。 在這種情況下，如下對參考矢量1072進行計算像素值中的差的絕對值的處理 以及將計算出的絕對值累加到之前計算並存儲在SAD表元素1092中的臨時 和上的處理，所述臨時和根據與參考塊1062相關的參考矢量1072、作為表 元素包含在圖55所示的相關值表(或SAD表)108中。當處理參考塊1062時， 通過找出參考塊1062上的輸入像素Din的亮度值Y與作為對應於像素Din 的點的點的、目標塊103上存在的點處的像素D2的亮度值Y之間的差的絕對值來計算像素值的差。然後，計算出的差的絕對值累加到之前存儲在SAD表元素1092中的臨時和上作為所述差的絕對值的和，所述臨時和根據與參考 塊1062相關的參考矢量1072、作為表元素包含在圖35所示SAD表108中。對搜索範圍105內的所有輸入像素Din進行對每個包括輸入像素Din的 所有參考塊106進行的處理，並且，當對所有輸入像素Din進行了處理時， SAD表108的每個表元素109包含最終SAD值並完成SAD表108的創建。參照圖55的解釋適用於將傳統技術來應用於以實時方式計算SAD值的 處理的情況。如前面參照圖55進行的描述，SAD表元素1091和1092每一 個是包含在SAD表108中的典型SAD表元素109,作為分別與參考矢量1071 和1072相關的元素。另一方面，在該第二實施例的情況下，相關值表(或SAD 表)108的每個表元素109不是最終SAD值，其是如上所述的像素中的差異的 絕對值的累加和。取而代之的是，與前述第一實施例很像，SAD表108被縮 小成縮小相關值表(或收縮SAD表)，縮小相關值表(或收縮SAD表)的每個表 元素是通過執行如下步驟得到的值計算參考幀106上的搜索範圍內的輸入像素與目標幀上的對應像素之間 的像素值的差異的絕對差；以縮小因子1/n縮小指向參考塊106的參考矢量107;採用線性加權分布技術將計算出的絕對差拆分成多個分量絕對差；以及將分量絕對差累加到之前計算出並存儲在與多個鄰近縮小參考矢量相關 的多個表元素中的暫時和上，所述鄰近縮小參考矢量接近縮小參考矢量107 後得到的縮小矢量。為指向包括輸入像素的參考塊106的每個參考矢量107執行上述步驟， 以得到表元素中存儲的值。為每個輸入像素重複對指向分享輸入像素的參考 塊106的所有參考矢量107執行的步驟。當對包含在搜索範圍內的每個輸入 像素執行了這些步驟時，完成縮小相關值表(或收縮SAD表)。在完成收縮SAD表以後，可以通過採用與第一實施例完成相同的技術進 行根據第二實施例的檢測準確可移動矢量的處理。如前所述，由第一實施例 採用的典型技術是二次曲面技術以及基於在朝向垂直和水平方向的平面上施 加的三次曲線的技術。圖56和57示出了代表由在根據第二實施例的拍攝裝置10中使用的手移 動位移矢量檢測單元15進行的檢測移動矢量的處理的流程。
流程從步驟S401開始，在該步驟手移動位移矢量檢測單元15接收包含 在作為參考幀的輸入圖像中的幀上的任何點(x，y)處的像素的像素數據 Din(x,y)。然後，在下一個步驟S402,指定指向每一個都包括位置(x,y)處的輸 入像素Din(x,y)的多個參考塊Ii之一的參考矢量(vx,vy)。讓我們用符號Ii(x，y)表示由參考矢量(vx，vy)指向的參考塊Ii上的點(x,y) 處的像素的像素值，而用符號Io(x-vx，y-vy)表示目標塊Io上的點(x-vx,y-vy) 處的像素的像素值。在以下描述中，目標塊Io中的點(x-vx,y-vy)說成是對應 於參考塊Ii中的點(x,y)的點。然後，在下一步驟S403中，像素值Ii(x,y)與像 素值Io (x-vx,y-vy)之間的差的絕對值a根據以下公式(3)來計算 a=| Io (x-vx, y-vy) - Ii (x，y) | (3)然後，在下一步驟S404，通過以縮小因子1/n縮小指向參考塊Ii的參考 矢量(vx,vy)來計算縮d 、參考矢量(vx/n,vy/n)。隨後，在步驟S405,識別位於縮小參考矢量(vx/n,vy/n)附近的多個鄰近 參考矢量。如前所述，鄰近參考矢量的每一個是具有整數vx/n值和整數vy/n 值的縮小參考矢量。在該實施例中，鄰近參考矢量的數目設定為四。然後， 在下一個步驟S406，依據由鄰近參考矢量所指向的位置與由前述縮小參考矢 量(vx/n，vy/n)所指向的位置之間的關係，採用線性加權分布技術，將作為像素 值差異的、在步驟S403發現的絕對值a拆分成四個分量差異。隨後，在下一 步驟S407,所述四個分量差異在縮小相關值表中包含的四個表元素中進行分 配，作為分別與四個鄰近參考矢量相關的四個表元素。在完成步驟S407的處理以後，根據第二實施例的處理流程繼續到下一步 驟S408,以產生關於確定是否已經對每一個都指向包括輸入像素Din(x，y)的 參考塊Ii的所有參考矢量(vx,vy)進行了步驟S402至S407的處理的結果。如 果確定的結果表明還沒有對每一個都指向包括輸入像素Din(x,y)的參考塊Ii 的所有參考矢量(vx，vy)進行了步驟S402至S407的處理，根據處理流程退回 到步驟S402，在該步驟指定指向每一個都包括輸入像素Din(x,y)的多個參考 塊Ii之一的另一參考矢量(vx，vy)。然後，重複步驟S402之後的步驟S403至 S407的處理。另一方面，如果在步驟S408產生的確定結果表明已經對每一個都指向包 括輸入像素Din(x,y)的參考塊Ii的所有參考矢量(vx,vy)進行了步驟S402至 S407的處理，則根據第二實施例的處理流程繼續到圖57所示的流程的步驟
S411,以產生關於是否已經對搜索範圍105中的所有輸入像素Din(x，y)進行 了步驟S402至S408的處理的確定結果。如果確定結果表明還沒有對搜索範 圍105中的所有輸入像素Din(x,y)進行步驟S402至S408的處理，根據第二 實施例的處理流程退回到步驟S401，在該步驟接收幀上另一點(x,y)處的另一 像素的像素數據Din(x,y)。然後，進行後續步驟的處理。另一方面，如果在步驟S411產生的確定結果表明已經對搜索範圍105中 的所有輸入像素Din(x,y)進行了步驟S402至S408的處理，根據第二實施例 的處理流程繼續到步驟S412,在該步驟在表元素地址(mx，my)檢測縮小相關 值表或收縮SAD表的所有元素中存儲的所有分量最終SAD值中的最小值。然後，在下一個步驟S413,建立二次曲面，作為近似在表元素地址(mx,my) 檢測的最小相關值以及作為表元素地址(mx，my)附近的表元素的、在縮小相關 值表中存儲的多個相關值的曲面。如上所述，相關值的每一個是SAD值。在 該第二實施例的情況下，存儲在縮小相關值表中作為表元素地址(mx,my)附近 的表元素的相關值的數目設定為15。然後，在下一個步驟S414，檢測以分數 水平精度指向X-Y平面上的位置的最小值矢量(px，py),作為對應於二次曲面 上的最小SAD值的矢量。由最小值矢量(px，py)所指向的位置是對應於二次曲 面上的最小SAD值的位置。然後，在最後的步驟S415,用最小值矢量(px,py)乘以如圖6所示的縮小 因子的倒數值n計算出具有原始大小和原始方向的移動矢量(pxxn,pyxn)。應當注意，同樣在第二實施例的情況下，代替上述二次曲面方法，基於 施加在分別面向垂直和水平方向的兩個三次曲線的三次曲線方法也能用作抬r 測以分數水平的精度指向一個位置的移動矢量(px,py)的方法，如在前述的第 一實施例的第一至第三典型實現中那樣。另外，不必說，同樣在第二實施例的情況下，通過使用縮小的SAD表檢 測移動表的處理可以按兩個或更多階段重複地進行，同時減小搜索範圍，並 且如有必要，改變縮小因子，如在前述的第一實施例的第三典型實施例中那 樣。第二實施例具有與第一實施例相比幀存儲器的尺寸可以減小一幀的優 點，所以，可以縮短在幀存儲器中存儲輸入圖像的時間。不必說，可以證明 存儲器尺寸減小的效果。然而，近年來，其用於在幀存儲器中存儲輸入圖像 的較短時間被認為是重要的特性。特別是，在處理動態圖片的系統中，其自
身用於在幀存儲器中存儲輸入圖像的較短導致系統延遲的縮短。因而，消除 由拍攝的真實目標與其在顯示面板上顯示的圖像之間的差異造成的不兼容的 感覺對引起用戶對產品的興趣的努力有很大作用。 [其它實施例和不同的例子]在上述第 一和第二實施例的情形中，每個圖片劃分在水平方向上被分成 多個部分，並在每個部分中設定目標塊。然後，找出每一個都為設定在每個 圖片劃分的部分中的目標塊之一而檢測的移動矢量的平均值，作為圖片劃分 的移動矢量。然而，不必說，這些實施例的每一個也能分別變成具有以下構 造的實施例，即，其中在每個圖片劃分中只設定一個目標塊，並且為每個目 標塊檢測參考矢量，而不是找出為目標塊檢測的參考矢量的平均。另外，在上述第一和第二實施例的情形中，水平補償速度分量X—STB—* 用於在時間軸積分處理中對於水平線周期找出水平手移動補償位移量SX一ADD,其實際上是與水平補償速度分量X—STBJ相關的水平線的簡單累 加處理。也就是說，如圖2所示，關於時間的積分處理是如下找出水平手移 動補償位移量SX_ADD的處理SX—ADD=X—STB—*的累加和 同樣地，垂直補償速度分量Y—STBJ用於在時間軸積分處理中對於垂直 線周期找出垂直手移動補償位移量SY一ADD,其實際上是與垂直補償速度分 量Y—STB—*相關的水平線的簡單累加處理。也就是說，關於時間的積分處理 是如下找出垂直手移動補償位移量SY_ADD的處理SY—ADD=Y_STB—*的累加和 然而，代替進行上述積分處理，不必說，這些實施例的每一個也可以變 成具有如下構造的實施例，即，其中如下通過用手移動補償量SY—ADD乘以 1水平線的周期找出垂直手移動補償量SX—ADD=X—STB—* x線的周期SY—ADD=Y—STB—*乂線的周期 此外，在上述第一和第二實施例的情況下，拍攝裝置對圖像補償由於操 作裝置的用戶的手移動造成的失真。然而，不必說，這些實施例也可以變成 具有如下構造的實施例，即，其中拍攝裝置對圖像補償由於抖動的偏壓力導 致在成像器所成圖像的水平和/或垂直方向上相對於圖像拾取器件的位移所 引起的失真。
此外，在上述第一和第二實施例的情況下，CMOS成像器用作X-Y地址固態圖像拾取器件。然而，不必說，圖像拾取器件並不限於CMOS成像器。而且，本發明不僅能應用於照相機，而且還能應用於其它拍攝裝置，諸 如手機和可攜式信息終端，它們中的每一個都配備有圖像拾取器件。另外， 本發明不僅能應用於作為用於對拍攝對象進行拍攝的裝置的、用戶的手操作 的裝置，而且也能應用於可能受到諸如抖動之類的外力影響的固定位置上的 裝置，以及作為用圖像拾取器件對拍攝對象進行拍攝的裝置的、安裝在交通工具等上的裝置。安裝在固定位置上的裝置的例子是個人計算機和TV電話。 順便提及，本領域技術人員應當理解，根據設計需要和其它因素可以進 行各改修改、組合、子組合和變換，只要它們落入所附權利要求及其等同物 的範圍內。
權利要求
1、 一種對一屏圖像的信號補償在該一屏圖像的水平和/或垂直方向上的失真的方法，該方法包括如下步驟將所述圖像的一屏區域分成多個圖片劃分；根據與兩個屏中的一個上的具體圖片劃分和所述兩個屏中的另 一個上的 具體圖片劃分之間的圖像差有關的信息，對於所述圖片劃分中每個具體的圖 片劃分檢測所述圖像的移動矢量；找出任何特定圖片劃分與臨近該特定圖片劃分的圖片劃分之間的所檢測 的移動矢量之差，以便對於所述特定圖片劃分檢測圖像失真的變化速度；以 及根據作為圖像失真的變化速度的所檢測出的所述每個圖片劃分的速度， 針對每個所述圖片劃分補償所述圖像的失真。
2、 如權利要求1所述的補償圖像信號的方法，其中作為圖像失真的變化 速度的、所檢測出的所述圖像的所述圖片劃分中每個特定的圖片劃分的速度 的時間積分值用作要被補償的所述特定圖片劃分的失真移動量，並且用所述 時間積分值對所述圖像的所述特定圖片劃分補償失真。
3、 如權利要求1所述的補償圖像信號的方法，其中所述圖像的所述失真 是由於圖像拾取器件在拍攝時在拍攝對象的水平和/或垂直方向上的位置改 變而在所述圖像拾取器件中產生的圖像失真。
4、 如權利要求3所述的補償圖像信號的方法，其中 所述圖像拾取器件允許以像素為單位讀取所述圖像的數據；以及 在所述圖片劃分的每個具體圖片劃分中，使用作為要進行失真補償的元素的讀取延遲時間的、相對於所述具體圖片劃分的頭元素的讀取延遲時間， 對圖像失真中的所述變化速度關於時間進行積分，以給出移動量，其用作要 被補償的所述元素的移動量，以便對所述圖像拾取器件中產生的所述圖像補 償失真。
5、 如權利要求3所述的補償圖像信號的方法，其中 每個所述圖片劃分包括多個線；以線為單位從所述圖像拾取器件中讀取所述圖像的數據；以及 在所述圖片劃分的每個具體圖片劃分中，對作為圖像失真中的所述變化 速度而對於所述具體圖片劃分檢測的速度關於時間進行積分，直到所述線單 元中任何一個特定的線單元，以給出移動量，其用作在所述特定線單元位置 上的移動量，以便補償所述圖像失真。
6、 如權利要求3所述的補償圖像信號的方法，其中 圖像失真中的所述變化速度分成水平方向速度分量和垂直方向速度分量；用所述水平方向速度分量補償所述圖像的水平方向失真；以及 用所述垂直方向速度分量補償所述圖像的垂直方向失真。
7、 如權利要求5所述的補償圖像信號的方法，其中圖像失真中的所述變化速度分成水平方向速度分量和垂直方向速度分量；在所述圖片劃分的每個具體圖片劃分中，對所述具體圖片劃分的所述水 平方向速度分量關於時間進行積分，直到所述線單元中的任何一個特定的線 單元，以給出水平方向移動量，其用作在所述特定線單元位置上的水平方向 移動量，以便補償所述圖像的水平方向失真；以及在所述圖片劃分的每個具體圖片劃分中，對所述具體圖片劃分的所述垂 直方向速度分量關於時間進行積分，直到所述線單元中的任何一個特定的線 單元，以給出垂直方向移動量，其用作在所述特定線單元位置上的垂直方向 移動量，以便補償所述圖像的垂直方向失真。
8、 如權利要求7所述的補償圖像信號的方法，其中.-彼此同時地進行補償所述圖像的水平方向失真的處理和補償所述圖像的 垂直方向失真的處理；以及對所述垂直方向速度分量關於時間進行積分，同時總是檢查所述補償所 述圖像拾取器件中創建的圖像的水平方向的失真的處理的進展程度，。
9、 如權利要求1所述的補償圖像信號的方法，其中為所述圖片劃分中的 每個具體圖片劃分檢測所述圖像的移動矢量的所述步驟包括如下子步驟使用圖像，該圖像是用作參考屏的觀察屏以及所述參考屏之前的原始屏， 以檢測所述移動矢量；在所述原始屏上的每個所述圖片劃分內的預定位置設定至少一個目標 塊，該目標塊具有與多個像素的大小相等的預定大小；對於每個所述目標塊，在所述參考屏內設定的搜索範圍中設定多個具有與所述目標塊相同大小的參考塊；從所述多個參考塊中檢測與所述特定目標塊具有最強相關性的參考塊，以及參考塊的位置的位移的大小和方向的所述移動矢量。
10、如權利要求9所述的補償圖像信號的方法，其中 通過進行以下步驟為每個所述圖片劃分檢測所述圖像的所述移動矢量對所述參考塊中每個特定參考塊的差異絕對值總和計算處理，作為 找出所述特定參考塊中的所有像素與位於所述特定目標塊上的相應位置 上的所有像素之間的像素值之差的絕對值總和的處理；縮小參考矢量設定處理，設定每個都表示在所述參考屏上從對應於 所述特定目標塊的位置到一個所述參考塊的位置的位移的大小和方向的 參考矢量，並以預定的縮小因子縮小所述參考矢量以得到縮小參考矢量;絕對差總和表創建處理，創建包括表元素的收縮的絕對差總和表， 表元素數目根據所述縮小參考矢量的數目及所述縮小因子來確定，並分 配每個所述表元素作為用於存儲由總和計算得出的數值的位置，所述總 和的每一個都是為一個所述參考塊找出的並作為所述像素值之差的絕對 值的所述總和；以及移動矢量計算處理，至少使用縮小參考矢量來計算每個所述圖片劃 分的所述移動矢量作為所述參考屏與所述原始屏之間的移動矢量，所述 縮小參考矢量對應於每一個都存儲在所述收縮的絕對差總和表內作為所 述像素值之差的絕對值的所述總和的多個值中最小的 一個，以及通過執行以下處理來進行所述絕對差總和表創建處理鄰近參考矢量檢測子處理，確定多個鄰近參考矢量，每一個都具有與在所述縮小參考矢量設定處理中得到的所述縮小參考矢量中相應一個的矢量大小接近的矢量大小；總和分量計算子處理，從對於參考塊的所述差異絕對值總和計算處理中計算出的總和計算多個總和分量作為所述像素值之差的絕對值的所述總和，每個總和分量都與在所述鄰近參考矢量檢測子處理中確定為對應於一個特定的所述縮小參考矢量的所述鄰近參考矢量的一個鄰近參考矢量相關，由此縮小所述特定縮小參考矢量；以及分量總數計算子處理，通過將每個所述總和分量與對於所述特 定鄰近參考矢量迄今為止所得到的累加總數相累加來計算總和分 量的總數，所述總和分量已經在所述總和分量計算子處理中計算 出，作為每一個都與一個特定的所述鄰近參考矢量相關的所述總和 分量。
11、 如權利要求9或IO所述的補償圖像信號的方法，其中 每個所述圖片劃分還分成多個圖片子劃分；所述目標塊設在每個所述圖片子劃分中； 對於每個所述目標塊檢測所述移動矢量；以及從每一個對於在所述特定圖片劃分中設定一個所述目標塊進行^r測的多 個所述移動矢量來檢測任何一個特定的所述圖片劃分的移動矢量。
12、 如權利要求11所述的補償圖像信號的方法，其中將每一個對於在任 意一個特定的所述圖片劃分中設定的一個所述目標塊進行^^測的多個所述移 動矢量的平均矢量作為所述特定圖片劃分的移動矢量。
13、 如權利要求12所述的補償圖像信號的方法，其中，在計算每一個對 於所述目標塊之一進行檢測的多個所述移動矢量的平均矢量的處理中，檢驗 所述多個移動矢量以產生關於所述移動矢量是否包括異常移動矢量的確定結 果，如果所述確定的所述結果表明所述移動矢量包括異常移動矢量，則從計 算所述移動矢量的平均矢量的所述處理中排除所述異常移動矢量。
14、 一種對一屏圖像的信號補償在參考屏的水平和/或垂直方向上的失真 的方法，該方法包括如下步驟將所述圖像的一屏區域分成多個圖片劃分；根據與用作所述參考屏的觀察屏上的所述具體圖片劃分與所述參考屏前 面的原始屏上的所述具體圖片劃分之間的圖像差相關的信息，對於所述圖片 劃分中每個具體的圖片劃分檢測所述圖像的移動矢量；以及根據對於每個所述圖片劃分檢測的所述移動矢量，對每個所述圖片劃分 補償所述圖像的失真，其中所述對於所述圖片劃分中每個具體的圖片劃分檢測所述圖像的移動 矢量的步驟包括如下子步驟在所述原始屏上的每個所述圖片劃分內的預定位置設定至少一個目 標塊，該目標塊具有與多個像素的大小相等的預定大小；對於每個所述目標塊，在所述參考屏內設定的搜索範圍中設定多個 大小與所述目標塊的所述預定大小相同的參考塊，從所述多個參考塊檢測與所述特定目標塊具有最強相關性的參考 塊，以及通過進行以下步驟檢測表示在所述參考屏上從對應於所述特定目標 塊的位置到所述檢測的參考塊的位置的位移的大小和方向的所述移動矢量對所述參考塊中每個特定參考塊的差異絕對值總和計算處理， 作為找出所述特定參考塊中的所有像素與位於所述特定目標塊上的相應位置上的所有像素之間的像素值之差的絕對值總和的處理；縮小參考矢量設定處理，設定每個都表示在所述參考屏上從對 應於所述特定目標塊的位置到一個所述參考塊的位置的位移的大小 和方向的參考矢量，並以預定的縮小因子縮小所述參考矢量以得到 縮小參考矢量；絕對差總和表創建處理，創建包括表元素的收縮的絕對差總和 表，表元素數目根據所述縮小參考矢量的數目及所述縮小因子來確 定，並分配各個所述表元素作為用於存儲由總和計算得出的數值的 位置，所述總和的每一個都是為一個所述參考塊找出的並作為所述 像素值之差的絕對值的所述總和；以及移動矢量計算處理，至少使用縮小參考矢量來計算每個所述圖 片劃分的所述移動矢量作為所述參考屏與所述原始屏之間的移動矢 量，所述縮小參考矢量對應於存儲在所述收縮的絕對差總和表內作 為所述像素值之差的絕對值的所述總和的各個值中最小的 一個，由此，通過執行以下處理來進行所述絕對差總和表創建處理鄰近參考矢量檢測子處理，確定多個鄰近參考矢量，每一 個都具有與在所述縮小參考矢量設定處理中得到的所述縮小的參考矢中相應一個的矢量大小接近的矢量大小；總和分量計算子處理，根據參考塊的所述差異絕對值總和 計算處理中計算出的總和計算多個總和分量作為所述像素值之 差的絕對值的所述總和，每個總和分量都與在所述鄰近參考矢 量檢測子處理中確定為對應於一個特定的所述縮小參考矢量的 所述鄰近參考矢量的一個鄰近參考矢量相關，由此縮小所述特 定縮小參考矢量；以及分量總數計算子處理，通過將每個所述總和分量與對於所 述特定鄰近參考矢量迄今為止所得到的累加總數相累加來計算 總和分量的總數，所述總和分量已經在所述總和分量計算子處 理中計算出，作為每一個都與一個特定的所述鄰近參考矢量相 關的所述總和分量。
15、 一種拍攝方法，用於對成像器所成圖像補償由作為圖像拾取器件的位置改變的、手移動造成的位置改變產生的失真，並用於在記錄介質上記錄所述補償圖像的信息，所述拍攝方法包括以下步驟 將所述圖像的一屏區域分成多個圖片劃分；根據與兩個屏中的一個上的具體圖片劃分和所述兩個屏中的另 一個上的 具體圖片劃分之間的圖像差異有關的信息，對所述圖片劃分中每個具體的圖 片劃分檢測所述圖像的移動矢量；根據與觀察屏上的所述具體圖片劃分與所述參考屏前面的原始屏上的所 述具體圖片劃分之間的圖像差相關的信息，對於所述圖片劃分中每個具體的 圖片劃分檢測所述成像器所成圖像的移動矢量；找出任何特定圖片劃分與臨近該特定圖片劃分的圖片劃分之間的所述4企 測的移動矢量之差，以便檢測所述特定圖片劃分的所述位置改變的速度；根據作為所述位置改變的所述速度的、對於每個所述圖片劃分檢測的速 度，為每個所述圖片劃分補償所述成像器所成圖像的失真；以及將所述補償的成像器所成圖像的圖像信息記錄到記錄介質上。
16、 一種對一屏的圖像的信號補償在該一屏圖像的水平和/或垂直方向上 的失真的裝置，包括移動矢量檢測單元，配置用於根據與用作參考屏的觀察屏上的具體圖片 劃分與所述參考屏前面的原始屏上的所述具體圖片劃分之間的圖像差相關的 信息，對於作為劃分一屏圖像的一屏區域的結果得到的圖片劃分中每個具體 的圖片劃分檢測所述圖像的移動矢量；速度檢測單元，配置用於通過找出經由所述移動矢量^r測單元對於所述 特定圖片劃分檢測出的所述移動矢量與經由所述移動矢量檢測單元對於與所述特定圖片劃分相鄰的圖片劃分檢測出的所述移動矢量之差，來對所述圖片 劃分中每個具體的圖片劃分檢測圖像失j的改變速度；以及失真補償單元，配置用於根據作為所述特定圖片劃分的圖像失真的所述 變化速度的、由所述速度檢測單元檢測的速度，對於所述圖片劃分中每個具 體的圖片劃分補償所述圖像失真。
17、 如權利要求16所述的補償圖像信號的裝置，其中所述失真補償單元 還包括移動量積分單元，配置用於計算作為圖像失真中的所述變化速度的、對 於所述圖片劃分中每個具體的圖片劃分檢測的速度的時間積分值，並將所述 時間積分值作為要被補償的所述特定圖片劃分的失真移動量；以及圖像補償單元，配置用於通過使用由所述移動量積分單元計算出的所述 時間積分值來補償所述圖像的失真。
18、 如權利要求16所述的補償圖像信號的裝置，其中所述圖像的所述失 真是由於所述圖像拾取器件在拍攝時在拍攝對象的水平和/或垂直方向上的 位置改變而在圖像拾取器件中產生的圖像失真。
19、 如權利要求18所述的補償圖像信號的裝置，其中所述圖像拾取器件 允許以像素為單位從所述圖像拾取器件讀取由所述圖像拾取器件創建的所述 圖像的數據，並且所述失真補償單元還包括移動量積分單元，配置用於使用作為要進行失真補償的元素的讀取延遲 時間的、相對於所述具體圖片劃分的頭元素的讀取延遲時間，對所述圖片劃 分的每個具體圖片劃分中的所述圖像失真中的所述變化速度關於時間進行積 分，以給出移動量；以及圖像補償單元，配置用於使用由所述移動量積分單元找出的所述移動量 來補償所述圖像的失真。
20、 如權利要求18所述的補償圖像信號的裝置，其中， 每個所述圖片劃分包括多個線；以每一個分別對應於所述線中的任何一個的線為單元，從所述圖像拾取 器件中讀取所述圖像的數據；以及 所述失真補償單元還包括移動量積分單元，配置用於在所述圖片劃分的每個具體圖片劃分中， 對作為圖像失真中的所述變化速度而對於所述具體圖片劃分檢測的速度關於時間進行積分，直到所述線單元中任何一個特定的線單元，以給出移動量；以及圖像補償單元，配置用於使用由所述移動量積分單元找到的、作為 在所述特定線單元的位置處的移動量的所述移動量來補償所述圖像失真。
21、 如權利要求18所述的補償圖像信號的裝置，其中所述失真補償單元 還包括速度拆分單元，配置用於將圖像失真的所述變化速度分成水平方向速度 分量和垂直方向速度分量；水平補償處理單元，配置用於用所述速度拆分單元輸出的所述水平方向 速度分量補償所述圖像的水平方向的失真；以及垂直補償處理單元，配置用於用所述速度拆分單元輸出的所述垂直方向 速度分量補償所述圖像的垂直方向的失真。
22、 如權利要求20所述的補償圖像信號的裝置，其中 所述失真補償單元中使用的所述移動量積分單元還包括速度拆分單元，配置用於將圖像失真中的所述變化速度分成水平方 向速度分量和垂直方向速度分量；水平方向移動計算單元，配置用於在所述圖片劃分的每個具體圖片劃分中，關於時間對對於所述所述圖片劃分中的任何一個具體圖片劃分 獲得的所述水平方向速度分量進行積分，直到所述線單元中的任何一個 特定的線單元，以給出將被用作在所述特定線單元位置上的水平方向移 動量的水平方向移動量；以及垂直方向移動計算單元，配置用來在所述圖片劃分的每個具體圖片 劃分中，關於時間對對於所述所述圖片劃分中的任何一個具體圖片劃分 獲得的所述垂直方向速度分量進行積分，直到所述線單元中的任何一個 特定的線單元，以給出將被用作在所述特定線單元位置上的垂直方向移 動量的垂直方向移動量；以及 所述失真補償單元中使用的所述圖像補償單元還包括水平方向補償單元，配置用於在每個所述圖像劃分中，通過使用作 為在每個所述線單元位置上的所述水平方向移動量的、由所述水平方向 移動計算單元找出的水平方向移動量，補償所述圖像的水平方向失真；以及垂直方向補償單元，配置用於在每個所述圖片劃分中，通過使用作 為在每個所述線單元位置上的所述垂直方向移動量的、由所述垂直方向 移動計算單元找出的垂直方向移動量，補償所述圖^f象的垂直方向失真。
23、 如權利要求16所述的補償圖像信號的裝置，其中所述移動矢量檢測單元是用於對每個所述圖像劃分找出用作參考屏的觀 察屏與所述參考屏之前的原始屏之間的移動矢量的單元；在所述原始屏上的每個所述圖片劃分內的預定位置設定至少一個目標 塊，該目標塊具有與多個像素的大小相等的預定大小；對於每個所述目標塊，在所述參考屏內設定的搜索範圍中設定多個具有 與所述目標塊的所迷預定大小相同大小的參考塊；在對所述目標塊的每個特定目標塊設定的所述搜索範圍中尋找與所述特 定目標塊具有最強相關性的參考塊，以及參考塊的位置的位移的大小和方向的所述移動矢量。
24、 如權利要求23所述的補償圖像信號的裝置，其中 所述移動矢量檢測單元包括差異絕對值總和計算單元，配置用於找出所述參考塊中每個特定參 考塊的總和，作為所述特定參考塊中的所有像素與位於所述特定目標塊 上的相應位置上的所有像素之間的所述像素值之差的絕對值總和；縮小參考矢量設定單元，配置用於設定每個都表示在所述參考屏上 從對應於所述特定目標塊的位置到一個所述參考塊的位置的位移的大小 和方向的參考矢量，並以預定縮小因子縮小所述參考矢量以得到縮小參 考矢量；絕對差總和表創建單元，配置用於創建包括表元素的收縮的絕對差 總和表，表元素數目根據所述縮小參考矢量的數目及所述縮小因子來確 定，並分配每個所述表元素作為用於存儲由總和計算得出的數值的位置, 所述總和的每一個都是為一個所述參考塊找出的並作為所述像素值之差 的絕對值的所述總和；以及移動矢量計算單元，配置用於至少使用縮小參考矢量來計算每個所 述圖片劃分的所述移動矢量作為所述參考屏與所述原始屏之間的移動矢量，所述縮小參考矢量對應於存儲在所述收縮的絕對差總和表內作為所 述像素值之差的絕對值的所述總和的各個值中最小的 一個，以及 所述絕對差總和表創建單元包括，鄰近參考矢量檢測單元，配置用於確定多個鄰近參考矢量，每 一個都具有與在所述縮小參考矢量設定單元中得到的所述縮小的參考矢量中相應一個的矢量大小接近的矢量大小；總和分量計算單元，配置用於根據所述差異絕對值總和計算單 元對於由參考矢量指出的參考塊所計算出的總和計算多個總和分量 作為所述像素值之差的絕對值的所述總和，每個總和分量都與在所 述鄰近參考矢量檢測單元中確定為對應於一個特定的所述縮小參考 矢量的所述鄰近參考矢量的一個鄰近參考矢量相關，由此縮小所述特定縮小參考矢量；以及分量總數計算單元，配置用於通過將每個所述總和分量與對於所述特定鄰近參考矢量迄今為止所得到的累加總數相累加來計算總和分量的總數，所述總和分量已經由所述總和分量計算單元計算出， 作為每一個都與一個特定的所述鄰近參考矢量相關的所述總和分量。
25、 如權利要求22或23所述的補償圖像信號的裝置，其中所述移動矢 量檢測單元包括進一步將每個所述圖片劃分分成多個圖片子劃分；在每個所述圖片子劃分中設定所述目標塊； 對於每個所述目標塊檢測所述移動矢量；以及從每一個對於在任何一個特定的所述圖片劃分中設定一個所述目標塊進 行檢測的多個所述移動矢量來檢測所述特定圖片劃分的移動矢量。
26、 如權利要求25所述的補償圖像信號的裝置，其中所述移動矢量檢測 單元將每一個對於在任意一個特定的所述圖片劃分中設定的一個所述目標塊 進行檢測的多個所述移動矢量的平均矢量作為所述特定圖片劃分的移動矢 量。
27、 如權利要求26所述的補償圖像信號的裝置，其中所述移動矢量檢測單元在計算每一個對於所述目標塊之一進行檢測的多個所述移動矢量的平均矢量的處理中，4全驗所述多個移動矢量以產生關於所述移動矢量是否包括異常移動矢量的確定結果，如果所述確定的所述結果表明所述移動矢量包括異 常移動矢量，則所述移動矢量檢測單元從計算所述移動矢量的平均矢量的所 述處理中排除所述異常移動矢量。
28、 一種補償圖像的裝置，所述裝置包括移動矢量檢測單元，配置用於根據與用作參考屏的觀察屏上的具體圖片 劃分與所述參考屏前面的原始屏上的所述具體圖片劃分之間的圖像差相關的 信息，對於作為劃分一屏圖像的一屏區域的結果得到的圖片劃分中每個具體 的圖片劃分檢測所述圖像的移動矢量；以及圖像失真補償單元，配置用於根據對於每個所述圖片劃分檢測的所述移 動矢量，針對每個所述圖片劃分補償所述圖像在所述觀察屏的水平和/或垂直 方向上的失真，其中，所述移動矢量檢測單元具有目標塊設定單元，配置用於在所述原始屏上的每個所述圖片劃分內的預定位置設定至少一個目標塊，該目標塊具有與多個像素的大小相等的預定大小；參考塊設定單元，配置用於對於每個所述目標塊，在所述參考屏內 設定的搜索範圍中設定多個具有與所述目標塊的所述預定大小相同大小 的參考塊；參考塊檢測單元，配置用於從所述多個參考塊檢測與所述特定目標 塊具有最強相關性的參考塊，以及移動矢量檢測單元，配置用於檢測表示從對應於所述特定目標塊的 位置到所述檢測的參考塊的位置的所述參考屏上的位移的大小和方向的 所述移動矢量，所述移動矢量檢測單元包括差異絕對值總和計算部件，配置用於對於每個所述參考塊找出每個所述參考塊中的所有像素與位於所述特定目標塊上的相應位置處的所有像素之間的像素值之差的絕對值總和；縮小參考矢量設定部件，配置用於設定每個都表示從對應於所述特定目標塊的位置到一個所述參考塊的位置的所述參考屏上的位移的大小和方向的參考矢量，並以預定的縮小因子縮小所述參考矢量以得到縮小參考矢量；絕對差總和表創建部件，配置用於創建包括表元素的收縮的絕 對差總和表，表元素數目根據所述縮小參考矢量的數目及所述縮小 因子來確定，並分配每個所述表元素作為用於存儲由總和計算得出 的數值的位置，所述總和的每一個都是為一個所述參考塊找出的並 作為所述像素值之差的絕對值的所述總和；以及移動矢量計算部件，配置用於至少使用縮小參考矢量來計算每 個所述圖片劃分的所述移動矢量作為所述參考屏與所述原始屏之間 的移動矢量，所述縮小參考矢量對應於每一個都存儲在所述收縮的 絕對差總和表內作為所述像素值之差的絕對值的所述總和的多個值 中最小的一個，以及所述絕對差總和表創建部件包括，鄰近參考矢量檢測子部件，配置用於確定確定多個鄰近參 考矢量，每一個都具有與通過所述縮小參考矢量設定部件得到 的所述縮小參考矢量中相應一個的矢量大小接近的矢量大小；總和分量計算子部件，配置用於從所述差異絕對值總和計 算部件對於由參考矢量指出的參考塊所計算出的總和來計算多 個總和分量作為所述像素值之差的絕對值的所述總和，每個總 和分量都與由所述鄰近參考矢量檢測子部件確定為對應於一個 特定的所述縮小參考矢量的所述鄰近參考矢量的一個鄰近參考矢量相關，由此縮小所述特定縮小參考矢量；以及分量總數計算子部件，配置用於通過將每個所述總和分量 與對於所述特定鄰近參考矢量迄今為止所得到的累加總數相累 加來計算總和分量的總數，所述總和分量已經由所述總和分量 計算子部件計算出，作為每一個都與一個特定的所述鄰近參考 矢量相關的所述總和分量。
29、 一種拍攝裝置，用於對成像器所成圖像補償由作為圖像拾取器件的 位置改變的、手移動造成的位置改變產生的失真，並用於在記錄介質上記錄 所述補償圖像的信息，所述拍攝裝置包括移動矢量檢測單元，配置用於根據與兩個屏中的一個上的具體圖片劃分 和所述兩個屏中的另 一個上的所述具體圖片劃分之間的圖像差異有關的信息 ，對於作為劃分圖像的一屏區域的結果而獲得的圖片劃分中每個具體的圖片 劃分檢測所述圖像的移動矢量；速度計算單元，配置用於找出任何特定圖片劃分與臨近該特定圖片劃分 的圖片劃分之間的、由所述移動矢量檢測單元檢測的所述檢測的移動矢量之差，以便檢測所述特定圖片劃分的所述位置改變的速度；圖像失真補償單元，配置用於根據作為所述位置改變的所述速度的、對 於每個所述圖片劃分檢測的速度，為每個所述圖片劃分補償所述成像器所成 圖像的失真；以及記錄單元，配置用於將所述補償的成像器所成圖像的圖像信息記錄到所 述記錄介質上。
全文摘要
本發明公開了拍攝圖像信號失真補償方法和裝置以及圖像拍攝方法和裝置。所述拍攝圖像信號失真補償方法包括如下步驟將圖像的一屏區域劃分成多個圖片劃分(division)；並根據與兩個屏中的一個上的具體圖片劃分和所述兩個屏中的另一個上的具體圖片劃分之間的圖像差有關的信息對於每個具體的圖片劃分檢測圖像的移動矢量。該方法還包括如下步驟找出任何特定圖片劃分與臨近該圖片劃分的圖片劃分之間的所檢測的移動矢量之差，以便對於所述特定圖片劃分檢測圖像失真的變化速度；以及根據作為圖像失真的變化速度的所檢測出的每個圖片劃分的速度，針對每個圖片劃分，補償圖像的失真。
文檔編號H04N5/225GK101123684SQ20071012884
公開日2008年2月13日 申請日期2007年2月1日 優先權日2006年2月1日
發明者倉田徹 申請人:索尼株式會社