圖像捕捉設備和方法、記錄設備和方法及再現設備和方法
2023-09-16 09:51:25
專利名稱：圖像捕捉設備和方法、記錄設備和方法及再現設備和方法
技術領域：
本發明涉及圖像捕捉(image-capturing )設備和方法、記錄設備和方法及 再現設備和方法。
背景技術：
傳統上，已經在日本專利申請公開No. H09-83952中提出了使用具有大 容量的存儲器在記錄介質上記錄被延遲的經圖像捕捉的畫面的圖像信號的方 法。根據在日本專利申請公開No. H09-83952中公開的這種方法，能夠從在 用戶指示圖像捕捉的開始時的時間點起倒行(retroact) 了設置的時間段的時 間點處的圖像開始記錄，由此使得能夠不錯過圖像捕捉的寶貴時機。
此外，已經在日本專利申請公開No. 2005-295423中提出了通過減小圖像 信號的場頻(field frequency )使用存儲器記錄慢動作圖像的方法。換句話說， 在曰本專利申請公開No. 2005-295423中公開的這種方法中，以高於正常視頻 信號的場頻(50或60場/秒)速度的速度輸出圖像信號，並且以循環方式將 這些圖像信號連續地存儲在存儲器中。然後以正常視頻信號的場頻將由此存 儲在存儲器中的這些圖像信號讀出，並將其記錄在記錄介質上。在下文中， 將以高於正常視頻信號的場頻(field frequency )或幀頻(frame frequency)獲取 任何圖像捕捉畫面的這種處理稱為"高速圖像捕捉"。
此外，結合來自圖像捕捉裝置的圖像信號的輸出，已經在日本專利申請 公開Nos.S64-2480和H01-105674中提出了降低經圖像捕捉的畫面的解析度， 即減少經圖像捕捉的畫面的像素的數量(這涉及從圖像捕捉裝置輸出的圖像 信號)，由此防止圖像信號的數據速率增大的方法。在日本專利申請公開No. H10-51735中也已經提出了通過捕捉經圖像捕捉的畫面的一部分來防止數據 速率增大的方法。
然而，當基於日本專利申請公開No.2005-295423的方法執行高速圖像捕 捉時，用於高速圖像捕捉的時間段以多種方式受限，使得可能出現錯過圖像 捕捉的寶貴時機的問題。
換句話說，在這種方法中，以高速將圖像信號存儲在存儲器中，然後將 其從存儲器中讀出並記錄在記錄介質上，使得可用於在一個圖像捕捉時機時 捕捉圖像的時間段可能受到存儲器的容量的限制。因此，在長時間地拍攝所 期望的場景的情況下，對整個場景執行高速時間捕捉畢竟是很困難的。此外， 在這種方法中，不可能在所有存儲在存儲器中的圖像信號還沒有從其中讀出 之後對下一場景執行圖像捕捉。因此，在以短間隔重複所期望的場景的情況 下，可能錯過拍攝任意重複場景的一部分。
作為解決這樣的問題的一種方法，以高場頻或幀頻獲取圖像信號並將其 直接記錄在海量記錄介質上的方法是可想到的。
然而，如果以高場頻或幀頻產生圖傳_信號，則在實踐方面，在以正常一見 頻信號的場頻或幀頻產生圖像信號的情況下，多半難以產生表示來自圖像捕 捉裝置的所有像素的圖像信號。因此，在這種方法中，在高速圖像捕捉的時
候，如在日本專利申請公開Nos.S64-2480和H01-105674中公開的那樣，必 須降低從圖像捕捉裝置輸出的圖像上的經圖像捕捉的畫面的解析度，或者如 曰本專利申請公開No.H10-51735中公開的那樣，必須減小經圖像捕捉的畫面 的視角。因此，不能獲得具有所期望的解析度的任意經圖像捕捉的畫面，由 此引起畫質劣化或者引起不能獲得具有所期望的視角的經圖像捕捉的畫面。
發明內容
通過考慮上述要點做出本發明，並提出了圖像捕捉設備和方法，記錄設 備和方法以及再現設備和方法，其可以有效地避免畫質劣化等，並在不錯過 任何困像捕捉的寶貴時機的情況下實現高速圖像捕捉，或者可以記錄並再現 通過執行高速圖像捕捉而獲得的圖像信號。
為了解決上述問題，根據本發明的圖像捕捉設備被提供有圖像傳感器， 其產生經圖像捕捉的畫面的圖像信號；以及控制單元，其控制圖像傳感器以 設置的時間段為單元在全視角稀疏讀處理(all-angle-of-view thinning-out read processing )與全像素部分讀處理(all-pixel partially read processing )之間進行 切換，其中在全視角稀疏讀處理中對有效圖像範圍中的像素執行稀疏讀取以 產生圖像信號，在全像素部分讀處理中從部分區域讀出該有效圖像範圍的部 分區域的所有像素以產生圖像信號。
此外，根據本發明的記錄設備被提供有圖像壓縮單元，對通過允許圖
像傳感器以設置時間段為單元在全視角稀疏讀處理與全^f象素部分讀處理之間 切換而產生的經圖像捕捉的畫面的圖像信號執行壓縮處理以便產生經編碼的 數據，其中在全視角稀疏讀處理中對有效圖像範圍中的^f象素執行稀疏讀取以 產生圖像信號，在全像素部分讀處理中從部分區域讀出有效圖像範圍的部分 區域的所有像素以產生所述圖像信號；以及記錄單元，記錄經編碼的數據，
其中圖^f象壓縮單元基於使用預測編碼的編碼系統對通過衝丸行全^L角稀疏讀處
理而獲得的圖像信號執行壓縮處理，並基於不使用預測編碼的編碼系統對通 過執行所述全像素部分讀處理而獲得的圖像信號執行壓縮處理。
另外，根據本發明的再現設備被提供有再現單元，從記錄介質讀出經 編碼的數據，其中在圖像傳感器已經以設置時間段為單元在全視角稀疏讀處 理與全像素部分讀處理之間切換之後，基於使用預測編碼的編碼系統來壓縮 處理通過執行全視角稀疏讀處理而獲得的圖像信號，並將其作為經編碼的數 據記錄在所述記錄介質上，並且基於不使用預測編碼的編碼系統來壓縮處理 通過執行全像素部分讀處理而獲得的圖像信號，並將其作為經編碼的數據記 錄在所述記錄介質上，其中在所述全視角稀疏讀處理中，對有效圖像範圍中 的像素執行稀疏讀取以產生所述圖像信號，在所述全像素部分讀處理中，從 部分區域讀出所述有效圖像範圍的部分區域的所有像素以產生所述圖像信 號；圖像解壓縮單元，解壓縮所讀取的經編碼的數據，以產生圖像信號；以 及圖像合成單元，使用在圖像解壓縮單元中產生的圖像信號來執行合成，其 中圖像合成單元組合通過執行全視角稀疏讀處理而獲得的圖像信號與通過全 像素部分讀處理而獲得的圖像信號。
此外，還提供了根據本發明的圖像捕捉方法、記錄方法和與圖像拾取設 備對應的再現方法、記錄設備和再現設備。
基於根據本發明的配置，如果以高於參考場頻或幀頻的場頻或幀頻產生 並記錄圖像信號，則在參考場或幀時間段內的頂部場或幀中，通過全視角稀 疏讀處理產生圖像信號，並且在參考場或幀時間段內的剩餘場或幀中，通過 全像素部分讀處理產生圖像信號。因此，與在所有場或幀內獲得全視角的經 圖像捕捉的畫面的情況相比，可以減小在參考場或幀時間段期間從圖像傳感 器輸出的信號量，以便可以直接將其記錄在海量記錄介質上。因此，可以避 免在通過存儲器將其記錄的情況下的限制，由此允許在不錯過圖像捕捉的寶 貴時機的情況下實現高速圖像捕捉。還能夠通過組合通過執行全視角稀疏讀
處理而獲得的圖像信號與通過執行全像素部分讀處理而獲得的圖像信號來減 小畫質的劣化。這有效避免了畫質的劣化等，由此允許在不錯過圖像捕捉的 寶貴時機的情況下實現高速圖像捕捉，並使得能夠記錄和再現通過執行高速 圖像捕捉而獲得的圖像信號。
圖1是示出圖像捕捉設備的配置的框圖2是圖解圖像傳感器的操作的圖3是示出照相機信號處理單元的配置的框圖4是示出照相機信號處理單元中的解析度轉換/圖像合成部分的配置的 一部分的框圖5是圖解解析度轉換/圖像合成部分中的水平和垂直增益的圖6是圖解經圖像捕捉的畫面和邊界的坐標關係的圖7是示出圖像壓縮/解壓縮單元的配置的圖8是圖解移動畫面的編碼數據的圖9是示出記錄設備的配置的框圖IO是示出再現設備的配置的框圖11是在以兩倍於參考幀速(frame rate )的幀速執行高速圖像捕捉的情 況下的時間圖像捕捉而獲得的圖像的情況下的時間圖13是在以一半再現速率慢動作再現通過以兩倍於參考幀速的幀速執 行高速圖像捕捉而獲得的圖像的情況下的時間圖14是在以三倍於參考幀速的幀速執行高速圖像捕捉的情況下的時間
圖15是在以常規再現速率再現通過以三倍於參考幀速的幀速執行高速 圖像捕捉而獲得的圖像的情況下的時間圖16是在以四倍於參考幀速的幀速執行高速圖像捕捉的情況下的時間
圖像捕捉而獲得的圖像的情況下的時間圖18是在以一半再現速率慢動作再現通過以四倍於參考幀速的幀速執
行高速圖像捕捉而獲得的圖像的情況下的時間圖19是在以四分之一再現速率慢動作再現通過以四倍於參考幀速的幀
速執行高速圖像捕捉而獲得的圖像的情況下的時間圖20是在以可變速率執行高速圖像捕捉的情況下的時間圖21是在以可變速率再現通過以可變速率執行高速圖像捕捉而獲得的
圖像的情況下的時間圖22是圖解用於運動矢量的決定準則的圖23是圖解在全像素部分讀取中的幀的示意圖；以及
圖24是用於示出對可變速率高速圖像捕捉中幀速的設置處理的步驟的
流程圖。
具體實施例方式
下面將參照附圖描述本發明的實施例。圖1是示出根據本發明的實施例 的圖像捕捉設備的配置的框圖。設計圖像捕捉設備10以便可根據用戶的操作 切換到作為在普通圖像捕捉時間時的操作模式的標準圖像捕捉模式或者作為 處於高速圖像捕捉的操作模式的高速圖像捕捉模式。
當設置標準圖像捕捉模式時，圖像捕捉設備10以參考時間段的預定單元 產生圖像信號，對該圖像信號執行照相機信號處理(camera signal processing )、 圖像壓縮處理等，並將其記錄在記錄介質上。在這裡，將參考時間段的單元 稱為場或幀時間段，其被用在電視系統中，並且例如，如果將參考時間段 (period of reference time)單元設置為(1/60)秒，則產生隔行掃描系統的圖 像信號，其場時間段為(1/60)秒，或者產生非隔行系統的圖像信號，其幀 時間段為(1/60)秒。要注意，如果產生非隔行系統的圖像信號，則將參考 時間段單元稱為參考幀時間段，並且將具有以參考時間段單元為周期(cycle) 的幀速稱為參考幀速。此外，如果產生隔行系統的圖像信號，則將參考時間 段單元稱為參考場時間段，並且將具有以參考時間段單元為周期的場速稱為 參考場速。
當設置高速圖像捕捉模式時，圖像捕捉設備10以高於標準圖像捕捉模式 中的參考幀速(或參考場速)的速率通過參考幀速(或場速)的整數倍產生 圖像信號，對該圖像信號執行照相機信號處理、圖像壓縮處理等，並將其記
錄在記錄介質上。在這裡，將幀速(場速)是參考幀速(或參考場速)的整
數倍時的幀(場)時間段稱為設置時間段的單元(a unit of a set period of time )。
因此，如果幀速(場速)變得更高並且設置時間段的單元變得更短，則 對於圖像捕捉設備10來說難以產生表示來自用於圖像捕捉單元11中的固態 圖像捕捉裝置中圖像捕捉表面的有效圖像範圍的所有像素的圖像信號。因此， 如果幀速(場速)高於標準圖像捕捉模式的幀速(場速)，即，設置時間段的 單元短於參考時間段單元，則圖像捕捉設備IO執行對有效圖像範圍中的像素 執行像素稀疏(pixel thinning-out)或線稀疏(line thinning-out)處理以產生 圖像信號的處理(在下文中，稱為"全一見角稀疏讀處理(all-angle-of-view thinning out read processing )，，)或者執行從其讀出有效圖像範圍的部分區域的 全像素以產生圖像信號的處理(在下文中，稱為"全像素部分讀處理(an all-pixel partially read processing )"),以降低信號量。然後圖像捕捉設備10對 通過全視角稀疏讀處理或全像素部分讀處理產生的圖像信號執行照相機信號 處理、圖像壓縮處理等，並將其記錄在記錄介質上。此外，當再現以高速圖 像捕捉模式記錄的經圖像捕捉的畫面時，圖像捕捉設備10將通過全一見角稀疏 讀處理產生的圖像信號與通過全像素部分讀處理而產生的圖像信號進行組 合，由此使得能夠獲取具有畫質的更小劣化的再現圖像。關於圖像捕捉設備 10中產生非隔行系統的圖像的理解，將進行以下描述。
通過使用圖像傳感器111、模擬前端(AFE) 112和模數轉換器(ADC) 113來配置圖像捕捉設備10的圖像捕捉單元11，並且在控制單元61的控制 之下控制圖像捕捉單元11的操作，這將在下面描述。
通過使用互補金屬氧化物半導體(CMOS)型固態圖像捕捉裝置等來配 置圖像捕捉單元11的圖像傳感器111。圖像傳感器111通過透鏡單元(未示 出)對在圖像捕捉表面上形成的光學圖像執行光電轉換處理，並輸出由原色 (如紅、綠和藍)彩色信號組成的圖像信號。要注意，圖像傳感器111被提 供有4丸行相關雙採樣處理的相關雙採樣(CDS, correlated double sampling) 電路，由此降低圖像信號中的任何噪聲。
當將圖像捕捉設備10設置到標準圖像捕捉模式時，在控制單元61的控 制之下控制圖像傳感器lll，並且圖像傳感器lll執行處理以便讀出固態圖像 捕捉裝置中的圖像捕捉表面的有效圖像範圍的所有像素(在下文中，稱為"全 像素和全視角讀處理")，以輸出具有例如60幀/秒(*s)的參考幀速的圖像
信號。
圖2圖解從圖像傳感器111輸出的圖像信號中的像素位置，並且由斜線 表示的像素表示未被包括在圖像信號中的像素。在這裡，如果設置了標準圖
像捕捉模式，則圖像傳感器111從如圖2 (A)所示的圖像捕捉表面的有效圖 像範圍AR讀出所有像素，以輸出圖像信號。
此外，當將圖像捕捉設備IO設置到高速圖像捕捉模式時，在控制單元 61的控制之下控制圖像傳感器111，並且圖像傳感器111執行全視角稀疏讀 處理或全像素部分讀處理，以便以高於參考幀速、以其整數倍為幀速輸出圖 像信號。例如，如果在高速圖像捕捉模式中幀速是60幀/秒(fps)，則輸出具 有120 (fps)、 180 (fps)或240 (fps)幀速的圖像信號。圖像傳感器還基於 幀速調整全視角稀疏讀處理中的稀疏讀取之間的間隔或全像素部分讀處理中 的區域大小，以便可以從圖像捕捉單元11輸出具有設置幀速(asetframe rate) 的圖像信號。
在這裡，如果將幀速設置為兩倍於標準圖像捕捉模式中參考幀速的速率， 則在全像素部分讀處理中，例如如圖2(B1)所示，從矩形區域讀出作為圖 像捕捉表面中的有效圖像範圍AR的部分區域的、具有有效圖像範圍AR的 一半面積的矩形區域中的所有像素。此外，在全視角稀疏讀處理中，例如如 圖2 (B2)所示，通過執行稀疏讀取從有效圖像範圍AR讀出總像素數的一 半。圖像傳感器111通過相加以水平方式排列的相鄰的相同顏色光傳感器的 輸出信號並將它們輸出來執行像素稀疏處理。圖像傳感器111還通過相加以 垂直方式排列的相鄰的相同顏色光傳感器的輸出信號並將它們輸出來執行線 稀疏處理。如果執行這樣的全視角稀疏讀處理和全像素部分讀處理，則即使 當將幀速設置為兩倍於參考幀速的速率時，也可以使在參考幀時間段期間從 圖像傳感器111輸出的圖像信號量等於標準圖像捕捉模式的圖像信號量。
如果將幀速設置為三倍於標準圖像捕捉模式中參考幀速的速率，則在全 像素部分讀處理中，例如如圖2(C1)所示，從矩形區域讀出作為圖像捕捉 表面中的有效圖像範圍AR的部分區域的、具有有效圖像範圍AR的面積的 三分之一的矩形區域中的所有像素。此外，在全視角稀疏讀處理中，例如如 圖2 (C2)所示，通過執行稀疏讀從有效圖像範圍AR讀出總像素數的三分 之一。此外，當將幀速設置為四倍於標準圖像捕捉模式中參考幀速的速率時， 在全像素部分讀處理中，例如如圖2(D1)所示，從矩形區域讀出具有有效
圖像範圍AR的面積的四分之一的矩形區域中的所有像素。在全視角稀疏讀
處理中，例如如圖2 (D2)所示，還通過執行稀疏讀取從有效圖像範圍AR 讀出總像素數的四分之一。如果執行這樣的全像素部分讀處理和全視角稀疏 讀處理，則即使當將幀速設置為三倍或四倍於參考幀速的速率時，也可以使 圖像信號量等於標準圖像捕捉模式的圖像信號量。
要注意，如果全視角稀疏讀處理中的稀疏樣式關於每一幀改變，則圖像 傳感器111可以防止每次對同一像素位置處的像素進行稀疏。
如果將圖像捕捉設備10設置到高速圖像捕捉模式，則在通過劃分在標準 圖像捕捉模式中的參考幀時間段期間的輸出信號來觀看的情況下，也在控制 單元61的控制之下控制圖像傳感器111,並且圖像傳感器111輸出通過在參 考幀時間段之內的頂部幀(top frame)處執行全視角稀疏讀處理而獲得的圖 像信號。圖像傳感器111進一步輸出通過在參考幀時間段中不具有頂部幀的 幀時間段處執行全像素部分讀處理而獲得的圖像信號。
模擬前端(AFE ) 112對從圖像傳感器111輸出的圖像信號執行自動增益 控制(AGC)處理，並控制圖像信號的增益。模數轉換器(ADC) 113將在 AFE 112中處理的模擬圖像信號轉換為數字圖像信號DV1。
在控制單元61的控制之下控制照相機信號處理單元112，並且當使用在 圖像捕捉單元11中產生的圖像信號執行監視器顯示時，照相機信號處理單元 112對從圖像捕捉單元11輸出的圖像信號DV1執行照相機信號處理以將其作 為監視器顯示信號DV2輸出到顯示處理單元21。在將監視圖像信號DV2供 應至顯示處理單元21的同時，照相機信號處理單元12還在執行指示記錄圖 像信號的用戶操作時將經照相機信號處理的圖像信號DV3輸出到圖像壓縮/ 解壓縮單元31。當執行所記錄的經圖像捕捉的畫面的任何再現操作以將其作 為再現圖像信號DV5輸出到顯示處理單元21時，照相機信號處理單元12進 一步對從圖像壓縮/解壓縮單元31供應的圖像信號DV4執行照相機信號處 理。該照相機信號處理單元12執行白平衡處理、顏色補償處理、自動對焦(AF) 處理、自動曝光(AE)處理等作為照相機信號處理。另外，照相機信號處理 單元12執行這樣的處理，使得將通過全視角稀疏讀處理而產生的圖像信號與 通過全像素部分讀處理而產生的圖像信號進行組合，以便將其作為再現圖像 信號DV5輸出。
圖3是示出照相機信號處理單元12的配置的框圖。照相機信號處理單元
12的電平調整部分121對於每一紅、綠或藍顏色信號調整從圖像捕捉單元11
提供的圖像信號DV1的信號電平。電平調整部分121通過該信號電平調整來 設置箝位、偏置、差分增益等以實行諸如陰影校正(shading correction)、閃 爍消除(flicker cancellation)之類的處理。
像素補償部分122對在電平調整部分121中處理的圖像信號執行諸如附 力口彩色混合補1嘗(additive color mixing compensation )和"f象素擊夾陷矛卜償(pixel defect compensation)之類的像素值補償處理。
增益控制部分123對於在像素補償部分122中處理的圖像信號校正由於 圖像傳感器111中的幀速的改變而產生的信號電平中的波動。即，如果增大 幀速，則圖像傳感器111中的電荷存儲時間段變短，使得降低信號電平。因 此，增益控制部分123校正信號電平，使得如果改變幀速，則改變之前和之 後的信號電平可以彼此相同。
像素內插部分124僅對通過全視角稀疏讀處理而產生的圖像信號執行像 素內插，並將已經內插了經稀疏的像素的圖像信號供應至選擇器125。在像 素內插中，例如，通過利用例如相鄰像素之間的相關性的過濾過程來產生用 於經稀疏的像素的數據。由於通過全像素部分讀處理而產生的圖像信號不被 稀疏，因此將其供應至選擇器125而不執行任何像素內插。因此，如果僅對 通過全視角稀疏讀處理而產生的圖像信號執行像素內插，則對在參考幀時間 段內的頂部幀執行全視角稀疏讀處理，使得通過參考幀時間段內的頂部幀的 圖像信號顯示的圖像具有與標準圖像捕捉模式中的圖像捕捉的解析度相等的 解析度，而不是變為具有下降畫質的圖像。
當使用在圖像捕捉單元11中產生的圖像信號執行監視器顯示時，選擇器 125將已經從像素內插部分124供應的圖像信號供應至顏色補償部分126和 輪廓補償部分127。當在記錄介質42上記錄經圖像捕4足的畫面時，選擇器125 還將已經從像素內插部分124供應的圖像信號輸出到如圖1所示的圖像壓縮/ 解壓縮單元31。當執行已經被記錄的經圖像捕捉的畫面的任何再現操作時， 選擇器125進一步將已經從圖像壓縮/解壓縮單元31供應的圖像信號DV4供 應至顏色補償部分126和輪廓補償部分127。
顏色補償部分126將任何低頻分量從通過選擇器125供應的圖像信號中 分離，並對低頻分量執行諸如線性矩陣處理之類的顏色補償。
輪廓補償部分127將任何高頻分量從通過選擇器125供應的圖像信號中
分離，並從高頻分量中產生輪廓補償數據。
伽瑪/拐點(gamma/knee )處理部分128將在輪廓補償部分127中產生的 輪廓補償數據與在顏色補償部分126中處理的圖像信號進行組合，並對組合 的圖像信號執行伽瑪補償、拐點處理等。
顏色空間轉換部分129將在伽瑪/拐點處理部分128中處理的圖像信號轉 換為關於亮度信號和色差信號的圖像信號。
如果當使用在圖像捕捉單元11中產生的圖像信號來執行監視器顯示時 選擇了標準圖像捕捉模式，則解析度轉換/圖像合成部分130將在顏色空間轉 換部分129中產生的關於亮度信號和色差信號的圖像信號作為監視器圖像信 號DV2輸出到顯示處理單元21或任何外部設備(未示出)。
此外，如果當執行監視器顯示時選擇了高速圖像捕捉模式，則解析度轉 換/圖像合成部分130將通過執行全視角稀疏讀處理而產生的圖像信號寫到幀 存儲器51中，在參考幀時間段內讀出由此寫入幀存儲器51中的圖像信號， 並將其作為監視器圖像信號DV2輸出到顯示處理單元21等。如果再現以高 速圖像捕捉模式記錄的經圖像捕捉的畫面，則解析度轉換/圖像合成部分130 進一步存儲通過執行全像素部分讀處理而產生的圖像信號和通過執行全視角 稀疏讀處理而產生的圖像信號中的至少一個，將在幀存儲器51中存儲的圖像 信號與另一圖像信號進行組合，並將組合的圖像信號作為再現圖像信號DV5 輸出到顯示處理單元21或任何外部設備(未示出)。
要注意，解析度轉換/圖像合成部分130將要輸出到顯示處理單元21的 監視器圖像信號DV2和再現圖像信號DV5的每一個的解析度轉換為適於在 顯示單元22中顯示的解析度並輸出。此外，通過使用例如同步動態隨機存取 存儲器(SDRAM)等來配置幀存儲器51。
圖4是示出在解析度轉換/圖像合成部分130中執行圖像合成的圖像合成 部分130A的配置的框圖。圖像合成部分130A將通過全像素部分讀處理的圖 像信號DA供應至乘法電路131，並且將通過全視角稀疏讀處理的圖像信號 DB供應至乘法電路132。乘法電路131將圖像信號DA乘以增益G以便將乘 法結果GfDA供應至加法器133。乘法電路132將圖像信號DB乘以增益(l-G) 以將乘法結果(l-G) *DB供應至加法器133。加法器133將兩個乘法結果 G*DA、 (l-G)承DB相加，以將相加結果作為再現圖像信號DV5輸出。
此外，增益G是如圖5 (A)所示的水平方向坐標上的增益x-增益與如
圖5 (B)所示的垂直方向坐標上的增益y-增益之間的相乘值。在這裡，假設 通過全像素部分讀的經圖像捕捉的畫面中的水平邊界是坐標xl、 x2，並且其 中的垂直邊界是坐標yl、 y2。要注意，圖6圖解經圖像捕捉的畫面與邊界坐 標的關係；圖6 (A)圖解通過全像素部分讀取的經圖像捕捉的畫面與邊界坐 標的關係；以及圖6(B)圖解通過全視角稀疏讀取的經圖像捕捉的畫面與邊 界坐標的關係。
如圖5 (A)和5 (B)所示，將邊界範圍dx設置成從指示通過全像素部 分讀取的經圖像捕捉的畫面的邊界的坐標xl、 x2開始、通過全像素部分讀的 經圖像捕捉的畫面的向內的方向，並且將邊界範圍dy設置成從坐標yl、 y2 開始、通過全像素部分讀取的經圖像捕捉的畫面的向內的方向。此外，設置 增益G,以便在坐標xl、 x2、 yl、 y2處的增益變為0，並且當位置從坐標xl、 x2移動到邊界範圍dx和位置從坐標yl、 y2移動到邊界範圍dy時，增益從 "0" 逐漸增大到"1"。因此，圖像合成部分130A通過使用全像素部分讀 取中的經圖像捕捉的畫面來代替通過其中執行像素內插的全視角稀疏讀處理 的經圖像捕捉的畫面，可以防止任何的畫質劣化。圖像合成部分130A還可 以使通過全像素部分讀處理的經圖像捕捉的畫面與通過其中執行像素內插的 全視角稀疏讀處理的經圖像捕捉的畫面之間的邊界不明顯。
將顯示單元22連接到顯示處理單元21。通過使用例如液晶顯示器(LCD) 等來配置顯示單元22。顯示處理單元21基於從照相機信號處理單元12供應 的監視器圖像信號DV2和再現圖像信號DV5產生顯示驅動信號，並且通過 該顯示驅動信號來驅動顯示單元22,由此在顯示單元22的屏幕上顯示監視 器圖像或再現圖像。
圖像壓縮/解壓縮單元31當在記錄介質42上記錄經圖像捕捉的畫面時對 從照相機信號處理單元12供應的圖像信號DV3執行數據壓縮，並且將所獲 得的經編碼的數據DW供應至記錄/再現處理單元41。圖像壓縮/解壓縮單元 31還對從記錄/再現處理單元41供應的經編碼的數據DR執行解碼處理，並 將所獲得的圖像信號DV4供應至照相機信號處理單元12。
當對通過全像素和全視角讀處理的圖像信號和通過其中執行像素內插的 全視角稀疏讀處理的圖像信號執行數據壓縮時，圖像壓縮/解壓縮單元31基 於使用預測編碼的編碼系統(例如諸如運動圖像專家組(MPEG)之類的運 動畫面的編碼系統)執行壓縮處理以產生運動畫面的經編碼的數據流。另一
方面，當對通過全像素部分讀處理的圖像信號執行數據壓縮時，圖像壓縮/解 壓縮單元3 1基於不使用任何預測編碼的編碼系統(例如諸如聯合畫面專家組
(JPEG)之類的靜止畫面的編碼系統)執行壓縮處理以對於每一幀產生靜止
畫面的經編碼的數據。
圖像壓縮/解壓縮單元31還在由運動畫面的解碼系統解碼處理的幀之間 連續地對於每一個宏塊檢測運動矢量MV，並將其通知給控制單元61。要注 意，如果使用MPEG執行編碼處理，則圖像壓縮/解壓縮單元31通過利用在 該編碼處理的時候檢測到的運動矢量MV僅從內編碼的幀中單獨檢測運動矢 量MV。
圖7是示出圖像壓縮/解壓縮單元31的配置的圖。將從照相機信號處理 單元12供應的圖像信號DV3供應至圖像壓縮/解壓縮單元31中的MV檢測 器311和預測減法器315。 MV檢測器311在連續幀之間連續地;險測運動矢量 MV,其中使用從照相機信號處理單元12供應的圖像信號DV3從連續幀產生 運動畫面的代碼數據。MV檢測器311將這些所檢測到的運動矢量MV通知 給運動補償器312、 MV編碼器319和控制單元61。
當編碼移動畫面時，運動補償器312使用在MV檢測器311中檢測到的 運動矢量MV對在圖像存儲器313上存儲的圖像信號執行運動補償，以產生 用於編碼的預測值。當解碼移動畫面時，運動補償器312還使用由MV解碼 器314解碼的運動矢量MV以類似的方式產生用於解碼的預測值。
當編碼移動畫面時，預測減法器315從自照相機信號處理單元12供應的 圖像信號DV3中減去在運動補償器312中產生的用於編碼的預測值，並將預 測誤差值(減法結果)供應至DCT316。當編碼靜止畫面時，預測減法器315 還將從照相機信號處理單元12供應的圖像信號DV3供應至DCT316而不進 行任何處理。
DCT316對來自預測減法器315的輸出數據執行二維離散餘弦變換，並 將係數數據(該處理結果)供應至量化器317。量化器317對從DCT316供 應的係數數據執行量化處理，並且將所獲得的量化數據供應至可變長度編碼 器318和反向量化器321。
可變長度編碼器318對從量化器317供應的量化數據執行可變長度編碼 處理。MV編碼器319對在MV檢測器311中獲得的運動矢量MV執行編碼 處理。多路復用器320對通過在可變長度編碼器318中執行可變長度編碼處
理而獲得的數據以及通過在MV編碼器319中執行編碼處理而獲得的數據執 行相乘處理，以將其作為經編碼的數據DW供應至記錄/再現處理單元41。
當編碼時，反向量化器321對從量化器317供應的量化數據執行反向量 化處理，並將所獲得係數數據供應至反向DCT323。當解碼時，其對在可變 長度解碼器322中獲得的數據執行反向量化處理並將所獲得的係數數據供應 至反向DCT323。
與DCT316相反，反向DCT323對從反向量化器321供應的係數數據執 行反向二維離散餘弦變換，並將所獲得的圖像信號供應至加法器324。
加法器324將從運動補償器312供應的、用於編碼或解碼的預測值與從 反向DCT323供應的圖像信號相加，並且將加法結果作為圖像信號DV4供應 至照相機信號處理單元12和圖像存儲器313。
因此，在該圖像壓縮/解壓縮單元31中，從目前為止由反向量化器321、 反向DCT 323、加法器324、圖像存儲器313和運動補償器312由此編碼處 理的圖像信號產生預測值，並且在DCT316、量化器317和可變長度編碼器 318中連續地處理來自該預測值的預測誤差值，以便將通過全像素和全視角 讀取的圖像信號和通過全視角稀疏讀取的圖像信號編碼處理為運動畫面的經 編碼的數據。可替換地，直接將通過全像素部分讀取的圖像信號輸入到DCT 316,並且在DCT316、量化器317和可變長度編碼器318中對其處理，以便 將其編碼處理為靜止畫面的經編碼的數據。
當解碼時，多路分離器326將從記錄/再現處理單元41供應的經編碼的 數據DR分離為係數數據部分和運動矢量MV部分，並將係數數據部分供應 至可變長度解碼器322，而將運動矢量MV部分供應至MV解碼器314。 MV 解碼器314對從多路分離器326供應的數據執行解碼處理，並將所獲得的運 動矢量供應至運動補償器312。可變長度解碼器322對從多路分離器326供 應的數據執行解碼，並且將所獲得的係數數據供應至反向量化器321。
如圖1所示的記錄/再現處理單元41在控制單元61的控制之下切換其操 作，並且執行用於將從圖像壓縮/解壓縮單元31供應的經編碼的數據DW記 錄在記錄介質42上的處理或者用於將所期望的經編碼的數據DR從記錄介質 42讀出並將其供應至圖像壓縮/解壓縮單元31的處理。記錄介質42是諸如硬 盤裝置、光碟裝置和存儲卡之類的各種海量記錄介質。
當在記錄介質42上記錄經編碼的數據DW時，記錄/再現處理單元41
將其記錄在記錄介質42上，以便基於運動畫面的編碼系統而對其執行了數據 壓縮處理的經編碼的數據可以被單獨地讀出或者與對應於運動畫面的靜止畫 面的經編碼的數據一起沿時間序列被連續地讀出。例如，當記錄/再現處理單
元41使用MPEG格式作為運動畫面的編碼系統時，配置為經編碼的數據具 有等級結構。要注意，圖8圖解了運動畫面的經編碼的數據，並且示出了等 級結構的部分。
圖8 (A)所示的序列層(sequence layer)由被添加了序列頭和序列尾的 一個或多個GOP組成。圖8 (B)所示的GOP層由被添加了 GOP頭的一個 或多個畫面組成。圖8 (C)所示的畫面層由^皮添加了畫面頭的一個或多個片 (slice)組成。
畫面層的畫面頭表示畫面層的開始同步編碼、表示畫面的顯示順序的數 字、表示畫面類型的信息、編碼情況等。此外，如圖8 (D)所示，配置為提 供用戶數據區域，以便可以將用戶數據區域設置到畫面級。因此，記錄/再現 處理單元41將處於高速圖像捕捉模式的幀速和表示相應的靜止畫面的記錄 位置的指針信息插入到如圖8 (E)所示的用戶數據區域，以將其記錄在記錄 介質42上。例如，如果處於高速圖像捕捉模式的幀速是參考幀速的兩倍，則 記錄/再現處理單元41將經編碼的數據的記錄位置作為指針信息插入到表示 通過全視角稀疏讀處理的圖像信號的經編碼的數據的畫面的畫面頭中，其中 在該經編碼的數據中，在參考幀時間段內除了頂部幀之外的參考幀時間段期 間產生的通過全像素部分讀處理的圖像信號被編碼為靜止畫面的圖像信號。
因此，通過將表示相應的靜止畫面的記錄位置的信息插入到運動畫面的 經編碼的數據中，記錄/再現處理單元41可以單獨地讀取運動畫面的經編碼 的數據或者與運動畫面的經編碼數據一起沿時間序列連續地讀取與運動畫面 對應的靜止畫面的經編碼數據。
控制單元61控制整體圖像捕捉設備10的操作，並且控制單元61是由中 央處理單元(CPU)、只讀存儲器(ROM)、隨機存取存儲器(RAM)等組成 的微控制器。控制單元61執行在存儲器(未示出)上記錄的程序，並控制該 圖像捕捉設備10中的各部分的操作。將程序預先安裝在該圖像捕捉設備10 中，不過也可以將其記錄在諸如光碟、磁碟、存儲卡之類的記錄介質上而非 預先安裝，以便提供或者通過經由網際網路等的網絡進行下載來提供程序。要 注意，控制單元61可以使用軟體執行圖像壓縮/解壓縮單元31中的處理。
控制單元61控制照相機信號處理單元12和顯示處理單元21以連續地對
在圖像捕捉單元11中產生的圖像信號執行處理，以便在顯示單元22的屏幕
上顯示監視器圖像。此外，當用戶指示在這種情況下記錄圖像信號時，控制
單元61控制照相機信號處理單元12以將圖像信號DV3供應至圖像壓縮/解 壓縮單元31在那裡執行數據壓縮，由此將所獲得的經編碼的數據DW記錄在 記錄介質42上。此外，當用戶指示記錄介質42的再現時，控制單元61控制 記錄/再現處理單元41以從記錄介質42中讀取所期望的經編碼的數據DR並 將其供應至圖像壓縮/解壓縮單元31。控制單元61還控制照相機信號處理單 元12和顯示處理單元21以對通過在圖像壓縮/解壓縮單元31中執行數據解 壓縮處理而獲得的圖像信號DV4執行處理，並且在顯示單元22的屏幕上顯 示所再現的圖像。
此外，控制單元61在圖像壓縮/解壓縮單元31中對於每一幀集合 (aggregate)對於每一個宏塊檢測到的運動矢量MV，並且基於集合的結果 尋找被確定為表示對象(subject)的運動的運動矢量，由此通過該運動矢量 改變根據全像素部分讀取要從圖像傳感器111讀出的矩形區域的位置。具體 來說，控制單元61改變位置使得矩形區域可以包含運動對象。要注意， 一般 可以將諸如檢測運動矢量的頻率分布和檢測具有最大頻率分布的運動矢量的 方法以及通過應用跟隨對象的方法來檢測呈現任何連續運動的對象中的部分 的運動矢量的方法之類的各種集合方法應用於該運動矢量的集合方法。
順便提及，儘管在上述實施例中使用圖像捕捉單元11、照相機信號處理 單元12、圖像壓縮/解壓縮單元31、記錄/再現處理單元41等來整體地配置圖 像捕捉設備10，但是可以分離地提供圖像捕捉單元11以及顯示處理單元21 和顯示單元22以組成圖像信號的記錄設備及其再現設備。此外，可以分離地 提供照相機信號處理單元12以組成用於記錄圖像信號的記錄設備。
圖9是示出記錄設備70的配置的框圖。要注意，在圖9中，將相同的標 號應用於圖l和3中所示的相應構件。
記錄設備70具有圖像壓縮/解壓縮單元31,用於對圖像信號執行壓縮 處理以產生經編碼的數據；記錄/再現處理單元41,用於在記錄介質42上記 錄經編碼的數據DW;和控制單元61,用於控制各部分的操作。
在該記錄設備70中，圖像壓縮/解壓縮單元31對通過允許圖像傳感器111 以設置時間段為單位在全視角稀疏讀處理與全像素部分讀處理之間進行切換
而產生的經圖像捕捉的畫面的圖像信號執行壓縮處理以便產生經編碼的數據 DW,其中在全視角稀疏讀處理中對有效圖像範圍中的任意像素執行稀疏讀取 以產生圖像信號，在全像素部分讀處理中從部分區域讀出有效圖像範圍的部 分區域的全部像素以產生圖像信號。在這裡，圖像壓縮/解壓縮單元31基於 使用預測編碼的編碼系統對通過執行全視角稀疏讀處理而獲得的圖像信號執 行壓縮處理，並基於不使用預測編碼的編碼系統對通過執行全像素部分讀處 理而獲得的圖像信號執行壓縮處理。
此外，如果基於使用預測編碼的編碼系統對不同稀疏樣式的圖像信號執
行壓縮處理，則圖像壓縮/解壓縮單元31不能有效地執行壓縮處理。因此， 如果記錄從圖像捕捉單元11輸出的圖像信號DV1,則記錄設備70被提供有 像素內插部分124,經稀疏的像素通過像素內插部分124進行內插然後被供 應至圖像壓縮/解壓縮單元31，由此使壓縮處理能夠有效地執行。
記錄/再現處理單元41執行將在圖像壓縮/解壓縮單元31中產生的經編碼 的數據DW寫入到記錄介質42中的處理。
要注意，儘管圖9所示的記錄設備70示出了如圖1所示的在記錄已經執 行任何顏色補償、輪廓補償、伽瑪/拐點處理等之前的圖像信號的情況下的配 置，但是也可以配置記錄設備70以便記錄在執行了顏色補償、輪廓補償、伽 瑪/拐點處理等之後的圖像信號。此外，其可以被提供有傳送單元，將在圖像 壓縮/解壓縮單元31中產生的經編碼的數據DW作為通信信號從傳送單元傳 送。
圖10是示出再現設備80的配置的框圖。要注意，在圖10中，將相同的 標號應用於圖l和3所示的相應構件。
再現設備80具有記錄/再現處理單元41，用於從記錄介質42讀出經編 碼的數據DR;圖像壓縮/解壓縮單元31,用於對所讀出的經編碼的數據執行 解壓縮；數據處理單元15，用於對通過在圖像壓縮/解壓縮單元31中執行解 壓縮處理而獲得的圖像信號執行處理以產生再現圖像信號DV5;幀存儲器； 以及控制單元61，用於控制各部分的操作。此外，數據處理單元15由顏色 補償部分126、 ^"廓補償部分127、伽瑪/拐點處理部分128、顏色空間轉換部 分129和解析度轉換/圖像合成部分130組成。
在該再現設備80中，記錄/再現處理單元41執行經編碼的數據從記錄介 質42的讀取處理，該記錄介質42即這樣的記錄介質在圖像傳感器111已
經以設置時間段為單位在全視角稀疏讀處理與全像素部分讀處理之間切換之 後，基於使用預測編碼的編碼系統對通過執行全視角稀疏讀處理而獲得的圖 像信號進行壓縮處理並且將其作為經編碼的數據記錄在該記錄介質上，並且 基於不使用預測編碼的編碼系統對通過全像素部分讀處理而獲得的圖像信號 進行壓縮處理並且將其作為經編碼的數據記錄在該記錄介質上，其中在全視 角稀疏讀處理中對有效圖像範圍中的任意像素執行稀疏讀取以產生圖像信 號，而在全像素部分讀處理中從部分區域讀出有效圖像範圍的部分區域的全 部像素以產生圖像信號。
圖像壓縮/解壓縮單元3l解壓縮由記錄/再現處理單元4l讀:f又的經編碼的
數據以產生圖像信號。
數據處理單元15中的解析度轉換/圖像合成部分130使用在圖像壓縮/解 壓縮單元31中產生的圖像信號，將被執行了用於全視角稀疏讀處理的像素內 插的圖像信號與通過執行全像素部分讀處理而獲得的圖像信號進行組合。此 外，記錄/再現處理單元41從記錄介質42中讀出基於使用預測編碼的編碼系 統壓縮處理的經編碼的數據，而不讀出基於不使用預測編碼的編碼系統壓縮 處理的經編碼的數據，並且圖像壓縮/解壓縮單元解壓縮經編碼的數據，並且 將其作為用於參考時間段的每一單元的圖像信號而輸出。
要注意，儘管圖10所示的再現設備80示出了使用將執行任何顏色補償、 輪廓補償、伽瑪/拐點處理等之前的圖像信號記錄在其上的記錄介質的情況下 的配置，但是可以將其配置為使用將執行了顏色補償、輪廓補償、伽瑪/拐點 處理等之後的圖像信號記錄在其上的記錄介質。在這種情況下，將通過圖像 壓縮/解壓縮單元31中的解壓縮處理而獲得的圖像信號供應至解析度轉換/圖 像合成部分130。此外，其還可以被提供有接收單元，通過該接收單元接收 經編碼的數據，並且圖像壓縮/解壓縮單元31可以對該經編碼的數據執行任 何解壓縮。
下面將描述圖像信號的產生操作和圖像信號的記錄/再現操作。如果用戶 將操作模式設置為標準圖像捕捉模式，則控制單元61控制圖像捕捉單元11 的操作，以便可以從圖像傳感器111的圖像捕捉表面中的有效圖像範圍AR 以例如60 (fj)s)給出所有像素和所有視角的經圖像捕捉的畫面。控制單元 61還控制照相機信號處理單元12和顯示處理單元21的操作，以便可以以例 如60 (fps)在顯示單元22上顯示經圖像捕捉的畫面。此外，如果在記錄介
質上記錄通過執行標準圖像捕捉模式下的圖像捕捉操作而獲得的圖像信號，
則控制單元61控制照相機信號處理單元12以將圖像信號DV3從其處供應至 圖像壓縮/解壓縮單元31和並供應至記錄/再現處理單元41,以將通過執行數 據壓縮處理而獲得的經編碼的數據DW記錄在記錄介質42上。此外，如果實 行用於再現所記錄的圖像信號的用戶操作，則控制單元61控制記錄/再現處 理單元41從記錄介質42讀出表示所期望的經圖像捕捉的畫面的經編碼的數 據DR,並將其供應至圖像壓縮/解壓縮單元31。控制單元61還控制圖像壓縮 /解壓縮單元31將通過對經編碼的數據DR執行數據解壓縮處理而獲得的圖像 信號DV4供應至照相機信號處理單元12，由此在顯示單元22上顯示所再現 的圖像或者將其傳送到任意外部設備。
下面將描述當用戶將操作模式從標準圖像捕捉模式切換到高速圖像捕捉 模式時的操作。圖11示出當高速圖像捕捉模式的幀速是標準圖像捕捉模式的 幀速的兩倍時的操作。
圖11 (A)示出作為參考幀時間段內的定時信號的參考垂直同步信號 VDB。此外，圖11 (B)示出圖像捕捉設備10的操作模式。當用戶將操作模 式從標準圖像捕捉模式切換到高速圖像捕捉模式時，控制單元61在與參考垂 直同步信號VDB同步的時刻處將圖像捕捉單元11、照相機信號處理單元12、 圖像壓縮/解壓縮單元31、記錄/再現處理單元41等的操作從其標準圖像捕捉 模式切換到其高速圖像捕捉模式。要注意，圖11 (C)示出在高速圖像捕捉 模式中作為幀時間段內的時序信號的垂直同步信號VD。
當設置高速圖像捕捉模式時，如上所述，圖像捕捉單元11輸出通過在參 考幀時間段內的頂部幀處執行全視角稀疏讀處理而獲得的圖像信號，並且輸 出通過在不包括頂部幀的幀時間段處執行全像素部分讀處理而獲得的圖像信
因此，從圖像捕捉單元11輸出的圖像信號DV1由通過在參考幀時間段 內的頂部幀處執行全視角稀疏讀處理而獲得的圖像信號(由斜線表示)以及 通過在幀時間段(不包括頂部幀的參考幀時間段)處執行全像素部分讀處理 而獲得的圖像信號(由粗實線框表示)組成，如圖11 (D)所示。
在這裡，當執行監視器顯示時，如上所述，在參考幀時間段期間，照相 機信號處理單元12的解析度轉換/圖像合成部分130將通過全視角稀疏讀處 理的圖像信號寫入幀存儲器51中，並且讀取被寫入幀存儲器51中的圖像信
號。圖11 (E)示出了被寫入幀存儲器51中的圖像信號DVfW,圖11 (F) 示出了從幀存儲器51讀出的圖像信號DVfr。因此，解析度轉換/圖像合成部 分130將在參考幀時間段期間已經從幀存儲器51讀出的、通過全視角稀疏讀 處理的圖像信號輸出到顯示處理單元21等作為圖11 (G)所示的監視器圖像 信號DV2，由此使能夠以與標準圖像捕捉模式的幀速一致的幀速顯示經圖像 捕對足的畫面。
此外，當用戶執行記錄的指令時，控制單元61控制圖11 (D)所示的圖 像信號DV1的像素內插、編碼處理等，以將經編碼的數據記錄在記錄介質42 上。
下面將參照圖12描述在記錄介質42上記錄的經圖像捕捉的畫面的再現 操作。圖12 (A)示出被編碼並被記錄在記錄介質42上的經圖像捕捉的畫面 的幀PW。當以參考幀速再現所記錄的經圖像捕捉的畫面並且高速圖像捕捉 模式的幀速是參考幀速的兩倍時，輸出圖像信號DV5變為關於慢再現圖像的 圖像信號，其中在該慢再現圖像中，對象的運動是一半速度。因此，控制單 元61通過間歇使用記錄的畫面來控制再現圖像信號DV5的產生，其中在該 再現圖像信號DV5中，對象的運動是相同的速度。
要注意，圖12 (B)示出作為參考幀時間段內的定時信號的參考垂直同 步信號VDB，圖12 (C)示出當記錄經圖像捕捉的畫面時圖像捕捉設備10 的操作模式，並且圖12 (D)示出垂直同步信號VD。
當以高速圖像捕捉模式執行圖像捕捉操作時，參考幀時間段內的頂部幀 包含通過全視角稀疏讀處理的圖像信號。因此，控制單元61控制從記錄介質 42讀出經編碼的lt據，即運動畫面的經編碼的lt據，並對其執行解碼處理以 產生與垂直同步信號VD同步的圖^象信號DV4，其中在該編碼的數據中，對 通過全視角稀疏讀處理的圖像信號進行編碼。此時，從照相機信號處理單元 12輸出的再現圖像信號DV5變為其中對象的運動是相同速度的圖像信號，如 圖12 (E)所示。
此外，當圖像壓縮/解壓縮單元31可以以與編碼處理的速度類似的速度 對經編碼的數據執行解碼數據，並且幀存儲器51可以存儲多個幀的圖像信號 時，控制單元61可以控制組合通過全視角稀疏讀處理的圖像信號與通過全像 素部分讀處理的圖像信號，以產生其中對象的運動是相同速度的再現圖像信 號DV5。
在這種情況下，控制單元61控制控制從記錄介質42讀出經編碼的數據， 並對其執行解碼處理以產生如圖12 (F)所示的以在圖像捕捉時間的幀順序 圖像信號DV4。
在這裡，在照相機信號處理單元12中的解析度轉換/圖像合成部分130 中，將通過全視角稀疏讀處理的圖像信號和通過像素部分讀處理的圖像信號 寫入幀存儲器51，並且在參考幀時間段內讀取被寫入到幀存儲器51的圖像 信號以將其進行組合。此外，將其配置為將通過全視角稀疏讀處理的圖像信
號和通過像素部分讀處理的圖像信號寫入到幀存儲器51,其中這些圖像信號 在參考時間段期間讀取所寫入的圖像信號時被讀取並被組合。圖12(G)示 出被寫入幀存儲器51中的圖像信號DVfW,而圖12 (H)示出從幀存儲器51 讀出的圖像信號DVfr。此外，圖12(1)示出從解析度轉換/圖像合成部分130 輸出的圖像信號DV5。當到達在高速圖像捕捉模式下記錄的經圖像捕捉的畫 面的再現時間段時，解析度轉換/圖像合成部分130輸出幀2+3的圖像信號， 其中在幀2+3的圖像信號中，組合了作為通過全視角稀疏讀處理的圖像信號 的幀2的圖像信號和作為通過全像素部分讀處理的圖像信號的幀3的圖像信 號。解析度轉換/圖像合成部分130接著輸出幀4+5的圖像信號，其中在幀4+5 的圖像信號中，組合了作為通過全視角稀疏讀處理的圖像信號的幀4的圖像 信號和作為通過全像素部分讀處理的圖像信號的幀5的圖像信號，並且其連 續地輸出幀…+…的圖像信號。即，解析度轉換/圖像合成部分130可以輸出 這樣的經圖像捕捉的畫面的圖像信號其中對象的運動是相同速度，並且由 通過全像素部分讀處理的圖像信號改進畫質中的劣化。
圖13示出以圖像捕捉時的幀順序、通過使用所記錄的經圖像捕捉的畫面 產生再現圖像信號DV5的情況，其中在該再現圖像信號DV5中，對象的運 動是一半速度。要注意，圖13 (A)到(D)對應於圖12 (A)到(D)。
在這種情況下，控制單元61控制從記錄介質42連續地讀取經編碼的數 據的項目，並對其執行解碼處理以產生參考幀速的圖像信號DV4。要注意， 圖13 (E)示出圖像信號DV4。
在照相機信號處理單元12的解析度轉換/圖像合成部分130中，將通過 全視角稀疏讀處理的圖像信號或者通過全像素部分讀處理的圖像信號寫入幀 存儲器51中，並且在參考幀時間段期間讀取被寫入幀存儲器51中的圖像信 號。圖13 (F)示出被寫入幀存儲器51中的圖像信號DVfW,而圖13 (G)示出從幀存儲器51讀出的圖像信號DVfr。
此外，解析度轉換/圖像合成部分130將通過全視角稀疏讀處理的、從幀 存儲器51讀出的圖像信號與通過全像素部分讀處理的、被寫入幀存儲器51 的圖像信號進行組合，或者將通過全像素部分讀處理的、從幀存儲器51讀出 的圖像信號與通過全視角稀疏讀處理的、被寫入幀存儲器51的圖像信號進行 組合。圖13(H)示出從解析度轉換/圖像合成部分130輸出的圖像信號DV5。 當到達在高速圖像捕捉模式下記錄的經圖像捕捉的畫面的再現時間段時，分 辨率轉換/圖像合成部分130輸出幀2+3的圖像信號，其中在該幀2+3的圖像 信號中，組合了作為通過全視角稀疏讀處理的圖像信號的幀2的圖像信號與 作為通過全像素部分讀處理的圖像信號的幀3的圖像信號。解析度轉換/圖像 合成部分130接著輸出幀3+4的圖像信號，其中在該幀3+4的圖像信號中， 組合了作為通過全像素部分讀處理的圖像信號的幀3的圖像信號與作為通過 全視角稀疏讀處理的圖像信號的幀4的圖像信號，並且連續地輸出幀…+…的 圖像信號。即，解析度轉換/圖像合成部分130可以輸出這樣的再現的畫面的 圖像信號其中對象的運動是一半速度，並且由通過全像素部分讀處理的圖 像信號防止畫質的劣化。此外，其還適於在幀存儲器51上僅存儲一幀的圖像 信號。
下面將描述當高速圖像捕捉模式的幀速是標準圖像捕捉模式的幀速的三 倍時的4喿作。
圖14 (A)示出參考垂直同步信號VDB，圖14 (B)示出圖像捕捉設備 IO的操作模式，而圖14 (C)示出作為高速圖像捕捉模式中幀時間段內的定 時信號的垂直同步信號VD。
當設置了高速圖像捕捉模式時，如上所述，圖像捕捉單元ll輸出通過在 參考幀時間段內的頂部幀處執行全視角稀疏讀處理而獲得的圖像信號，並輸 出通過在不包括頂部幀的 一個兩幀時間段處執行全像素部分讀處理而獲得的 圖像信號。
因此，如圖14 (D)所示，從圖像捕捉單元11輸出的圖像信號DV1由 通過在參考幀時間段內的頂部幀處執行全視角稀疏讀處理而獲得的圖像信號
行全像素部分讀處理而獲得的圖像信號(由粗實線框表示)組成。
在這裡，當執行監視器顯示時，在照相機信號處理單元12的解析度轉換/圖像合成部分130中，將通過全視角稀疏讀處理的圖像信號寫入幀存儲器51 中，並且在參考幀時間段其間讀取被寫入幀存儲器51中的圖像信號，如上所 述。圖14 (E)示出被寫入幀存儲器51中的圖像信號DVfHv,而圖14 (F) 示出從幀存儲器51讀出的圖像信號DVfr。因此，解析度轉換/圖像合成部分 130將在參考幀時間段期間已經從幀存儲器51讀出的、通過全視角稀疏讀處 理的圖像信號輸出到顯示處理單元21等，作為如圖14(G)所示的監視器圖 像信號DV2,由此使能夠以與標準圖像捕捉模式的幀速一致的幀速顯示經圖 像捕捉的畫面。
此外，當用戶執行記錄的指令時，控制單元61控制如圖14(D)所示的 圖像信號DV1的像素內插、編碼處理等，以將經編碼的數據記錄在記錄介質 42上。
下面將參照圖15描述被記錄在記錄介質42上的經圖像捕捉的畫面的再 現操作。圖15 (A)示出被編碼並被記錄在記錄介質42上的經圖像捕捉的畫 面的幀PW。當以參考幀速再現所記錄的經圖像捕捉的畫面並且高速圖像捕 捉模式的幀速是參考幀速的三倍時，輸出圖像信號DV5變為關於慢再現圖像 的圖像信號，其中在該慢再現圖像的圖像信號中，對象的運動是三分之一速 度。因此，控制單元61通過間歇地使用所記錄的畫面，控制再現圖像信號 DV5的產生，其中在該再現圖像信號DV5中，對象的運動是相同的速度。
要注意，圖15 (B)示出作為參考幀時間段內的定時信號的參考垂直同 步信號VDB，圖15 (C)示出當記錄經圖像捕捉的畫面時圖像捕捉設備10 的操作模式，而圖15 (D)示出垂直同步信號VD。
當在高速圖像捕捉模式下執行圖像捕捉操作時，參考幀時間段內的頂部 幀變為表示通過全視角稀疏讀處理的圖像信號的幀。因此，控制單元61控制 從記錄介質42讀出經編碼的數據(其中對通過全一見角稀疏讀處理的圖像信號 進行了編碼)，即運動畫面的經編碼的數據，並對其執行解碼處理以產生與垂 直同步信號VD同步的圖像信號DV4。此時，從照相機信號處理單元12輸出 的再現圖像信號DV5變為其中對象的運動是相同的速度的圖像信號，如圖15 (E)所示。
此外，當圖像壓縮/解壓縮單元31可以以與編碼處理的速度類似的速度 對經編碼的數據執行解碼處理，並且幀存儲器51可以存儲多個幀的圖像信號 時，控制單元61可以控制組合通過全視角稀疏讀處理而獲得的圖像信號與通
過全像素部分讀處理的圖像信號，以產生其中對象的運動是相同速度的再現 圖像信號DV5。
在這種情況下，控制單元61控制從記錄介質42讀出經編碼的數據，並 對其執行解碼處理以產生如圖15 (F)所示的圖像信號DV4。
在這裡，在照相機信號處理單元12的解析度轉換/圖像合成部分130中， 將通過全視角稀疏讀處理的圖像信號與通過像素部分讀處理的像素寫入幀存 儲器51中，並且在參考幀時間段期間讀取被寫入幀存儲器51中的圖像信號 以將其組合。此外，可以將其配置為，將通過全視角稀疏讀處理的圖像信號 與通過像素部分讀處理的圖像信號(其在參考時間段期間讀取所寫入的圖像 信號時被讀取並被組合)寫入幀存儲器51中。圖15 (G)示出被寫入幀存儲 器51中的圖像信號DVfW,而圖15 (H)示出從幀存儲器51讀出的圖像信 號DVfr。此外，圖15 (I)示出從解析度轉換/圖像合成部分130輸出的圖像 信號DV5。當到達高速圖像捕捉模式下記錄的經圖像捕捉的畫面的再現時間 段時，解析度轉換/圖像合成部分130輸出幀2+3的圖像信號，其中在該幀2+3 的圖像信號中，組合了作為通過全視角稀疏讀處理的圖像信號的幀2的圖像 信號與作為通過全像素部分讀處理的圖像信號的幀3的圖像信號。解析度轉 換/圖像合成部分130接著輸出幀5+6的圖像信號，其中在該幀5+6的圖像信 號中，組合了作為通過全視角稀疏讀處理的圖像信號的幀5的圖像信號與作 為通過全像素部分讀處理的圖像信號的幀6的圖像信號，並且其連續地輸出 幀…+ .,.的圖像信號。即，解析度轉換/圖像合成部分130可以輸出這樣的經 圖像捕捉的畫面其中對象的運動是相同速度並且由通過全像素部分讀處理 的圖像信號改善畫質的劣化。
此外，如果讀取以三倍於標準圖像捕捉模式的幀速的高速圖像捕捉模式 下的幀速記錄的經圖像捕捉的畫面，以便以圖像捕捉時的幀順序產生圖像信 號DV4,並且組合併輸出通過全視角稀疏讀處理的圖像信號與通過全像素部 分讀處理的圖像信號，則控制單元61允許顯示這樣的再現的圖像其中對象 的運動是三分之一速度並且由通過全像素部分讀處理的圖像信號防止畫質中 的劣化。此外，如果以一半再現速度執行慢動作再現，則能夠通過選擇地切 換三分之一慢動作再現和相同速度再現等來處理這種情況。
下面將描述當高速圖像捕捉模式的幀速是標準圖像捕捉模式的幀速的四 倍時的操作。
圖16 (A)示出參考垂直同步信號VDB，圖16 (B)示出圖像捕捉設備 的操作模式，而圖16 (C)示出作為高速圖像捕捉模式中幀時間段內的定時 信號的垂直同步信號VD。
當設置了高速圖像捕捉模式時，如上所述，圖像捕捉單元11輸出通過在 參考幀時間段內的頂部幀執行全視角稀疏讀處理而獲得圖像信號，並輸出通 過在不包括頂部幀的一個兩巾貞時間段處執行全像素部分讀處理而獲得的圖像 信號。
因此，從圖像捕捉單元11輸出的圖像信號DV1由通過在參考幀時間段 內的頂部幀處執行全視角稀疏讀處理而獲得的圖像信號(由斜線表示)和通 過在除參考幀時間段中的頂部幀之外的三幀時間段處執行全像素部分讀處理 而獲得的圖像信號(由粗實框表示)，如圖16 (D)所示。
在這裡，當執行監視器顯示時，在照相機信號處理單元12的解析度轉換 /圖像合成部分130中，將通過全視角稀疏讀處理的圖像信號寫入幀存儲器51 中，並且在參考幀時間段期間讀取被寫入幀存儲器51中的圖像信號，如上所 述。圖16 (E)示出被寫入幀存儲器51中的圖像信號DVfW,並且圖16(F) 示出從幀存儲器51讀出的圖像信號DVfr。因此，解析度轉換/圖像合成部分 130將在參考幀時間段其間已經從幀存儲器51讀出的、通過全視角稀疏讀處 理的圖像信號輸出到顯示處理單元21等，作為如圖16(G)所示的監視器圖 像信號DV2，由此使能夠以與標準圖像捕捉模式的幀速一致的幀速顯示經圖 像捕捉的畫面。
此外，當用戶執行記錄的指令時，控制單元61控制如圖16 (D)所示的 圖像信號DV1的像素內插、編碼處理等，以將經編碼的數據記錄在記錄介質 42上。
下面將參照圖17描述在記錄介質42上記錄的經圖像捕捉的畫面的再現 操作。圖17(A)示出被編碼並被記錄在記錄介質42上的經圖像捕捉的畫面 的幀PW。當以參考幀速再現所記錄的經圖像捕捉的畫面，並且高速圖像捕 捉模式的幀速是參考幀速的四倍時，輸出圖像信號DV5變為其中對象的運動 是四分之一速度的慢再現畫面。因此，控制單元61通過間歇地使用所記錄的 畫面來控制其中對象的對象是相同速度的再現圖像信號DV5的產生。
要注意，圖17 (B)示出作為參考幀時間段內的定時信號的參考垂直同 步信號VDB,圖17 (C)示出當記錄經圖像捕捉的畫面時圖像捕捉設備10
的操作模式，而圖17 (D)示出垂直同步信號VD。
當以高速圖像捕捉模式執行圖像捕捉操作時，參考幀時間段內的頂部幀
變為表示通過全視角稀疏讀處理的圖像信號的幀。因此，控制單元61控制從 記錄介質42中讀出經編碼的數據(其中對通過全視角稀疏讀處理的圖像信號 進行了編碼)，即運動畫面的經編碼的數據，並對其執行解碼處理以產生與垂 直同步信號VD同步的圖像信號DV4。此時，從照相機信號處理單元12輸出 的再現圖形信號DV5變為其中對象的運動是相同速度的再現的畫面的圖像信 號，如圖17 (E)所示。
控制單元61還可以組合通過全視角稀疏讀處理的圖像信號與通過全像 素部分讀處理的圖像信號，以產生其中對象的運動是相同速度的再現圖像信 號DV5，如幀速是參考幀速的兩倍或三倍的情況那樣。圖17 (F)示出通過 從記錄介質42讀出經編碼的數據並對其執行解碼處理而產生的圖像信號 DV4。圖17( G )還示出從解析度轉換/圖像合成部分130輸出的圖像信號DV5。
在這裡，當到達高速圖像捕捉模式下記錄的經圖像捕捉的畫面的再現時 間段時，解析度轉換/圖像合成部分130輸出幀2+3的圖像信號，其中在該幀 2+3的圖像信號中，組合了作為通過全視角稀疏讀處理的圖像信號的幀2的 圖像信號與作為通過全像素部分讀處理的圖像信號的幀3的圖像信號。分辨 率轉換/圖像合成部分130接著輸出幀6+7的圖像信號，其中在該幀6+7的圖 像信號中，組合了作為通過全視角稀疏讀處理的圖像信號的幀6的圖像信號
與作為全像素部分讀處理的圖像信號的幀7的圖像信號，並且其連續地輸出 幀…+…的圖像信號。即，解析度轉換/圖像合成部分130可以輸出這樣的再 現的畫面其中對象的運動是相同速度並且由通過全像素部分讀處理的圖像 信號防止畫質的劣化。
圖18示出產生其中對象的運動是一半速度的再現圖像信號DV5的情況。 要注意，圖18 (A)到(D)對應於圖17 (A)到(D)。
在這種情況下，在高速圖像捕捉模式下記錄的經圖像捕捉的畫面的再現 時間段期間，控制單元61控制從記錄介質42讀取經編碼的數據，並對其執 行解碼處理以關於每隔一幀產生圖像信號DV4。要注意，圖18 (E)示出通 過解碼處理而獲得的圖像信號DV4。
在照相機信號處理單元12的解析度轉換/圖像合成部分130中，將通過 執行全視角稀疏讀處理而獲得的圖像信號或者通過執行全像素部分讀處理而
獲得的圖像信號寫入幀存儲器51中，並且在參考幀時間段期間讀取被寫入幀
存儲器51中的圖像信號。圖18 (F)示出被寫入幀存儲器51中的圖像信號 DVfW，而圖18 (G)示出從幀存儲器51讀出的圖像信號DVfr。
此外，解析度轉換/圖像合成部分130組合從幀存儲器51讀出的、通過 全視角稀疏讀處理而獲得的圖像信號與被寫入幀存儲器51中的、通過全像素 部分讀處理而獲得的圖像信號。此外，其組合從幀存儲器51讀出的、通過全 像素部分讀處理的圖像信號與被寫入幀存儲器51中的、通過全視角稀疏讀處 理的圖像信號。圖18 (H)示出從解析度轉換/圖像合成部分130輸出的圖像 信號DV5。當到達高速圖像捕捉模式下記錄的經圖像捕捉的畫面的再現時間 段時，解析度轉換/圖像合成部分130輸出幀2+3的圖像信號，其中在該幀2+4 的圖像信號中，組合了作為通過全視角稀疏讀處理的圖像信號的幀2的圖像 信號與作為通過像素部分讀處理的圖像信號的幀4的圖像信號。解析度轉換/ 圖像合成部分130接著輸出幀4+6的圖像信號，其中在該幀4+6的圖像信號 中，組合了作為通過全像素部分讀處理的圖像信號的幀4的圖像信號與作為 通過全視角稀疏讀處理的圖像信號的幀6的圖像信號，並且其連續地輸出 幀…+…的圖像信號。即，解析度轉換/圖像合成部分130可以輸出這樣的再 現的畫面的圖像信號其中對象的運動是一半速度並且由通過全像素部分讀 處理的圖像信號防止畫質的劣化。
圖19示出以圖像捕捉時的幀順序，通過使用記錄的經圖像捕捉的畫面， 產生其中對象的運動是四分之一速度的再現圖像信號DV5的情況。要注意， 圖19 (A)到(D)對應於圖17 (A)到(D)。
在這種情況下，在以高速圖像捕捉模式記錄的經圖像捕捉的畫面的再現 時間段期間，控制單元61控制從記錄介質42讀出經編碼的數據，並對其執 行解碼處理以產生表示幀順序的經圖像捕捉的畫面的圖像信號DV4。要注意， 圖19 (E)示出通過執行解碼處理而獲得的圖像信號DV4。
在照相機信號處理單元12的解析度轉換/圖像合成部分130中，將通過 執行全視角稀疏讀處理而獲得的圖像信號或者通過執行全像素部分讀處理而 獲得的圖像信號寫入幀存儲器51中，並且在參考幀時間段期間讀取被寫入幀 存儲器51中的圖像信號。圖19(F)示出被寫入幀存儲器51的圖像信號DVfW, 而圖19 (G)示出從幀存儲器51讀出的圖像信號DVfr。
此外，解析度轉換/圖像合成部分130組合從幀存儲器51讀出的圖像信
號與被寫入幀存儲器51的圖像信號，或者組合從幀存儲器51讀出的、通過 全視角稀疏讀處理的圖像信號與通過執行解碼處理而獲得的、通過全像素部
分讀處理的圖像信號。圖19 (H)示出從解析度轉換/圖像合成部分130輸出 的圖像信號DV5。當到達以高速圖像捕捉模式記錄的經圖像捕捉的畫面的再 現時間段時，解析度轉換/圖像合成部分130輸出幀2+3的圖像信號，其中在 該幀2+3的圖像信號中，組合了作為通過全視角稀疏讀處理的圖像信號的幀 2的圖像信號與作為通過全像素部分讀處理的圖像信號的幀3的圖像信號進 行組合。解析度轉換/圖像合成部分130接著輸出幀2+4的圖像信號，其中在 該幀2+4的圖像信號中，組合了作為通過全視角稀疏讀處理的圖像信號的幀 2的圖像信號與作為通過全像素部分讀處理的圖像信號的幀4的圖像信號， 輸出幀2+5的圖像信號，其中在該幀2+5的圖像信號中，組合了作為通過全 視角稀疏讀處理的圖像信號的幀2的圖像信號與作為通過全像素部分讀處理 的圖像信號的幀5的圖像信號，並輸出幀5+6的圖像信號，其中在該幀5+6 的圖像信號中，組合了作為通過全像素部分讀處理的圖像信號的幀5的圖像 信號與作為通過全視角稀疏讀處理的圖像信號的幀6的圖像信號，並且其連
續地輸出幀…+…的圖像信號。即，解析度轉換/圖像合成部分130可以輸出 這樣的再現的畫面其中對象的運動是四分之一速度並且由通過全像素部分 讀處理的圖像信號防止畫質的劣化。
此外，如果減速再現速度以執行慢動作再現，則能夠通過執行合成圖像 的重複處理來以慢動作顯示再現的圖像。此外，如果以三分之一再現速度執 行慢動作再現，則能夠通過選擇性地切換以一半再現速度的慢動作處理和以 四分之一再現速度的慢動作處理等來處理這種情況。
因此，當選擇了標準圖像捕捉模式時，圖像捕捉設備10的圖像捕捉單元 11產生具有參考幀速的圖像信號。圖像捕捉設備10還執行用於在記錄介質 42上連續地記錄具有該幀速的圖像信號的處理以及用於以參考幀速在顯示單 元22上顯示經圖像捕捉的畫面的處理。
此外，當選擇了高速圖像捕捉模式時，圖像捕捉設備10的圖像捕捉單元 11產生通過在參考幀時間段內的頂部幀處的全視角稀疏讀處理的圖像信號以 及通過在除了頂部幀之外的幀時間段中的全像素部分讀處理的圖像信號。因 此，如果使用參考幀時間段內頂部幀的圖像信號來執行圖像顯示，則不論高 速圖像捕捉模式中的幀速如何，都可以以參考幀速顯示經圖像捕捉的畫面。
此外，參考幀時間段內的頂部幀包含通過全視角稀疏讀處理的圖像信號， 因此圖像捕捉設備IO對通過全視角稀疏讀處理的圖像信號執行像素內插。因 此，通過連續地使用參考幀時間段內僅頂部幀的圖像信號(對其執行了像素 內插)來顯示經圖像捕捉的畫面，即使選擇了高速圖像捕捉模式，也可以在 顯示單元22上顯示具有與標準圖像捕捉模式相同的像素數的經圖像捕捉的 畫面。
此外，解析度轉換/圖像合成部分130組合通過執行全一見角稀疏讀處理而 獲得的圖像信號與通過執行全像素部分讀處理而獲得的圖像信號，並將其輸 出。因此，圖像捕捉設備IO可以使用通過執行全像素部分讀處理而獲得的經 圖像捕捉的畫面來補償通過執行全視角稀疏讀處理而產生的畫質的劣化。
此外，圖像捕扭_設備10和記錄設備70將通過4丸行全一見角稀疏讀處理而 獲得的圖像信號以及通過執行全像素部分讀處理而獲得的圖像信號作為運動 畫面的經編碼的數據以及靜止畫面的經編碼的數據記錄在記錄介質42上。因 此，圖像捕捉設備10和再現設備80讀取對其基於使用預測編碼的編碼系統 執行了壓縮處理的經編碼的數據，而不讀取對其基於不使用預測編碼的編碼 系統執行了壓縮處理的經編碼的數據，並將其再現。即，如果僅讀取運動畫 面的經編碼的數據而不讀取靜止畫面的經編碼的數據並且對其執行任何的解 碼處理，則能夠容易地獲得具有與標準圖像捕捉模式的幀速相同的幀速、其 中對象的運動是相同速度的圖像信號。此外，圖像捕捉設備10和再現設備 80再現運動畫面的經編碼的數據和與再現速度對應的靜止畫面的經編碼的數 據，並組合再現的圖像信號，由此使得能夠以所期望的再現速度輸出具有畫 質的更小劣化的圖像信號。換句話說，通過每次處理運動畫面的經編碼的數 據以執行再現，能夠輸出其中對象的運動是相同速度的圖像信號。此外，通 過再現與再現速度對應的靜止畫面的經編碼的數據並組合圖像信號，能夠容 易地獲得其中對象的運動慢於相同速度的慢動作圖像。
此外，在圖像捕捉設備10中，由於不需要像任意的傳統圖像捕捉設備那 樣執行將高速圖像信號臨時存儲在存儲器中然後再次將其記錄在海量記錄介 質上的這種處理，所以用於高速圖像捕捉的時間段不受存儲器容量的限制， 由此使得能夠在不錯過圖像捕捉的任何寶貴時機的情況下實現高速的圖像捕 捉。
此外，在全視角稀疏讀處理中，如果幀速變得更高(縮短設置時間段的
單位)，則使稀疏讀之間的間隔擴展。此外，在全像素部分讀處理中，如果幀 速變得更高，則使將從其讀取像素的區域受限。因此，如果幀速變得更高， 則減少要讀取的像素，以便在參考幀時間段期間要讀取的像素的數量可以保 持固定。即，即使在高速圖像捕捉模式中幀速更高，也能夠防止信號量增大， 並能夠合適地實現高速圖像捕捉。
此外，在全視角稀疏讀處理中，如果在幀速高於標準圖像捕捉模式的幀 速的情況下，高速圖像捕捉模式中的幀速變得更低(擴展設置時間段的單位)， 則使稀疏讀取之間的間隔縮短。此外，在全像素部分讀處理中，如果幀速變 得更低，則使將從其讀取像素的區域擴展。因此，將其配置為，當高速圖像 捕捉模式中幀速低時，與高速圖像捕捉模式中高幀速的情況相比，讀取更大 數量的像素，由此使要在參考幀時間段期間讀取的像素的數量能夠保持固定。
順便提及，儘管在上述實施例中已經描述了高速圖像捕捉模式中幀速固 定的情況，但是高速圖像捕捉模式中的幀速可以是變化的。要注意，如果幀
速可變，則其不僅可以變化到120 (fps)、 180 (fps)和240 (fps),還可以變 化為作為標準圖像捕捉模式中的幀速的60 (fps)。圖20示出在用戶連續地指 定幀速並且用戶以60 ( fps ) —120 ( fps ) —180 ( fps ) —240 ( fps ) —180 ( fps ) 4120(fi s)—60(fj3s)的順序改變幀速的情況下的操作。要注意，圖20(A) 示出參考垂直同步信號VDB，圖20 (B)示出圖像捕捉設備10的操作模式， 而圖20 (C)示出垂直同步信號VD。
當設置了高速圖像捕捉模式時，圖像捕捉單元11輸出通過在參考幀時間 段內的頂部幀處執行全視角稀疏讀處理而獲得的圖像信號，並輸出通過在不 包括頂部幀的參考幀時間段處執行全像素部分讀處理而獲得的圖像信號。
因此，從圖像捕捉單元11輸出的圖像信號DV1由通過在參考幀時間段 內的頂部幀處執行全視角稀疏讀處理而獲得的圖像信號(由斜線表示)和通 過在參考時間段內不包括頂部幀的幀時間段處執行全像素部分讀處理而獲得 的圖像信號(由粗實框表示)組成，如圖20 (D)所示。
在這裡，當執行監視器顯示時，照相機信號處理單元12的圖像捕捉設備 10和再現設備80將通過執行全視角稀疏讀處理而獲得的圖像寫入幀存儲器 51中，並在參考幀時間段期間讀取被寫入幀存儲器51的圖像信號，如上所 述。圖20 (E)示出被寫入幀存儲器51中的圖像信號DVfw，而圖20(F) 示出從幀存儲器51讀出的圖像信號DVfr。因此，圖像捕捉設備10和再現設
備80將已經在參考幀時間段期間從幀存儲器51讀出的、通過全視角稀疏讀
處理的圖像信號輸出到顯示處理單元21等，作為如圖20 (G)所示的監視器 圖像信號DV2，由此使能夠以與標準圖像捕捉模式的幀速一致的幀速顯示經 圖像捕捉的畫面。
此外，當用戶執行記錄的指令時，控制單元61控制圖20(D)所示的圖 像信號DV1的像素內插、編碼處理等，以將經編碼的數據記錄在記錄介質42 上。
下面將參照圖21描述在記錄介質42上記錄的經圖像捕捉的畫面的再現 操作。圖21 (A)示出被編碼並被記錄在記錄介質42上的經圖像捕捉的畫面 的幀PW。圖21 (B)示出參考垂直同步信號VDB,圖21(C)示出當記錄 經圖像捕捉的畫面時圖像捕捉設備10的操作模式，而圖21 (D)示出垂直同 步信號VD。
在以高速圖像捕捉模式記錄的經圖像捕捉的畫面的再現時間段期間，控 制單元61控制從記錄介質42讀出經編碼的數據並對其進行解碼處理，以產 生在圖像捕捉時的幀順序的圖像信號DV4。要注意，圖21 (E)示出通過執 行解碼處理而獲得的圖像信號DV4。
在照相機信號處理單元12的解析度轉換/圖像合成部分130中，將通過 執行全視角稀疏讀處理而獲得的圖像信號或者通過執行全^象素部分讀處理而 獲得的圖像信號寫入幀存儲器51中，並且在參考幀時間段期間讀取被寫入幀 存儲器51中的圖像信號。圖21 (F)示出被寫入幀存儲器51中的圖像信號 DVfw,而圖21 (G)示出從幀存儲器51讀出的圖像信號DVfr。
此外，解析度轉換/圖像合成部分130組合從幀存儲器51讀出的圖像信 號與被寫入幀存儲器51的圖像信號。可選擇地，其組合從幀存儲器51讀出 的、通過全視角稀疏讀處理的圖像信號與通過執行解碼處理而獲得的、通過 全像素部分讀處理的圖像信號。圖21 (H)示出從解析度轉換/圖像合成部分 130輸出的圖像信號DV5。當到達以高速圖像捕捉模式記錄的經圖像捕捉的 畫面的再現時間段時，解析度轉換/圖像合成部分130輸出幀2+3的圖像信號， 其中在該幀2+3的圖像信號中，組合了作為通過全視角稀疏讀處理的圖像信 號的幀2的圖像信號與作為通過全像素部分讀處理的圖像信號的幀3的圖像 信號。其接著輸出幀3+4的圖像信號，其中在該幀3+4的圖像信號中，結合 了作為通過全像素部分讀處理的圖像信號的幀3的圖像信號與作為通過全視
角稀疏讀處理的圖像信號的幀4的圖像信號，並輸出幀4+5的圖像信號，其
中在該幀4+5的圖像信號中，組合了作為通過全視角稀疏讀處理的圖像信號 的幀4的圖像信號與作為通過全像素部分讀處理的圖像信號的幀5的圖像信 號，並且其連續地輸出幀…+…的圖像信號。即，解析度轉換/圖像合成部分 130可以輸出這樣的經圖像捕捉的畫面的圖像信號其中對象的運動根據高 速圖像捕捉模式的幀速而變化並且由通過執行全像素部分讀處理而獲得的圖 像信號防止畫質的劣化。
此外，如果控制單元61控制從記錄介質42讀出基於使用預測編碼的編 碼系統對其執行了壓縮處理的經編碼的數據，而不讀取基於不使用預測編碼 的編碼系統對其執行了壓縮處理的經編碼的數據，並控制解碼處理，即如果 僅讀取運動畫面的經編碼的數據並且對其執行任何解碼處理以產生圖像信號 DV4,則即使當高速圖像捕捉模式的幀速變化時，也能夠輸出其中對象的運 動是相同速度的再現的畫面。
此外，如果改變幀速，則控制單元61可以以預定編程順序自動地改變幀 速。控制單元61還可以基於對象的運動自動地改變幀速，並且當對象的運動 快時，記錄具有高時間解析度，即高幀速的經圖像捕捉的畫面。
下面將描述用於記錄具有根據對象的運動而自動改變的幀速的經圖像捕 捉的畫面的操作。在這裡，對象的運動越快，就設置越高的幀速，以便可以 獲得具有高時間解析度的經圖像捕捉的畫面。此外，執行全像素部分讀處理 的區域的位置跟隨對象的運動而改變。
當根據對象的運動自動地改變幀速時，控制單元61基於從圖像壓縮/解 壓縮單元31通知的運動矢量MV,控制幀速以及執行全像素部分讀處理的矩 形區域的位置。要注意，如果對於參考幀時間段要在圖像傳感器111中讀取 的像素的數量是固定的，則通過確定幀速，自動地確定全視角稀疏讀處理中 的稀疏讀取之間的間隔以及執行全像素部分讀處理的矩形區域的區域大小。
在這裡，當根據對象的運動自動地改變幀速時，控制單元61對從圖像壓 縮/解壓縮單元31通知的運動矢量取絕對值，然後將其與判定參考值Lvl、 Lv2和Lv3進行比較以判定幀速。這些判定參考值Lvl、 Lv2和Lv3是用於 限定幀速的判定準則，其可以期望基於對象的運動和參考值而產生的模糊 (blur)的減少，其中在基於對象的運動和參考值而產生的模糊中，幀速根據 由運動矢量表示的每一個宏塊的運動的增加連續地從"Fro (例如，60 ( fps ))"
的相同速度按級(in stages)增大到四倍速度"Fr3 (例如,240 (fps))"。
在這裡，當運動矢量的絕對值小於Lvl時，將幀速設置到與標準圖像捕 捉模式的幀速相同。當運動矢量的絕對值處於從大於Lvl到小於Lv2時，設 置幀速以便使其為標準圖像捕捉模式的幀速的兩倍，將其作為高速圖像捕捉 模式。當運動矢量的絕對值處於從大於Lv2到小於Lv3時，設置幀速以便使 其為標準圖像捕捉模式的幀速的三倍，並且當運動矢量的絕對值大於Lv3時， 設置幀速以便使為標準圖像捕捉模式的幀速的四倍。
此外，控制單元61從所檢測到的運動矢量來限定區域，例如圖23所示 的矩形區域，其中在該矩形區域處執行全像素部分讀處理。控制單元61將所 檢測到運動分量分解為其水平和垂直分量，並通過將與宏塊的位置對應的加 權係數加權相加到其上而對由每一個宏塊所檢測的運動矢量執行統計處理， 由此限定圖像幀Trl到Tr3。要注意，使用被設置為根據例如距屏幕的中心部 分的範圍(extent)而增大的加權係數值來執行加權相加處理。此外，在這種 情況下，可以與以固定幀速捕捉圖像的情況類似地限定圖像幀Trl到Tr3。要 注意，圖23還示出每一個宏塊的運動的增大的結果，這使用判定參考值Lvl 到Lv3來判定。
控制單元61對於每一個參考幀時間段實行幀速和圖像幀Trl到Tr3的設置。
通過實行圖24所示的處理進程來執行幀速和圖像幀的設置。
即，如果該處理進程開始，則控制單元61將步驟從步驟SP1移動到步 驟SP2，其中在步驟SP2中開始對相應幀的處理，然後在下面的步驟SP3， 確定當前幀速是否大於作為參考幀速的三倍的"Fr2"。在這裡，如果獲得否 定結果，則控制單元61將步驟從步驟SP3移動到步驟SP4。
在步驟SP4,控制單元61確定當前幀速是否為作為參考幀速的兩倍的 "Frl"。在這裡，如果獲得否定結果，則其將步驟從步驟SP4移動到步驟SP5， 這是因為當前幀是與參考幀速相同的"FrO"。
在步驟SP5，控制單元61確定是否檢測到具有大於第一判定參考值Lvl 的運動的宏塊。在這裡，如果獲得否定結果，則控制單元61將步驟從步驟 SP5移動到步驟SP6，其中在步驟SP6中將接下來的參考幀時間段的幀頻設 置為與參考幀頻相同的"FrO"，例如60(fps)。此外，在下面的步驟SP7, 控制單元61完成對於相應參考幀時間段的處理，並返回到步驟SP2。
可選擇地，如果在步驟SP5獲得肯定結果，則控制單元61將步驟從步
驟SP5移動到步驟SP8。控制單元61確定每個具有大於第一判定參考值Lvl 的運動的所有宏塊是否均被包括在圖像幀Trl中，所述圖像幀Trl具有僅比 當前幀速高一個級別的幀速，即與參考幀速的兩倍對應的幀速。在這裡，如 果獲得否定結果，則控制單元61將步驟從步驟SP8移動到步驟SP6，其中在 步驟SP9中將對於接下來的參考幀時間段的幀速設置為與參考幀速相同的 "Fro"。另一方面，如果在步驟SP8獲得肯定結果，則控制單元61將步驟從 步驟SP8移動到步驟SP9,其中在步驟SP9中將接下來的參考幀時間段設置 為作為參考幀速的兩倍的"Frl"，例如120(fps),並且移動到步驟SP7。
如果當前幀速是兩倍於參考幀速的"Frl",則控制單元61將步驟從步驟 SP4移動到步驟SP10，這是因為在步驟SP4獲得肯定結果。在步驟SP4，控 制單元61確定是否^f企測到具有大於第二判定參考值Lv2的運動的宏塊。在這 裡，如果獲得否定結果，則控制單元61將步驟從步驟SP10移動到步驟SPll， 其中在步驟SPll中確定當前幀速是否是作為參考幀速的三倍的"Fr2"。在這 種情況下，通過獲得否定結果，控制單元61將步驟從步驟SP11移動到步驟 SP5。此外，通過移動到步驟SP5，如果可以減小幀速，即沒有檢測到具有大 於第一判定參考值Lvl的運動的任何宏塊，或者如果沒有出現其中每個具有 大於第一判定參考值Lvl的運動的所有宏塊均被包括在與參考幀速的兩倍對 應的圖像幀Trl中的狀態，則控制單元61將對於接下來的參考幀時間段的幀 速設置為與參考幀速相同的"Fro"。相反，如果不能減小幀速，即檢測到具 有大於第一判定參考值Lvl的運動的任何宏塊，或者如果每個具有大於第一 判定參考值Lvl的運動的所有宏塊均被包括在與參考幀速的兩倍對應的圖像 幀Trl中，控制單元61進一步保持當前幀速並且將處理移動到下一參考幀。
如果在步驟SP11獲得肯定結果，則控制單元61將步驟從步驟SP11移 動到步驟SP9，其中在步驟SP9中其將處理移動到下一參考幀，對於下一參 考幀時間段的幀速被保持為兩倍於參考幀速的"Frl，，，即當前幀速。此外， 如果在步驟SP10獲得肯定結果，則控制單元61將步驟從步驟SP10移動到 步驟SP12，其中在步驟SP12中其確定每個具有大於第二判定參考值Lv2的 運動的所有宏塊是否均被包括在圖像幀Tr2中，其中圖像幀Tr2具有比當前 幀速僅高一個級別的幀速，即與參考幀速的三倍對應的幀速。在這裡，如果 獲得否定結果，則控制單元61將步驟從步驟SP12移動到步驟SP11。此外，
如果在步驟SP11獲得肯定結果，則控制單元61將處理移動到下一參考幀， 幀速被保持為兩倍於參考幀速的幀速。另一方面，如果在步驟SP12獲得肯定
結果，則控制單元61將步驟從步驟SP12移動到步驟SP13，其中在步驟SP13 中將對於接下來的參考幀時間段的幀速設置為三倍於參考幀速的"Fr2",例 如180(fps)，然後將其處理移動到下一參考幀。
如果當前幀速是三倍於參考幀速的"Fr2，，或四倍於參考幀速的"Fr3", 則通過在步驟SP3獲得肯定結果，控制單元61將步驟從步驟SP3移動到步 驟SP15。在步驟SP15，控制單元61確定是否^r測到具有大於第三判定參考 值Lv3的運動的宏塊。在這裡，如果獲得否定結果，則控制單元61將步驟從 步驟SP15移動到步驟SP16,其中在步驟SP16中其確定當前幀速是否為四倍 於參考幀速的"Fr3"。在這種情況下，如果當前幀速是三倍於參考幀速的 "Fr2",則通過在步驟SP16獲得否定結果，控制單元61將步驟從步驟SP16 移動到步驟SPIO。此外，通過移動到步驟SP10,如果可以減小幀速，即沒 有檢測到具有大於第二判定參考值Lv2的運動的任何宏塊，或者如果沒有出 現其中每個具有大於第二判定參考值Lv2的運動的所有宏塊均被包括在與參 考幀速的三倍對應的圖像幀Tr2中的狀態，則控制單元61將對於接下來的參 考幀時間段的幀速設置為兩倍於參考幀速的"Frl"。可選擇地，如果沒有檢 測到具有大於第一判定參考值Lvl的運動的任何宏塊，或者如果沒有出現其 中每個具有大於第一判定參考值Lvl的運動的所有宏塊均被包括在與參考幀 速的兩倍對應的圖像幀Trl中，則控制單元61基於在步驟SP11後的處理處 當前幀速是"Fr2"的條件，將對於隨後的參考幀時間段的幀速設置為兩倍於 參考幀速的"Frl"。相反，如果不能減小幀速，即檢測到具有大於第二判定 參考值Lv2的運動的宏塊，或者如果每個具有大於第二判定參考值Lv2的運 動的所有宏塊均被包括在與參考幀速的三倍對應的圖像幀Tr2中，則控制單 元61保持當前幀速並且將處理移動到下一參考幀。
如果當前幀速是四倍於參考幀速的"Fr3"，則在步驟SP16獲得肯定結果， 並且在這種情況下，控制單元61將步驟從步驟SP16移動到步驟SP13,其中 在步驟SP13中其將對於接下來的參考幀時間段的幀速設置為三倍於參考幀 速的"Fr2",例如180(fps),並且將處理移動到下一參考幀。
如果檢測到具有大於第三判定參考值Lv3的運動的宏塊，則在步驟SP15 獲得肯定結果，以便控制單元61將步驟從步驟SP15移動到步驟SP17。在步
驟SP17，控制單元61確定每個具有大於第三判定參考值Lv3的運動的所有 宏塊是否均被包括在與參考幀速的四倍對應的圖像幀Tr3中。在這裡，如果 獲得肯定結果，則控制單元移動到步驟SP18,其中在步驟SP18中其將對於 接下來的參考幀時間段的幀速設置為四倍於參考幀速的"Fr3",例如240 (fps),然後將處理移動到下一參考幀。
此外，如果獲得否定結果，則控制單元61將步驟從步驟SP17移動到步 驟SP16，其中在步驟SP16中基於在步驟SP16後的處理中當前幀速是"Ff3" 的條件，將對於接下來的參考幀時間段的幀速設置為三倍於參考幀速的幀速， 即180 (fps)。
根據如圖24所示的處理，如果增大要經歷圖像捕捉的對象的運動，則控 制單元61設置幀速以便其按級連續增大。可選擇地，如果減小對象的運動， 則控制單元61設置幀速以便其按級連續增大。因此，控制單元61自動地設 置幀速並且選#^與所設置的幀速對應的圖像幀。此外，圖像傳感器111執行 全像素部分讀處理，以便可以讀出在所選擇的圖像幀中的所有像素。
當用戶指示再現在記錄介質42上記錄的經圖像捕捉的畫面時，控制單元 61從記錄/再現處理單元41獲取關於用戶指示再現的經圖像捕捉的畫面的管 理信息(administration information),基於如上所述的管理信息從記錄介質42 讀出經編碼的數據，並控制各部分以執行解碼處理或者組合圖像信號。
因此，如果用戶指示可變速度高速圖像捕捉，則控制單元61動態地切換 幀速，以便當對象的運動大時增大幀速，由此產生該動態切換的幀速的圖像 信號。此外，控制單元61動態地切換幀速，以便當對象的運動小時將幀速設 置為半圖像捕捉模式的幀速，由此產生該動態切換的幀速的圖像信號。因此， 如果運動慢並且不需要高幀速的高速圖像捕捉，則圖像捕捉設備IO可以產生 與標準圖像捕捉模式類似的幀速的圖像信號，以便可以防止在記錄介質方面 的任何浪費的開銷。此外，如果對象的運動大，則產生高幀速的圖像信號， 以便可以獲得具有高時間解析度的經圖像捕捉的畫面。
例如，當選擇高速圖像捕捉模式以便對高速運動對象進行圖像捕捉而沒 有任何運動模糊或者以便獲得其中高速運動對象具有平滑的運動的慢動作畫 面時，背景幾乎處於小運動狀態，使得看起來這幾乎是高速圖像捕捉的情況 下的無意義的部分。在這裡，如上所述，當根據運動檢測結果在高速圖像捕 捉模式下設置幀速和要對其執行全像素部分讀處理的區域時，通過執行全視
角稀疏讀處理而畫質劣化的部分是背景，並且由通過執行全像素部分讀處理 而獲得的圖像信號補償高速運動的對象在畫質方面的劣化。因此，圖像捕捉 設備IO可以對以高速運動的對象執行圖像捕捉而沒有任何模糊，或者可以獲 得以高速運動的對象具有平滑運動的慢動作畫面，而不增大關於對參考幀時 間段從圖像傳感器111輸出的圖像信號的信號量。
此外，圖像捕捉設備10可以與對象的運動的任何改變對應地、平滑地切 換幀速，由此使得能夠防止在再現時中產生的不舒適感覺。即，例如，如果 基於對象的運動通過人工操作來切換幀速並執行高速圖像捕捉，則必然難以 根據對象的運動合適地切換幀速。因此，如果再現幀速被切換的一系列圖像 信號，則幀速突然改變以導致產生明顯的不舒適感覺。然而，由於與對象的 運動的改變對應地、動態地切換幀速，因此能夠防止在再現時產生的不舒適 感覺。
另夕卜，圖像捕捉設備10通過將對其執行全像素部分讀處理的矩形區域設
置為跟隨對象的運動來產生圖像信號。因此，該圖像捕捉設備IO可以對高速
圖像捕捉所需的對象穩定地執行圖像捕捉，並且即使從其讀取全部像素的矩 形區域被設置為小區域並降低在高速圖像捕捉時圖像信號的速率的增大，也 可以防止其畫質劣化。
在圖像捕捉設備10中，使用在圖像信號的編碼處理中檢測到的運動矢
量，來檢測對象的運動(該對象的運動用於設置從其讀取全部像素的矩形區
域的大小)、其位置以及幀速。因此，在該圖像捕捉設備10中，使用圖像壓 縮/解壓縮單元31的配置來有效地檢測對象的運動，使得與單獨檢測對象的 運動的情況相比，可以簡化整體配置。
相反，當以可變速度再現以可變速度對其執行了高速圖像捕捉的圖像信 號時，以圖像捕捉的順序連續地再現圖像信號，然後以類似的方式處理並顯 示通過全像素部分讀處理的圖像信號和通過全視角稀疏讀處理的圖像信號。 在這種情況下，圖像捕捉設備IO可以通過自動地減小運動快的部分中的再現 速度來執行慢動作再現，並且可以基於運動量的改變來切換再現速度，而不 帶來任何不舒適感覺。
要注意，儘管已經在上述實施例中描述了全像素部分讀取中的視角被補 償為全視角稀疏讀取中的視角的情況，但是該發明不限於此；相反，全視角 稀疏讀取中的視角也可以被補償為全像素部分讀取中的視角。這使得能夠顯
示其中對象被放大的圖像。
此外，儘管已經在上述實施例中描述了通過將全視角稀疏讀取應用於上 述實施例來產生關於全視角的圖像信號的情況，但是該發明不限於此，並且 如果提供足以適於實際使用的任何處理能力，則可以通過將全視角和全像素 讀取應用於上述實施例來產生關於全視角的圖像信號。在這種情況下，還可 以通過基於幀速的增大從全視角和全像素讀取切換到全視角稀疏讀取來產生 全視角的圖像信號。
此外，儘管已經在上述實施例中描述了在逐行系統中產生圖像信號的情 況，但是該發明不限於此，並且也可以應用於在隔行系統中產生圖像信號的 情況。
工業實用性
本發明可應用於例如圖像捕捉設備。
權利要求
1、一種圖像捕捉設備，被提供有:圖像傳感器，產生經圖像捕捉的畫面的圖像信號；以及控制單元，控制所述圖像傳感器以設置時間段為單元在全視角稀疏讀處理與全像素部分讀處理之間切換，其中在全視角稀疏讀處理中，對有效圖像範圍內的像素執行稀疏讀取以產生所述圖像信號，在全像素部分讀處理中，從部分區域讀出所述有效圖像範圍的部分區域的所有像素以產生所述圖像信號。
2、 根據權利要求1所述的圖像捕捉設備，其中如果所述設置時間段的單 元短於預定的參考時間段的單元，則所述控制單元控制所述圖像傳感器執行 所述全視角稀疏讀處理和所述全像素部分讀處理。
3、 根據權利要求2所述的圖像捕捉設備，其中所述控制單元控制所述圖 像傳感器在所述參考時間段的單元內的設置時間段的頂部單元處執行所述全 視角稀疏讀處理，並且在所述參考時間段內的設置時間段的另 一單元處執行 所述全像素部分讀處理。
4、 根據權利要求3所述的圖像捕捉設備，其被進一步提供有像素內插部 分，該像素內插部分執行像素內插以產生關於經稀疏的像素的信號，其中所述像素內插部分對通過所述全視角稀疏讀處理而獲得的圖像信號 執行所述像素內插。
5、 根據權利要求4所述的圖像捕捉設備，其中所述設置時間段的單元是 可改變的。
6、 根據權利要求5所述的圖像捕捉設備，其中如果使所述設置時間段的 單元更短，則所述控制單元控制所述圖像傳感器設置所述稀疏讀取之間的間 隔以便使其擴展，並且設置所述有效圖像範圍的部分區域以便使其受限，或 者如果使所述設置時間段的單元更長，則設置所述稀疏讀取之間的間隔以便 使其縮短，並且設置所述有效圖像範圍的部分區域以便使其擴大。
7、 根據權利要求6所述的圖像捕捉設備，其被進一步提供有運動檢測單 元，該運動檢測單元使用所述經像素內插的圖像信號檢測運動，其中所述控制單元控制所述圖像傳感器基於由所述運動檢測單元檢測到 的對象的運動來執行所述全像素部分讀處理，其中該對象的運動被包括在所 述有效圖像範圍的部分區域中。
8、 根據權利要求7所述的圖像捕捉設備，其中如果運動大，則所述控制單元設置所述設置時間段的單元以便使其擴展，或者如果運動小，則所述控 制單元設置所述設置時間段的單元以便使其縮短。
9、 根據權利要求4所述的圖像捕捉設備，其被進一步提供有圖像壓縮單 元，所述圖像壓縮單元對所述圖像信號執行壓縮處理以產生經編碼的數據； 以及記錄單元，在記錄介質上記錄所述經編碼的數據，其中所述圖像壓縮單元基於使用預測編碼的編碼系統對在所述全視角稀 疏讀處理中經像素內插的所述圖像信號執行壓縮處理，並且基於不使用預測 編碼的編碼系統對通過執行所述全像素部分讀處理而獲得的圖像信號執行壓 縮處理。
10、 根據權利要求9所述的圖像捕捉設備，其中所述圖像壓縮單元使用 所述經像素內插的圖像信號檢測所述運動，以及其中所述控制單元控制所述圖像傳感器基於所述對象的所述運動來執行 所述全像素部分讀處理，其中所述對象的運動被包括在所述有效圖像範圍的 部分區域中。
11、 根據權利要求9所述的圖像捕捉設備，其被進一步提供有 再現單元，讀取在所述記錄介質上記錄的經編碼的數據； 圖像解壓縮單元，對由所述再現單元讀取的經編碼的數據解壓縮，以產生圖像信號；以及圖像合成單元，使用由所述圖像解壓縮單元產生的圖像信號來執行合成， 其中所述圖像合成單元組合在所述全視角稀疏讀處理中經像素內插的所述圖像信號與通過執行所述全像素部分讀處理而獲得的圖像信號。
12、 根據權利要求11所述的圖像捕捉設備，其中所述再現單元從所述記 錄介質讀出基於使用所述預測編碼的編碼系統對其執行了壓縮處理的經編碼 的數據，而不讀取基於不使用所述預測編碼的編碼系統對其執行了壓縮處理 的經編碼的數據，以及其中所述圖像解壓縮單元對由所述再現單元讀取的經編碼的數據解壓 縮，並將其作為參考時間段的每個單元的圖像信號而輸出。
13、 根據權利要求1所述的圖像捕捉設備，其中所述全視角稀疏讀處理 包括像素稀疏處理和線稀疏處理中的至少一個。
14、 根據權利要求1所述的圖像捕捉設備，其被進一步提供有顯示單元，號來顯示圖像。
15、 一種用於使用圖像傳感器產生經圖像捕捉的畫面的圖像信號的圖像 捕捉方法，所述方法包括全視角稀疏讀步驟，通過對圖像傳感器的有效圖像範圍中的像素執行稀 疏讀取來產生所述圖像信號；以及全像素部分讀步驟，通過從部分區域讀出所述有效圖像範圍的部分區域 的所有像素來產生所述圖像信號，其中以設置時間段為單元切換所述全視角稀疏讀步驟和所述全像素部分 讀步驟。
16、 一種記錄設備，其被提供有圖像壓縮單元，對通過允許圖像傳感器以設置時間段為單元在全視角稀 疏讀處理與全像素部分讀處理之間切換而產生的經圖像捕捉的畫面的圖像信 號執行壓縮處理以便產生經編碼的數據，其中在全視角稀疏讀處理中，對有 效圖像範圍中的像素執行稀疏讀取以產生所述圖像信號，在全像素部分讀處 理中，從部分區域讀出所述有效圖像範圍的部分區域的所有像素以產生所述 圖像信號；以及記錄單元，記錄所述經編碼的數據，其中所述圖像壓縮單元基於使用預測編碼的編碼系統對通過執行所述全 視角稀疏讀處理而獲得的圖像信號執行壓縮處理，並基於不使用預測編碼的 編碼系統對通過執行所述全像素部分讀處理而獲得的圖像信號執行壓縮處 理。
17、 根據權利要求16所述的記錄設備，其被進一步提供有像素內插部分， 所述像素內插部分執行像素內插以產生關於經稀疏的像素的信號，其中所述像素內插部分對通過所述全視角稀疏讀處理而獲得的圖像信號 執行像素內插，以及其中所述圖像壓縮單元基於使用預測編碼的編碼系統對由所述像素內插 部分在所述全視角稀疏讀處理中進行像素內插的所述圖像信號執行壓縮處 理。
18、 一種記錄方法，其被提供有基於使用預測編碼的編碼系統對通過執行全視角稀疏讀處理而獲得的圖 像信號執行壓縮處理、以便在通過允許圖像傳感器以設置時間段為單元在所 述全視角稀疏讀處理與全像素部分讀處理之間進行切換而產生的經圖像捕捉 的畫面的圖像信號之中產生經編碼的數據的步驟，其中在所述全視角稀疏讀 處理中，對有效圖像範圍中的像素執行稀疏讀取以產生所述圖像信號，在所 述全像素部分讀處理中，從部分區域讀出所述有效圖像範圍的部分區域的所 有像素以產生所述圖像信號；基於不使用預測編碼的編碼系統對通過執行所述全像素部分讀處理而獲 得的圖像信號執行壓縮處理以產生經編碼的數據的步驟；以及記錄所述經編碼的數據的項目的步驟。
19、 一種再現設備，其被提供有再現單元，從記錄介質讀出經編碼的數據，其中在圖像傳感器已經以設 置時間段為單元在全視角稀疏讀處理與全像素部分讀處理之間切換之後，基 於使用預測編碼的編碼系統來壓縮處理通過執行全^L角稀疏讀處理而獲得的 圖像信號，並將其作為經編碼的數據記錄在所述記錄介質上，並且基於不使 用預測編碼的編碼系統來壓縮處理通過執行全像素部分讀處理而獲得的圖像 信號，並將其作為經編碼的數據記錄在所述記錄介質上，其中在所述全視角 稀疏讀處理中，對有效圖像範圍中的像素執行稀疏讀取以產生所述圖像信號， 在所述全像素部分讀處理中，從部分區域讀出所述有效圖像範圍的部分區域的所有像素以產生所述圖像信號；圖像解壓縮單元，解壓縮所讀取的經編碼的數據，以產生圖像信號；以及圖像合成單元，使用在圖像解壓縮單元中產生的圖像信號來執行合成， 其中圖像合成單元組合通過執行全視角稀疏讀處理而獲得的圖像信號與 通過全像素部分讀處理而獲得的圖像信號。
20、 根據權利要求19所述的再現設備，其中所述再現單元從所述記錄介質讀出基於使用所述預測編碼的編碼系統對其執行了壓縮處理的經編碼的數 據，而不讀取基於不使用所述預測編碼的編碼系統對其執行了壓縮處理的經編碼的數據，以及其中所述圖像解壓縮單元解壓縮所述經編碼的數據，並將其作為參考時 間段的每個單元的圖像信號而輸出。
21、 一種再現方法，其被提供有從記錄介質讀出經編碼的數據的步驟，其中在圖像傳感器已經以設置時 間段為單元、在全視角稀疏讀處理與全像素部分讀處理之間切換之後，基於 使用預測編碼的編碼系統來壓縮處理通過執行全視角稀疏讀處理而獲得的圖 像信號，並將其作為經編碼的數據記錄在所述記錄介質上，並且基於不使用 預測編碼的編碼系統來壓縮處理通過執行全像素部分讀處理而獲得的圖像信號，並將其作為經編碼的lt據記錄在所述記錄介質上；解壓縮所讀取的經編碼的數據以產生圖像信號的步驟；以及 組合通過執行全視角稀疏讀處理而獲得的圖像信號與通過全像素部分讀處理而獲得的圖像信號的步驟。
全文摘要
例如，本發明可應用於成像設備，其產生用於稀疏每一預定場或幀的圖像信號，以便執行權視角讀出，並產生用於在剩餘場或幀中執行全像素部分讀出的信號。
文檔編號H04N5/343GK101385334SQ20078000585
公開日2009年3月11日 申請日期2007年12月18日 優先權日2006年12月18日
發明者宮腰大輔 申請人:索尼株式會社