處理運動圖像數據的運動圖像處理裝置及運動圖像處理方法
2023-07-07 14:46:41 1
專利名稱：處理運動圖像數據的運動圖像處理裝置及運動圖像處理方法
技術領域：
本發明涉及能夠調整運動圖像數據的再現速度的運動圖像處理裝置、以及運動圖像處理方法。
背景技術：
在現有技術中，能夠將攝像幀速率切換為與通常攝像對應的規定的攝像幀速率或比該攝像幀速率高速的攝像幀速率的攝像裝置被熟知(例如，參照JP特開2010-87778號公報)。若以低速的再現幀速率對由該攝像裝置以高速的攝像幀速率拍攝到的運動圖像進行再現，貝1J看起來成為以慢動作(slow motion)拍攝的運動圖像。但是，在以與通常攝像對應的規定的攝像幀速率進行運動圖像的攝像的過程中， 為了拍攝想要以慢動作來再現的鏡頭(scene)而進行切換攝像幀速率的操作是很繁雜的。 而且，即使通過該操作來切換攝像幀速率，也存在如下問題想要以該慢動作來再現的鏡頭的前後的鏡頭也將以與慢動作對應的攝像幀速率被拍攝。期望即使在運動圖像數據的攝影記錄時用戶不進行特別的操作，也能獲得能夠部分慢速再現的運動圖像數據。
發明內容
本發明的I個形態，是一種運動圖像處理裝置，其特徵在於，具備取得部，其取得以規定的攝像幀速率拍攝到的被攝體的運動圖像數據；確定部，其對由該取得部取得的所述運動圖像數據實施規定的解析處理，並在構成該運動圖像數據的多個幀圖像內，確定由作為慢速再現的對象的多個幀圖像構成的慢速再現幀部分；和處理部，其對構成所述運動圖像數據的多個幀圖像中、由所述確定部確定的所述慢速再現幀部分以外的規定數量的幀圖像，以規定的比例進行抽除處理。此外，本發明的另一形態，是一種運動圖像處理方法，其使用了運動圖像處理裝置，所述運動圖像處理方法的特徵在於，包含如下步驟取得以規定的攝像幀速率拍攝到的被攝體的運動圖像數據的步驟；對取得的所述運動圖像數據實施規定的解析處理，來在構成該運動圖像數據的多個幀圖像內，確定由作為慢速再現的對象的多個幀圖像構成的慢速再現幀部分的步驟；和對構成所述運動圖像數據的多個幀圖像中、確定的所述慢速再現幀部分以外的規定數量的幀圖像，以規定的比例進行抽除處理的步驟。
圖I是表示應用了本發明的實施方式I的攝像裝置的概略構成的框圖。
圖2是表示由圖I的攝像裝置進行的運動圖像數據生成處理所涉及的動作的一例的流程圖。圖3A B是用於說明圖2的運動圖像數據生成處理的圖。圖4是表示運動圖像數據生成處理的變形例所涉及的動作的一例的流程圖。
具體實施例方式以下，針對本發明，利用附圖來對具體方式進行說明。但是，發明的範圍不限定於圖示例。圖I是表示應用了本發明的一實施方式的攝像裝置100的概略構成的框圖。本實施方式的攝像裝置100對運動圖像數據D實施規定的解析處理，來在構成該運動圖像數據D的多個幀圖像f、...內，確定由作為慢速再現的對象的多個幀圖像 f、...構成的慢速再現幀部分S，並對該慢速再現幀部分S以外的規定數量的幀圖像f，以規定的比例進行抽除處理。具體來說，如圖I所示，攝像裝置100具備透鏡部I、電子攝像部2、單元電路部3、 攝像控制部4、圖像生成部5、圖像處理部6、顯示控制部7、顯示部8、記錄介質控制部9、操作輸入部10、緩衝存儲器11、程序存儲器12、中央控制部13等。此外，攝像控制部4、圖像生成部5、圖像處理部6、顯示控制部7、記錄介質控制部
9、緩衝存儲器11、程序存儲器12、中央控制部13通過總線線路14而連接。透鏡部1，雖省略圖示，但例如具有變焦透鏡、聚焦透鏡、光圈等，對通過了這些透鏡的被攝體的光學像進行成像。電子攝像部2配置於透鏡部I的光軸上。此外，電子攝像部2例如由CXD (Charge Coupled Device)或 CMOS (Complementary Metal-oxide Semiconductor)等圖像傳感器構成，按照每個規定的周期將通過了透鏡部I的各種透鏡的光學像變換為二維的圖像信號 (RGB圖像數據)，並輸出到單元電路部3。單元電路部3,雖省略圖示，但例如具備Q)S(Correlated Double SamplingJl^ 關雙米樣電路)、AGC(Auto Gain Control :增益調整放大器)、ADC(Analog to Digital Converter :模擬/數字變換器)等。該單元電路部3通過⑶S按照與攝像巾貞速率相應的每個規定的周期來保持與從電子攝像部2輸出而被輸入的被攝體的光學像相應的模擬的圖像信號，並通過AGC將該圖像信號放大後，通過ADC來將放大後的圖像信號變換為數字的圖像信號。然後，單元電路部3將數字的圖像信號發送到圖像生成部5。攝像控制部4對透鏡部I、電子攝像部2、單元電路部3等的動作進行控制。S卩、攝像控制部4，例如具備電動機等驅動源、和對該驅動源進行驅動的驅動器等 (全部省略圖示)，使透鏡部I的變焦透鏡和聚焦透鏡在光軸方向上驅動。此外，攝像控制部4例如具備進行透鏡部I的光圈的擴徑或縮徑的光圈驅動部(圖示略)，根據曝光調整條件來進行光圈的擴徑或縮徑。此外，攝像控制部4,例如具備TG(Timing Generator,定時脈衝發生器)、對電子攝像部2進行驅動的驅動器等(全部省略圖示)，根據驅動幀速率和攝像條件(例如，曝光時間等)，通過TG以及驅動器來對電子攝像部2的動作定時進行控制。 此外，攝像控制部4按照攝像幀速率來對單元電路部3的動作定時進行控制。圖像生成部5根據從單元電路部3發送來的數字的圖像信號來生成數字值的亮度信號Y以及色差信號Cb、Cr (YUV數據)。具體來說，圖像生成部5按照與攝像幀速率相應的每個規定的周期(例如，1/240 秒等)，用彩色處理電路(color process circuit)(圖示略)來對從單元電路部3發送來的各幀圖像f的數字的圖像數據分別進行包括像素插值處理以及Y校正處理在內的彩色處理，之後生成數字值的亮度信號Y以及色差信號Cb、Cr (YUV數據)。然後，圖像生成部5 將生成的亮度色差信號的圖像數據輸出到攝像控制部4以及圖像處理部6。在此，作為拍攝運動圖像時的攝像幀速率而例示的240fps是一個例子，並不限定於此，可以適當地任意變更。圖像處理部6具備圖像取得部6a、幀確定部6b、和抽除處理部6c。圖像取得部6a取得被攝體的運動圖像數據D。具體來說，圖像取得部6a取得由圖像生成部5生成的圖像數據(YUV數據)，即、由圖像生成部5根據在拍攝被攝體的運動圖像時，按照與攝像幀速率相應的每個規定的周期 (例如，1/240秒等)從單元電路部3發送來的數字的圖像信號而生成的各幀圖像f的圖像數據(運動圖像數據D)。在此，運動圖像數據D的攝像幀速率比由顯示部8對運動圖像數據進行再現時所設定的規定的再現幀速率高速，即、各幀圖像的攝像周期比與再現幀速率對應的各幀圖像的切換(再現)周期短。在此，圖像取得部6a構成了取得由以規定的攝像幀速率拍攝到的多個幀圖像 f、...構成的被攝體的運動圖像數據D的取得單元(取得部)。幀確定部6b在構成運動圖像數據D的多個幀圖像f、...內，確定慢速再現幀部分S。S卩、幀確定部6b具備對由圖像取得部6a取得的運動圖像數據D實施規定的解析處理的解析處理部bl，並基於該解析處理部bl的解析結果來確定慢速再現幀部分S。解析處理部bl進行用於檢測在構成運動圖像數據D的多個幀圖像f、...中的被攝體的狀態變化的規定的解析處理。具體來說，解析處理部bl針對多個幀圖像f、...的每一個，計算在相鄰的幀圖像f (例如，攝像定時是前一個的幀圖像f等)之間對應的各像素的差分。然後，解析處理部bl針對多個幀圖像f、...的每一個，基於算出的各像素的差分來進行規定的運算，從而生成代表各幀圖像f的差分值。在此，代表各幀圖像f的差分值可以列舉，例如、各像素的差分的最大值、中央值、 平均值等。另外，上述的解析處理是一個例子，而並非限定於此，只要是能夠檢測多個幀圖像 f>. · ·中的被攝體的狀態變化的處理方法,則可以適當地任意地變更。例如,解析處理部bl 也可以基於多個幀圖像f、...的亮度值，來檢測被攝體的明亮度的變化，作為該多個幀圖像f、...中的被攝體的狀態變化。幀確定部6b基於解析處理部bl的解析結果，在構成運動圖像數據D的多個幀圖像f、...內，將被攝體的狀態變化成為規定的大小以上的幀圖像f確定為慢速再現幀部分S。具體來說，幀確定部6b首先基於由解析處理部bl生成的代表各幀圖像f的差分值，來確定最小差分值，並針對各幀圖像f的差分值來計算相對於最小差分值的比例。然
6後，幀確定部6b在多個幀圖像f、...內，將具有相對於最小差分值的比例為規定大小(例如，2倍等)以上的差分值的幀圖像f確定為作為慢速再現對象的慢速再現幀部分S。在此，慢速再現幀部分S是指，由使運動圖像的看上去的再現速度比實際時間慢 (慢動作)的幀圖像f構成的部分，是由在對運動圖像數據進行再現時再現各幀圖像的間隔比進行運動圖像攝影時記錄各幀圖像的間隔長的幀圖像f構成的部分。例如，如圖3(a)所示，在以規定的攝像幀速率(例如，240fps等)拍攝了棒球的擊球姿勢而得到的多張(例如，40張等)幀圖像f、...所構成的運動圖像數據D的情況下，揮棒開始時的幀圖像Π具有最小差分值。然後，實際開始球棒的揮棒後，每隔規定時間的被攝體的狀態變化(動作)變大。在此情況下，與球棒揮棒開始以後相對應的幀圖像f2相對於最小差分值的比例(最小差分比)成為規定的大小(例如，2倍等)以上(參照圖3(b))， 將該幀圖像f2確定為慢速再現幀部分S。像這樣，幀確定部6b構成了對由圖像取得部6a取得的運動圖像數據D實施規定的解析處理，在構成該運動圖像數據D的多個幀圖像f、...內，確定由作為慢速再現對象的多個幀圖像f、...構成的慢速再現幀部分S的確定單元(確定部)。抽除處理部6c對構成運動圖像數據D的多個幀圖像f、...中、慢速再現幀部分S 以外的規定數量的幀圖像f，以規定的比例進行抽除處理。S卩、抽除處理部6c針對慢速再現幀部分S以外的規定數量的幀圖像f，在以各幀圖像的切換(再現)周期比與規定的攝像幀速率相對應的各幀圖像的攝像周期短(低速) 的規定的再現幀速率進行再現的情況下，按照使其再現時間與實際時間相對應的方式進行抽除處理。具體來說，抽除處理部6c，在慢速再現幀部分S以外的規定數量的幀圖像f中， 即、以規定的攝像幀速率(例如，240fps等)拍攝到的多個幀圖像f、...中，根據規定的再現幀速率(例如，30fps)，對成為處理對象的幀圖像f，以與攝像幀速率和再現幀速率的比相應的規定的比例(例如，1/8)進行抽除來確定。例如，如圖3(a)所示，對於揮棒開始時和揮棒結束時(圖示略)的規定數量的幀圖像Π，由於每隔規定時間的被攝體的狀態變化 (動作)較小，因此在該規定數量的幀圖像Π中，根據規定的再現幀速率，對作為處理對象的幀圖像fl以規定的比例進行抽除來確定。由此，對於慢速再現幀部分S以外的規定數量的幀圖像f，以規定的再現幀速率 (例如，30fps)進行再現時的再現時間與以規定的攝像幀速率(例如，240fps等)對該規定數量的幀圖像f進行攝像時的實際時間相對應。另外，抽除處理部6c對於慢速再現幀部分S的幀圖像f不進行抽除處理，對於慢速再現幀部分S以外的規定數量的幀圖像f，按照使以規定的再現幀速率再現時的再現時間與實際時間相對應的方式進行抽除處理，由此，能夠更自然且有效地控制再現速度，但抽除的有無和抽除率的控制是一個例子，並非限定於此，可以適當地任意變更。即、只要至少按照慢速再現幀部分S的再現速度比慢速再現幀部分S以外的幀部分的再現速度慢的方式來決定抽除的有無和抽除率即可，也可以以比對慢速再現幀部分S以外的幀圖像進行抽除時的比例低的比例來對慢速再現幀部分S進行抽除處理，或者按照慢速再現幀部分S以外的幀部分的再現時間與實際時間不同的方式來決定抽除率。例如，抽除處理部6c也可以對慢速再現幀部分S或慢速再現幀部分S以外的規定數量的幀圖像f，按照規定的解析處理的結果動作越大(快)的幀圖像f抽除比例越小的方式來控制抽除率。具體來說，例如，抽除處理部6c基於由幀確定部6b的解析處理部bl生成的代表各幀圖像f的差分值(例如，各像素的差分的最大值)，來確定各幀圖像f的動作的大小，並按照動作越大的幀圖像f抽除比例越小的方式來控制抽除率。像這樣，抽除處理部6c構成了對構成運動圖像數據D的多個幀圖像f、...中的、 由幀確定部6b確定的慢速再現幀部分S以外的規定數量的幀圖像f，以規定的比例進行抽除處理的處理單元(處理部)。此外，圖像處理部6具備編碼部和解碼部等(全部省略圖示)。編碼部通過規定的編碼方式(例如，Motion-JPEG方式等)來對由圖像生成部5生成的圖像數據(YUV數據)進行壓縮/編碼。即、編碼部通過規定的編碼方式來對由抽除處理部6c進行抽除處理後的運動圖像數據D進行壓縮/編碼。解碼部例如在對記錄在記錄介質M中的已編碼的圖像數據進行再現時，以與該編碼方式相對應的解碼方式來對從記錄介質控制部9讀出的已編碼的圖像數據進行解碼。顯示控制部7進行讀出暫時存儲在緩衝存儲器11中的顯示用的圖像數據並使其顯示於顯示部8的控制。具體來說,顯示控制部7具備VRAM (Video Random Access Memory,視頻隨機存取存儲器)、VRAM控制器、數字視頻編碼器等。並且，數字視頻編碼器經由VRAM控制器以規定的再現幀速率(例如，30fps)從VRAM中讀出從緩衝存儲器11中讀出而存儲在VRAM(圖示略)中的構成運動圖像的多個幀圖像f、...的亮度信號Y以及色差信號Cb、Cr，並基於這些數據來產生視頻信號並輸出到顯示部8。在此，在再現幀速率被固定於規定的值的情況下，運動圖像的看起來的再現速度根據運動圖像數據D的幀圖像f的每秒的輸入幀數而可變。即、例如，若輸入攝像間隔與再現間隔一致的幀圖像f，則看起來成為與實際時間相對應的通常的再現速度，另一方面，若輸入攝像間隔比再現間隔短的幀圖像f，則看起來成為比實際時間慢的慢動作的再現速度。顯示部8例如是液晶顯示面板，基於來自顯示控制部7的視頻信號來將由電子攝像部2拍攝到的圖像等顯示在顯示畫面中。具體來說，顯示部8在靜止圖像拍攝模式和運動圖像拍攝模式下，對由電子攝像部2以及攝像控制部4通過被攝體的攝像而生成的多個幀圖像f、...，以規定的幀速率依次進行更新，同時顯示實時取景圖像。此外，顯示部8作為運動圖像顯示記錄中的多個幀圖像f、...，或者作為靜止圖像顯示被記錄的圖像(記錄瀏覽(rec view)圖像)。記錄介質控制部9構成為記錄介質M能夠自由裝卸,對從安裝的記錄介質M讀出數據和向記錄介質M寫入數據進行控制。S卩、記錄介質控制部9將由圖像處理部6的編碼部(圖示略)以規定的壓縮形式 (例如，Motion-JPEG形式等)編碼後的記錄用的圖像數據記錄在記錄介質M中。另外，記錄介質M例如由非揮發性存儲器(快閃記憶體)等構成，但這是一個例子，並非限定於此，能夠適當地任意變更。操作輸入部10用於進行該攝像裝置100的規定操作。具體來說，操作輸入部10 具備與被攝體的攝影指示有關的、能夠進行半按以及全按操作的快門按鈕；與攝像模式和功能等的選擇指示有關的選擇決定用按鈕；與變焦量的調整指示有關的變焦按鈕(全部省略圖示)等，根據這些按鈕的操作來將規定的操作信號輸出到中央控制部13。
緩衝存儲器11除了作為暫時保存圖像數據等的緩衝器之外，也作為中央控制部 13的工作存儲器等來使用。在程序存儲器12中保存有與該攝像裝置100的功能有關的各種程序和數據。中央控制部13對攝像裝置100的各部進行控制。具體來說，中央控制部13具備對攝像裝置100的各部進行控制的CPU(圖示略)，按照各種處理程序(圖示略)來進行各種控制動作。接下來，參照圖2以及圖3來對攝像裝置100所進行的運動圖像數據生成處理進行說明。圖2是表示運動圖像數據生成處理所涉及的動作的一例的流程圖。此外，圖3是用於說明運動圖像數據生成處理的圖。另外，以下的運動圖像數據生成處理，基於用戶所進行的操作輸入部10的選擇決定用按鈕的規定操作，在被指示了從多個攝像模式中選擇運動圖像數據D的生成模式的情況下、或在拍攝被攝體的運動圖像後自動地被執行。如圖2所示，首先，圖像處理部6的圖像取得部6a取得由以規定的攝像幀速率拍攝到的多個幀圖像f、...構成的已記錄的運動圖像數據D(步驟SI)。具體來說，圖像取得部6a在攝像控制部4的控制下，取得通過透鏡部I、電子攝像部2、單元電路部3以規定的攝像幀速率(例如，240fps等)而拍攝，並通過圖像生成部5 而生成的各幀圖像f的圖像數據(YUV數據)。即、取得通過圖像生成部5根據按照與攝像幀速率相應的每個規定的周期(例如，1/240秒等)從單元電路部3發送來的數字的圖像信號而生成、並通過編碼部而被壓縮/編碼並記錄在記錄介質M中的運動圖像數據D，並通過解碼部對該取得的運動圖像數據D進行解壓/解碼，由此取得構成該運動圖像數據D的各幀圖像f的圖像數據。接下來，幀確定部6b的解析處理部bl對構成運動圖像數據D的多個幀圖像 f>...進行規定的解析處理(步驟S2)。具體來說，解析處理部bl針對多個幀圖像f、...的每一個，計算與相鄰的幀圖像 f (例如，前一個攝像定時的幀圖像f等)之間對應的各像素的差分，並基於算出的各像素的差分來進行規定的運算，從而生成代表各幀圖像f的差分值。接著，幀確定部6b基於解析處理部bl的解析結果，來確定慢速再現幀部分S (步驟 S3)。具體來說，幀確定部6b基於由解析處理部bl生成的代表各幀圖像f的差分值，來計算相對於最小差分值的比例，並在多個幀圖像f、...內，將具有相對於最小差分值的比例(最小差分比)為規定的大小(例如，2倍等)以上的差分值的幀圖像f (例如，揮棒開始後，上半身的動作變大後的幀圖像f等；參照圖3(a))確定為慢速再現幀部分S。接下來，抽除處理部6c對構成運動圖像數據D的多個幀圖像f、...中的、慢速再現幀部分S以外的規定數量的幀圖像f，按照使得以規定的再現幀速率再現時的再現時間與實際時間相對應的方式來進行抽除處理(步驟S4)。具體來說，抽除處理部6c，在慢速再現幀部分S以外的規定數量的幀圖像f(例如， 揮棒開始時和揮棒結束時的規定數量的幀圖像f等)中，根據規定的再現幀速率(例如， 30fps)對成為處理對象的幀圖像f以與攝像幀速率和再現幀速率的比相應的規定的比例(例如，1/8)進行抽除來確定。之後，圖像處理部6的編碼部，在通過規定的編碼方式對由抽除處理部6c進行的抽除處理後的運動圖像數據D進行壓縮/編碼之後，將其傳送到記錄介質控制部9，記錄介質控制部9將該運動圖像數據D再次記錄在記錄介質M中(步驟S5)。也可以使用戶能夠選擇該再記錄是覆蓋原來的運動圖像數據D來進行保存，還是保存為新建的運動圖像數據。由此，運動圖像數據生成處理結束。另外，解析處理部bl所進行的解析處理、幀確定部6b所進行的確定處理、抽除處理部6c所進行的抽除處理、圖像處理部6所進行的壓縮/編碼處理、以及向記錄介質M的再記錄處理，既可以在對運動圖像數據D所包含的所有的幀圖像f進行解壓/解碼之後進行，也可以一邊對運動圖像數據D所包含的各幀圖像f依次進行解壓一邊依次進行解析處理、確定處理、抽除處理、壓縮/編碼處理、再記錄處理。此外，這些一系列的處理也可以與運動圖像數據D的再現顯示並行地執行。在不並行地進行運動圖像數據D的再現顯示的情況下，各幀圖像f的處理的順序不需要從最前面開始進行，是任意的。如上所述，根據實施方式I的攝像裝置100，在進行運動圖像數據的攝影記錄時， 以比對該運動圖像數據進行再現時設定的規定的再現幀速率高速的規定的攝像幀速率來對運動圖像數據的整體進行記錄，從而在得到無論是該運動圖像數據的哪個部分都能夠不降低再現幀速率(維持流暢的影像)地進行慢速再現(相對於實際時間以慢動作進行再現)的形態的運動圖像數據D之後，對該運動圖像數據D實施規定的解析處理，在構成該運動圖像數據D的多個幀圖像f、...內，確定成為慢速再現的對象的慢速再現幀部分S，並對該慢速再現幀部分S以外的規定數量的幀圖像f，以規定的比例進行抽除處理。因此，即使用戶在拍攝運動圖像時不進行攝像幀速率的切換操作等，也能夠得到被編輯為能夠部分慢速再現的形態的運動圖像數據，而且，即使在預先使攝像幀速率高速地進行了攝影記錄的情況下，也能夠實現最終需要的運動圖像數據的數據量的削減。特別是，對於慢速再現幀部分S，按照即使不進行抽除處理，也能夠以合適的慢速再現速度進行慢速再現的方式，來設定再現時的幀速率和攝影時的攝像幀速率的比，對於慢速再現幀部分S以外的規定數量的幀圖像f，按照使以規定的再現幀速率進行再現時的再現時間，與以規定的攝像幀速率對該規定數量的幀圖像f進行拍攝時的實際時間相對應的方式進行抽除，由此不僅能夠高效地削減運動圖像數據D的數據量，而且能夠減輕對運動圖像數據D進行再現時的視覺上的不協調感。此外，被編輯為能夠部分慢速再現的形態後的運動圖像數據，覆蓋原來的運動圖像數據D來進行保存，或者保存為新建的運動圖像數據，因此在對編輯後的運動圖像數據進行再現時，不需要再次進行解析處理和抽除處理等，即使在不具有本攝像裝置100這樣的功能的其他的一般運動圖像再現裝置中，對上述編輯後的運動圖像數據進行再現的情況下,也能夠同樣地使其部分慢速再現。此外，在構成運動圖像數據D的多個幀圖像f、...中，將這些幀圖像f、...中的被攝體的狀態變化為規定的大小以上的幀圖像f確定為慢速再現幀部分S。具體來說，將構成運動圖像數據D的多個幀圖像f、...間的具有相對於差分最小值的比例為規定大小以上的差分的幀圖像f確定為慢速再現幀部分S，因此能夠考慮到多個幀圖像f、...中的被攝體的狀態變化，恰當地確定應以低速的再現幀速率進行再現的慢速再現幀部分S。
此外，也可以不明確地區分慢速再現幀部分S和慢速再現幀部分S以外的幀部分， 即、不區分不進行抽除處理的幀部分、和以再現速度與實際時間相對應的抽除率來進行抽除處理的幀部分，而對構成運動圖像數據D的各幀圖像，確定慢速再現的程度，並根據該慢速再現的程度來使幀圖像f的抽除比例多階段地變化。S卩、對於慢速再現幀部分S和慢速再現幀部分S以外的幀圖像f，按照動作越大的幀圖像f抽除比例越小的方式來多階段地控制抽除率，由此能夠生成考慮了被攝體的動作的變化的運動圖像數據D。具體來說，例如，在被攝體的動作斷續地變化，或者被攝體的動作流暢地變動等情況下，能夠減輕通過不進行對慢速再現幀部分S的抽除處理，或者對慢速再現幀部分S以外的幀圖像f一律以規定的比例進行抽除處理而生成的運動圖像的再現時的視覺上的不協調感。另外，本發明不限定於上述實施方式，在不脫離本發明的主旨的範圍內，可以進行各種改良以及設計的變更。以下，對攝像裝置100的變形例進行說明。該變形例I的攝像裝置100，在構成運動圖像數據D的多個幀圖像f、...中，基於各幀圖像f中動作最大的部分的動作的大小，來確定慢速再現幀部分S。S卩、幀確定部6b的解析處理部bl，作為規定的解析處理，在計算出構成運動圖像數據D的多個幀圖像f、...的每一個中特徵較高的規定數量的塊區域(特徵點)的動作向量之後，進行確定這些動作向量中動作最大的塊區域的處理。然後，解析處理部bl將確定的塊區域的動作向量確定為各幀圖像f的動作的大小。特徵較高的塊區域的提取，例如，在圖3所示的球棒揮棒的例子中，通過輪廓提取處理或圖像識別處理等來提取幀圖像內的人臉部分、球棒部分、球部分等。此外，也可以預先由用戶選擇性地指定「球棒部分」等對象部分。幀確定部6b，在多個幀圖像f、...內，將動作的大小為規定大小以上的幀圖像f 確定為慢速再現幀部分S。具體來說，幀確定部6b計算出由解析處理確定的各幀圖像f的動作向量的大小中的最大值和最小值，並在這些最大值和最小值間根據最大值將規定比例 (例如，10%程度)設定為閾值。然後，幀確定部6b，在多個幀圖像f、...中，將具有閾值以下的動作向量的幀圖像f連續規定時間以上的部分確定為慢速再現幀部分S。接下來，參照圖4，對該變形例所涉及的運動圖像數據生成處理進行說明。如圖4所示，首先，圖像處理部6的圖像取得部6a與上述實施方式同樣地取得由以規定的攝像幀速率拍攝到的多個幀圖像f、...構成的運動圖像數據D(步驟SI)。接下來，幀確定部6b的解析處理部bl對構成運動圖像數據D的多個幀圖像 f>...進行規定的解析處理(步驟S21)。具體來說,解析處理部bl對多個巾貞圖像f、...的每一個計算出特徵較高的規定數量的塊區域(特徵點)的動作向量。之後，解析處理部bl確定算出的動作向量中動作最大的塊區域，並將確定的塊區域的動作向量確定為各幀圖像f的動作的大小。接著,巾貞確定部6b基於解析處理部bl的解析結果,計算出各巾貞圖像f的動作向量的大小中的最大值和最小值(步驟S22)，之後，在這些最大值和最小值間根據最大值將規定比例(例如，10%程度)的值設定為慢速再現幀部分S的判定用的相對閾值(步驟S23)。
然後,巾貞確定部6b在多個巾貞圖像f、...中，確定具有慢速再現巾貞部分S的判定用閾值以下的動作向量的幀圖像f，將對該幀圖像f連續拍攝規定時間以上的部分確定為慢速再現幀部分S (步驟S24)。接著，抽除處理部6c與上述實施方式同樣地，對構成運動圖像數據D的多個幀圖像f、. · ·中的、慢速再現幀部分S以外的規定數量的幀圖像f，按照使得以規定的再現幀速率進行再現時的再現時間與實際時間像對應的方式進行抽除處理(步驟S4)。之後，圖像處理部6的編碼部與上述實施方式同樣地，在通過規定的編碼方式對由抽除處理部6c進行抽除處理後的運動圖像數據D進行壓縮/編碼之後，將其傳送到記錄介質控制部9，記錄介質控制部9將該運動圖像數據D記錄在記錄介質M中(步驟S5)。由此，運動圖像數據生成處理結束。因此，根據該變形例I的攝像裝置100，在構成運動圖像數據D的多個幀圖像 f、...的每一個中檢測動作最大的部分，在構成運動圖像數據D的多個幀圖像f、...內，將檢測出的動作最大的部分的動作的大小為規定的大小以上的幀圖像f確定為慢速再現幀部分S，因此能夠考慮到各幀圖像f內的特徵部分的動作，來恰當地確定應以低速的再現幀速率進行再現的慢速再現幀部分S。〈變形例2>在上述實施方式中，為了能夠在攝影記錄後任意指定進行慢速再現的部分，而無條件地以高速的攝像幀速率對運動圖像數據進行記錄，但若在攝影前已經知道不需要進行部分慢速再現，則沒有必要以高速的攝像幀速率進行攝像。因此，設置記錄通常的運動圖像數據的第I運動圖像記錄模式和記錄與部分慢速再現相對應的運動圖像數據的第2運動圖像記錄模式，使得在開始運動圖像攝影前能夠由用戶基於操作輸入部10的規定操作來選擇並設定任意一種模式。並且，在設定了第2運動圖像記錄模式的情況下，中央控制部13自動地設定比再現幀速率高速的攝像幀速率來記錄運動圖像數據，並且自動地對該記錄的運動圖像數據執行在上述實施方式中進行的慢速再現幀部分S的確定處理、和對慢速再現幀部分S以外進行抽除的抽除處理。另一方面，在設定了第I運動圖像記錄模式的情況下，中央控制部13在以與再現幀速率相同的攝像幀速率記錄了運動圖像數據之後，不自動執行在上述實施方式中進行的慢速再現幀部分S的確定處理、和對慢速再現幀部分S以外進行抽除的抽除處理。因此，根據本變形例2的攝像裝置100，僅通過根據部分慢速再現的必要性來進行模式選擇，就能夠自動地設定高速的攝像幀速率，因此能夠容易地得到能夠進行部分慢速再現的運動圖像數據，並且能夠防止在不需要進行部分慢速再現的情況下也記錄包含無用的幀的運動圖像數據從而壓迫存儲器容量。另外，上述實施方式以及變形例I、2中的慢速再現幀部分S的確定方法是一例，並非限定於此，能夠適當地任意變更。S卩、在上述實施方式中，使得慢速再現幀部分S的確定方法，以各幀圖像f的差分值相對於最小差分值的比例為基準來進行，但例如，也可以以各幀圖像f的差分值相對於最大差分值的比例為基準，將具有相對於最大差分值的比例為規定的大小以下的差分值的幀圖像f確定為慢速再現幀部分S。
此外，在上述變形例I中，在確定慢速再現幀部分S時，基於動作向量的大小的最大值和最小值，來設定慢速再現幀部分S的判定用的相對閾值，但例如，也可以以動作向量的大小的最大值以及最小值中的、任意一個值為基準，來設定慢速再現幀部分S的判定用的絕對閾值。此外，在上述實施方式中，抽除處理部6c也可以基於慢速再現幀部分S以外的規定數量的幀圖像f，來生成以規定的再現幀速率被再現的一個代表幀圖像f。即、抽除處理部6c基於規定數量的幀圖像f的各像素的像素值來進行規定的運算，生成具有代表規定數量的幀圖像f 的像素值(例如，平均值或中央值等)的代表幀圖像。由此，對於慢速再現幀部分S以外的規定數量的幀圖像f，通過以規定的再現幀速率來再現代表幀圖像，能夠使被攝體的動作平滑，能夠減輕對運動圖像數據D進行再現時的視覺上的不協調感。並且，在上述實施方式中作為運動圖像處理裝置而例示的攝像裝置100的構成是一個例子，並非限定於此，只要為至少具備取得單元(取得部)、確定單元(確定部)、處理單元(處理部)的構成則可以適當地任意變更。而且，在上述實施方式中，採用了通過在中央控制部13的控制下，由圖像取得部 6a、幀確定部6b、抽除處理部6c進行驅動，而實現了取得單元、確定單元、處理單元的功能的構成，但並非限定於此，也可以採用通過由中央控制部13的CPU執行規定的程序等來實現的構成。S卩、在存儲程序的程序存儲器12中，預先存儲包含取得處理例行程序、確定處理例行程序、抽除處理例行程序的程序。並且，也可以通過取得處理例行程序，使中央控制部 13的CPU發揮取得以規定的攝像幀速率拍攝到的被攝體的運動圖像數據D的取得單元的功能。此外，也可以通過確定處理例行程序，使中央控制部13的CPU發揮對由取得單元取得的所述運動圖像數據D實施規定的解析處理，並在構成該運動圖像數據D的多個幀圖像 f、...內，確定由作為慢速再現的對象的多個幀圖像f、...構成的慢速再現幀部分S的確定單元的功能。此外，也可以通過抽除處理例行程序，使中央控制部13的CPU發揮對構成運動圖像數據D的多個幀圖像f、...中的、由確定單元確定的慢速再現幀部分S以外的規定數量的幀圖像f，以規定的比例進行抽除處理的處理單元的功能。並且，作為保存了用於執行上述各處理的程序的計算機可讀取的介質，除了 ROM、 硬碟等之外，也可以應用快閃記憶體等非揮發性存儲器、CD-ROM等可移動型記錄介質。此外，作為經由規定的通信線路來提供程序數據的介質，也可以應用載波(carrier wave)。而且，本次公開的實施方式，應當認為在所有的點上均為例示，而不是限制性的描述。本發明的範圍，由權利要求書而非上述說明而示出，旨在包含與權利要求書均等的含意以及範圍內的所有的變更。以下，附記在本申請最初的權利要求書中記載的發明。S卩、攝像裝置採用了如下結構，具備取得部，其取得以規定的攝像幀速率拍攝到的被攝體的運動圖像數據；確定部，其對由該取得部取得的所述運動圖像數據實施規定的解析處理，並在構成該運動圖像數據的多個幀圖像內，確定由作為慢速再現的對象的多個幀圖像構成的慢速再現幀部分；和處理部，其對構成所述運動圖像數據的多個幀圖像中、由所述確定部確定的所述慢速再現幀部分以外的規定數量的幀圖像，以規定的比例進行抽除處理。此外，也可以還具備記錄部，所述記錄部記錄被壓縮/編碼後的運動圖像數據， 所述取得部取得記錄在所述記錄部中的運動圖像數據，所述確定部對通過對由所述取得部取得的所述運動圖像數據進行解壓/解碼而得到的多個幀圖像實施規定的解析處理，來確定由作為慢速再現的對象的多個幀圖像構成的慢速再現幀部分，所述處理部對進行了所述抽除處理後的運動圖像數據再次進行壓縮/編碼並記錄在所述記錄部中。此外，也可以所述取得部還取得以比對運動圖像數據進行再現時設定的規定的再現幀速率高速的規定的攝像幀速率拍攝到的被攝體的運動圖像數據，所述處理部，作為所述抽除處理，還按照使以所述再現幀速率進行再現時的再現時間與實際時間相對應的方式，以與所述攝像幀速率和所述再現幀速率的比相應的比例，對由所述確定部確定的所述慢速再現幀部分以外的規定數量的幀圖像進行抽除。此外，也可以所述處理部還對由所述確定部確定的所述慢速再現幀部分的幀圖像不進行抽除，或者，以比對所述慢速再現幀部分以外的幀圖像進行抽除時的比例低的比例進行抽除。此外，也可以所述確定部還通過所述規定的解析處理來檢測構成所述運動圖像數據的多個幀圖像中的被攝體的狀態變化，並在構成該運動圖像數據的多個幀圖像內，將檢測出的被攝體的狀態變化為規定的大小以上的幀圖像確定為所述慢速再現幀部分。此外，也可以所述確定部還通過所述規定的解析處理來確定各幀圖像內的特徵部分，並將該確定的特徵部分的狀態變化為規定的大小以上的幀圖像確定為所述慢速再現中貞部分。此外，也可以所述確定部還按照所述確定的特徵部分的狀態變化的大小越大的幀圖像部分，慢速再現的程度越強的方式，來多階段地確定慢速再現的程度，所述處理部按照由所述確定部確定的慢速再現的程度越強則抽除率越小的方式，來多階段地改變抽除率。此外，也可以所述確定部還通過所述規定的解析處理來計算構成所述運動圖像數據的多個幀圖像間的差分，並在構成所述運動圖像數據的多個幀圖像內，將具有相對於計算出的差分最小值的比例為規定的大小以上的差分的幀圖像確定為所述慢速再現幀部分。此外，也可以所述確定部還通過所述規定的解析處理來在構成所述運動圖像數據的多個幀圖像的每一個中檢測動作最大的部分，並在構成所述運動圖像數據的多個幀圖像內，將檢測出的動作最大的部分的動作大小為規定的大小以上的幀圖像確定為所述慢速再現幀部分。此外，也可以所述確定部還對構成該運動圖像數據的各幀圖像確定慢速再現的程度，所述處理部還根據由所述確定部確定的慢速再現的程度來改變對幀圖像進行抽除的比例。此外，也可以所述處理部還按照根據所述規定的解析處理的結果，動作越大的幀圖像抽除比例越小的方式，來對構成所述運動圖像數據的多個幀圖像中、由所述確定部確定的所述慢速再現幀部分的幀圖像控制抽除率。此外，也可以所述處理部還通過所述抽除處理，基於由所述確定部確定的所述慢速再現幀部分以外的規定數量的幀圖像，來生成以所述再現幀速率被再現的一個代表幀圖像。此外，也可以還具備模式設定部，其選擇性地設定記錄通常的運動圖像數據的第 I運動圖像記錄模式、和記錄與部分慢速再現相對應的運動圖像數據的第2運動圖像記錄模式的任意一種；和控制部，其在通過該模式設定部設定了所述第2運動圖像記錄模式的情況下，控制為自動地設定比所述規定的再現幀速率高速的攝像幀速率來記錄運動圖像數據，並且由所述取得部取得該記錄的運動圖像數據來自動地執行所述確定部以及所述處理部的處理；在通過所述模式設定部設定了所述第I運動圖像記錄模式的情況下，控制為在以與所述規定的再現幀速率相同的攝像幀速率記錄了運動圖像數據之後，不自動地執行所述確定部以及所述處理部的處理。此外，使用了運動圖像處理裝置的運動圖像處理方法，採用了包含如下步驟的構成取得以規定的攝像幀速率拍攝到的被攝體的運動圖像數據的步驟；對取得的所述運動圖像數據實施規定的解析處理，來在構成該運動圖像數據的多個幀圖像內，確定由作為慢速再現的對象的多個幀圖像構成的慢速再現幀部分的步驟；和對構成所述運動圖像數據的多個幀圖像中、確定的所述慢速再現幀部分以外的規定數量的幀圖像，以規定的比例進行抽除處理的步驟。
權利要求
1.一種運動圖像處理裝置，其特徵在於，具備取得部，其取得以規定的攝像幀速率拍攝到的被攝體的運動圖像數據；確定部，其對由該取得部取得的所述運動圖像數據實施規定的解析處理，並在構成該運動圖像數據的多個幀圖像內，確定由作為慢速再現的對象的多個幀圖像構成的慢速再現中貞部分；和處理部，其對構成所述運動圖像數據的多個幀圖像中、由所述確定部確定的所述慢速再現幀部分以外的規定數量的幀圖像，以規定的比例進行抽除處理。
2.根據權利要求I所述的運動圖像處理裝置，其特徵在於，還具備記錄部，所述記錄部記錄被壓縮/編碼後的運動圖像數據，所述取得部取得記錄在所述記錄部中的運動圖像數據，所述確定部對通過對由所述取得部取得的所述運動圖像數據進行解壓/解碼而得到的多個幀圖像實施規定的解析處理，來確定由作為慢速再現的對象的多個幀圖像構成的慢速再現幀部分，所述處理部對進行了所述抽除處理後的運動圖像數據再次進行壓縮/編碼並記錄在所述記錄部中。
3.根據權利要求I或2所述的運動圖像處理裝置，其特徵在於，所述取得部還取得以比對運動圖像數據進行再現時設定的規定的再現幀速率高速的規定的攝像幀速率拍攝到的被攝體的運動圖像數據，所述處理部，作為所述抽除處理，還按照使以所述再現幀速率進行再現時的再現時間與實際時間相對應的方式，以與所述攝像幀速率和所述再現幀速率的比相應的比例，對由所述確定部確定的所述慢速再現幀部分以外的規定數量的幀圖像進行抽除。
4.根據權利要求I或2所述的運動圖像處理裝置，其特徵在於，所述處理部還對由所述確定部確定的所述慢速再現幀部分的幀圖像不進行抽除，或者，以比對所述慢速再現幀部分以外的幀圖像進行抽除時的比例低的比例進行抽除。
5.根據權利要求I或2所述的運動圖像處理裝置，其特徵在於，所述確定部還通過所述規定的解析處理來檢測構成所述運動圖像數據的多個幀圖像中的被攝體的狀態變化，並在構成該運動圖像數據的多個幀圖像內，將檢測出的被攝體的狀態變化為規定的大小以上的幀圖像確定為所述慢速再現幀部分。
6.根據權利要求5所述的運動圖像處理裝置，其特徵在於，所述確定部還通過所述規定的解析處理來確定各幀圖像內的特徵部分，並將該確定的特徵部分的狀態變化為規定的大小以上的幀圖像確定為所述慢速再現幀部分。
7.根據權利要求6所述的運動圖像處理裝置，其特徵在於，所述確定部還按照所述確定的特徵部分的狀態變化的大小越大的幀圖像部分，慢速再現的程度越強的方式，來多階段地確定慢速再現的程度，所述處理部按照由所述確定部確定的慢速再現的程度越強則抽除率越小的方式，來多階段地改變抽除率。
8.根據權利要求5所述的運動圖像處理裝置，其特徵在於，所述確定部還通過所述規定的解析處理來計算構成所述運動圖像數據的多個幀圖像間的差分，並在構成所述運動圖像數據的多個幀圖像內，將具有相對於計算出的差分最小值的比例為規定的大小以上的差分的幀圖像確定為所述慢速再現幀部分。
9.根據權利要求5所述的運動圖像處理裝置，其特徵在於，所述確定部還通過所述規定的解析處理來在構成所述運動圖像數據的多個幀圖像的每一個中檢測動作最大的部分，並在構成所述運動圖像數據的多個幀圖像內，將檢測出的動作最大的部分的動作大小為規定的大小以上的幀圖像確定為所述慢速再現幀部分。
10.根據權利要求I或2所述的運動圖像處理裝置，其特徵在於，所述確定部還對構成該運動圖像數據的各幀圖像確定慢速再現的程度，所述處理部還根據由所述確定部確定的慢速再現的程度來改變對幀圖像進行抽除的比例。
11.根據權利要求10所述的運動圖像處理裝置，其特徵在於，所述處理部還按照根據所述規定的解析處理的結果，動作越大的幀圖像抽除比例越小的方式，來對構成所述運動圖像數據的多個幀圖像中、由所述確定部確定的所述慢速再現幀部分的幀圖像控制抽除率。
12.根據權利要求I或2所述的運動圖像處理裝置，其特徵在於，所述處理部還通過所述抽除處理，基於由所述確定部確定的所述慢速再現幀部分以外的規定數量的幀圖像，來生成以所述再現幀速率被再現的一個代表幀圖像。
13.根據權利要求I或2所述的運動圖像處理裝置，其特徵在於，還具備模式設定部，其選擇性地設定記錄通常的運動圖像數據的第I運動圖像記錄模式、和記錄與部分慢速再現相對應的運動圖像數據的第2運動圖像記錄模式的任意一種；和控制部，其在通過該模式設定部設定了所述第2運動圖像記錄模式的情況下，控制為自動地設定比所述規定的再現幀速率高速的攝像幀速率來記錄運動圖像數據，並且由所述取得部取得該記錄的運動圖像數據來自動地執行所述確定部以及所述處理部的處理；在通過所述模式設定部設定了所述第I運動圖像記錄模式的情況下，控制為在以與所述規定的再現幀速率相同的攝像幀速率記錄了運動圖像數據之後，不自動地執行所述確定部以及所述處理部的處理。
14.一種運動圖像處理方法，使用了運動圖像處理裝置，所述運動圖像處理方法的特徵在於，包含如下步驟取得以規定的攝像幀速率拍攝到的被攝體的運動圖像數據的步驟；對取得的所述運動圖像數據實施規定的解析處理，來在構成該運動圖像數據的多個幀圖像內，確定由作為慢速再現的對象的多個幀圖像構成的慢速再現幀部分的步驟；和對構成所述運動圖像數據的多個幀圖像中、確定的所述慢速再現幀部分以外的規定數量的幀圖像，以規定的比例進行抽除處理的步驟。
全文摘要
本發明的攝像裝置(100)具備幀確定部(6b)，其對運動圖像數據實施規定的解析處理，在構成該運動圖像數據的多個幀圖像內，確定由作為慢速再現的對象的多個幀圖像構成的慢速再現幀部分；和抽除處理部(6c)，其以規定的比例，對構成運動圖像數據的多個幀圖像中、確定的慢速再現幀部分以外的規定數量的幀圖像進行抽除處理。由此，即使用戶在運動圖像數據的攝影記錄時不進行特別的操作，也可得到能夠部分慢速再現的運動圖像數據。
文檔編號H04N5/783GK102611865SQ20121000173
公開日2012年7月25日 申請日期2012年1月5日 優先權日2011年1月20日
發明者大谷大輔 申請人:卡西歐計算機株式會社