運動圖像處理裝置、運動圖像再現裝置、運動圖像處理方法及運動圖像再現方法

2023-06-29 17:18:06 3

專利名稱：運動圖像處理裝置、運動圖像再現裝置、運動圖像處理方法及運動圖像再現方法
技術領域：
本發明涉及運動圖像處理裝置、運動圖像再現裝置、運動圖像處理方法以及運動圖像再現方法。
背景技術：
以數碼攝像機為代表，能同時記錄運動圖像和聲音的拍攝裝置得到普及。在這樣的拍攝裝置中，為了使運動圖像和聲音的再現定時一致，將經過壓縮編碼以及分組後的聲音數據與運動圖像數據復用，以將同步信息嵌入到該聲音數據的頭信息中的形式來進行文件化。另外，提出了如下的技術，在運動圖像拍攝中能任意地變更幀頻，配合該變更的幀頻， 也變更錄音的聲音的採樣率，由此在再現時聲音的聽取不會產生不協調感(例如，JP特開 2004-180289 號公報)。但是，在上述現有技術中，由於配合變更的幀頻來變更聲音的採樣率，在用通常的幀頻(例如30fps(幀/秒))來對以高幀頻(例如60fps)記錄的帶聲音的運動圖像進行再現時，會成為慢速再現(1/2倍速再現)，聲音會變得難以聽清。對於近年市場上出現的能以120fps的更高的幀頻進行運動圖像拍攝的機種，聲音更難以聽清。因此，提出了僅在以通常幀頻來記錄運動圖像時記錄聲音，而在進行以高幀頻記錄運動圖像的高速拍攝的情況下不記錄聲音的技術。但是，在這樣的技術中，即使在對高速拍攝的部分的幀進行間除等從而以通常的幀頻進行再現的情況下，也是再現無聲的運動圖像，對用戶而言顯得無聊。

發明內容
本發明的目的在於，即使在對運動圖像的幀進行間除來再現的情況下，也能適當地再現與運動圖像同步的聲音。根據本發明的第1形態，提供一種運動圖像處理裝置，具備拍攝單元，其通過拍攝，獲得由連續的多個圖像幀構成的運動圖像數據；聲音數據添加單元，其在由所述拍攝單元獲得的所述運動圖像數據中添加2種以上的聲音數據；和再現信息添加單元，其在由所述聲音數據添加單元添加了 2種以上的聲音數據後的所述運動圖像數據中添加再現信息， 該再現信息表示與所述2種以上的聲音數據的每一個相應的、再現所述運動圖像數據時的再現模式，所述再現模式包括第1再現模式，其間除所述運動圖像數據的所述圖像幀來再現所述運動圖像數據；和第2再現模式，其不間除所述運動圖像數據的所述圖像幀來再現所述運動圖像數據。根據本發明的第2形態，提供一種運動圖像再現裝置，再現運動圖像文件，該運動圖像文件包括由通過拍攝而獲得的連續的多個圖像幀構成的運動圖像的數據、2種以上的聲音數據、以及表示與所述2種以上的聲音數據的每一個相應的再現模式的再現信息，所述運動圖像再現裝置具備決定單元，其決定再現模式；聲音數據確定單元，其根據所述再現信息來確定與由所述決定單元決定的所述再現模式對應的聲音數據；和運動圖像再現單元，其依照由所述決定單元決定的所述再現模式，將所述運動圖像數據和由所述聲音數據確定單元確定的聲音數據一起再現。


圖1是表示具備本發明的一實施方式的運動圖像處理裝置的功能的數位相機的電路構成的框圖。圖2是說明用Motion-JPEG形式形成的一般的AVI文件的概要的圖。圖3是表示通過圖1的數位相機所拍攝的運動圖像文件中所包含的幀圖像數據和實際聲音數據、以及仿真聲音數據的關係的說明圖。圖4是表示不對用圖1的數位相機以高幀頻拍攝的運動圖像文件進行間除來再現的情況、和以通常幀頻間除來再現的情況的幀圖像數據和實際聲音數據、以及仿真聲音數據的關係的說明圖。圖5是說明由圖1的數位相機執行的運動圖像拍攝處理的流程的流程圖。圖6是說明由圖1的數位相機執行的運動圖像再現處理的流程的流程圖。
具體實施例方式下面，根據附圖來說明用於實施本發明的方式。圖1是表示作為本發明的一個實施方式的運動圖像處理裝置而發揮功能的數位相機100的電路構成的圖。本實施方式的數位相機100進行運動圖像的拍攝以及再現。下面將構成拍攝的運動圖像的多個靜止圖像的每一個稱為「幀」。即，1個運動圖像由多個幀構成。因此，作為基本的動作模式，數位相機100具備用於拍攝運動圖像的拍攝模式和用於再現所拍攝的運動圖像的再現模式。其中，用於拍攝運動圖像的拍攝模式除了通常的拍攝模式以外，還具備高速拍攝模式。在運動圖像拍攝中，設定能在30fps(通常幀頻)和120fps (高幀頻)之間變更的拍攝模式，來作為該高速拍攝模式的其中之一。本實施方式即使在該拍攝模式下的運動圖像拍攝中，幀頻在30fps和120fps之間變更的情況下，也能保持圖像和聲音的同步，且不會再現聽不清的聲音。進而，在本實施方式中，作為用於再現運動圖像的再現模式，除了通常再現模式以外，還具備慢速再現模式。在此，再現模式通過再現運動圖像時的幀頻即再現幀頻相對於拍攝運動圖像時的幀頻即拍攝幀頻的關係來決定。即，將用與拍攝幀頻相等的再現幀頻來再現運動圖像的模式、或將對圖像幀進行間除後的幀頻作為與再現幀相等的幀頻來再現運動圖像的再現模式設為通常再現模式。另外，將再現幀頻低於拍攝幀頻的情況設為慢速再現模式。由於本實施方式的數位相機100將再現幀頻設為30fps的幀頻，因此，在再現30fps 的拍攝幀頻的運動圖像的情況下，成為通常再現。另一方面，在將用120fps的拍攝幀頻所拍攝的運動圖像直接再現的情況下，成為慢速再現。關於本實施方式的數位相機100執行的通常再現和慢速再現的詳細，在後面進行敘述。如圖1所示，數位相機100具備光學系統1、拍攝部2、記錄/再現數據創建部3、 聲音輸入輸出部4、運動圖像臨時存儲器5、聲音臨時存儲器6、存儲卡7、液晶顯示裝置8、拍攝開始/停止按鈕9、幀頻切換按鈕10、再現開始/停止按鈕11、再現模式變更按鈕12、各種操作部13、控制部14。光學系統1是用於將入射的被攝體的光在後述的拍攝部2上成像為光學像的光學鏡頭，由聚焦鏡頭、變焦鏡頭等構成。拍攝部2由CMOS (互補金屬氧化物半導體)等圖像傳感器構成，配置於光學系統1 的光軸上。圖像傳感器接受通過光學系統1而會聚的拍攝光，並且對在受光面成像的被攝體的光學像進行光電變換，將其作為模擬的拍攝信號而輸出。拍攝部2在運動圖像拍攝時， 以規定的幀頻來拍攝運動圖像。如後所述，在本實施方式的拍攝模式中，用30fps或120fps 的幀頻來拍攝圖像。另外，拍攝部2具備未圖示的預處理部，該預處理部進行A/D變換，將從上述圖像傳感器輸出的模擬的拍攝信號變換為數字的圖像數據，進而，進行伽瑪校正、白平衡校正、 輪廓強調等圖像處理，並將處理後的圖像數據作為數字的圖像數據輸出。由該預處理部處理過的圖像數據經記錄/再現數據創建部3以及控制部14，存儲於運動圖像臨時存儲器5 中。本實施方式中的光學系統1以及拍攝部2作為本發明的拍攝單元發揮功能。記錄/再現數據創建部3是對從拍攝部2輸出的圖像數據、或由後述的聲音輸入輸出部4所採集的聲音數據進行編碼的電路。具體地，通過壓縮編碼處理來進行編碼，該壓縮編碼處理使用了採用例如MPEG(運動圖像專家組)方式的預測編碼方式。存儲於後述的運動圖像臨時存儲器5中的圖像數據(運動圖像數據)以及存儲於聲音臨時存儲器6中的聲音數據例如作為30fps的通常幀頻的音頻視頻數據，按照拍攝的順序被編碼，且依次存儲在存儲卡7中。聲音輸入輸出部4由在運動圖像拍攝中採集周圍的聲音的話筒、和將聲音數據輸出為聲音的揚聲器等構成。在運動圖像拍攝時通過聲音輸入輸出部4採集的聲音在控制部 14被實施規定的信號處理，將處理後的聲音作為聲音數據存儲於聲音臨時存儲器6中。在本實施方式中，即使處於不在運動圖像數據中添加實際聲音的聲音數據的期間，也將聲音數據持續存儲在聲音臨時存儲器6中，因此，在運動圖像拍攝中，話筒總是處於開啟狀態。運動圖像臨時存儲器5是按每個幀來依次存儲從拍攝部2輸出的運動圖像數據的圖像記錄單元。另外，聲音臨時存儲器6是依次存儲由聲音輸入輸出部4採集的聲音數據的聲音記錄單元。在本實施方式中，首先，按每個幀在運動圖像臨時存儲器5中存儲運動圖像數據， 並在聲音臨時存儲器6中存儲聲音數據。並且，在運動圖像拍攝時的幀頻為30fps的期間， 在存儲於運動圖像臨時存儲器5的運動圖像數據中添加存儲於聲音臨時存儲器6的聲音數據，並將由此生成的數據作為運動圖像文件存儲於存儲卡7中。另一方面，在運動圖像拍攝時的幀頻為120fps的情況下，將由聲音輸入輸出部4 採集的實際聲音的聲音數據(下面稱為「實際聲音數據」)和仿真聲音(虛擬聲音)的聲音數據(下面稱為「仿真聲音數據」)一起添加到存儲於運動圖像臨時存儲器5中的運動圖像數據中，並將由此生成的數據存儲於存儲卡7中。作為仿真聲音可以是無聲，也可以是規定的聲音，例如「噼噼噼」等的效果音、「是慢速再現」等的消息、或者音樂等。或者，作為仿真聲音數據，可以預先準備與運動圖像關聯的信息、多種的效果音或BGM(樂曲)等的聲音數據，對它們進行適當選擇，或將它們組合來進行錄音。
存儲卡7是存儲上述的運動圖像數據以及聲音數據的記錄介質。若指示拍攝結束，則對存儲於存儲卡7的運動圖像數據以及聲音數據添加規定的頭信息，並將由此生成的數據作為運動圖像文件來文件化。液晶顯示裝置8具備未圖示的VRAM、液晶監視器及其驅動電路等。在液晶顯示裝置8中顯示拍攝待機中或拍攝中的取景(實時取景)圖像、存儲於存儲卡7的運動圖像等。 在拍攝部2中使用於運動圖像拍攝時的30fps的幀頻也是液晶顯示裝置8的再現幀頻。拍攝開始/停止按鈕9是輸入來自用戶的拍攝開始以及拍攝結束的指示的部分。 幀頻切換按鈕10是取得來自用戶的運動圖像拍攝中的幀頻變更的指示的部分。再現開始 /停止按鈕11是輸入來自用戶的運動圖像等的再現的開始或停止指示的部分。再現模式變更按鈕12是在通常再現模式和慢速再現模式之間來變更運動圖像再現時的再現模式的部分。另外，本實施方式中的再現模式變更按鈕12作為本發明的再現模式決定單元發揮功能。各種操作部13是輸入來自用戶的對數位相機100的各種操作指示的部分。另外， 作為各種操作部13，除了例如用於設定拍攝模式或再現模式的模式設定按鈕、電源開關、調焦鍵以外，只要是在數位相機100的各種功能或動作內容的設定/變更時，由用戶進行操作的操作部件即可。控制部14由未圖示的CPU、R0M、RAM及其周邊電路構成，控制包括運動圖像拍攝和再現顯示等的數位相機100的整體的動作。另外，在ROM中，存儲有用於進行包括後述的實施方式的運動圖像拍攝和運動圖像的再現以及顯示等的控制的程序。RAM在進行各種控制和運算處理時作為臨時存儲區域使用。本實施方式中的控制部14作為本發明的聲音數據添加單元、再現信息添加單元以及聲音數據確定單元發揮功能。另外，關於控制部14的作為拍攝單元以及運動圖像再現單元的處理內容，參照後面的流程圖來進行說明。在本實施方式中，記錄/再現數據創建部3例如進行Motion-JPEG方式的數據壓縮處理，以AVI (音頻視頻交織)形式將運動圖像數據和聲音數據文件化，並存儲於存儲卡 7中。即，生成包含運動圖像數據和聲音數據的AVI形式的運動圖像文件即AVI文件，並將其存儲於存儲卡7中。圖2示出了以Motion-JPEG形式形成的一般的AVI文件的概要。如圖2所示，AVI文件包含頭部101、數據部102、索引部103。在頭部101中，記錄有運動圖像數據的拍攝幀頻、構成運動圖像數據的幀的總數等的基本信息以及後述的再現信息。在數據部102中保存有構成運動圖像數據的圖像幀數據、以及聲音數據。在索引部103中，指定保存於數據部102中的圖像幀和聲音數據的位置的索引數據按照再現的順序排列。圖3是表示構成具備本實施方式的運動圖像處理裝置的功能的數位相機100所拍攝的運動圖像的圖像數據(圖像幀)和實際聲音數據、以及仿真聲音數據的關係的說明圖。圖3的上段(A)表示以通常幀頻的30fps所拍攝的運動圖像的圖像幀數據和聲音數據的關係。在數據部102中，包含構成運動圖像的圖像幀數據V和實際聲音的實際聲音數據AR，在索引部103中，按照再現順序保存有對圖像幀數據V的位置進行指定的圖像索引數據VI和對實際聲音的實際聲音數據AR的位置進行指定的聲音索引數據Al。控制部14根據頭部101 (參照圖2)來判定是用30fps來拍攝的運動圖像數據的運動圖像。接下來，控制部14按照保存於索引部103的圖像索引數據VI和聲音索引數據 AI所示的順序，進行數據部102的圖像幀數據V和實際聲音數據AR的再現，並經由液晶顯示裝置8以及聲音輸入輸出部4輸出上述的再現。圖3的下段⑶表示不對構成以高幀頻的120fps所拍攝的運動圖像的圖像幀進行間除而再現的情況下的、圖像數據和聲音數據的關係。在數據部102中，包含構成運動圖像的圖像幀數據V、實際聲音數據AR、和表示無聲或規定的聲音的仿真聲音的仿真聲音數據AD，在索引部103中，按照再現順序分別保存有對圖像數據V的位置進行指定的圖像索引數據VI、對實際聲音數據AR或仿真聲音數據AD的位置進行指定的聲音索引數據Al。控制部14根據頭部101來判定是以高幀頻來拍攝運動圖像數據的運動圖像。接下來，控制部14按照再現模式來決定是將聲音索引數據AI的對應目標設為實際聲音數據 AR，還是設為仿真聲音數據AD。在本實施方式中，在不對以高幀頻拍攝的運動圖像的圖像幀進行間除而再現的情況下，聲音索引數據AI的對應目標成為仿真聲音數據AD。因此，如圖3的下段(B)所示，聲音索引數據AI都指定仿真聲音數據AD的位置，而不指定實際聲音數據AR的位置。因此，在不對以高幀頻拍攝的運動圖像的圖像幀進行間除而再現的情況下，再現仿真聲音數據AD， 而不再現實際聲音數據。在不對以高幀頻拍攝的運動圖像的圖像幀進行間除，而以通常幀頻的30fps來再現的情況下，成為慢速再現。作為仿真聲音，可以是無聲，也可以是規定的聲音，例如「噼噼噼」的效果音、「是慢速再現」的消息、或者音樂等。或者，預先準備與運動圖像關聯的信息、多種的效果音或BGM(樂曲)等的聲音數據，對它們進行適當選擇，或將它們組合。如此，通過使用效果音、音樂、與圖像關聯的信息或消息等作為仿真聲音，即使在以低速長時間地慢速再現影像時，也會不讓用戶感到無聊而使其有效地度過時間。另一方面，在本實施方式中，在對以高速拍攝的運動圖像的圖像幀進行間除，並用通常幀頻進行再現的情況下，聲音索引數據AI的對應目標成為實際聲音的實際聲音數據AR。關於這樣的情況，參照圖4進行說明。圖4是表示不對用圖1的數位相機100以高速拍攝的運動圖像的圖像幀進行間除來進行再現的慢速再現模式的情況、和按照成為通常的再現速度的方式來對運動圖像的圖像幀進行間除來進行再現的通常再現模式的情況下的圖像數據(圖像幀)和實際聲音數據、以及仿真聲音數據的關係的說明圖。如圖4的上段(A)所示，在慢速再現模式的情況下，數據部102的圖像數據V的位置全部由索引部103的圖像索引數據VI來指定，仿真聲音數據AD的位置全部由索引部103 的聲音索引數據AI來指定。另一方面，無法通過任何聲音索引數據AI來指定實際聲音數據AR。因此，在不對以高幀頻拍攝的運動圖像的圖像幀進行間除來進行再現的情況下，再現仿真聲音數據AD，而不再現實際聲音數據AR。圖4的下段⑶是表示對以高幀頻的120fps拍攝的運動圖像的圖像幀進行四分之三間除後，再以通常幀頻的30fps進行再現的通常再現模式的情況下的圖像幀數據和數據聲音數據、以及仿真聲音數據的關係的說明圖。控制部14根據頭部101 (參照圖2)來判定是以120fps來拍攝運動圖像數據的運動圖像。在由用戶操作再現模式變更按鈕12指定了通常再現模式的情況下，控制部14將對再現的圖像幀數據V的位置進行指定的圖像索引數據VI的個數間除為四分之一，對聲音數據的位置進行指定的索引數據AI指定實際聲音數據AR的位置，而不指定仿真聲音數據 AD0因此，以高幀頻的120fps拍攝的運動圖像被四分之三間除而以通常的速度再現。另外， 再現實際聲音數據AR，而不再現仿真聲音數據AD。由此，在本實施方式中，在將以高幀頻拍攝並記錄的運動圖像文件與錄音的仿真聲音數據或實際聲音數據保持同步的同時，能不對圖像幀進行間除來進行慢速再現，也能對圖像幀進行四分之三間除，從而以通常的速度來進行再現。另外，實際聲音數據不管在以通常幀頻進行拍攝的情況下還是以高幀頻進行拍攝的情況下，都能持續地存儲於聲音臨時存儲器6中。或者，也可以使用聲音輸入輸出部4來實時採集實際聲音數據和仿真聲音數據兩者中的至少一者的聲音。另外，經過規定時間後， 依次刪除該聲音數據，在聲音臨時存儲器6中總是僅存儲一定量的最新的聲音數據。這是為了防止在進行在運動圖像數據中添加仿真聲音數據的處理的期間，由於積累的實際聲音數據而導致聲音臨時存儲器6上溢。因此，在將仿真聲音數據添加的運動圖像數據的期間， 也要在持續將實際聲音數據存儲於聲音臨時存儲器6中的處理的同時，進行若經過規定時間則從舊的數據起依次刪除存儲的實際聲音數據的處理(其中在圖4中，僅示出了持續存儲實際聲音數據的情況)。另外，通過進行這樣的處理，能保持拍攝幀頻剛切換後的聲音數據的匹配性。接下來，參照圖5的流程圖來說明本實施方式的數位相機100中的、運動圖像拍攝時的控制部14的處理內容。圖5是說明本實施方式的數位相機100執行的運動圖像拍攝處理的流程的流程圖。下面的處理通過圖1所示的控制部14控制各部來執行。另外，本流程圖的處理通過用戶操作拍攝開始/停止按鈕9從而開始運動圖像拍攝，由此啟動。首先，在步驟SlOl中，控制部14開始如下處理將從拍攝部2輸出的運動圖像數據依次存儲到運動圖像臨時存儲器5中，另外，將由聲音輸入輸出部4採集的聲音數據依次存儲到聲音臨時存儲器6中。在步驟S102中，控制部14判定當前設定的拍攝幀頻是否為 30fps。若在拍攝中沒有操作幀頻切換按鈕10，則不變更拍攝幀頻。在拍攝幀頻為30fps 的情況下，前進到步驟S103(步驟S102 是)。若操作了幀切換按鈕10等從而拍攝幀頻從 30fps發生變更的情況下，前進到步驟S107 (步驟S102 否)。在步驟S103中，控制部14對記錄/再現數據創建部3進行控制，將依次存儲於運動圖像臨時存儲器5以及聲音臨時存儲器6中的運動圖像數據以及實際聲音數據依次壓縮編碼為30fps的拍攝幀頻的數據，並且將實際聲音數據添加到運動圖像數據中，並依次存儲於存儲卡7中。在步驟S104中，控制部14判定是否檢測出拍攝結束的指示。在此，若控制部14未檢測出基於拍攝開始/停止按鈕9的操作的拍攝結束的指示，則處理前進到步驟S105(步驟S104 否)，在控制部14檢測出拍攝結束的指示時，前進到步驟Slll (步驟S104 是)。在步驟S105，控制部14判定是否檢測出拍攝幀頻的變更指示。在此，若控制部14 判定為未檢測出基於幀頻切換按鈕10的操作的拍攝幀頻的變更指示，則返回步驟S103(步驟S105 否)，重複將實際聲音數據添加到運動圖像數據中並依次存儲於存儲卡7中的處理。另一方面，若判定為檢測出拍攝幀頻的變更指示，則前進到步驟S106(步驟S105 是)。 在步驟S106中，控制部14將拍攝幀頻變更為120fps，並返回步驟S102。另外，若步驟S104的判定為「是」，則處理前進到步驟S111，控制部14對到此為止的期間存儲於存儲卡7中的音頻視頻數據，添加包含文件名、拍攝日期時間、拍攝幀頻等信息的頭信息，在存儲卡7內將由此生成的數據作為運動圖像文件而文件化。由此，運動圖像拍攝處理結束。另一方面，若步驟S102的判定為「否」，則在步驟S107中，控制部14對記錄/再現數據創建部3進行控制，將依次存儲於運動圖像臨時存儲器5的運動圖像數據依次壓縮編碼為120fps的拍攝幀頻的數據，並且，將實際聲音數據和仿真聲音數據一起添加到運動圖像數據中，並將由此生成的數據依次存儲於存儲卡7中。添加仿真聲音數據的定時既可以是在剛要添加實際聲音數據之前，也可以是在剛添加完實際聲音數據之後。接下來，在步驟S108，控制部14判定是否檢測出拍攝結束的指示。在此，若控制部14未檢測出基於拍攝開始/停止按鈕9的操作的拍攝結束指示，則處理前進到步驟S109 (步驟S108 否)。另一方面，在控制部14檢測出拍攝結束的指示時，處理前進到步驟SllK步驟S108 是)。在這種情況下，由於在前面的步驟S107中，將實際聲音數據和仿真聲音數據一起添加到運動圖像數據中，並將由此生成的音頻視頻數據依次存儲到存儲卡7中，因此，在步驟Slll中，針對在到此為止的期間存儲於存儲卡7中的音頻視頻數據，添加包含文件名、拍攝日期時間、拍攝幀頻等信息的頭信息，在存儲卡7內將由此生成的數據作為運動圖像文件而文件化。由此，運動圖像拍攝處理結束。在步驟S109中，控制部14判定是否檢測出拍攝幀頻的變更指示。在此，若未檢測出基於幀頻切換按鈕10的操作的拍攝幀頻的變更指示，則處理返回到步驟S107(步驟S109 否)，重複在運動圖像數據中添加實際聲音數據和仿真聲音數據並將由此生成的數據依次存儲於存儲卡7中的處理。另一方面，若檢測出拍攝幀頻的變更指示，則處理前進到步驟SllO (步驟S109 是)。在步驟SllO中，控制部14將拍攝幀頻變更為變更指示的幀頻即變更為30fps，並返回到步驟S102。接下來，參照圖6的流程圖來說明如此生成的運動圖像文件的再現時的控制部14的處理內容。圖6是說明本實施方式的數位相機100執行的運動圖像再現處理的流程的流程圖。另外，下面的處理通過圖1所示的控制部14控制各部來執行。另外，設在存儲卡7中已經存儲有通過參照圖5的流程圖所說明的運動圖像拍攝處理而生成的本實施方式的運動圖像文件。通過由用戶操作再現開始/停止按鈕11並開始存儲於存儲卡7中的運動圖像文件的再現，而啟動本流程圖的處理。在此，為了簡化說明，僅記載了通過參照圖5的流程圖所說明的運動圖像拍攝處理而生成的運動圖像文件的以高幀頻的120fps進行拍攝的部分的再現。首先，在步驟S201中，控制部14判定當前設定的再現模式是否為通常再現模式。如在再現中未操作再現模式變更按鈕12，則不變更再現模式。在再現模式為通常再現模式的情況下，前進到步驟S202(步驟S201 是)。若操作了再現模式變更按鈕12等，再現模式從通常再現模式進行變更的情況下，前進到步驟S206 (步驟S201 否)。在步驟S202中，控制部14對記錄/再現數據創建部3進行控制，對存儲於存儲卡7的以120fps拍攝的運動圖像的圖像幀進行間除，從而以30fps進行通常再現，將實際聲音和運動圖像一起再現。具體地，如圖4的下段(B)所示，控制部14對記錄/再現數據創建部3進行控制，編輯運動圖像文件的圖像索引數據VI，並將表示圖像幀數據的位置的圖像索引數據VI的數據削減為四分之一。進而，控制部14對記錄/再現數據創建部3進行控制，使得聲音索引數據AI指定實際聲音數據AR的位置。如此，控制部14對以120fps拍攝的運動圖像的數據值進行間除，從而以30fps進行再現。即，控制部14如圖4的下段(B)所示，按照圖像索引數據VI和聲音索引數據AI指定的順序，以通常再現模式來再現圖像數據ν和實際聲音數據AR，並從聲音輸入輸出部4和液晶顯示裝置8輸出。在步驟S203，控制部14判定是否檢測出再現結束的指示。在此，若未檢測出基於再現開始/停止按鈕11的操作的再現結束的指示，則處理前進到步驟S204(步驟S203 否)，在控制部14檢測出再現結束的指示時，本運動圖像再現處理結束(步驟S203 是)。在步驟S204中，控制部判定是否檢測出再現模式的變更指示。在此，若判定為未檢測出基於再現模式變更按鈕12的再現模式的變更指示，則返回到步驟S202(步驟S204 否)，重複以通常再現模式來再現運動圖像文件的處理。另一方面，若判定為檢測出再現模式的變更指示，則前進到步驟S205(步驟S204 是)。在步驟S205中，控制部14將再現模式變更為慢速再現模式，並返回到步驟S201。另一方面，若在步驟S201的判定為否，則在步驟S206中，控制部14對記錄/再現數據創建部3進行控制，不對存儲於存儲卡7的以120fps拍攝的運動圖像的圖像幀進行間除，而以30fps進行慢速再現，並將仿真聲音和運動圖像一起再現。具體地，如圖3的下段(B)或圖4的上段(A)所示，控制部14對記錄/再現數據創建部3進行控制，使得聲音索引數據AI指定仿真聲音數據AD的位置。按照圖像索引數據VI和聲音索引數據AI所指定的順序，來再現圖像數據V和仿真聲音數據AD，並從聲音輸入輸出部4和液晶顯示裝置8輸出。如此，控制部14不對以120fps拍攝的運動圖像的圖像幀進行間除而以30fps的幀頻來將其再現。即，如圖3的下段(B)或圖4的上段(A)所示，控制部14按照圖像索引數據VI和聲音索引數據AI所指定的順序，來慢速再現圖像數據V和仿真聲音數據AD，並從聲音輸入輸出部4和液晶顯示裝置8輸出。接下來，在步驟S207中，控制部14判定是否檢測出再現結束的指示。在此，若控制部14未檢測出基於再現開始/結束按鈕11的操作的再現結束的指示，則處理前進到步驟S208 (步驟S207 否)，在控制部14檢測出再現結束的指示時，本運動圖像再現處理結束(步驟S207 是)。在步驟S208中，控制部14判定是否檢測出再現模式的變更指示。在此，若未檢測出基於再現模式變更按鈕12的操作的再現模式的變更指示，則處理返回到步驟S206(步驟S208 否)，重複再現處理。另一方面，若檢測出再現模式的變更指示，則處理前進到步驟S209(步驟S208:是)。在步驟S209中，控制部14將再現模式變更為通常再現模式，並返回步驟S201。如此，根據作為本實施方式的運動圖像處理裝置發揮功能的數位相機100，控制部14按照通過幀頻切換按鈕10所指定的拍攝幀頻，在存儲於運動圖像臨時存儲器5的運動圖像數據中添加存儲於聲音臨時存儲器6的實際聲音數據以及仿真聲音數據這2種聲音數據，從而生成包含記錄了運動圖像數據的拍攝幀頻的頭部101、具有運動圖像數據和實際聲音數據以及仿真聲音數據的數據部102、運動圖像數據、和具有指示實際聲音數據以及仿真聲音數據的任一者的索引數據的索引部103的運動圖像文件。控制部14在頭部101中添加再現信息。再現信息使用索引部103的聲音索引數據Al，表示與實際聲音數據以及仿真聲音數據的2種聲音數據對應的再現模式。再現模式表示再現幀頻相對於拍攝幀頻的關係。通常再現模式是以與拍攝幀頻相等的再現幀頻來再現運動圖像的再現模式、或對運動圖像的圖像幀進行間除從而使幀頻與再現幀頻相等來進行再現的再現模式。慢速再現模式是在以低於拍攝幀頻的再現幀頻來再現運動圖像的情況下的再現模式。進而，儘管說明了將實際聲音數據和仿真聲音數據這2種聲音數據添加到運動圖像數據中的情況，但本發明並不限於此。也可以在運動圖像數據中添加超過2種的聲音數據。進而，和運動圖像一起再現的聲音可以按照再現模式而多樣化。在添加超過2種的聲音數據到運動圖像數據中的情況下，能使用聲音索引數據AI來指定適於各再現模式而再現的各種聲音數據即可。例如，對於以高幀頻拍攝的運動圖像，例如在除了實際聲音數據以外，還添加了效果音、音樂、與運動圖像關聯的信息等2種以上的仿真聲音數據，並在以超慢速來再現運動圖像的情況下，再現與運動圖像關聯的信息，在以稍慢速來再現運動圖像的情況下，再現音樂，在快進再現的情況下，再現效果音，如此使用聲音索引數據AI來指定適於各再現模式而再現的各種聲音數據即可。這通過控制部14按照再現模式進行圖像索引數據VI的間除，隨之來適宜地變更指定聲音數據的位置的聲音索引數據Al，能容易地實現。因此，根據作為本實施方式的運動圖像處理裝置發揮功能的數位相機100，控制部14作為在運動圖像數據中添加2種以上的聲音數據的聲音數據添加單元發揮功能，並作為在文件中添加表示與2種以上的聲音數據的每一個對應的再現模式的再現模式信息的再現信息添加單元發揮功能。拍攝被攝體2來生成運動圖像數據的拍攝部2能在拍攝時變更拍攝幀頻，作為聲音數據添加單元而發揮功能的控制部14能在規定的拍攝幀頻以外時，添加2種以上的聲音數據。因此，根據本實施方式的數位相機100，由於能從添加於運動圖像文件中的2種以上的聲音數據中，使用聲音索引數據AI來選擇性地再現適當的種類的聲音數據，因此，即使在對高速拍攝的運動圖像的圖像幀進行間除，並變更為通常再現的再現幀頻來進行再現的情況下，也能以簡單的構成來適當地再現聲音。另外，本實施方式的數位相機100還具有作為對拍攝部2的拍攝中的聲音進行採集的聲音採集單元而發揮功能的聲音輸入輸出部4，作為聲音數據添加單元發揮功能的控制部14在規定的拍攝幀頻以外，特別在高速的拍攝幀頻時，能添加由聲音輸入輸出部4採集的實際聲音數據和成為實際聲音的代替的仿真聲音，來作為2種以上的聲音數據。進而，控制部14能在實際聲音數據中添加表示將通常再現作為對應的再現模式的再現信息，在仿真聲音數據中添加表示將慢速再現作為對應的再現模式的再現信息。本實施方式的數位相機100作為再現運動圖像文件的運動圖像再現裝置發揮功能，該運動圖像文件包括運動圖像數據、2種以上的聲音數據、和頭部101，該頭部101中被添加了表示與2種以上的聲音數據的每一個相應的再現模式的再現信息。作為這樣的運動圖像再現裝置發揮功能的數位相機100包括作為決定包括通常再現模式和慢速再現模式的再現模式的決定單元而發揮功能的再現模式變更按鈕12 ；作為參照頭部101來確定與由再現模式變更按鈕12決定的再現模式對應的種類的聲音數據的聲音數據確定單元而發揮功能的控制部14 ；和作為按照由再現模式變更按鈕12決定的再現模式，將包含於運動圖像文件中的運動圖像數據和由聲音數據確定單元確定的種類的聲音數據一起進行再現的運動圖像再現單元而發揮功能的控制部14。如此構成的本實施方式的數位相機100至少具有如下的效果。(1)由於在以與再現幀頻(30fps)相等的通常幀頻(30fps)來進行拍攝時，在運動圖像數據中添加實際聲音數據，在以比再現幀頻高的幀頻(120fps)進行拍攝時，在運動圖像數據中添加實際聲音數據和仿真聲音數據，因此，在通常再現以通常幀頻拍攝的運動圖像、或在對以高幀頻拍攝的運動圖像的圖像幀進行間除並進行通常再現的情況下，再現實際聲音，而在不對以高幀頻拍攝的運動圖像的圖像幀進行間除而進行慢速再現時，再現仿真聲音。因此，不管是在以再現幀頻來通常再現通常幀頻的運動圖像的情況下，或在對高幀頻的運動圖像的圖像幀進行間除並進行通常再現的情況下，還是在不對高幀頻的運動圖像的圖像幀進行間除而以再現幀頻來進行慢速再現的情況下，由於對實際聲音或仿真聲音進行再現，因此不會對聽不清的聲音進行再現。(2)由於運動圖像拍攝中的聲音的編碼處理不需要在拍攝幀頻的切換的定時停止或重啟，而與通常的運動圖像拍攝時相同即可，因此能減輕CPU的處理負擔。(3)由於不僅在通常幀頻下的拍攝時，而且在高幀頻下的拍攝時也在運動圖像數據中添加實際聲音數據，因此，與再現時成為無聲相比，按照拍攝幀頻和再現幀頻的關係來聽到聲音，能進行更有臨場感的運動圖像再現。(4)進而，由於在高幀頻下的拍攝時，在運動圖像數據中添加輸出為「噼噼噼」的效果音、「是慢速再現」的消息、與運動圖像相關的信息、音樂等的仿真聲音，因此能提供給在慢速再現時長時間僅觀看無聲慢鏡頭的影像的用戶除了影像以外的新的刺激或有益的信肩、ο(5)另外，在從30fps到120fps、從120fps到30fps來變更拍攝幀頻的期間也持續錄製實際聲音。因此，在剛要切換為不同的拍攝幀頻的運動圖像數據前和剛切換為不同的拍攝幀頻的運動圖像數據之後不久，能保持聲音數據的匹配性。上面說明了本發明的實施方式，但本發明並不限於上述的實施方式。即，在本發明中也包含如下所示的在能達成本發明的目的的範圍內的變形、改良等。在本實施方式中，作為在運動圖像拍攝時能變更幀頻的拍攝模式，以能在30fps和120fps之間變更為例進行了說明，但本發明並不限於此。也能應用於變更為更高幀頻的拍攝模式中，進而，作為拍攝幀頻或再現幀頻，也可以使用30fps、120fps以外的幀頻。另外，即使在運動圖像拍攝中不變更幀頻的情況下，在以高幀頻來進行拍攝時，也可以如本實施方式那樣在運動圖像數據中添加實際聲音和仿真聲音的聲音數據。另外，在本實施方式中說明了，在運動圖像拍攝處理的步驟SlOl中，將從拍攝部2輸出的運動圖像數據依次存儲於運動圖像臨時存儲器5中，將由聲音輸入輸出部4採集的聲音數據依次存儲於聲音臨時存儲器6中，由此在運動圖像數據中添加聲音數據，但本發明並不限於此。例如，也可以對拍攝部2拍攝的運動圖像數據以外的運動圖像數據進行相同的處理，或對由聲音輸入輸出部4所採集的聲音數據以外的聲音數據進行相同的處理。具體地，既可以控制未圖示的通信部，來經由無線通信網絡獲得處理的對象的運動圖像數據或聲音數據，也可以經由存儲卡7等的可移動存儲介質來獲得。進而，在運動圖像再現處理的步驟S202中，控制部14控制記錄/再現數據創建部3來再現存儲於存儲卡7中的運動圖像文件。即，控制部14將實際聲音和運動圖像一起再現。具體地，如圖4的下段(B)所示，說明了控制部14控制記錄/再現數據創建部3，編輯索引部103，將再現的運動圖像的圖像幀間除為四分之一，並再現實際聲音數據，但本發明並不限於此。例如，控制部14還可以控制記錄/再現數據創建部3，編輯數據部102，作為結果，將再現的圖像數據V削減為四分之一，並進一步削減仿真聲音數據AD，對間除為四分之一的圖像數據V和實際聲音數據AR進行再現。本發明並不限於數碼攝像機或數位相機，能一般應用於具備運動圖像的拍攝以及再現功能的電子設備。具體地，例如帶有數字靜態相機或相機的可攜式電話機、視頻攝像機、可攜式遊戲機等。另外，對於僅能再現所拍攝的運動圖像的其它的裝置，例如具備一般的構成的通用的個人計算機，也能通過搭載與本發明相關的拍攝程序來應用本發明。關於上述的控制部14的功能的一部分或全部，也可以通過使與控制部14並行動作的其它的控制部按照本發明的拍攝程序進行動作來實現。在通過軟體來執行一系列的處理的情況下，從網絡或記錄介質等將構成該軟體的程序安裝在計算機等中。計算機也可以是嵌入在專用的硬體中的計算機。另外，計算機也可以是通過安裝各種程序來執行各種功能的計算機，例如是通用的個人計算機。包括這樣的程序的記錄介質儘管未圖示，但不僅可以由向用戶提供程序的與裝置主體分開發布的存儲卡等可移動媒介構成，也可以由以預先嵌入到裝置主體的狀態來提供給用戶的記錄介質等構成。可移動媒介例如由磁碟(包括軟盤)、光碟或磁光碟等構成。光碟例如由CD-ROM (只讀光碟)、DVD (數字多功能光碟)等構成。磁光碟由MD (迷你磁光碟)等構成。另外，以預先嵌入到裝置主體的狀態來提供給用戶的記錄介質例如由記錄了程序的圖1的控制部14所具有的未圖示的ROM、未圖示的硬碟等構成。另外，在說明書中，對記錄於記錄介質的程序進行描述的步驟當然可以是在時間序列上沿著該順序來進行的處理，但也不一定非得是時間序列上的處理，也可以包含並行或個別執行的處理。
權利要求
1.一種運動圖像處理裝置，其特徵在於， 具備拍攝單元，其通過拍攝，獲得由連續的多個 圖像幀構成的運動圖像數據； 聲音數據添加單元，其在由所述拍攝單元獲得的所述運動圖像數據中添加2種以上的聲音數據；和再現信息添加單元，其在由所述聲音數據添加單元添加了 2種以上的聲音數據後的所述運動圖像數據中添加再現信息，該再現信息表示與所述2種以上的聲音數據的每一個相應的、再現所述運動圖像數據時的再現模式， 所述再現模式包括第1再現模式，其間除所述運動圖像數據的所述圖像幀來再現所述運動圖像數據；和第2再現模式，其不間除所述運動圖像數據的所述圖像幀來再現所述運動圖像數據。
2.根據權利要求1所述的運動圖像處理裝置，其特徵在於，所述聲音數據添加單元在以高於規定的幀頻的幀頻拍攝的運動圖像數據中添加所述2 種以上的聲音數據。
3.根據權利要求2所述的運動圖像處理裝置，其特徵在於，所述運動圖像處理裝置還具備聲音採集單元，該聲音採集單元採集所述拍攝單元進行拍攝中的聲音，所述聲音數據添加單元在以高於所述規定的拍攝幀頻的幀頻拍攝的運動圖像數據中添加由所述聲音採集單元採集的實際聲音數據、以及成為實際聲音數據的代替的虛擬聲音數據，來作為所述2種以上的聲音數據，所述再現信息添加單元在所述實際聲音數據中添加表示所述第1再現模式的信息，並在所述虛擬聲音數據中添加表示所述第2再現模式的再現信息，在所述第1再現模式以及所述第2再現模式中，以與所述規定的拍攝幀頻相同的幀頻來再現所述運動圖像數據。
4.一種運動圖像再現裝置，再現運動圖像文件，該運動圖像文件包括由通過拍攝而獲得的連續的多個圖像幀構成的運動圖像的數據、2種以上的聲音數據、以及表示與所述2種以上的聲音數據的每一個相應的再現模式的再現信息，所述運動圖像再現裝置的特徵在於，具備 決定單元，其決定再現模式；聲音數據確定單元，其根據所述再現信息來確定與由所述決定單元決定的所述再現模式對應的聲音數據；和運動圖像再現單元，其依照由所述決定單元決定的所述再現模式，將所述運動圖像數據和由所述聲音數據確定單元確定的聲音數據一起再現。
5.根據權利要求4所述的運動圖像再現裝置，其特徵在於， 所述再現模式包括第1再現模式，其間除所述運動圖像數據的圖像幀來再現所述運動圖像數據；和第2再現模式，其不間除所述運動圖像數據的圖像幀來再現所述運動圖像數據， 所述聲音數據包括在該運動圖像的拍攝中採集的實際聲音數據、以及成為實際聲音數據的代替的虛擬聲音數據，在由所述決定單元決定為所述第1再現模式的情況下，所述聲音數據確定單元將所述實際聲音數據確定為對應的聲音數據，而在由所述決定單元決定為所述第2再現模式的情況下，所述聲音數據確定單元將所述虛擬聲音數據確定為對應的聲音數據。
6.根據權利要求4所述的運動圖像再現裝置，其特徵在於，所述運動圖像數據是在拍攝時切換了拍攝幀頻的運動圖像數據，在切換為高於規定的拍攝幀頻的幀頻來進行拍攝的期間的運動圖像數據中，添加所述2種以上的聲音數據， 所述運動圖像再現單元以與所述規定的拍攝幀頻相同的幀頻來再現運動圖像數據。
7.—種運動圖像處理方法，其特徵在於， 包括拍攝步驟，通過拍攝，獲得由連續的多個圖像幀構成的運動圖像數據； 聲音數據添加步驟，在由所述拍攝步驟獲得的所述運動圖像數據中添加2種以上的聲音數據；和再現信息添加步驟，在添加了所述2種以上的聲音數據後的所述運動圖像數據中添加再現信息，該再現信息表示與所述2種以上的聲音數據的每一個相應的、再現所述運動圖像數據時的再現模式， 所述再現模式包括第1再現模式，其間除所述運動圖像數據的所述圖像幀來再現所述運動圖像數據，和第2再現模式，其不間除所述運動圖像數據的所述圖像幀來再現所述運動圖像數據。
8.—種運動圖像再現方法，是再現運動圖像文件的運動圖像再現裝置的運動圖像再現方法，該運動圖像文件中包括由通過拍攝而獲得的連續的多個圖像幀構成的運動圖像的數據、2種以上的聲音數據、以及表示與所述2種以上的聲音數據的每一個相應的再現模式的再現信息，所述運動圖像再現方法的特徵在於，包括 決定步驟，決定再現模式；聲音數據確定步驟，根據所述再現信息來確定與所決定的再現模式對應的聲音數據；和運動圖像再現步驟，依照所述所決定的再現模式，將所述運動圖像數據和由所述聲音數據確定步驟確定的聲音數據一起再現。
全文摘要
本發明提供一種運動圖像處理裝置，具備拍攝單元(2)，其拍攝連續的多個圖像幀來獲得運動圖像數據；聲音數據添加單元(14)，其在由所述拍攝單元獲得的所述運動圖像數據中添加2種以上的聲音數據；和再現信息添加單元(14)，其在由所述聲音數據添加單元添加了2種以上的聲音數據後的所述運動圖像數據中添加再現信息，該再現信息表示與所述2種以上的聲音數據的每一個相應的、再現所述運動圖像文件時的再現模式，所述再現模式包括間除所述圖像幀來再現的第1再現模式、和不間除所述圖像幀來再現的第2再現模式。
文檔編號H04N5/14GK102387292SQ20111025467
公開日2012年3月21日 申請日期2011年8月31日 優先權日2010年9月6日
發明者大谷大輔, 細田潤 申請人:卡西歐計算機株式會社