圖像編輯裝置及搭載其的攝像裝置、圖像再生裝置及搭載其的攝像裝置的製作方法

2023-10-09 07:55:49

專利名稱：圖像編輯裝置及搭載其的攝像裝置、圖像再生裝置及搭載其的攝像裝置的製作方法
技術領域：
本申請基於2009年8月28日提交的日本專利申請No. 2009_198214、2009年8月 28日提交的日本專利申請No. 2009-198220、以及2010年7月15日提交的日本專利申請 No. 2010-160237號申請而作出，並將它們的內容通過參考而引入到這裡。本發明涉及一種編輯運動圖像的圖像編輯裝置和搭載其的攝像裝置、以及解碼運 動圖像的編碼數據、使之在規定的顯示裝置中顯示再生的圖像再生裝置和搭載其的攝像裝 置。
背景技術：
近年，一般用戶可以輕鬆攝影運動圖像的數位照相機(digital movie camera)正 逐漸普及，其中，有的可以攝影全高清(high definition 高清晰度)(1920X1080像素)的 運動圖像。這樣的數位照相機所攝影的運動圖像用於各種用途。例如，在電視機及PC(個 人計算機)中鑑賞，添加到電子郵件中發送，上傳到網際網路(Internet)上的視頻共享網站、 博客網站或者SNS(Social Networking Service 網絡社交服務)網站。全高清攝像的運動圖像是高畫質的，適合用高畫質電視機鑑賞。但是，由於全高清攝 像的運動圖像容量大，對於添加到郵件中發送、上傳到網際網路上的網站，不怎麼適用。例如， 很多視頻共享網站、博客網站以及SNS網站對於上傳的運動圖像有容量限制的要求。因此，當將高清攝像的運動圖像上傳到網際網路上的網站時，一般先將該運動圖像 暫時放入PC，變換成低解析度以及/或者低幀速率的運動圖像，再上傳。另外，考慮在攝影階段，將多個不同畫質的運動圖像並行編碼，生成多個不同畫質 的運動圖像文件。例如，考慮在數位照相機中搭載兩個編碼器，生成兩個不同畫質的運動圖 像文件。這樣，生成圖像內容共通且畫質不同的多個運動圖像文件的狀況，比以往發生得更多。

發明內容
本發明的一種形式的圖像編輯裝置，具有解碼部，其用於解碼圖像內容共通的、 第一畫質的運動圖像編碼數據以及與該第一畫質不同的第二畫質的運動圖像編碼數據的 其中一方；編輯部，其用於編輯由解碼部解碼的、第一畫質的運動圖像或者第二畫質的運動 圖像。編輯部將由用戶操作引起的對第一畫質的運動圖像以及第二畫質的運動圖像的其中 一方施加的編輯與用戶操作無關地反映到另一方的運動圖像編碼數據中。本發明的另一種形式是攝像裝置。此裝置，具有取得運動圖像的攝像部、以第一 畫質及第二畫質的兩種方式編碼攝像部所攝像的運動圖像的編碼部、和上述的圖像編輯裝 置。本發明的一種形式的圖像再生裝置，具有解碼部，其用於可以選擇性地解碼圖像內容共通的、第一畫質的運動圖像編碼數據以及畫質低於該第一畫質的第二畫質的運動圖 像編碼數據；控制部，其用於使解碼部所解碼的、第一畫質的運動圖像或者第二畫質的運動 圖像在顯示裝置中顯示。控制部也可在通常再生被指示時使第一畫質的運動圖像顯示，在 快進再生或者快退再生被指示時使第二畫質的運動圖像顯示。另外，控制部也可在通常再 生被指示時使第二畫質的運動圖像顯示，在慢進再生或者慢退再生被指示時使第一畫質的 運動圖像顯示。此外，控制部在第一畫質的運動圖像的通常再生中或者其停止後快進再生 或快退再生被指示時，也可從第一畫質的運動圖像切換到第二畫質的運動圖像來顯示。另 外，控制部在第二畫質的運動圖像的通常再生中或者其停止後慢進再生或慢退再生被指示 時，也可從第二畫質的運動圖像切換到第一畫質的運動圖像來再生顯示。本發明的另一種形式是攝像裝置。此裝置，具有取得運動圖像的攝像部、以第一 畫質及第二畫質的兩種方式編碼由攝像部攝像的運動圖像的編碼部、上述的圖像再生裝置 和顯示由圖像再生裝置再生的運動圖像的顯示裝置。此外，以上構成要素的任意組合、以及將本發明的表現形式在方法、裝置、系統、記 錄介質、電腦程式等之間進行變換後的產物，也將作為本發明的有效形式。


圖1是搭載實施方式1相關的圖像處理裝置的攝像裝置的構成圖。圖2是表示分歧部所輸入的幀圖像、第1圖像編碼部所編碼的幀圖像以及第2圖 像編碼部所編碼的幀圖像的關係的圖。圖3是具有實施方式2相關的圖像編輯裝置的圖像編輯系統的構成圖。圖4是為說明實施方式2相關的圖像編輯裝置的編輯動作的圖。圖5是表示基於高清尺寸的單編碼模式、與基於HD尺寸及SD (標清)尺寸的雙編 碼模式之間的切換定時(timing)的圖。圖6是具有實施方式3相關的圖像再生裝置的圖像顯示系統的構成圖。圖7是在實施方式3相關的圖像再生裝置的動作例1中、規定再生指示的種類與 再生畫質之間對應關係的表格。圖7(a)表示動作例1-1中的表格，圖7(b)表示動作例1-2 中的表格。圖8是表示實施方式3相關的圖像再生裝置的動作例2中的再生畫質的轉移例的 圖。圖8(a)表示包括高速再生期間的轉移例，圖8(b)表示包括慢速再生期間的轉移例。圖9是搭載變形例相關的處理裝置的攝像裝置的構成圖。圖10是以變形例為基礎、從圖2的示例發展而來的圖。
具體實施例方式本發明通過參照優選的實施方式來說明。這些優選的實施方式僅是本發明的例 示，並不限制本發明的範圍。圖1是搭載實施方式1相關的圖像處理裝置100的攝像裝置300的構成圖。攝像 裝置300具有攝像部210以及圖像處理裝置100。攝像部210，連續取得幀圖像，將其作為運動圖像供給圖像處理裝置100。攝像部 210，具有CCD (Charge Coupled Devices 電荷耦合元件)傳感器、CMOS (ComplementaryMetal Oxide Semiconductor 互補金屬氧化物半導體)圖像傳感器等圖中未標示的固體攝 像元件、以及處理該固體攝像元件所輸出的信號的圖中未標示的信號處理電路。該信號處 理電路可以將上述固體攝像元件所輸出的模擬的三原色信號R、G、B變換成數字亮度信號Y 以及色差信號Cr、Cb。圖像處理裝置100主要處理攝像部210所取得的運動圖像。圖像處理裝置100包 括分歧部11、解析度變換部12、圖像編碼部20、多路復用部40以及記錄部41。圖像編碼部 20包括第1圖像編碼部21以及第2圖像編碼部22。圖像處理裝置100的構成，在硬體上由任意的處理器、存儲器和其他LSI實現，在 軟體上由存儲器中被調用的程序實現，但這裡描述的是由它們配合實現的功能模塊。因此， 這些功能模塊可以僅由硬體、僅由軟體、或者由它們的組合以各種形式實現的事實是本領 域的普通技術人員所能理解的。分歧部11將攝像部210所供給的運動圖像向第1圖像編碼部21以及解析度變換 部12的兩者輸出。解析度變換部12對構成分歧部11所輸入運動圖像的幀圖像的解析度進行變換。 在此，使該幀圖像的解析度降低。解析度變換部12，可以取出該幀圖像的中央區域、削除其 周邊區域使該解析度降低，也可以間隔取出該幀圖像內的像素使解析度降低。解析度變換 部12將由解析度變換後的幀圖像構成的運動圖像輸出到第2圖像編碼部22。圖像編碼部20，對攝像部210所攝像的運動圖像，以第一畫質以及與該第一畫質 不同的第二畫質的兩種方式，並行地或者同時地編碼。即，對一種運動圖像進行雙編碼。在 圖1中，第1圖像編碼部21對分歧部11所輸入的運動圖像、第2圖像編碼部22對解析度 變換部12所輸入的運動圖像並行地或者同時地進行編碼。對上述第一畫質的運動圖像和上述第二畫質的運動圖像，以不同的解析度進行編 碼。上述第一畫質的運動圖像的解析度和上述第二畫質的運動圖像的解析度的組合可以 多種多樣。例如，可以是1920X 1080像素尺寸、1280X720像素尺寸、640X480像素尺寸、 448 X 336像素尺寸以及192 X 108像素尺寸中的任意兩個的組合。另外，對上述第一畫質的運動圖像和上述第二畫質的運動圖像，以不同的解析度 進行編碼的同時，也可以以不同的幀速率進行編碼。例如，可以是60fps、30fps以及15fps 中的任意兩個的組合。此外，對於448X336像素尺寸或者192X108像素尺寸等低解析度 的情況，可以分配240fps、600fps等的高幀速率。圖像編碼部20，依照規定的規格對該第一畫質的運動圖像以及該第二畫質的運動 圖像進行壓縮編碼。例如，可以依照H. 264/AVC、H. 264/SVC、MPEG_2、或者MPEG-4等規格進 行壓縮編碼。圖像編碼部20，可以基於一個硬體編碼器或者通用處理器的軟體處理，對上述第 一畫質的運動圖像和上述第二畫質的運動圖像分時地進行編碼，也可以基於兩個硬體編碼 器對該第一畫質的運動圖像和該第二畫質運動圖像並行地進行編碼。圖像編碼部20將編 碼的第一畫質的運動圖像編碼數據(也稱為「編碼流」)以及第二畫質的運動圖像編碼數據 輸出到多路復用部40。多路復用部40，多路復用第1圖像編碼部21所輸入的上述第一畫質的運動圖像編 碼數據和第2圖像編碼部22所輸入的上述第二畫質的運動圖像編碼數據，生成1個運動圖像文件。例如，可以依照MP4文件格式生成容器文件(container file)。該容器文件，可以 包括記述各編碼數據的頭信息、元數據、時刻信息等的容器。在解碼側，通過參照該容器文 件，可以容易地取得上述第一畫質的運動圖像與上述第二畫質的運動圖像之間的同步、以 及隨機訪問。記錄部41，將多路復用部40所多路復用的運動圖像文件記錄到該記錄介質。作為 該記錄介質，可以採用內置存儲器和可安裝拆卸的移動存儲器其中的至少一種。例如，作為 內置存儲器，可以採用半導體存儲器或者硬碟；作為移動存儲器，可以採用記憶卡、移動硬 盤或者光碟。圖中未標示的輸入輸出部，通過本攝像裝置300和規定的接口與外部機器通信。 例如，可以用USB電纜與PC或外接硬碟連接，將記錄於上述記錄介質中的運動圖像文件傳 送到PC或外接硬碟。另外，用D端子、S端子或者HDMI端子與電視機連接，使上述第一畫 質的運動圖像及上述第二畫質的運動圖像在電視機畫面中顯示。下面，以上述第一畫質的運動圖像是由HD(1280X720像素)尺寸的幀圖像構成的 運動圖像、以及上述第二畫質的運動圖像是由SD(640X480像素)尺寸的幀圖像構成的運 動圖像的情況為例，說明實施方式1相關的圖像處理裝置100的動作。圖2是表示分歧部11所輸入的幀圖像F1、由第1圖像編碼部21編碼的幀圖像F2 以及由第2圖像編碼部22編碼的幀圖像F3的關係的圖。在上述例子中，HD尺寸的幀圖像 Fl被輸入到分歧部11。另外，從攝像部210輸入到圖像處理裝置100的幀圖像，在包括防 手抖用的區域的情況下也存在，但該防手抖用的區域的像素數據在輸入到分歧部11前被 剪切。分歧部11將HD尺寸的幀圖像Fl輸出到第1圖像編碼部21以及解析度變換部12。 解析度變換部12將HD尺寸的幀圖像Fl變換成SD尺寸的幀圖像F3。第1圖像編碼部21 對分歧部11所輸入的HD尺寸的幀圖像Fl直接進行編碼。第2圖像編碼部22對解析度變 換部12所輸入的SD尺寸的幀圖像F3進行編碼。由第1圖像編碼部21編碼的HD尺寸的幀圖像F2的縱橫比是16 9，由第2圖像 編碼部22編碼的SD尺寸的幀圖像F3的縱橫比是4 3。SD尺寸的幀圖像F3的生成是通 過留下HD尺寸的幀圖像F2的中央區域、並刪除其周邊區域完成的。第1圖像編碼部21所編碼的HD尺寸的運動圖像編碼數據適合於PC、電視機等的 觀賞用途的保存，第2圖像編碼部22所編碼的SD尺寸的運動圖像編碼數據適合於添加到 郵件中發送、向網際網路上的網站投稿。這樣，用戶可以適當地選擇使用HD尺寸的運動圖像 編碼數據和SD尺寸的運動圖像編碼數據。如以上說明，根據實施方式1，攝影時，通過對運動圖像雙編碼，可以降低運動圖像 文件轉碼的必要性。即，通過生成兩種畫質的運動圖像編碼數據，能夠按照用途分開使用該 編碼數據，可以降低轉碼的頻率。圖3是具有實施方式2相關的圖像編輯裝置500的圖像編輯系統700的構成圖。 圖像編輯系統700具有圖像編輯裝置500、顯示裝置610、操作部620以及存儲裝置630。圖像編輯系統700可以有各種各樣的硬體構成。例如，可以使圖像編輯系統700 由上述的攝像裝置300和電纜連接的電視機來構築。這種情況下，可以使圖像編輯裝置500 由攝像裝置300的控制功能、操作部620由攝像裝置300的操作功能、存儲裝置630由攝像裝置300的存儲功能、以及顯示裝置610由該電視機的顯示功能等分別構築。另外，可以使圖像編輯系統700由接收實施方式1相關的圖像處理裝置100所生 成的運動圖像文件的PC來構築。這種情況下，可以使圖像編輯裝置500、操作部620、存儲 裝置630、以及顯示裝置610分別由PC的控制功能、操作功能、存儲功能以及顯示功能構築。 使用可攜式電話機、PDA、可攜式音樂播放器等代替PC時的情形也相同。另外，可以使圖像編輯系統700由上述攝像裝置300單體構築。這種情況下，可以 使圖像編輯裝置500、操作部620、存儲裝置630、以及顯示裝置610分別由攝像裝置300的 控制功能、操作功能、存儲功能以及顯示功能構築。該攝像裝置300中也包括實施方式1相 關的圖像處理裝置100。圖像編輯裝置500包括緩衝器50、解碼部60、編輯部70以及編碼部80。圖像編輯 裝置500的構成，在硬體上由任意的處理器、存儲器和其他LSI實現，在軟體上由存儲器中 被調用的程序等實現，但這裡描述的是由它們配合實現的功能模塊。因此，這些功能模塊可 以僅由硬體、僅由軟體、或者由它們的組合以各種形式實現的事實是本領域的普通技術人 員所能理解的。存儲裝置630由上述的記錄介質(半導體存儲器、硬碟等)構成，保存實施方式1 相關的圖像處理裝置100所生成的運動圖像文件。若該運動圖像文件被圖像編輯裝置500 訪問，則輸出到圖像編輯裝置500內的緩衝器50。緩衝器50暫時存儲從存儲裝置630輸入的運動圖像文件。另外，緩衝器50依照 從編輯部70來的控制信號，將該運動圖像文件所包括的上述第一畫質的運動圖像編碼數 據以及上述第二畫質的運動圖像編碼數據的任意一方供給到解碼部60。更具體地說，將成 為用戶編輯對象的運動圖像編碼數據供給到解碼部60。解碼部60，解碼圖像內容共通的、上述第一畫質的運動圖像編碼數據以及上述第 二畫質的運動圖像編碼數據的其中一方。更具體地說，解碼緩衝器50所供給的上述第一畫 質的運動圖像編碼數據或者上述第二畫質的運動圖像編碼數據。例如，該第一畫質的運動 圖像可以是上述HD尺寸的運動圖像，該第二畫質的運動圖像可以是上述SD尺寸的運動圖像。操作部620，接收用戶指示，生成基於此指示的控制信號，輸出到編輯部70。在本 實施方式中，操作部620，主要接收來自用戶的各種編輯操作。各種編輯包括圖像的剪切、效 果處理、文本插入、音頻插入等。編輯部70，編輯解碼部60所解碼的、第一畫質的運動圖像或者第二畫質的運動圖 像。更具體地說，編輯部70使包括作為編輯對象而被選擇的運動圖像的再生畫面的編輯 畫面顯示於顯示裝置610中。用戶通過看此編輯畫面對操作部620進行操作，從而完成各 種編輯作業。例如，刪除不需要的場景。另外，剪切多個場景，將這些場景連接在一起，做 成別的運動圖像文件或者播放菜單。再者，在選擇的幀中插入消息，或在選擇的場景中插入 BGM(Back Ground Music 背景音樂)。編輯部70，將由用戶操作引起的對第一畫質的運動圖像以及第二畫質的運動圖像 的一方施加的編輯，與用戶操作無關地反映到其另一方的運動圖像編碼數據中。例如，當由 用戶操作引起第一畫質的運動圖像的某場景被刪除時，刪除第二畫質的運動圖像的對應場景。
此外，編輯部70，在將對第一畫質的運動圖像以及第二畫質的運動圖像的其中一 方施加的編輯反映在另一方中之前，可以向用戶報告消息，其用於確認是否要反映在另一 方的運動圖像中。例如，可以在顯示裝置610的畫面內，顯示「是否在SD尺寸的運動圖像中 反映」等消息。另外，可以從圖中未標示的語音輸出部語音輸出消息。編輯部70，從操作部 620得到用戶的OK指示時，實行對上述另一方的運動圖像的反映處理，得到NG指示時，中止 該反映處理。編輯部70，通過在幀圖像內插入文本、將幀圖像內的顏色變色到深棕色調等方式 對幀圖像本身加工的情況下，將加工後的圖像輸出到編碼部80。編碼部80對輸入的加工後 的圖像進行編碼，輸出到緩衝器50。另外，編輯部70應該將此加工反映在緩衝器50內的另 一方的運動圖像編碼數據中，使該運動圖像編碼數據在解碼部60中解碼。編輯部70對被 解碼的運動圖像實施同樣的加工，並使加工後的圖像在編碼部80中編碼。另一方面，編輯部70，通過場景的刪除、剪切等方式對幀圖像本身不進行加工的編 輯的情況下，可以直接編輯緩衝器50內的編輯對象的運動圖像編碼數據。另外，編輯部70， 也可以直接編輯緩衝器50內的另一方的運動圖像編碼數據。例如，可以將指示要刪除的場 景的幀圖像，從兩方的運動圖像編碼數據中單純地刪除。對於這種編輯中的場景刪除，由於場景一旦刪除，很難還原，因此應該慎重。另外， 高畫質(例如，HD尺寸)的運動圖像和低畫質(例如，SD畫質)的運動圖像都存在的情況 下，對於刪除前者的運動圖像的場景和刪除後者的運動圖像的場景，有時用戶的意圖是不 同的。S卩，由於高畫質的運動圖像主要用於保存，場景的刪除的實施比較多的是基於用 戶判斷其場景已沒有必要。與此對應地，由於低畫質的運動圖像主要用於電子郵件發送、向 網際網路上的網站投稿，因此場景的刪除的實施比較多的是以削減容量為主要目的。以下，關於反映這種考慮的處理進行說明。編輯部70，在由用戶操作引起的、刪除 第一畫質的運動圖像以及第二畫質的運動圖像中的高畫質一方的運動圖像的一部分區間 時，也刪除低畫質一方的運動圖像的對應區間。即，此一部分區間，對於用戶而言，是不需要 場景的可能性高，因此也使之在低畫質一方的運動圖像中反映。另一方面，編輯部70，在由用戶操作引起的刪除低畫質一方的運動圖像的一部分 區間時，對高畫質一方的運動圖像的對應區間不是無條件的刪除。因為可能是用戶雖然想 留下該一部分區間的場景，但為了向網際網路上的網站投稿有必要壓縮容量從而刪除。這種 可能性應該向用戶確認，編輯部70可以向用戶報告消息，其用於確認是否刪除高畫質一方 的運動圖像的對應區間。與此對應，得到用戶的OK指示時，實行對該對應區間的刪除，得到 NG指示時，中止其刪除。圖4是為了說明實施方式2相關的圖像編輯裝置500的編輯動作的圖。圖4以存 在圖像內容共通的、HD尺寸的運動圖像編碼數據和SD尺寸的運動圖像編碼數據為前提。在 此，用戶編輯HD尺寸的運動圖像。在顯示裝置610的編輯畫面中，顯示了 HD尺寸的運動圖 像的圖幅(二 )。在圖4中，顯示了 5個場景(第1場景Sl 第5場景S5)分別的最初 的圖幅(即，來自前一場景的切換圖幅)。由於用戶不需要第4場景S4以及第5場景S5，通 過編輯作業刪除這些場景。編輯部70將此手動的編輯作業反映於SD尺寸的運動圖像中。 即，通過自動編輯刪除SD尺寸的運動圖像的第4場景S4以及第5場景S5。
如以上說明，根據實施方式2，在編輯圖像內容共通且畫質不同的多個運動圖像文 件的情況下，可以提高用戶的便利性。例如，考慮關於高畫質的運動圖像文件和低畫質的運 動圖像文件存在的情況。在這種情況下，通過將施加於其中一方的運動圖像文件的編輯反 映在另一方的運動圖像文件中，從而能夠減輕用戶的編輯作業。對於想對兩方的運動圖像 文件進行同樣編輯的用戶而言，可以減輕一半的編輯作業的操作負擔。另外，可以擔保對兩方運動圖像編輯的同等性。對於想對兩方的運動圖像文件進 行完全相同編輯的用戶而言非常適合。對於兩方的運動圖像文件，也有與手動編輯不完全 相同的編輯的例子發生。根據本實施方式，一面擔保了編輯的同等性，一面可以減輕其編輯 作業的操作負擔。此外，在存在用戶不一定希望將對於其中一方的運動圖像文件的編輯反映到另一 方的運動圖像文件的可能性的例子中，通過向用戶求得不實施其反映嗎的確認，可以使真 實情況得到反映。例如，刪除低畫質一方的運動圖像文件的一部分場景時，由於存在以容量 壓縮為目的的可能性，通過處理以使不是無條件地將此刪除反映於高畫質一方的運動圖像 文件中。圖6是具有實施方式3相關的圖像再生裝置1500的圖像顯示系統1700的構成圖。 圖像顯示系統1700具有圖像再生裝置1500、顯示裝置1610以及操作部1620。圖像顯示系統1700可以有各種可能的硬體構成。例如，可以使圖像顯示系統1700 由上述的攝像裝置300和電纜連接的電視機構築。這種情況下，可以使圖像再生裝置1500 由攝像裝置300的控制功能、操作部1620由攝像裝置300的操作功能、以及顯示裝置1610 由該電視機的顯示功能構築。另外，可以使圖像顯示系統1700由接收實施方式1的圖像處理裝置100所生成的 運動圖像文件的PC來構築。這種情況下，可以使圖像再生裝置1500、操作部1620以及顯示 裝置1610分別由PC的控制功能、操作功能以及顯示功能構築。使用可攜式電話機、PDA、便 攜式音樂播放器等代替PC時的情形也相同。此外，可以使圖像顯示系統1700由上述攝像裝置300單體構築。這種情況下，可以 使圖像再生裝置1500、操作部1620以及顯示裝置1610分別由攝像裝置300的控制功能、操 作功能以及顯示功能構築。該攝像裝置300中也包括實施方式1相關的圖像處理裝置100。圖像再生裝置1500包括緩衝器1050、解碼部1060以及控制部1070。圖像再生裝 置1500的構成，在硬體上由任意的處理器、存儲器和其他LSI實現，在軟體上由存儲器中被 調用的程序等實現，但這裡描述的是由它們配合實現的功能模塊。因此，這些功能模塊可以 僅由硬體、僅由軟體、或者由它們的組合以各種形式實現的事實是本領域的普通技術人員 所能理解的。緩衝器1050暫時存儲由實施方式1的圖像處理裝置100生成的運動圖像文件。另 外，緩衝器1050依照來自控制部1070的控制信號，將該運動圖像文件所包括的上述第一畫 質的運動圖像編碼數據以及上述第二畫質的運動圖像編碼數據的任意一個供給到解碼部 1060。解碼部1060，選擇性地解碼圖像內容共通的、第一畫質的運動圖像編碼數據以及 畫質低於該第一畫質的第二畫質的運動圖像編碼數據。更具體地說，解碼緩衝器1050所供 給的上述第一畫質的運動圖像編碼數據或者上述第二畫質的運動圖像編碼數據。例如，該第一畫質的運動圖像可以是上述HD尺寸的運動圖像，該第二畫質的運動圖像可以是上述 SD尺寸的運動圖像。以下，在本實施方式中，將該第一畫質記為高畫質，該第二畫質記為低 畫質。操作部1620，接收用戶指示，生成基於此指示的控制信號，輸出到控制部1070。在 本實施方式中，主要接收高畫質的運動圖像或者低畫質的運動圖像的各種再生指示以及停 止指示。在此，各種再生指示包括特殊再生指示(例如，快進再生、快退再生、慢進再生、慢 退再生等)。控制部1070，將解碼部1060所解碼的、上述高畫質的運動圖像或者上述低畫質的 運動圖像顯示於顯示裝置1610中。當來自操作部1620的各種再生指示引起的控制信號被 輸入，控制部1070將按照該再生指示類別的畫質的運動圖像顯示於顯示裝置1610中。首先，關於動作例1進行說明。動作例1是再生指示的類別與再生畫質的對應關 系被預先設定的例。以下說明的動作例1-1是通常再生被設定為高畫質的例，動作例1-2 是通常再生被設定為低畫質的例。例如，動作例1-1適合由PC等高配置硬體資源再現顯示 運動圖像的情況。動作例1-2適合由可攜式機器等低配置硬體資源再現顯示運動圖像的情 況。即，若用低畫質進行通常再生，可以實現減輕再生負載以及減小消耗功率。圖7是在實施方式3相關的圖像再生裝置1500的動作例1中的、規定再生指示的 類別與再生畫質的對應關係的表格。圖7(a)表示動作例1-1中的表格1071a，圖7 (b)表示 動作例1-2中的表格1071b。如圖7(a)所示，在動作例1-1中，控制部1070，在通常再生被指示時，使高畫質 (在此為HD尺寸)的運動圖像顯示，在快進再生或者快退再生(以下總稱為「高速再生」) 被指示時，使低畫質(在此為SD尺寸)的運動圖像在顯示裝置1610中顯示。另外，控制部 1070，在慢進再生或者慢退再生(以下總稱為「慢速再生」)被指示時，使高畫質(在此為HD 尺寸)的運動圖像顯示。此外，慢速再生還包括圖幅前進再生以及圖幅後退再生。另外，如圖7(b)所示，在動作例1-2中，控制部1070，在通常再生被指示時，使低畫 質(在此為SD尺寸)的運動圖像顯示，在慢速再生被指示時，使高畫質(在此為HD尺寸) 的運動圖像在顯示裝置1610中顯示。另外，控制部1070，在高速再生被指示時，使低畫質 (在此為SD尺寸)的運動圖像顯示。接下來，關於動作例2進行說明。在動作例1中，說明了當用戶發出通常再生指示 時，以預先設定的畫質進行再生的例子，而在動作例2中，說明了當用戶發出通常再生指令 時，用戶可以指定畫質的例。例如，用戶可以選擇畫面內顯示的、高畫質的運動圖像文件以 及低畫質的運動圖像文件的其中之一進行再生。圖8表示實施方式3相關的圖像再生裝置1500的動作例2中的再生畫質的轉移 例。圖8 (a)表示包括高速再生期間的轉移例，圖8(b)表示包括慢速再生期間的轉移例。如圖8(a)所示，控制部1070，在高畫質的運動圖像的通常再生中或者其停止後高 速再生被指示時，將顯示裝置1610所顯示的運動圖像，從高畫質的運動圖像切換到低畫質 的運動圖像。此外，在低畫質的運動圖像的通常再生中或者其停止後高速再生被指示時，直 接顯示低畫質的運動圖像。控制部1070，在低畫質的運動圖像的高速再生中或者其停止後通常再生被指示 時，返回到該高速再生前的通常再生中所顯示的畫質。例如，在該高速再生前的通常再生中，高畫質的運動圖像被顯示時，使顯示裝置1610中顯示的運動圖像從低畫質的運動圖像 切換到高畫質的運動圖像。另外，如圖8(b)所示，控制部1070，在低畫質的運動圖像的通常再生中或者其停 止後慢速再生被指示時，將顯示裝置1610所顯示的運動圖像，從低畫質的運動圖像切換到 高畫質的運動圖像。此外，在高畫質的運動圖像的通常再生中或者其停止後慢速再生被指 示時，直接顯示高畫質的運動圖像。控制部1070，在高畫質的運動圖像的慢速再生中或者其停止後通常再生被指示 時，返回到該慢速再生前的通常再生中所顯示的畫質。例如，在該慢速再生前的通常再生 中，低畫質的運動圖像被顯示時，使顯示裝置1610中顯示的運動圖像從高畫質的運動圖像 切換到低畫質的運動圖像。如上所述，對低畫質的運動圖像編碼數據高速再生時，可以對所有的幀進行解碼 後再生，但也可以跳過一部分幀的解碼。例如，當該運動圖像編碼數據以MPEG系列規格被 編碼時，可以實行I幀以及P幀的解碼，跳過B幀的解碼。如上所述，根據實施方式3，對圖像內容共通且畫質不同的多個運動圖像文件的任 意一個進行特殊再生時，可以在抑制再生負載增大的同時，提高顯示質量。例如，考慮高畫 質的運動圖像文件和低畫質的運動圖像文件存在的情況。高速再生被指示的情況，不管其 前面的狀況(例如，即使是在高畫質的運動圖像的通常再生中)，高速再生低畫質的運動圖 像。由此，可以再生更多的幀圖像。S卩，高速再生時，只要想使利用高配置的硬體資源時使處理負載不較大地增大，就 難以對高畫質的運動圖像的全部幀進行再生。因此，對高畫質的運動圖像進行高速再生時， 一般間隔取出幀而進行再生。例如，該高畫質的運動圖像是由MPEG系列規格編碼時，使用 以下處理實行I幀的解碼，跳過P幀以及B幀的解碼。這種情況下，由於被再生的幀數變 得非常少，殘像會變得突出，圖像變得模糊。對此，在上述低畫質的運動圖像的情況下，由於平均每幀的處理負載比上述高畫 質的運動圖像小，因此相比上述高畫質的運動圖像，可以容易地使被再生的幀數變多。因 此，高速再生時，即使不利用高配置的硬體資源使處理負載增大，也可以顯示殘像感少的平 滑的圖像。另外，指示慢速再生時，無論其前面的狀況(例如，即使是在低畫質的運動圖像的 通常再生中)，對高畫質的運動圖像進行慢速再生。由於在慢速再生中可以延長在一幀的處 理上花費的時間，即使是低配置的硬體資源，也可以不減少圖幅而進行再生。另外，通過自動實行這些畫質的切換，可以不增大用戶操作負擔而提高特殊再生 時的顯示品質。以上，以本發明的實施方式為基礎進行了說明。可以由這些實施方式例示的各構 成要素和各處理過程的組合形成變形例、以及這樣的變形例屬於本發明範圍的事實是本領 域的普通技術人員所能理解的。在上述的實施方式1、2中，說明了通過對規定的運動圖像以上述第一畫質以及上 述第二畫質的兩種方式持續地進行編碼、生成上述第一畫質的運動圖像編碼數據以及上述 第2圖像的運動圖像編碼數據的例子。關於此點，在變形例中，對規定的運動圖像以上述第 一畫質持續地進行編碼而生成上述第一畫質的運動圖像編碼數據，以上述第二畫質斷續地進行編碼而生成上述第二畫質的運動圖像編碼數據。即，設定了以上述第一畫質以及上述第二畫質的兩種方式進行編碼的雙編碼期 間、和僅以上述第一畫質進行編碼的單編碼期間。切換此雙編碼期間和單編碼期間的定時， 既可以由攝影時的用戶操作設定，又可以由系統自動設定。例如，可以設定在幀圖像中，規 定的對象物(例如，臉)被檢出的期間為雙編碼期間，不能檢出的期間為單編碼期間。以下，以上述第一畫質是HD尺寸、上述第二畫質是SD尺寸的情況為例進行說明。圖5是表示基於HD尺寸的單編碼模式、與基於HD尺寸及SD尺寸的雙編碼模式之 間的切換定時的例子的圖。在此例中，對所攝像的運動圖像以HD尺寸持續地編碼，以SD尺 寸斷續地編碼。編輯部70，若被指示由用戶操作引起刪除第一畫質(在此指HD尺寸)的運動圖 像的一部分區間，則判定此一部分區間是否存在於第二畫質(在此指SD尺寸)的運動圖像 中，當該一部分區間中包括了不存在於第二圖像(在此指SD尺寸)的運動圖像中的空間 時，向用戶報告消息，其用於選擇是否確定該刪除指示。得到用戶的OK指示時，實行對該對 應區間的刪除，得到NG指示時，中止該刪除。在圖5的例中，當在HD尺寸的運動圖像中的被指示要刪除的場景包括時刻TO Tl的期間、時刻T2 T3的期間、或者時刻T4 T5的期間時，編輯部70向用戶報告上述消 息。即，由於若刪除包括這些期間的場景，就再看不到這些期間的影像，因此要提醒用戶注 意。用戶即使刪除其中一方的運動圖像文件的一部分場景，也有可能考慮保留另一方的運 動圖像文件中的其場景的影像。但是，在本變形例中，由於包括單編碼期間，因此若刪除此 期間的影像，該影像很難復原。根據本變形例，可以抑制由於用戶失誤造成的刪除。在上述的實施方式2中，關於實施方式1相關的圖像處理裝置100對攝影時被雙 編碼的兩種運動圖像編碼數據進行再生時的情況進行了說明。在這點上，可以適用於以下 情況再生兩種運動圖像編碼數據，其包括對攝影時被單編碼的一種運動圖像編碼數據進 行轉碼而事後生成的運動圖像編碼數據。此外，在上述的實施方式1、2中，說明了生成以及再生兩種運動圖像編碼數據的 例子，但也可以生成以及再生三種以上的運動圖像編碼數據。在這種情況下，可以將對一個 運動圖像編碼數據的編輯反映在剩下的所有的運動圖像編碼數據中，也可以反映於其中一 部分的運動圖像編碼數據中。另外，上述第一畫質的運動圖像編碼數據以及上述第二畫質的運動圖像編碼數據 的其中一方存在於攝像裝置300內、另一方存在於PC中時，通過電纜或對接站將攝像裝置 300與PC連接後，實行在上述實施方式2中說明的編輯的同步處理。此編輯的同步處理，可 以在連接兩者後立刻自動實行，也可以以用戶操作為條件實行。此處理在攝像裝置300與 其他的機器之間也相同。在上述的實施方式3中，關於實施方式1相關的圖像處理裝置100對攝影時被雙 編碼的兩種運動圖像編碼數據進行再生時的情況進行了說明。在這點上，可以適用於以下 情況再生兩種運動圖像編碼數據，其包括對攝影時被單編碼的一種運動圖像編碼數據進 行轉碼而事後生成的運動圖像編碼數據。在上述的實施方式1、3中，說明了生成以及再生兩種運動圖像編碼數據的例子， 但也可以生成以及再生三種以上的運動圖像編碼數據。在這種情況下，高速再生被指示時，可以再生最低畫質的運動圖像編碼數據。此外，低速再生被指示時，可以再生最高畫質的運 動圖像編碼數據。在上述實施方式1 3中，以上述第一畫質的運動圖像和上述第二畫質的運動圖 像以不同解析度進行編碼的例子為前提進行了說明。在以下的變形例中，說明上述第一畫 質的運動圖像和上述第二畫質的運動圖像以相同解析度且不同視角進行編碼的例子。圖9是搭載變形例相關的圖像處理裝置100的攝像裝置300的構成圖。圖9的圖 像處理裝置100，是在圖1的圖像處理裝置100中追加超分辨處理部14構成。以下，適當地 省略與圖1的說明重複的部分。超分辨處理部14通過解析度變換部12進行超分辨處理， 將解析度降低的幀圖像的解析度提高。在此，可以採用作為超分辨處理所使用的已有的幀 內處理以及/或者幀間處理。圖10是以該變形例為基礎，由圖2所示的例子發展而來的圖。關於幀圖像F1、幀 圖像F2以及幀圖像F3與圖2的說明相同。在該變形例中，超分辨處理部14將幀圖像F3變 換為HD尺寸的幀圖像F4。由此，生成了相同解析度且不同視角的兩個幀圖像幀圖像F2、 幀圖像F4。此外，圖9、10所示的變形例只是一例，由攝像裝置300雙編碼的上述第一畫質的 運動圖像和上述第二畫質的運動圖像，它們的解析度及視角的兩者可以相同，也可解析度 以及視角的至少一者不同。為了使其實現，考慮解析度變換部12以及超分辨處理部14的 配置的各種變化。例如，可以在分歧部11和第1圖像編碼部21之間，配置解析度變換部12 以及超分辨處理部14，來調整上述第一畫質的運動圖像的解析度以及視角。根據該變形例，可以更加細微地、更加靈活地設定被雙編碼的運動圖像的規格 (spec)ο
權利要求
1.一種圖像編輯裝置，其特徵在於， 具有解碼部，其用於解碼圖像內容共通的、第一畫質的運動圖像編碼數據以及與該第一畫 質不同的第二畫質的運動圖像編碼數據中的其中一方；和編輯部，其用於編輯由所述解碼部解碼的、所述第一畫質的運動圖像或者所述第二畫 質的運動圖像，所述編輯部將由用戶操作引起的對所述第一畫質的運動圖像以及所述第二畫質的運 動圖像的其中一方施加的編輯與用戶操作無關地反映到另一方的運動圖像編碼數據中。
2.如權利要求1所述的圖像編輯裝置，其特徵在於 所述第一畫質比所述第二畫質的畫質高，所述編輯部在由用戶操作引起而刪除所述第一畫質的運動圖像的一部分區間時，刪除 所述第二畫質的運動圖像的對應區間，由用戶操作引起而刪除所述第二畫質的運動圖像的一部分區間時，不刪除所述第一畫 質的運動圖像的對應區間。
3.如權利要求1所述的圖像編輯裝置，其特徵在於 所述第一畫質比所述第二畫質的畫質高，所述編輯部在由用戶操作引起而刪除所述第一畫質的運動圖像的一部分區間時，刪除 所述第二畫質的運動圖像的對應區間，在由用戶操作引起而刪除所述第二畫質的運動圖像的一部分區間時，向用戶報告消 息，該消息用於確認是否刪除所述第一畫質的運動圖像的對應區間。
4.如權利要求1所述的圖像編輯裝置，其特徵在於所述第一畫質的運動圖像編碼數據是對規定的運動圖像持續地編碼而生成的，所述第 二畫質的運動圖像編碼數據是對所述運動圖像斷續地編碼而生成的，所述編輯部在被指示由用戶操作引起而刪除所述第一畫質的運動圖像的一部分區間 時，判定該一部分區間是否存在於所述第二畫質的運動圖像中，當所述一部分區間包括在 所述第二畫質的運動圖像中不存在的區間的情況下，向用戶報告消息，該消息用於使該用 戶選擇是否確定所述刪除的指示。
5.一種攝像裝置，其特徵在於，具有 攝像部，其用於取得運動圖像；編碼部，其用於以所述第一畫質以及所述第二畫質的兩種方式編碼所述攝像部所攝像 的運動圖像；和權利要求1中記載的圖像編輯裝置。
6.一種圖像再生裝置，具有解碼部，其能選擇性地解碼圖像內容共通的、第一畫質的運動圖像編碼數據以及畫質 低於該第一畫質的第二畫質的運動圖像編碼數據；和控制部，其用於使由所述解碼部解碼的、所述第一畫質的運動圖像或者所述第二畫質 的運動圖像在顯示裝置中顯示。
7.如權利要求6所述的圖像再生裝置，其特徵在於所述控制部在通常再生被指示時使所述第一畫質的運動圖像顯示，在快進再生或者快退再生被指示時使所述第二畫質的運動圖像顯示。
8.如權利要求6所述的圖像再生裝置，其特徵在於所述控制部在通常再生被指示時使所述第二畫質的運動圖像顯示，在慢進再生或者慢 退再生被指示時使所述第一畫質的運動圖像顯示。
9.如權利要求6所述的圖像再生裝置，其特徵在於所述控制部在所述第一畫質的運動圖像的通常再生中或者其停止後，快進再生或快退 再生被指示時，從所述第一畫質的運動圖像切換到所述第二畫質的運動圖像來進行顯示。
10.如權利要求6所述的圖像再生裝置，其特徵在於所述控制部在所述第二畫質的運動圖像的通常再生中或者其停止後慢進再生或慢退 再生被指示時，從所述第二畫質的運動圖像切換到所述第一畫質的運動圖像來再生顯示。
11.一種攝像裝置，其特徵在於，具有 攝像部，其用於取得運動圖像；編碼部，其用於以所述第一畫質以及所述第二畫質的兩種方式編碼由所述攝像部攝像 的運動圖像；權利要求6中記載的圖像再生裝置；和顯示裝置，其用於顯示由所述圖像再生裝置再生的運動圖像。
全文摘要
本發明提供一種圖像編輯裝置和搭載其的攝像裝置、以及圖像再生裝置和搭載其的攝像裝置。解碼部解碼圖像內容共通的、第一畫質的運動圖像編碼數據以及與該第一畫質不同的第二畫質的運動圖像編碼數據的其中一方。編輯部由用戶操作並編輯解碼部所解碼的、第一畫質的運動圖像或者第二畫質的運動圖像。編輯部將對第一畫質的運動圖像以及第二畫質的運動圖像的其中一方施加的編輯與用戶操作無關地反映到另一方的運動圖像編碼數據中。
文檔編號G11B20/10GK102006445SQ20101026800
公開日2011年4月6日 申請日期2010年8月27日 優先權日2009年8月28日
發明者岡田茂之, 森次男 申請人:三洋電機株式會社