圖像處理方法和設備的製作方法

2023-09-21 05:23:05

專利名稱：圖像處理方法和設備的製作方法
技術領域：
本發明涉及一種將附加信息疊加在拍攝的圖像上的圖像處理方法及其設備。
背景技術：
用於拍攝運動圖像的攝像機和數位相機已得到廣泛普及並例如用於拍攝遊樂園內的小孩等。這些攝像機和數位相機設置有成像部、用於記錄所獲取的圖像數據的記錄部和用於顯示當前正拍攝的圖像或已記錄在其中的圖像的顯示裝置(諸如，IXD)。攝像機和數位相機大多數配備有拍攝靜止圖像以及運動圖像的功能。近年來，已知這樣的攝像機或數位相機其配備有增強現實表示功能，由此各種附加信息或增強現實(AR)信息可疊加到由相機拍攝並顯示的物理空間的圖像(例如，風景的圖像)上。在專利文獻I中所描述的系統預測CG生成部完成生成要疊加到物理空間圖像上的虛擬空間圖像的完成時間，接著預測在所預測的生成完成時間處的視點位置和方位。CG生成部在從所預測的視點的位置和方位可見的條件下生成虛擬空間圖像，並且將其疊加到物理空間圖像上。因此，虛擬空間圖像可合成在物理空間圖像上而沒有任何不自然的印象，但是生成虛擬空間圖像很費時。在專利文獻I中所描述的系統中，基於關於所檢測到的位置和方位的信息從資料庫檢索虛擬物體。如果關於所檢測到的位置和方位的信息的精確度低或者所檢測到的位置和方位偏離正確的位置和方位，則將基於不正確的位置和方位而不是正確的位置和方位來檢索虛擬物體。結果，有時會發生所疊加的虛擬空間圖像與物理空間圖像不匹配。在對比文件2中所描述的終端裝置讀取數字碼(諸如QR碼(商標))作為拍攝的圖像上所表現的碼，並且基於所讀取的數字碼獲取附加信息。然後，所獲取的附加信息重疊在顯示裝置上所顯示的拍攝的圖像上。因此，僅僅是與在拍攝的圖像上所表現的數字碼對應的這樣的附加信息重疊在拍攝的圖像上，而不適合於拍攝的圖像的這樣的附加信息不會重疊在拍攝的圖像上。現有技術文獻專利文獻專利文獻I :第2010-039556號日本專利早期公開申請公布專利文獻2 :第2008-193640號日本專利早期公開申請公布

發明內容
本發明要解決的問題為了確保從拍攝的圖像獲取附加信息，要求拍攝的圖像幾乎不模糊地表現數字碼。相反，為了連續運動圖像的流暢或流動表示，除了數字碼外的對象在拍攝的圖像中應當適中地模糊。即，適於可靠獲取附加信息的圖像與適於流暢表示運動圖像的圖像不一致。因此，在從被拍攝以顯示在顯示裝置上的那些圖像當中獲取附加信息的裝置中，如專利文獻2中所描述的那樣，難以同時實現附加信息的可靠獲取和運動圖像的流暢表示。
本發明的目的在於提供一種如下的圖像處理方法及其設備通過該圖像處理方法及其設備必定可以獲取附加信息，同時可以連續不斷地流暢顯示運動圖像。用於解決問題的手段為了實現上述目的，本發明的圖像處理設備包括成像部、顯示圖像產生部、附加信息參考圖像產生部、讀取部、附加信息記錄部、附加信息獲取部、附加信息重疊圖像產生部和顯示裝置。成像部通過對對象連同標記一起成像來連續不斷地拍攝圖像，所拍攝的圖像構成運動圖像。顯示圖像產生部在每次拍攝圖像時基於所拍攝的圖像產生顯示圖像，該顯示圖像用於使對象的運動在顯示運動圖像時連續。附加信息參考圖像產生部每當拍攝圖像時基於所拍攝的圖像產生附加信息參考圖像，附加信息參考圖像以較小的模糊表現對象並用於獲取要重疊在顯示圖像上的附加信息。讀取部讀取附加信息參考圖像上的標記。在附加信息記錄部中，與各個標記相關聯地記錄附加信息。附加信息獲取部從記錄在附加信息記錄部中的多個附加信息當中檢索並獲取與讀取部讀取的標記相關聯的附加信息。附加信 息重疊圖像產生部在標記的區域內產生附加信息重疊圖像，在附加信息重疊圖像中，由附加信息獲取部獲取的附加信息重疊在顯示圖像上。顯示裝置顯示附加信息重疊圖像。應注意，該標記可以具有條形碼、QR碼(註冊商標)等。成像部優選地以適合於產生附加信息參考圖像的快門速度拍攝圖像，並且顯示圖像產生部還產生要顯示在顯示圖像當中的連續的顯示圖像之間的多個內插顯示圖像。附加信息重疊圖像產生部在標記的區域內將附加信息獲取部已獲取的附加信息重疊在內插顯示圖像上，以產生附加信息重疊圖像。成像部可以優選地以適合於產生顯示圖像的第一快門速度以及比第一快門速度高且適合於產生附加信息參考圖像的第二快門速度交替地進行成像。顯示圖像產生部基於通過第一快門速度成像所取得的圖像來產生顯示圖像。附加信息參考圖像產生部基於通過第二快門速度成像所取得的圖像來產生附加信息參考圖像。成像部可以優選地以適合於產生顯示圖像的第一快門速度和比第一快門速度高且適合於產生附加信息參考圖像的第二快門速度同時進行成像。顯示圖像產生部基於通過第一快門速度成像所取得的圖像來產生顯示圖像。附加信息參考圖像產生部基於通過第二快門速度成像所取得的圖像來產生附加信息參考圖像。優選包括位置校正部。該位置校正部基於顯示圖像與附加信息參考圖像之間的產生時間差而校正將附加信息重疊在顯示圖像上的位置。顯示圖像產生部優選地產生具有高解析度和適合於顯示運動圖像的顏色再現的顯示圖像。附加信息參考圖像產生部產生相比於顯示圖像具有更高SN比和更寬動態範圍的附加信息參考圖像。優選還包括檢測部和確定部。檢測部檢測成像部的移動速度。確定部確定檢測部檢測到的移動速度是否大於預定閾值水平。當確定部確定移動速度不大於閾值水平時，附加信息參考圖像產生部不產生附加信息參考圖像，並且讀取部讀取顯示圖像中的標記。還優選包括標記運動速度檢測部和標記運動速度確定部。標記運動速度檢測部檢測標記的運動速度。標記運動速度確定部確定標記運動速度檢測部檢測到的運動速度是否大於預定的閾值水平。當標記運動速度確定部確定運動速度不大於閾值水平時，附加信息參考圖像產生部不產生附加信息參考圖像，並且讀取部讀取顯示圖像中的標記。
此外，優選包括用於記錄附加信息重疊圖像的附加信息重疊圖像記錄部。本發明的圖像處理方法包括成像步驟、顯示圖像產生步驟、附加信息參考圖像產生步驟、讀取步驟、附加信息獲取步驟、附加信息重疊圖像產生步驟和顯示步驟。成像步驟通過對對象連同標記一起成像來連續不斷地拍攝圖像，所拍攝的圖像構成運動圖像。每當拍攝到圖像時，顯示圖像產生步驟基於所拍攝的圖像產生顯示圖像，該顯示圖像用於使對象的運動在顯示運動圖像時連續。每當拍攝到圖像時，附加信息參考圖像產生步驟基於所拍攝的圖像產生附加信息參考圖像，該附加信息參考圖像表現具有較少模糊的對象且用於獲取要重疊在顯示圖像上的附加信息。讀取步驟讀取附加信息參考圖像上的標記。附加信息獲取步驟從與各個標記相關聯地記錄有附加信息的附加信息記錄部中檢索並獲取與通過讀取步驟讀取的標記相關聯的附加信息。附加信息重疊圖像產生步驟產生附加信息重疊圖像，在該附加信息重疊圖像中，通過附加信息獲取步驟獲取的附加信 息在標記的區域內重疊顯示圖像上。顯示步驟顯示附加信息重疊圖像。本發明的效果根據本發明，基於拍攝的圖像產生適合於獲取附加信息的附加信息參考圖像和適合於顯示運動圖像的顯示圖像，從而確保獲取附加信息並實現運動圖像的連續且流暢的顯
/Jn ο由於基於由單個成像部拍攝的圖像來產生附加信息參考圖像和顯示圖像，因此，與設置兩個成像部以用於彼此獨立地獲得附加信息參考圖像和顯示圖像的部件數量相比，可以防止部件數量增加。


圖I是實現本發明的數位相機的前透視圖。圖2是數位相機的後透視圖。圖3是示出數位相機的電結構的框圖。圖4A是示出當前幀的AR取得圖像或顯示圖像的說明圖。圖4B是示出前一幀的AR取得圖像或顯示圖像的說明圖。圖5A是示出當前幀的顯示圖像的說明圖。圖5B是示出第一內插顯示圖像的說明圖。圖5C是示出第二內插顯示圖像的說明圖。圖是示出第三內插顯示圖像的說明圖。圖5E是示出第四內插顯示圖像的說明圖。圖5F是示出前一幀的顯示圖像的說明圖。圖6A是示出當前幀的AR重疊圖像的說明圖。圖6B是示出前一幀的AR重疊圖像的說明圖。圖7A是示出當前幀的AR重疊圖像的說明圖。圖7B是示出第一內插AR重疊圖像的說明圖。圖7C是示出第二內插AR重疊圖像的說明圖。圖7D是示出第三內插AR重疊圖像的說明圖。圖7E是示出第四內插AR重疊圖像的說明圖。
圖7F是示出前一幀的AR重疊圖像的說明圖。圖8是示出用於顯示AR重疊圖像的程序的流程圖。圖9是示出根據第二實施例的用於顯示AR重疊圖像的程序的流程圖，其中，交替地進行低快門速度成像和高快門速度成像。圖10是示出根據第三實施例 的數位相機的電結構的框圖，其中，同時進行低快門速度成像和高快門速度成像。圖11是示出第三實施例中的用於顯示AR重疊圖像的程序的流程圖。圖12是示出根據第四實施例的數位相機的電結構的框圖，其中，可校正AR圖像的
重疊位置。圖13是示出第四實施例中的用於顯示AR重疊圖像的程序的流程圖。圖14是示出根據第五實施例的數位相機的電結構的框圖，其中，可以根據相機的移動速度改變快門速度。圖15是示出第四實施例中的用於顯示AR重疊圖像的程序的流程圖。圖16是示出根據第六實施例的數位相機的電結構的框圖，其中，可以根據標記的移動速度改變快門速度。圖17是示出第六實施例中的AR取得圖像或顯示圖像的說明圖。圖18是示出在第六實施例中的正顯示的AR重疊圖像的說明圖。圖19是示出第六實施例中的用於顯示AR重疊圖像的程序的說明圖。
具體實施例方式[第一實施例]如圖I所示，數位相機10設置有在相機主體IOa正面的透鏡鏡筒11。透鏡鏡筒11具有安裝在其中的成像透鏡12。在數位相機10關機時，透鏡鏡筒11位於相機主體IOa中。當電源接通時，透鏡鏡筒11從相機主體IOa的正面突出，以設置在廣角位置(wicbposition)。具有可變焦距透鏡12a和聚焦透鏡12b的變焦透鏡(參見圖3)用作成像透鏡12。閃光投射器(flash projector) 15和用於使外部聲音進入麥克風65 (參見圖3)的聲音收集孔16設置在相機主體IOa正面。閃光投射器15由CPU 40致動(參見圖3)，以向對象投射閃光。在相機主體IOa的頂部設置有電源按鈕17、釋放按鈕18等。數位相機10設置有用於拍攝靜止圖像的靜止圖像拍攝模式、用於例如以每秒30幀拍攝運動圖像的運動拍攝模式以及用於再現並顯示所拍攝的圖像的再現模式。在運動拍攝模式下，運動拍攝會話在釋放按鈕18被按下去至全按時開始，並且以從全按釋放來結束。如圖2所示，在相機主體IOa的背面，設置有用於顯示圖像或各種設置條件的IXD20、用於設置成像條件和選擇模式的菜單鍵21以及用於改變成像透鏡12的放大率的縮放按鈕22。對縮放按鈕22的操作使得可變焦距透鏡12a在廣角位置與長焦位置之間移動，從而放大或縮小圖像尺寸。用於使從揚聲器66 (參見圖3)輸出的聲音向外的揚聲器孔設置在相機主體IOa的背面。如圖3所示，彩色圖像傳感器(例如，CMOS傳感器31)布置在成像透鏡12後面，以使得來自對象的光會通過成像透鏡12入射到傳感器上。CM0S31對來自對象的光進行光電轉換，以生成時序三色信號，如本領域已知的。CPU 40控制定時發生器(TG)33，以生成用於驅動CMOS31的驅動定時信號。從CMOS31生成的三色信號在模擬處理電路(未示出)中被處理以減少三色信號中的噪聲成分並將三色信號放大，此後，將其發送至A/D轉換器32。A/D轉換器32將三色信號轉換成數字三色圖像數據(下文中，簡稱為圖像數據)。CPU 40經由電機驅動器(未示出)驅動縮放模塊37a和聚焦模塊37b，以移動分別用於縮放和聚焦的可變焦距透鏡12a和聚焦透鏡12b。如本領域所眾所周知的，CPU 40連接至記錄有各種控制程序、設置信息等的EEPROM (未示出)。CPU 40根據從EEPROM讀取的程序控制各個部件。在本實施例中，CPU40控制高快門速度成像(例如，以1/2000秒的曝光時間)的執行。
圖像輸入控制器38在成像期間將來自A/D轉換器32的圖像數據傳送至用於顯示直通圖像(through-image)的視頻存儲器51或緩衝存儲器52。AR取得圖像產生器41從緩衝存儲器52取出拍攝的圖像的圖像數據，以產生當前幀的AR取得圖像44a(參見圖4A)，其用於取得AR圖像(附加信息)。當產生當前幀的AR取得圖像44a時，AR取得圖像產生器41通過像素混合來執行SN比提高處理，並且還通過伽馬優化來執行動態範圍擴寬處理。結果，與不通過這些處理來渲染的那些圖像相比，當前幀的AR取得圖像44a具有較高SN比和較寬動態範圍。在本實施例中，當前幀的AR取得圖像44a包括主要對象圖像46和具有標記43的柱圖像47。當前幀的AR取得圖像44a從AR取得圖像產生器41被饋送至用於讀取標記43的特定圖像圖案(image pattern) 43a的圖像圖案讀取器45。在本實施例中，特定圖像圖案43a由二維數字碼構成。圖像圖案讀取器45讀取特定圖像圖案43a，並且檢測標記43在當前幀的AR取得圖像44a中的位置和大小。AR圖像存儲器48記錄多個AR運動圖像的數據，其中，多個運動圖像中的每一個均與多種圖像圖案43a中的特定的一個圖像圖案相關聯。CPU 40在AR圖像存儲器48中搜索與所讀取的特定圖像圖案43a相關聯的一個AR運動圖像。在拍攝直通圖像期間，每個直通圖像的低解析度圖像數據臨時存儲在視頻存儲器51中。直通圖像的圖像數據經由數據總線39被發送至IXD驅動器，使得直通圖像顯示在LCD 20上。為了進行成像，高解析度圖像數據臨時存儲在緩衝存儲器52中。基於從緩衝存儲器52讀出的高解析度圖像數據，顯示圖像產生器42產生用於顯示當前幀的運動圖像(下文中，稱為顯示圖像50a)的顯示圖像50a，其提供高解析度和適合於顯示運動圖像的顏色再現(參見圖5A)。當前幀的顯示圖像50a臨時存儲在緩衝存儲器52中，該顯示圖像50a包括主要對象圖像46和兼帶有標記43的柱圖像47。顯示圖像產生器42還藉助於使用當前幀的顯示圖像50a (參見圖5A)和緊接在當前幀之前的幀(前一幀)的顯示圖像50b (參見圖5F)的幀內插來產生例如四個(第一至第四)的多個內插顯示圖像50c至50f (參見圖5B至圖5E)，其中，顯示圖像50b寫入緩衝存儲器52中。顯示圖像產生器42執行運動預測和運動補償以實現幀內插。首先，為了進行運動預測，將前一幀的顯示圖像50b分割成小塊(例如，20個塊)，並且在當前幀的顯示圖像50a中搜索這些塊中的每個塊的位置(塊匹配)。基於該搜索結果，檢測每個塊已在哪個方向移動以及移動了多少量，以計算每個塊的運動矢量。接下來，為了運動補償，顯示圖像產生器42對應該顯示在如圖5A所示的當前幀的顯示圖像50a與如圖5F所示的前一幀的顯示圖像50b之間的那些幀內插圖像的數量進行確定。然後，根據內插間隔(例如，四個)等分運動矢量的量，以計算每個幀的補償量。對每個塊執行該處理，以產生第一至第四內插顯示圖像50c至50f，其中，各個塊移動了所算出的補償量。由於在本實施例中在當前幀的顯示圖像50a與前一幀的顯示圖像50b之間產生並顯示了第一至第四內插顯示圖像50c至50f，因此，前一幀與當前幀之間的運動矢量的量的五分之一成為對每個幀的補償量。如圖6A所示，CPU 40將根據所讀取的特定圖像圖案43a檢索的AR運動圖像的數據轉換成當前幀的AR圖像49a。CPU 40基於圖像圖案讀取器45檢測到的標記43的大小來改變當前幀的AR圖像49a的大小。在本實施例中，當前幀的AR圖像49a的大小被設置為大約等於標記43的大小。在該改變之後，還可以例如根據LCD 20的高度適當地改變當前幀的AR圖像49a的大小。·AR圖像重疊部54通過將當前幀的AR圖像49a重疊在當前幀的顯示圖像50a的區域上來產生當前幀的AR重疊圖像55a，該區域由標記43表示。該當前幀的AR重疊圖像55a顯示在IXD 20上，並且同時，由在存儲器控制器的控制下的數據讀取器記錄在存儲卡57上。如圖6B所示，前一幀的AR重疊圖像55b (其中，前一幀的AR圖像49b重疊在前一幀的顯示圖像50b上)已記錄在存儲卡57上。當新的幀(當前幀)的圖像數據從圖像輸入控制器38被饋送至緩衝存儲器52時，AR圖像重疊部54以與顯示圖像產生器42產生各個內插顯示圖像50c至50f相同的方式產生四個(即，第一至第四)內插AR圖像49c至49f,這四個內插AR圖像49c至49f位於該當前幀的AR重疊圖像55a (參見圖7A)與已記錄在存儲卡57上的前一幀的AR重疊圖像55b(參見圖7F)之間。然後，這第一至第四內插AR圖像49c至49f重疊在第一至第四內插顯示圖像50c至50f上以產生第一至第四內插AR重疊圖像55c至55f。連續地執行這些圖像渲染處理以產生每秒150幀的AR添加運動圖像。AR添加運動圖像實現在動畫顯示(如每秒30幀的運動圖像)期間連續不斷地顯示對象，其中這些運動圖像是以低快門速度(例如，以1/60秒的曝光時間)拍攝的，而以高快門速度(以1/2000秒的曝光時間)進行成像。第一至第四內插AR重疊圖像55c至55f通過存儲器控制器56記錄在存儲卡57上。應注意，可以使用可拆卸地附接的外部記錄介質(諸如，存儲條)來替代存儲卡57。返回參照圖3，亮度和距離測量部61基於直通圖像的圖像數據來檢測正拍攝的對象的亮度和距該對象的距離，並且通過所檢測到的結果確定白平衡校正量和透鏡聚焦距離。在顯示直通圖像的同時，亮度和距離測量部61以預定循環進行操作。可以藉助於已知的相差檢測方法測量對象距離。亮度和距離測量部61將檢測到的亮度和對象距離的結果順序地傳送至CPU 40。CPU 40根據從亮度和距離測量部51提供的透鏡聚焦距離驅動聚焦透鏡12b以進行移動。CPU 40還基於亮度和距離測量部61檢測到的亮度來控制CMOS 31的快門速度(電荷累積時間)和閃光投射器15的操作。電池58包含在數位相機10中，以向包括IXD 20和CPU 40的部件供電。對部件的供電由用於電池58的控制電路(未示出)進行控制。
麥克風65設置有用於將聲音轉換成音頻數據(電信號)的變換器(未不出)，以在動畫拍攝期間從場景收集聲音並將所收集的聲音轉換成音頻數據。音頻數據連同各個圖像55a至55f —起記錄在存儲卡57上。揚聲器66在動畫再現期間輸出所記錄的音頻數據。接下來，將參照圖8的流程圖描述上述第一實施例的操作。在設置為動畫拍攝模式之後，將釋放按鈕18按下至全按，從而以高快門速度進行動畫拍攝(以1/2000秒的曝光時間)(步驟I :S1)。將所獲得的圖像數據通過緩衝存儲器52饋送至AR取得圖像產生器41和顯示圖像產生器42 (S2)。AR取得圖像產生器41通過SN比提高處理和動態範圍擴寬處理來渲染圖像數據，以產生當前幀的AR取得圖像44a (S3)。該當前幀的AR取得圖像44a被饋送至圖像圖案讀取器45。下文中，將假設緊接在開始成像之後已拍攝的第一幀的圖像數據(即，前一幀的AR重疊圖像55b )存在來說明對第二幀和以後的幀的圖像處理。在上述操作的同時，顯示圖像產生器42基於新輸入的當前幀的高解析度圖像數據產生如圖5A所示的當前幀的顯示圖像50a (S4)。然後，顯示圖像產生器42使用當前幀的顯示圖像50a和被記錄在緩衝存儲器52中的前一幀的顯示圖像50b (如圖5F所示)來進行幀內插處理，從而產生用於在動畫顯示期間連續不斷地顯示對象的四個或第一至第四內插顯示圖像50c至50f (S5)。在產生這些後，將當前幀的顯示圖像50a作為前一幀的顯示圖像50b記錄在緩衝存儲器52中。當圖像圖案讀取器45讀取當前幀的AR取得圖像44a上的特定圖像圖案43a (S6中的「是」)時，檢測到標記43在當前幀的AR取得圖像44a中的位置和大小，並且確定當前幀的AR圖像49a的重疊位置(S7)。在本實施例中，當前幀的AR圖像49a的重疊位置對應於標記43的顯示位置。當前幀的AR取得圖像44a根據通過高快門速度成像所獲取的圖像數據而產生，並且通過SN比提高處理和動態範圍擴寬處理進一步渲染。與不通過上述各個處理渲染的圖像或者根據通過低快門速度成像獲取的圖像數據產生的圖像相比，這有助於改進特定圖像圖案43a的讀取的精確性。CPU 40在AR圖像存儲器48中搜索被分配給由圖像圖案讀取器45讀取的特定圖像圖案43a的AR運動圖像數據(S8)。CPU 40從AR圖像存儲器48讀出一幀的恰當(hit)AR運動圖像數據，並以大約等於標記43的大小將該數據轉換成當前幀的AR圖像49a(S9)。AR圖像重疊部54產生要顯示在當前幀的AR圖像49a與前一幀的AR圖像49b之間的四個(即，第一至第四)內插AR圖像49c至49f (SlO)0 AR圖像重疊部54在與其標記43對應的區域中將當前幀的AR圖像49a和第一至第四內插AR圖像49c至49f分別重疊在當前幀的顯示圖像50a和第一至第四內插顯示圖像50c至50f上。作為該重疊處理的結果，產生當前幀的AR重疊圖像55a和第一至第四內插AR重疊圖像55c至55f，如圖7A至圖7E所示(S11)。然後，將前一幀的AR重疊圖像55b、第四內插AR重疊圖像55f、第三內插AR重疊圖像55e、第二內插AR重疊圖像55d、第一內插AR重疊圖像55c和當前幀的AR重疊圖像55a按順序依次顯示在IXD 20上，並且還通過存儲器控制器56記錄在存儲卡57上(S12)。只要成像未終止(S13中的「否」)，就再次從第一步驟SI開始執行上述步驟，以通過該成像處理連續地渲染各個幀，使得產生、顯示並記錄AR添加運動圖像。如果圖像圖案讀取器45由於在當前幀的AR取得圖像44a上不存在標記43a而不能讀取特定圖像圖案43a (S6中的「否」)，則將各個顯示圖像50a和50b以及第一至第四內插顯示圖像50c至50f顯示在IXD 20上並記錄在存儲卡57上(S14)。
應注意，不執行步驟SlO以獲取緊接在開始成像之後所拍攝的初始幀的圖像數據；AR圖像重疊部54將當前幀的AR圖像49a在與當前幀的顯示圖像50a的標記43對應的區域內重疊在當前幀的顯示圖像50a上，以產生當前幀的AR重疊圖像55a。[第二實施例]在圖9所示的第二實施例中，逐幀地交替進行低快門速度成像(例如，以1/60秒為曝光時間)和高快門速度成像(例如，以1/2000秒為曝光時間)。應注意，與第一實施例的元件相同的元件由相同的附圖標記表示，從而這裡將省略對這些元件的描述。當在動畫拍攝模式下將快門按鈕18按下至全按時，CPU 40控制高快門速度成像與低快門速度的交替執行。在本實施例中，首先，執行低快門速度成像，然後，執行高快門速度成像,此後,交替地執行這兩種成像。圖像輸入控制器38將在高快門速度成像期間所獲得的圖像數據(下文中，稱為高 速圖像數據)和在低快門速度成像期間所獲得的圖像數據(下文中，稱為低速圖像數據)輸入至緩衝存儲器52。CPU 40將高速圖像數據輸入至AR取得圖像產生器41，並且將低速圖像數據輸入至顯示圖像產生器42。AR取得圖像產生器41通過SN比提高處理和動態範圍擴寬處理渲染高速圖像數據以產生當前幀的AR取得圖像44a。當前幀的AR取得圖像44a被饋送至圖像圖案讀取器45。根據低速圖像數據，AR取得圖像產生器41沒有產生當前幀的AR取得圖像44a，而是重新使用之前剛產生的前一幀的AR取得圖像44b作為當前幀的AR取得圖像44a。因此，以每秒30幀產生AR取得圖像44a和44b。顯示圖像產生器42對低速圖像數據執行各種圖像渲染處理以提供具有高解析度和適合於顯示運動圖像的顏色再現的圖像數據，從而產生當前幀的顯示圖像50a。對於以高快門速度拍攝的幀，顯示圖像產生器42沒有產生當前幀的任何顯示圖像50a，而是重新使用之前剛產生的前一幀的顯示圖像50b作為當前幀的顯示圖像50a。因此，以每秒30幀產生顯示圖像50a和50b。在本實施例中，既沒有產生也沒有顯示第一至第四內插顯示圖像50c至50f、第一至第四內插AR圖像49c至49f以及第一至第四內插AR重疊圖像55c至55f。由於在開始成像時首先執行低快門速度成像，因此，之前沒有緊接著產生前一幀的AR取得圖像44b。因此，不可能檢索到AR運動圖像數據，並且重疊當前幀的AR圖像49a。為此，在IXD 20上沒有顯示當前幀的顯示圖像50a。然而，也可以在IXD 20上僅顯示當前中貞的顯示圖像50a。接下來，將參照圖9的流程圖描述上述第二實施例的操作。當在動畫拍攝模式下將快門按鈕18按下至全按時，交替地執行高快門速度成像和低快門速度成像(S101)。由於首先進行低快門速度成像，因此，首先獲得低速圖像數據(S102中的「是」)。在這種情況下，將低速圖像數據饋送至顯示圖像產生器42(S103)。顯示圖像產生器42對低速圖像數據進行各種圖像渲染處理，用以提供具有高解析度和適合於顯示運動圖像的顏色再現的圖像數據，從而產生當前幀的顯示圖像50a (S104)。對於以低快門速度拍攝的幀，AR取得圖像產生器41不產生當前幀的AR取得圖像44a，而重新使用之前剛產生的前一幀的AR取得圖像44b作為當前幀的AR取得圖像44a。另一方面，當通過高快門速度成像獲得高速圖像數據時(S102中的「否」)，將高速圖像數據饋送至AR取得圖像產生器41 (S105)。AR取得圖像產生器41通過SN比提高處理和動態範圍擴寬處理來渲染高速圖像數據，以產生當前幀的AR取得圖像44a(S106)。當前幀的AR取得圖像44a被饋送至圖像圖案讀取器45。對於以高快門速度拍攝的幀，顯示圖像產生器42不產生當前幀的任何顯示圖像50a，而重新使用恰在之前已產生的前一幀的顯示圖像50b作為當前幀的顯示圖像50a。由於其他步驟S107至SllO與第一實施例的步驟S6至S9相同，因此，將省略對這些步驟的說明。AR圖像重疊部54在與標記43對應的區域中將當前幀的AR圖像49a重疊在當前幀的顯示圖像50a上，以產生當前幀的AR重疊圖像55a (Slll)0將當前幀的AR重疊圖像55a顯示在IXD 20上並記錄在存儲卡57上(S112)。由於其他步驟S113和S114與第一實施例的步驟S13和S14相同，因此，這裡將省略對這些步驟的說明。[第三實施例]如圖10和圖11所示的根據第三實施例的數位相機70同時執行低快門速度成像和高快門速度成像。應注意，與第一和第二實施例的元件相同的元件由相同的附圖標記表示，從而將省略對這些元件的描述。CXD傳感器(下文中，稱為(XD)71布置在拍攝透鏡12後面。CXD 71由可以同時執行低快門速度和高快門速度成像的CCD (例如，蜂窩式超級CCD (商標)EXR (商品名稱))構成。當在動畫拍攝模式下將釋放按鈕18按下至全按時，通過改變CCD 71中的各個單元的快門速度(電荷累積持續時間)來同時執行低快門速度成像和高快門速度成像。將從CXD 71讀出的時序三色信號發送至相關雙採樣電路(⑶S) 72以減少噪聲成分，並且轉換成與各個單元中所累積的電荷量精確對應的三色信號。從CDS 72輸出的三色信號由放大器(AMP)響應於ISO靈敏度而放大，並接著通過A/D轉換器32轉換成圖像數據。圖像輸入控制器38根據單元之間的變化對圖像數據進行分類，以產生高速圖像數據和低速圖像數據。這兩種圖像數據被饋送至緩衝存儲器52，高速圖像數據和低速圖像數據從緩衝存儲器52被分別饋送至AR取得圖像產生器41和顯示圖像產生器42。AR取得圖像產生器41基於高速圖像數據產生當前幀的AR取得圖像44a，並且將其輸入到圖像圖案讀取器45中。顯示圖像產生器42對低速圖像數據進行各種圖像渲染處理，以產生當前幀的顯示圖像50a。現在，將參照圖11的流程圖描述上述第三實施例的操作。當在動畫拍攝模式下將釋放按鈕18按下至全按時，同時執行低快門速度成像和高快門速度成像，從而提供低速圖像數據和高速圖像數據(S201)。低速圖像數據被饋送至顯示圖像產生器42，而高速圖像數據被饋送至AR取得圖像產生器41 (S202)。AR取得圖像產生器41對高速圖像數據進行SN提高處理和動態範圍擴寬處理，從而產生當前幀的AR取得圖像44a(S203)。當前幀的AR取得圖像44a被饋送至圖像圖案讀取器45。顯示圖像產生器42基於低速圖像數據產生當前幀的顯示圖像50a (S204)。由於其他步驟S205至S212與第二實施例的步驟S107至S114相同，因此，這裡將省略對這些步驟的說明。[第四實施例]如圖12和圖13所示的根據第四實施例的數位相機80被配置成基於當前幀的AR取得圖像44a與當前幀的顯示圖像50a之間的產生時間間隔來校正AR圖像重疊位置。應注意，與上述實施例的元件相同的元件由相同的附圖標記表示，從而這裡將省略對這些元件的描述。當在動畫拍攝模式下將快門按鈕18按下至全按時，CPU 40交替地執行高快門速度成像和低快門速度成像。由於在高快門速度成像中沒有產生當前幀的顯示圖像50a，因此，重新使用之前剛產生的前一幀的顯示圖像50b作為當前幀的顯示圖像50a。另外，CPU40使用基於高速圖像數據產生的最新的當前幀的AR取得圖像44a來確定當前幀的AR圖像49a中的重疊位置(標記43的位置)。在拍攝者正在運動中之類的情況下，標記43在要重新使用的前一幀的顯示圖像50b中的位置不同於標記43在當前幀的AR取得圖像44a中的位置。為此，標記43在前一幀的顯示圖像50b中的位置偏離以如上所述的方式確定的當前幀的AR圖像49a的重疊位置。如果當前幀的AR圖像49a重疊在所確定的重疊位置上而不進行任何校正，則當前幀的AR圖像49a會重疊在偏離標記43的位置上。 重疊位置校正器81基於圖像的高速圖像數據來檢測在這些圖像之間的相同特徵點的移動，並且檢測這些特徵點的移動速度(mm/秒)。然後，重疊位置校正器81計算對於AR圖像重疊位置的校正量，其為特徵點的移動速度與幀之間的時間間隔(1/30秒)的乘積。當通過重疊當前幀的AR圖像49a來產生當前幀的AR重疊圖像55a時，AR圖像重疊部54將當前幀的AR圖像49a重疊在偏移了由重疊位置校正器81算出的校正量的位置中，以產生當前幀的AR重疊圖像55a。接下來，將參照圖13的流程圖描述上述第四實施例的操作。當在動畫拍攝模式下將快門按鈕18按下至全按時，交替地執行高快門速度成像和低快門速度成像(S301)。由於其他步驟S302和S307與第二實施例的步驟S102至S107相同，因此將省略對這些步驟的說明。當圖像圖案讀取器45讀取當前幀的AR取得圖像44a上的特定圖像圖案43a (步驟S307中的「是」)時，檢測到標記43在當前幀的AR取得圖像44a中的位置和大小，並且計算AR圖像的假定顯示位置(S308)。在圖像圖案讀取器45檢測到特定圖像圖案43a之前，重疊位置校正器81將多個幀的高速圖像數據進行比較以檢測圖像中的相同特徵點的移動速度。然後，計算AR圖像重疊位置的校正量，作為特徵點的移動速度與巾貞之間的時間間隔(1/30秒)的乘積(S309)。CPU 40從AR圖像存儲器48中的多個AR運動圖像數據當中檢索與所讀取的特定圖像圖案43a相關聯的AR運動圖像的數據(S310)。基於圖像圖案讀取器45已檢測到的標記43的大小，CPU 40將所檢索到的AR運動圖像數據的一幀轉換成大小近似等於標記43的AR 圖像 49a (S311)。當通過重疊當前幀的AR圖像49a來產生當前幀的AR重疊圖像55a時，圖像重疊部54將當前幀的AR圖像49a重疊在從假定位置偏移了由重疊位置校正器81算出的校正量的位置中，以產生當前幀的AR重疊圖像55a(S312)。由於其他步驟S313至S315與第二實施例的步驟SI 12至S114相同，因此，這裡將省略對這些步驟的說明。[第五實施例]如圖14和圖15所不的根據第五實施例的數位相機90設置有加速度傳感器91。加速度傳感器91檢測數位相機90的加速度。CPU 40基於所檢測到的加速度計算數位相機90的運動速度(mm/秒)，並且確定相機的運動速度是小於還是大於閾值水平(例如，IOOmm/秒)。如果CPU 40在釋放按鈕18被完全按下時確定相機運動速度不大於閾值水平，則CPU40執行標準快門速度成像(例如，以1/60秒的曝光時間)。如果CPU 40確定相機運動速度大於閾值水平，則CPU 40交替地執行低快門速度成像和高快門速度成像。應注意，如果操縱數位相機90的拍攝者靜止且幾乎沒有手抖，則將確定相機運動速度不大於閾值水平。另一方面，如果拍攝者在運動中或者大幅度手抖，則將確定相機運動速度大於閾值水平。通過標準快門速度成像獲得的圖像數據(下文中，稱為標 準圖像數據)被饋送至顯示圖像產生器42。另一方面，在交替地執行低快門速度成像和高快門速度成像時，高速圖像數據被饋送至AR取得圖像產生器41，並且低速圖像數據被饋送至顯示圖像產生器42。顯示圖像產生器42對標準速度圖像數據或低速圖像數據進行各種圖像渲染處理，以產生當前幀的顯示圖像50a。在交替地執行低快門速度成像和高快門速度成像時，AR取得圖像產生器41基於高速圖像數據產生當前幀的AR取得圖像44a。另一方面，在標準快門速度成像期間，AR取得圖像產生器41不對當前幀的AR取得圖像44a執行產生處理。替代地，當前幀的顯示圖像50a兼用作當前幀的AR取得圖像44a。在這種情況下，圖像圖案讀取器45讀取在當前幀的顯示圖像50a上的特定圖像圖案43a，並且還檢測標記43在當前幀的顯示圖像50a上的位置和大小。接下來，將參照圖15的流程圖描述上述第五實施例的操作。CPU40基於所檢測到的加速度計算相機運動速度。當在相機運動速度不大於閾值水平時在動畫拍攝模式下完全按下釋放按鈕18 (S401中的「是」)時，執行標準快門速度成像(S402)。將標準速度圖像數據饋送至顯示圖像產生器42 (S403)。顯示圖像產生器42產生當前幀的顯示圖像50a。AR取得圖像產生器41接著不產生AR取得圖像44a，而是當前幀的顯示圖像50a兼用作當前幀的AR取得圖像44a (S404)。如果拍攝者靜止且幾乎沒有手抖，則將確定相機運動速度不大於閾值。在這種情況下，不啟動AR取得圖像產生器41，從而也節省圖像處理的時間和功耗。另一方面，當相機運動速度大於閾值水平(S401中的「否」)時，在將釋放按鈕18按下至全按時將交替地執行低快門速度成像和高快門速度成像(S405)。由於其他步驟S406至S418與第二實施例的步驟S102至S114相同，因此，這裡將省略對這些步驟的說明。[第六實施例]如圖16至19所示的根據第六實施例的數位相機100設置有標記運動速度檢測器101。標記運動速度檢測器101基於一系列直通圖像的圖像數據來檢測標記103的運動，並且檢測其運動速度(mm/秒)。在本實施例中，假設標記103設置在如汽車的移動對象上。CPU40確定所檢測到的標記運動速度是小於還是大於閾值水平(例如，IOOmm/秒)。如果CPU 40確定標記運動速度不大於閾值水平，則CPU 40執行標準快門速度成像。如果確定標記運動速度大於閾值水平，則CPU 40交替地執行低快門速度和高快門速度成像。標準速度圖像數據被饋送至顯示圖像產生器42。另一方面，在交替地執行低快門速度成像和高快門速度成像時，高速圖像數據被饋送至AR取得圖像產生器41，並且低速圖像數據被饋送至顯示圖像產生器42。
顯示圖像產生器42對標準速度圖像數據或低速圖像數據進行各種圖像渲染以產生當前幀的顯示圖像110 (參見圖17)。當執行高快門速度成像時，AR取得圖像產生器41基於高速圖像數據產生當前幀的AR取得圖像。另一方面，在標準快門速度成像期間，AR取得圖像產生器41不對當前幀執行AR取得圖像產生處理。替代地，當前幀的顯示圖像110兼用作當前幀的AR取得圖像。在本實施例中，當前幀的AR取得圖像或當前幀的顯示圖像110包括標記103所附於的汽車的主要對象圖像46和圖像106。當已執行標準快門速度成像時，圖像圖案讀取器45讀取當前幀的顯示圖像110上的特定圖像圖案103a。然後，圖像圖案讀取器45檢測標記103在當前幀的顯示圖像110中的位置和大小。當已執行低快門速度或高快門速度成像時，圖像圖案讀取器45還讀取當前幀的AR取得圖像上的特定圖像圖案103a。然後，圖像圖案讀取器45檢測標記103在當前幀的AR取得圖像中的位置和大小。CPU 40從存儲在AR圖像存儲器48中的許多AR運動圖像當中檢索與所讀取的特定圖像圖案103a相關聯的AR運動圖像的數據。·如圖18所示，CPU 40基於圖像圖案讀取器45檢測到的標記103的大小來將所檢索到的AR運動圖像數據的一幀轉換成當前幀的AR圖像113，在本實施例中，AR圖像113在大小上近似等於標記103。CPU 40產生當前幀的AR重疊圖像115，其中，當前幀的AR圖像113在與標記103對應的區域內重疊在顯示圖像110上。當前幀的AR重疊圖像115顯示在IXD 20上並作為前一幀的AR重疊圖像記錄在存儲卡57上。接下來，將參照圖19的流程圖描述上述第六實施例的操作。標記運動速度檢測器101基於一系列直通圖像來檢測標記103的運動速度(設置有標記103的汽車圖像106的運動速度)。當在標記運動速度不大於閾值水平時在動畫拍攝模式下完全按下釋放按鈕18時(S501中的「是」)，執行標準快門速度成像(S502)。標準速度圖像數據被饋送至顯示圖像產生器42 (S503)。顯示圖像產生器42產生當前幀的顯示圖像110。然後，AR取得圖像產生器41不產生AR取得圖像105，而是顯示圖像110兼用作當前幀的AR取得圖像105(S504)。由於在標記運動速度低時沒有啟動AR取得圖像產生器41，因此，將抑制圖像處理時間和功耗。另一方面，當標記運動速度大於閾值水平(S501中的「否」)時，將交替地執行低快門速度成像和高快門速度成像(S505)。由於其他步驟S506至S518與第二實施例的步驟S102至S114相同，因此這裡將省略對這些步驟的說明。儘管已在上述實施例中描述了數位相機，但是本發明可應用於由數位相機、個人計算機和其他部件構成的圖像記錄系統。在這種情況下，基於用作成像單元的數位相機拍攝的圖像，個人計算機可以執行顯示圖像的產生、用於附加信息的圖像產生、特定圖像圖案的讀取、附加信息的獲取和附加信息重疊圖像的產生。此外，本發明還可應用於照相手機、具有相機的頭戴式顯示器等。本發明不僅可應用於記錄在如存儲卡的記錄介質上的運動圖像，而且可應用於實時取景圖像等。在上述實施例中，多個AR運動圖像的數據預先記錄在AR圖像存儲器中，以使得從這些AR運動圖像數據當中檢索與所讀取的特定圖像圖案相關聯的一幀。可以將多個AR運動圖像的數據預先記錄在伺服器中，並且對伺服器進行訪問以從其檢索與所讀取的特定圖像圖案對應的AR運動圖像。此外，在上述實施例中，AR圖像可表示字母、字符或符號，而AR圖像可表示圖示或卡通。附圖標記的描述43，103 標記44a當前幀的AR取得圖像44b前一幀的AR取得圖像46主要對象圖像47柱圖像49a, 113當前幀的AR圖像49a前一幀的AR圖像49c_49f第一至第四內插AR圖像50a, 110當前幀的顯示圖像50b前一幀的顯示圖像50c-50f第一至第四內插顯示圖像55a, 115當前幀的AR重疊圖像55b前一幀的AR重疊圖像55c-55f第一至第四內插AR重疊圖像
權利要求
1.一種圖像處理設備，包括 成像部，用於通過對對象連同標記一起成像來連續不斷地拍攝圖像，所拍攝的圖像構成運動圖像； 顯示圖像產生部，用於在每次拍攝到圖像時，基於所拍攝的圖像產生顯示圖像，所述顯示圖像用於使所述對象的運動在顯示所述運動圖像時連續； 附加信息參考圖像產生部，用於在每次拍攝到圖像時，基於所拍攝的圖像產生附加信息參考圖像，所述附加信息參考圖像以較少的模糊表現所述對象，並用於獲取要重疊在所述顯示圖像上的附加信息； 讀取部，用於讀取所述附加信息參考圖像上的標記； 附加信息記錄部，在其中與各個標記相關聯地記錄有附加信息； 附加信息獲取部，用於從記錄在所述附加信息記錄部中的多個附加信息當中檢索並獲取與所述讀取部讀取的標記相關聯的附加信息； 附加信息重疊圖像產生部，用於產生附加信息重疊圖像，該附加信息重疊圖像具有在所述標記的區域內重疊在所述顯示圖像上的由所述附加信息獲取部獲取的所述附加信息；以及 顯示裝置，用於顯示所述附加信息重疊圖像。
2.根據權利要求I所述的圖像處理設備，其中，所述成像部以適合於產生所述附加信息參考圖像的快門速度來拍攝圖像，並且所述顯示圖像產生部還產生要顯示在所述顯示圖像當中的連續的顯示圖像之間的多個內插顯示圖像。
3.根據權利要求I所述的圖像處理設備，其中， 所述成像部以適合於產生所述顯示圖像的第一快門速度和比所述第一快門速度高且適合於產生所述附加信息參考圖像的第二快門速度交替地進行成像； 所述顯示圖像產生部基於通過所述第一快門速度成像取得的圖像來產生所述顯示圖像；以及 所述附加信息參考圖像產生部基於通過所述第二快門速度成像所取得的圖像來產生所述附加信息參考圖像。
4.根據權利要求I所述的圖像處理設備，其中 所述成像部以適合於產生所述顯示圖像的第一快門速度和比所述第一快門速度高且適合於產生所述附加信息參考圖像的第二快門速度同時進行成像； 所述顯示圖像產生部基於通過所述第一快門速度成像所取得的圖像來產生所述顯示圖像；以及 所述附加信息參考圖像產生部基於通過所述第二快門速度成像所取得的圖像來產生所述附加信息參考圖像。
5.根據權利要求3所述的圖像處理設備，包括位置校正部，所述位置校正部用於基於所述顯示圖像與所述附加信息參考圖像之間的產生時間差，來校正所述附加信息在所述顯示圖像上的重疊位置。
6.根據權利要求I至5中任一項所述的圖像處理設備，其中 所述顯示圖像產生部產生具有高解析度和適合於顯示運動圖像的顏色再現的所述顯示圖像，並且所述附加信息參考圖像產生部產生相比於所述顯示圖像具有較高SN比和較寬動態範圍的所述附加信息參考圖像。
7.根據權利要求I至6中任一項所述的圖像處理設備，包括 檢測部，用於檢測所述成像部的移動速度；以及 確定部，用於確定所述檢測部檢測到的移動速度是否大於預定的閾值水平；其中，當所述確定部確定所述移動速度不大於所述閾值水平時，所述附加信息參考圖像產生部不產生所述附加信息參考圖像，並且所述讀取部讀取所述顯示圖像中的標記。
8.根據權利要求I至7中任一項所述的圖像處理設備，包括 標記運動速度檢測部，用於檢測所述標記的運動速度； 標記運動速度確定部，用於確定所述標記運動速度檢測部檢測到的運動速度是否大於預定的閾值水平；其中， 當所述標記運動速度確定部確定所述運動速度不大於所述閾值水平時，所述附加信息參考圖像產生部不產生所述附加信息參考圖像，並且所述讀取部讀取所述顯示圖像中的標記。
9.根據權利要求I至8中任一項所述的圖像處理設備，包括附加信息重疊圖像記錄部，所述附加信息重疊圖像記錄部用於記錄所述附加信息重疊圖像。
10.一種圖像處理方法，包括 成像步驟，用於通過對對象連同標記一起成像來連續不斷地拍攝圖像，所拍攝的圖像構成運動圖像； 顯示圖像產生步驟，用於在每次拍攝到圖像時，基於所拍攝的圖像產生顯示圖像，所述顯示圖像用於使所述對象的運動在顯示所述運動圖像時連續； 附加信息參考圖像產生步驟，用於在每次拍攝到圖像時，基於所拍攝的圖像產生附加信息參考圖像，所述附加信息參考圖像表現具有較少模糊的所述對象，並用於獲取要重疊在所述顯示圖像上的附加信息； 讀取步驟，用於讀取所述附加信息參考圖像上的標記； 附加信息獲取步驟，用於從記錄在與各個標記相關聯地記錄附加信息的附加信息記錄部中檢索並獲取與通過所述讀取步驟讀取的標記相關聯的附加信息； 附加信息重疊圖像產生步驟，用於產生附加信息重疊圖像，該附加信息重疊圖像具有在所述標記的區域內重疊在所述顯示圖像上的由所述附加信息獲取步驟獲取的所述附加/[目息;以及 顯示步驟，用於顯示所述附加信息重疊圖像。
全文摘要
AR取得圖像產生單元(41)基於圖像數據產生當前幀的AR取得圖像(44a)。顯示圖像產生單元(42)基於圖像數據產生當前幀的顯示圖像(50a)和第一至第四內插顯示圖像(50c至50f)。圖像圖案讀取器(45)讀取當前幀的AR取得圖像(44a)上的特定圖像圖案(43a)。CPU(40)從AR圖像存儲器(48)中檢索與特定圖像圖案(43a)相關聯的AR運動圖像數據，並且將AR運動圖像數據的一幀轉換成當前幀的AR圖像(49a)。AR圖像重疊單元(54)基於AR圖像(49a,49b)產生第一至第四內插AR圖像(49c至49f)，並且還在LCD(20)上產生並顯示已經在圖像(50a至50f)的標記(43)的部分中重疊了圖像(49a至49f)的AR重疊圖像(55a,55b)以及第一至第四內插AR重疊圖像(55c至55f)。
文檔編號H04N101/00GK102959938SQ20118002716
公開日2013年3月6日 申請日期2011年6月15日 優先權日2010年6月30日
發明者堀井洋史 申請人:富士膠片株式會社