包括感興趣的特徵的視頻摘要的製作方法

2023-05-10 16:32:36 1

包括感興趣的特徵的視頻摘要的製作方法
【專利摘要】一種使用包括以下各項的方法來提供視頻摘要的數字攝像機系統：指定參考數據，其中，所述參考數據指示感興趣的特徵；使用圖像傳感器來捕獲場景的視頻序列，該視頻序列包括圖像幀的時間序列；使用視頻處理路徑來處理捕獲的視頻序列，以形成數字視頻文件；在捕獲視頻序列期間，使用特徵識別算法分析捕獲的圖像幀，以識別包含感興趣的特徵的圖像幀的子集；形成包括與捕獲的視頻序列中的所有圖像幀相比更少的圖像幀的視頻摘要，其中，視頻摘要包括所識別的包含感興趣的特徵的圖像幀的子集的至少一部分；將數字視頻文件存儲在存儲設備中；以及將視頻摘要的表示存儲在存儲設備中。
【專利說明】包括感興趣的特徵的視頻摘要
【技術領域】
[0001]本發明涉及數字視頻處理領域，更具體地，涉及用於形成數字視頻摘要的系統和方法。
【背景技術】
[0002]很多數字捕獲設備能夠捕獲視頻以及靜態圖像。然而，管理數字視頻內容可能是一項困難的任務。通常在視覺上使用視頻的第一幀的縮略圖圖像來表示視頻。這可能不能提供對視頻的內容的深刻理解。確定特定的事件是否包含在給定的視頻中通常需要查看整個視頻。對於漫長的視頻而言，用戶可能更希望能夠在不必查看整個視頻的情況下獲得視頻的快速摘要。
[0003]從共享的角度來看，數字視頻也可能帶來實際的問題。很多數字捕獲設備以30或60幀每秒、以高達1920X 1080個像素的空間解析度來錄製視頻。即使當被壓縮時，產生的數據的量可能使得共享即使相當短的視頻也是不切實際的。
[0004]視頻編輯軟體可以用於手動地將視頻概括為可以更容易地共享的更短的版本。然而，手動視頻編輯可能是漫長、費力的過程，並且很多用戶對手動編輯不感興趣。還存在自動視頻概括算法。這些解決方案以捕獲的視頻作為輸入開始，並且分析視頻以確定視頻摘要。Ratakonda 的題為 「Method for hierarchical summarization and browsing ofdigital video」的美國專利5，995，095公開了一種用於基於視頻序列的關鍵巾貞生成分層摘要的方法° Li 等的題為 「Scalable video summarization and navigation systemand method」的美國專利7，035, 435描述了一種用於向視頻中的每一個場景、鏡頭和中貞指派重要性值並且使用該重要性值來確定視頻摘要的關鍵幀的方法。Edwards等的題為「Automatic editing of a visual recording to eliminate content of unacceptablylow quality and/or very little or no interest」的美國專利7，483，618公開了一種用於確定從視頻中消除了質量較低或不太感興趣的內容的視頻摘要的方法。
[0005]然而，自動視頻概括算法非常複雜，這是因為必須對視頻進行解碼以執行對於確定視頻摘要而言所需的分析。因此，不能在數字捕獲設備上立即查看與剛捕獲的視頻相對應的視頻摘要。這種缺點使得難以促進快速瀏覽和共享捕獲的視頻。
[0006]當創建視頻摘要時，通常期望在摘要中具有特定的特徵。視頻摘要被創建為包含其中存在特徵的視頻內容的一些或全部。這些特徵的示例可以包括人、寵物、事件、位置、活動或對象。手動地創建這種定製的視頻摘要可能是冗長乏味的過程。使用桌面軟體生成這種定製的視頻摘要阻礙了快速瀏覽和共享視頻摘要的能力。
[0007]因此，將期望提供用於在數字捕獲設備中計算視頻摘要的系統和方法。具體地說，將期望提供允許在完成視頻捕獲以後以最小的延遲在數字捕獲設備上生成視頻摘要的解決方案。此外，將期望提供包含用戶指定的特徵的視頻摘要。

【發明內容】
[0008]本發明表示一種用於捕獲視頻序列並且提供相關聯的視頻摘要的數字攝像機系統，包括:
[0009]圖像傳感器，用於捕獲數字圖像；
[0010]光學系統，用於在所述圖像傳感器上形成場景的圖像；
[0011]數據處理系統；
[0012]存儲設備，用於存儲捕獲的視頻序列；以及
[0013]程序存儲器，以通信方式連接到所述數據處理系統並且存儲指令，所述指令被配置為使所述數據處理系統執行用於形成視頻摘要的方法，其中，所述方法包括:
[0014]指定參考數據，其中，所述參考數據指示感興趣的特徵；
[0015]使用所述圖像傳感器捕獲所述場景的視頻序列，所述視頻序列包括圖像幀的時間序列；
[0016]使用視頻處理路徑處理所捕獲的視頻序列，以形成數字視頻文件；
[0017]使用特徵識別算法分析所捕獲的圖像幀，以識別包含感興趣的特徵的所述圖像幀的子集；
[0018]形成包括與所捕獲的視頻序列中的所有圖像幀相比更少的圖像幀的所述視頻摘要，其中，所述視頻摘要包括所識別的包含感興趣的特徵的圖像幀的子集的至少一部分；
[0019]將所述數字視頻文件存儲在所述存儲設備中；以及
[0020]將所述視頻摘要的表示存儲在所述存儲設備中。
[0021]本發明的優點在於，它在捕獲視頻幀時分析視頻幀以確定包含感興趣的特徵的視頻幀的子集，從而消除了當創建視頻摘要時對解壓縮視頻數據的需要。
[0022]本發明的額外優點在於，它將視頻摘要的表示存儲在存儲設備中，而無需對存儲的數字視頻序列進行解壓縮。這允許在完成視頻捕獲以後以最小的延遲在數字捕獲設備上生成和查看視頻摘要。
[0023]在一些實施例中，在數字視頻文件中使用元數據對視頻摘要進行編碼，而無需將視頻摘要編碼為分離的文件。它的優點在於，可以使用理解視頻摘要的元數據的「智能」視頻播放器方便地查看視頻摘要，同時視頻摘要的元數據對於傳統的播放器是透明的。
【專利附圖】

【附圖說明】
[0024]圖1是示出了用於形成視頻摘要的系統的組件的高層級示意圖；
[0025]圖2是用於形成視頻摘要的方法的流程圖；
[0026]圖3是示出了使用兩個不同的視頻處理路徑來處理數字視頻序列的流程圖；
[0027]圖4是示出了根據備選實施例的使用兩個不同的視頻處理路徑來處理數字視頻序列的流程圖；
[0028]圖5是根據第二實施例的用於創建視頻摘要的方法的流程圖；以及
[0029]圖6是根據第三實施例的用於創建視頻摘要的方法的流程圖。
【具體實施方式】
[0030]在下面的描述中，將按照通常以軟體程序實現的方式來描述本發明的優選實施例。本領域技術人員將容易認識到，還可以以硬體構造這種軟體的等價物。因為圖像處理算法和系統是公知的，因此本描述將特別針對形成根據本發明的系統和方法的一部分或者與根據本發明的系統和方法更直接協作的算法和系統。在本文中未具體示出或描述的此類算法和系統的其它方面以及用於產生和以其它方式處理與之相關的圖像信號的硬體或軟體可以從本領域公知的這些系統、算法、組件和元件中選擇。考慮到下面的材料中的根據本發明所描述的系統，用於實現本發明的未在本文中具體示出、建議或描述的軟體是傳統的，並且落入這些領域的普通技術之內。
[0031]此外，如本文所使用的，用於執行本發明的方法的電腦程式可以存儲在計算機可讀存儲介質中，該計算機可讀存儲介質可以包括例如:磁存儲介質，例如，磁碟(例如，硬碟驅動器或軟盤)或磁帶；光學存儲介質，例如，光碟，光學磁帶、或機器可讀條形碼；固態電子存儲設備，例如，隨機存取存儲器(RAM)或只讀存儲器(ROM);或者用於存儲電腦程式的任何其它物理設備或介質，該電腦程式具有用於控制一個或多個計算機以實施根據本發明的方法的指令。
[0032]本發明包括本文所描述的實施例的組合。對「特定實施例」等的提及是指存在於本發明的至少一個實施例中的特徵。對「實施例」或「特定實施例」等的單獨提及不一定是指相同的實施例；然而，除非指示為是互斥的或者本領域技術人員很清楚是互斥的，否則這些實施例並不互斥。使用單數或複數來提及「方法」或「多個方法」等並不是限制性的。應當注意的是，除非上下文另外明確指示或者要求，否則在本公開中以非排他性的意義使用「或者」 一詞。
[0033]因為採用成像設備和有關的電路來進行信號捕獲和處理並且進行顯示的數位照相機是公知的，因此本描述將特別針對形成根據本發明的方法和裝置的一部分或者與根據本發明的方法和裝置更直接協作的元件。本文未具體示出或描述的元件是從本領域中公知的元件中選擇的。以軟體提供了要描述的實施例的特定方面。考慮到下面的材料中的根據本發明示出和描述的系統，用於實現本發明的未在本文中具體示出、描述或建議的軟體是傳統的，並且落入這些領域中的普通技術中。
[0034]本領域技術人員將熟悉關於數位照相機的以下描述。顯而易見，存在關於該實施例的可行並且被選擇以減小成本、添加特徵、或者改善照相機的性能的很多變形。
[0035]圖1描繪了根據本發明包括能夠捕獲視頻圖像的數位照相機10的數字攝影系統的框圖。優選地，數位照相機10是可攜式電池操作設備，其足夠小以便用戶在捕獲和瀏覽圖像時容易握住。數位照相機10產生作為數字圖像文件使用存儲設備30存儲的數字圖像。本文使用的短語「數字圖像」或「數字圖像文件」是指任何數字圖像文件，例如，數字靜態圖像或數字視頻文件。
[0036]在一些實施例中，數位照相機10捕獲運動視頻圖像和靜態圖像。在其它實施例中，數位照相機10是僅捕獲運動視頻圖像的數字攝像機。數位照相機10還可以包括其它功能，包括但不限於:數位音樂播放器(例如，MP3播放器)、錄音設備、行動電話、GPS接收機、或者可編程數字助理(PDA)的功能。
[0037]數位照相機10包括具有可調整孔徑和可調整快門6的鏡頭4。在優選的實施例中，鏡頭4是變焦鏡頭，並且由變焦和聚焦電機驅動器8來控制。鏡頭4將來自場景(未示出)的光聚焦到諸如單片彩色CXD或CMOS圖像傳感器等的圖像傳感器14上。鏡頭4是一種用於在圖像傳感器14上形成場景的圖像的光學系統。在其它實施例中，光學系統可以使用具有可變或固定焦點的固定焦距的鏡頭。
[0038]圖像傳感器14的輸出被模擬信號處理器(ASP)和模數(A/D)轉換器16轉換為數字形式，並且被臨時存儲在緩衝存儲器18中。存儲在緩衝存儲器18中的圖像數據接下來由處理器20使用存儲在固件存儲器28中的嵌入式軟體程序(例如，固件)來處理。在一些實施例中，使用只讀存儲器(ROM)將軟體程序永久性地存儲在固件存儲器28中。在其它實施例中，可以使用例如快閃記憶體EPROM存儲器來修改固件存儲器28。在這些實施例中，外部設備可以使用有線接口 38或無線數據機50來更新存儲在固件存儲器28中的軟體程序。在這些實施例中，固件存儲器28還可以用於存儲圖像傳感器校準數據、用戶設置選擇和在照相機被關閉時必須保存的其它數據。在一些實施例中，處理器20包括程序存儲器(未示出)，並且存儲在固件存儲器28中的軟體程序在由處理器20執行之前被複製到程序存儲器中。
[0039]將理解的是，可以使用單個可編程處理器或者使用多個可編程處理器(包括一個或多個數位訊號處理器(DSP)設備)來提供處理器20的功能。備選地，可以通過定製電路(例如，通過專門設計用於數位照相機的一個或多個定製集成電路(IC))或者通過可編程處理器與定製電路的組合來提供處理器20。將理解的是，可以使用公共數據總線來構成處理器20與圖1中所示的各個組件中的一些或全部之間的連接器。例如，在一些實施例中，可以使用公共數據總線來構成處理器20、緩衝存儲器18、存儲設備30、以及固件存儲器28之間的連接。
[0040]然後,使用存儲設備30存儲經處理的圖像。將理解的是,存儲設備30可以是本領域技術人員已知的任何形式的存儲器，包括但不限於:可拆卸快閃記憶體卡、內部快閃記憶體晶片、磁存儲器、或者光學存儲器。在一些實施例中，存儲設備30可以包括內部快閃記憶體晶片和針對諸如安全數字(SD)卡等的可拆卸快閃記憶體卡的標準接口。備選地，可以使用不同的存儲卡格式，例如，微型SD卡、緊湊型快閃記憶體(CF)卡、多媒體卡(MMC)、xD卡或記憶棒。
[0041]圖像傳感器14受到定時發生器12的控制，其中，定時發生器12產生各種時鐘信號以選擇行和像素並且同步ASP和A/D轉換器16的操作。圖像傳感器14可以具有例如12.4兆像素(4088X3040個像素)以提供具有近似4000X3000個像素的靜態圖像文件。為了提供彩色圖像，通常使用濾色陣列來覆蓋圖像傳感器，濾色陣列提供具有像素陣列的圖像傳感器，其中，像素陣列包括不同顏色的像素。可以以很多不同的模式來布置不同顏色的像素。舉一個例子，可以使用公知的Bayer濾色陣列來布置不同顏色的像素，如在Bayer的題為「Color imaging array」的共同受讓人的美國專利3，971，065中所描述的。舉第二個例子，可以如 Compton 和 Hamilton 的題為 「Image sensor with improved lightsensitivity」的共同受讓人的美國專利申請公開2007/0024931中所述地布置不同顏色的像素。這些示例不是限制性的，並且可以使用很多其它顏色模式。
[0042]將理解的是，圖像傳感器14、定時發生器12以及ASP和A/D轉換器16可以是單獨製造的集成電路，或者它們可以如對於CMOS圖像傳感器通常所做的那樣被製造為單個集成電路。在一些實施例中，該單個集成電路可以執行圖1中所示的其它功能中的一些，包括由處理器20提供的功能中的一些。
[0043]當定時發生器12在第一模式中驅動圖像傳感器14時，圖像傳感器14用於提供較低解析度的傳感器圖像數據的運動序列，在捕獲視頻圖像時並且還在預覽要捕獲的靜態圖像時使用所述較低解析度的傳感器圖像數據的運動序列以編排圖像。可以將該預覽模式的傳感器圖像數據作為例如具有280X720個像素的HD解析度圖像數據來提供，或者作為例如具有640X480個像素(或者使用與圖像傳感器的解析度相比，具有明顯更少的列和行的數據的其它解析度)的VGA解析度圖像數據來提供。
[0044]可以通過組合具有相同顏色的相鄰像素的值或者通過消除像素值中的一些或者通過組合一些顏色的像素值同時消除其它顏色的像素值，來提供預覽模式的傳感器圖像數據。可以如 Parulski 等的題為 「Electronic camera for mitiatmg capture of stillimages while previewing motion images」的共同受讓人的美國專利6，292，218所述地處理預覽模式的圖像數據。
[0045]當定時發生器12在第二模式中驅動圖像傳感器14時，圖像傳感器14還用於提供高解析度的靜態圖像數據。該最終模式的傳感器圖像數據作為高解析度輸出圖像數據來提供，對於具有高照明水平的場景，高解析度輸出圖像數據包括圖像傳感器的所有像素，並且可以例如是具有4000X3000個像素的12兆像素的最終圖像數據。在較低的照明水平，可以通過「合併讀出(binning) 」圖像傳感器上的某一數量的顏色相似的像素來提供最終的傳感器圖像數據，以增加傳感器的信號電平並且因此增加「ISO速度」。
[0046]通過處理器20提供的控制信號來控制變焦和聚焦電機驅動器8，以提供適合的焦距設置並且將場景聚焦到圖像傳感器14上。通過控制可調整孔徑和可調整快門6的光圈數和曝光時間、經由定時發生器12對圖像傳感器14的曝光時段、以及ASP和A/D轉換器16的增益(即，ISO速度)設置，來控制圖像傳感器14的曝光水平。處理器20還控制可以照亮場景的閃光燈2。
[0047]可以通過使用「直通鏡頭(through-the-lens) 」自動聚焦在第一模式下聚焦數位照相機 10 的鏡頭 4,如 Parulski 等在題為 「Electronic Camera with Rapid AutomaticFocus of an Image upon a Progressive Scan Image Sensor，，的共同受讓人的美國專利5，668，597中所描述的。這一點是通過使用變焦和聚焦電機驅動器8來將鏡頭4的焦點位置調整到從近焦位置到無窮遠焦點位置之間的多個位置來完成的，而處理器20確定提供了圖像傳感器14捕獲的圖像的中心部分的最高銳度值的最近焦點位置。然後，與最近焦點位置相對應的焦點距離可以用於多種目的，例如，自動地設置適合的場景模式，並且可以作為元數據與其它鏡頭和照相機設置一起存儲在圖像文件中。
[0048]處理器20產生菜單和低解析度彩色圖像，其被臨時存儲在顯示器存儲器36中並且被顯示在圖像顯示器32上。圖像顯示器32通常是有源矩陣彩色液晶顯示器(IXD)，但是可以使用諸如有機發光二極體(OLED)顯示器等的其它類型的顯示器。視頻接口 44從數位照相機10向諸如平板HDTV顯示器等的視頻顯示器46提供視頻輸出信號。在預覽模式或視頻模式中，由處理器20處理來自緩衝存儲器18的數字圖像數據以形成通常作為彩色圖像顯示在圖像顯示器32上的一系列運動預覽圖像。在瀏覽模式中，使用來自存儲在存儲設備30中的數字圖像文件的圖像數據來產生顯示在圖像顯示器32上的圖像。
[0049]響應於用戶控制34提供的用戶輸入來控制顯示在圖像顯示器32上的圖形用戶界面。用戶控制34用於選擇各種照相機模式，例如，視頻捕獲模式、靜態捕獲模式和瀏覽模式，並且用於發起對靜態圖像的捕獲和對運動圖像的錄製。在一些實施例中，當用戶部分地按壓快門按鈕(其是用戶控制34之一)時，發起上述第一模式(即，靜態預覽模式)，並且當用戶完全按壓快門按鈕時，發起第二模式(即，靜態圖像捕獲模式)。用戶控制34還用於打開照相機，控制鏡頭4，並且發起拍照過程。用戶控制34通常包括按鈕、搖臂開關、操縱杆或旋轉撥號盤的某種組合。在一些實施例中，通過在圖像顯示器32上使用觸控螢幕覆蓋來提供用戶控制34中的一些。在其它實施例中，可以使用額外的狀態顯示器或圖像顯示器。
[0050]可以使用用戶控制34選擇的照相機模式包括「定時器」模式。當選擇「定時器」模式時，在用戶完全按壓快門按鈕以後、在處理器20發起對靜態圖像的捕獲之前，發生短暫延遲(例如，10秒)。
[0051]連接到處理器20的音頻編解碼器22從麥克風24接收音頻信號，並且向揚聲器26提供音頻信號。這些組件可以用於錄製和回放音軌以及視頻序列或靜態圖像。如果數位照相機10是諸如組合照相機和行動電話等的多功能設備，則麥克風24和揚聲器26可以用於打電話。
[0052]在一些實施例中，揚聲器26可以作為用戶界面的一部分被使用，以例如提供各種可聽信號，這些可聽信號指示用戶控制已經被按壓，或者特定的模式已經被選擇。在一些實施例中，麥克風24、音頻編解碼器22和處理器20可以用於提供語音識別，使得用戶可以通過使用語音命令而不是用戶控制34來向處理器20提供用戶輸入。揚聲器26也可以用於向用戶通知呼入電話。這可以通過使用存儲在固件存儲器28中的標準鈴聲或者通過使用從無線網絡58下載並且存儲在存儲設備30中的定製鈴聲來完成。此外，振動設備(未示出)可以用於提供關於呼入電話的靜默(例如，不可聽)通知。
[0053]在一些實施例中，數位照相機10還包含加速度計27，加速度計27提供與照相機的任何運動有關的數據。優選地，加速度計27檢測到針對三個正交方向中的每一個的線性加速度和旋轉加速度(總共6個維度的輸入)。
[0054]處理器20還提供了對來自圖像傳感器14的圖像數據的額外處理，以產生渲染的sRGB圖像數據，該sRGB圖像數據被壓縮並且存儲在存儲設備30中的諸如公知的Exif-JPEG圖像文件等的「完成的」圖像文件中。
[0055]數位照相機10可以經由有線接口 38連接到接口 /充電器48，接口 /充電器48被連接到計算機40,計算機40可以是位於家中或辦公室中的臺式計算機或可攜式計算機。有線接口 38可以符合例如公知的USB2.0接口規範。接口 /充電器48可以經由有線接口 38向數位照相機10中的一組可再充電電池(未示出)供電。
[0056]數位照相機10可以包括無線數據機50，無線數據機50在射頻頻帶52上與無線網絡58接口。無線數據機50可以使用各種無線接口協議，例如，公知的藍牙無線接口或公知的802.11無線接口。計算機40可以經由網際網路70向諸如柯達EasyShare畫廊等的照片服務提供商72上傳圖像。其它設備(未示出)可以訪問由照片服務提供商72存儲的圖像。
[0057]在備選的實施例中，無線數據機50通過射頻(例如，無線)鏈路與諸如3GSM網絡等的與網際網路70連接的行動電話網絡(未示出)進行通信，以上傳來自數位照相機10的數字圖像文件。可以將這些數字圖像文件提供給計算機40或照片服務提供商72。
[0058]現在參照圖2來描述本發明。首先，在捕獲視頻序列步驟200中使用諸如數位照相機10(圖1)等的數字視頻捕獲設備以使用圖像傳感器14來捕獲數字視頻序列205，其中，數字視頻序列205包括圖像幀的時間序列。[0059]在捕獲視頻序列步驟200中，執行捕獲參考圖像步驟210以使用圖像傳感器14捕獲參考圖像215，其中，參考圖像215包含特定人。參考圖像215可以是來自捕獲的數字視頻序列205的圖像幀，並且可以通過使用用戶控制34來選擇參考圖像215。例如，在視頻捕獲期間，用戶可以通過按壓適合的用戶控制按鈕來請求捕獲參考圖像215，其中，用戶控制按鈕將信號發送到處理器20以將緩衝存儲器18中的當前視頻幀指定為參考圖像215。參考圖像215包含感興趣的特定人。在優選的實施例中，參考圖像215包含足夠的空間解析度的特定人的正面，以允許根據參考圖像215來確定面部特徵。在一些實施例中，參考圖像215僅包含單個人，並且特定人被識別為參考圖像215中唯一的人。在其它實施例中，參考圖像215可以包含多個人，並且可以通過很多方式中的任意一種來選擇特定人，這些方式包括:選擇最大的人，選擇最接近參考圖像215的中心的人，選擇具有最大可視面部的人，或者使用適合的用戶界面(例如，使用戶使用指向設備來選擇面部)來手動地選擇這個人。備選地，參考圖像215中的每一個人可以被指定為特定人。在一些實施例中，可以通過將參考圖像215中存在的面部與圖像識別資料庫中的已知面部進行比較並且選擇已知的面部來選擇特定人。在其它實施例中，可以提供用戶界面以使用戶能夠手動地指定包含在參考圖像215中的特定人。
[0060]處理捕獲的視頻序列步驟220使用視頻處理路徑來處理捕獲的數字視頻序列205以形成數字視頻文件225。該視頻處理路徑可以包括例如視頻壓縮步驟。例如在MPEG和
H.263標準中規定的視頻壓縮算法對於本領域技術人員而言是公知的。
[0061]在捕獲數字視頻序列205期間，分析捕獲的視頻幀步驟240使用人識別算法來分析捕獲的數字視頻序列205中的圖像幀，以識別包含特定人的圖像幀的子集245。在優選的實施例中，人識別算法可以是面部識別算法，並且分析捕獲的圖像幀步驟240識別包含與參考圖像中的特定人的面部相同的面部的圖像幀。面部識別算法在本領域中是公知的。例如，Turk 等在文章 「Eigenfaces for Recognition」(Journal of CognitiveNeuroscience,Vol.3,pp.71-86,1991)中描述了可以根據本發明使用的面部識別算法。備選地，人識別算法可以是將圖像幀中的人與參考圖像215中的特定人進行匹配的任意算法。這種算法可以包括性別分類、高度估計和衣服分析的步驟，並且可以從本領域技術人員公知的此類算法中選擇這種算法。
[0062]形成視頻摘要步驟250形成包括與捕獲的數字視頻序列205中的所有圖像幀相比更少的圖像幀的視頻摘要255，其中，視頻摘要255包括所識別的包含特定人的圖像幀的子集245的至少一部分。在本發明的一個實施例中，僅使用包含特定人的那些圖像幀來形成視頻摘要255。
[0063]在一些實施例中，視頻摘要255僅包括包含特定人的圖像幀的子集245的一部分。例如，視頻摘要255可以被限制為包括與預定數量的圖像幀相比更少的圖像幀。在備選的實施例中，視頻摘要255可以包括來自圖像幀的子集245中的每一組連續圖像幀的單個圖像幀。通過這種方式，視頻摘要255可以是由從所識別的包含特定人的圖像幀的子集245中選擇的靜態圖像集合構成的「幻燈片」。
[0064]在另一實施例中，除了所識別的包含特定人的圖像幀的子集245以外，視頻摘要255還包括額外的圖像幀。在本發明的一個實施例中，額外的圖像幀包括緊鄰所識別的包含特定人的圖像幀的子集245中的圖像幀之前或之後的圖像幀。這些幀可以被選擇作為例如過渡幀，以允許從視頻摘要255的一部分向另一部分的一段過渡。這些幀還可以被選擇為使得視頻摘要255包括可以容易地從數字視頻文件225中提取出的畫面組。諸如MPEG等的視頻壓縮標準對視頻序列進行編碼，使得(在無需參考其它幀的情況下)獨立地對一些幀進行編碼，並且在無需參照畫面組以外的任何幀的情況下對具有按時間順序的幀的一些組或者畫面組進行編碼。因此，可以在無需對壓縮的視頻數據進行解碼的情況下從壓縮的數字視頻文件225中提取出表示該畫面組的壓縮的視頻數據。
[0065]在本發明的另一實施例中，額外的圖像幀包括捕獲的數字視頻序列205中被確定為重要部分的其它部分。可以通過執行關鍵幀提取或者視頻摘要算法來識別數字視頻序列205的這些其它重要部分。在Deever的於2011年12月I日公開的題為「Method fordetermining key video frames」的共同受讓人的、未決的美國申請公開N0.2011/0292288以及Deever的題為「Video summary method and system」的共同受讓人的、未決的美國申請公開N0.2011/0293018中描述了這些算法。
[0066]在美國申請公開N0.2011/0293018中，公開了一種用於形成視頻摘要的方法，在該方法中，當進行捕獲時對圖像幀進行分析以確定特徵值。在無需對壓縮的數字視頻序列進行解壓縮的情況下對這些特徵值進行分析，以識別包括視頻摘要的關鍵視頻片段。
[0067]在美國申請公開N0.2011/0292288中，公開了一種用於確定關鍵視頻片段的方法，在該方法中，使用在捕獲時確定的特徵值來分析數字視頻序列，以確定作為時間的函數的重要性值。重要性值用於形成數字視頻序列的扭曲(warped)時間表示。扭曲時間表示向數字視頻序列中的一些視頻幀提供較大的時間權重並且向其它視頻幀提供較小的時間權重。扭曲時間數字視頻序列表示被劃分為相同時間間隔的集合。通過分析與相應的時間間隔內的視頻幀相關聯的特徵值來從每一個時間間隔選擇關鍵視頻幀。這種標準可以包括選擇在完成放大過程以後立即出現的關鍵視頻幀，或者選擇在視頻幀的中心區域中具有適當的局部運動水平的關鍵視頻幀。
[0068]在一些實施例中，可以通過選擇在每一個關鍵視頻幀周圍的視頻幀集合來形成關鍵視頻片段。例如，可以通過選擇在關鍵視頻幀之前和之後的兩秒的視頻幀來形成關鍵視頻片段，從而形成長度為四秒的關鍵視頻片段。
[0069]備選地，可以對關鍵視頻巾貞進行排序，並且僅針對與最聞排序的關鍵視頻巾貞相對應的關鍵視頻幀的子集形成關鍵視頻片段。對關鍵視頻幀進行排序可以包括分析數字視頻序列以確定照相機定影模式，並且響應於照相機定影模式來對關鍵視頻幀進行排序。在捕獲時確定的與全局運動相對應的特徵值可以提供全局運動軌跡，其指示照相機在整個數字視頻序列期間的定影區域。與較高定影的區域(也即是說，針對整個視頻捕獲的相當大的比例，照相機保持定影的區域)相對應的視頻幀被排序地較高。可以迭代地執行排序過程，在每一個步驟，選擇次高排序的關鍵視頻幀，並且在每一個步驟，該過程可以使表示未表示的定影區域的關鍵視頻幀處於表示已經包含在排序過程中的定影區域的關鍵視頻幀之上。一旦已經對關鍵視頻巾貞進行了排序，就可以選擇排序最聞的關鍵視頻巾貞以包含在關鍵視頻片段中。由這些關鍵視頻片段表示的額外圖像幀可以與所識別的包含特定人的圖像幀的子集進行組合以形成視頻摘要。
[0070]存儲數字視頻文件步驟230將數字視頻文件225存儲到存儲設備30，從而產生存儲的數字視頻文件235。存儲視頻摘要的表示步驟260將視頻摘要的表示265存儲在存儲設備30中。在一個實施例中，將視頻摘要的表示265存儲在存儲設備30中包括存儲幀標識元數據，其提供關於數字視頻序列205中與視頻摘要255相對應的圖像幀的指示。可以與存儲的數字視頻文件235相關聯地存儲幀標識元數據。例如，可以將視頻摘要的表示265作為視頻摘要元數據存儲在存儲的數字視頻文件235中，其指示與包含在視頻摘要中的片段相對應的一系列起始幀和結束幀。這允許除了存儲幀標識元數據所需的較小的存儲量以夕卜，在無需使用任何額外的物理存儲器的情況下存儲視頻摘要的表示265。然後，可以使用理解視頻摘要元數據的「智能」視頻播放器播放視頻摘要255，同時視頻摘要元數據對於傳統的播放器是透明的。
[0071]在另一實施例中，視頻摘要的表示265是摘要數字視頻文件。在該實施例中，視頻摘要255作為與存儲的數字視頻文件235分離的數字視頻文件被存儲。在該情況下，視頻摘要的表示265是可以獨立於存儲的數字視頻文件235查看或共享的摘要數字視頻文件。在優選的實施例中，存儲的視頻摘要的表示265是具有適合於使用標準視頻播放器播放的格式的摘要數字視頻文件。
[0072]在一些實施例中，可以在完成對視頻序列的捕獲以後創建摘要數字視頻文件。可以從存儲的數字視頻文件235中提取出視頻摘要的期望幀。如果視頻摘要的期望幀被選擇為與單獨編碼的畫面組相對應，則可以通過在無需對壓縮的視頻數據進行解碼的情況下提取出與期望幀相對應的壓縮數據來創建摘要數字視頻文件。
[0073]在一些實施例中，摘要數字視頻文件是使用與用於形成數字視頻文件225的視頻處理路徑不同的視頻處理路徑，從捕獲的數字視頻序列205的圖像幀中形成的。例如，很多視頻捕獲設備可以同時捕獲和編碼兩個視頻流。在這些設備中，單個圖像傳感器14用於捕獲每一個圖像幀。然後，使用兩個不同的處理路徑來處理每一個圖像幀。一個處理路徑可以產生數字視頻文件225。第二處理路徑可以產生用於存儲視頻摘要255的摘要數字視頻文件。第二處理路徑與第一處理路徑的不同之處在於，它可以生成每一個圖像幀的空間解析度減小的版本，並且對較低解析度的視頻進行編碼。很多視頻捕獲設備可以同時捕獲IOSOp解析度的視頻和QVGA解析度的視頻。
[0074]圖3示出了具有兩個處理路徑的視頻捕獲過程。捕獲的圖像幀310去往第一視頻處理路徑320和第二視頻處理路徑330。第一視頻處理路徑320包括第一視頻編碼器340，其提供第一空間解析度的第一編碼圖像幀350。第二視頻處理路徑330包括可選的圖像調整器360，其產生具有第二空間解析度的修改的圖像幀370。第二視頻處理路徑330還包括第二視頻編碼器380，其對修改的圖像幀370進行編碼，從而提供第二編碼圖像幀390。本領域技術人員將認識到，第一視頻處理路徑320和第二視頻處理路徑330也可以可選地包括其它視頻處理步驟300，例如，色度和色調縮放處理、噪聲減小、銳化以及圖像穩定化。雖然這些其它視頻處理步驟300被示出為被首先應用，但是應當認識到，可以在第一視頻處理路徑320和第二視頻處理路徑330中的任意一點處應用這些視頻處理步驟300，或者這些視頻處理步驟300甚至穿插在其它步驟之間。本領域技術人員還將認識到，圖3示出了兩個視頻處理路徑可能不同的一種可能的方式，並且落入本發明的範圍內的其它差別是可能的。
[0075]通過使用與用於形成數字視頻文件225 (圖2)的視頻處理路徑不同的視頻處理路徑，可以與數字視頻文件225同時創建摘要數字視頻文件。圖4示出了圖3中所示的方法的變形，其可以用於同時創建兩個視頻文件。與圖3—樣，每一個捕獲的圖像幀310通過包括第一視頻編碼器340的第一視頻處理路徑320以產生第一編碼圖像幀350。第一編碼圖像幀350被包含在數字視頻文件225中。
[0076]捕獲的圖像幀310還通過第二視頻處理路徑430。除了添加了圖像包含特定人的測試460以外，第二視頻處理路徑430與圖3中的第二視頻處理路徑330類似。圖像包含特定人的測試460使用人識別算法來分析捕獲的圖像幀310，以確定它是否包含來自參考圖像215的特定人。如果否，則使用丟棄圖像步驟470來丟棄捕獲的圖像幀310。如果特定人存在於捕獲的圖像幀310中，則處理前進至圖像調整器360以確定修改的圖像幀370，並且前進至第二視頻編碼器380以提供第二編碼圖像幀390。第二編碼圖像幀390包含在摘要數字視頻文件中。在備選的實施例中，圖像調整器360可以在圖像包含特定人的測試460之前較早地應用於第二視頻處理路徑中。在其它實施例中，圖像調整器360可能根本不存在於第二視頻處理路徑430中。
[0077]圖4中所示的第一視頻處理路徑320和第二視頻處理路徑430用於生成兩個分離的視頻文件。第一視頻文件(數字視頻文件225)包含所有捕獲的圖像幀310並且以第一空間解析度被編碼。第二視頻文件(摘要數字視頻文件)僅包括包含感興趣的特定人的那些捕獲的圖像幀310，並且以第二空間解析度被編碼。第二視頻文件與第一視頻文件同時形成。
[0078]備選地，摘要數字視頻文件可以僅部分地與數字視頻文件同時形成。可以如圖4所示地創建初始摘要數字視頻文件。在捕獲完成以後，可以使用從存儲的數字視頻文件235中提取的額外數據來增加摘要數字視頻文件。在該情況下，摘要數字視頻文件可以擴展為包含最初未通過第二視頻處理路徑編碼的圖像幀。與在捕獲以後形成整個摘要數字視頻文件相比，這允許更快速地生成摘要數字視頻文件。
[0079]圖5示出了本發明的備選的實施例。在該情況下，不是在與捕獲視頻序列步驟200的同時捕獲包含特定人的參考圖像215，而是在獨立的捕獲參考圖像步驟510中捕獲包含特定人的參考圖像215，其中，可以在捕獲視頻序列步驟200之前或之後執行該獨立的捕獲參考圖像步驟510。參考圖像215可以是在靜態捕獲模式中獲得的單個圖像，或者可以是來自現有的捕獲的數字視頻序列的圖像幀。在一些實施例中，數位照相機可以存儲與數位照相機的所有者感興趣的人的集合相對應的人圖像的集合(例如，可以針對每一個家庭成員存儲人圖像)，並且可以使用適合的用戶界面(例如，預定的人的名字的列表)從人圖像的集合中選擇參考圖像215。可以在數位照相機10上捕獲參考圖像215，或者備選地，可以在分離的圖像捕獲設備上捕獲參考圖像215並且將參考圖像215輸入數位照相機10中。
[0080]在一些實施例中，可以指定包含特定人的不同視圖的多個參考圖像215。分析捕獲的圖像幀步驟240可以使用多個參考圖像215來幫助更可靠地確定圖像幀是否包含特定人。
[0081]在一些實施例中，分析捕獲的圖像幀步驟240與捕獲視頻序列步驟200同時發生，使得在生成數字視頻文件225的同時形成視頻摘要255。在其它實施例中，可以使用後處理操作來形成視頻摘要255，其中，後處理操作是在數字視頻文件225已經被捕獲和存儲以後執行的。在一些情況下，可以在數位照相機10上執行分析捕獲的圖像幀步驟240。備選地，還可以在已經將存儲的數字視頻文件235裝載到諸如主機計算機等的某一其它設備上以後執行分析捕獲的圖像幀步驟240。圖5中的剩餘元素與圖2的實施例中所示的元素相同。
[0082]現在將參照圖6來描述本發明的備選實施例。在該情況下，不是基於參考圖像215分析捕獲的圖像幀，而是分析捕獲的圖像幀步驟640基於指示感興趣的特徵的參考數據的集合615來選擇圖像幀的子集245，其中，參考數據的集合615是在指定參考數據步驟610中指定的。圖6的方法中的剩餘元素與圖2的實施例中所示的元素相同。
[0083]該參考數據615可以具有很多形式。在一些實施例中，參考數據615可以是感興趣的特徵的文本描述。例如，參考數據615可以是個人的名字、對象、位置或事件。在一些實施例中，參考數據615可以是感興趣的特徵的數學表示。例如，參考數據615可以是彩色柱狀圖、特徵值、模板、或者任何其它特徵向量。本領域技術人員將認識到，在本發明的範圍內存在可以用於表示圖像信息的多種方法。在一些實施例中，參考數據615可以與非圖像信息相關聯。例如，參考數據615可以是與以下各項相關聯的信息:音頻信息、全球定位系統(GPS)數據、自動聚焦數據、自動曝光數據、自動白平衡數據、縮放鏡頭數據、加速度計數據、陀螺儀數據或者紅外線傳感器數據。本領域技術人員將認識到，存在可以作為參考數據615提供的各種類型的信息，所述參考數據615由分析捕獲的圖像幀步驟640使用以識別圖像幀的子集245。
[0084]在捕獲數字視頻序列205期間，分析捕獲的圖像幀步驟640使用特徵識別算法分析數字視頻序列205中的圖像幀，以識別包含感興趣的特徵的圖像幀的子集，其中，感興趣的特徵由參考數據615指定。例如，如果參考數據615指定的感興趣的特徵是先前已經指定了其參考面部圖像的特定名字的人，則可以使用面部識別算法以通過參照參考面部圖像分析圖像幀來確定圖像幀是否包含特定名字的人。在另一示例中，如果參考數據615指定的感興趣的特徵是事件標籤(例如，「高爾夫揮桿動作」)，則可以使用特徵識別算法以確定圖像幀是否與指定的事件相對應。在一些情況下，特徵識別算法可能需要分析一系列圖像幀以確定適合的事件標籤(例如，檢測哪些圖像幀包含高爾夫揮桿動作的運動特徵)。在另一示例中，如果參考數據615指定的感興趣的特徵是對象標籤(例如，「鯨魚」)，則可以使用特徵識別算法以確定圖像幀是否包含指定的對象。所有這些示例都是可以在捕獲時識別感興趣的特徵以確定要包含在視頻摘要中的圖像幀的子集245的情形。
[0085]在一些實施例中，參考數據615指定的感興趣的特徵可以與同圖像幀相關聯的一般特徵相對應。例如，參考數據615指定的感興趣的特徵可以是具有低關聯的照相機運動的圖像幀。在該情況下，特徵識別算法可以用於分析陀螺儀數據、加速度計數據、或者基於圖像的運動估計數據以識別滿足指定的照相機運動條件的圖像幀。類似地，參考數據615指定的感興趣的特徵可以是經過照相機縮放過程以後的圖像幀。在該情況下，特徵識別算法可以用於分析縮放鏡頭數據或基於圖像的縮放估計數據，以識別剛剛完成照相機縮放之後的圖像幀。在另一示例中，參考數據615指定的感興趣的特徵可以是在場景中具有較大幅度的對象運動的圖像幀。在該情況下，特徵識別算法可以用於量化場景中的對象運動的量以識別滿足對象運動條件的圖像幀。本領域技術人員將認識到，這些僅是落入本發明的範圍內的很多感興趣的特徵和特徵識別算法的示例。
[0086]電腦程式產品可以包括一個或多個存儲介質，例如:磁存儲介質，如磁碟(例如，軟盤)或磁帶；光存儲介質，例如，光碟、光學磁帶、或者機器可讀條形碼；固態電子存儲設備，例如，隨機存取存儲器(RAM)、或只讀存儲器(ROM);或者用於存儲電腦程式的任何其它物理設備或介質，所述電腦程式具有用於控制一個或多個計算機以實施根據本發明的方法的指令。
[0087]部件列表
[0088]2閃光燈
[0089]4 鏡頭
[0090]6可調整孔徑和可調整快門[0091 ]8對焦和聚焦電機驅動器
[0092]10數位照相機
[0093]12定時發生器
[0094]14圖像傳感器
[0095]16ASP 和 A/D 轉換器
[0096]18緩衝存儲器
[0097]20處理器
[0098]22音頻編解碼器
[0099]24麥克風
[0100]25壓力傳感器
[0101]26揚聲器
[0102]27加速度計
[0103]28固件存儲器
[0104]30存儲設備
[0105]32圖像顯示器
[0106]34用戶控制
[0107]36顯示器存儲器
[0108]38有線接口
[0109]40計算機
[0110]42俯仰傳感器
[0111]44視頻接口
[0112]46視頻顯示器
[0113]48接口 /充電器
[0114]50無線數據機
[0115]52射頻頻帶
[0116]58無線網絡
[0117]70網際網路
[0118]72照片服務提供商
[0119]200捕獲視頻序列步驟
[0120]205數字視頻序列
[0121]210捕獲參考圖像步驟
[0122]215參考圖像[0123]220處理捕獲的視頻序列步驟
[0124]225數字視頻文件
[0125]230存儲數字視頻文件步驟
[0126]235存儲的數字視頻文件
[0127]240分析捕獲圖像幀步驟
[0128]245圖像幀的子集
[0129]250形成視頻摘要步驟
[0130]255視頻摘要
[0131 ]260存儲視頻摘要的表示步驟
[0132]265視頻摘要的表示
[0133]300其它視頻處理步驟
[0134]310捕獲的圖像幀
[0135]320第一視頻處理路徑
[0136]330第二視頻處理路徑
[0137]340第一視頻編碼器
[0138]350第一編碼圖像幀
[0139]360圖像調整器
[0140]370修改的圖像幀
[0141]380第二視頻編碼器
[0142]390第二編碼圖像幀
[0143]430第二視頻處理路徑
[0144]460圖像包含特定人的測試
[0145]470丟棄圖像步驟
[0146]510捕獲參考圖像步驟
[0147]610指定參考數據步驟
[0148]615參考數據
[0149]640分析捕獲的圖像巾貞步驟
【權利要求】
1.一種用於捕獲視頻序列並且提供相關聯的視頻摘要的數字攝像機系統，包括: 圖像傳感器，用於捕獲數字圖像； 光學系統，用於在所述圖像傳感器上形成場景的圖像； 數據處理系統； 存儲設備，用於存儲捕獲的視頻序列；以及 程序存儲器，以通信方式連接到所述數據處理系統並且存儲指令，所述指令被配置為使所述數據處理系統執行用於形成視頻摘要的方法，其中，所述方法包括: 指定參考數據，其中，所述參考數據指示感興趣的特徵； 使用所述圖像傳感器捕獲所述場景的視頻序列，所述視頻序列包括圖像幀的時間序列； 使用視頻處理路徑處理所捕獲的視頻序列，以形成數字視頻文件； 使用特徵識別算法分析所捕獲的圖像幀，以識別包含所述感興趣的特徵的所述圖像幀的子集； 形成包括與所捕獲的視頻序列中的所有圖像幀相比更少的圖像幀的所述視頻摘要，其中，所述視頻摘要包括所識別的包含所述感興趣的特徵的圖像幀的子集的至少一部分； 將所述數字視頻文件存儲在所述存儲設備中；以及 將所述視頻摘要的表示存儲在所述存儲設備中。
2.根據權利要求1所述的數字攝像機系統，其中，所述參考數據包括包含所述感興趣的特徵的參考圖像。
3.根據權利要求2所述的數字攝像機系統，其中，所述參考圖像包括特定的個人或特定的對象。
4.根據權利要求1所述的數字攝像機系統，其中，所述參考數據是感興趣的特徵的文本描述。
5.根據權利要求4所述的數字攝像機系統，其中，所述文本描述包括個人的名字、對象、位置或事件。
6.根據權利要求1所述的數字攝像機系統，其中，所述參考數據包括指定期望的圖像幀特徵的信息。
7.根據權利要求6所述的數字攝像機系統，其中，所述期望的圖像幀特徵是照相機運動特徵、照相機縮放處理特徵、或者對象運動特徵。
8.根據權利要求1所述的數字攝像機系統，其中，所述視頻摘要的所述表示是摘要數字視頻文件。
9.根據權利要求8所述的數字攝像機系統，其中，所述摘要數字視頻文件是使用與用於形成所述數字視頻文件的視頻處理路徑不同的視頻處理路徑，從所捕獲的視頻序列的所述圖像幀中形成的。
10.根據權利要求8所述的數字攝像機系統，其中，所述摘要數字視頻文件至少部分地與所述數字視頻文件同時形成。
11.根據權利要求1所述的數字攝像機系統，其中，所述視頻摘要的所述表示包括指定所述數字視頻文件中要包含在所述視頻摘要中的圖像幀的集合的幀標識元數據。
12.根據權利要求11所述的數字攝像機系統，其中，所述幀標識元數據被存儲在所述數字視頻文件中。
13.根據權利要求1所述的數字攝像機系統，其中，除了所識別的包含所述感興趣的特徵的圖像幀的子集以外，所述視頻摘要還包括額外的圖像幀。
14.根據權利要求13所述的數字攝像機系統，其中，所述額外的圖像幀包括緊鄰所識別的包含所述感興趣的特徵的圖像幀的子集中的圖像幀之前或之後的圖像幀。
15.根據 權利要求14所述的數字攝像機系統，其中，所述視頻序列的所述圖像幀被壓縮以存儲在所述數字視頻文件中，並且選擇緊鄰所識別的包含所述感興趣的特徵的圖像幀的子集中的圖像幀之前或之後的所述圖像幀，以使得所述視頻摘要包括能夠在無需對壓縮的圖像幀進行解碼的情況下從所述數字視頻文件中提取的圖像幀組。
16.根據權利要求13所述的數字攝像機系統，其中，所述額外的圖像幀包括所捕獲的視頻序列中被確定為重要部分的其它部分。
17.根據權利要求16所述的數字攝像機系統，其中，所捕獲的視頻序列的所述重要部分包括使用關鍵幀提取算法識別的關鍵圖像幀。
18.根據權利要求1所述的數字攝像機系統，其中，所述分析所捕獲的圖像幀的步驟是在捕獲所述視頻序列期間執行的。
19.根據權利要求1所述的數字攝像機系統，其中，所述視頻摘要是從所識別的包含所述感興趣的特徵的圖像幀的子集中選擇的靜態圖像的集合。
20.一種用於形成視頻序列的視頻摘要的方法，包括: 接收包括圖像幀的時間序列的視頻序列； 指定參考數據，其中，所述參考數據指示感興趣的特徵； 使用數據處理器以利用特徵識別算法自動地分析所述圖像幀，以識別包含所述感興趣的特徵的所述圖像幀的子集； 形成包括與所述視頻序列中的所有圖像幀相比更少的圖像幀的所述視頻摘要，其中，所述視頻摘要包括所識別的包含所述感興趣的特徵的圖像幀的子集的至少一部分；以及 將所述視頻摘要的表示存儲在處理器可訪問的存儲設備中。
【文檔編號】G11B27/00GK103620682SQ201280023474
【公開日】2014年3月5日 申請日期:2012年5月17日 優先權日:2011年5月18日
【發明者】基思·斯託爾·卡恩, 布魯斯·哈羅德·皮爾曼, 亞倫·託馬斯·狄佛, 約翰·R·麥科伊, 弗蘭克·拉扎維, 羅伯特·格特辛格 申請人:高智83基金會有限責任公司