為了穩定而使用動態裁切對視頻進行處理的方法和系統的製作方法
2023-05-05 02:26:01
為了穩定而使用動態裁切對視頻進行處理的方法和系統的製作方法
【專利摘要】描述了一種用於處理視頻以便進行穩定的方法和系統。所記錄的視頻可以通過去除該視頻中所引入的至少一部分晃動而被穩定。可以確定用來記錄該視頻的相機的原始相機路徑。可以選擇裁切窗口大小並且可以相應地確定裁切窗口變換。裁切窗口變換可以描述原始相機路逕到比原始相機路徑更為平滑的經修改的相機路徑的變換。可以確定指示經修改的路徑的平滑程度的平滑度量。基於該平滑度量與預定閾值的比較，例如可以對原始視頻應用裁切窗口變換以獲得穩定的經修改的視頻。
【專利說明】為了穩定而使用動態裁切對視頻進行處理的方法和系統
[0001]相關申請的交叉引用
[0002]本申請要求於2012年I月16日提交的題為「Methods and Systems forProcessing a Video for Stabilizat1n Using Dynamic Crop」 的美國專利申請序列號13/351，037的優先權，其通過引用全文結合於此而如同在該描述中給出。
【背景技術】
[0003]視頻穩定(video stabilizat1n)技術可以被用來改善所記錄的視頻。利用視頻相機，相機的晃動會導致所記錄的視頻中可看到的幀至幀抖動。例如，由於握持相機的操作人員在記錄期間的移動，手持記錄的視頻可能比使用安裝有三腳架的相機(或者其它穩定裝置，諸如相機移動臺車或穩定相機)所記錄的視頻感覺上更為晃動。然而，使用手持視頻記錄來記錄視頻能夠獲得更多的拍攝機會。
[0004]視頻穩定技術可以被用來創建臨時攝製的視頻(例如，在具有很少或沒有穩定裝置的設備上記錄的視頻)的穩定版本。視頻穩定技術通常嘗試對所記錄的視頻進行呈現而使得該視頻就像是從平滑或穩定的相機路徑所記錄的一樣。
【發明內容】
[0005]本申請公開了為了穩定而使用動態裁切對視頻進行處理的方法和系統。在一個方面，描述了一種方法。該方法可以包括估計記錄視頻的相機的原始運動路徑。該方法還可以包括選擇比該視頻的視頻幀大小小的裁切窗口大小。該方法可以進一步包括確定裁切窗口變換以將相機的原始運動路徑變換為經修改的運動相機路徑。與裁切窗口變換相關聯的裁切窗口可以被限制為裁切窗口大小。該方法還可以包括確定指示經修改的運動相機路徑的平滑程度的平滑度量。該方法可以進一步包括基於該平滑度量與預定閾值的比較對該視頻應用裁切窗口變換以從經修改的運動相機路徑的視點提供修改視的頻。
[0006]在另一個方面，描述了一種其上存儲有指令的非瞬時計算機可讀介質，該指令可由計算設備執行而使得該計算設備執行功能。該功能可以包括估計記錄視頻的相機的原始運動路徑。該功能還可以包括選擇比該視頻的視頻幀大小小的裁切窗口大小。該功能可以進一步包括確定裁切窗口變換以將相機的原始運動路徑變換為經修改的運動相機路徑。與裁切窗口變換相關聯的裁切窗口可以被限制為裁切窗口大小。該功能還可以包括確定指示經修改的運動相機路徑的平滑程度的平滑度量。該功能可以進一步包括基於該平滑度量與預定閾值的比較對該視頻應用裁切窗口變換以從經修改的運動相機路徑的視點提供修改的視頻。
[0007]在又另一個方面，描述了一種系統。該系統可以包括相機路徑估計模塊，其被配置為接收視頻並且估計記錄視頻的相機的原始運動路徑。該系統還可以包括視頻穩定模塊，其與該相機路徑估計模塊通信並且可以被配置為選擇比該視頻的視頻幀大小於的裁切窗口大小，並且確定裁切窗口變換以將相機的原始運動路徑變換為經修改的運動相機路徑。與裁切窗口變換相關聯的裁切窗口可以被限制為裁切窗口大小。該視頻穩定模塊可以進一步被配置為確定指示經修改的運動相機路徑的平滑程度的平滑度量。該系統可以進一步包括視頻轉換模塊，其與該相機路徑估計模塊和視頻穩定模塊通信並且可以被配置為基於該平滑度量與預定閾值的比較而對該視頻應用裁切窗口變換以從經修改的運動相機路徑的視點提供修改的視頻。
[0008]以上
【發明內容】
僅是說明性的而並非意在以任何方式進行限制。除了以上所描述的說明性方面、實施例和特徵之外，另外的方面、實施例和特徵將通過參考附圖和以下的詳細描述而是顯而易見的。
【專利附圖】
【附圖說明】
[0009]圖1圖不了不例的最優裁切和視頻穩定系統的框圖。
[0010]圖2是圖示視頻託管服務的示例系統視圖的框圖，該視頻託管服務包括示例的最優動態裁切和視頻穩定系統。
[0011]圖3A-3B是依據這裡所描述的至少一些實施例的為了視頻穩定而使用最優裁切來處理視頻的方法的示例流程圖。
[0012]圖4圖不了最優相機路徑和原始相機路徑的不例圖形。
[0013]圖5圖示了示例視頻巾貞和示例裁切窗口。
[0014]圖6A-6B圖示了示出目標函數值關於裁切窗口大小的變化的示例圖形。
[0015]圖7A-7B圖示了目標函數值關於視頻內的多個視頻分段的裁切窗口大小的變化的示例圖形。
[0016]圖8A-8H圖示了來自不同視頻分段的示例視頻巾貞以及具有變化大小的示例裁切窗P。
[0017]圖9是圖示在依據這裡所描述的至少一些實施例部署的計算系統中使用的示例計算設備的功能框圖。
[0018]圖10是圖示包括用於在依據這裡所描述的至少一些實施例部署的計算設備上執行計算機過程的電腦程式的示例電腦程式產品的概念性部分視圖的示意圖。
【具體實施方式】
[0019]以下具體描述參考附圖來描述了所公開的系統和方法的各種特徵和功能。在圖中，除非上下文另外指示，否則相似的附圖標記表示相似的組件。這裡所描述的說明性系統和方法實施例並非意在作為限制。可以容易理解的是，所公開的系統和方法的某些方面能夠以各種不同配置進行部署和組合，所有這些都在這裡得到預期。
[0020]本公開可以公開用於對視頻進行穩定的系統和方法。所記錄的視頻可以通過去除視頻中所引入的至少一部分晃動而被穩定。可以確定用來記錄該視頻的相機的原始相機路徑。可以選擇裁切窗口大小並且可以相應地確定裁切窗口變換。裁切窗口變換可以描述原始相機路逕到比原始相機路徑更為平滑的經修改的相機路徑的變換。可以確定指示經修改的路徑的平滑程度的平滑度量。基於該平滑度量與預定閾值的比較，例如可以對原始視頻應用裁切窗口變換以獲得穩定的經修改的視頻。
[0021]在一個示例中，視頻可以通過執行後處理技術而被穩定。可以對視頻進行處理以估計記錄該視頻的相機的原始路徑(例如，運動)，以估計新的穩定/平滑的相機路徑，並且從該新的平滑相機路徑的視點對視頻進行重構。例如，該穩定或平滑的相機路徑可以抑制高頻抖動並且去除在手持搖攝或人在行走時記錄視頻期間所出現的低頻失真。
[0022]在一個示例中，為了估計新的相機路徑，可以確定能夠應用於原始路徑以獲得新路徑的裁切窗口變換。與該裁切窗口變換相關聯的裁切窗口的大小可以被限制為比原始幀大小小的大小。為了確定最優裁切窗口大小，可以使用迭代方法，其中該迭代方法的目標可以是確定平滑的相機路徑同時去除或裁切掉儘可能少量的內容。
[0023]可以確定指示新路徑的平滑程度的平滑度量。可以基於平滑度量與預定閾值的比較來確定裁切窗口大小是否為最優。例如，如果平滑度量超過了第一預定閾值，則裁切窗口大小可能是最優的並且可以向視頻應用裁切窗口變換而從新的平滑相機路徑的視點獲得修改的視頻。如果該平滑度量沒有超過第一預定閾值，則可以選擇更小的裁切窗口大小並且可以針對相應的新的相機路徑來確定相應的平滑度量。例如，以迭代方式，可以選擇連續更小的裁切窗口大小並且可以確定連續的平滑度量直至對應於給定裁切窗口大小的給定平滑度量可以超過第一預定閾值。在另一個實施例，可以繼續利用連續更小的裁切窗口大小的迭代並且可以將與兩個相應裁切窗口大小相關聯的兩個連續平滑度量之間的差值與第二預定閾值進行比較以確定更小的裁切窗口大小是否可以改善相應相機路徑的平滑。
[0024]例如,作為該迭代方法的結果,可以確定最優裁切窗口大小以及相對應的裁切窗口變換，並且能夠將其應用於所記錄的視頻以重構所記錄的視頻，就像該視頻是從平滑相機路徑記錄的一樣，從而從該記錄的視頻中去除晃動。
[0025]現在參考附圖，圖1圖示了示例的最優動態裁切和視頻穩定系統100的框圖。系統100包括相機路徑估計模塊102、與相機路徑估計模塊102通信的視頻穩定模塊104、以及與相機路徑估計模塊102和視頻穩定模塊104通信的視頻轉換模塊106。系統100可以被配置為從相機108接收視頻，並且對該視頻執行視頻穩定過程。例如,相機路徑估計模塊102可以被配置為基於所接收的視頻內的背景對象的運動來估計記錄視頻的相機的路徑。視頻穩定模塊104因此可以被配置為估計新的穩定/平滑的相機路徑，並且視頻轉換模塊106可以被配置為從視頻穩定模塊104所確定的平滑相機路徑的視點對所接收的視頻進行重構。系統100的組件可以被配置為以彼此和/或與耦合至相應系統的其它組件互連的方式進行工作。
[0026]在一個示例中，相機路徑估計模塊102可以被配置為基於所接收的視頻內的背景對象或幀的運動來估計記錄視頻的相機的路徑。可以通過提取視頻幀中的可追蹤特徵、匹配特徵、並且執行局部異常值拋棄以去除可能使得運動估計失真的虛假匹配來估計相機路徑。線性運動模型(例如，轉換、相似性、仿射)可以對被追蹤特徵進行擬合以估計兩個幀之間的相機運動，並且能夠將該運動模型變換至共用坐標系統並且進行連接以在所有視頻幀上產生估計的原始相機路徑。
[0027]視頻穩定模塊104可以被配置為基於約束來估計新的穩定/平滑相機路徑。平滑相機路徑可以使用如相機路徑估計模塊102估計的原始相機路徑的導數最小化來進行估
dP
計。例如，恆定路徑可以表示靜態相機，即Y = O (其中P是表示相機路徑的函數)，恆定
at
速度的路徑可以表示搖攝或移動攝像車拍攝，即4=0，並且恆定加速度的路徑可以表示
d~t靜態和搖攝相機之間的慢速開始(ease-1n)和慢速結束(ease-out)變換，即
【權利要求】
1.一種方法，包括: 確定記錄視頻的相機的原始運動路徑的估計； 選擇比所述視頻的視頻幀大小小的裁切窗口大小； 確定裁切窗口變換以將所述相機的所述原始運動路徑變換為經修改的運動相機路徑，其中與所述裁切窗口變換相關聯的裁切窗口被限制為所述裁切窗口大小； 確定指示所述經修改的運動相機路徑的平滑程度的平滑度量；以及基於所述平滑度量與預定閾值的比較，對所述視頻應用所述裁切窗口變換以從所述經修改的運動相機路徑的視點提供修改的視頻。
2.根據權利要求1所述的方法，所述方法進一步包括: 選擇更小的裁切窗口大小； 確定對應於所述更小的裁切窗口大小的相應裁切窗口變換以及相應平滑度量； 確定所述平滑度量和所述相應平滑度量之間的數值變化；以及基於給定的預定閾值與所述變化的比較，向所述視頻應用所述裁切窗口變換以提供修改的視頻。
3.根據權利要求2所述的方法，其中所述平滑度量與所述預定閾值的比較提供所述經修改的運動相機路徑的絕對平滑程度的指示，並且其中所述給定的預定閾值與所述變化的比較提供所述經修改的運動相機路徑關於相應的經修改的運動相機路徑的相對平滑程度的指示。
4.根據權利要求2所述的方法，進一步包括: 使用連續的更小裁切窗口大小迭代地確定連續的平滑度量；以及基於所述給定的預定閾值與對應於兩個連續裁切窗口大小的兩個連續的平滑度量之間的相應數值變化的比較，向所述視頻應用對應於所述兩個連續裁切窗口大小中的較大裁切窗口大小的給定的裁切窗口變換以提供修改的視頻。
5.根據權利要求1所述的方法，進一步包括: 將所述視頻劃分為多於一個視頻分段； 針對每個視頻分段: 估計記錄該視頻分段的所述相機的相應原始運動路徑； 選擇相應裁切窗口大小； 確定相應裁切窗口變換以將所述相機的所述相應原始運動路徑變換為相應經修改的運動相機路徑，其中與所述相應裁切窗口變換相關聯的相應裁切窗口被限制為所述相應裁切窗口大小； 確定指示所述相應經修改的運動相機路徑的相應平滑程度的相應平滑度量；以及基於所述相應平滑度量與所述預定閾值的比較，對該視頻分段應用相應裁切窗口變換以從所述相應經修改的運動相機路徑的相應視點提供相應經修改的視頻分段。
6.根據權利要求5所述的方法，進一步包括: 針對每個視頻分段: 選擇給定的更小的裁切窗口大小； 確定對應於所述給定的更小的裁切窗口大小的給定裁切窗口變換以及給定平滑度量; 確定所述相應平滑度量和所述給定平滑度量之間的給定數值變化；以及基於給定預定閾值與給定變化的比較，向該視頻分段應用相應裁切窗口變換以提供相應經修改的視頻分段。
7.根據權利要求5所述的方法，其中將所述視頻劃分為多於一個視頻分段包括:對所述視頻進行劃分，使得第一視頻分段的結尾部分和與所述第一視頻分段連續的第二視頻分段的開始部分重疊。
8.根據權利要求7所述的方法，進一步包括: 針對所述第一視頻分段確定第一經修改的運動相機路徑P1 ；以及針對所述第二視頻分段確定第二經修改的運動相機路徑P2，其中在所述第二視頻分段與所述第一視頻分段的結尾部分相重疊的開始部分中P2 = P1.S，其中S是具有統一比例$的縮放變換，並且其中C1是針對所述第一視頻分段選擇的第一相應裁切窗口大小而(32是針對所述第二視頻分段選擇的第二相應裁切窗口大小。
9.根據權利要求1所述的方法，其中對所述視頻應用所述裁切窗口變換以從經修改的運動相機路徑的視點提供修改的視頻包括:從所述視頻去除內容。
10.根據權利要求1所述的方法，其中對所述視頻應用所述裁切窗口變換以從經修改的運動相機路徑提供修改的視頻包括:穩定所述視頻。
11.一種其上存儲有指令的非瞬時計算機可讀介質，所述指令可由計算設備執行而使得該計算設備執行功能，所述功能包括: 估計記錄視頻的相機的原始運動路徑； 選擇比所述視頻的視頻幀大小小的裁切窗口大小； 確定裁切窗口變換以將所述相機的原始運動路徑變換為經修改的運動相機路徑，其中與所述裁切窗口變換相關聯的裁切窗口被限制為所述裁切窗口大小； 確定指示所述經修改的運動相機路徑的平滑程度的平滑度量；以及基於所述平滑度量與預定閾值的比較，對所述視頻應用所述裁切窗口變換以從所述經修改的運動相機路徑的視點提供修改的視頻。
12.根據權利要求11所述的非瞬時計算機可讀介質，其中所述指令可進一步由所述計算設備執行而使得所述計算設備執行功能，所述功能包括: 選擇更小的裁切窗口大小； 確定對應於所述更小的裁切窗口大小的相應裁切窗口變換以及相應平滑度量； 確定所述平滑度量和所述相應平滑度量之間的數值變化；以及 應用以下中的一個: (i)基於所述相應平滑度量與所述預定閾值的比較，向所述視頻應用所述相應裁切窗口變換以提供相應修改的視頻，和 (?)基於給定的預定閾值與所述變化的比較，向所述視頻應用所述裁切窗口變換以提供修改的視頻。
13.根據權利要求11所述的非瞬時計算機可讀介質，其中所述裁切窗口變換為B(t)，其中B(t) = CUr1Pa)，並且C(t)是所述原始運動路徑而P(t)是所述經修改的運動相機路徑。
14.根據權利要求13所述的非瞬時計算機可讀介質，其中所述經修改的運動相機路徑
dpi d2P d3P\p(t)通過使得目標函數if j+6]^+e-p最小化而確定，其中a、b和c為線性權重，使得與所述裁切窗口變換B (t)相關聯的裁切窗口被限制為所述裁切窗口大小。
15.根據權利要求14所述的非瞬時計算機可讀介質，其中使得所述目標函數最小化包括執行LI最小化。
16.根據權利要求14所述的非瞬時計算機可讀介質，進一步包括每k個幀對所述相機I ,/P jIi/1/5的所述原始運動路徑進行時間二次米樣，使得所述目標函數為丨+ bkr —rrl-t'ct —r? II dt I dr I I dt其中k是比例因數。
17.—種系統,包括: 相機路徑估計模塊，被配置為接收視頻並且估計記錄所述視頻的相機的原始運動路徑; 視頻穩定模塊，與所述相機路徑估計模塊通信並且被配置為選擇比所述視頻的視頻幀大小小的裁切窗口大小，所述視頻穩定模塊被配置為確定裁切窗口變換以將所述相機的原始運動路徑變換為經修改的運動相機路徑，其中與所述裁切窗口變換相關聯的裁切窗口被限制為所述裁切窗口大小，並且所述視頻穩定模塊被配置為確定指示所述經修改的運動相機路徑的平滑程度的平滑度量；以及 視頻轉換模塊，與所述相機路徑估計模塊和所述視頻穩定模塊通信並且被配置為基於所述平滑度量與預定閾值的比較而對所述視頻應用所述裁切窗口變換以從所述經修改的運動相機路徑的視點提供修改的視頻。
18.根據權利要求17所述的系統，其中所述視頻穩定模塊進一步被配置為選擇更小的裁切窗口大小，確定相應裁切窗口變換以及相應平滑度量，並且進一步被配置為確定所述平滑度量和所述相應平滑度量之間的數值變化；以及 基於給定預定閾值與所述變化的比較，所述視頻轉換模塊進一步被配置為向所述視頻應用所述裁切窗口變換以提供所述修改的視頻。
19.根據權利要求17所述的系統，進一步包括伺服器，所述伺服器包括所述相機路徑估計模塊、所述視頻穩定模塊和所述視頻轉換模塊。
20.根據權利要求19所述的系統，其中所述伺服器被配置為: 接收所述視頻； 接收請求穩定所述視頻的單個動作所給出的單一命令；以及 將經修改的穩定視頻上傳至視頻託管網站。
【文檔編號】H04N5/232GK104170370SQ201280071451
【公開日】2014年11月26日 申請日期:2012年11月12日 優先權日:2012年1月16日
【發明者】馬蒂亞斯·格倫德曼, 維韋克·夸特拉, 伊爾凡·埃薩 申請人:谷歌公司