對象存檔系統和方法

2023-09-11 02:49:15 2

專利名稱：對象存檔系統和方法
相關申請
本申請要求對2007年1月23日提交的美國臨時申請 No.60/881,982的優先權。本申請與2007年1月23日提交、標題為 "Computer Method and Apparatus for Processing Image Data，，的美國臨 時申請No.60/881,966和2006年6月8日提交、標題為"Apparatus And Method For Processing Video Data"的美國臨時申"i青No.60/811,890有 關。本申請與2006年3月31日提交的美國申請No.ll/396,010有關， 該美國申請No.11/396,010是於2006年1月20日提交的美國申請第 No. 11/336,366的部分繼續申請，該美國申請No, 11/336,366是於2005 年ll月16日提交的美國申請No.11/280,625的部分繼續申請，該美 國申請No.11/280,625是於2005年9月20日提交的美國申請 No. 11/230,686的部分繼續申請，該美國申請No. 11/230,686是現為美 國專利No.7，158，680、於2005年7月28日提交的美國申請 No.ll/191，562的部分繼續申請。通過整體引用將各前述申請結合於 此。
背景技術：
隨著數字視頻近來的迅速普及，對視頻壓縮的需求已經急劇增 加。視頻壓縮減少了存儲和傳輸數字媒體所需的比特數。視頻數據 包含空間冗餘性和時間冗餘性，並且可以通過登記(register)幀內 (空間)和幀間(時間)的差值來對這些空間和時間相似性進行編 碼。執行壓縮的硬體或軟體稱為編碼解碼器(編碼器/解碼器)。編 碼解碼器是能夠對數位訊號進行編碼和解碼的設備或軟體。由於數
據密集的數字視頻應用已經變得無處不在，所以需要更高效的信號 編碼方式。因此， 一見頻壓縮現在已經成為存儲和通信技術中的一個
6中心組成。
遺憾的是，常規視頻壓縮方案受困於形式上表現為低數據通信 速度、大量儲存要求和幹擾感知效果的諸多低效性。這些阻礙可能 給需要容易、高效地操控視頻數據而又保持質量(對於人們所具有 的對一些形式的視覺信息的先天敏感性而言，這尤為重要)的各種
用戶帶來嚴重問題。
在視頻壓縮中通常考慮諸多關鍵因素，這些因素包括視頻質 量和碼率、編碼和解碼算法的計算複雜度、對數據損失和錯誤的抗 擾性以及延時。隨著數量越來越多的視頻數據充斥網際網路，可以明
顯緩解擁塞或提高質量的技術不僅對於計算機而且對於電視機、蜂 窩電話和其它手持設備均代表一種重大突破。

發明內容
提供用於處理視頻的系統和方法，以產生較之本領域現有技術 方法而言的計算和分析優點。可以處理—見頻信號，以創建來自一見頻 信號中代表的 一個或多個對象的對象模型。可以將對象模型存檔。 可以使用存檔的對象模型作為用於結構、形變、外觀和照明建模的 對象模型庫。當處理壓縮視頻文件時，可以使用一個或多個已存檔 對象模型。可以使用 一個或多個已存檔對象模型以及編碼解碼器來 重建壓縮視頻文件。對象模型可以用來創建視頻信號中表示的 一個
或多個對象的隱式表示。
可以比較存檔中的對象模型，以確定是否有存儲於存檔中的基 本上等效的對象模型。可以通過消除基本上相互等效的冗餘對象模 型來減小存檔的大小。可以組合存檔中的相似對象模型。
視頻編碼解碼器可以用來重建壓縮S見頻文件。可以與視頻編碼 解碼器分離地存儲對象模型。對象模型可以包括在視頻編碼解碼器 中或與之捆綁。可以通過將若干對象模型分組來創建定製的編碼解 碼器。可以對定製的編碼解碼器進行優化，以重建壓縮視頻文件。
壓縮視頻文件可以與具有相似特徵的其它壓縮視 文件的群組相關聯。可以對定製的編碼解碼器進行優化，以重建該群組中的 任何壓縮視頻文件。可以根據關於用戶的個人信息來確定壓縮視頻 文件的群組。可以通過分析由用戶提供的未壓縮視頻文件，來確定 關於該用戶的個人信息。當分析由用戶提供的未壓縮視頻文件時， 可以標識用戶所提供的未壓縮視頻文件中描繪的反覆出現的對象。 反覆出現的對象例如可以是用戶所提供的未壓縮視頻文件中標識的 特定人臉或動物。可以創建定製對象模型，所述模型是為重建那些 反覆出現的對象而訓練。定製對象可以用來創建用於重建壓縮視頻 文件的定製編碼解碼器。
壓縮視頻文件可以從一 個用戶計算機發送到另 一 用戶計算機。 在重建該壓縮視頻文件時，可以從伺服器訪問存檔對象模型。服務 器可以用來維護和挖掘針對多個用戶的存檔對象模型。伺服器可以 創建對象模型庫。以此方式，可以提供一種視頻處理服務，其中， 該服務的會員可以在伺服器上存儲其對象模型，以及從伺服器遠程 訪問對象模型以重建其壓縮視頻文件。
可以在端對端網絡中的多個用戶計算機之間共享存檔對象模 型。可以接收來自端對端網絡中一個計算機的對壓縮視頻文件的請 求。響應於該請求，可以從端對端網絡中的不同用戶計算機發送存 檔對象模型之一。仍響應於該請求，可以從端對端網絡中的又一計 算機發送另一存檔對象模型。進一步響應於請求，可以從端對端網 絡中的又 一 用戶計算機發送另 一存檔對象模型或那些模型的子劃 分。以此方式，可以使用分布式方法來維護和分發存檔對象模型。
一個或多個對象模型可以用來控制對壓縮視頻流的訪問。對象 模型可以與編碼解碼器 一起用來重建壓縮視頻文件。在不使用 一 個 或多個對象模型的情況下，不能在用戶的計算機上重建和呈現視頻 文件。通過控制對對象^f莫型的訪問，可以控制對壓縮:規頻文件的訪 問(例如回放訪問)。可以使用對象模型作為用以訪問^見頻數據的 密鑰。編碼視頻數據的回放操作可以依賴於對象模型。此方法使得 在無對象才莫型訪問片又時不可讀取編碼—見頻數據。以此方式，可以佳:用對象模型作為 一種加密和數字權利管理形式。不同質量的對象模 型可以用來提供來自相同視頻文件的不同質量水平的解壓縮視頻。 這允許對共同視頻文件的差異化解碼(例如視頻基於所用對象模型
和共同^L頻文件的標準解析度和高解析度版本)。
一個或多個對象模型可以包括廣告，這些廣告在回放時使廣告 插入到重建的視頻流中。例如，在已編碼視頻的重建(例如回放) 期間，模型可以致使提供廣告的幀生成到回放視頻流中。
可以^提供一種用於處理—見頻的軟體系統。編碼器可以處理—見頻 信號以創建用於視頻信號中代表的一個或多個對象的對象模型。對 象庫可以存儲對象模型。解碼器可以在重建編碼視頻文件時使用編 碼解碼器和來自對象庫中的 一個或多個存檔對象模型。


根據對如附圖中所示本發明示例實施例的下文更具體描述將 清楚前文內容，在這些附圖中相似標號在不同的圖中通篇地指代相 同部分。附圖未必按比例繪製，而是強調圖示本發明的實施例。
圖1是在本發明的實施例中運用的視頻壓縮(通稱為圖像處 理)系統的框圖2是圖示了在本發明的實施例中運用的混合空間規格化壓 縮方法的框圖3是圖示了優選實施例中用於將對象模型存檔的過程的流
程圖4是圖示了本發明的使用客戶端-伺服器框架的個人視頻處 理月良務的架構示例的示意圖5是圖示了本發明的對象模型共享的框圖6是本發明的實施例可以實施於其中的計算機網絡或類似 數字處理環境的示意圖7是圖6的網絡的計算機的內部結構的框圖。
具體實施例方式
本發明的示例實施例描述如下。
創建對象模型
在視頻信號數據中，視頻的幀被組裝成圖像序列。視頻的主題 內容通常是投影到相機的二維成像面上的三維場景。在合成生成的
視頻情況，"虛擬"相機用於呈現；而在動畫情況下，動畫器(animator ) 發揮管理該參考相機幀的作用。每個幀或圖像由如下像元(pel)組 成，這些像元代表圖像傳感器對採樣信號的響應。採樣信號常常對 應於通過相機在二維傳感器陣列上的部件而採樣的一些反射、折射 或發射能量(例如電磁、聲音等)。連續依次採樣將獲得時空數據 流，其中每幀有兩個空間維度，而時間維度對應於幀在視頻序列中 的順序。這一過程通常稱為"成像"過程。
本發明提供一種可以用來將視頻信號數據高效地處理成一個 或多個有益表示的手段。本發明對於處理視頻信號中的多個經常出 現的數據集是高效的。分析視頻信號並且提供該數據的 一個或多個 簡潔表示，以促進對其處理和編碼。每個新的、較為簡潔的數據表 示允許減少對許多應用的計算處理、傳輸帶寬和存儲要求，這些應 用包括但不限於視頻信號的編碼、壓縮、傳輸、分析、存儲和顯示。 將噪聲和信號的其它不需要部分表示為較低優先級，從而進一步處
理可以集中於分析和表示視頻信號中較高優先級的部分。由此，與 先前可能的情況相比，可以更簡潔地表示視頻信號。並且精度損失 集中在視頻信號中在感知上不重要的部分。
如通過引用將全部教導結合於此、於2006年1月20日提交的 美國申請No.11/336,366和於2007年1月23日提交、標題為 "Computer Method and Apparatus for Processing Image Data，，的美國申 請第號(代理案號4060-1009-000)中所述，分析視頻信號數據 並且標識顯著組成部分。對時空流的分析揭示了常常為特定對象(例 如，面部)的顯著組成部分。標識過程指明顯著組成部分的存在和
10重要性，並且選擇那些限定的顯著組成部分中最重要的一個或多個 顯著組成部分。這並不限制在當前描述的處理之後或與之並行地對 其它較不顯著的組成部分進行標識和處理。然後，進一步分析前述 顯著組成部分，標識可變和不變子組成部分。對不變子組成的標識
是這樣的過程對該組成部分的某方面進行建模，由此揭示允許將 該組成部分合成至所需精度水平的模型的參數化。
在一個實施例中，將PCA/小波編碼技術應用於經過預處理的 視頻數據，以形成所需壓縮視頻信號。預處理通過應用主元分析 (PCA) /小波編碼(壓縮)的方式來降低視頻信號的複雜度，使效 果得以改進。在2006年1月20日提交的美國申請No.11/336,366和 於2007年1月23曰提交、標題為"Computer Method and Apparatus for Processing Image Data"的美國申請第號(代理案號4060-1009-000) 中這些共同未決申請中詳細地討"i侖了 PCA/小波編碼。
圖1是實現本發明原理的示例圖像處理系統100的框圖。源視 頻信號101輸入到預處理器102或以別的方式由預處理器102接收。 預處理器102使用帶寬消耗或其它標準(如臉部/對象檢測器)來確 定源視頻信號101中的感興趣組成部分(顯著對象)。具體而言， 預處理器102確定視頻信號中的如下部分，這些部分相對於視頻信 號101的其它部分而言使用了不成比例的帶寬。 一種用於進行這一 確定的分割器103的方法如下。
分割器103使用像元的導數(derivative)的時間和/或空間差 來分析隨時間和/或空間的圖像梯度。出於一致性(coherence)監測 的目的，跟蹤和記錄視頻信號中3,過視頻信號的順序幀而彼此對應 的部分。對與這些一致信號組成部分相關聯的導數場的有限差進行 積分，以產生^L頻信號中相對於其它部分而言^f吏用不成比例帶寬的 確定部分(即確定的感興趣組成部分)。在一個優選實施例中，如 果發現一幀中的空間不連續性與後繼幀中的空間不連續性相對應， 則分析圖像梯度的陡峭度或平滑度，以產生唯一的對應性(時間一 致性)。另外，還以相同的方式使用此類對應關係的收集來唯一地組成部分的時間 一致性。對於陵悄的圖像梯度， 確定存在邊緣。如果存在此類定義空間不連續性的兩個邊緣，則定
義角(corner)。將這些標識的空間不連續性與梯度流相結合，這在 跨過視頻數據幀的對應像元之間產生運動向量。當運動向量與所標 識的空間不連續性相符時，則本發明的分割器103確定存在感興 趣組成部分(顯著對象)。
其它分割技術也適於實施分割器103。
回到圖1, 一旦預處理器102 (分割器103)已經確定了感興 趣組成部分(顯著對象)或以別的方式從源視頻信號101分割了感 興趣組成部分(顯著對象)，規格化器105降低所確定的感興趣組 成部分的複雜度。優選地，規格化器105從確定的興趣組成部分中 去除全局運動和姿態(pose)、全局結構、局部形變、外觀和照明的 差異。為此，利用在此聲明的有關專利申請中先前描述的規格化技 術。這使得規格化器105建立了興趣組成部分的對象模型，例如結 構模型107和外觀模型108。
結構對象模型107在數學上可以表示為
,cr)-》(Vw +厶,)+ Z]
w 方程1
其中a是顯著對象(確定的感興趣組成部分)而SM 是該對象的 結構模型；
v、y是隨時間登記的、對象cj之上的逐段線性正則化網格的2D
網格頂點；
At是頂點隨時間t的改變，其表示視頻幀之間的對象縮放(或 局部形變)、旋轉和平移；並且 Z是全局運動。
根據方程1可以導出全局剛性結構模型、模型的全局運動、姿態和 局部導出形變。使用根據運動來估計結構的已知技術，並將其與運 動估計相結合，從而確定結構部分(視頻幀隨時間的感興趣組成部分)的候選結構。這定義了顯著對象在空間中的位置和定向，並由
此提供結構模型107和運動模型111。
外觀模型108繼而表示顯著對象未由結構模型107和運動模型 111共同建模的特徵和方面。在一個實施例中，外觀模型108是隨時 間的結構改變的線性分解，並且是通過從結構模型107去除全局運 動和局部形變來定義的。申請人在每個視頻幀處、使用結構模型107 來取得對象外觀，並且重新投影為"規格化姿態"。"規格化姿態，，還將 稱為一個或多個"基本(cardinal)"姿態。重新投影表示對象的規格 化版本，並且產生任何外觀變化。當給定的對象在視頻幀之間旋轉 或在空間上平移時，外觀定位於單個基本姿態(即，平均規格化表 示)。外觀模型108還考慮基本姿態的基本形變(例如崢眼/閉眼、 張嘴/閉嘴等)。因此，基本姿態P。和基本姿態Pc的基本形變Ac 表示外觀模型108 AM (cj),
formula see original document page 13
優選地，外觀模型108中的像元基於其與相機投影軸的距離和 對相機投影軸的入射角來進行偏置。偏置確定個體像元對模型的最 終形成所具有的貢獻的相對權重。因此，優選地，可以在所有模型 的所有處理中包括這一"採樣偏置"。隨時間對候選結構(來自結構 模型107)的跟蹤可以通過來自姿態、運動和形變估計的含意來形成 或支持對所有像元的運動的預測。
另外，關於外觀和照明建模，在變化的光照條件下跟蹤對象是 圖像處理中持續的挑戰之一。在成像處理中，對比度規格化是對像 素強度值的改變進行建模的過程，其將像素強度的改變歸結於光照/ 照明的改變，而不歸結於其它因素。優選實施例對顯著對象在捕獲 視頻的照明條件下的任何改變進行估計(即，建模，在對象上入射 的照明)的任意改變。這是通過將來自蘭伯特反射線性子空間 (LRLS)理論的原理與光學流組合來實現的。根據LRLS理論，當 對象固定時——優選地僅允許照明改變——可以通過前九個球面諧波的線性組合來近似反射圖像集；因此，圖像落在環境"圖像，，向量 空間中與9D線性子空間接近處。此外，用於圖像像素(x, y)的反 射強度可以近似如下
使用LRLS和光學流，計算期望值以確定照明如何與對象相互 作用。這些期望值用以約束可以說明光學流場改變的可能對象運動。 當使用LRLS來使用照明建模來描述對象的外觀時，仍然有必要允 許外觀模型處理可能落在照明模型預測以外的任何外觀改變。
外觀模型108和結構模型107的其它數學標識也是適用的，只 要其從相應的原始視頻信號明顯降低了感興趣組成部分的複雜度， 但維持了感興趣組成部分的顯著性。回到圖1，分析器110繼而將 PCA/小波編碼應用於結構對象模型107和外觀對象模型108。更一 般地，分析器110運用幾何數據分析來壓縮(編碼)與感興趣組成 部分對應的視頻數據。所得壓縮(編碼)視頻數據可用於圖2的圖 像處理系統中。特別地，這些對象模型107、 108可以存儲於圖2的 編碼側和解碼側232、 236。根據結構模型107和外觀模型108，可 以生成有窮狀態^^。常^L編碼232和解碼236也可以實施為常M^J、 波視頻編碼解碼方案。
在232和236這兩側，將PCA編碼應用於》見格化像元數據， 這在每側232、 236構建了相同的基向量集。在一個優選實施例中， 在圖像處理期間對基函數應用PCA/小波，以產生所需的壓縮視頻數 據。小波技術(DWT)變換整個圖像和子圖像，並且線性地分解外 觀模型118和結構模型107，繼而，經分解的模型被適度截斷，以滿 足所需閾值目標(alaEZT或SPIHT)。由於視頻數據的"規格化" 特徵，這支持可伸縮的視頻數據處理，這與現有技術的系統/方法是 不同的。
如圖2中所示，利用常規視頻壓縮方法232的獨立實例，來處 理用於一個或多個對象230、 250的未壓縮;f見頻流中的每個先前^r測
14的對象實例。此外，從對象230、 250的分割獲得的非對象202也使 用常規視頻壓縮232來進行壓縮。這些獨立壓縮編碼232中每一個 的結果是獨立的常規編碼流234，其中的每一個與每個視頻流單獨對 應。在某個點，可能在在傳輸之後，可以在解壓縮器236處將這些 中間編碼流234解壓縮(重建)為規格化非對象210和多個對象238、 258的合成。這些合成像元可以被去規格化240為其去規格化版本 222、 242、 262,以將像元在空間上相對於彼此正確地定位，從而使 組合過程270可以將對象和非對象像元組合成全幀272的合成。
數據挖掘對象模型
通過將這些對象模型(例如形變、結構、運動、照明和外觀模 型)存檔，可以確定和復用這些對象模型的持久形式，以處理其它 視頻流。例如，當從相機導入數字視頻時，可以對數字視頻進行轉 碼，並且可以訪問—見頻對象存檔以確定是否存在任何對象才莫型匹配。 雖然可以在逐幀基礎上完成這一點，^f旦是優選地，可以通過將相似 項分組在一起，使用批處理來分析視頻流的部分或整個S見頻流。可 以用非順序方式分析幀，並且可以進行統計分析，以確定哪些對象 模型提供最好的編碼擬合。
圖3是圖示了將對象模型存檔的過程300的流程圖。在步驟 302,如上文討論的，標識對象模型。在步驟30, 4將對象模型合併 到存檔或對象模型庫中。在步驟306,比較對象模型，並且在步驟 308，標識相似的對象模型。在步驟310。可以去除冗餘對象模型， 並且可以合併相似模型。在步驟312,可以更新指向視頻對象模型的 指針/標識符。例如可以更新指向編碼視頻流中所用對象模型的指針， 以引用庫中相關的、經過更新的對象模型。
以此方式，本存檔系統300可以挖掘對象庫中的這些對象模 型，並且分析對象模型以標識相似對象模型。 一旦標識了相似對象 模型，系統300可以通過創建可以反覆用於處理其它實例的通用對 象模型，來利用冗餘性。相似性往往基於相似結構、形變、運動、照明和/或外觀。
可以按照任意多的方式將對象模型用於後續視頻處理。如下文 更具體討論的那樣，可以在客戶端/伺服器框架中使用模型，可以將 對象模型與視頻編碼解碼器捆綁在封包中，以便在對編碼視頻文件 進行解碼時使用，模型可以與個人視頻服務結合使用，並且可以使 用分布式系統(例如，端對端網絡)來分布模型並且使其可用於多 個用戶。而且，對模型的處理可以在分布式計算網絡中進行。
個人視頻處理服務
在對象模型存儲於伺服器上的示例中，可以提供個人視頻處理
服務。圖4是圖示了使用客戶端414-伺服器410這一框架的個人視 頻處理服務400的架構示例的框圖。在這一示例中，個人視頻服務 的用戶或會員可以使用本發明的軟體，以使用基於對象的視頻壓縮 對他們的所有視頻文件418進行轉碼。在轉碼過程期間，生成對象 模型416。對象模型可以作為個人視頻服務的部分上傳到對象模型庫 404。當服務的會員將已編碼視頻文件418發送給另一會員時，文件 大小可以充分減小。在另一會員的系統上進4亍回》文期間，可以從月良 務器410訪問相關對象才莫型404,以處理和呈現編碼—見頻流。
系統400可以分析上傳自特定會員的對象模型，並且確定是否 存在冗餘對象模型。例如，如果成員對描繪相同主題的(諸如，相 同面部、相同寵物等)數字視頻連續地進行轉碼，則可能將反覆創 建相同的對象模型。系統400可以通過創建用戶的個人對象模型的 高速緩存(例如面部對象模型、寵物對象模型等的高速緩存)來利 用這一冗餘性。系統還可以通過創建對於該用戶而言定製的、個人 的編碼解碼器417來利用這一冗餘性。編碼解碼器417可以與特定 於該用戶的對象^f莫型416捆綁在一起。
通過讓大量會員將他們的模型416上傳到伺服器410,可以分 析模型以標識共同或相似模型。可以跟蹤最普遍使用或生成的模型。 以這一方式，系統400可以獲悉和確定最可能需要什麼模型416,並且可以將編碼解碼器設計為僅包括最重要的對象模型。
如果用戶試圖利用編碼解碼器來處理編碼視頻，並且特定模型
尚未與該編碼解碼器捆綁，則系統可以訪問伺服器410,以從存檔 404獲得所需模型。編碼解碼器也可以定期訪問伺服器410,以利用 新的、經過更新的對象模型來更新其本身。
作為又一實施例，已編碼視頻可以是這樣的，即在客戶端節點 414上可訪問視頻文件的原始"常規"編碼。在這一情況下，處理的優 點用於發送視頻，而更多"常規"壓縮用來將視頻存儲在硬碟上，以 促進對視頻的更多常規處理。例如，如果已視頻編輯應用希望使用 不同格式，則本發明的方法可以主要在—見頻文件的傳輸期間使用。
調節編碼解碼器
可以按照特定的編碼視頻數據類型來調節編碼解碼器417。例 如，如果視頻流具有某些對象的反覆出現、貫穿的共同主題或特定 樣式，則在重建整個編碼視頻文件時，可以復用對象模型。類似地， 可以優化編碼解碼器317，以處理這些反覆出現的對象，例如面部。 類似地，如果視頻流是具有某些特徵的電影，例如特定風格的影片 (例如動作片)，則其貫穿該影片可以使用相似的對象模型416。即 使數字視頻是"黑電影(filmnoir)",例如通常的特徵是暗色調的 黑白視覺樣式，在重建電影的整個編碼版本時，可以適用和使用特 定照明和照明對象才莫型。這樣，可以存在適用於已編碼電影的相當
大部分的共同對象模型(例如結構和照明模型)。這些模型可以捆 綁在一起，以創建定製的編碼解碼器。
共享對象模型
還可以在任意多個用戶之間共享對象模型。對象模型可以存儲 於伺服器上或資料庫中，因而在對視頻文件進行解碼時可以容易地 訪問它們。可以從一個用戶計算機訪問另 一用戶計算機的對象模型。 圖5是示出了對象模型共享的框圖。對象模型可以從伺服器504上的對象模型庫502進行訪問，或可以從其它客戶端系統510、 520進 行訪問。相應的對象模型管理器512、 522可以管理在每個客戶端 510、 520上處理編碼視頻文件所需的對象模型514、 524。對象模型 管理器與版本控制系統或源控制管理系統相似，其中由系統軟體來 管理正在進行的對象模型514、 524開發。對象模型的改變可以通過 遞增關聯編號或字母代碼(例如修訂本編號或修訂水平)並且在歷 史上與該改變相關聯來標識。以這一方式，可以跟蹤對象模型514、 524以及對象模型的任何改變。對對象模型的這一電子跟蹤使系統 500能夠控制和管理對象模型的各種副本、版本。
除了使用客戶端-伺服器框架之外，可以使用端對端網絡或其 它框架來共享和分布對象模型。以這一方式，用戶可以從端對端網 絡中的其它用戶下載壓縮視頻文件和對象模型。例如，如果在從端
對端網絡中的 一個系統下載電影哈裡波特的已編碼版本，為了提高 效率，可以從網絡中的其它系統下載相關或那些模型的分割部分。
數字權利管理
部署安全方案以保護數字視頻訪問權這 一 過程滿長、棘手且昂 貴。內容用戶想要對數字內容進行無拘束的訪問，而無需經歷繁瑣 的認證過程。部署內容開發安全模型的最複雜方面之一是找到成 本收益分析適應所有參與者(即內容用戶、內容提供商和軟體開發 商)的方案。這時，目前可用方案並未提供一種用以限制對數字內 容的訪問的用戶友好的、開發商友好的並且財務上有效的解決方案。
可以使用本發明的對象模型作為 一種用以控制對編碼數字視 頻的訪問的方式。例如，在沒有相關對象模型的情況下，用戶將不 能回放視頻文件。可以使用對象模型作為用以訪問視頻數據的密鑰。 對已編碼視頻數據的回放操作可以依賴於 一則輔助信息，即對象模 型。這一方式在無對象模型訪問權時使編碼視頻數據不可讀。
通過控制對對象模型的訪問，可以控制內容的播放訪問權。這 一方案可以提供一種用以限制對視頻內容的訪問的用戶友好、開發
18商友好解決方案和高效解決方案。
此外，對象模型可以漸進地對內容進行解鎖。利用對象模型的 某一版本，編碼可以僅解碼至某一水平，然後利用漸進地更為完整 的對象模型，整個內容將被解鎖。初始解鎖可以實現對視頻的縮略 圖解鎖，從而讓用戶能夠確定他們是否想要全視頻。想要標準分辨 率版本的用戶將獲取對象模型的下一遞增版本。另外，需要高分辨 率或相機質量的用戶將下載對象模型的更完整版本。編碼和對象模 型都是以有助於漸進實現與編碼大小和質量相當的視頻質量這樣的 方式來無冗餘編碼的。
處理環境
圖6圖示了本發明可以實施於其中的計算機網絡或類似數字 處理環境600。 一個或多個客戶端計算機50和一個或多個計算機60 提供執行應用程式等的的處理設備、存儲設備和輸入/輸出設備。一 個或多個客戶端計算機50還可以通過通信網絡70連結到包括其它 客戶端設備/進程50和一個或多個伺服器60的其它計算設備。通信 網絡70可以是遠程接入網絡、全球網絡(例如網際網路)、全球計算 機匯集、區域網或廣域網的部分以及目前使用相應協議(TCP/IP、 藍牙等)來相互通信的網關。其它電子設備/計算機網絡架構是適合 的。
圖7是圖6的計算機系統中的計算機(例如客戶端處理器/設 備50或伺服器計算機60)。各計算機50、 60包含系統總線79，其 中總線是用於計算機或處理系統的部件之間數據傳送的 一 組硬體線 路。總線79實質上是連接計算機系統(例如處理器、盤儲存器、存 儲器、輸入/輸出埠、網絡埠等)不同單元的共享管道，該管道 實現信息在單元之間的傳送。用於將各種輸入和輸出設備(例如鍵 盤、滑鼠、顯示器、印表機、揚聲器等)連接到計算機50、 60的輸 入/輸出(I/O)設備接口 82附接到系統總線79。網絡接口 86允許 計算機連接到各種附接到網絡(例如圖6的網絡70)的其它設備。存儲器90為用來實施本發明實施例計算機軟體指令92和數據94(例 如上文討論的對象模型、編碼解碼器和對象模型庫)的提供易失性 存儲。盤儲存器95為用來實施本發明實施例的計算機軟體指令92 和94提供非易失性存儲。中央處理器單元84還附接到系統總線79 並且提供對計算機指令的執行。
在一個實施例中，處理器例程92和94是包括計算機可讀介質 (例如可拆卸存儲介質，例如一個或多個DVD-ROM、 CD-ROM、磁 盤、磁帶、硬驅動等)的電腦程式產品，該計算機可讀介質提供 用於本發明系統的軟體指令的至少一部分。如本領域公知的任何適 當軟體安裝過程可以安裝電腦程式產品。在另一實施例中，也可 以通過有線、通信和/或無線連接來下載軟體指令的至少一部分。在 其它實施例中，本發明程序是在傳播介質上的傳播信號(例如通過 全球網絡如網際網路或其它一個或多個網絡傳播的無線電波、紅外線 波、雷射波、聲波或電波)上實施的電腦程式傳播信號產品。這 樣的承載介質或信號提供用於本發明例程/程序92的軟體指令的至 少一部分。
在可選實施例中，傳播信號是在傳播介質上承載的模擬載波或 數位訊號。例如，傳播信號可以是通過全球網絡(例如網際網路)、 電信網絡或其它網絡傳播的數位化信號。在一個實施例中，傳播信 號是在一段時間內通過傳播介質傳輸的信號，例如在以毫秒、秒、 分鐘計或更長的時段內通過網絡在分組中發送的用於軟體應用的指 令。在另一實施例中，電腦程式產品的計算機可讀介質是如下傳 播介質，計算機系統可以例如通過接收該傳播介質並且識別該傳播 介質中實施的如上文針對電腦程式傳播信號產品描述的傳播信號 來接收和讀取該傳播介質。
一般而言，術語"載體介質"或瞬態載體涵蓋前述瞬態信號、傳 播信號、傳播介質、存儲介質等。
儘管已經參照本發明的優選實施例具體地示出和描述本發明， 但是本領域技術人員將理解可以對之進行形式和細節上的各種改變而不脫離由所附權利要求涵蓋的本發明範圍。
例如，可以在各種計算機架構中實施本發明。圖4-7的計算機 網絡是為了舉例說明而不是限制本發明。
本發明可以採用全硬體實施例、全軟體實施例或包含硬體和軟 件單元的實施例的形式。在一個優選實施例，用包括但不限於固件、 常駐軟體、微碼等的軟體實施本發明。
另外，本發明可以採用可從如下計算機可用或計算機可讀介質 荻取的電腦程式產品的形式，該介質提供用於由計算機或任何指 令執行系統使用或與計算機或任何指令執行系統結合使用的程序代 碼。出於本說明書的目的，計算機可用或計算機可讀介質可以是任 何如下裝置，該裝置可以包含、存儲、傳達、傳播或傳送用於由指 令執行系統、裝置或設備使用或與指令執行系統、裝置或設備結合 使用的程序。
介質可以是電、磁、光、電磁、紅外線或半導體系統(或裝置 或設備)或傳播介質。計算機可讀介質的示例包括半導體或固態存
儲器、磁帶、可拆卸計算機磁碟、隨機存取存儲器(RAM)、只讀 存儲器(ROM)、剛性磁碟和光碟。光碟的一些示例包括光碟-只讀 存儲器(CD-ROM)、光碟-讀/寫(CD-R/W)和DVD。
適合於存儲和/或執行程序代碼的數據處理系統將包括通過系 統總線直接地或間接地耦合到存儲器單元的至少一個處理器。存儲
容量儲:器和高速緩存存儲器，i些高速i存存儲器提供至-一些
程序代碼的臨時存儲以便減少在執行期間從大容量儲存器取回代碼
的次數。
輸入/輸出或1/0設備(包括但不限於鍵盤、顯示器、指示設備 等)可以直接地或通過居間1/0控制器耦合到系統。
網絡適配器還可以耦合到系統以4吏數據處理系統能夠變為通 過居間專用或公用網絡耦合到其它數據處理系統或遠程印表機或存 儲設備。數據機、有線數據機和乙太網卡僅為目前可用網絡適配器類型中的少數類型。
另外，在一些實施例中可以具有以下廣告特徵。
使用對象模型在視頻中嵌入廣告
對象模型可以用來使包括廣告的幀在回放期間插入到視頻流 中。以這一方式，廣告無需修改實際編碼—見頻內容。然而，在編碼 內容的重建(例如回放)期間，模型可以使提供廣告的帕生成到回
放視頻流中。
權利要求
1.一種處理視頻的方法，所述方法包括由計算機實施的步驟處理多個視頻信號，以創建用於在所述視頻信號中表示的一個或多個對象的對象模型；將所述對象模型存檔；以及在處理壓縮視頻文件時使用一個或多個已存檔對象模型。
2. 如權利要求l所述的方法，其中將所述對象模型存檔還包括 由計算機實施的步驟比較一個或多個所述已存檔對象模型，以確定所述存檔中是否 存儲有基本上等效的對象模型；以及通過消除冗餘的、基本上等效的對象模型，來減小所述存檔的 大小。
3. 如權利要求2所述的方法，其中減小所述存檔的大小包括由 計算機實施的步驟通過將一個或多個對象模型組合為共同對象，來減小所述存檔 的大小；以及使用所述共同對象來生成 一 個或多個減小的原始對象模型。
4. 如權利要求l所述的方法，其中將所述對象模型存檔還包括 由計算機實施的步驟對相似的一個或多個所述已存檔對象模型進行組合。
5. 如權利要求l所述的方法，其中將所述對象模型存檔還包括 由計算機實施的步驟將對象模型分組，以創建對於重建所述壓縮 視頻文件中的對象而言最優的定製編碼解碼器。
6. 如權利要求l所述的方法，其中所述壓縮視頻文件與具有相 似特徵的其它壓縮視頻文件群組相關聯，並且編碼解碼器被優化為 重建所述群組中的壓縮視頻文件。
7. 如權利要求6所述的方法，其中所述壓縮視頻文件群組基於 關於用戶的個人信息來確定。
8. 如權利要求7所述的方法，其中所述關於用戶的個人信息通 過分析由所述用戶提供的其它視頻文件來確定。
9. 如權利要求8所述的方法，其中分析由所述用戶提供的視頻 文件還包括由計算機實施的步驟標識由所述用戶提供的所述視頻 文件中描繪的反覆出現的對象，所述反覆出現的對象包括由所述用 戶提供的所述視頻文件中標識的人臉或動物。
10. 如權利要求8所述的方法，其中由所述用戶提供的視頻文 件使用常規編碼過程來編碼。
11. 如權利要求10所述的方法，其中使用所述常^L編碼的—見頻 中所包含的信息來確定如何對所述—見頻進ff處理和編碼。
12. 如權利要求IO所述的方法，其中對由所述用戶提供的視頻 文件的處理施加附加約束，以允許對將要重新創建的視頻文件進行 所述常規編碼。
13. 如權利要求6所述的方法，其中所述壓縮視頻文件群組基 於所述壓縮視頻文件中描繪的反覆出現的對象來確定。
14. 如權利要求5所述的方法，其中所述定製編碼解碼器用來 重建所述壓縮視頻文件。
15. 如權利要求1所述的方法，其中在處理壓縮視頻文件時使 用 一 個或多個已存檔對象模型還包括由計算機實施的步驟使用所 述一個或多個已存檔對象模型以及編碼解碼器來重建所述壓縮視頻 文件。
16. 如權利要求1所述的方法，其中在處理壓縮視頻文件時使用 一 個或多個已存檔對象模型還包括由計算機實施的步驟在用戶計算才幾處，從另 一用戶計算機接收所述壓縮視頻文件；以及從伺服器訪問一個或多個所述已存檔對象模型。
17. 如權利要求16所述的方法，其中所述伺服器與在伺服器上 為用戶維護所述已存檔對象模型的視頻處理服務結合使用，其中所 述視頻處理服務為其它用戶維護其它已存檔對象模型。
18. 如權利要求1所述的方法，其中在處理壓縮視頻文件時使 用一個或多個已存檔對象模型還包括由計算機實施的步驟在端對 端網絡中的多個用戶計算機之間共享所述已存檔對象模型。
19. 如權利要求18所述的方法，其中在端對端網絡中的多個用 戶計算機之間共享所述已存檔對象模型還包括由計算機實施的步 驟從所述端對端網絡中的第 一用戶計算機接收所述壓縮視頻文件；響應於請求，從所述端對端網絡中的第二用戶計算機發送所述 已存檔對象模型之一；以及響應於請求，從所述端對端網絡中的第三用戶計算機發送所述 已存檔對象模型之一。
20. 如權利要求1所述的方法，其中使用一個或多個所述已存 檔對象模型來控制對所述壓縮視頻文件的訪問。
21. 如權利要求1所述的方法，其中一個或多個所述已存檔對 象模型還包括廣告，從而使得在使用 一個或多個所述已存檔對象模 型來處理和重建所述壓縮:梘頻文件時，所述廣告中的一個或多個祐: 插入到重建後的視頻文件中。
22. 如權利要求1所述的方法，其中在處理壓縮視頻文件時使 用一個或多個已存檔對象模型還包括基於一個或多個所述已存檔 對象模型，創建一個或多個對象的隱式表示。
23. 如權利要求1所述的方法，其中所述對象模型包括形變模 型、結構模型和外觀模型。
24. —種用於處理視頻的計算機系統，包括編碼器，其處理視頻信號，以創建用於在所述視頻信號中表示的 一 個或多個對象的對象模型；對象庫，其存儲所述對象模型；以及解碼器，其訪問編碼解碼器和所述對象庫，以便在重建已編碼 視頻文件時使用 一個或多個已存檔對象模型。
25. —種用於處理視頻的計算機系統，包括 用於處理多個視頻信號以創建用於在所述視頻信號中表示的一 個或多個對象的對象模型的裝置；用於將所述對象模型存檔的裝置；以及用於在處理壓縮視頻文件時使用 一個或多個已存檔對象模型的裝置。
全文摘要
提供用於處理和壓縮視頻的基於個人對象的存檔系統和方法。通過分析用戶特有的特徵，例如與用戶相關聯的面部、家人和寵物屬性，可以確定不變模型，以創建每個用戶的個人對象模型適配器。這些個性化對象模型可以使用幾何和外觀建模技術來創建，並且可以存儲於對象模型庫中。對象模型可以復用，以處理其它視頻流。對象模型可以通過端對端網絡在多個用戶間共享，或可以存儲於伺服器上的對象模型庫中。在重建已壓縮(已編碼)視頻時，可以訪問和使用視頻對象模型，以產生質量接近無損壓縮的視頻。
文檔編號H04N7/24GK101622874SQ200880006362
公開日2010年1月6日 申請日期2008年1月4日 優先權日2007年1月23日
發明者C·P·佩斯 申請人:歐幾裡得發現有限責任公司