基於編輯狀態的圖像數字處理的製作方法

2023-10-08 19:46:09 3

專利名稱：基於編輯狀態的圖像數字處理的製作方法
技術領域：
本發明涉及用於使用圖像記錄的方法，並涉及使用圖像記錄的系 統，諸如電視系統，本發明尤其涉及基於編輯狀態的電視數字處理。
背景技術：
數字成像已經極大提高了消費者能力，來由同一輸出系統上的專業 和業餘圖像記錄製作可視圖像。文中使用術語"可視圖像"來指可以在 視覺上感知的圖像，諸如用顯示器產生的光圖像，以及用印表機或印刷 機產生的硬拷貝圖像。文中使用術語"圖像記錄"來指數字靜態圖像、 視頻序列或多媒體記錄。輸出系統有時候提供對輸出圖像記錄的最小的 自動化數字處理。在其它情況下，提供"一刀切，，處理。這些方法在窄 輸入範圍的情況下工作效果最佳，而對於不適合該窄範圍的圖像記錄沒 有幫助。手動(用戶指導的)數字處理一般可用，並且在諸如編輯和打 印個別靜態圖像的一些情況下不是特別難以承擔。在另一方面，對於編 輯視頻序列，手動數字處理可能是非常難以承擔的。手動處理也不適合 於在不定期觀看的過程中使用。因此，顯示圖像的輸出系統，文中也稱 之為"顯示系統"，特別適合於自動數字處理。
回放系統的示例包括家庭娛樂系統、電視機以及提供類似功能的便 攜式裝置。現在，很多回放系統包括應用複雜圖像處理算法的子系統。 這樣的算法可以改變噪聲、對比度、色彩平衡、亮度以及其它圖像質量 參數中的 一個或多個。這樣的算法可以在很大程度上改善消費者圖像記 錄，特別是從未編輯過的圖像記錄或者用缺少複雜圖像處理的攝像機採 集的圖像記錄。這樣的算法還可以修改專業圖像記錄的"外觀"。文中
和授予Morton的美國專利第6868190號以及授予Bogdanwicz等的美國 專利第6972828號一樣意義地使用術語"外觀"，將這兩個專利併入本 文作為參考。這些專利公開了用於在電影中維持期望的"外觀"的步驟。 "外觀"包括圖像記錄的特徵，比如銳度、顆粒、色階、色飽和度、 穩像以及噪聲。這些參考文獻教示了已知外觀的輸入圖像記錄的修改，以創建不同外觀的輸出圖像記錄。不幸的是，在很多情況下，輸入記錄
的外觀是未知或未表徵的。
修改專業製備的圖像記錄的外觀將提出是否已損害藝術價值的問
題。許多回放系統的一個缺點是完全自動地修改圖像記錄。如果外觀改
變了，這將是有問題的。
如Parulski等的"Source-adaptive encoding options for HDTV and NTSC ，， ， SMPTE Journal ， Oct 1992， 674—683頁所述，根據源來 修改電視圖像的編碼/壓縮是已知的。
授予Savakis等的美國專利第6671405號教示了使用貝葉斯網或 網絡組來提供根椐消費者圖像的邏輯次序的消費者圖像的自動分級，邏 輯次序基於強調和吸引力的自動評定，但是，圖像的分級是為了自動相 冊頁裝配而確定的。美國專利第6671405號描述了基於人類觀察者的偏 好的地面實況研究而選擇的若干特徵。這些特徵包括與人相關的特徵 一人的存在與否、皮膚或臉部面積的量以及基於臉部尺寸的靠近程度； 客觀特徵_圖像的色彩性和銳度；以及與主體相關的特徵一主體的尺 寸，以及基於主體映射的構圖質量。因此，特徵提取級的輸出表示特定 特徵存在(或不存在)的統計證據；然後，分類級對輸出進行集成以計 算表示圖像具有網絡被設計為檢測的類型的可能性的值。
因此，希望提供克服這些缺點的方法和系統。

發明內容
本發明由權利要求限定。在廣泛的層面上，本發明提供了一種用於 由圖像記錄產生可視輸出的方法和系統。在該方法中確定提供圖像記錄 的輸入單元。圖像記錄是多種不同類型中的一種。圖像記錄被分類為預 定的多種不同編輯狀態中的一種。該分類將確定的輸入單元類型用作輸 入。編輯狀態包括未編輯狀態和充分編輯狀態。圖像記錄被數位化增強。 在增強的過程中，限制圖像記錄的實質性修改。當編輯狀態為充分編輯 時，對增強的限制較大；當編輯狀態不同於充分編輯時，對增強的限制 較小。圖像記錄被渲染以適應於預定的輸出單元。以可視的形式輸出所 得的圖像記錄。
本發明的有利效果是提供了改進的方法和系統，其中通過應用基於 圖像記錄的源的圖像處理來改善圖像記錄的輸出。


通過參照結合了附圖的本發明實施例的以下說明，本發明的上述和 其它特徵、目的以及實現它們的方法將變得更明顯，並且可以更好地理
解發明本身，在附圖中
圖1是示出一些可能的內容源的本系統的實施例的示意圖。 圖2是本系統的另一實施例的示意圖。 圖3是本系統的又一實施例的示意圖。 圖4是圖1-3的實施例的工作原理圖。
圖5是舉例說明圖4的兩條不同的圖像處理路徑的詳細示意圖。 圖6是該方法的實施例的流程圖。
圖7是圖6的方法的特定修改形式的某些細節的流程圖。
圖8是權利要求5的圖像處理路徑的替代的另 一詳細示意圖。
對於不同附圖中的特定特徵，詳細的程度不同。
具體實施例方式
本發明包括文中所述的實施例的組合。對"特定實施例，，等的提及 指的是存在於至少一個本發明實施例中的特徵。對"實施例，，或"特定 實施例"等的不同提及不一定指相同的一個或多個實施例；然而，這些 實施例並非互不相容，除非另有說明，或者對於本領域技術人員來說4艮 明顯。在提及"方法"或"多種方法"等時單數和/或複數的使用不是 限制性的。
像早先所述的那樣，對數字靜態圖像、視頻序列或多媒體記錄使用 "圖像記錄"。圖像記錄包括一個或多個數字圖像，並且還可以包括元 數據，諸如聲音或文本注釋。特定圖像記錄可以是單個數字文件，或者 多個相關聯的數字文件。元數據可以存儲在和相關的數字圖像相同的圖 像文件中，或者可以單獨存儲。圖像記錄的示例包括靜態圖像、視頻序 列和多媒體視頻演示。對於視頻序列，圖像的序列是單個圖像記錄。序 列中的每一個圖像(幀)也是圖像記錄，並且可以被作為圖像記錄來處 理。如果將視頻序列作為較短的多幀序列的集合來處理，那麼這些幀序 列中的每一個也是圖像處理。雖然文中 一般與圖像記錄的圖像特徵相關 地描迷該方法和系統，可以用相同的方式來處理可進行數字處理的其它 特徵，諸如音頻。同樣地，這裡的討論一般針對的是可視圖像的產生和
9顯示。除了從上下文中顯而易見的內容以外，適用於靜態圖像的顯示的 考慮適用於由印表機、印刷機等產生的硬拷貝圖像的輸出。
文中所使用的術語"顯示器"包括產生光圖像的任何裝置，包括發 光面板、反光面板和投影機。"顯示器"不限於獨立的顯示器，而是包 括作為其它設備的一部分的顯示器，諸如手機、電視機或個人視頻播放
器的顯示器。顯示器以特定的視頻幀速率來演示視頻。視頻幀速率是由 源材料和顯示器以及系統的其它組件的能力預先確定的。在文中的視頻
序列中，由於較慢的速率易於產生有害閃爍，優選的情況是幀速率為24 幀每秒或更高。 一種方便的速率是30幀/秒，因為該速率一般用於廣播 用戶^L頻。
文中使用術語"渲染，，等來指的數字處理修改圖像記錄以使得圖像 記錄在特定輸出裝置的限制範圍內。這些限制範圍包括色域、可用色階 等。
在以下說明中， 一些特徵被描述為"軟體"或"軟體程序"。本領 域技術人員將認識到，也可以容易地在硬體中構建該軟體的等效形式。 由於圖像處理算法和系統是眾所周知的，本說明著重於形成該方法的一 部分的算法和特徵，或者與該方法更直接地配合的算法和特徵。文中討 論的計算機化系統的類型的 一般特徵是眾所周知的，並且本說明 一般限 於與本發明的方法直接相關的那些方面。可以從本領域中已知的這些系 統、算法、組件和元件中選擇在文中沒有特別示出或描述的用於產生或 處理其中涉及的圖像信號的這些算法和設備以及硬體和/或軟體的其它 方面。在給出如文中所迷的說明的情況下，所有的額外軟體/硬體實施 方式是常規的，並且在本領域普通技術範圍內。
還應當注意的是，可以以軟體和/或硬體的組合形式來實施本發明， 並且本發明不限於在物理上連接和/或位於相同的物理位置之內的裝 置。附圖中舉例說明的一個或多個組件可以位於遠處，並且可以通過網 絡來連接。 一個或多個組件可以以無線的方式，諸如通過射頻鏈路，直 接地或者經由網絡進行連接。
可以在多種用戶背景和環境中採用本發明。示範性的背景和環境包 括而不限於固定和移動用戶裝置上的使用、批發和零售商業使用、信息 站上的使用，以及用作經由諸如網際網路或蜂窩式通信網的網絡提供的服 務的一部分。應當理解的是，可以用本領域技術人員所熟知的多種方式來修改示 出和描述的電路。還應當理解的是，這裡根據物理電路來描述的各種特 徵可以被可選擇地提供為固件功能、軟體功能，或者二者的組合。同樣 地，文中作為分立單元來說明的組件可以被方便地組合或共用。可以在 分散的位置中提供多個組件。
數字圖像包括一個或多個數字圖像通道或色彩分量。各數字圖像通 道是像素的二維陣列。各像素值與由與像素的物理區域對應的成像採集 裝置接收到的光量相關。對於彩色成像應用，數字圖像通常由紅色、綠 色和藍色數字圖像通道組成。可將動態成像應用視為數字圖像的序列。 本領域技術人員應當認識到，本發明可以應用於而不是限於任何文中所 述的應用的數字圖像通道。儘管數字圖像通道被描述為按行和列排列的 像素值的二維陣列，本領域技術人員應當認識到本方面可應用於非直線 陣列而達到相同效果。
在每種背景下，本發明可以是獨立的，或者可以是更大的系統解決 方案的組件。此外，人類接口，例如掃描或輸入、數字處理、對用戶的 顯示、用戶請求或處理指令(如果需要)的輸入、輸出，可以各自在相 同或不同的裝置和物理位置上，並且這些裝置和位置之間的通信可以經 由公共或專用網絡連接，或基於媒介的通信。在與本發明的公開一致的 情況下，本發明的方法可以是完全自動的，可以具有用戶輸入(完全或 部分手動)，可以使用戶或操作員觀看以接受/拒絕結果，或者可以用 在別處討論的元數據以外的元數據來輔助(這樣的元數據可以是用戶提 供的、測量裝置提供的，或者由算法確定的)。另外，這些方法可以用 多種工作流程用戶接口方案來進行接口連接。
圖1示出了本系統10的實施例。在該實施例中，回放系統利用機 頂盒12和顯示器14由圖像記錄產生可視輸出。機頂盒提供的功能包括 但不限於模擬調諧、數字通道選擇、媒體回放(使用，例如，DVD播 放器或存儲卡讀取器)，以及程序存儲器(例如，利用硬碟驅動器)。 一系列可能的輸入被分成三種一般類型的內容源，它們被分為"專業" 內容16 (例如，地面廣播電視、DVD)、"消費者，，內容18 (例如，便 攜式攝像機、DSC、嬰兒監視攝像機)，以及"特殊，，內容20 (例如， -魄頻遊戲、網際網路電一見)。顯示器的形式可以是，例如，電視^幾，或者 電視接收器和獨立監視器。
ii圖2舉例說明了系統10的另一實施例。在該實施例中，利用諸如 DVD播放器、個人數字助理(PDA)、數字靜態和/或視頻攝像機或者移 動電話的單片可攜式顯示裝置來顯示可視輸出。該裝置具有外殼或殼體 302、顯示器301、存儲器304、控制單元306、輸入單元308，以及連 接於控制單元306的用戶控制裝置310。殼體302可以手持，即，足夠 小和輕，以便於一般人用單手握住。信號路徑314連接組件302、 304、 306、 308、 310,並且在該實施例中，如所說明地，系統組件和信號路 徑位於外殼302內。
系統還可以採用可攜式計算機、信息站，或者其它可攜式或非便攜 式計算機硬體和計算機化設備的形式。在所有的情況下， 一個或多個組 件和信號路徑可以整體地或部分地位於外殼之外。圖3示出了包括臺式 計算機和各種外設的實施例。在該實施例中，可以產生顯示圖像或列印 圖像。計算機系統110包括控制單元112 (作為個人計算機在圖3中舉 例說明)，其用於接收和處理軟體程序，以及用於執行其它處理功能。 顯示器114電連接於控制單元112。形式為鍵盤116和滑鼠118的用戶 控制裝置也連接於控制單元112。可以和用於讀取和寫入的適當的組件 (CD/DVD讀取器/寫入器和硬碟驅動器122、存儲卡讀取器132)—起提 供多種可移動存儲器(用CD-ROM124、 DVD126、軟盤125和存儲卡130 來舉例說明)。存儲器可以是內部或者外部的，並且可以利用有線或無 線連接，直接地或者經由區域網或諸如網際網路的廣域網來訪問之。數字 攝像機134可以經由插接站136、有線連接138或無線連接140間斷地 與計算機連接。印表機128也可以連接於控制單元112，以便列印來自 計算機系統110的輸出的硬拷貝。控制單元U2可以具有到諸如區域網 或網際網路的外部網絡的網絡連接127,諸如電話線、乙太網電纜或無線 鏈路。
圖2和3沒有示出輸入列表，但是可以和圖1的輸入列表相同或相 似的輸入列表一起使用。
系統的不同組件可以完全獨立，或者可以和其它組件共用一個或多 個硬體和/或軟體特徵。圖4示出了適用於圖1-3的所有實施例的功能 組件的原理圖。沒有舉例說明或討論的其它特徵是本領域技術人員所熟 知的。例如，系統可以是行動電話攝像機。
用戶控制裝置310可以包括任何形式的變換器，或者能夠接收來自用戶的輸入並將該輸入轉換成可為處理器所用的形式的其它裝置。例
如，用戶接口可以包括觸控螢幕輸入、觸摸板輸入、4路開關、6路開關、 8路開關、觸筆系統、跟蹤球系統、操縱杆系統、語音識別系統、姿勢 識別系統、鍵盤、遠程控制裝置或其它的這種系統。用戶控制裝置可以 包括一個或多個傳感器，該傳感器可包括光傳感器、生物測量傳感器， 以及本領域中已知的可用於檢測系統環境中的條件和將該信息轉換成 可由系統處理器使用的形式的其它傳感器。光傳感器可以包括一個或多 個普通攝像機和/或多光譜傳感器。傳感器還可以包括適合於採集聲音 的音頻傳感器。傳感器還可包括用於測量無意識的身體和心理反應的生 物測量傳感器或其它傳感器，這些傳感器包括但不限於語音變化、身體 活動、眼運動、瞳孔放大、身體溫度以及p4000波傳感器。用戶控制裝 置可以是本地的或者遠程的。將通信單元的硬體和軟體與和一個或多個 早先述及的述用戶控制裝置結合起來的有線或無線遠程控制裝置222可 以包括在系統中，並經由接口 224起作用。
通信單元或系統可以包括例如， 一個或多個光、射頻或其它變換 器電路，或者其它系統，這些系統將圖像和其它數據轉換成可利用光信 號、射頻信號或其它形式的信號傳送至諸如遠程存儲系統或遠程顯示裝 置的遠程裝置的形式。通信系統可被用來為輸入單元提供圖像記錄，以 及提供來自主計算機、伺服器計算機、網絡(未單獨舉例說明)、遠程 存儲系統，或遠程輸入的其它數據。通信系統為處理器提供來自通過其 接收的信號的信息和指令。 一般地，通信系統適用於通過諸如以下網絡 的通信網絡與遠程存儲系統進行通信常規電信網絡；諸如網際網路的數 椐傳送網；蜂窩式、點對點或其它形式的移動電信網絡；諸如有線或無 線區域網的局部通信網絡；或者任何其它常規的有線或無線數據傳送系 統。
系統可以包括一個或多個輸出裝置，其直接地或通過適當的硬體提 供可視輸出。輸出可以是與圖像記錄對應的一個或多個硬拷貝或軟拷貝 圖像的形式，或者以包括數字形式的一個或多個圖像的存儲數字文件的 形式提供輸出。輸出裝置包括，但不限於，數字攝影印表機128、軟拷 貝顯示器301以及DVD寫入器122。印表機可以利用多種已知技術在接 收媒介上記錄圖像，這些已知技術包括但不限於傳統四色膠印或其它 的^觸印刷；絲網印刷；i者々口在Rochester ， New York ， USA的EastmanKodak公司出售的NexPress 2100列印片幾中4吏用的幹靜電顯影；熱列印 技術；按需滴墨的噴墨技術和連續噴墨技術。為了以下討論，印表機被 描述為具有在紙張接收器上生成彩色圖像的類型；應當理解的是，這並 不是必要的，並且可以利用列印諸如黑色和白色的單色圖像、灰度或棕 褐色調圖像的印表機，以及利用在在其它類型的接收器上列印的印表機 來實施文中要求保護的方法和設備。輸出裝置還可以包括輸出的組合， 諸如列印的圖像和諸如CD或DVD的存儲單元上的數字文件，CD和DVD 可以與諸如個人媒體播放器或平面電視的任何家庭和可攜式觀看裝置 一起使用。
顯示器301具有產生光圖像的顯示面板303，以及在其中安裝有顯 示面板的殼體。顯示器可以具有與特定用途相關的附加特徵。例如，顯 示器可以是電視接收器，其對來自天線或有線電視系統的電視信號進行 解碼。
控制單元可以具有多個處理器，如圖4所示，或者可以具有提供多 種功能的單個處理器。控制單元可以在多組件系統的任何組件中，並且 如果控制單元具有一個以上的可分離模塊，則可以在系統的不同組件之 間分配這些模塊。可以方便地提供該系統，使得控制單元位於系統的視 頻序列的正常路徑上，並且提供不同的模塊，為不同類型的節目內容優 化各不同的模塊。例如，對於用於家庭娛樂的系統，可以方便地將控制 單元安置在電視機和/或機頂盒中。在特定實施例中，控制單元具有多 個分離的模塊，而這些模塊在電視機和機頂盒的二者之一中。
在圖4的實施例中，控制單元306具有控制處理器202、音頻處理 器204,以及兩個數字音頻處理器206、 208。利用存儲的軟體和數據， 控制處理器基於來自用戶控制和輸入單元的信號來作業系統的其它組 件。下面與該方法相關地討論控制處理器的一些操作。音頻處理器向驅 動揚聲器212的音頻放大器210提供信號。數字視頻處理器將信號送至 多路復用器214 (在圖4中標記為"MUX"),該多路復用器214將信號 送至驅動顯示面板303的顯示驅動器215。(可以改為用一對顯示驅動 器(未示出)來驅動顯示面板。各顯示驅動器將被替換地使用，並且將 操作來自相應數字視頻處理器的信號。)用於處理器的參數是由專用存 儲器216或存儲器304提供的。
控制處理器可以包括但不限於可編程數字計算;f幾、可編程微處理
14器、可編程邏輯處理器、多個電路、減小為集成電路形式的多個電路， 或者多個分立組件。可以在固定或可移動存儲器上提供必要的程序，或 者，如在本領域中人們所熟知的，控制處理器可以被編程以在內部存儲 需要的軟體程序。
"存儲器"指的是設置在半導體存儲器或磁存儲器等中的物理存儲 器的一個或多個大小適當的邏輯單元等。系統的存儲器可以存儲計算機 程序產品，其具有存儲在計算機可讀存儲媒介中存儲的程序。存儲器可 以包括常規存儲裝置，其包括固態、磁、光或其它數據存儲裝置，並且 存儲器可以固定在系統內，或者可以是可移動的。例如，存儲器可以是
內部存儲器，比如，諸如SDRAM或快閃記憶體EPROM存儲器，或者作為選擇， 存儲器可以是可移動存儲器，或者是內部存儲器和可移動存儲器的組 合。可移動存儲器可為任何類型，諸如插入插槽並經由存儲器接口與處 理器連接的緊湊式快閃記憶體(CF)或安全數字(SD)型卡。使用的其它類型 的存儲裝置包括但不限於PC卡、多媒體卡(固C),或嵌入式和/或可 移動硬碟驅動器。包括但不限於控制程序的數據也可以存儲在諸如個人 計算機、計算機網絡或其它數字系統的遠程存儲器系統中。
除了作業系統所必需的功能以外，如以下將詳細描述的，控制單元 還提供對圖像記錄的渲染、修復和增強功能。在圖4的實施例中，由兩 個視頻處理器以及音頻處理器來提供這些功能。可以以適於或便於滿足 特定要求的方式為這些附加功能提供不同數目的視頻和音頻處理器，或 者，可以使用由可編程處理參數控制的單個處理器單元。可以提供附加 功能，諸如圖像記錄的手動編輯，以及自動化(機器控制的)操作中的 手動幹預。可以以和控制處理器相同地方式來提供必要的程序。圖像修 改還可以包括元數據，即，與圖像記錄相關的非圖像信息的添加或修改。
系統具有多個輸入單元308。各輸入單元設置了一個或多個輸入端 口 218以便於特定系統使用。各輸入埠能夠利用輸入選擇器220向控 制單元發送圖像記錄。各輸入埠可接受不同種類的輸入。例如， 一個 輸入埠可接受來自DVD的圖像記錄，另一輸入埠可接受來自衛星電 視的圖像記錄，並且另 一輸入埠可接受來自通過有線或無線連接進行 連接的個人計算機的內部存儲器的圖像記錄。
每個輸入單元提供都被預先確定為具有節目內容的 一共同特性的 一個或多個輸入埠的邏輯和/或物理組合，該共同特性允許圖像增強過程中的共同處理。例如，參照圖1，為可能被專業製作的廣播內容提 供一個輸入單元，並且為可能被非專業製作的非廣播內容提供第二輸入 單元。輸入單元的另一示例(未示出)是用於具有受限圖像特徵的特殊
內容，諸如一見頻遊戲內容和網際網路電^L。
輸入埠、輸入單元的數目和不同類型，以及內容的類型都是不受 限制的。輸入埠可以包括可向處理器提供適當數字數據的任何形式的 電子電路或其它電路或系統，或者與它們進行接口連接。可以為可採集 用於圖像記錄的內容數據和/或可獲取已由其它裝置製備或利用其它裝 置製備的圖像記錄的攝像機或者其它採集裝置提供一個或多個輸入端 口。例如，輸入埠可以包括一個或多個插接站、間斷式連結的外部數 字採集和/或顯示裝置、與有線電信系統的連接、提供與無線電信網絡 的無線連接的行動電話和/或無線寬帶收發器。又例如，電纜鏈路提供 與電纜通信網絡的連接，並且碟形衛星天線衛星系統提供與衛星通信系 統的連接。網際網路鏈路提供與遠程伺服器中的遠程存儲器的通信連接。 光碟播放器/寫入器提供對記錄在光碟上的內容的訪問。輸入埠可以 提供來自存儲卡、光碟、軟盤或裝置內部存儲器的圖像記錄。 一個或多 個輸入埠可提供來自節目安排供應方的圖像記錄，這些輸入接口可以 設置在機頂盒150中。通向節目安排供應方的輸入埠可包括其它服務 或內容，諸如用於更新系統的圖像處理和其它組件功能的程序。例如， 輸入埠可包括提供節目內容及更新的電纜數據機，或者與該電纜 數據機連接一該節目內容及更新從電纜頭端輸出，或者從系統可訪 問的web網站或伺服器接收。
參照圖5,控制單元在提供增強功能時展示了兩條或更多條不同的 圖像處理路徑。每條路徑具有不同的邏輯。在特定實施例中，這些路徑 還在物理組件方面不同。(圖5中的兩個變換單元224、 226各自包括 各自的一組變換228、 230。變換單元各自表示提供所要求功能必須的硬 件和軟體。)作為選擇，可以根據需要利用，例如，現場可編程門陣列 來配備單條圖像處理路徑。在該情況下，只要選擇了不同的路徑，就對 現場可編程門陣列進行重新編程。不同路徑的圖像處理在應用於相應的 圖像記錄的增強方面是不同的。
各路徑包括多個圖像記錄處理變換。這些變換可被分為三種渲染 變換，其只限於使圖像記錄適應於特定輸出裝置；修復變換，其只限於非實質性地改變圖像記錄；以及增強變換，其包括實質性地改變圖像。 渲染變換的示例包括圖像記錄的改變以適應於顯示器的灰度級、色 域和白點。渲染圖像可以產生剪裁過的、解析度和/或對比度級別降低 的，或者以其他方式相對於原始圖像記錄被刪減了的顯示圖像。
雖然兩種變換都增強，基於修復變換不實質性地改變圖像記錄而增 強變換實質性地改變感知的圖像記錄，可以區分修復變換組和增強變換 組。(修復變換可以為局部觀看環境進行調整，諸如具有色偏的環境光 照、閃光、外部音頻噪聲等)。修復變換的目的是只修復成像鏈中的惡 化，從而不實質性地改變圖像記錄。增強變換的目的是改善原始圖像記 錄中的缺陷，並從而實質性地改變圖像記錄。在本方法和系統中，修復 變換和增強變換被處理為呈現對輸入圖像記錄的修改的連續體，由閾值 將該修改的連續體分成兩種類型。可以基於包括預期為輸入的不同類型 的圖像記錄的訓練集的迭代修改的可接受性來經驗化地預設在修復(非 實質性)和增強(實質性)之間的閾值。可以相似的方式設定一系列路 徑的多個閾^f直。
閾值或多個閾值可採取多種形式。簡單的形式是一組二進位條件， 對於考慮為修復性的變換組，必須滿足所有的這些二進位條件。例如， 修復變換組是否保留，諸如，銳度、顆粒、色階、色飽和度、穩像以及 噪聲的特定的預定圖像特性的全部現有值，或改變任何現有值。作為選 擇，概率規則可被用來確定與閾值進行比較的值。例如，可以以貝葉斯 網的形式來提供單個或一組規則。可以經驗化地或者通過自動分類技術 的使用，諸如遺傳算法的使用，來確定適當的規則和閾值。這些技術的 使用為本領域技術人員所熟知。
在特定實施例中，系統具有兩條路徑專業路徑或充分編輯路徑， 對於該路徑，假設在節目製作過程中採用了大量的編輯；以及非專業或 未編輯路徑，對於該路徑，假設在節目製作過程中沒有採用編輯或採用 了不多的編輯。專業路徑包括渲染和修復變換，但不包括增強變換，以 限制圖像處理，使其不實質性地改變傳播的圖像記錄。非專業路徑包括 渲染變換、修復變換和增強變換。允許傳播的圖像記錄的實質性修改。
在所有的情況下，可以組合特定路徑上的變換。在上一個實施例中， 為了便於實施，可以特別方便地組合非專業路徑的可組合的修復變換和 增強變換。該實施例的修改形式具有多個編輯狀態，每個編輯狀態在從未編輯狀態到充分編輯狀態的遞增序列中的多個級別的相應的一個級 別上。編輯狀態的級別可以步進，並且數位化增強的限制可以與編輯狀 態的相應級別成比例。
在特定實施例中，系統的控制單元具有兩個不同的圖像處理器或物 理模塊。各處理器專門用於相應的路徑。在該情況下，各路徑可以選摔 性地從各自的輸入單元到顯示器彼此完全分開。由於兩個模塊和/或相 應的變換可以彼此獨立地更新或修改，這是有利的。單個模塊和變化組 可能改變起來更複雜。作為選擇，路徑可以部分地組合以允許通用的渲 染和修復變換的使用。如果使用了單個處理器，則可以通過對不同的路 徑使用不同的視頻和/或音頻處理參數來提供不同的路徑。
參照圖8，在特定實施例中，路徑共用一些邏輯組件。通過輸入單 元A 308或輸入單元B 308輸入圖像記錄，然後該圖像記錄沿相應的路 徑前進。由於兩個輸入單元308都向修復變換Z (附圖標記802 )發送 圖像記錄，兩條路徑一開始是在一起的。然後，路徑A向增強變換Y(附 圖標記804 )發送圖像記錄，然後將該圖像記錄送至多路復用器805。 路徑B繞開變換Y 804,並發送至多路復用器805。圖像記錄隨後被發 送至修復變換X (附圖標記806 )。然後，路徑A向增強變換W (附圖標 記808)發送圖像記錄，隨後將該圖像記錄送至多路復用器810。路徑B 繞開變換W 808並發送至多路復用器810。然後，圖像記錄被發送至渲 染變換812，併到顯示驅動器215和顯示器301。由來自輸入單元B的 信號807對通過多路復用器810的傳輸進行控制。可以由控制單元306 作為控制單元306確定圖像記錄來自輸入單元B的結果來提供該信號。 作為選擇，可以由諸如與項807對應的信號線的更簡單的邏輯元件來進 行該確定，當在輸入單元B中接收到圖像記錄時，該信號線發送。本領 域技術人員應當理解的是，可以作為修復處理，諸如圖8中變換Z 802 進行的修復處理，的一部分來執行MPEG或JPEG解壓縮或其它類型的電 視信號解碼(諸如NTSC解碼)。
現在參照圖6,在該方法中， 一開始通過輸入埠之一將圖像記錄 接收到系統中並且確定提供圖像記錄的輸入單元的類型602。按編輯狀 態對圖像記錄進行分類604。分類604將確定的輸入單元的類型用作輸 入。編輯狀態是包括未編輯和充分編輯的多個不同的可能的預定編輯狀 態中的一個。圖像記錄被數位化增強606。在增強過程中對圖像記錄的實質性修改進行限制608。當編輯狀態為充分編輯時對增強進行較大的 限制，並且當編輯狀態不為充分編輯時對增強進行較小的限制。圖像記 錄被渲染610以適應於預定輸出單元，並且利用輸出單元，以可視的形 式輸出渲染並增強的圖像記錄612。
輸入單元的類型可以直接或間接地指示圖像記錄的源。在直接指示 的示例中，系統可具有構建在電視接收器中的不同輸入埠，諸如一對 不同的讀卡器和與調諧器的有線電視連接。兩個讀卡器一起形成一個輸 入單元。來自該輸入單元的圖像記錄被分類為來自消費者內容源。有線 電視連接-調諧器形成另 一輸入單元。來自該輸入單元的圖像記錄被分 類為來自專業源。作為可選的示例，電視接收器可被配置為使用多輸入 連接器等，而具有不同的來自外部裝置的輸入，這些外部裝置包括諸如 可攜式攝像機和數字靜態攝像機的消費者型裝置，以及諸如DVD和有線 電視機頂盒的專業型裝置。在該情況下，由諸如特定輸入單元或源的指 定的用戶行為來定義輸入單元，或者由與系統連接的輸入裝置的類型的 自動(機器控制的)識別來定義輸入單元。對於用戶沒能進行指定的情 況，可提供預設的輸入單元。
圖像記錄的分類可以只基於確定的輸入單元類型。在該情況下，查 詢表等可被用來執行該分類。在特定實施例中，每個源對應於輸入單元 的不同類型，並且分類包括確定提供圖像記錄的輸入單元的類型。例如， 一個源可以被定義為廣播信號，其與充分編輯的編輯狀態預先關聯，並 且另一源可以被定義為非廣播信號，其與未編輯的編輯狀態預先關聯。 與廣播信號源相關聯的輸入單元可以是與服務供應方的電纜連接。與非 廣播信號源相關聯的輸入單元可以是存儲卡讀取器。
圖像記錄的分類還可以使用附加信息，或者作為替代，或者與確定 的輸入單元類型相結合。附加信息可以是元數據和/或分析結果。可以 提供一個或多個查詢表等以關聯具體信息與特定源。
在每個源與 一種編輯狀態級別預先關聯的情況下，圖像記錄的源可 以被視為分類的一部分。可以廣泛或狹窄地定義源，可以理解，若狹窄 地定義源，則有少量編輯狀態級別，多個源可能不得不被分配給相同級 別的編輯狀態。圖像記錄可被分類到其中的預定的一組編輯狀態可具有 與預定源的 一 對 一 對應關係，或者若干不同的源可對應於單個編輯狀 態。目前優選後一種方法，因為其更有可能反應真實的消費者使用。該方法還允許在環境改變時的能容易地改變。例如，此時，具有高清信號 的圖像記錄相對不太可能是來自消費者。包括指示高清內容的元數據或 分析結果的所有圖像記錄可以被預先分配到充分編輯狀態。假以時日， 當該情況改變時，並且當高清消費者採集變得更普遍時，分類可以被更 新以反映該情況。可經由任意的上迷埠將更新送至系統。另外，當添 加了新的源時，更新可被送至系統，這些更新增加了系統選擇正確編輯 狀態、添加編輯狀態、添加算法以及應用適當算法的能力。高清信號和 輸入單元的存儲卡埠的使用的結合可以具有與充分編輯狀態的預設 對應關係，並且只要環境改變，消費者(或製造商)就可以被給與改變 到未編輯狀態的選項。類似地，可以通過，例如允許添加提供對"專業，， 效果的指示的元數據，允許消費者將作品分類為"專業，，。
元數據可以直接地或間接地指示源。這樣的元數據的示例是給來自 數字攝像機的數字靜態圖像或視頻片段提供的攝像機標識，或者給專業
圖像記錄提供的元數據版權通知。同樣地，元數據可以指示DVD是由商 業服務通過轉換VHS錄像帶來製造的。類似地，可以提供元數據來標識 電影的導演，或者指示或建議源的一些其它特徵。表示消費者攝像機中 的未設置時鐘的，指示未來的、或不可能的、或者甚至不太可能的日期 的元數據可以被認為是非專業源的指示。
圖像記錄中的數字圖像的分析針對圖像的語義和非語義顯著特徵。 顯著特徵包括語義顯著特徵和結構顯著特徵，前者為具有與採集的圖像 中的主題對應的可識別意義的圖像記錄中的結構，後者為與該主題無關 的圖像記錄的特徵。在授予Savakis等的題為"METHOD FOR A謹MATTC ASSESSMENT OF EMPHASIS AND APPEAL IN CONSUMER IMAGES"的美國專 利第6671405號中討論了顯著特徵的屬性和使用，將該專利併入本文作 為參考。
用於分析諸如色階、對比度等的圖像記錄的結構顯著特徵的技術對 於本領域技術人員來說是熟知的。可以使用用於檢測語義顯著特徵的多 種數據檢測和減少技術，諸如人臉檢測、皮膚檢測、人檢測以及其它目 標物體檢測。為了相同的目的，還可以使用視頻序列的時域圖像分析。 模式分類技術可被用來表徵複雜數據。
類似於授予Savakis等的美國專利第6671405號的方法可被用來提 供與圖像記錄的源相關的分析結果。貝葉斯網或一組網絡被來用提供圖像記錄的自動分級。在貝葉斯網中，特徵提取級的後面是分類級。特徵 提取級的輸出表示特定特徵的存在(或不存在)的統計證據。這些輸出 隨後被分類級集成以計算表示圖像具有網絡被設計為要檢測的類型的 可能性的值。具體特徵的選擇可以基於利用人類觀察者的地面實況研 究。諸如人的存在或不存在、皮膚量或面部面積以及基於面部大小的靠 近程度的人特徵，可以是對進一步確定誰在圖像中的語義理解的輸入。 通過額外地確定圖像格式，可以使用並擴展諸如圖像記錄的色彩性和銳 度的客觀特徵。
人特徵可以是對該方法有用的輸入。人的圖像可以有助於確定圖像 的源是專業或業餘。例如，如果系統已被訓練為辨別多個人為家庭成員，
可做出這樣的推斷包含家庭成員的任何圖像記錄是用業餘設備採集 的，並且可以應用對於這些圖像最適當的圖像處理路徑。
該方法可以被設計為檢測不太可能由消費者應用的文本和圖形，諸 如標題和致謝名單，並且可以在該基礎上指示不同的源。
色彩性和動態範圍也可被用作適用於實施本發明的網絡的客觀特 徵。專業編輯的圖像記錄可能將充分利用色調和色彩的可用範圍。消費 者採集的圖像記錄可能控制得稍差，並存在曝光不足的問題。
銳度可被用作客觀特徵。專業編輯的圖像記錄很少提供失焦的影 像。由於消費者採集系統要搜尋以找到對象，消費者採集的圖像記錄常 常失焦。另外，不同的採集系統可以具有不同的保持聚焦的能力，並且 優選的處理可以相應地不同。
圖像格式可以被用作客觀特徵。在撰寫該申請的時候，對於很多消 費者來說，任何源提供的高清信號都不太可能是源自消費者。雖然這在 將來可能會改變，目前可以假設被確定為高清的任何信號是源自專業 的，並且以遠不同於其它信號的方式來處理。
場景改變頻率可以被用作客觀特徵。可以通過確定影像中的突然不 連續性來檢測場景改變。對於視頻，該動態相關的客觀特徵可被用來確 定專業和業餘圖像記錄之間的差別，因為專業編輯的視頻序列傾向於具 有很短的場景，而業餘視頻序列傾向於具有很長的場景。
與圖像記錄相關的音頻的結構特徵可被用作客觀特徵。特別地，與 專業編輯的圖像記錄相關的噪聲水平通常很低，而與消費者採集的圖像 記錄相關的噪聲水平通常很高。另外，專業編輯的圖像記錄的平衡和平均水平性被很好地控制，而消費者採集的圖像記錄的平衡和平均水平性 有多很多的變化。類似地，專業編輯的圖像記錄更可能具有笑聲軌道、 沉默期，以及大量的立體聲區分。
檢測的特徵被輸入給分類級，其中確定用於推斷圖像序列的源的 值。可以使用貝葉斯網。應當理解的是，除了在特別說明的情況下，本 發明在用於這些目的的特定技術方面不受限制。例如，可以由以下系統
單獨地或相結合地提供模式分類基於規則的系統、語義知識網方法、 基於框架的知識系統、神經網絡、基於模糊邏輯的系統、遺傳算法機制， 以及基於經驗化的系統。
分類可以使用兩種或更多種信息的分級結構中的附加信息，其中最 高的可用信息優先。例如，在特定實施例中，確定標識或指示圖像記錄 源的元數據是否與圖像記錄相關聯。如果檢測到這樣的元數據，則該元 數據所指示的源單獨確定編輯狀態級別。如果沒有檢測到這樣的元數 椐，則輸入單元的類型單獨確定編輯狀態。類似地，在另一實施例中， 分析圖像記錄，產生指示圖像記錄源的分析結果或非指示性的結果。如 果指示性的分析結果可用，則分析結果所指示的源確定編輯狀態級別。 如果沒有檢測到這樣的指示性分析結果，則輸入單元的類型單獨確定編 輯狀態。
在對圖像記錄分類時可以總是考慮附加信息，或者可以使附加信息 的使用成為用戶選項。在該情況下，用戶可以將一用戶可選擇的特徵設 定到第一狀態或第二狀態。在第一狀態中，查明關於輸入記錄的附加信 息的可用性，並且當附加信息可用時，該信息被用作分類時的輸入。在 第二狀態中，為圖像記錄分配輸入單元的相應類型的編輯狀態。
圖7示出了結合以上特徵的方法。在該實施例中，確定輸入埠 700。自動檢測或由用戶來選擇使用的輸入埠。然後，進行讀取指示 與圖像記錄相關的源的元數據的嘗試702。當該元數據可用時，圖像記 錄被分類到只由指示的源確定的編輯級別。如果檢測到這樣的元數據， 則由該元數椐指示的源單獨確定編輯狀態級別，並且加載704並應用 705與該編輯狀態相關聯的具體處理。當該元數據不存在或不能被讀取 時，分析圖像記錄706。當分析結果指示源時，圖像記錄被分類到與該 源相關的編輯狀態，並且加栽708並應用709相應的軟體。當分析結果 不指示源時，則圖像記錄被分類到與用於該輸入埠的輸入單元的類型
22相關聯的編輯狀態，並且加載710並應用711相應的處理。在圖7中， 提供了另一選項，其中用戶可以強制用輸入單元的類型來進行分類。該 選項的檢測713導致相應軟體的加載710和應用7U。
再參照圖6,根椐編輯狀態來數位化增強圖像記錄，並且為特定輸 出單元渲染圖像記錄。渲染提供輸出匹配，其中圖像記錄被調整以便處 於特定輸出裝置的限制範圍內。這些限制包括色域、可用色階等。圖像 記錄被可選地數字恢復。如早先述及的，各編輯狀態與不同的圖像處理 路徑相關聯。這些路徑至少在所提供的數位化增強方面不相同。增強可 以提供多種多樣的圖像記錄修改。例如，可能的增強包括邊緣增強、 色階修改(直方圖伸展和平移)、局部和全局對比度及亮度改變，以及 色飽和度的變化。
對各圖像記錄單獨地使用該方法。如早先述及的，視頻序列或多媒 體演示可以被當作單個圖像記錄或多個圖像記錄的集合來處理。在該方 法中，可以基於由分類確定的圖像記錄的編輯狀態來確定將特定視頻序 列等當作一個圖像記錄還是多個圖像記錄來處理。為了該目的，可以(從 同一輸入單元)提供附加的編輯狀態或子狀態。例如，關於藝術欣賞的 演講的多媒體演示可以具有限於恢復和渲染的藝術品的靜態圖像的數 字處理，以及包括恢復、渲染和增強的演講者的視頻的數字處理。
編輯狀態的概念基於這樣的假設專業製備的作品已經經歷了比;肖 費者製備的作品更多的編輯。該假設不一定成立，但是可能對於很多情 況都是正確的。還可以根據需要來提供編輯狀態的附加級別。編輯狀態 的類別代表概括，並且在個別情況下可能正確或可能不正確。例如，讀 卡器可能讀取專業製作的文件，而DVD播放器播放的DVD可能是通過轉 換通過拷貝低質量消費者錄像帶而製作的消費者視頻來製作的。該方法 和系統是冒著在將圖像記錄分類到編輯狀態時出錯的風險來提供便利 性的折衷。可以通過經驗化地調節編輯狀態級別，使得該風險可接受。 編輯狀態包括與任意最低級別對應的未編輯狀態，以及與任意最高級別 對應的充分編輯狀態。如名稱所建議的，優選的情況是，最低級別包括 沒有任何編輯的圖像記錄，並且最高級別包括已經經歷了多很多的大規 模編輯的圖像記錄。可以為更高級的用戶提供這些級別之間的閾值的調
整、附加級別的添加以及適當閾值的調整。如杲出現系統不能推斷對圖 像記錄的編輯狀態的情況，由於最不可能產生增強對於其不是想要或必要的圖像記錄被錯誤地增強的令人不快的狀況，系統所採用的預設可以 是最高級別。
以下是一些不同路徑的示例。第一個示例是消費者錄像機路徑。該 路徑基於錄像機具有質量有限的麥克風和音頻產生值的假設，提供數字 化增強。提供音頻處理以降低環境噪聲，以便使音頻電平均衡(消除很 安靜和很大聲的部分)。還以假設早先沒有提供足夠的穩定化為依據，
對圖像記錄進行數字圖像穩定化。圖像穩定化可以採用Rabbani等在 2005年5月17日提交的題為"IMAGE SEQUENCE STABILIZATION METHOD AND CAMERA FIAVING DUAL PATH IMAGE SEQUENCE STABILIZATION"的
發明者A·T·迪弗, J·R·弗裡隆德, K·A·帕魯爾斯基, R·J·小帕拉達, S·M·布賴恩特 申請人:伊斯曼柯達公司