動態照片拼貼的製作方法

2023-05-16 08:24:51 2

專利名稱：動態照片拼貼的製作方法
技術領域：
本發明涉及數字圖象顯示領域，並且更尤其涉及一種用於顯示動
態照片拼貼(collage)的系統，其中用戶定義的輸入被用於根據各種 標準來對一組或者多組數字照片區分優先次序並且分類，用於在觀察 裝置上成比例顯示。
背景技術：
照相對人們來說，是用於分享經歷、與其他人表達和互通經歷、 以及記住並且在以後的日子中再次使人想起經歷的非常普及的方法， 隨著數字攝像術的進展，也擴大了提高這種樂趣的機會.例如，結合 有數字相機的行動電話允許小型帶盒(compact carriage)並且還易 於幾乎瞬間地傳送數字圖象。圖象編輯器和其他軟體工具使用戶能夠 以各種方式修改圖片，例如將攝影師添加到景象中、改變陰影或者色 調、用於開玩笑的形態表情(morph face)等，以及結合圖片、整合 各個鏡頭以形成全景，以及形成拼貼。
除了以傳統的相紙列印方式觀看照片之外，通常還可以將數字照 片存儲在CD-ROM或者其他可記錄介質中，並且使用家庭計算機觀看。 目前還已知照片的其他電子顯示。例如，數字相機自身可以用作顯示 裝置，例如被圍繞餐桌傳遞來顯示剛剛或者最近拍攝的照片。
數字圖象顯示的一種形式為照片拼貼。拼貼可以與某一特定的事 件、象假期、婚禮或者周年紀念有關。因此，可以從事件中拍攝的一 組照片中選擇最吸引人的、值得紀念的、典型的或有趣味的照片並且 藝術性地集中在單個框中，從而放置在框中或者掛在牆上。
可以使用已知的圖象編輯器(例如Photoshop )數字生成拼貼。 然而，這些解決方案在感觀上是靜態的，即一旦拼貼已經產生或被編 輯，它就固定了。還已知相框形式設計成的數字顯示。這種框是有用 的，因為它們可以自動重新載入，這考慮到了圖象的動態顯示。這種 動態框在由Kodak的Bandaru等人的題目為"使用數字媒體框分享圖 象的方法和系統"的號為6, 535, 228的美國專利中被描述了 ( 一般稱為數字媒體框，或者"DMF")。
還可以使用已知的軟體工具從CD-ROM或者計算機的硬碟驅動器 中提供數字照片的動態顯示。可以選擇一系列的數字照片並且每張照 片顯示的時間可以為不連續的量，以不變的速度在整個照片中循環。 然而，這些顯示方法並不能解決以如下方式顯示照片表現出觀看者 對每個單獨照片的特定相關興趣。雖然給定套或組的所有照片對於觀 看者來說可能是一般的興趣，但是每張照片幾乎毫無疑問地會由觀看 者產生不同程度的個別興趣，這種個別程度的興趣在本質上是時間上 的(例如，與比較老的照片相比，越新近的照片，興趣就越大)，或 者它可以基於特定的新近事件(例如，最近的婚禮、畢業等).此外， 由於照片在質量(焦距或者曝光)和組成(每個人展現出不同的笑容) 上通常是不同的，所以這種性質同樣會表現出觀看者一張接一張地看 照片的整體需求.而且，在指定套或者組照片中通常存在多張相同或 者相似動作的照片，並且雖然所有的照片可能都是非常感興趣的並且 是高質量的，但是觀看者仍然會希望跳過它們中的一些。相反地，在 該組或者套中存在數量相對少的特定動作或者位置的圖象的地方，即 使質量差或者具有其他問題的圖片仍然被會優先顯示。

發明內容
因此，需要一種能夠從數字照片集中顯示動態照片拼貼的照片顯 示系統，其中根據各個照片的用戶選擇的優先次序，可以改變拼貼的 外觀。
公開一種用於提供動態照片拼貼的方法，所述方法包括如下步 驟接受一組數字圖象；對該組數字圖象中的至少笫一和第二圖象指 定等級；以及在顯示裝置上顯示這些圖象時，使用指定給第一和第二 圖象的等級，來控制該圖象相對彼此的顯示屬性，
公開一種用於提供數字照片集的方法，所述方法包括如下步驟 獲得多個數字圖象；獲得用戶為多個數字圖象中的每個圖象劃分的等 級；以及在顯示裝置上顯示這些數字圖象中的至少兩個圖象；其中， 所述兩個圖象在顯示裝置上具有基於用戶對圖象劃分的等級的顯示尺 寸、顯示時間或者顯示位置。
一種用於顯示照片拼貼的方法，包括如下步驟對存儲介質中存 儲的多個數字圖象指定等級，用戶選擇等級是基於所述多個數字圖象
中的每個數字圖象的內容或者質量；給每個圖象指定顯示時間或者顯 示尺寸標識符，所述標識符基於用戶選擇的等級；以及在顯示裝置上 顯示所述多個數字圖象中的至少一部分圖象；其中根據用戶選擇的等 級，每個圖象顯示一段時間。


結合附圖，在下面本發明的優選實施方案的詳細說明中將更加完 整地公開本發明的這些和其他特徵以及優點，附圖中相同的附圖標記 表示相同的部分，其中
圖l是根據本發明的生成動態照片拼貼的系統的邏輯視圖； 圖2是示出圖1的動態照片拼貼的鋪瓦片的豎框(tiling stile) 的示例布局；
圖3是圖1中生成動態照片拼貼的系統的歷史記錄和顯示計劃； 圖4是與圖1中系統一起使用的選擇規則的採樣列表.
具體實施例方式
公開了一種數字圖象拼貼系統，其中圖象集中每個圖象的更新時 間和顯現形式都是可控制的並且可以根據用戶對每張照片輸入的優選 級(preference)而定。因此，對於非常喜歡的圖象來說，該圖象持 續的時間和出現的頻率比不太喜歡的圖象大。同樣，非常喜歡的圖象 的布局和風格可以與不太喜歡的圖象不同。根據相對的圖象質量和任 何拍攝的動作的唯一性，每個圖象的顯示動態還可以取決於圖象相對 於圖象集中其他圖象的固有特性。例如，與質量較差的圖象或者內容 不太令人滿意的圖象相比，吸引人的高質量圖象可以在顯示裝置上顯 示較長的時間，或者可以永久顯示。用戶可以控制該系統的顯示動態。
需要注意，雖然本發明一般地相對於其在數字照片集方面的應用 而進行的描述，但是它可以廣泛地應用於數字"圖象"的顯示.在使 用數字照片的情況下，數位照相機可以捕獲照片。圖象可以具有任何 已知的格式，例如JPEG、 TIFF、 GIF、 BMP、 PCX等。圖象可以可選擇 地是視頻序列，例如MPEG或其任何變形。
參考圖1,其圖示說明了一種用於控制一組數字照片在顯示裝置 上的顯示的系統1，其中該組中的各個照片可以顯示不同的時間長度， 並且佔據顯示屏的相對比例還可以不同，這取決於用戶輸入的優選級 不同以及每張照片內在特性的不同。
照相機200可以與處理器100通信，處理器IOO可以與個人電腦 IOOO或者其他電子裝置相關聯。用戶或者觀看者可以通過與電子裝置 相關聯的用戶界面對處理器100進行控制。處理器100可以運行以指
示照相機將一個或者多個照片或者視頻序列傳輸到與處理器相關聯的 數據存儲裝置中。在圖1的實施方案中，照相機可以由處理器指示，
通過硬線連接(例如，USB、並聯或者串聯埠 )或者無線連接，將照 片或者視頻序列傳輸到數字圖象集2中。雖然所述系統描述為和個人 電腦PC-1000 —起使用，但是也可以使用其他合適的電子裝置，因此， 例如，處理器IOO可以是顯示裝置10的一部分，或者甚至可以是照相 機的一部分。處理器100可以具有與其相關聯的一個或者多個存儲部 件200，用於存儲對於處理器的運行指令。在一個實施方案中，存儲器 200可以是RAM，但是也可以使用任何其他合適的存儲器類型。正如所 理解的那樣，當考慮到圖1時，矩形單元表示將要在用戶的計算機的 處理器上邏輯"運行"的任務和/或者進程。圓柱形單元表示將要邏輯 地存在於用戶計算機上(例如在其硬碟上)的數據存儲。應當理解， 任務和/或進程和數據還可以存在於遠程計算機、伺服器等上，並且可 以是對於具有適當連通性的硬體和軟體的用戶計算機是可訪問的。分 析/分類/集成一簇方框(圖1中示為與元數據資料庫4和本體 (ontology) 6相關聯)也是一個進程任務，但是典型地它將脫機"運 行"(即在其他進程(矩形單元)之前或者與其他進程(矩形單元) 異步)。"顯示說明"20是邏輯文檔，其典型地將被存儲在用戶計算 機的RAM中，
處理器100可以運行以將數字圖象集2的顯示指向使用數字顯示 裝置10的觀看者，例如計算機屏幕、蜂窩式電話的視頻屏幕、個人數 字助理、或者專用的數碼相框的顯示屏。圖象集2也可以是閉集圖象
(a closed set of images)(例如在已經在前一時刻點被下載的保 存在用戶計算機硬碟驅動器(HD)上的一套或者一組圖象)。可替換 地，所述圖象集可以是開放式(open-ended)的，例如可以通過連結或 者與網際網路的連結從遠程計算機或者伺服器訪問的一套或者一組圖 象。圖象集2可以存儲在用戶計算機的硬碟驅動器、隨機訪問存儲器
(RAM)、快閃記憶體、可移動介質、或者其他存儲介質上。可替換地，圖象 集可以存儲在這樣的介質組合中，或者存儲在通過網絡獲得訪問的另
一臺計算機上。
圖象集2中的圖象可以和與這些圖象有關的信息的單獨資料庫相 關聯。在一個實施方案中，設置元數據資料庫4並且保持關於圖象集2 中的至少部分圖象的信息。可以設置本體6，其將元數據資料庫4中的 相對低級別的特徵與更多用戶定向的或者更高級別的概念聯繫起來. 例如，存在論6可以描述形成簇的類別，這些簇根據所述圖像的元數 據特性中的相似性將圖象集中的各種圖象聯繫在一起。還可以設置記 錄(logging )資料庫8來保持與照片集相關的顯示事件的歷史。可以 設置瀏覽生成模塊12，其響應用戶關於數字照片顯示的命令並且使用 從元數據資料庫4、存在論6和記錄資料庫8中獲得的信息以組合成照 片拼貼。
瀏覽生成模塊12可以由一套選擇規則14控制，該選擇規則是用 戶可選擇的或者可操作的以改變顯示的特性，例如，賦予來自某一事 件或者某一時間段的圖象以優先級。
根據選擇規則14，控制程序可以指示取指令程序(fetch routine) 16以取出照片集2中滿足所需標準的照片，從而取出的照 片可以以相對次序在顯示裝置IO上顯示。選擇可以基於與每張照片相 關聯的元數據4 ，並且還可以基於存在論6或者記錄資料庫8所提供 的信息。
風格模塊18可以用於為取出的圖象選擇所需要的顯示層次。例 如，可以選出多張照片用於同時顯示，非常喜歡的圖象放置在顯示器 的中間，不太喜歡的圖象排列在顯示器的外圍。顯示循環(display loop) 20可以以所選定的周期速率改變顯示的圖象。
應當理解，圖1中的說明實際上僅僅是代表性的，因此它示出了 各個模塊相互連接的一種可行方案。此外，圖中表示為單個模塊的在 實踐中可以包含多個不同的模塊。因而，例如元數據4不需要是物理 上可識別的離散實體，而是可以簡單地是包含在多個不同的邏輯和物 理位置中的元數據的代表。
再次參考圖l，元數據資料庫4可以包含用於每個圖象的不同數量 的元數據。所述元數據按照照片的特性對照片進行描述，例如產生圖 象的日期和時間以及產生圖象的地點。語義上更有意義的數據保存在 本體6中。例如，當元數據資料庫4可以用於存儲關於圖象的屬性信
息(例如用於拍攝數字照片圖象的位置的GPS坐標)，本體6可以提 供GPS坐標和地球上的地方(例如城市名稱、山頂、島嶼岸線等)之 間的關係。
元數據資料庫4還可以具有等級級別表，該錶針對於顯示優選級 對存儲的圖象分等級。該等級級別表可以由數字照片拼貼的用戶創 建，或者它可以根據預設方案(即運算法則)得出。例如可以根據質 量、色彩的濃烈、可辨認的面容數等，對照片指定可信度(credits )。 可以為每個圖象提供多個不同的等級級別，從而允許不同的用戶根據 其自身的個人喜好分別把圖象集中的圖象區分出優先次序。
資料庫4中的元數據可以由用來"拍攝"數字圖象的照相機產生。 例如對於具有日期-時間和GPS坐標性能的照相機來說，當產生圖象時 (即"拍攝"數字照片時)，關於這些特性的元數據可以與圖象相關 聯。利用分析原始圖象編碼的特徵提取機制，元數據還可以添加到各 個照片中。例如，可以使用面容辨認算法提取照片中的人名，並且將 關於那個人的元數據和包含那個人的肖像(likeness)的圖象聯繫起 來。在這種情況下本體6(在下面更詳細描述)可以用於將家庭成員(例 如父母、孩子、伯父)的圖象聯繫起來.元數據還可以由一個或者多 個用戶人工地被添加(即被加注釋)到資料庫4中。這種人工添加(例 如添加時間/日期/地點/事件)可以在拍攝照片的過程中發生，或者可 以在後來輸入，例如在將圖象轉移到集資料庫2的過程中或者之後。 可以為每張照片存儲種類繁多的元數據信息，如本領域普通技術人員 所理解的那樣，因此，例如，技術數據如照相機類型、透鏡類型、焦 距等可以被存儲。此外，可以使用時間標記作為元數據，並且事件如 聖誕節、假日可以被本體存儲或者以其他方式提供給本體並且由本體 處理，然後可以通過它們具有特徵的特殊日期連結某些照片。作為另 外的例子，本體6可以使用元數據來連結"家庭照片"，或者"專業/ 業餘愛好"(在照相機或者透鏡類型的情況下)分組等。
正如提到的，可以提供本體6來幫助用戶自動地將照片分組並且 內部相關聯成不同的子組或者子集。例如，本體6可以提供有家體成 員、假日、拍攝照片的地點等之間的一系列關係。可以定義內部標記， 並且可以提示用戶人工地注釋每張照片，從而同樣適當地將照片與一 個標記或者多個標記聯繫起來。可以以相似的方式定義子標記，例如
"聖誕節前夕"可以是"冬季假日"的子標記。結果是本體6可以被 編程有多種不同的標記和子標記類別，並且因此可以被用來基於多種 用戶輸入和先前定義的信息，將照片彼此相關聯。
因此，在一個例子中，在定義標記"孩子"並且用那個標記對圖 象進行注釋之後，然後本體6會提示用戶標識"哪個孩子？，，，於是 本體可以提供一個建議的名字的列表(其由用戶事先載入的)或者它 可以允許用戶響應提示輸入新名字或者名字列表。這種提示可以為可 以與每張照片相關聯的多種屬性中的任何一個而提供。此外，當想要 減少在評定等級級別和分類過程期間所需的用戶輸入總量時，系統可 以允許用戶限制提示的數目和類型。
本體6能夠從用戶最初提供的或者隨著時間而提供的信息中學 習。例如，當用戶將標記"假日"與特定圖象相關聯時，本體可以創 建特定標記和通過數位照相機與圖象相關聯的日期-時間編碼之間的 內部關係。因而，本體6可以自動地將標記"聖誕節"或者"光明節" 與用戶定義的十二月部分期間產生的圖象相關聯。正如所理解的，內 在地或者外在地歸因於每個圖象的標記和基礎元數據之間的其他可學 會的聯繫也是可能的。
除了用戶提供的和算法產生的圖象之間的聯繫之外，還可以分析 圖象的固有本性，從而提供另外的等級劃分或者分組。例如，可以使 用合適的技術來分析圖象質量並且指定相對值，用於以後在選擇用於 顯示的圖象的時候使用。可以分析這些圖象的這樣的質量特徵，例如 焦距(使用邊緣檢測方法)、明、暗、曝光不足、過度曝光等。這種 分析可以自動進行而不需要用戶參與。可替換地，可以允許用戶人工 地輸入關於照片質量的信息而不顧自動分等級(在被使用的地方)， 使得具有優選質量的圖象(例如，藝術上表現的有意模糊的圖象等) 仍然可以提供有相對高的等級。這種信息可以存儲在本體6中或者以 其他方式施加在本體6中。
另外，可以將數據挖掘技術應用到這些圖象(再者，以最小的另 外的用戶動作)中，從而將圖象"聚集一簇"成本體6中定義的種類。 例如，具有相似或者相同日期-時間元數據的圖象或者具有相同或者相 似組的人(例如，通過已知的面容辨認技術所產生的)的圖象可以成 聚集成一簇。這樣有助於簡化分類和分組過程，從而限制了用戶所需
的輸入總量。例如， 一旦用戶已用標記"假日"人工地注釋了一個或 者多個照片，在相同時間幀中拍攝的所有其它圖像可以被類似地分 類。同樣， 一旦用戶已人工地注釋了與特定地理位置或者旅行事件(例
如"埃特納山")相對應的一個或者多個照片，那麼具有相似GPS坐 標的所有其他圖象可以被分類在一起，而不需要另外的用戶行為。因 而，通過評估與那些照片相關聯的元數據，本體6可以用於內部聯繫 起來的照片，並且不需要分配或者改變所述元數據。同樣地，可以創 建、再次創建、添加或者改變幾乎無限多種類的關聯，而不會影響建 立該關聯的基礎數據。
還可以提供記錄資料庫8來聚集顯示裝置已經顯示了什麼照片的 歷史記錄。在基礎級別上，資料庫8可以存儲關於已經顯示了哪些照 片的信息連同這個顯示或者這些顯示的日期和時間。還可以存儲對於 每個圖象的相對顯示時間和顯示尺寸。記錄資料庫8還可以存儲關於 顯示裝置的顯示歷史的多種其他信息，例如已經顯示了什麼特殊組的 照片(任選地還與時間和日期相關聯)，以及用於個別觀看者或者用 戶的特定歷史瀏覽。記錄資料庫8還可以存儲關於用戶與顯示交互的 信息以及這種交互發生的時間.例如，用戶可以評價一張照片為喜歡、 對一特定照片或照片組指定為不喜歡，或者可以對顯示設置進行一些 其他修改。
本領域普通技術人員應當理解，記錄資料庫8中收集的信息本身 可以用於擴展新的照片組或者照片集，例如標記"喜歡"、"最近顯 示過"等的一組圖象。這種信息還可以提供給本體6，從而擴展這樣的 新組、集或者擴展新的圖像"關係"。
處理器100可以控制各種可以用於產生所需數字圖象顯示的特殊 進程模塊。 一套圖象選擇規則包含在選擇規則資料庫14中。這些規則 用於控制拼貼顯示的動態。在一個實施方案中，這些規則是"if then" 格式，但是合適的時候可以使用其他表示。通常地，選擇規則可以表 現為一套約束條件或者表現為各個圖象的評定。這些選擇規則可以設 置成與不同情境(context)或者事件相對應的不同集合和組。"情境" 的例子可以是特定用戶，因而，在選擇規則內，每個用戶可以具有他 或她自己的"情境"，其能夠根據各個用戶的偏愛，對照片的顯示(以 及它們的顯示特性)能夠個性化選擇。然後每個用戶可以在資料庫14
中具有他或她自己的一套用戶化的選擇規則。當用戶"登錄"系統時， 或者在某些其他個性化指示提供給處理器時，為了根據那個用戶的偏
愛顯示照片，處理器可以從資料庫14中拖出與那個用戶相關的選擇規 則。情境還可以這些規則本身的一部分，其允許用戶將情景混合在規 則定義中。下面是情境面向選擇規則的例子
如果[當前內容-=]聚會，那麼顯示彩色圖象；或者
如果[當前-用戶==]喬納森，那麼包括用於瑪格麗特的規則
圖4中示出了可以存在於選擇規則資料庫14中的示例性選擇規則
的清單。
系統1可以使用"獲得下一張，，處理模塊22讀取選擇規則14，從 而從照片集2中選擇用於顯示的下一張照片。"獲得下一張"模塊22 還使用選擇規則來確定下一張照片的顯現或者顯示風格(即它的尺 寸、方位等)。將下一張照片的這個身份(即它的照片ID)以及顯示 風格發送給"取出，，處理模塊16，"取出"處理模塊16從照片集數據 庫2中"讀取"該照片並且將其發送給顯示說明模塊20中的列表或者 隊列，在顯示說明模塊20中它可以用於代替過期的(即先前的)照片。 然後將新(下一張)照片發送給顯示器IO用於向觀看者顯現。雖然邏 輯上該顯示載入一個完整的新說明，但在實踐中只有改變的部分真正 需要被再現。顯示器的這些組成圖象被"示出"，然後"終止，，，以 被其他圖象取代。這種取代可以引起顯示的一個圖象或者多個圖象的 重組，這取決於所應用的規則。正如理解的那樣，根據嚴格的或者固 定的次序，取代不一定發生，也不是完全隨機的，更確切地說，是根 據照片集2中照片的元數據之間的關係，並且特別是"取代"和"被 取代，，的照片之間的關係。這些關係可以包括等價的/相似的照片的種 類/簇，如前面所討論的。圖1中的模塊說明並且表示為實施這個進程 所進行的主要任務。
瀏覽產生模塊12作為中間處理模塊運行，其使用本體6提供關於 在執行選擇規則14時適於由獲得下一張模塊使用的元數據和記錄數據 的瀏覽。本體6和瀏覽產生模塊12能夠使這些規則按照所需要的顯示 動態被表示。例如，兩個選擇規則可以是
如果過期的圖象是來自假日，那麼從在巴黎的假日中選擇下一個
如果過期的圖象是來自在巴黎的假日，那麼從不在巴黎的假日中
選擇下一個
該規則使用高級說明，並且當瀏覽產生模塊12處理這些規則時， 必須評價前提是否正確。資料庫4提供低級元數據(例如GPS和時間 標記值)。本體6提供所需的信息，從而確定給定的低級值是否滿足 前提中的高級說明(例如，給定的GPS和時間標記值是否在"假日集 合，，或者"在巴黎假日"集合中)。在上述情況下，兩個規則對於兩 個前提評價為正確的情況來說應當是相矛盾的。在一個實施方案中， 本體6會通過識別"在巴黎的假日"是"假日"的子集，因而識別更 具體的概念，來幫助解決這種矛盾.矛盾消解可以適當地把更具體的 規則區分優先次序。
當顯示器10啟動時，最初示出照片集2中一張或者多張最希望的 或者最喜歡的照片。可以以連續的方式示出多張照片，通常以願望想 要的降序方式示出.可替換地，可以一次示出多於一張的照片，每張 照片佔用空間不到少於總屏幕空間的全部百分比.照片同樣可以重 疊，比較多張喜歡的照片在頂部顯示並且而不太喜歡的照片在底部顯 示。這種安排或者"構成"可以被限定在描述照片、它們的布局、它 們各自顯示的持續的時間以及它們的風格的邏輯文檔中(例如，顯示 說明模塊20中)，顯示說明20應當可以最初存儲在用戶計算機上， 然而，運行版譯本將被應當存儲在RAM中，並且當圖象到期和被替代 終止時將被連續地可以繼續修改和被替代。所述說明是邏輯的，因此 例如風格模塊18能夠保持圖象列表和它們在屏幕上的位置的表格，並 且能夠用下一個構成直接更新顯示器10。在這個設置中在寫入18和讀 取10之間不存在"文檔".除了所述構成以外，每張照片的風格都可 以控制，包括例如色彩的濃烈/灰暗、亮度等.典型地，該構成要確保 喜歡的一張或者多張照片與不太喜歡的照片相比，會在前景中顯示， 會佔用屏幕相對大的部分，並且要在屏幕上停留較長的時段。正如所提到的，可以實施非常多樣的構成風格。例如，照片可以 部分地重疊，比較喜歡的照片在頂上，不太喜歡的照片在底下。還可 以以圖2中說明的方式提供瓦片平鋪(tiling)布局。在圖2實施方 案中，可以一次顯示多張照片1， 2，每張照片具有特定尺寸和定向(即， 風景、人像等)。此外，比較喜歡的照片佔用屏幕的部分可以比不太 喜歡的照片相對大些。不同構成類型的組合也是可能的，例如象重疊
和平鋪的組合那樣，與其他布局一樣本領域技術人員都能理解。
影響構成風格和持續時間的值可以存儲在元數據資料庫4中的單 獨列表中，並且以與用於獲得對於每張照片或者照片組的等級級別的 類似的方式得出。用戶可以改變該存儲的值，或者可以實施只用於那 個用戶的單獨定製的一組值。(應當注意，除了改變特性值之外，用 戶還可以改變這些規則而實現相似的結果)。
選擇規則14控制拼貼的動態特性，並且"獲得下一張"處理模塊 22利用這些規則14選擇下一張照片以及它的顯示方式(即，照片將被 顯示的風格)。將與下一張照片相關的識別信息發送給取出處理模塊 16，然後將該照片(邏輯地)添加到顯示說明20中。當文檔中給定照 片的顯示持續時間到期時，對於待顯示的下一張照片，獲得下一張處 理模塊22向顯示說明模塊20發出呼叫(call )。顯示說明模塊20是 表示在顯示器上的什麼地方將顯示什麼圖象的邏輯文檔.風格模塊18 寫入所述文檔20並且顯示模塊10從其中讀取.因而，可以把它看作 起到風格模塊18和顯示模塊IO之間的接口作用.然後將修改的說明 (即，新照片)發送給顯示器10。邏輯地，顯示器10將載入一個完整 的新圖象說明(即，新照片)用於顯示，在可替換的實施方案中，僅 僅再現顯示器中的改變。因而，對同時示出多張照片的照片拼貼來說， 僅僅需要再現變化的照片信息.
應當注意，用戶可以通過與顯示裝置交互，對於下一張照片人工 地輸入"獲得下一張"呼叫。為了在顯示器上保持照片的時間比在這 些規則下會出現的時間長，用戶還可以對於要終止的照片不考慮或者 抑制"獲取下一張"呼叫.除了人工地改變所選照片的顯示持續時間， 用戶還可以在顯示器中四處移動照片，例如象小瓦片到大瓦片那樣改 變它的位置(例如，從圖2中的數"1"到數"2").
如前提到的，圖4中包含了各種選擇規則的例子。雖然這些例子 建議包括標準的如果、那麼形式的格式，但是也可以使用其他的表示。 例如，這些規則可以表現為一套約束條件，或者表現為對照片和它們 可能的顯示說明等的評價功能。例如，採用圖4中的第一種規則
如果圖象被分等級為喜歡，那麼在頂上顯示
約束條件'.VI， j:(等級(照片[i])-等級(照片[j]))(頂 部(照片[i])-頂部(照片[j] ) ) > 0
功能頂部(照片[i])=等級(照片[i] ) /最大_等級 此外，不同類型的規則的組合也可以被想到並且可以被使用。 在可替換的實施方案中，用戶可以擴展並且存儲一個或者多個預 選的演示列表(play list)。這種演示列表可以存儲在用戶計算機的 硬碟中作為一連串的顯示說明文檔，或者當組合到一起成為單個文檔 時，可以是動態顯示說明文檔。提供這種預選列表的好處就是它們可 以是單獨基於用戶對不連續照片的人工選擇，並且不會基於任何元數 據或者本體的等級級別標準.可以預先構建並且存儲各種不同的預選 演示列表，使得單個用戶可以由他或她自由支配而具有一個以上的演 示列表。同樣，多個用戶每個均可以具有他們自己的演示列表.
圖3中提供了另外一個可替換的實施方案的說明，其中系統保持 每張顯示過的照片的頻率統計和顯現持續時間(例如，顯示間隔的開 始時間和結束時間)的日誌，然後根據那個歷史重新顯示它們.這種 歷史可以保持在記錄資料庫8中，並且可以使用統計建模技術概括， 在Vincentus Buil的題目為"項目的選擇"的目前待審批的PCT申 請W002/095611中描述了一種這樣的統計建模技術，在此結合其全部 內容作為參考，其中實施了多媒體內容的受歡迎性和新近性(新鮮 性)。這種技術通過引入額外的稱作"厭膩"的要素而被擴展。"受 歡迎的"照片是那些比其他照片顯示頻率高的照片。"新近的"照片 是那些比其他照片更新近顯示的照片。"厭膩的"照片是那些比其他 照片顯示時間長的照片.為此，讓M表示照片集中照片的數量。
對照片i的受歡迎性的測量可以看作是Pi，其中屍=》，並且其
中iii表示照片i已被顯示的次數。簡而言之，就是照片i已被顯示的 次數相對於所有照片已被顯示過的總次數的比例(從0到1表示)。 必須對極限條件(例如，ni-O)給予特別的關注。 對照片i的新近性的測量可以看作是Ri,其中
formula see original document page 17
，其中t現在表示當前系統時間，並且其中eij
表示照片i的第j個顯示間隔的結束時間。筒而言之，就是從照片i 的最近的顯示開始流逝的時間和所有其他顯示間隔之間的時段平均值
之間的比率。為了使其為一個成比例的數，用計算出來的最大值除Ri。
對照片i的厭膩Si的測量是 ，其中bij表示照片i
的第j個顯示間隔的開始時間。簡而言之，Sij就是照片i的總顯示持 續時間相對於組合的所有照片的總顯示持續時間的百分比的反比例
三個測量結果的對數的凸組合為
M = ^ 1og(《)十mvlog(代)十ws log(&)，其中wp + wr +氣=1是權重並且保持 相等(即，所有的權重都在0到l之間並且合計等於1)，目的是為了 簡單。通過線性轉換，Ui可以轉換成合計等於1的機率值(chance
value) ， .然後通過以如下方式隨機採樣下一張要顯示的
照片來使用這些機率值Ci:顯示頻率最少的、最不新近的並且最厭膩
的照片最有可能是要顯示的下一張照片。
在這個實施方案中，產生了顯示"縫隙"("slot")並且存儲 在用戶計算機的硬碟中。這些"縫隙"是數學表達的一部分，因而它 們可以是不同的持續時間。可替換地，它們可以是相同的持續時間並 且單張照片可以填充幾個連續的縫隙。然後根據剛剛描述過的分析， 系統處理器計算這些照片以填充接下來的"縫隙"。代替之前描述的 基於規則的顯示系統，可以對在給定的顯示頻率和顯示持續時間約束 條件內對適配的照片的屬性值對進行局部查找。然後識別相匹配的照 片作為候選縫隙填充物。出於推斷目的，照片具有(元數據的)屬性 值對，例如由本體可能支持的事件、地點、人物和圖片質量。代替規 則，將照片將要被顯示的時間和內容的願望編碼成約束條件，這些約 束條件是為必須被滿足的縫隙而定義的屬性(predicate)。例如，可
2")
以使用基數約束條件規定允許或者需要多少次將具有特定本質(即具 有特定屬性值對)的照片指定給一個縫隙。 一個約束條件可以規定需
要將"聖誕節"照片指定給50 - 70%的縫隙。應當理解，也可以使用其 他約束條件定義照片在連續縫隙中的指定。 一連串的二進位約束條件 可以規定多對連續的縫隙被指定具有特定屬性值對的照片。例如，涉 及"假期"的照片的顯示應當一個跟一個。同樣地，可以聲明什麼樣 的照片不應當指定給縫隙，或者在整個縫隙中的照片的差異度。應當 理解，因為各個約束條件之間的矛盾，很難同時滿足所有這些約束條 件。 一種解決方法就是將約束條件轉換成分段線性罰函數，這些函數 表示約束條件以成比例的方式被損壞的程度。例如，用於涉及^個縫
隙的基數約束條件的一個示例性罰函數可以表示為
0formula see original document page 19(例如"聖誕節"照片)的照片的縫隙的數量，其中a表示需要的最 小基數，以及b是允許的最大基數。在使用IOO個縫隙的"聖誕節" 照片的例子中，a和b應分別為50和70。所有罰函數的組合涉及在整 個罰函數中的結果，該整個罰函數必須被最小化以解決將照片最佳地 指定給縫隙這一問題，但是近似地指定。罰函數的使用還考慮到將要 指定給照片的用戶等級級別的最佳化或者照片圖象質量的最佳化。通 過進行局部查找來實現最佳化，其中通過對指定次序實施隨機的、小 變化， 一個指定一個指定地步進，從而評價完整的縫隙-照片指定.可 以通過從(部分)照片集中隨機抽出照片並且通過將它們與指定中的 其他照片交換，使用相同的分布或者說明"受歡迎性"、"新近性" 和"厭膩"的分配，來進行這些變化。後面的分配的引入需要使用記 錄資料庫6和所需統計學的估計。如果新產生的指定好於先前的一個， 那麼接受該新的指定並且進入局部搜索的下一個迭代直到找到最佳指 定。目標在於防止局部最佳狀態的一類特殊的局部搜索算法公知為模 擬退火。可以預先脫機執行該過程，其中將照片預先指定給預定數量 的縫隙。同樣地，可以在線並且遞增地實現該過程，其中考慮到對以
前縫隙的照片的指定(即，顯示歷史)和在約束條件中表示的當前佔 優勢的用戶優選級，可以提前計算照片對一小部分縫隙的指定(即， 保持接下來一些照片的窗口 )。顯示歷史可以是由實際的以前的指定
表示，或者是由記錄資料庫6概括。
概念地，在應用級別上，規則解決方法和約束條件滿足系統可以 與之前描述的實施方案相同。但是在實施級別上，使用了不同的算法 接近，正如所提到的。
再一次注意的是，圖1用於提供通過系統1的信息的一般流程的 圖示說明。因此，雖然圖1可能沒有示出各種系統元件之間相互作用 的所有可能變換，但是元件之間的任何適當的相互作用都是可以的。 此外，示出的元件不需要是離散的實體，而是可以分布在剩餘的那些 元件內。因此，所描述的這些元件實際上應當看作是代表性的。例如， 代替提供單獨的元數據資料庫4，用於每個圖象的元數據可以隨圖象本 身一同存儲作為照片集2的一部分，或者可以分布在本體6或者記錄 資料庫8內。
應當注意，雖然已經本發明通常已經關於其用於組織和顯示數字 照片的用途進行了描述，但是本發明的原理可用應用到任何數字圖象 的組織和顯示，無論是拍攝的、掃描的，或者在數字介質中產生的或 者傳送到數字介質中圖象。因此，本發明可以用於對已經掃描的並且 存儲在用戶計算機的硬碟驅動器上的原創藝術品集進行分析和顯示。
因此，雖然參考上述實施方案已經對前述發明進行了描述，但是 在不脫離本發明精神的情況下可以進行各種變形和改動。因此，所有 這樣的變形和改動都看作是在所附權利要求的等價物的範圍內。
權利要求
1.一種用於提供動態照片拼貼的方法，所述方法包括如下步驟接收一組數字圖象(2)；對該組數字圖象中的至少第一和第二圖象指定等級；以及當在顯示裝置(10)上顯示圖象時，使用指定給第一和第二圖象的等級來控制這些圖象相對於彼此的顯示屬性。
2. 根據權利要求l的方法，其中接收一組數字圖象的步驟包括將 所述圖象以數字形式存儲在至少一個存儲介質(2)中。
3. 根據權利要求l的方法，其中指定等級的步驟包括基於圖象質 量、圖象內容或者圖象產生日期，給每個圖象指定至少一個等級。
4. 根據權利要求l的方法，其中顯示屬性為在顯示裝置(10)上 的圖象尺寸、在顯示裝置上的圖象位置、和在顯示裝置上顯示的時段 中的一個。
5. 根據權利要求l的方法，其中當在顯示裝置(10)上顯示第一 和第二圖象時，根據第一和第二圖象的相對等級，第一圖象具有的圖 象尺寸比第二圖象的圖象尺寸大.
6. 根據權利要求1的方法，其中顯示裝置(1)為數碼相框、蜂 窩式電話、個人計算機、或者個人數字助理.
7. 根據權利要求1的方法，還包括將元數據(4)與每個圖象相 關聯的步驟。
8. 根據權利要求7的方法，其中元數據(4)表示圖象被拍攝的 時間。
9. 根據權利要求7的方法，其中元數據(4)表示圖象被拍攝的 地方的GPS坐標.
10. 根據權利要求7的方法，其中還包括基於用戶輸入或者與每 個圖象相關聯的至少一部分元數據(4)，使用本體(6)將一分組標 識符指定給多個數字圖象中的至少一部分。
11. 一種用於顯示數字照片拼貼的系統，所述系統包括 在處理器(100)上運行的程序； 包括多個數字圖象的資料庫(2);與所述多個數字圖象中的每個數字圖象相關聯的元數據(4);以 及與處理器(100)通信的顯示裝置(10)，用於向觀看者顯示所述 多個數字圖象；其中處理器(100)指示顯示裝置(10)顯示所述多個數字圖象中 的至少兩個，所述多個圖像中的每個都具有基於與每個圖象相關聯的 元數據的、在顯示裝置上的顯示尺寸、顯示時間或者顯示位置。12. 根據權利要求ll的系統，其中所述多個數字圖象以數字形式 存儲在至少一個存儲介質(2)中.13. 根據權利要求ll的系統，其中所述元數據包括關於相關聯的 圖象的質量、內容或者產生日期的信息。14. 根據權利要求11的系統，其中所述處理器(100)指示顯示 裝置(10)同時顯示至少兩個圖象。15. 根據權利要求14的系統，其中根據圖象的相關聯的元數據的 對比， 一個圖象具有的顯示尺寸大於另一個圖象的顯示尺寸.16. 根據權利要求ll的系統，其中所述顯示裝置(10)為數碼相 框、蜂窩式電話、個人計算機或者個人數字助理。17. 根據權利要求16的系統，其中所述元數據表示圖象被拍攝的 時間。18. 根據權利要求16的方法，其中所述元數據表示圖象被拍攝的 地方的GPS坐標。19. 根據權利要求16的方法，還包括與所述處理器相關聯的本體 (6)，本體(6)被構造成基於用戶輸入或者與每個圖象相關聯的元數據，將一分組標識符指定給所述多個數字圖象中的至少一部分。20. —種用於顯示多個數字照片的動態照片拼貼，包括 處理器(100);與處理器(100)連接的資料庫(2)，資料庫包括多個數字圖象；與處理器(100)連接的元數據資料庫(4)，元數據資料庫包括 與所述多個數字照片中的每張照片有關的信息；以及與處理器(100)連接的顯示裝置(10),所述資料庫構造成用於 向觀看者顯示所述多個數字圖象；其中處理器(100)構造成指示顯示裝置(10)將所述多個照片中 的每張照片顯示一預定時間，所述預定時間基於與所述多個圖象中的每個圖象相關聯的至少一部分元數據。21. 根據權利要求20的動態照片拼貼，其中所述多個數字圖象以 數字形式存儲在至少一個存儲介質(2)中。22. 根據權利要求20的動態照片拼貼，其中所述元數據包括關於 相關聯的圖象的質量、內容或者產生日期的信息。23. 根據權利要求20的動態照片拼貼，其中所述處理器(IOO) 指示顯示裝置(10)同時顯示至少兩個圖象。24. 根據權利要求23的動態照片拼貼，其中根據圖象的相關聯的 元數據的對比， 一個圖象具有的顯示尺寸大於另一個圖象的顯示尺 寸。25. 根據權利要求20的動態照片拼貼，其中所述顯示裝置(IO) 為數碼相框、蜂窩式電話、個人計算機或者個人數字助理。26. 根據權利要求25的動態照片拼貼，其中所述元數據表示圖象 被拍攝的時間。27. 根據權利要求26的動態照片拼貼，其中所述元數據表示圖象 被拍攝的地方的GPS坐標。28. 根據權利要求20的動態照片拼貼，還包括與所述處理器 (100)相關聯的本體(6)，該本體(6)構造成基於用戶輸入或者與每個圖象相關聯的元數據，將一分組標識符指定給所述多個數字圖象 中的至少一部分。29. —種用於提供動態照片拼貼的存儲介質(200 )，所述存儲介 質包括用於接收一組數字圖象的代碼；用於對該組數字圖象中的至少第一和第二圖象指定等級的代碼；以及用於當在顯示裝置(10)上顯示圖象時，使用指定給第一和第二 圖象的等級來控制這些圖象相對於彼此的顯示屬性的代碼。30. —種用於顯示數字照片拼貼的裝置，所述裝置包括 運行程序的處理器(100); 包括多個數字圖象的資料庫(2);與所述多個數字圖象中的每個數字圖象相關聯的元數據(4);以及與處理器(100)通信的顯示裝置(10)，用於向觀看者顯示所述 多個數字圖象；其中所述處理器(100)指示所述顯示裝置(10)顯示所述多個數字圖象中的至少兩個，這些圖象中的每個圖象具有基於與每個圖象相 關聯的元數據的、在顯示裝置上的顯示尺寸、顯示時間或者顯示位置。
全文摘要
本發明提供一種照片顯示系統，其允許由任何照片集(2)拼貼照片，其中該拼貼以如下方式隨著時間而變化更新時間和顯現形式取決於用戶基於每張照片對照片選定和非選定的選擇。每張照片的顯示動態還取決於照片相對於照片集(2)中的其他照片的特性，包括諸如照片質量和圖片動作的唯一性這樣的要素。
文檔編號G06F17/30GK101111841SQ200680003510
公開日2008年1月23日 申請日期2006年1月26日 優先權日2005年1月28日
發明者J·H·M·科斯特, S·C·波瓦斯, W·R·T·滕卡特 申請人:皇家飛利浦電子股份有限公司