多媒體消息的編排方法
2023-06-16 22:52:56 1
專利名稱：多媒體消息的編排方法
技術領域：
本發明屬於成像領域。更具體地說，本發明涉及合成多媒體消息的自動編排過程，該消息要用來在終端屏幕上顯示，以及要用來使用能夠與終端通信的印表機進行列印。所顯示的合成多媒體消息可包括圖像、文本和聲音(音頻)的實體。這些實體通常由若干原始多媒體消息的內容組成。根據對各種原始多媒體消息的分析來執行自動編排。這種分析特別包括時間、內容的特徵，或者甚至包括組成原始消息的圖像和文本的上下文。
背景技術：
在先有技術中已經公開了實現使多媒體消息能夠通過適配其呈現來發送和接收的通信裝置的方法和系統。國際專利申請WO-0197504描述了MMS類型(多媒體消息傳遞系統)的方法和系統，其中包括能夠經由控制裝置、例如MMS伺服器相互通信並連結到一個或多個印表機的一個或多個終端。通信裝置使包含例如數字圖像和文本的多媒體消息能夠在第一終端與第二終端之間交換。從第二終端進行的列印多媒體消息的請求由發送多媒體消息的第一終端來控制(是否授權、副本的最大數量等)。
歐洲專利申請EP-1085464描述一種裝置，特別是一種方法，它把附加文本元素或者附加圖形元素包含在能夠在終端上顯示的數字圖像中，以便產生包含這些元素的所得圖像。所公開的裝置使包含添加了附加元素的所得圖像的整個多媒體消息能夠一在屏幕上顯示就可容易和有趣地閱讀並得到解釋。例如，圖像的某些區域或部分被文本覆蓋不應當消去圖像內容的某些實體，從而有損於所顯示消息的整體解釋或理解。歐洲專利申請EP-1085464中所述的方法使數字圖像的分析能夠識別和標識所述數字圖像中的「最佳」區域。又稱作候選區的這個最佳區域表示圖像中放置附加元素(文本、圖形元素)的部分。要用來接收這些附加元素的圖像的候選區是色彩或灰度變化小的區域，或者是未包含構成所述圖像內容的實體或受關注主體的區域。該方法還使附加元素的放置或色彩能夠被修改，從而優化所得圖像對於觀看者的整體呈現。
歐洲專利申請EP-1117230描述一種在終端顯示屏幕上呈現來自諸如靜止或動畫(視頻)圖像、文本或聲音(音頻)的多媒體成分的信息的方法和系統。呈現模型(SMIL同步多媒體集成語言)被設計成根據由編譯文件預置的配置以及對應於編程格式來顯示多媒體消息，以便使組成多媒體消息頁面的各種成分的呈現在發送消息的終端與接收所述消息的終端之間同步。這個編程格式定義分別顯示圖像和文本的區域以及組成多媒體消息的組。如果接收終端沒有適合呈現消息的某些成分的特徵，則這些是空白的。
先有技術的裝置無法例如在單頁上得到若干多媒體消息的顯示。
發明內容
本發明的一個目的是提供在至少一頁上自動編排以及在終端屏幕上自動顯示由若干原始多媒體消息組成的合成多媒體消息的過程。
根據本發明的過程包括以下步驟a)從終端鍵盤在終端屏幕上手動顯示至少一個原始多媒體消息的組；b)從終端鍵盤在至少一個所顯示原始多媒體消息的組中手動選擇至少一個原始多媒體消息；c)手動確認在步驟b)中作出的選擇；
d)自動分析和記錄至少一個所選原始多媒體消息的順序數據；e)自動分析和記錄至少一個所選原始多媒體消息的語義數據；f)自動分析和記錄至少一個所選原始多媒體消息之間的關係數據；g)根據所記錄的數據(順序的、語義的和關係的)自動確定至少一個已轉化的多媒體消息；h)在具有第一格式的至少一頁上自動編排由至少一個已轉化多媒體消息組成的合成多媒體消息；i)在終端屏幕上自動顯示合成多媒體消息，同時保持第一格式的尺寸比率；j)從終端鍵盤手動確認合成多媒體消息的顯示。
對一頁或多頁進行編排，所述頁面的數量小於或等於原始多媒體消息的數量。這種編排尤其是根據各包含圖像、文本或聲音實體的原始多媒體消息特有的特徵的自動分析來執行。這種分析則使得能夠在一頁或若干頁上確定合成多媒體消息的優化編排。根據各原始多媒體消息的內容的關鍵特徵來確定合成多媒體消息。這使得不僅能夠得到具有單一視圖或數量減少的視圖的顯示，而且在選擇列印所得合成消息時能夠降低列印成本。單頁或者甚至幾頁被產生，並且包含各原始多媒體消息的所有重要圖像和文本特徵。
合成多媒體消息是根據用戶從終端鍵盤對至少一個原始多媒體消息進行的選擇、然後根據對原始多媒體消息的內容的自動分析而形成的。形成合成多媒體消息的頁面數量少於或等於原始多媒體消息的數量。
本發明在合成多媒體消息的自動顯示之後還允許從終端鍵盤手動使所建議的合成多媒體消息的顯示無效。在這種情況下，本發明方法重新允許具有第二格式的至少一頁上合成多媒體消息的自動編排，然後允許這個合成多媒體消息在終端屏幕上自動顯示。只要根據本發明方法以給定格式顯示的合成多媒體消息不適合用戶，則這樣迭代地進行。
本發明的過程還使對於與終端通信的印表機確認的合成多媒體消息的列印請求能夠從終端鍵盤發送。
通過參照各種附圖來閱讀以下說明，會明白其它特徵和優點。
附圖概述
圖1表示用來實現本發明的硬體環境的一個實例。
圖2表示本發明過程執行的操作的示意圖。
圖3表示原始多媒體消息在終端屏幕上的顯示的一個實例。
圖4表示合成多媒體消息在終端屏幕上根據本發明過程的顯示的一個實例。
發明的詳細描述以下描述是參照各種附圖對本發明的主要實施例的詳細描述。
本發明涉及一個過程，它從一個終端12實現在單頁或者甚至若干頁上對一個或者更通常的是若干多媒體消息的自動編排。有利的是，頁面數量在一和五之間。有利的是，多媒體消息是例如MMS(多媒體消息服務)消息，其中包含數字圖像、與所述圖像相關的文本以及聲音或音頻消息(音樂或旋律)。因此，這些多媒體消息可以在網絡中活動的終端用戶之間交換。各所述用戶能夠例如通過向其中添加文本來修改傳遞消息。
圖1以圖解方式表示用於實現本發明的一個優選實施例。終端12通過鏈路17、18與伺服器14通信。伺服器14通過鏈路20與圖像資料庫15通信。圖像資料庫15存儲或保存例如先前記錄的高解析度數字圖像。伺服器14通過鏈路19與印表機16通信。印表機16例如是採用專用紙(支持)、使它能夠產生優質圖像的印表機；這種印表機，例如噴墨、熱敏、雷射或照相印表機，常用於數字照片處理實驗室(微型實驗室)。可使用用於聯機列印服務的其它圖像支持T恤、身份證照片等。終端12最好是移動終端例如配備了鍵盤19A和顯示屏18A的蜂窩電話，配備了能夠記錄數字快照的照相機模塊的蜂窩電話(電話照相機)，或者配備了能夠從遠程在線相冊下載數字照片的GSM/GPRS或3G類型蜂窩數據機的數位照相機(無線照相機)。在終端12為例如在GSM型網絡(全球移動系統)中工作的移動終端的優選實施例中，網關13實現這個終端12、伺服器14以及待管理的圖像資料庫15之間的通信。例如WAP類型(無線應用協議)的網關13允許由終端12與網絡、例如GSM之間的鏈路17所表示的通信。本發明可在網際網路環境中實現。也就是說，在利用例如「電話照相機」類型的移動終端12的一個優選實施例中，這個終端12能夠與網際網路類型網絡進行通信。例如希望從終端12訪問在例如經由鏈路18連結到網際網路的資料庫15中包含的一個或多個圖像的用戶以用於電話線路的適當協議、例如WAP發送消息。該消息通過網關13傳送，在其中它被轉化為符合用於網際網路的HTTP協議(超文本傳輸協議)的消息。因此，用戶可恢復並在其終端屏幕上顯示來自資料庫15的一個或多個圖像。
在一個特定實施例中，如果終端12例如屬於「電話照相機」類型，則快照直接從終端12獲取，並保存或存儲在所述終端12的存儲器中。在這種情況下，圖像具有例如640×480像素的VGA類型解析度(視頻圖形陣列)。
根據圖2，終端12的用戶從終端鍵盤12手動顯示一個或者通常為若干原始多媒體消息。原始多媒體消息包括數字圖像以及或者至少一個文本消息和/或一個聲音消息。這個聲音消息包括音頻數據、例如已知的音樂或旋律。包含在多媒體消息中的數字圖像可以是靜止的或者動畫的(視頻剪輯)。音頻數據保存在聲音文件中、例如在伺服器14上。根據終端12的顯示屏的大小和容量，一個或多個消息在所述屏幕的一頁上顯示。
在第一實施例中，顯示原始多媒體消息的方法可減少到連續行的顯示，僅給出「消息1」、「消息2」等等。通過單擊「消息1」，相應的多媒體消息則出現在屏幕上，其形式是例如圖像(圖像區25、26、27、28)，在其下方出現一個或多個文本(文本區29、30、31、32)。文本區29、30、31、32也可顯示在圖像區之上或旁邊。文本區29、30、31、32明確地提供圖像固有的一個或多個文本；這是文本較短、即僅由幾個字或表達式組成時的情況。或者，文本區29、30、31、32提供若干行類型「文本1」、「文本2」等，用戶明確地通過單擊「文本1」、「文本2」等使相應文本顯示。
在第二實施例中，根據圖3，原始多媒體消息21、22、23、24以上下形式出現，作為顯示在屏幕18A上的頁面20A。屏幕20的頁面具有例如四條消息。這些原始多媒體消息21、22、23、24中的每個包括圖像區25、26、27、28，文本區29、30、31、32，以及聲音區32A、33；聲音區32A、33表明聲音消息與所述原始多媒體消息22、24相關聯。圖像25、26、27、28中的每個例如以低解析度顯示，使所述圖像的內容可被查看。文本區可如上述第一實施例中那樣顯示縮短的文本(例如「文本1」、「文本2」等等)，或者明確地顯示與原始多媒體消息的圖像相關聯的文本。在聲音消息與原始多媒體消息22、24相關聯的特殊情況下，圖標或區分符號32A、33被顯示；這個區分符號是例如音符。如果用戶希望選擇超過四條消息，則他們使用鍵盤19A滾動其它原始多媒體消息。
根據圖2和圖3，用戶利用終端12的鍵盤19A，從這些原始多媒體消息21、22、23、24的顯示中手動選擇這些所顯示消息中的一個或多個。根據一個特定實施例，利用終端12的鍵盤19A來進行選擇，例如通過指向所選消息21、23、24，通過單擊各個所述消息特定的特殊區域34、35、36。所選消息21、23、24組成例如一個故事，所述消息已經由不同發射器及時連續地傳送。當用戶已經選擇至少一個原始多媒體消息的組時，他們通過利用例如本發明方法特有的、在終端12的屏幕18A上顯示的菜單來確認這樣進行的選擇1。例如「供編排的消息」類型的指示在此菜單中提出。然後，本發明過程允許自動分析為編排選取的原始多媒體消息。這種分析的所得數據被自動保存。分析通過用來實現本發明過程的算法來執行。這個算法包括圖2中以圖解方式表示的一系列指令。在一個優選實施例中，把本發明過程特有的應用或程序安裝在終端12上；在此實施例中，例如使用具有以Java或C++開發的代碼的NOKIATM7650類型的終端。但是，在另一個實施例中，程序還可以安裝在伺服器14上。分析的第一步驟在於自動執行各所選及確認的原始多媒體消息的順序分析2。在數據對應於原始多媒體消息創建的時刻、消息被發送的時刻、消息被接收的時刻、消息的發射器的標識、所述消息的接收器的標識的時間，這個順序分析2實現了表徵。根據此實施例，所分析的順序數據被保存到終端12的存儲器或者被保存到伺服器14的存儲器。
分析的第二步驟在於自動執行原始多媒體消息的語義分析4。這個語義分析是原始多媒體消息的整個內容的分析消息內容固有的圖像、文本、聲音或語音。本發明方法的算法例如僅讓最初相當長的文本能夠留待稍後編排，同時利用所述文本的關鍵字保持文本的含義。根據此實施例，所分析的語義數據被保存到終端12的存儲器或者被保存到伺服器14的存儲器。
在本發明的另一個實施例中，語義數據的自動分析和記錄的步驟在順序數據的自動分析和記錄的步驟之前執行。
分析的第三步驟在於自動執行所選原始多媒體消息之間的關係分析3。本發明過程的算法使連結或對應關係能夠在分別組成各種所選原始多媒體消息21、23、24中每一個的圖像、文本和聲音之間建立。關係分析利用所有先前保存的順序和語義數據來執行。這個關係分析使關係數據能夠被建立，關係數據對應於各所選原始多媒體消息的相應內容之間存在的連結或對應關係，並且被連結到各所述消息的相應含義；這就能夠通過使用順序和語義數據自動確定權衡各個所選原始消息之間的現有關係等級的關係數據。關係數據被保存到終端12的存儲器或者被保存到伺服器14的存儲器。
本發明過程的算法利用所有已保存的順序、語義和關係數據，自動確定至少一個已轉化多媒體消息38、39、40、41、42、43。例如根據兩個原始多媒體消息之間的現有關係等級，本發明過程的算法允許各所述原始消息的相應圖像調整大小、縮放、僅保持一個受關注區域(例如面部)，和/或僅保持組成所述原始消息的文本的一部分或若干文本部分。在多媒體消息包括作為視頻剪輯的圖像的一個實施例中，本發明過程例如實現對所述視頻剪輯的關鍵圖像的確定；這個關鍵圖像則由本發明過程進行處理，以便被包含在合成多媒體消息中。
因此，本發明過程實現對作為原始多媒體消息的轉化的多媒體消息的確定，因為只有原始消息的關鍵部分被保留。這個轉化6具有預測目標，尤其旨在優化以後的編排。當然，並非所有所選原始多媒體消息21、23、24都必需被轉化。已轉化多媒體消息38、39、40、41、42、43在整體內容(圖像、文本和聲音)上可與所選原始多媒體消息21、23、24相同。在這個轉化步驟之後，已轉化多媒體消息的數量等於原始多媒體消息的數量。所有所述已轉化消息構成合成多媒體消息。
根據圖4，本發明過程然後在具有給定格式的至少一頁37上自動編排7由各個已轉化多媒體消息組成的合成多媒體消息。圖4說明例如六個所選多媒體消息38、39、40、41、42、43的編排。然後，合成多媒體消息根據本發明過程給定的格式在終端屏幕12上自動顯示8。圖4說明一個實例，其中，本發明過程在單頁37上編排六個多媒體消息。這意味著，或者只有六個多媒體消息在先前被選取及確認，然後在此頁37上編排出來，或者更多數量的消息、例如十、十二或十八條消息被選取及確認。如果十條消息被選取及確認，則本發明過程根據對這些消息的自動分析以及編程格式，在第一頁37上編排和顯示例如六條消息，然後在第二頁37上編排和顯示四條消息。如果十二條消息被選取及確認，則本發明過程根據對這些消息的自動分析和編程格式，在第一頁37上編排和顯示例如六條消息，然後在第二頁37上編排和顯示六條消息。如果十八條消息被選取及確認，則本發明過程根據對這些消息的自動分析以及編程格式，在第一頁37上編排和顯示例如六條消息，在第二頁37上編排和顯示六條消息，以及在第三頁37上編排和顯示六條消息。當合成多媒體消息在若干頁37上被編排和顯示，則各所述頁37在屏幕18上的顯示可通過利用終端12的鍵盤19A來手動執行。但是，在本發明的有利實施例中，若干頁37的顯示根據設定的顯示時間自動執行，例如每頁顯示十或十五秒。對於各頁有利地設置顯示時間，或者對於一組頁面全局設置顯示時間，各所述頁面自動顯示實際上等於全局設定時間的約數的時間。顯示時間可從鍵盤19A進行修改。特徵在於其寬度44及其高度45的格式由本發明方法根據最初編程的格式數據自動選取。尺寸比率表徵例如格式的高度和寬度之比。合成多媒體消息以作為位圖文件(像素)的圖像(圖像格式)顯示。根據圖4所示的附圖，以及根據消息38、39、40，所顯示的圖像表示例如一人或多人的面部，以及對應於所述人群之間的語言交流的文本在特定區域46、47、48、49中顯示；這些區域46、47、48、49例如在圖像中以氣球表示。如果所顯示的合成多媒體消息37適合已請求此編排的終端12的用戶，則所述用戶從終端12的鍵盤19手動確認10所建議的顯示。本發明過程還使用戶能夠例如由終端12的屏幕上顯示的菜單執行已確認合成多媒體消息的列印請求11。根據圖1，印表機16例如在一張照片紙上、以其尺寸比與自動編排的大小相同的格式產生合成多媒體消息。因此，本發明過程允許產生少於或等於原始多媒體消息的數量的多張列印紙，所有所述消息例如講述一個故事。因此，有利地節省了列印紙。
在一個特定實施例中，本發明過程還允許通過利用取決於與多媒體消息連結的上下文的分析規則5來確定已轉化多媒體消息。這些分析規則5包含在算法中，並且使指令能夠被執行，根據所述消息的性質專業上下文(房地產、保險、公安等)、節假日、家庭、夜間環境等，這些指令加入對消息的語義分析，影響已轉化多媒體消息的呈現，從而影響編排。分析規則根據在各上下文中最可能發生的事件來擬訂。這些最可能的事件允許例如保留圖像實體的表徵，以便確定已轉化多媒體消息，或者例如保留關鍵字，以便形成已轉化多媒體消息的文本。
本發明過程的算法的目的是優化一組所選原始多媒體消息的編排，以便根據可用的編程格式形成合成多媒體消息。但是，如果用戶決定宣告編排無效，則本發明過程通過使用與對應於已宣告無效的編排的第一格式不同的第二格式，使另一個編排9能夠自動執行。用戶可以選擇確認10此第二編排，或者繼續使其無效。本發明過程根據不同於第一和第二格式的第三格式使第三編排能夠自動執行。無效宣告可按照這種方式重複進行，只要還有尚未用來執行自動編排的不同編程格式。換言之，如果本發明過程中的編程格式的數量為「n」，其中「n」為整數，則本發明過程使本發明過程自動確定的編排能夠被取消「n」次。一旦所有可用的編程格式已經被宣告無效，則本發明過程再次向用戶提出第一個已宣告無效的格式，然後是第二個，等等。在這種情況下，用戶僅可選擇從「n」中確認最適合他們的格式。在本發明的優選實施例中，編程格式的數量在一和十之間。但是，對於實現本發明過程，沒有「n」的上限。
雖然已經參照其優選實施例描述了本發明，但是應當清楚，在權利要求的範圍內可產生變化和修改。
權利要求
1.一種實現在至少一頁(37)上的合成多媒體消息的自動編排以及所述合成多媒體消息在終端(12)的屏幕(18A)上的自動顯示的方法；所述合成多媒體消息通過從所述終端(12)的鍵盤(19A)執行的至少一個原始多媒體消息(21)、(23)、(24)的選擇，然後再通過對所述原始多媒體消息的內容的自動分析來形成，所述頁面(37)的數量少於或等於所述原始多媒體消息(21)、(23)、(24)的數量。
2.如權利要求1所述的方法，其特徵在於，它包括以下步驟a)從所述終端(12)的所述鍵盤(19A)在所述終端(12)的所述屏幕(18A)上手動顯示至少一個原始多媒體消息(21)、(22)、(23)、(24)的組；b)從所述終端(12)的所述鍵盤(19)在至少一個所顯示的原始多媒體消息(21)、(22)、(23)、(24)的組中手動選擇至少一個原始多媒體消息(21)、(23)、(24)；c)手動確認(1)在步驟b)中作出的選擇；d)自動分析和記錄所述至少一個所選原始多媒體消息(21)、(23)、(24)的順序數據(2)；e)自動分析和記錄所述至少一個所選原始多媒體消息的語義數據(4)；f)自動分析和記錄所述至少一個所選原始多媒體消息之間的關係數據(3)；g)根據所記錄的數據(順序的、語義的和關係的)自動確定(6)至少一個已轉化多媒體消息(38)、(39)、(40)、(41)、(42)、(43)；h)在具有第一格式的至少一頁(37)上自動編排(7)由所述至少一個已轉化多媒體消息組成的合成多媒體消息；i)在所述終端屏幕上自動顯示(8)所述合成多媒體消息，同時保持所述第一格式的尺寸比率；j)從所述終端鍵盤手動確認(10)所述合成多媒體消息的顯示。
3.如權利要求2所述的方法，其特徵在於，語義數據的自動分析和記錄的步驟(4)在順序數據的自動分析和記錄的步驟(2)之前執行。
4.如權利要求2所述的方法，其特徵在於，所述已轉化原始多媒體消息(38)、(39)、(40)、(41)、(42)、(43)與所述所選原始多媒體消息(21)、(23)、(24)一致。
5.如權利要求2所述的方法，其特徵在於，所述單頁的第一格式是從所述終端鍵盤手動選取的。
6.如權利要求2所述的方法，其特徵在於，所述已轉化多媒體消息的自動確定還利用取決於與所述多媒體消息連結的上下文的分析規則(5)來執行。
7.如權利要求1到6中任一項所述的方法，其特徵在於，若干頁面(37)的顯示是通過從所述鍵盤(19A)手動地或者根據設定的顯示時間自動地在所述終端(12)的屏幕(18A)上接連地顯示所述頁面(37)來執行的。
8.如權利要求2所述的方法，其特徵在於，它在自動顯示所述合成多媒體消息之後還包括以下步驟a)從所述終端鍵盤手動取消(10)所述合成多媒體消息的顯示。b)在具有與所述第一格式不同的第二格式的至少一頁(37)上自動編排(7)所述合成多媒體消息；c)在所述終端的屏幕上自動顯示(8)所述合成多媒體消息。
9.如權利要求8所述的方法，其特徵在於，所述取消被執行(n)次，(n)是使所述合成多媒體消息的編排能夠執行的可用不同格式的數量。
10.如權利要求9所述的方法，其特徵在於，(n)是在一和十之間的整數。
11.如權利要求2所述的方法，其特徵在於，所述所選原始多媒體消息(21)、(23)、(24)包括數字圖像(25)、(27)、(28)。
12.如權利要求2所述的方法，其特徵在於，所述所選原始多媒體消息(21)、(23)、(24)包括數字圖像(25)、(27)、(28)以及至少一個文本消息(29)、(31)、(32)。
13.如權利要求2所述的方法，其特徵在於，所述所選原始多媒體消息(21)、(23)、(24)包括數字圖像(25)、(27)、(28)、至少一個文本消息(29)、(31)、(32)以及音頻數據(33)。
全文摘要
本發明屬於成像領域。更具體來說，本發明涉及在至少一頁(37)上合成多媒體消息的自動編排過程，該消息要用來在終端屏幕上顯示，以及要用來使用與終端通信的印表機來列印。所顯示的合成多媒體消息可包括圖像、文本和聲音(音頻)的實體。這些實體通常由若干原始多媒體消息的內容組成。這些原始多媒體消息分別被轉化成合成多媒體消息(37)中的消息(38)、(39)、(40)、(41)、(42)、(43)。自動編排根據各種原始多媒體消息的分析來執行，它是一種特別結合了時間、內容的特徵或者甚至組成原始消息的圖像和文本的上下文的分析。本發明的過程用於配備顯示屏幕的終端上的應用中，所述終端能夠與印表機通信。
文檔編號G06F3/12GK1675917SQ03818924
公開日2005年9月28日 申請日期2003年7月25日 優先權日2002年8月8日
發明者O·A·C·菲龍, J·-M·沃 申請人:伊斯曼柯達公司