使用多媒體用戶簡檔信息結構的多媒體檢索和瀏覽方法
2023-05-30 18:25:36
專利名稱：使用多媒體用戶簡檔信息結構的多媒體檢索和瀏覽方法
技術領域：
本發明涉及一種使用多媒體用戶簡檔信息結構的多媒體檢索和瀏覽方法，特別涉及使用這樣一種多媒體用戶簡檔信息結構的多媒體檢索和瀏覽方法它能夠依據用戶優先選擇來顯示檢索項目，並且能通過這些基於用戶優先選擇顯示的檢索項目檢索和瀏覽相關的多媒體。
通常用戶可以通過接收由廣播站發出的視頻信號和音頻信號來觀看電視，也可以通過同樣的途徑在電影院中觀看電影。
然而該用戶可能想觀看一齣戲劇或是一部電影中的某一段，因此，已經有基於各種視頻媒體的相關技術出現，以使用戶可以選擇戲劇或電影的某一段。
例如，用戶可以通過一個像LAN(區域網)這樣的網絡與一個視頻提供方聯接，從而有選擇性的挑選一齣戲劇或一部電影。
此外，用戶還可以有選擇性的再現他所選擇的戲劇或電影中的某一段運動畫面，該畫面顯示的可以是該用戶想要觀看的人物、事件、地方或物品。
此外，用戶不需要再現全部內容也可以自動的、快速的重現視頻內容的重要部分，這些視頻內容可以是新聞節目，體育節目，或是一部電影，對於表示每一幅運動畫面段落的關鍵幀，用戶還可以通過設置並顯示這些關鍵幀，再現定製的運動畫面。
已經有某些技術來實現上述功能。
例如，有一種技術，將各種視頻內容分成多個包含內容組，如模式組、索引組、媒體組、段組、對象組、表示組的列表，當用戶想觀看時，該技術能夠在列表中選擇一個對象，並且重現某一顯有所選對象的段。該技術還可以顯示所選對象，例如人物、物品(對象名稱，屏幕上的位置，該對象在此視頻內容中的數量值等)在對象組和說明組中的相關信息。
另外，還有一種技術能夠提供一些列表，這些列表是關於視頻內容製作前，製作中或者製作後產生的各種附加信息。
例如，附加信息列表可以提供視頻內容中人物及物體位置的相關信息，還可以在用戶選擇一個對象時產生相應場景。
而且，當所選對象是一件物品時，它將顯示物品的相關信息，如製造商，價格等，並且和物品的製造商或銷售代理建立聯接。
另外，還有一種技術可以提供一種含有視頻內容每一部分信息的部分映射。
換句話說，該部分映射顯示了視頻內容每一部分的信息(項目暴力，提示，價值，人物，職務，困難等)，用戶可以通過登記該視頻部分映射中各項目的用戶優先級，在視頻內容中重現想要的部分，還可以限制無法確認身份的用戶傳輸某一特定內容。
另外，還有一種技術能夠圖示若干運動圖像的時間關係圖。
然而，理解該若干運動圖像的時間關係圖的情節是有困難的，因為這就如同只觀看幾幅代表性場景。
上面所述的傳統的活動畫面檢索技術，只是顯示一些列表，列表中說明戲劇或電影中所顯示對象的各種信息。並且根據用戶的選擇執行功能。
此外，由於用戶可以獲得一部分與所選項目相關的多媒體，有效的檢索和瀏覽這些多媒體也是可能的。
然而，隨著多媒體數目的增加，檢索或瀏覽的項目也不得不增加。於是對一些根據用戶的優先選擇，選擇性的顯示檢索項目的技術產生了需求，並進行了開發。
例如，有一種自動設置方法，當用戶通過存儲一個電視頻道，一種音樂類型，或用戶喜愛的音量而動手處理該系統時，該方法可以自動設置系統並使用存儲的信息。
另一種根據用戶喜好，檢索節目的方法，是通過比較用戶優先級表和節目特徵表，節目特徵表中存儲的是諸如人物，節目類型，體育類別，體育團隊等等一類的信息。
還有一種方法可以根據用戶的需求，通過比較商品已經存儲的特徵(尺寸，價格，功能等)和用戶要求的特徵來檢索商品。
還有一種方法能通過了解用戶的優先選擇，自動設置視頻顯示單元的參數，如音量，亮度。
還有一種方法，用戶無論何時查看電子郵件(E-mail)時，都能根據用戶的喜好顯示電子郵件。
還有一種方法能通過了解用戶的優先選擇提供定製的電子報紙。
上述多媒體檢索和瀏覽系統存儲了需被檢索/瀏覽的檢索項目的優先級，並且根據該優先級檢索/瀏覽多媒體。
在以上系統中，有一個檢索器和一個瀏覽器為用戶顯示檢索項目(如人物，地點，事件，物品，關鍵幀等)，有多種方法向用戶顯示這些檢索項目。
例如，可根據各種標準顯示檢索項目，比如字母順序，顯示號碼，優先級，出現順序等。
對於這些標準，每一用戶可有不同的優先選擇，但傳統技術並沒有考慮到標準中的這種不同。
本發明的目的在於提供一種使用多媒體用戶簡檔信息結構的多媒體檢索和瀏覽方法，該方法能夠依據用戶優先選擇來顯示檢索項目，並且能通過使用這些基於用戶優先級顯示的檢索項目來檢索和瀏覽相關的多媒體。
為實現上述目的，這種用於索引和瀏覽多媒體對象的多媒體用戶簡檔信息結構，包括檢索項目標準排序信息以及用戶對檢索項目排序標準的優先選擇信息，前一信息用於檢索和瀏覽多媒體對象，後一信息則顯示在用戶首選的安排中將要瀏覽的檢索項目。
為實現上述目的，一種用於檢索和瀏覽多媒體的檢索項目優先級信息結構包括一個多媒體數據流形式的檢索對象，一個作為索引標準的檢索項目，連接每一檢索項目和檢索對象的連接信息，用於表明每一檢索項目排序標準的排序標準信息，包含符合每一排序標準的排序信息的多媒體對象，表明可作為檢索和瀏覽標準的項目的項目類別，含有表明在每一項目類別中該多媒體對象的排序信息的優先級的優先級值的用戶簡檔，以及根據每一用戶的喜好顯示每一檢索項目。
為實現上述目的，一種使用多媒體用戶簡檔信息、用於索引和瀏覽多媒體對象的多媒體瀏覽和檢索方法，包括一個顯示處理過程和一個瀏覽處理過程，顯示處理過程通過使用檢索項目排序標準信息，以及使用含有與該檢索項目排序標準相關的用戶優先級信息的用戶簡檔，根據用戶優先選擇，在基於檢索項目排序標準產生的用戶優先級的順序下顯示檢索項目，瀏覽處理過程用於在檢索到由基於用戶優先級顯示的檢索項目所指示的檢索對象後瀏覽檢索對象。
為實現上述目的，一種使用用戶簡檔信息結構、用於索引和瀏覽多媒體對象的多媒體瀏覽和檢索方法，包括多媒體數據流形式的檢索對象，作為索引標準的檢索項目，連接每一檢索項目和檢索對象的連接信息，用於表明每一檢索項目排序標準的排序標準信息，包含按照每一排序標準的排序信息的多媒體對象，表明可作為檢索和瀏覽標準的項目的項目類別，包含表明在每一項目類別中該多媒體對象的排序信息的優先級的優先級值的用戶簡檔，在檢索和瀏覽多媒體時用於選擇每一檢索項目上按用戶簡檔的優先級值排列的排序標準信息的選擇處理過程，通過使用該用戶簡檔中的排序標準信息顯示多媒體項目的顯示過程以及在檢索到基於用戶優先級顯示的檢索項目所指示的檢索對象後，瀏覽該檢索對象的瀏覽處理過程。
圖1示出本發明實施例中的一個多媒體數據結構。
圖2示出圖1所示多媒體數據結構的另一實施例。
圖3A-3D示出圖1所示多媒體數據結構的另一實施例。
圖4示出本發明檢索項目排序標準優先級信息結構。
圖5示出本發明檢索項目優先級信息結構。
圖6示出了本發明檢索項目優先級的實施例。
圖7示出使用圖6所示用戶優先級的視頻瀏覽器。
圖8A-8B示出按照排序標準信息的一個多媒體對象的排序信息。
圖9示出使用圖8所示多媒體對象的檢索項目排序標準優先級信息結構。
圖1示出本發明實施例的一個多媒體數據結構。
如圖1所示，多媒體對象101包括一個用於檢索和瀏覽的檢索項目102和一個被檢索和瀏覽的檢索對象103。
檢索項目102包括說明該檢索項目所屬類別的檢索項目類104和用於連接檢索對象的檢索對象連接信息105。
當多媒體對象101是運動畫面時，檢索項目102中包括的項目可以是一個人物或一個事件。
檢索對象103可以是顯示該人物或事件的一段畫面，而檢索對象連接信息105可以是用於連接相關人物和事件到相應段的信息。
圖2示出圖1所示多媒體數據結構的另一實施例。
首先，一個音頻-視頻描述方案201，包括一個用於描述顯示該多媒體對象的畫面段的DS句法(描述方案)202，和一個用於描述有意義信息的DS語義(描述方案)203。
該DS句法(描述方案)202包括一個作為真實運動畫面段的段DS(描述方案)204，一個活動範圍DS(描述方案)205和一個段/活動範圍關係圖206。
該DS語義(描述方案)203包括一個用於描述諸如人物、地點一類對象信息的對象DS(描述方案)207，一個用於描述事件的事件DS(描述方案)208和一個用於描述人物、地點或事件間關係的對象/事件關係圖209。
此處，檢索項目102包括段DS(描述方案)204，活動範圍DS(描述方案)205，段/活動範圍關係圖206，對象DS(描述方案)207，事件DS(描述方案)208，對象/事件關係圖209，而項目類104將上述檢索項目分類。
圖3A-3D示出圖1所示多媒體數據結構的另一實施例。
換句話說，圖3A-3D示出了圖1所示多媒體對象101的項目類104和檢索對象103的示例，圖3A-3D是對圖1的細節描述。
首先，項目類104可以是所有的檢索項目，如人物，關鍵幀，地點，男/女演員，物品，關鍵字，音樂等。
檢索對象103可以是一段顯示人物的運動畫面段，由關鍵幀代表的運動畫面段，一出顯有某一男/女演員的電影或戲劇，包括某一關鍵字的文檔，或者是一段記載了和特定曲調相似的曲調的音頻節奏等。
圖3A示出一個普通文本文檔項目，該文本文檔是項目類104中的一個關鍵字，檢索項目102可以是關鍵字1，關鍵字2，關鍵字3,…，關鍵字N。
檢索對象103可以是文檔1，文檔2，文檔3,…，文檔N。
圖3B示出運動畫面項目類，該項目類是人物，該檢索項目可以是人物1，人物2，人物3,…，人物N。
另外，該檢索對象103可以是顯示相關人物的外形段N。
圖3C示出運動畫面項目類的另一個例子，該項目類104是關鍵幀，該檢索項目102可以是關鍵幀1，關鍵幀2，關鍵幀3,…，關鍵幀N。
該檢索對象103可以是外形段1，外形段2，外形段3,…，外形段N。
圖3D示出運動畫面項目類的另一個例子，該項目類104是演員名字，檢索項目102可以是演員1，演員2，演員3,…，演員N。
該檢索對象103可以是電影1，電影2，電影3,…，電影N。
圖4示出本發明檢索項目排序標準優先級信息的結構。
換句話說，它描述了一個用戶簡檔信息結構，該結構包括檢索項目排序標準的優先級。該優先級表明了一個如圖1或圖3所示的多媒體對象體結構的用戶優先級，以下將作更詳細的描述。
首先，檢索項目排序標準信息401包括一個檢索項目類402，和一個根據該項目類決定檢索項目排序的項目排序標準403。
該項目排序標準403包括一個標準類別404，和一個關於每個標準類別的優先級值405。
因此，圖1或圖3中的多媒體對象，可以通過使用圖4中表明檢索項目排序標準的用戶簡檔信息來檢索。
另外，在瀏覽該多媒體對象時，檢索項目可以通過按照用戶優先選擇得出的檢索項目排序標準來顯示。
據此，當用戶檢索和瀏覽某一對象時，檢索器為用戶顯示檢索項目。檢索項目排序是根據例如圖4中所述用戶簡檔信息中的項目排序標準403來實現的。
例如，當要檢索和瀏覽運動畫面中的一個人物時，該項目排序標準403可以是該人物的出現次數或是該人物的年齡，此檢索和瀏覽是通過使用該運動畫面的關鍵幀來實現的，項目排序標準403可以是由關鍵幀代表的運動畫面的時間排序，關鍵幀的亮度，或是關鍵幀圖像的色彩。
另外，該項目排序標準403的優先級值405是用戶存儲的信息。
當用戶選擇了首選的標準，在項目排序標準403中存儲該標準，並且使用檢索器進行檢索和瀏覽時，該檢索器會基於用戶關於該項目排序標準的優先級值進行顯示。
圖5示出本發明中檢索項目優先級信息結構。
如圖5所述，檢索項目優先級501包括一個檢索項目502，一個項目類別503，一個項目優先級504，和一個優先級值505。
項目類別503可以是上文描述的人物，地點，和關鍵幀。
當項目類別是人物時，檢索項目502可以是人物1,…，人物N。
項目優先級504描述了項目類中某一檢索項目如人物，地點，關鍵幀等的用戶優先級，其值為優先級值505。
圖6示出了本發明中檢索項目優先級的實施例。
如圖6所述，當檢索類別是人物時，用戶優先級被描述為每一個人物(人物1,…,N)的每一個檢索項目的特定值。
例如，人物1可以是優先級『100』，人物3可以是優先級『46』，優先級值顯示在每一檢索項目(人物)上。
換句話說，多媒體檢索器和瀏覽器可以從帶有該優先級信息的用戶簡檔中顯示人物如人物1，人物2，人物3,…，人物N。
另外，用戶通過觀看按用戶優先選擇順序(優先級)顯示的檢索項目，可以很容易的檢索/瀏覽顯示有相關人物的片段。
圖7示出使用圖6中用戶優先選擇的視頻瀏覽器。
換句話說，它描述了基於人物顯示的運動畫面瀏覽器。
如圖7所示，檢索項目從人物1到人物N(N=4)按照用戶優先選擇的順序，在一個人物屏幕701上顯示。
於此，當用戶選擇人物1時，相應於顯有人物1的運動畫面(檢索對象)的關鍵幀被顯示在一個主要場景屏幕702上。這裡，當用戶選擇場景3時，主屏幕703重現相關的運動畫面段。
圖8A-8B按照排序標準信息示出一個多媒體對象的排序信息。
圖8A示出一個包括對象信息802和排序信息803的對象DS。
圖8B示出基於三個排序標準信息(優先權，年齡，名字)的排序信息。
換句話說，當對象DS(描述方案)801是圖2所述多媒體結構中的一個人物，對象DS(描述方案)包括顯示對象類型和對象名稱的目標意義信息，和顯示排序標準信息和排序關鍵字的排序信息。
這裡，對象DS(描述方案)顯示基於三個排序標準信息(如優先權，年齡，姓名)的排序信息。
如圖8B所示，人物A1,T2,T1,B2,…，是根據優先權顯示的，人物B2,A1,B2,…，是根據年齡顯示的，而人物A1,A2,A3,B1,…，是根據姓名顯示的。
圖9示出使用圖8中多媒體對象的檢索項目排序標準優先級信息的結構。
如圖9所示，檢索項目排序標準優先級901包括一個關鍵項目902和一個排序優先級903。
排序優先級903包括一個標準參考904和一個優先級值905。
標準參考904指示的是多媒體對象上顯示的排序標準信息。而優先級值905表示這些參考排序標準的優先級。
因此，通過參考來自圖8的多媒體對象基於用戶優先級的檢索項目排序和利用檢索項目排序的多媒體檢索和瀏覽是可能的。
換言之，基於排序標準優先級值905的標準參考904通過使用用戶簡檔中描述的檢索項目排序標準優先級901，在圖8所示多媒體對象數據結構的排序標準信息的基礎上顯示該多媒體對象的檢索項目。
之後，從顯示信息中實現關於相關多媒體對象的檢索和瀏覽。
如上所述，當與多媒體有關的檢索項目顯示後，通過按照用戶優先選擇在檢索項目排序標準中選擇一個標準後顯示該檢索項目，本發明能有效實現多媒體對象的檢索和瀏覽。
另外，本發明可以應用於多媒體業務系統中，如VTR(錄像機)，VOD(視頻點播)，AOD(音頻點播)，網際網路等…另外，本發明可以根據用戶的優先選擇很容易地檢索/瀏覽對象。
權利要求
1．一種用於索引和瀏覽多媒體對象的多媒體用戶簡檔信息結構，其特徵在於該結構包括用於檢索和瀏覽多媒體對象的檢索項目排序標準信息；和用於顯示將要按用戶首選的安排瀏覽檢索項目的關於檢索項目排序標準的用戶優先級信息。
2．根據權利要求1所述的多媒體用戶簡檔信息結構，其特徵在於用戶簡檔包括項目類，該項目類可以作為檢索和瀏覽的標準，以便獲得根據每一用戶喜好顯示的每一瀏覽和檢索項目排序。
3．根據權利要求2所述的多媒體用戶簡檔信息結構，其特徵在於用戶簡檔還包括項目排序標準，以便決定基於每一項目類的檢索項目的排序。
4．根據權利要求3所述的多媒體用戶簡檔信息結構，其特徵在於項目排序標準包括標準類別，用於說明標準的類別。
5．根據權利要求4所述的多媒體用戶簡檔信息結構，其特徵在於項目排序標準還包括優先級信息，用於說明相關標準類的優先級。
6．根據權利要求4所述的多媒體用戶簡檔信息結構，其特徵在於其標準類說明相關項目用戶文件的優先級，並根據用戶簡檔優先級顯示檢索項目。
7．一種使用用於索引和瀏覽多媒體對象的多媒體用戶簡檔信息的多媒體檢索和瀏覽方法，其特徵在於該方法包括通過使用檢索項目排序標準信息和一個包括關於該項目排序標準的用戶優先級信息的用戶簡檔，根據用戶的優先選擇，以基於項目排序標準的用戶優先級顯示檢索項目；以及在檢索到按照用戶優先級顯示的檢索項目所指示的檢索對象後瀏覽該檢索對象。
8．一種用於檢索和瀏覽多媒體的檢索項目優先級信息結構，其特徵在於該結構包括多媒體數據流形式的檢索對象；作為索引標準的檢索項目；連接每一檢索項目和檢索對象的連接信息；說明每一檢索項目排序標準的排序標準信息；以及包含按照每一排序標準的排序信息的多媒體對象。
9．根據權利要求8所述、用於檢索和瀏覽多媒體的檢索項目優先級信息結構，其特徵在於該用於檢索和瀏覽多媒體的檢索項目優先級信息結構還包括用於表明可作為檢索和瀏覽標準的項目的項目類；和包括表明每一項目類中該多媒體對象排序信息優先級的優先級值的用戶簡檔。
10．根據權利要求8或9所述、用於檢索和瀏覽多媒體的檢索項目優先級信息結構，其特徵在於該用於檢索和瀏覽多媒體的檢索項目優先級信息結構，使每一檢索項目根據每一用戶的喜好的順序顯示。
11．一種使用用戶簡檔信息結構、用於索引和瀏覽多媒體對象的多媒體檢索和瀏覽方法，其特徵在於該方法包括步驟多媒體數據流形式的檢索對象；作為索引標準的檢索項目；連接每一檢索項目和檢索對象的連接信息；說明每一檢索項目排序標準的排序標準信息，包括按照每一排序標準的排序信息的多媒體對象；用於說明可以作為檢索和瀏覽標準的項目的項目類；包含說明每一項目類中該多媒體對象排序信息優先級的優先級值的用戶簡檔；在檢索和瀏覽多媒體時根據每一檢索項目中該用戶簡檔的優先級值的順序選擇排序標準信息；通過使用該用戶簡檔的排序標準信息顯示多媒體項目；以及在檢索到根據用戶優先級顯示的檢索項目所指示的檢索對象後瀏覽該檢索對象。
全文摘要
一種使用用戶簡檔信息結構的多媒體檢索和瀏覽方法。該方法可通過使用檢索項目排序標準信息和包括關於該項目排序標準的用戶優先級信息的用戶簡檔,根據用戶的優先選擇,按基於項目排序標準的用戶優先級顯示檢索項目,並在檢索到基於用戶優先級顯示的檢索項目所指示的檢索對象後瀏覽該檢索對象。本發明可用於多媒體業務系統如數字VTR(錄像機),VOD(視頻點播),AOD(音頻點播),網際網路。另外,用於檢索和瀏覽多媒體的用戶簡檔更易於根據用戶喜好檢索和瀏覽多媒體。
文檔編號G06F17/30GK1319815SQ0013471
公開日2001年10月31日 申請日期2000年9月22日 優先權日1999年9月22日
發明者宋政珉, 李掘秀 申請人:Lg電子株式會社