多媒體數據的搜索或瀏覽方法和數據結構的製作方法
2023-06-10 17:48:21
專利名稱：多媒體數據的搜索或瀏覽方法和數據結構的製作方法
技術領域：
本發明涉及數據的搜索或瀏覽方法，具體涉及多媒體數據如圖像或視頻的搜索或瀏覽方法。
近來，數字圖像信號處理技術得到極大發展並被應用於各種領域。例如，數字圖像信號處理技術可用於搜索系統，該系統可自動地僅僅編輯電影或戲劇的移動圖像文件中特定人物的面容，數字圖像信號處理技術還可用於安全系統，該安全系統只允許在該系統註冊的人使用，數字圖像信號處理技術還可用於一種搜索系統，該搜索系統可以從檢測系統檢測到的圖像或視頻中搜索特定數據。以上這些系統的性能主要依賴於檢測或搜索所需目標的準確性和速度。因此，在現有技術中提出了各種各樣的圖像搜索方法。
美國專利5，579，471「圖像查詢系統和方法」公開了一種圖像搜索系統，該系統利用顏色、紋理或形狀等特徵檢測要搜索的圖像的相似性程度。取決於要搜索的圖像，每個特徵的重要性可能會有所不同並且在一個特定的特徵如顏色內特徵元素如紅色或綠色的重要性也會有所不同。但是，對於每個要搜索的圖像，上面的搜索系統並沒有把各種特徵或特徵元素的不同重要性考慮進去。
在另一種名為「Virage圖像搜尋引擎」(www．virage．com)的搜索方法中，用戶通過指定權數值直接輸入不同特徵如顏色、紋理和形狀的重要性級別。儘管使用這種方法根據各個特徵的重要性可以搜索圖像，但是用戶很難確定各個特徵的重要性。
因此，Yong Rui在SPIE卷3312的名為「交互作用中的相關性反饋技術」中公開了一種方法，在該方法中，找出與參考圖像相類似的圖像，然後通過計算找出的圖像間的相似性自動獲得特徵的重要性或特徵的權數。但是，在對特定圖像的搜索完成之後這種權數重要性信息並不能得到保持，對於每次圖像搜索即使是相同圖像的搜索，其權數重要性信息都必須重新計算。
在現有技術的圖像搜索和瀏覽系統或視頻(移動圖像)搜索和瀏覽系統中，使用描述圖像或視頻數據特定特徵的信息來進行對多媒體數據更有效的搜索或瀏覽。例如，在圖像查詢系統中，一幅圖像可以分為多個區域，可以使用每個區域的代表性顏色作為該圖像的特徵信息，或使用該圖像的總體顏色直方圖作為特徵信息。此後，比較兩幅圖像以計算出基於特徵信息的相似性，以此確定兩幅圖像是否相似。
同樣，用戶還可能希望搜索和觀看視頻中特定人物登場或特定事件發生的部分。此時，可以使用代表特定事件的關鍵幀來執行對視頻的搜索和瀏覽。而且在最近的搜索和瀏覽方法中已經使用上級特徵信息和下級特徵信息來定義關鍵幀和關鍵片段。這種類型的多媒體數據搜索和瀏覽方法可以使用表明重要性程度的權數信息，或者直接或間接使用通過對相似的多媒體數據歸類而預先得到的組信息。這樣的權數信息或組信息可以由專家提前預定義或者它們也可以是由用戶反饋不斷修改的特徵信息。
此外，當瀏覽多媒體數據如圖像或視頻時，可以根據用戶要求或硬體的資源條件來顯示原始多媒體數據的全部或一部分。當顯示原始多媒體數據的各個部分時，給每個部分指定權數值以使得全部數據中重要的部分可以被優選顯示。這種權數值可以根據用戶的反饋進行改變或由專家預先定義。
在美國專利5，020，019和5，297，042中使用描述用戶偏好的信息來為每個用戶提供更好的服務。例如對電影或視頻數據而言，這種信息可以包括如動作片、戲劇或體育運動的用戶偏好。在另一個例子中，用戶對關鍵詞搜索中使用頻度最多的關鍵詞可以有不同的偏好和意義。因此，如果根據用戶的偏好給用戶經常使用的關鍵詞指定不同的權數，那麼用戶可以進行更有效的搜索。這樣的用戶偏好可以通過用戶的搜索條件和用戶以前的搜索歷史來獲得。這種取決於用戶偏好的信息還可以修改和更新。
儘管可變的特徵信息對於一些多媒體數據的搜索和瀏覽而言已經足夠了，但是當這些包括權數值的特徵信息由專家來預先確定時，信息的可靠性可能會依賴於專家和／或定義可變信息時使用的大量專家意見的可靠程度而改變。換句話說，即使描述多媒體數據特徵的特徵信息由專家組預先定義，但用於定義同一幅圖像的特徵信息的可靠性也可能由於專家技能的不同而不一致。同樣地，當特徵信息是根據用戶的反饋而訓練時，信息的可靠性可能會取決於反饋的數量和準確性而改變。例如，如果用戶在搜索後把兩幅圖像錯誤地判斷為一樣，這樣的信息被反饋後將對特徵信息的訓練產生不利的影響。
另外，新用戶輸入的用戶偏好信息可能與伺服器推薦的特徵信息有所不同。在這種情況下，系統應根據用戶的可靠性給用戶偏好信息指定合適的權數。最終，因為不同的用戶對系統給出不同的反饋，如果現存的特徵信息的可靠性相對較高的話，新用戶的個人反饋信息對特徵信息的更新就不會有太大的影響，反之，如果現存的特徵信息的可靠性比較低，那麼每個新用戶的反饋信息就會對特徵信息值有較大影響。
由於現有技術的搜索和瀏覽方法並未考慮上面所描述的因素，因此或者是搜索到的結果的可靠性不一致或者是要一直輸入可靠的反饋信息。
因此，本發明的目的之一是至少解決現有技術的難題和缺點。
本發明的一個目的是提供一種準確有效的搜索或瀏覽多媒體數據的方法。
本發明的另一個目的是提供一種搜索或瀏覽方法，該方法在考慮了信息可靠性和權限代碼的情況下執行對特徵信息的更新。
本發明的再一個目的是提供一種數據結構，該數據結構可用於搜索或瀏覽多媒體數據。
本發明的另外一些優點、目的和特徵將在以下的描述中得到部分闡明，部分地由該領域內的普通技術人員通過對本發明的審看或實踐明白和了解。通過所附權利要求所特別指出的方式可以實現和獲得本發明的目的和其它優點。
為了達到上述目的，根據本發明的目標，如此處所體現和廣泛描述的那樣，搜索或瀏覽多媒體數據的方法包括以下步驟選擇或輸入參考多媒體數據；利用指定給多媒體數據的特徵和／或特徵元素的權數搜索參考多媒體數據；輸入對於搜索或瀏覽的多媒體數據的相關性的用戶反饋；測量參考多媒體數據與搜索所得的圖像的相似性，並使用測量值計算出新的權數；更新先前的權數，保持該更新的權數。
在本發明的另一個方面中，搜索或瀏覽多媒體數據的方法包括以下步驟使用代表多媒體數據特徵重要性的可變信息和代表可變信息的可靠性的可靠性信息搜索參考多媒體數據，上述的可變信息包括在多媒體數據結構中；輸入對於搜索或瀏覽的多媒體數據的相關性的用戶反饋；使用用戶反饋回的訓練信息或存儲在系統中的用戶模式信息計算出新的可變信息；使用計算出的可變信息和／或可靠性信息更新先前的可變信息並保持該更新的信息。
在本發明的再一個方面中，搜索或瀏覽多媒體數據的方法包括以下步驟選擇或輸入參考多媒體數據；使用代表多媒體數據特徵重要性的可變信息搜索參考多媒體數據，其中多媒體數據結構包括可變信息、可變信息的可靠性信息和用於限制用戶權限的權限代碼；輸入對於搜索或瀏覽的多媒體數據的相關性的用戶反饋；測量參考多媒體數據與搜索所得的圖像的相似性，並使用測量值計算出新的可變信息；使用可靠性信息與權限代碼的可選擇性組合更新先前的可變信息，並保持該更新的信息。
在本發明的再一個方面中，用於多媒體數據搜索或瀏覽系統的數據結構包括多媒體數據；多媒體數據的特徵信息；代表多媒體數據特徵的權數的權數信息。
下面將參照附圖對本發明進行詳細描述，附圖中相同的參考數字指得是其中相同的單元，附圖包括
圖1是根據本發明的多媒體數據搜索或瀏覽系統中的多媒體數據結構；圖2是根據本發明的多媒體數據搜索或瀏覽系統中使用的另一種數據結構；圖3是根據本發明的第一個實施例的多媒體數據搜索或瀏覽過程的流程圖；圖4是根據本發明的第三個實施例的多媒體數據搜索或瀏覽系統中可變可靠性信息的數據結構；圖5是根據圖4的數據結構的多媒體數據中可變權數信息的一個例子；圖6是根據本發明的第三個實施例的多媒體數據搜索或瀏覽系統中固定的可靠性信息的數據結構；圖7是根據圖5的數據結構的多媒體數據中固定權數信息的一個例子。
下面將詳細介紹本發明的優選實施例，優選實施例的例子在附圖中顯示。
圖1是本發明的搜索或瀏覽系統可以使用的多媒體數據結構，它包括用於相關性反饋的圖像描述101。用於相關性反饋的圖像描述101是表明用戶反饋訓練的特徵或特徵元素(此後統稱為「特徵」)重要性的信息，該信息包括圖像描述102、權限代碼104和可靠性代碼107。
特別地，圖像描述102包括用於實際搜索的圖像特徵103a和表明圖像特徵重要性的權數103b。可靠性代碼107表示權數的可靠性。在本優選實施例中，可靠性代碼由級別為i的用戶的權數更新數目108所代表。權限代碼104則表示了權限級別106和權限級別數目105。
本發明使用權限代碼104來確定權數是否應當更新，如果是的話，還確定更新的程度。而且，可靠性代碼107和權限代碼104可以有選擇性的或兩者一起包含在數據結構中，這取決於系統的需要。例如，數據結構可以只包括可靠性代碼107和圖像描述102。在這種情況下，系統可以提供權限代碼104。同樣，如果該系統只需要一個權限級別，那麼該權限代碼(104)就可以被省略。
圖像描述102的權數103b可以根據用戶的反饋而得到更新，它是指定給圖像特徵的權數值。而且，權限代碼104的權限級別i 106決定是否更新指定給圖像特徵的權數和／或更新的程度。不同級別的數目可以由系統的需要確定並且在權限級別的數目105中指示。例如，假定有5個級別，權數可以被第一和第二權限級別的用戶反饋進行更新，第一級別用戶的更新程度可以是0．95，第二級別用戶的更新程度為0．85。
圖2表示根據本發明的多媒體數據搜索或瀏覽系統中使用的數據結構。參照圖2，數據結構包括多媒體數據201，多媒體數據的特徵信息202，代表多媒體數據特徵的重要性的權數信息(或可變信息)203，代表權數信息可靠性的可靠性信息206和208，代表用戶權限級別的權限代碼207。
如圖1所描述的那樣，權限級別用於確定是否更新權數信息以及更新的程度。因此，在數據結構中，權限代碼包括權限級別的數目204，權限級別密碼205和用於權限級別的207。不同權限級別的用戶應給予不同的密碼以基於權限代碼限制或許可對圖像的適當訪問，即可以修改數據。因此，就不會允許比規定權限級別低的用戶使用圖像。
在優選實施例中，圖像產生器(或生成器)將用戶權限分為n個級別，並基於權限級別給予用戶合適的密碼。此後，用戶可以根據給定的權限級別搜索或瀏覽圖像並改變圖像的圖像描述。
而且，因為圖像描述是由不同權限級別的用戶更新的，所以就記錄下每個權限級別用戶的反饋數量以計算可靠性信息。特別地，把第k級別的用戶反饋對圖像描述的權數更新數目(Nk)與指定給第k級別的權數係數(ak)相乘。把每個權限級別(1～n)的乘積值(ak*Nk)累加，累加得到的和與預定的可靠性係數(a)相乘以獲得圖像描述的可靠性。如果兩個輸入數據有相同的多媒體數據，但是有由不同的歷史所訓練的不同圖像描述，用戶可以根據它們各自圖像描述中的可靠性信息來確定使用哪個圖像。此處，如果只有一個權限級別，那麼圖像就會有一個沒有權限信息的可靠性值。
在本發明的第一個實施例中，當輸入多媒體數據包括描述圖像特徵的可變信息和／或權限代碼時，對多媒體數據的搜索或瀏覽方法進行了解釋。圖3是根據本發明的第一個實施例的搜索或瀏覽方法的流程圖。為了便於解釋，多媒體數據被假定為圖像。
參照圖3，用戶選擇參考圖像或把其輸入到搜索或瀏覽系統(步驟S301)。接下去，該系統利用圖像特徵和指定給圖像特徵的權數搜索相似的圖像(步驟S302)。如果參考圖像是第一次被選擇或輸入，那麼該系統確定此權數的初始值。權數值可以指定給圖像特徵如顏色、紋理或形狀，並且／或者還可以指定給圖像特徵元素如第i個顏色元素。
在觀看搜索或瀏覽結果時，用戶可以通過輸入相關性信息(即該搜索或瀏覽結果是否相關)而給出反饋。特別地，如果該結果很好用戶就給出正反饋，該結果很差用戶就給出負反饋。例如，用戶確定為與參考圖像相似的圖像將作為正反饋信息被反饋，用戶確定為與參考圖像不同的圖像則作為負反饋信息被反饋。
因此，系統判斷用戶是否輸入了相關性信息(步驟S303)，如果沒有用戶的反饋則系統返回到步驟S301。但是如果有用戶的反饋，則系統確定用戶是否有足夠的權限級別以更新特徵的權數(步驟S304)。此處，系統可以通過要求用戶輸入密碼來確定用戶是否達到了權限級別。權限級別將在下面參照第三個實施例進行詳細解釋。通常來講，步驟S304限制了權數的更新，其中包括依據權限級別限制更新的程度。但是，這一步驟也可以省略，在這種情況下，對於每個用戶的反饋權數值都要更新。
再回到圖3，如果用戶的權限級別允許更新，系統通過測量參考圖像與搜索到的圖像中反饋圖像的相似性計算出新的權數(步驟S305和S306)。也就是說，如果相關性信息是正信息則系統增加能提高參考圖像與反饋圖像相似性的特徵權數，反之，如果相關性信息是負信息，則系統增加能提高參考圖像與反饋圖像間相異性的特徵權數。
此後，系統用新的權數更新圖像描述中以前的權數信息並保持更新的權數以用於下一次搜索或瀏覽(步驟S307)。特別地，權數值的更新要考慮到以下因素更新前第k個特徵的權數，當前的圖像搜索中獲得的第k個特徵的新的權數值，以及所有特徵的新的權數值的平均值。此處，由於以前的權數(即更新前第k個特徵的權數)而造成的對更新的權數值的影響程度與以前權數的可靠性成反比。
在本優選實施例中，權數值可以使用公式1來更新，其中Wk(t)是第k個特徵的更新的權數，Wk(t-1)是更新前第k個特徵的權數，Wnew k是通過當前的圖像搜索而獲得的第k個特徵的計算權數，M(Wnew)是通過當前圖像搜索而獲得的所有特徵的計算權數的平均值，a是權數係數，它用於根據用戶權限級別確定更新的程度。Wk(t)=Wk(t-1)+△Wk，(△Wk=a(Wnew_k-M(Wnew)))或者，權數可以使用搜索過程中獲得的相似圖像列表或相異圖像列表而進行更新。例如，系統可以測量相似列表中圖像之間的相似性並增加有助於作出相似性判斷的特徵的權數。相反，系統測量相異圖像列表中圖像之間的相異性，並增加有助於作出相異性判斷的特徵的權數。
根據本發明的第一個實施例，搜索中使用的特徵權數信息包括在輸入到系統中的多媒體數據結構中。因此，系統在每次搜索或瀏覽圖像的過程中通過自我訓練發展合適的權數。結果，系統使用特徵權數信息執行更有效的搜索或瀏覽，而不用理會是在何地，使用何種應用程式，何種圖像搜尋引擎。同樣，無論何時權數被用於搜索或瀏覽，通過對用戶的主觀和客觀查詢作出有效響應，本實施例都可以用於搜索或瀏覽用戶所希望的圖像。因此，本發明的第一個實施例比較適宜用作一種圖像格式，該圖像格式根據用戶反饋可以使用「相關性反饋」概念來控制權數。
在本發明的第二個實施例中，選擇或輸入的用於搜索的參考數據包括代表多媒體數據特徵重要性的可變信息和代表可變信息的可靠性的可靠性信息。在第二個實施例中，把包括可變信息和可靠性信息的多媒體數據結構輸入該系統，該系統搜索參考數據。為了便於解釋，多媒體數據將被假定為圖像。
如第一個實施例所述，用戶可以對搜索或瀏覽所得的圖像的相關性給出反饋。接下去，系統使用用戶輸入的相關性信息或存儲在系統中的用戶模式信息計算出新的可變信息。例如，用戶模式信息可以是用戶的歷史或使用歷史。接下去，系統使用新的可變信息和／或可靠性信息更新可變信息，並保持更新的可變信息。此處，可變信息的更新是與圖3中介紹的權數更新類似的方式進行的。
可變信息可以是指定給用於搜索的特徵如顏色、紋理或多媒體數據關鍵詞的權數；也可以是指定給用於搜索或瀏覽特定視頻的幀或片段的權數；還可以是指定給依賴於用戶的信息的權數，其中依賴於用戶的信息代表了用戶的偏好或習慣，也代表了用於搜索或瀏覽多媒體數據的主要區域或主要物體的一部分數據；還可以是用於把多媒體數據歸類為相似性列表或群集模型的信息；或者還可以是上面所述的兩個或多個權數的組合。
通常，可靠性信息直接或間接代表了可變信息的可靠性，並且與根據輸入的相關性信息的可變信息的用戶訓練的數量成正比。同樣，可靠性信息也可以由系統的性能確定。下面將參照第三個實施例對可靠性信息進行詳細解釋。
因此，如果兩個數據有相同的多媒體數據但是有不同的可變信息值，當計算新的可變信息時，系統就會選擇有更高可靠性的可變信息或與可變信息的可靠性成比例地組合可變信息。可變信息的計算可以獨立使用，而不用考慮本發明的第二個實施例。
例如，假定生成了一幅圖像並且該圖像又被其它用戶拷貝為多個圖像，進一步假定每個拷貝圖像的圖像描述在通過不同的應用程式時得到不同的發展。特別地，由不同的應用程式發展的圖像描述將會有不同的可變信息和可變信息的可靠性信息。如果系統接下去要求在搜索中使用該圖像，就必須確定使用圖像的哪一個拷貝。因為具有不同圖像描述的圖像有可變信息的可靠性信息(即權數)，系統將會很容易選擇並使用具有最高可靠性的圖像用於搜索。同樣，系統還可以通過組合對應於多個圖像拷貝的不同圖像描述的權數從而獲得新的權數，這種組合要與不同圖像的可靠性成比例。
根據上面所述的本發明的第二個實施例，因為可變信息的可靠性信息和可變信息都包括在輸入系統的圖像中，所以無論何時進行圖像搜索，權數都可以得到更新。因此，可以訓練可變信息，允許更精確的搜索。結果，系統就可以智能化地發展為最佳狀態。
在本發明的第三個實施例中，輸入到搜索或瀏覽系統的多媒體數據結構包括代表特徵重要性的可變信息，代表可變信息的可靠性的可靠性信息和用於限制用戶權限的權限代碼。此處，權限代碼可以包括在多媒體數據中，也可以在反饋回多媒體數據的搜索或瀏覽的合理判斷時由系統提供。
在本發明的第三個實施例中，多媒體數據搜索和瀏覽系統根據用戶的控制信號選擇或輸入參考多媒體數據。此後，系統使用可變信息、可變信息的可靠性信息和權限代碼搜索多媒體數據。通過響應所有用戶反饋進行更新但並不考慮這些反饋的可靠性，權限代碼被用於限制對可變信息不適當的訓練。
例如，沒有經驗的用戶會把兩個不同的圖像認為是相同的，這就造成指定給搜索中使用的圖像特徵的權數會以不合適的方向被更新。因此，相應圖像的訓練結果在可靠性方面將會降低。但是，在另外一種可供選擇的方法中，輸入圖像可以不包括權限代碼，取而代之的是系統通過提供權限代碼可以限制或區分權數更新的權限或權數更新的程度。例如，可以使用用戶的登錄ID來確定權限級別。
而且，如第一和第二實施例所述，用戶給出對搜索或瀏覽的多媒體數據的相關性的反饋。此後，系統測量參考圖像與搜索所得圖像中的反饋圖像的相似性，並根據測量值計算出新的可變信息。然後，系統使用計算出的可變信息、可靠性信息和／或權限代碼對包括在參考圖像中的以前的可變信息進行更新，並保持更新的可變信息。這樣，如果兩幅圖像有不同的可變信息值，系統就選擇相對於可變信息值具有更高可靠性的那一幅。
特別地，新的權數可以如第一個實施例所述的那樣由公式1或由在搜索過程中獲得的相似性列表或相異性列表來計算和更新。而且，權數可以在權數可靠性的基礎上進行更新。權數可以由公式2進行更新，其中(Rc)是當前訓練圖像的組合可靠性，(Wc)是為可靠性預定的權數，(Rt)是與當前反饋的用戶權限級別相對應的更新權數的程度，(Wt)是用戶權限級別的權數。更新權數=(RcWc+RtWt)／(Rc+Rt)此處，Rc的值是具有各自權限級別的用戶的以前權數更新的數目。
圖4顯示了根據本發明的第三個實施例的多媒體數據搜索或瀏覽系統中可變可靠性信息的數據結構。參照圖4，可變可靠性描述符401由級別數目402、級別I的影響程度403、級別I的用戶的更新數目組成。作為對比，圖6顯示了根據本發明的第三個實施例的多媒體數據搜索或瀏覽系統中固定可靠性信息的數據結構。參照圖6，固定可靠性描述符601包括級別為I的用戶所執行的更新的數目602。可靠性信息可以如下獲得。
首先，把較高的可靠性給予帶有高權限級別的用戶所經常訓練的可變信息的圖像。換句話說，可靠性要與給出反饋的用戶的數目和權限級別成比例地給出。因此，系統把相對較高的可靠性給予具有高權限級別的用戶所反饋的相關性信息的相對較大數量訓練的圖像。
第二，系統把較高的可靠性給予主要由權限級別範圍在預定級別到更高級別之間的用戶訓練的圖像。換句話說，系統把相對較高的可靠性給予具有權限級別比預定級別高的用戶所反饋的相關性信息的相對較大數量的訓練的圖像。
第三，可靠性可以根據系統的性能來確定。
第四，系統通過變化地設置和使用具有相應更新程度的大量用戶級別可以使用如圖4所示的可靠性信息，或者使用如圖6所示的固定可靠性信息。無論在何種情況下，用戶反饋的更新數目和給出反饋的用戶的權限級別越高，所給出的可靠性也就越高。
圖5顯示了圖4中可變可靠性信息的一個例子。在該例子中，用戶被劃分為5個權限級別。第一級別的更新程度為1．0並且具有第一級別用戶8次更新的記錄。第二級別的更新程度為0．7並且具有第二級別用戶14次更新的記錄。第三級別的更新程度為0．5並且具有第三級別用戶30次更新的記錄。第四級別的更新程度為0．3並且具有第四級別用戶23次更新的記錄。第五級別的更新程度為0．1並且具有第五級別用戶4次更新的記錄。因此，權限級別的數目和受各個權限級別用戶影響的更新程度的確定是不斷變動的。
作為對比，圖7是圖6的固定可靠性信息的一個例子。參照圖7，用戶權限級別的數目被固定為10級，每個級別相應的權數更新程度在0．1至1的範圍內被預先分配。特別地，第一級別的更新程度為1．0並且具有8次更新的記錄，第四級別的更新程度為0．7並且具有14次更新的記錄，第六級別的更新程度為0．5並且具有30次更新的記錄，第八級別的更新程度為0．3並且具有23次更新的記錄，第十級別的更新程度為0．1並且具有4次更新的記錄。
系統檢查上面所確定的用戶權限級別，有效控制對圖像的訪問，即允許和／或禁止權數更新或更新程度。同樣，在圖7所示系統中，所有10個級別或10個級別中的一部分可以按需使用。例如，系統可以如圖5那樣通過不將剩餘的5個級別指定給用戶而僅使用5個級別。在這種情況下，對應於圖5第一級別的圖7中的第一級別就作為第一級別，對應於圖5第二級別的圖7中的第四級別就作為第二級別，對應於圖5第三級別的圖7中的第六級別就作為第三級別，對應於圖5第四級別的圖7中的第八級別就作為第四級別，對應於圖5第五級別的圖7中的第十級別就作為第五級別。因此，10個固定權限級別中的5個權限級別就可以使用，系統在各個權限級別的基礎上確定是否允許更新。
根據上述本發明的實施例，可以提供如下效果。
首先，因為圖像特徵的權數(或可變信息)被包括在輸入圖像中並且在圖像搜索重複進行時可以訓練相應的圖像以提供更好的搜索結果，所以在執行有關等同圖像的搜索時可以完成準確有效的搜索或瀏覽。
第二，當把在不同環境中訓練後的等同圖像進行更新時，代表圖像的權數或可變信息的可靠性的可靠性信息被包括在各個圖像中，以便能夠辨認哪幅圖像是被更有效地訓練。因此，用戶可以準確有效地搜索或瀏覽當前圖像。
第三，通過在輸入圖像中包括權限代碼或由系統提供權限代碼，可以根據用戶的權限級別對更新的許可和更新的程度進行限制。因此，可以防止由於用戶的粗心或不正常更新而造成的對相應圖像不合適的訓練。
第四，因為可靠性信息和權限代碼可以根據系統的特性與圖像特徵的權數(或可變信息)進行有選擇的或共同的合併，因此，多媒體數據的搜索或瀏覽可以以一種方向準確執行，在該方向上可以實現智能訓練和自我發展。
前述的實施例僅僅是示例性的並不用來限制本發明。目前講授的內容也可以應用於其它類型的裝置。對本發明進行的描述目的是說明性的，並不是用來限制權利要求的範圍。很多替換，修改和變動對本領域的技術人員而言都將是顯而易見的。
權利要求
1．搜索或瀏覽多媒體數據的方法，包括(a)接收帶有數據結構的參考多媒體數據，該數據結構包括所述參考多媒體數據的特徵和所述特徵的權數信息；(b)使用特徵和權數信息搜索所述參考多媒體數據；(c)接收對步驟(b)中發現的作為結果的多媒體數據的相關性的用戶反饋；(d)測量參考多媒體數據與作為結果的多媒體數據的相似性，並使用測量值計算出所述特徵的新權數信息；(e)使用新的權數信息更新參考多媒體數據的所述數據結構中所述特徵的權數信息。
2．根據權利要求1的方法，其中在(c)中，如果用戶反饋為正的相關性信息，就增加特徵權數，這會增加參考多媒體數據與作為結果的多媒體數據之間的相似性。
3．根據權利要求2的方法，其中在(c)中，如果用戶反饋是負的相關性信息，就增加特徵權數，這會增加參考多媒體數據與作為結果的多媒體數據之間的相異性。
4．根據權利要求1的方法，其中參考多媒體數據的數據結構還進一步包括表明權數信息可靠性的可靠性信息。
5．根據權利要求4的方法，其中指定給特徵的權數的可靠性與用戶反饋的訓練數量成正比。
6．根據權利要求4的方法，其中參考多媒體數據的數據結構進一步包括權限信息，該權限信息限制用戶反饋對權數信息的更新。
7．根據權利要求6的方法，其中權限信息包括多個權限級別，其中每個權限級別具有影響步驟(e)中權數信息更新的程度的程度值。
8．根據權利要求7的方法，其中更高的可靠性被給予高權限級別的用戶的用戶反饋。
9．根據權利要求6的方法，其中在(e)中，更新參考多媒體數據的所述數據結構中所述特徵的權數信息要依靠可靠性信息和權限信息。
10．根據權利要求1的方法，其中參考多媒體數據的數據結構進一步包括權限信息，該權限信息限制用戶反饋對權數信息的更新。
11．根據權利要求10的方法，其中權限信息包括多個權限級別，每個權限級別具有影響步驟(e)中權數信息更新的程度的程度值。
12．根據權利要求11的方法，其中要接收用戶輸入的密碼以確定用戶的權限級別。
13．搜索或瀏覽多媒體數據的方法，包括使用代表參考多媒體數據特徵重要性的可變信息搜索參考多媒體數據；接收對搜索的多媒體數據的相關性的用戶反饋；使用相關性信息作為訓練信息或使用存儲在系統中的用戶模式信息計算新的可變信息；使用計算出的新的可變信息和／或可靠性信息來更新可變信息，並保持更新的可變信息。
14．根據權利要求13的方法，其中可變信息是下面各項的一個或組合；用於搜索參考多媒體數據的特徵權數；用於搜索或瀏覽特定視頻的幀或片段的權數；代表用戶的偏好或習慣的依賴於用戶的信息的權數和用於搜索或瀏覽多媒體數據的主要區域或主要物體的一部分數據；用於相似性列表和群集模型的多媒體歸類的信息。
15．根據權利要求13的方法，其中如果提供了至少兩個相同的多媒體數據用於搜索或瀏覽，而它們具有不同的可變信息，則選擇具有對於可變信息的相對較高可靠性的多媒體數據來計算新的可變信息。
16．根據權利要求13的方法，其中如果提供了至少兩個相同的多媒體數據用於搜索或瀏覽，而它們具有不同的可變信息，則按照與可變信息值的可靠性成比例的方式組合提供的多媒體數據以計算出新的可變信息。
17．搜索或瀏覽多媒體數據的方法，包括使用代表參考多媒體數據特徵重要性的可變信息搜索參考多媒體數據；接收對搜索的多媒體數據的相關性的用戶反饋；使用相關性信息作為訓練信息或使用以前存儲的用戶模式信息和／或可靠性信息來更新可變信息，並保持更新的可變信息。
18．用於多媒體數據搜索或瀏覽系統的數據結構，包括多媒體數據；代表多媒體數據特徵的可變信息。
19．根據權利要求18的數據結構，進一步包括代表可變信息可靠性的可靠性信息。
20．根據權利要求19的數據結構，其中可靠性信息包括關於用戶進行的可變信息更新的數目的信息。
21．根據權利要求19的數據結構，進一步包括權限代碼。
22．根據權利要求21的數據結構，其中可靠性信息是可變的，它包括大量權限級別、每個權限級別的可變信息更新的程度、和每個權限級別的用戶進行的可變信息更新的數目。
23．根據權利要求21的數據結構，其中可靠性信息是固定的，它包括由固定權限級別的用戶進行的可變信息更新的數目。
24．根據權利要求18的數據結構，進一步包括權限代碼。
25．多媒體數據的搜索或瀏覽方法，其中的多媒體數據具有如權利要求18所述的數據結構。
26．多媒體數據的搜索或瀏覽方法，其中的多媒體數據具有如權利要求19所述的數據結構。
27．多媒體數據的搜索或瀏覽方法，其中的多媒體數據具有如權利要求21所述的數據結構。
28．多媒體數據的搜索或瀏覽方法，其中的多媒體數據具有如權利要求24所述的數據結構。
全文摘要
公開了一種用於搜索或瀏覽多媒體數據的方法,能夠有效地搜索或瀏覽圖象。在本方法中,考慮關於輸入多媒體數據的特徵權數的可靠性信息和權限代碼中的至少一個,執行搜索或瀏覽。根據本方法,系統選擇參考多媒體數據,並使用輸入多媒體數據的特徵和/或特徵元素的權數來搜索多媒體數據。用戶接收關於所搜索或瀏覽的多媒體數據的相關性的反饋,系統使用該相關性信息計算新的權數。因此,系統更新和保持特徵和/或特徵元素的新權數。
文檔編號G06T7/00GK1293793SQ00800101
公開日2001年5月2日 申請日期2000年1月27日 優先權日1999年1月29日
發明者李振秀, 金賢俊 申請人:Lg電子株式會社