用於使內容流和用於在多媒體系統中輸出一個或多個感官效果的腳本同步的方法

2023-05-13 03:17:46 2

專利名稱：用於使內容流和用於在多媒體系統中輸出一個或多個感官效果的腳本同步的方法
技術領域：
本發明涉及一種根據權利要求1的前序部分所述的用於使內容流
和用於在多々某體系統中^^出一個或多個感官效果(sensory effect)的 腳本同步的方法。本發明還涉及一種根據權利要求19的前序部分所
述的用於使接收到的內容流和用於在多媒體系統中輸出 一個或多個 感官效果的腳本同步的接收才幾。 '
隨著家庭娛樂系統的數目在計算機技術的加速演進的基礎上迅 速發展，期望通過開發影響用戶的感官知覺的效果來產生實際輸出中 的更多的用戶參與，所述感官知覺包括例如改變光、振動、溫度、風、 聲音、氣味。這種期望是從許多主題公園用來吸引遊客的可供乘坐的 大規模遊樂設施和在家庭中開發諸如與大屏幕TV、高清TV、音頻體 驗、以及視頻遊戲有關的此類戲劇性效果的可能性發展而來。
由 WIPO 7>開的、Koninklijke Philips Electronics的題為 "A Real-World Representation System and Language" 的國際公開 WO 02/092183和Eves等人的題為"Dynamic Markup Language"的WO 03/100548公開了一種用於根據以標記語言進行的描述來驅動並操作 設備以向用戶呈現(render)真實世界體驗、從而產生更多的用戶參 與的裝置。
代理人檔案號為PH002256的WO申請IB2006/054809 "Script
Synchronization using fingerprints determined from a content stream" 公
開了 一種用於使內容流和用於輸出一個或多個感官效果的腳本同步
的方法。為了實現同步，4艮據內容流的 一 部分來計算指紋(fingerprint) 並從指紋資料庫檢索對應於該指紋的時間值。利用所述時間值與腳本 同步地呈現該部分內容流。利用所述腳本來產生以效果信號輸出給效 皆景技術
6果控制器的一個或多個感官效果。
為了具有可靠的同步，應根據該部分內容流來計算準確且唯一的 指紋。然而，存在影響所計算的指紋的準確度的條件。當指紋的值與 已預先根據同 一 部分內容計算的指紋資料庫中的預期指紋的值匹配 時，指紋是準確的。所述內容流可以是已經在例如複合視頻、S視頻
或RGB視頻的模擬域中傳輸的視頻材料。在已經在模擬域中傳輸內
容流之後，在視頻材料上的模擬域中引入的噪聲可以改變根據該部分 內容流計算的指紋，從而降低所計算的指紋的準確度，因為指紋可能
P 、今亦刃K力玄 ,,、/ 豐TC 6!^ 5ll 7t ;S J:^ 4,、, +》,叢i各rJb々、'*々"^T;(:B i& Ifl 一部分的內容流計算的指紋資料庫中的相應指紋。此外，所計算的指
紋可能是準確的，但不是唯一的。包括包含多個單色(mono-colored) (例如黑暗)或靜態場景的多個部分的內容流可以提供多個相同的指 紋。由於這些指紋不是唯一的，所以腳本與內容的同步將是不可靠的。

發明內容
本發明的目的是提供一種用於使內容流和腳本同步的方法，其 中，所述同步具有改善的可靠性。
用如權利要求1所定義的方法達到此目的。通過使計算指紋的位 數可變而不是固定，可以以其唯一地識別內容流的方式來將使計算指 紋適配(adapt)實際內容。已在模擬域中傳輸的內容的準確計算指紋 可能需要增加位數。而且，對於具有多個黑暗或靜態場景的內容的唯 一指紋，可能需要增加位數以實現可靠同步。用根據權利要求l所述 的方法，根據計算指紋本身或根據由內容流的另 一 部分計算的另 一 指 紋來確定計算指紋的位數。計算指紋的位數還可以取決於對應於計算 指紋的預期指紋或對應於所述另一計算指紋的另一預期指紋。因此， 用權利要求1所定義的方法，計算指紋可以具有增加的準確度或唯一 性，這使內容流與腳本的同步可靠性提高，從而達到本發明的目的。
用如4又利要求5~8中4壬<可一項所述的方法的另一實施例，可以
以易於實現的簡單方式根據計算指紋與相應的預期指紋的比較或從 另一計算指紋與相應的另一預期指紋的比較來獲得位數。
用如權利要求9所述的方法的另一實施例，可以通過對所述預期 指紋或另 一 預期指紋的簡單位計數來獲得位數。所述預期指紋和所述
7另一預期指紋均可從指紋資料庫獲得。這具有在根據內容的一部分進 行實際的指紋計算之前可以知道所計算的指紋應具有多少位的優點。
根據權利要求10所述的方法的實施例具有提供包括K個子指紋 的指紋的優點，其中，可通過調整矩陣中的元素的大小和數目來輕易 地調整包括在每個子指紋中的位數L。元素可以表示幀的特定部分中 的一組像素。通過減小元素的大小，相關平均亮度可以改變，因為各 像素將在所述平均亮度中具有較大貢獻，從而向所述元素提供可能更 好的辨別能力。因此，通過減小元素的大小，可增加包括在子指紋中
的位數L，這提供了更具唯一性的指紋。
根據權利要求11所述的方法的實施例具有這樣的優點，即在計 算子指紋期間，可以獲得所述子指紋的準確度指示，並且響應於此， 可以增加包括在子指紋中的位數。子指紋中的每一位是從兩個第一陣 列的兩個相應第 一元素的減法而得到的，所述兩個第 一陣列與兩個連 續幀相關。當兩個相應的第一元素具有低值時，取決於這些第一元素
的減法結果的符號的子指紋中的位可能具有不正確的較大可能性。因 此，通過檢驗第一陣列中的第一元素，可以獲得對指紋準確度的指示， 並且因而可以改變每個子指紋中的位數。
在如權利要求13所定義的方法的另一實施例中，可以確定子指 紋的質量指數(quality number)。所述質量指數可以涉及對應於第二 陣列的兩個連續幀的平均亮度的差，其中針對所述第二陣列計算所述 質量指數。通過第二陣列的元素的絕對值的簡單求和來獲得所述質量 指數。包括在子指紋中的位數可以響應於所述質量指數而改變。
如權利要求14~16中任何一項所述的方法的另 一實施例具有這 樣的優點，即根據包括在預期指紋中或所述另一計算指紋中或所述計 算指紋中的子指紋的可輕易獲得的質量指數來確定如權利要求1所要 求的方法的確定步驟中的位數。
如權利要求18所述的方法的另一實施例具有這樣的優點，即在 諸如快進之類的跳躍(jump)之後腳本與內容的同步的可靠性得到進 一步改善。在跳躍之後，指紋的計算仍可以使用與跳躍之前的指紋計 算相同的位數。然而，與跳3夭之後的內容相關的相應的預期指紋可能 需要不同的位數。為了有助於跳躍之後的同步，可以將具有不同位數 的兩個或更多相應的預期指紋包括在時間表或指紋資料庫中。用如權利要求19所述的接收機的實施例，可以使接收到的內容 流和用於在多媒體系統中輸出 一個或多個感官效果的腳本同步。所述 接收機可以用來根據所述腳本驅動並操作效果控制器，所述腳本包括 以標記語言進行的描述。因此，用所述接收機和所述效果控制器，可 以呈現真實世界體驗，從而產生更多的用戶參與。
應清楚地理解的是包括附圖是出於說明性的目的且附圖並不表 示本系統的範圍。在附圖中，不同圖中的相同參考標記指示類似的元 件。


在附圖中
圖1舉例說明用於藉助於指紋使內容流與相應腳本流同步的方 法；以及
圖2舉例說明用於計算包括多個子指紋的指紋的方法。
圖3示出用於使接收到的內容流和腳本同步的接收機的實施例。
具體實施例方式
在圖1、 2和3中舉例說明並在本文中描述用於使接收到的內容 流和腳本同步的本方法和接收機。參照圖1，內容流10(由廣播公司、 由DVD製作商/播放器等提供)包括多個部分20、 100。根據內容流 10的部分20，確定或計算80指紋30。這樣，每個指紋對應於內容流 的各部分的特定起始時間(例如時間TO、 Tl、 T2、 T3.......TN)。
根據內容流10通過對包括在內容流中的信息進行操作來確定或 計算80指紋。可以以任何方式來確定指紋，包括對內容流數據的所 選部分執行散列函數(hashing function )以達到散列值。
如所示，內容流分為內容部分20、 100。內容部分20、 100對應 於意圖與內容部分20、 100同步地被執行的腳本部分85、 90。換言之， 由於內容流10的部分20 一皮呈現為對應於起始時間T2,所以同步地開 始並執行對應於該內容部分起始時間的腳本部分90。對腳本70和內 容流10的各部分中的每一個執行相同的操作。
為了有助於依照本發明的操作，在內容流10和腳本70的上述同
9步呈現之前創建指紋資料庫或時間表60。指紋資料庫或時間表60可 以包含多個指紋和時間值對130、 40。以與執行方法或才喿作接收機期 間相同的方式(例如利用相同算法)並在相同部分中根據內容流來確 定或計算存儲在指紋資料庫60中的指紋和時間值對。時間值40為內 容部分20提供與內容流10的開始相關地導出指紋30的相對時間。 例如，對於從將在時間T2 40 乂人內容流10的開端開始^皮連續呈現(例 如播放)的內容流10的一部分20所導出的指紋30,時間值將是T2。 如下文進一步討論的那樣，此時間值40隨後可以被本方法或4妻收積j 用來識別對應於內容流10中的此時間40的一部分腳本90的起始時 間。時間表或指紋資料庫60可以從包括腳本伺服器、內容流源等的 任何源接收多個指紋和時間值對130、 40。可以由內容流或腳本提供 商來確定和提供指紋和時間值對130、 40。無論是任何源，指紋數據 庫60通常在接收內容流10之前存儲接收到的指紋和時間值對130、 40。
可以經由諸如數字多用光碟(DVD)等光學介質通過包括廣播信 道、網際網路的分發(distribution) /傳輸信道來分發內容流10。腳本 70及指紋和時間值對130、 40可以由腳本伺服器提供，該腳本伺服器 在一個實施例中將腳本70及指紋和時間值對130、 40分發在與內容 流10相同的分發系統上，諸如在網際網路上。腳本70及指紋和時間值 對130、 40可以與內容流10 —起分發，或者可以與內容流分開地分 發，並可以由例如為所述內容流提供設計腳本的另 一 源提供。
因此，如上文所解釋的， 一種用於使內容流10和用於在多+某體 系統中輸出一個或多個感官效果的腳本70同步的方法包括動作 (act):
-才艮據內容流的部分20來計算80包括整數個位的指紋30;
-通過將所述計算指紋30與多個與內容流10相關的預期指紋 120、 130相比較，確定50對應於計算指紋30的時間值40;
-4吏對應於時間值40的腳本70的一部分90與內容流10的一部 分2 0同步，腳本7 0表示將以效果信號被輸出到效果控制器的 一 個或 多個感官效果。
在說明性實施例中，腳本伺服器可以僅僅是包括內容流10、腳本 70及指紋和時間值對130、 40的DVD。用戶可以用本地DVD播放器來訪問DVD。在4妾收到內容流10、腳本70、及指紋和時間值對130、 40之後，接收機能夠與腳本70同步地播放內容流10。本地DVD播 放器可能已通過模擬路徑傳輸內容流10、腳本70、及指紋和時間值 對130、 40，而該模擬路徑在從內容流iO獲得的指紋110、 30中引起 錯誤。這些錯誤可能干擾內容流10和腳本70的同步的可靠性。
本發明通過使用具有可變長度的預期指紋120、 130和指紋110、 30來改善同步的可靠性。可以根據同步的難度來使所述指紋110、 30 更長或更短。這擴大了發現在計算指紋110、 30與包括在時間表60 中的預期指紋120、 130之間的匹配的機會，從而改善內容流10和腳 本70的同步的可靠性。
計算指紋iio、 30所需的處理能力取決於包括在所述指紋中的位 數。具有帶長度可變的指紋提供這樣的優點，即可以只在必要時(例 如在黑暗場景中)使包括在指紋中的位數更長，從而減少平均所需處 理能力。另一優點是，用於發現計算指紋IIO、 30與預期指紋120、 130之間的匹配所需的平均處理能力也減少。又一優點是用於存儲時 間表60的所需存儲容量減小。
根據本發明的用於使內容流10與腳本70同步的方法的特徵在 於，包括在指紋IIO、 30中的位數取決於選自包括以下各項的組中的 至少一個指紋
-計算指紋30，
-對應於所述計算指紋30的預期指紋130,
-根據所述內容流10的另一部分IOO計算的另一計算指紋110，
以及
-對應於所述另一計算指紋110的另一預期指紋120。 參照圖2，內容流10 (例如電影)的每個部分20、 IOO可以包括 多個幀220。可以使用一個或多個子指紋210的計算來確定內容流10 的部分100、 20的開始，根據預定數目的幀220來計算或確定每個子 指紋。指紋30、 100則可以包括K個子指紋210， K是大於1的整數。 在用於使內容流和腳本同步的方法的實施例中，可以通過包括更多或 更少的子指紋210來擴大或減少包括在每個指紋285中的位數，指紋 285選自包括計算指紋、預期指紋、另一指紋和另一預期指紋的組。 在該方法的另一實施例中，每個指紋285可以包括多於1個的子
ii指紋210,每個子指紋210包括L個位，L是大於l的整數。可以通 過在被包括在所述指紋285中的一個或多個子指紋210中包括更多或 更少的位來擴大或減少包括在每個指紋285中的位數(指紋285選自
/一 ' j、 ' a"々'",-、 a a "7-T"" j4"— 'l*, ,. 、 i一八 r^T , 、 ,'a-i" TtT 7:rr ++n /- 、— a a
^《右TT^"孑每多又3u、 t貝^^j孑百多又iju、 力一3百^又iiu ，口力一了貝#月^百5又izu
的組)。.
參照圖1，包括在計算指紋30中的位數可以與包括在指紋資料庫 60中的預期指紋130或另一預期指紋120相關。
在實施例中，通過查詢所述資料庫60,可以確定預期指紋130或 另一預期指紋120的位數。所述確定的位數可以用來確定計算指紋30 的位數。
作為對預期指紋130或另一預期指紋120的位進行計數的替代， 可以以其它方式來確定包括在計算指紋中的位數。
在所述方法的另一實施例中，可以根據在預期指紋130中不具有 匹配子指紋的計算指紋30中所包括的子指紋的數目來確定包括在計 算指紋30中的位數。或者，同樣可以根據在另一預期指紋120中不 具有匹配子指紋的另一計算指紋110中所包括的子指紋的數目來確定 位數。
在所述方法的另一實施例中，根據從計算指紋30與預期指紋130 的比較或從另一計算指紋110與另一預期指紋120的比較得到的誤碼 率(bit error ratio )來確定包括在計算指紋中的位數。
在上文討i侖的實施例中，另 一計算指紋110及其相應另 一預期指 紋120與內容流10的另一部分100有關。所述另 一部分100可以在 內容流的部分20前面，才艮據內容流的部分20可以確定計算指紋30 及其相應的預期指紋130。利用所述另一計算指紋110及其相應的預 期指紋120,可以確認同步的難度如何。
另 一部分100還可以與部分20重疊或在部分20前面並與該部分 (20)重疊。
返回圖2，在另一實施例中，可以使用一個幀220內的碎見頻材料 的兩個塊235之間的亮度差來確定子指紋210。每個幀220被劃分在 多個塊235中。具有N行和M列及N x M個元素的矩陣230可以表 示幀220,每個元素表示塊235， N和M是大於1的整數。每個塊235 可以包括多個像素，且包括在所述塊235中的像素的平均亮度可以被確定下來。所述平均亮度可以具有從對應於黑色的0到對應於白色的
255範圍內的值。行中的元素可以根據該元素位於矩陣230中的何處 而具有所述行中的一個或兩個相鄰元素。具有兩個相鄰元素的元素可
以與所述相鄰元素中的每一 個形成一對。矩陣230可以包括(Nx(M畫1)) 對元素，且對於每一對，可確定其相關亮度的第一差240，得到包括 L個第一元素的第一陣列250， L等於(Nx(M-l))。可以由預定的位數 來表示所述L個第一元素中的每一個的值。
圖2中未示出的是，根據亮度的差是正還是負，可以將第一陣列 中的第一元素設置為1或0。在另一實施例中，第一陣列250包括L 個位且可以被用作子指紋。
返回圖2和另一實施例，對於內容流的每個部分中的兩個幀220， 確定其相應第一陣列250。確定這些第一陣列250的相應第一元素的 第二差260，這提供了包括在第二陣列270中的L個第二元素。這些 第二元素中的每一個可以具有在-510至+510範圍內的用於"平均亮度 差的差"的值。小於零的值提供包含在子指紋210中的等於0的相應 子指紋位200，且大於零的值得到等於1的相應子指紋位。因此，獲 得L個子指紋位200,每個具有取決於'平均亮度差的差，的值的極 寸生才尋號(polarity sign )的4jM直。
在另一實施例中，所述兩個幀220是連續幀。在又一實施例中，
在黑暗場景中，塊235的平均亮度可能低，且第一元素的相應值 可能接近於零。當在內容流中存在黑暗場景時，可能存在包括在那些 黑暗場景中的具有類似第一陣列250的多個連續幀220。因此，根據 這些第一陣列250獲得、計算或確定的子指紋或者根據包括在這些第 一陣列中的第一元素獲得、計算或確定的差可能不提供內容部分20 和相應腳本部分的可靠同步。因此，根據具有接近於零的值的第一元 素的數目，或根據具有接近於零的值的連續幀的相應第一元素的數 目，可以確定改變幀220中的塊235的大小。如果使用較少像素來計 算平均亮度，則具有高於平均亮度的一組像素的貢獻將增加。因此， 在另外的黑暗場景中的較亮斑或對象將成為第 一元素的值中的較大 貢獻。因此，可以根據具有接近於零的值的第一元素的數目或根據具 有接近於零的值的連續幀的相應第一元素的數目來改變子指紋中的位數。在所述方法的另一實施例中，根據包括在第一陣列250中的至 少一個第一元素的值來適配N和M中的至少一個。
在所述方法的另一實施例中，對於子指紋210中的每一個，確定 質量指悽t。所述質量指lt取決於包4舌在第二陣列270中的L個第二元 素的絕對值的和。所述質量指數給出用於空間和時間塊亮度的度量。 較大的差意味著更容易辨別幀，這提供了可能更具唯一性的子指紋。 因此，使用具有較大質量指數的子指紋，內容流和腳本的同步更可靠。
通過將包括在指紋285中的子指紋210的質量指數相加，獲得所 述指紋的質量指數。可以在時間表或指紋資料庫中對所述質量指數進 行相加。因此，所述資料庫對於每個預期指紋還可以包括對應於所述 預期指紋的質量指數。在所述方法的另一實施例中，包括在計算指紋 中的位數至少取決於包括在預期指紋130或另 一預期指紋中的子指紋 210的質量指數。
對於計算指紋和另一計算指紋，也可以確定質量指數。將包括在 所述計算指紋中的位數可以取決於所述質量指數。因此，在所述方法
的另一實施例中，位數可以至少取決於包括在計算指紋30中的子指 紋210的質量指數。位數還可以取決於另一計算指紋的質量指數且可 以通過改變包括在計算指紋中的子指紋的數目或通過改變包括在子 指紋中的位數來確定增加或減少包括在計算指紋中的位數。
在諸如由"快進"或"下一段(next track)"引起的內容流中的 "跳3夭"之後，腳本需要再次與內容流同步。根據剛在跳躍之後的那 部分內容流計算的指紋Fx需要與資料庫中的相應的預期指紋FTX匹 配以確定對應於內容流的所述部分的時間Tx。將要包括在用於所述部 分的計算指紋中的位數可以不同於在沒有發生跳躍且與腳本同步的
內容流已被播放完時獲得的另 一 位數。在所述方法的另 一 實施例中， 時間表或H據庫60可以包括對應於所述時間Tx的至少兩個預期指 紋，所述至少兩個預期指紋包括不同的位數。根據剛在跳躍之後的那 部分內容流計算的計算指紋可以與所述至少兩個預期指紋中的 一 個 匹配，從而增加了用於在內容流中的跳躍的條件下使內容流和腳本同 步的方法的可靠性。可以通過在所述至少兩個預期指紋的子指紋中包 括不同的位數或通過在兩個預期指紋中包括不同數目的子指紋來獲 得所述不同位數。
14參照圖1和3，由接收機300來接收內容流10。由指紋計算器310來對內容流的每個部分100、 20採樣並且被輸出到指紋資料庫60的相應指紋(例如FTO FT1、 FT2、 FT3、……FTN)被確定下來。每個指紋被用作在指紋資料庫60中進行搜索以確定相應的時間值(例如
TO、 Tl、 T2.......TN)的關鍵字(key)。搜索的結果是隨後可以被
用來調整時鐘320的相應時間值。經調整的時鐘320隨後被用來使腳本輸出發生器330與內容流10的呈現同步。這樣，例如，訪問具有確定的指紋FT2的內容部分20以進行呈現而無論是通過串行訪問還是用戶的隨機訪問(例如快進、快退等)，這時將被啟動的腳本90(例如對應於起始時間T2的所示腳本的一部分)被腳本輸出發生器330訪問且可以被提供給效果控制器340以便呈現與內容部分20的呈現同步的效果。在實施例中，腳本伺服器350可以提供腳本。內容流被進一步提供給重放裝置360。
可以經由諸如數字多用光碟(DVD) 370等的光學介質來通過包括廣"l番信道、網際網路的分發/傳輸信道來分發內容流10。腳本70、及指紋和時間值對130、40可以由腳本伺服器350提供，腳本伺服器350在一個實施例中將腳本及指紋和時間值對作為內容流分發在同 一分發系統上，諸如在網際網路上。腳本70及多個指紋和時間值對130、 40可以與內容流10 —起分發，或者可以與內容流分開地分發並由例如為內容提供設計腳本的另一源提供。在實施例中，腳本伺服器350可以是包含腳本及多個指紋和時間值對的DVD。本地DVD"t番》文器可以訪問所述DVD。
依照本接收機300,無論如何接收到內容流10、腳本70及多個指紋和時間值對130、 40，接收機都提供內容流10和腳本70的同步。用於使接收到的內容流10和腳本70同步的接收機300包括
-用於根據內容流10的部分20來計算包括P位的指紋30的裝置310， P是大於1的整數；
-用於確定對應於指紋30的時間值40的裝置320;
-用於使對應於時間值40的腳本部分90與內容流的部分20同步的裝置330。
腳本70表示將以效果信號被輸出到效果控制器340的一個或多個感官效果。為了改善同步的可靠性，本接收機300的特徵在於還包
15括被布置為根據至少一個選自如下組的指紋來適配P的值的裝置，其中所述組包括計算指紋30、對應於所述計算指紋的預期指紋130、根據所述內容流的另一部分IOO計算的另一計算指紋110、以及對應於
所述另一計算指紋110的另一預期指紋120。
如前文通過使計算指紋30的P位的數目可變而不是固定所討論的那樣，可以使計算指紋30適應於內容流IO的實際內容位置。具有多個黑暗或靜態場景的內容的唯一計算指紋可能需要增加的位數以實現可靠同步。根據計算指紋30本身或根據由內容流IO的另一部分IOO計算的另一指紋110來適配計算指紋的P位的數目。還可以根據對應於計算指紋30的預期指紋130或對應於另一計算指紋110的另一預期指紋120來修改P位的數目。因此，利用本接收機300，計算指紋30可以具有提高的唯一性，這使內容流10與腳本70的同步的可靠性提高。
在接收機300的實施例中，適配P的值的裝置被布置為確定在預期指紋130中不具有匹配子指紋的計算指紋30所包括的子指紋的數目。
在接收機300的另一實施例中，適配P的值的裝置被布置為確定在另一預期指紋120中不具有匹配子指紋的另一計算機指紋IIO所包括的子指紋的數目。
在接收機300的另一實施例中，適配P的值的裝置被布置為確定從計算指紋30與預期指紋130的比較中而得到的誤碼率。
在接收機300的另一實施例中，適配P的值的裝置被布置為確定從另一計算指紋110與另一預期指紋120的比較中而得到的誤碼率。
在接收機300的另一實施例中，適配P的值的裝置被布置為確定另一預期指紋120或預期指紋130的位數。
在接收機300的另一實施例中，適配P的值的裝置至少依賴於包括在預期指紋130中的子指紋210的質量指數。如前文所討論的，所述質量指數可以取決於包括在第二陣列270中的L個第二元素的絕對值的和。
由腳本70控制的效果可以與聲音、溫度、風、振動、氣味等有關，且只受到腳本設計師的想像力和用戶所使用的效果設備的限制。依照本接收機300,在腳本70的控制下，由效果控制器340來使適當的效果與內容流10同步地呈現。效果控制器340可以提供用於適當效果生成設備的控制信號，但未進一步示出所述適當效果生成設備。
在根據權利要求19-25中任何一項所述的接收機300的另一實施例中，用於使腳本70同步的裝置被配置為提供輸出以控制選自光、聲音、振動、風和氣味的組中的一個或多個感官效果。
權利要求
1.一種用於使內容流(10)和用於在多媒體系統中輸出一個或多個感官效果的腳本(70)同步的方法，該方法包括以下動作-根據內容流的一部分(20)來計算(80)包括位數的指紋(30)；-通過將所述計算指紋(30)與多個與內容流(10)相關的預期指紋(120、130)相比較，確定(50)對應於計算指紋(30)的時間值(40)；-使對應於時間值(40)的腳本(70)的一部分(90)與內容流(10)的一部分(20)同步，腳本70表示將以效果信號被輸出到效果控制器的一個或多個感官效果，所述方法的特徵在於包括這樣的步驟，其中根據至少一個選自如下組的指紋來確定位數所述組包括計算指紋(30)、對應於所述計算指紋的預期指紋(130)、根據所述內容流的另一部分(100)計算的另一計算指紋(110)、以及對應於所述另一計算指紋(110)的另一預期指紋(120)。
2. 如權利要求1所述的方法，其中，計算指紋(30)、另一計算指紋(110)和所述多個預期指紋(120、 130)包括多個子指紋，根據包括在內容流(IO)中的預定數目的幀來計算每個子指紋，計算指紋(30)包括K個子指紋，K是大於1的整數。
3. 如權利要求l所述的方法，其中，計算指紋(30)、另一計算指紋(110)和所述多個預期指紋(120、 130)包括多個子指紋，根據包括在內容流(IO)中的預定數目的幀來計算每個子指紋，包括在計算指紋(30)中的子指紋包括L個位，L是大於l的整數。
4. 如權利要求1~3中任何一項所述的方法，其中，另一部分(100)在部分(20)前面或在部分(20)前面並與該部分(20)重
5. 如權利要求1 ~ 4中任何一項所述的方法，其中，確定位數的步驟包括另一步驟確定在預期指紋(130)中不具有匹配子指紋的計算指紋(30)中所包括的子指紋的數目。
6. 如權利要求1~4中任何一項所述的方法，其中，確定位悽t的步驟包括另一步驟確定在另一預期指紋(120)中不具有匹配子指紋的另一計算指紋(110)中所包括的子指紋的數目。
7. 如權利要求1 ~4中任何一項所述的方法，其中，確定位數的 步驟包括另一步驟確定從計算指紋(30)與預期指紋(130)的比 較中所得到的誤碼率。
8. 如權利要求1 ~ 4中任何一項所述的方法，其中，確定位數的 步驟包括另一步驟確定從另一計算指紋(110)與另一預期指紋(120) 的比較中所得到的誤碼率。
9. 如權利要求1~4中任何一項所述的方法，其中，確定位數的 步驟包括另一步驟確定另一預期指紋(120)或預期指紋(130)的 位數。
10. 如權利要求l所述的方法，其中，每個指紋(30、 110、 120、 130 )包括K個子指紋(210 )，且每個子指紋(210 )包括L個位(200 ), 且每一個幀(220)包括具有N行和M列的矩陣(230 ),所述矩陣 包括(Nx (M-l))對元素，每個元素具有相關平均亮度，K、 L、 N、 M 是大於一的整數，並且其中，對於每個矩陣(230 )中的每對元素， 確定所述對的元素的相關亮度的第一差(240 )，結果得到包括L個 第一元素的第一陣列(250 )， L等於Nx(M-l)，並且其中，對於兩 個連續幀，還確定對應於所述兩個連續幀的第一陣列(250 )的相應 第一元素的第二差(260 )，結果得到包括L個第二元素的第二陣列(270 ),包括在每個指紋(285 )中的L個位(200 )中的每一個取 決於第二陣列(270 )中的L個第二元素的相應那個的極性符號。
11. 如權利要求10所述的方法，其中，根據包括在第 一陣列(250 ) 中的第一元素中的至少一個的值來適配N和M中的至少一個。
12. 如權利要求IO或11所述的方法，其中，所述成對元素中的 元素具有接連的行號或接連的列號。
13. 如權利要求10~ 12中任何一項所述的方法，其中，對於子指 紋(210)中的每一個，確定質量指數，所述質量指數取決於包括在 第二陣列(270 )中的L個第二元素的絕對值的和。
14. 如權利要求13所述的方法，其中，確定位數的步驟包括另一 步驟至少確定包括在預期指紋(130)中的子指紋(210)的質量指 數。
15. 如權利要求13所述的方法，其中，確定位數的步驟包括另一 步驟至少確定包括在另一計算指紋(110)中的子指紋(210)的質量指數。
16. 如權利要求13所述的方法，其中，確定位數的步驟包括另一步驟至少確定包括在計算指紋(30)中的子指紋(210)的質量指數。
17. 如權利要求14、 15或16中任何一項所述的方法，其中，所 述另一步驟還包括確定包括在計算指紋(30)中的子指紋(210)的 位數L。
18. 如權利要求17所述的方法，其中，對於計算指紋來說，時間 表(60)包括至少兩個相應的預期指紋，所述兩個相應的預期指紋包 括不同的位數。
19. 一種用於使接收到的內容流(10)和用於在多媒體系統中輸 出一個或多個感官效果的腳本(70)同步的接收機，該接收才幾包括-用於根據內容流(10)的一部分(20)來計算包括P位的指紋 (30)的裝置，P是大於1的整數；-用於確定對應於指紋(30)的時間值(40)的裝置；-用於使對應於時間值(40 )的腳本的一部分(90 )和內容流的 一部分(20)同步的裝置；-所述腳本表示將以效果信號被輸出到效果控制器的 一 個或多個 感官效果，所述接收機的特徵在於還包括被布置為根據至少一個選自 如下組的指紋來適配P的值的裝置，所述組包括計算指紋、對應於所 述計算指紋的預期指紋(130)、根據所述內容流的另一部分(100) 計算的另一計算指紋(110)、以及對應於所述另一計算指紋(110)的 另一預期指紋(120)。
20. 如權利要求19所述的接收機，其中，適配P的值的裝置被布 置為確定在預期指紋(130)中不具有匹配子指紋的計算指紋(30) 中所包括的子指紋的數目。
21. 如權利要求19所述的接收機，其中，適配P的值的裝置被布 置為確定在另一預期指紋(120)中不具有匹配子指紋的另一計算指 紋(U0)中所包括的子指紋的數目。
22. 如權利要求19所述的接收機，其中，適配P的值的裝置被布 置為確定從計算指紋(30)與預期指紋(130)的比較中所得到的誤 碼率。
23. 如權利要求19所述的接收機，其中，適配P的值的裝置被布 置為確定從另一計算指紋(110)與另一預期指紋(120)的比較中所 得到的誤碼率。
24. 如權利要求19所述的接收機，其中，適配P的值的裝置被布 置為確定另一預期指紋(120)或預期指紋(130)的位數。
25. 如權利要求19所述的接收機，其中，適配P的值的裝置被布 置為至少根據包括在預期指紋(130)中的子指紋(210)的質量指數 來適配P的值，依照權利要求13來確定所述質量指數。
26. 如權利要求19-25中任何一項所述的接收機，其中，用於使 腳本同步的裝置被配置為提供輸出以控制選自光、聲音、振動、風和氣味的組中的一個或多個感官效果。
全文摘要
一種用於使內容流(10)和腳本(70)同步的方法，該方法包括動作根據內容流的一部分(20)來計算(80)包括許多位的指紋(30)；確定(50)對應於計算指紋(30)的時間值(40)；使對應於時間值(40)的一部分腳本(90)與內容流(10)的一部分(20)同步。所述方法的特徵在於包括這樣的步驟，其中根據選自如下組的至少一個指紋來確定位數，所述組包括計算指紋(30)、對應於所述計算指紋的預期指紋(130)、根據所述內容流的另一部分(100)計算的另一計算指紋(110)、以及對應於所述另一計算指紋(110)的另一預期指紋(120)。腳本(70)表示將以效果信號被輸出到效果控制器的一個或多個感官效果。
文檔編號H04N7/52GK101690238SQ200880023447
公開日2010年3月31日 申請日期2008年6月30日 優先權日2007年7月6日
發明者D·A·埃弗斯, M·H·費爾伯克特, R·A·W·克羅特, R·P·G·庫彭, R·S·科爾, W·A·H·伯克文斯 申請人:安布克斯英國有限公司