音頻地表示複雜信息的系統和方法
2023-08-01 02:20:51 1
專利名稱：音頻地表示複雜信息的系統和方法
技術領域：
本發明涉及信息顯示系統，特別是音頻地表示複雜信息的系統。
音頻顯示，有時稱為「聲音化」，通常是指利用非語言聲音表示信息，它是用戶接口設計領域的一部分。研究表明，人的聽覺靈敏度足以監測多個快速變化的數據組的變化趨勢或相互關係。
隨著企業計算機化的加深，允許用戶高效地監測多個快速變化的數據組對於各種企業具有不同的衍生物，例如金融文件交易和過程控制。此外，音頻用戶接口可以實現對各種信息和服務難以可視化的個人訪問，由於計算機用戶接口實例中的可視化偏差，現在還無法實現對這些信息和服務的訪問。現在，計算機的「用戶接口」通常是指有限數目的標準輸入設備，例如鍵盤、滑鼠、軌跡球或觸摸板，和單一的輸出設備、例如顯示屏幕。
本發明為電腦程式提供了一種通過音頻而不是視頻向用戶提供複雜信息的方法。利用聲音表示有事件發生的簡單信息是眾知的例如當用戶出錯時，計算機發出蜂鳴聲。但是通過仔細地組合各種聲音，還可以傳遞語義內容，和更加複雜的信息，例如在試圖保存(3)完全壓縮的(2)文本文件時(1)出錯，因為它比可用硬碟空間大(4)3％。
一方面，本發明涉及音頻地表示信息的方法。產生表示信息的概念組。概念組映射成存儲在存儲器單元中的語義單元。語義單元用於選擇標識待輸出聲音的命令。執行輸出已標識聲音的命令。
另一方面，本發明涉及音頻地標識信息的裝置，包括映射單元和命令執行單元。映射單元接收表示信息的概念組作為輸入。映射單元根據概念組輸出標識待執行命令的命令標識符。命令執行單元接收命令標識符，並執行已標識的命令。在某些實施方案中，裝置包括輸出音頻數據的聲音播放器。在另一實施方案中，裝置包括編輯語義單元的語義框架設計單元。在另一實施方案中，裝置包括在聲音調色板中編輯聲音定義文件的聲音調色板編輯器。
本發明具體地由權利要求限定。上述本發明的優點，以及其它優點將通過參考結合附圖進行的下列描述而得到更好的理解，其中
圖1是三維語義框架的圖形表示；圖2是音頻顯示管理器實施方案的框圖；圖3是本發明實施方案的圖形表示，其中語義框架由散列表實現；圖4是語義單元數據結構實施方案的圖形視圖；圖5是聲音調色板數據結構實施方案的圖形視圖；圖6是聲音定義數據結構實施方案的圖形視圖；圖7是語義框架查找流程實施方案的圖形視圖；圖8是聲音播放器序列實施方案的圖形視圖；和圖9是回放數據結構實施方案的圖形視圖。
總之，本發明是基於n-維陣列結構的，結構中的每個元素都包含產生或控制聲音組的指令。陣列的每一維表示一個概念，信息由這些概念的組合表示。例如，圖1示出具有三維的實施方案名詞、動詞和形容詞。n-維陣列中的每個點表示某一概念的特定實例。特定概念組矢量的交叉點包含如何音頻地表示該概念組合的信息即，使用什麼聲音以及如何控制它們。例如，圖1所示的第一矢量12標識出用於指示打開文本文件的入口。n-維陣列空間中的第二矢量14標識出用於指示調整包含文件類型混合的窗口的大小的入口。n-維陣列表示語義結構，並在整個申請文本中稱為「語義框架」。
語義框架中的每個矢量表示結構單元的特定組合，每個單元表示一個特定概念，例如簡單句。參考圖1所示的實例，名詞描述計算機必需通知用戶的各種對象，例如「文件夾」、「文件」、「窗口」、「目錄」，「單元」(未示出)、「數據值」(未示出)，「電話呼叫」(未示出)或任何其它單元。動詞可以描述系統對對象執行的各種動作。圖1示出四個示例性動詞「打開」、「關閉」、「移動」、和「調整大小」。圖1描繪了具有表示形容詞的第三維的語義框架。示例性的形容詞包括「混合」、「擴展板」，「圖片」和「文本」。n-維空間的入口表示各種簡單句，例如「打開圖片文件」、「打開文本文件」12、或「調整混合窗口的大小」14。對無意義的組合，例如「關閉擴展板目錄」或「打開電話呼叫」，可以不予定義，因為它們在語義框架中沒有表示。或者，可以將無意義的組合賦予一個指示發生了導致無意義句子的條件的入口。
在圖1中，可以同時存在多個語義框架。在一個實施方案中，語義框架組織成樹型結構，其中根語義框架定義通用概念，分支定義逐步具體化的概念。繼續上述的類語言的簡單實例，典型的多功能系統在根語義框架中具有針對各種情況的入口，任何應用可以進行，例如「重命名」一個「文件」，每個特定應用可以具有自己的語義框架，該語義框架具有針對本應用獨有的情況的入口，例如利用「空氣刷」進行「繪畫」。在該實施方案中，較具體化的語義框架中的入口優先於較通用的語義框架，允許一個語義框架中的入口蓋過另一個語義框架中中相同入口。儘管存在多語義框架結構，所有的激活語義框架必需具有相同的維數，每一維必需具有相同的含義或目的。
程序為了使用激活語義框架而構造了「概念組」。概念組是為每維語義框架確定具體值的文本串的組合。概念組還可以確定修飾符，但修飾符是任選的。概念組用於在語義框架中選擇特定單元。修飾符用於在該單元中選擇各種變形。例如，參考圖1，概念組可以包括「打開」、「文件」、「文本」，並指定修飾符「list.txt」。該概念組可以指示產生該概念組的程序正在打開名為「list.txt」的文本文件。動詞「打開」、名詞「文件」和形容詞「文本」的語義單元確定系統如何音頻表示打開文本文件。另外，修飾符「list.txt」可以指示對表示該事件的聲音進行修飾。在一個實施方案中，文件名可以用文-語裝置讀出。在另一實施方案中，通用聲音修飾，例如顫音、相移或和聲可以賦予通用文件名，例如list.txt，config.sys，論文.doc，以便指示這些文件是由聲音表示的事件主體。
作為進一步的實例，應用可以通知用戶無法保存名為「論文.doc」的完全壓縮的文本文件，因為該文件比硬碟上的可用空間大3％。應用可以構造一個為四維確定具體值的概念組；事件(「錯誤」或「成功」)、對象(「文本文件」、「圖形文件」、「菜單」、等等)、錯誤類型(「磁碟滿」、「磁碟錯誤」、「不存在的文件」、「文件已經存在」、等等)、和壓縮等級(「完全」、「不壓縮」、或「快速」)；兩個修飾符文本名(「論文.doc」)和超出值(「3％」)。為了表示因為完全壓縮的文本文件比可用磁碟空間大3％而無法保存，應用可以構造一個每一維都具有適當值的概念組(即「錯誤」、「文本文件」、「磁碟滿」和「滿」)，從語義框架中選擇語義單元，該語義單元確定產生一種或多種聲音或效果以便將該信息音頻傳遞給用戶的命令。
概念組包括應用與音頻顯示管理器之間的基本接口，並且表示事件在系統中的含義。概念組可以描述瞬時事件或任意持續時間的時間。任意持續時間的事件利用兩個概念組表示，一個用於在事件開始時播放聲音，另一個在事件停止時停止聲音。
語義框架的多維特性簡化了在根據共享特定概念的概念組而產生的聲音之間產生相似性。例如，對於利用特定名詞的所有概念組的聲音可以使用相同的樂器，這樣用戶將該樂器與名詞關聯在一起；所有使用特定動詞的概念組可以使用同一旋律。這樣，旋律和樂器的組合可以直接為用戶表示名詞和動詞，即語義內容。
為了給出用戶可以理解的悅耳音頻顯示，必需在語義框架的每一維中選擇表示各個概念的聲音組，這樣聲音可以相互補充。該聲音組稱為「聲音調色板」。類似於畫家的調色板。聲音調色板包括可以在任意時刻同時使用的一些聲音。聲音調色板中的每種聲音都具有名稱，用於產生該聲音的數據與該名稱關聯。聲音調色板可以包括調色板內的其它聲音組合起來的聲音。
可以為同一語義框架生成多個聲音調色板，以便允許用戶在多個組織良好的聲音組中挑選。不同的聲音調色板具有不同的特性，一些相對於另一些更傾向於某些特定的聲音。這種改變聲音調色板，而不改變語義框架的能力允許用戶使音頻顯示個性化。
為了表示概念組中的修飾符，聲音需要各種方式的修飾。概念組還可以定義為改變正在播放的聲音(例如改變音量)，這樣就提供了一組修改聲音的方法。在優選實施方案中，將包括改變音調、改變音量、順序播放兩個或多個聲音、反向播放聲音、循環播放聲音、和停止正在播放的聲音。
為了防止在多個事件的發生時間很接近時出現不和諧的聲音，還提供了一組控制聲音回放的方法。聲音可以並行播放，即在時間上相互重疊，或者串行地、一個接一個地播放。並行聲音適用於發生時間非常重要的時間。串行聲音適用於只有事件的發生重要而發生的確切時間不重要的情況。聲音還可以與離散時間函數同步，產生所有聲音都按其播放的節奏或節拍。這可以表示更加音樂化的音頻顯示。通過細緻地構造語義框架和聲音調色板，有可能產生類似歌曲的音頻顯示，其中需要用戶注意的重要事件成為旋律，而次重要的事件成為背景或節奏部分。
圖2描繪了表示複雜音頻信息的系統實施方案。軟體模塊20為計算機系統中的其它軟體模塊例如客戶程序24提供音頻顯示控制服務。軟體模塊20有時稱為音頻顯示管理器(ADM)。圖2描繪的客戶機/伺服器結構是眾知的，且廣泛地應用於軟體工業。
客戶程序24通過依賴於其中實現ADM20的計算機系統的通訊方法與ADM20通訊。客戶程序24向ADM20發送標識客戶程序24要求ADM20執行的操作的消息。消息還可以包括ADM20執行具體操作所需的數據。ADM20執行由消息指定的操作。ADM20可以為客戶程序24返回包含響應的消息。
語義框架結構語義框架26可以用能夠有效存儲具有多個未定義單元的大數據結構的任意數據結構表示。所選數據結構還應當易於在定義額外單元或從結構中去除額外單元時調整大小。語義框架26可以實現為字符串索引的n-維稀疏陣列。參考圖3，n-維稀疏陣列，即語義框架26，由散列表樹實現。任何簡單的、眾知的散列算法可以用來定位散列表樹中的各個語義單元。樹的根散列表32表示陣列的第一維。該散列表中的每一項都指向表示陣列的下一維的第二散列表34、34(1)、34(2)。該過程對於陣列中的每一維都持續進行。陣列最後一維的散列表包含語義單元38、38(1)、38(2)、38(3)、38(4)、38(5)、38(6)、38(7)、38(8)、38(9)、38(10)、38(11)、38(12)、38(13)、38(14)、38(15)、38(16)、38(17)。
參考圖4，語義單元38可以實現為列出修飾符組42(1)、42(2)、42(N)並將它們與待執行的命令組44(1)、44(2)、44(N)關聯在一起的表。每個修飾符組可以是零個或多個字符串構成的列表46。修飾符組應當按照使修飾符組46能夠高效地與由概念組接收到的修飾符串進行比較以便根據概念組選擇待執行的命令組的形式進行組織。例如，修飾符列表46可以按照字母順序排列。另外，在修飾符組46中不應當有重複的修飾符和修飾符組46。
命令組48是零個或多個命令名稱或命令參數構成的列表，所有這些都表示為簡單的文本字符串。例如，命令可以至少包括表1所示的下列命令
表1命令參數可以根據它們在概念組中的位置指向概念組中的修飾符。這允許參數值取自概念組中的具體修飾符，而不是概念組中的參數值。如果命令參數指向不存在的修飾符，那麼就不執行命令，但可以執行列表中的任何其它命令。
聲音調色板結構參考圖2，聲音調色板28是可以通過聲音名稱引用的一組聲音定義。聲音名稱可以表示為文本串。串可以是包含在命令組48中的命令的參數。現參考圖5，聲音調色板28還可以實現為散列表，其中的每一項都是聲音定義54、54(1)、54(2)。聲音名稱可以被散列以將其映射到聲音定義。儘管在圖5中示出了散列表結構，但是可以使用允許高效地定義聲音和撤銷聲音定義的任何數據結構。
現參考圖6，聲音定義54至少包括聲音名稱61；命令串62；產生聲音所需的數據63；和一組描述如何在回放時修飾聲音的參數64。為了提高效率，聲音名稱61與用於在聲音調色板散列表52中查找聲音的名稱相同。命令串62可以用於在編輯聲音調色板28時描述提供給用戶的聲音。
產生聲音63所需的數據是n-元組列表63(1)、63(2)、63(3)。在圖6所示實施方案中，類型65是指「聲音」或「文件」。如果類型65是「聲音」，那麼n-元組中的名稱66就包含在調色板28中重複播放的另一聲音的名稱。如果類型65是「文件」，那麼名稱66就包含文件的文件名，該文件包含用於製作聲音的數據。為了提高效率，文件應當是系統可以使用的格式，儘管系統具有多個將文件轉換成本地格式的轉換器。例如，文件可以包含MIDI聲音文件或按照系統可以理解的格式進行編碼的數位化波形數據，或者是文件可以轉換成這種格式。聲音文件應當局部地存儲在系統中，即短期或長期存儲器中，但是聲音文件也可以存儲在網絡中，並在需要時取回。
n-元組中的同步域67可以是「並行」或「串行」。如果同步67是「並行」，那麼聲音播放器22就立即與任何其它的播放聲音並行地播放聲音，如果能這樣的話。如果同步67是「串行」，那麼聲音播放器22就在播放完其它先前排隊等候的聲音之後播放聲音。
描述如何在回放時修飾聲音的參數64至少包括音量、均衡變化、優先級變化、反轉標記和循環計數68。聲音播放器22在播放順序聲音組時利用這些參數64。音量可以是指明由當前總音量值正向或負向偏置的數字值。均衡變化可以是確定待使用的右和左音頻通道之間的平衡的數字值。例如，負均衡值使更多的聲音移向左側，正均衡值使更多的聲音移向右側。音調變化可以是指明由數位化音頻文件的記錄音調或MIDI文件中的每個音調標記正向或負向偏置的數字值。參數值64可以通過聲音播放器22添加到當前總音量、均衡和音調設定中，並在播放時作用於每個排隊的聲音。優先權變化是指定聲音相對優先權的數字值，即該聲音可以使那些聲音無效。反轉標記指明該聲音應當反向播放。最後，循環計數68指明重複播放聲音的次數。在一種實施方案中，循環計數為零值表示聲音不斷地循環播放。
聲音定義數據結構54允許由簡單的聲音文件建立複雜的聲音。簡單的聲音可以動態地排序或混合在一起，產生實際上沒有存儲在系統中的更加複雜的聲音。聲音定義可以重複地由其它聲音定義進行定義，允許建立聲音等級和豐富的音頻顯示。概念之間的含義或關係可以由這些複雜的聲音表示或傳遞，例如表示針對特定對象執行的動作的所有聲音定義可以包含表示該對象的簡單聲音。
使用音頻顯示當ADM20啟動時，它載入用戶可選的語義框架26，該語義框架可以只用作語義框架或用作語義框架樹的根語義框架。這提供了通用基本概念組的聲音化。客戶24可以定義自己的語義框架，以便使所需的根據具體的概念聲音化。
只要客戶24想與用戶音頻通訊，它就向ADM20發送包含概念組的消息。參考圖7，概念組72包含代表客戶24想要表達的概念的每一維語義框架26的標識符72(1)、72(2)、72(3)。當ADM20收到概念組72時，它就在語義框架26中查找概念組72，以便確定要為該概念組72執行哪條或哪些命令。命令可以選擇待播放的聲音，該聲音發送到音頻設備25進行回放。在這種情況下，因為概念組72是異步處理的，所以沒有響應消息發送回客戶24。
利用語義框架進行概念組解析客戶24由簡單字符串構造概念組72。在一種實施方案中，客戶24向ADM20發送作為概念組72的字符串列表語義框架72(1)、72(2)、72(3)的每一維和包含任何修飾符72(ML)的零個或多個額外字符串對應一個列表。當ADM20接收概念組72時，它將字符串72(1)、72(2)、72(N)、72(ML)中的大寫字符轉換成小寫字符，這樣在進行字符串匹配時忽略大小寫。另外，ADM20也可以採用大小寫敏感的匹配。ADM20利用包含在概念組72中的第一字符串72(1)在語義框架26的第一維中查找單元。參考圖3和圖7，對於各種實施方案，可以將簡單的散列算法應用於概念組72中的第一字符串72(1)，以便在語義框架的根散列表32中為語義框架的第一維發現單元。
如果在根散列表32中發現了單元，它指向另一個散列表，然後，對概念組72中的下一字符串72(2)進行散列處理，以便發現第二散列表34中的單元。該過程持續進行直到沒有匹配單元或者單元指向語義單元38為止。每個概念組72可以具有特定的「預設」字符串。如果在上述過程中的任意點上，在散列表中沒有發現匹配單元，將對特定字符串「預設」進行散列，以確定所採用的預設概念。如果發現了預設概念，過程將如上所述繼續進行，否則撤銷概念組72的定義，ADM20停止處理消息。
如果上述過程識別出語義單元38，那麼就定義概念組72。比較概念組72中的修飾符串列表72(ML)和語義單元38的列表中的修飾符列表42。比較修飾符組76的過程可以通過計數匹配修飾符串72(ML)的數目和不匹配的數目來完成。在概念組中確定修飾符串列表72(ML)的最佳匹配。在一種實施方案中，與概念組給出的修飾符組72(ML)最匹配、且不包含在概念組72中出現的修飾符的語義單元表中的修飾符組是最佳匹配。然後，執行與該修飾符組關聯的命令組48。如果沒有匹配的修飾符組，那麼ADM20就停止處理概念組72，不執行任何命令。此時，利用語義框架將概念組72翻譯成命令組48的過程就結束了。
ADM20可以具有特定的自動定義語義模式，其中對未定義語義單元38的引用將使它們用空命令組48進行定義。如果啟動該模式，那麼失敗的散列查詢將為失敗的散列值生成一個新單元，而不是對「預設」字符串進行散列處理。如果失敗的散列查詢是針對最後一維語義框架的，那麼就生成具有空命令組48的語義單元38，並將其與失敗的散列值關聯。該模式允許客戶程序24為以後將賦予命令的語義框架26生成框架。在一些實施方案中，語義框架編輯器27可以協助編輯語義框架26的功能。
執行命令組一旦識別出命令組48，就按照它們在語義單元38中的出現順序執行命令組48中的每一條命令。聲音播放器22用於控制聲音的回放。如果不能執行命令組48中的命令，例如該命令指向未定義的聲音，那麼仍執行命令組48中的其它命令。
參考表1，播放命令利用聲音調色板28查找具有由其參數指定的名稱的聲音定義。這是通過對聲音名稱進行散列處理，以在聲音調色板散列表52中找到入口而完成的。如果沒有針對該聲音名稱的入口，那麼該命令什麼也不執行。如果找到入口，就將聲音定義54傳送給聲音播放器22，進行播放。
停止、音量、均衡和音調命令均將其參數發送到聲音播放器22。聲音播放器22利用聲音名稱參數查找正在播放的具有該名稱的聲音，並對正在播放的這一聲音進行指定的操作(停止聲音、改變音量、均衡或音調)。在音量、均衡和音調命令的情況下，數字偏置參數可以表示為為正在播放的聲音而增加到適當值的有符號的整數值。
全部停止命令使聲音播放器22停止所有正在播放的聲音，並丟棄任何正在等待播放的待播放聲音。
主音量命令以特定值調整聲音播放器22使用的總音量值。音量調整值可以由有符號的整數值表示。
聲音播放器聲音播放器22控制實際的聲音回放。它與系統的本地音頻播放設備25相互配合，以啟動、停止和控制聲音。參考圖8，聲音播放器22保持兩個隊列一個是正在播放的聲音隊列82和另一個是等待播放的待播放聲音隊列84。參考圖9，這些隊列中的每一項都是包含以下內容的回放數據結構90當前音量92；均衡值94；音調值96；優先級98；音頻通道標識符列表100；和回放位置棧102，其中的每一單元包含聲音定義200、聲音定義列表中的索引202、循環計數204。棧用於在一種聲音定義的聲音列表中的一項指向另一種聲音定義時提供純淨的聲音。這些結構允許聲音播放器22保持正在播放或暫停的聲音的當前回放狀態。
由聲音定義播放聲音為了播放聲音，聲音播放器首先通過將音量值和均衡值92、94設定為當前總音量設定值和均衡設定值、將音調96和優先級98設定為零而完成對回放數據結構90的初始化。然後，將初始化後的回放數據結構放置在正在播放的聲音隊列82的尾部。
在一種實施方案中，聲音播放器22按照下述方式執行「啟動聲音」算法。它將聲音定義以及聲音列表索引和循環計數的零值壓入回放位置棧102。並將來自棧頂部的聲音定義的音量92、均衡94、音調96和優先級值98添加到回放結構90中的相應值中。
然後，聲音播放器22執行下述「檢查聲音」算法，以播放聲音定義的聲音列表中的每個聲音。如果在回放位置棧102頂部的聲音定義54中的循環計數68不等於零、且等於回放位置棧102頂部的循環計數204，那麼就停止播放聲音。已停止的聲音從棧102彈出，將來自該單元中的聲音定義的音量、均衡、音調和優先級值從回放結構90中的相應值中減去。如果棧102是空的，那麼聲音已經停止播放，將其從當前播放隊列82中去除。
如果聲音沒有結束，那麼可以執行下述「播放聲音」算法。回放位置棧102頂部的聲音列表索引202用於在棧頂部的聲音定義54的聲音數據列表63中尋找待播放的n-元組。然後，回放位置棧頂部的聲音列表索引202加一。如果該索引大於聲音數據列表63的長度，就將其復位，同時循環計數204加一。如果上面尋找到的n-元組中的同步值67是「串行」，那麼就檢測音頻通道標識符列表100。如果列表非空，就通過將回放結構從當前播放聲音隊列82移到待播放聲音隊列84的頭部而使該聲音延遲。如果列表100為空，或n-元組中的同步值67為「並行」，就檢測n-元組中的類型65。如果類型為「聲音」，就利用聲音調色板查找命名的聲音定義54，並用該定義執行「啟動聲音」算法。
如果在上面找到的n-元組中的類型65為「文件」，就播放命名的文件。從系統音頻設備25獲得音頻通道，以播放聲音，可以使用下述的「通道竊取」算法，對該通道的引用放置在音頻通道標識符列表100中。如果沒有分配通道，那麼就通過將回放結構90從當前播放聲音隊列82除去，並將其放置在待播放聲音隊列84的頭部而使該聲音延遲。如果已經成功地分配了音頻通道，就將命名文件的內容發送到音頻設備25，在分配給該聲音的通道上利用回放結構90中的音量、均衡和音調播放該聲音，並再次執行「播放聲音」算法。
當特定的音頻通道播放完分配給它的聲音數據時，系統音頻設備25異步地通知聲音播放器22。當這種情況發生時，聲音播放器22在當前播放聲音隊列82中查找針對回放結構90中的那一聲音通道的標識符，並對其執行「檢查聲音」算法，這一過程相應地促使「播放聲音」算法繼續播放複雜聲音中的聲音。如果這些算法完成之後，仍存在音頻通道，那麼就將待播放聲音隊列84頭部的回放結構90移到當前播放聲音隊列82的尾部，並對其執行「檢查聲音」算法。這確保所有的可用音頻通道都將用於播放應當並行播放的聲音，與其它聲音串行播放的聲音在其前面的聲音播放結束之後開始播放。
通道竊取算法聲音播放器22可以只具有有限數目的、在其上可以播放聲音的音頻通道。可用通道數目通常依賴於系統硬體的性能。由此，可以同時播放的聲音的數目有一個極限。如果聲音播放器22需要播放聲音，但沒有音頻通道可用，它將試圖利用一種稱為「通道竊取」的方法釋放一個通道。
當它需要竊取一個通道時，聲音播放器22將搜索播放聲音隊列82，尋找具有最低優先級的，即播放音量最低、播放時間最長的聲音。如果播放該聲音的優先級高於待播放的新聲音，那麼就不竊取任何通道。新聲音放置在待播放聲音隊列84的頭部，這樣一旦獲得通道就可以開始播放。否則，停止播放聲音，並將其從當前播放隊列82中去除。如果聲音是循環的，就應將其放置在待播放聲音隊列84的頭部，這樣它將在另一通道可用時繼續循環。
生成和修飾聲音調色板聲音調色板可以利用允許用戶生成聲音定義的專用客戶程序生成。在一種實施方案中，客戶使用圖形用戶接口(GUI)允許用戶生成或刪除整個聲音調色板、在聲音調色板內生成或修飾或刪除聲音定義、和管理聲音調色板在系統中的存儲。
利用聲音調色板編輯客戶29，用戶可以在系統存儲器中的定位和選擇聲音文件，並將聲音定義的各種參數與這些文件關聯在一起。這提供了構造聲音文件、命名聲音定義和設定或修飾聲音定義的所有上述參數的途徑。
生成和修飾語義框架語義框架可以用兩種方式生成利用專用語義框架編輯客戶程序27，或利用上述的自動定義語義模式。語義框架編輯客戶允許用戶生成、修飾或刪除語義框架，並管理語義框架在系統的存儲。用戶可以指定語義框架的維數，並用字符串標記每一維。他們可以用輔助修飾符組46和命令組48生成語義單元38，並將這些單元與語義框架中的特定概念組合關聯在一起。用戶可以生成、修飾或刪除任何上述的語義框架參數或語義單元。
用戶還可以改變所有語義單元的參數，這些語義單元共用語義框架的某一維中的概念的特定實例。參考圖1作為一個例子，語義框架編輯器允許客戶向所有利用動詞「移動」和任意名詞或形容詞定義的語義單元添加播放命令。另外，還可以修飾所有利用名詞「窗口」和任意動詞或形容詞定義的語義單元的音量。這允許用戶生成跨概念的一致性。
聲音調色板編輯客戶29和語義框架編輯客戶可以是兩個獨立的程序，或合併成一個程序。類似地，聲音調色板28和語義框架26可以存儲為兩個獨立的數據文件，或合併為一個文件。在優選實施方案中，聲音調色板編輯器和語義框架編輯器合併成一個程序，語義框架和聲音調色板存儲為獨立文件。
應用程式接口規範ADM20提供了應用程式接口規範，包括連接到ADM20、定義語義框架、定義聲音調色板和獲取關於當前定義的語義框架或聲音調色板的信息的方法。在一種實施方案中，ADM20提供的API至少包括以下命令。
消息初始化在客戶程序和ADM之間建立連接。一旦實現連接，客戶程序就可以使用由系統用戶預定義的全局語義框架和聲音調色板。
消息關機將應用與ADM斷開，釋放ADM為客戶程序維護的任何資源。
消息啟動收到布爾參數，該參數為TRUE表示允許從ADM輸出音頻，為FALSE表示禁止輸出。
消息處理概念組由客戶程序接收概念組，並將其轉換成聲音。該消息是客戶在希望用ADM表示信息時發送的。
消息讀語義框架由磁碟文件讀取存儲的語義框架，使其成為客戶程序所有的分層語義框架。參數可以在全局語義框架中讀取，而不是局部語義框架。
消息寫語義框架將客戶程序所有的當前定義的分層語義框架寫入磁碟上的一個或多個文件，保存起來，以備後用。這允許客戶保存其為自己構造的語義框架。參數可以寫入全局語義框架，而不是局部語義框架，或在寫入時，將全局和局部語義框架合併成一個語義框架。
消息獲取語義單元給定特定的概念組，由局部或全局語義框架獲取語義單元。
消息設定語義單元給定語義單元的信息和與其關聯的概念組，在局部或全局語義框架中定義語義單元。還可以用於撤銷語義單元的定義，將其從語義框架中去除。
消息計數語義單元允許調用者計數語義框架或語義框架的任一維中定義的所有語義單元。
消息讀聲音調色板由一個或多個磁碟文件讀取存儲的聲音調色板，並使其成為調用程序所有分層聲音調色板。
消息寫聲音調色板將調用程序所有的當前定義的分層聲音調色板寫入磁碟上的一個或多個文件中，保存起來，以備後用。這允許程序保存為其自己使用而構造的聲音調色板。
消息獲取調色板入口由聲音調色板獲取關於特定聲音的信息。還可以用於計數聲音調色板中的所有聲音。
消息設定調色板入口定義針對聲音調色板中的特定聲音的信息。還可以用於撤銷聲音的定義，使其從聲音調色板中刪除。
消息播放聲音立即播放來自聲音調色板或存儲在磁碟上的任意聲音文件的特定聲音，且與任何其它聲音並行播放。
消息停止所有聲音停止任何和所有正在播放的聲音。
消息設定音量為所有聲音的回放設定總音量值。獨立聲音音量設定或改變可以相對於該值進行。
如果本發明作為計算機軟體，那麼它可以用任何支持上述數據結構的高級程式語言編寫，例如C、C++、PASCAL，FORTRAN，LISP，或ADA。另外，本發明還可以作為彙編語言代碼。本發明在作為軟體代碼時可以存入任何非易失存儲器單元，例如軟盤、硬碟、CD-ROM、光碟、磁帶、快閃記憶體、或ROM。
已經描述了本發明的特定實施方案，本領域的普通技術人員將明白的是可以使用包含本發明概念的其它實施方案。因此，本發明不局限與特定實施方案，而受限於下述權利要求的宗旨和範圍。
權利要求
1．音頻地表示信息的方法，包括以下步驟(a)將表示信息的概念組映射到存儲在存儲器單元中的語義單元；(b)利用映射的語義單元選擇標識待輸出聲音的命令；(c)執行輸出已標識聲音的命令。
2．權利要求1的方法，其中步驟(a)包括將表示信息的概念組映射到具有多維的語義框架中的元素。
3．權利要求1的方法，還包括在步驟(a)之前從一設備接收表示信息的概念組的步驟。
4．權利要求3的方法，其中所述設備包括計算機。
5．權利要求1的方法，還包括在步驟(a)之前的以下步驟從一設備接收音頻地表示的信息；和將接收到的信息轉換成表示信息的概念組。
6．權利要求1的方法，其中步驟(b)還包括為語義單元提供修飾符，以選擇標識待輸出聲音的命令。
7．權利要求1的方法，其中步驟(a)還包括(a-a)從一設備接收表示信息的概念組，概念組包括值和修飾符；和(a-b)從存儲在存儲器中的散列表接收標識語義單元的入口，入口由概念組的值標識。
8．權利要求1的方法，還包括根據客戶程序的執行而生成語義單元的步驟。
9．權利要求1的方法，其中步驟(c)還包括執行與多個其它聲音同時輸出已標識聲音的命令，以產生更加複雜的聲音。
10．音頻地表示信息的裝置，包括映射單元，接收表示信息的概念組作為輸入，並輸出用於根據輸入概念組而選擇待執行命令的命令標識符；命令執行單元，接收命令標識符作為輸入，且執行選擇的命令以輸出有該命令標識的聲音。
11．權利要求10的裝置，還包括存儲在存儲器單元中的語義單元數據結構，所述映射單元利用該語義單元數據結構將表示信息的輸入概念組映射成待執行的命令。
12．權利要求10的裝置，其中所述語義單元數據結構至少包括一個散列表。
13．權利要求10的裝置，還包括一聲音播放器，所述聲音播放器從命令執行單元接收播放請求輸入，並輸出音頻數據。
14．權利要求13的裝置，其中所述聲音播放器向用於音頻表示的音頻設備輸出音頻數據。
15．權利要求13的裝置，還包括存儲在存儲器單元中的聲音調色板，其從命令執行單元和聲音播放器接收聲音標識符，並返回聲音定義。
16．權利要求15的裝置，其中所述聲音調色板至少包括一個散列表。
17．權利要求11的裝置，還包括編輯所述語義單元數據結構的語義框架設計單元。
18．權利要求17的裝置，其中所述語義單元數據結構包括n-維陣列，所述語義框架設計單元沿著陣列的第一維編輯所有的語義單元。
19．權利要求14的裝置，還包括編輯由所述聲音調色板保存的聲音定義的聲音調色板設計單元。
20．具有計算機可讀程序的用於音頻地再現其中包含的複雜信息的製造品，包括用於將表示信息的概念組映射成存儲在存儲器單元中的語義單元的計算機可讀程序；用於利用映射的語義單元選擇標識待輸出聲音的命令的計算機可讀程序；和用於執行輸出已標識聲音的命令的計算機可讀程序。
全文摘要
音頻地表示信息的方法是從接收表示信息的概念組開始的。該概念組映射成存儲在存儲器單元中的語義單元。語義單元用於選擇標識待輸出聲音的命令。執行輸出已標識聲音的命令。表示音頻信息的相關裝置包括映射單元和命令執行單元。映射單元接收表示信息的概念組作為輸入。映射單元根據概念組輸出標識待執行命令的命令標識符。命令執行單元接收命令標識符,並執行已標識的命令。在某些實施方案中,裝置包括輸出音頻數據的聲音播放器。在另一些實施方案中,裝置包括編輯語義單元的語義框架設計單元。在另一些實施方案中,裝置包括在聲音調色板中編輯聲音定義文件的聲音調色板編輯器。
文檔編號G10L13/04GK1283297SQ98812513
公開日2001年2月7日 申請日期1998年10月21日 優先權日1997年10月22日
發明者D·E·歐文, E·R·馬肯蒂, M·克勒門斯 申請人:桑尼康公司