用於將文本消息自動地轉換成音樂作品的系統和方法與流程

2023-09-17 20:08:15

對相關申請的交叉引用

本申請要求2014年8月22日提交的美國臨時專利申請號62/040,842以及2015年2月27日提交的美國臨時專利申請號62/121,803的優先權，這兩個美國臨時專利申請被整體地通過引用結合到本文中。

本公開一般地涉及音樂創作領域，並且更具體地涉及將文本轉換成音樂作品的系統。

背景技術：

經由書面文本的通信在現今的社會中已經變得普通。除現在和將來可用的其他方法之外，可以經由電子郵件、mms消息、sms消息、即時消息傳送、在線聊天、各種社交媒體出口（諸如twitter®和facebook®消息傳送）將這樣的文本通信傳輸到（或以其他方式使這樣的文本通信可用於）一個或多個接收者。

隨著文本通信隨時間過去已經變得更普遍，該形式的消息傳送已經失去其原始吸引力中的一些。一些文本通信應用已經在嘗試恢復吸引力中的一些中引入附加特徵。例如，某些文本平臺允許用戶將表情符號或其他圖形（例如，gif文件）添加到其消息。即使如此，由於其增長地普遍的使用，圖形也已經隨時間過去而丟失其吸引力中的一些。此外，預先存在的圖形和表情符號的數目實際上受限制，並且從零開始創建這樣的圖形增強對於普通用戶而言可能是困難或不切實際的。類似地，一些應用已經給用戶提供用於將音頻/音樂文件嵌入使用某些格式傳輸的消息中的有限選項。

給用戶提供方便的平臺來以更有創造力和有趣的方式創作和通過各種介質遞送基於文本的通信將是所期望的。

技術實現要素：

在實施例中，本公開描述了一種用於將文本消息自動地轉換成音樂消息的計算機實現的方法。該計算機實現的方法包括接收文本輸入以及接收音樂輸入選擇。方法還包括經由一個或多個處理器分析文本輸入以確定文本輸入的至少一個文本特性，以及經由所述一個或多個處理器分析對應於音樂輸入選擇的音樂輸入以確定音樂輸入的至少一個音樂特性。基於所述至少一個文本特性和所述至少一個音樂特性，方法還包括經由所述一個或多個處理器使文本輸入與音樂輸入相關以生成合成器輸入，以及將合成器輸入發送給語音合成器。方法包括從語音合成器接收文本輸入的有聲（vocal）呈現、根據文本輸入的有聲呈現和音樂輸入生成音樂消息、輸出音樂消息。

在另一實施例中，本公開描述了一種裝置，其包括至少一個處理器以及存儲計算機可讀指令的至少一個存儲器。當執行時，指令使裝置至少執行接收文本輸入和接收音樂輸入選擇。指令還使裝置執行經由所述至少一個處理器分析文本輸入以確定文本輸入的至少一個文本特性以及經由所述至少一個處理器分析對應於音樂輸入選擇的音樂輸入以確定音樂輸入的至少一個音樂特性。基於所述至少一個文本特性和所述至少一個音樂特性，指令還使裝置執行經由所述至少一個處理器使文本輸入與音樂輸入相關以生成合成器輸入並且將合成器輸入發送給語音合成器。指令還使裝置執行從語音合成器接收文本輸入的有聲呈現、根據文本輸入的有聲呈現和音樂輸入生成音樂消息，以及輸出音樂消息。

在另一實施例中，本公開描述了一種存儲指令的非暫時性計算機可讀介質，所述指令在被執行時使裝置至少執行接收文本輸入和接收音樂輸入選擇。指令還使裝置執行經由一個或多個處理器分析文本輸入以確定文本輸入的至少一個文本特性，以及經由所述一個或多個處理器分析對應於音樂輸入選擇的音樂輸入以確定音樂輸入的至少一個音樂特性。基於所述至少一個文本特性和所述至少一個音樂特性，指令還使裝置執行經由所述一個或多個處理器使文本輸入與音樂輸入相關以生成合成器輸入並且將合成器輸入發送給語音合成器。指令還使裝置執行從語音合成器接收文本輸入的有聲呈現、根據文本輸入的有聲呈現和音樂輸入生成音樂消息，以及輸出音樂消息。

附圖說明

參考下圖描述了非限制性和非窮舉性實施例。在圖中，同樣的參考數字貫穿所有各種圖指的是同樣的部分，除非被另外指定。

為了更好地理解本公開，將參考要與附圖相關聯地閱讀的以下詳細描述，在所述附圖中：

圖1圖示了根據本公開的其中可以實踐音樂消息傳送系統的網絡配置的一個示例性實施例；

圖2圖示了根據本公開的操作音樂消息傳送系統的方法的實施例的流程圖；

圖3圖示了根據本公開的回放滑動條的實施例；以及

圖4圖示了支持本公開的系統和過程的設備的框圖。

具體實施方式

現在將在此後參考附圖更充分地描述本發明，所述附圖形成本發明的一部分並且其通過圖示的方式示出了可以通過其實踐本發明的具體示例性實施例。然而，本發明可以以許多不同形式體現並且不應該解釋為限於本文中闡述的實施例；相反，這些實施例被提供使得本公開將是透徹和完整的，並且將向本領域技術人員充分地傳達本發明的範圍。除其他之外，本發明可以體現為方法或設備。相應地，本發明可以採取完全硬體實施例、完全軟體實施例或者組合軟體和硬體方面的實施例的形式。因此，不要在限制性的意義上解釋以下詳細描述。

貫穿說明書和權利要求書，以下術語採取本文中明確地相關聯的含義，除非上下文另外清楚地指示。如本文中使用的短語「在一個實施例中」不一定指的是同一實施例，儘管其可能。此外，如本文中使用的短語「在另一實施例中」不一定指的是不同的實施例，儘管其可能。因此，如下面描述的那樣，本發明的各種實施例可以容易地組合，而不脫離本發明的範圍或精神。

此外，如本文中所使用的那樣，術語「或」是包括性的「或」運算符並且等同於術語「和/或」，除非上下文另外清楚地指示。術語「基於」不是排他性的並且慮及基於沒有描述的附加因素，除非上下文另外清楚地指示。此外，貫穿說明書，「一」、「一個」和「該」的含義包括複數引用。「在……中」的含義包括「在……中」並且包括複數引用。「在……中」的含義包括「在……中」和「在……上」。

本公開涉及用於創建包含可聽音樂和/或視頻作品的消息的系統和方法，所述消息可以經由諸如sms、mms和電子郵件之類的多種消息傳送格式而傳輸給用戶。還可以可能的是，經由諸如twitter®、facebook®、instagram®或任何其他適合的媒體共享系統之類的各種社交媒體平臺和格式來發送這樣的音樂作品消息。在某些實施例中，所公開的音樂消息傳送系統給用戶提供直觀且方便的方式來基於無限變化的用戶輸入而自動地創作和發送原始作品。例如，所公開的音樂消息傳送系統可以從用戶接收以文本鏈的形式的文本輸入連同用戶對由用戶預先錄製或錄製和提供的音樂作品或旋律的選擇。一旦接收到這些輸入，音樂消息傳送系統就可以分析和解析文本鏈和所選音樂作品二者來創作與音樂作品的版本配對的文本鏈的有聲呈現以提供通過用戶的文本輸入的音樂增強版本。音樂消息傳送系統的輸出可以提供大量多種音樂輸出而同時維持所選音樂作品的用戶識別。如果其選擇，則用戶然後可以經由社交媒體、sms或mms消息傳送或任何其他形式的文件共享或電子通信來與其他人共享音樂消息。

在一些實施例中，用戶可以附加地錄製視頻以伴隨音樂增強文本。可以實時地錄製視頻連同由用戶提供的文本輸入的有聲呈現以便將視頻與由系統創建的音樂消息有效地匹配。在其他實施例中，可以選擇預先錄製的視頻並且將其與音樂消息匹配。在這樣的實施例中，系統的結果是僅使用客戶端設備（諸如經由網絡連接到伺服器的智慧型電話或平板）並且要求很少或者不要求專門技術技能或知識創建的原始抒情視頻。下面更詳細地描述音樂消息傳送系統以及實現這樣的系統的方法。

圖1圖示了其中可以實現所公開的音樂消息傳送系統100的網絡配置的示例性實施例。然而，在本文中設想可以不要求所有圖示的組件來實現音樂消息傳送系統，並且可以做出組件的布置和類型方面的變化而不脫離本發明的範圍的精神。參考圖1，音樂消息傳送系統100的圖示實施例包括區域網（「lan」）/廣域網（「wan」）（共同地，網絡106）、無線網絡110、客戶端設備101-105、伺服器108、媒體資料庫109以及外圍輸入/輸出（i/o）設備111、112和113。雖然圖示了客戶端設備的若干示例，但是在本文中設想客戶端設備101-105可以實質上包括能夠處理音頻、視頻或文本數據和通過諸如網絡106、無線網絡110等的網絡發送所述音頻、視頻或文本數據的任何計算設備。在一些實施例中，無線網絡110和網絡106中的一個或兩個可以是數字通信網絡。客戶端設備101-105還可以包括被被配置成可攜式的設備。因此，客戶端設備101-105可以實質上包括能夠連接到另一計算設備並且接收信息的任何可攜式計算設備。這樣的設備包括可攜式設備，諸如蜂窩電話、智慧型電話、顯示尋呼機、射頻（rf）設備、紅外（ir）設備、個人數字助理（pda）、手持計算機、膝上型計算機、可穿戴計算機、平板計算機、組合前述設備中的一個或多個的集成設備，等等。

客戶端設備101-105還可以實質上包括能夠通過網絡通信以發送和接收信息（包括軌跡信息和社交聯網信息）、執行可聽地生成的音軌搜索查詢等的任何計算設備。這樣的設備的集合可以包括典型地使用有線或無線通信介質連接的設備，諸如個人計算機、微處理器系統、基於微處理器的或可編程的消費者電子設備、網絡pc等。在一個實施例中，客戶端設備101-105中的至少一些可以在有線和/或無線網絡上操作。

客戶端設備101-105可以是使能web的並且可以包括被被配置成接收和發送web頁面、基於web的消息等的瀏覽器應用。瀏覽器應用可以被被配置成接收和顯示圖形、文本、多媒體、視頻等，並且可以實質上採用任何基於web的語言，包括無線應用協議消息（wap）等。在一個實施例中，使得瀏覽器應用能夠採用手持設備標記語言（hdml）、無線標記語言（wml）、wmlscript、javascript、標準通用25標記語言（smgl）、超文本標記語言（html）、可擴展標記語言（xml）等來顯示和發送各種內容。在一個實施例中，客戶端設備的用戶可以採用瀏覽器應用與諸如文本消息傳送客戶端、電子郵件客戶端等的消息傳送客戶端交互以發送和/或接收消息。

客戶端設備101-105還可以包括被被配置成接收來自另一計算設備的內容的至少一個其他客戶端應用。該客戶端應用可以包括提供和接收多媒體內容的能力，所述多媒體內容諸如文本內容、圖形內容、音頻內容、視頻內容等。該客戶端應用可以進一步提供標識其本身的信息，包括類型、能力、名稱等。在一個實施例中，客戶端設備101-105可以通過多種機制中的任何機制來唯一地標識它們本身，所述多種機制包括電話號碼、移動標識號碼（min）、電子序列號碼（esn）或者其他行動裝置標識符。該信息還可以指示使得行動裝置能夠採用的內容格式。這樣的信息可以以例如網絡分組或其他適合的形式來提供，發送給伺服器108或其他計算設備。媒體資料庫109可以被配置成存儲諸如音樂片段和文件等的各種媒體，並且存儲在媒體資料庫中的信息可以由伺服器108訪問，或者在其他實施例中由其他計算設備通過網絡106或無線網絡110直接地訪問。

客戶端設備101-105可以進一步被配置成包括使得終端用戶能夠登錄到可以由另一計算設備（諸如伺服器108）管理的用戶帳戶中的客戶端應用。這樣的用戶帳戶例如可以被配置成使得終端用戶能夠參加一個或多個社交聯網活動，諸如提交音軌或多音軌錄音或視頻、搜索音軌或錄音、下載多媒體音軌或其他錄音以及參加在線音樂社區。然而，還可以在沒有登錄到用戶帳戶中的情況下執行參加各種聯網活動。

無線網絡110被配置成將客戶端設備103-105及其組件與網絡106耦合。無線網絡110可以包括可以進一步覆蓋獨立的自組織網絡等的多種無線子網絡中的任何無線子網絡以提供用於客戶端設備103-105的面向基礎設施的連接。這樣的子網絡可以包括網狀網絡、無線lan（wlan）網絡、蜂窩網絡等。無線網絡110可以進一步包括通過無線無線電連結或者其他適合的無線通信協議而連接的終端、網關、路由器等的自治系統。這些連接器可以被配置成自由地且隨機地移動並且任意地組織它們本身，使得無線網絡110的拓撲可以快速地改變。

無線網絡110可以進一步採用多個接入技術，包括用於蜂窩系統的第二代（2g）、第三代（3g）、第四代（4g）以及4g長期演進（lte）無線電接入、wlan、無線路由器（wr）網以及其他適合的接入技術。諸如2g、3g、4g、4glte之類的接入技術以及將來的接入網絡可以使能對行動裝置的廣域覆蓋，所述行動裝置諸如具有各種移動性程度的客戶端設備103-105。例如，無線網絡110可以使能通過無線電網絡接入的無線電連接，所述無線電網絡接入諸如全球移動通信系統（gsm）、通用分組無線電業務（gprs）、增強的數據gsm環境（edge）、寬帶碼分多址（wcdma）等。本質上，無線網絡110可以實質上包括信息可以通過其在客戶端設備103-105和另一計算設備、網絡等之間傳播的任何無線通信機制。

網絡106被配置成將網絡設備與包括伺服器108、客戶端設備101-102的其他計算設備耦合，並且通過無線網絡110耦合到客戶端設備103-105。使得網絡106能夠採用任何形式的計算機可讀介質用於從一個電子設備向另一電子設備傳送信息。而且，除區域網（lan）、廣域網（wan）、諸如通過通用串行總線（usb）埠之類的直接連接、其他形式的計算機可讀介質或者其任何組合之外，網絡106還可以包括網際網路。在包括基於不同架構和協議的那些lan的lan互連集合上，路由器充當lan之間的連結，從而使得消息能夠從一個發送到另一個。此外，lan內的通信連結典型地包括雙絞線或同軸電纜，而網絡之間的通信連結可以利用模擬電話線、完整或部分的專用數字線（包括t1、t2、t3和t4）、綜合業務數字網絡（isdn）、數字訂戶線（dsl）、無線連結（包括衛星連結）或者為本領域技術人員所知的其他通信連結。此外，遠程計算機和其他相關電子設備可以經由數據機和臨時電話連結遠程地連接到或者lan或者wan。本質上，網絡106包括信息可以通過其在計算設備之間傳播的任何通信方法。

在某些實施例中，客戶端設備101-105可以例如使用點對點配置直接地通信。

附加地，通信介質典型地體現計算機可讀指令、數據結構、程序模塊或其他傳輸機制並且包括任何信息遞送介質。作為示例，通信介質包括諸如雙絞線、同軸電纜、光纖、波導和其他有線介質之類的有線介質以及諸如聲學、rf、紅外和其他無線介質之類的無線介質。

包括i/o設備111-113的各種外圍設備可以附連到客戶端設備101-105。例如，多點觸摸壓力板113可以從用戶接收物理輸入並且作為usb外圍設備來分配，但是不限於usb，並且其他接口協議也可以被使用，包括但不限於zigbee、藍牙或其他適合的連接。通過壓力板113的外部和接口協議傳輸的數據可以包括例如midi格式化數據，但是也可以通過該連接傳達其他格式的數據。類似的壓力板可以替代地與諸如行動裝置104或105之類的客戶端設備實體集成。耳機112可以附連到客戶端設備的音頻埠或者其他有線或無線i/o接口，從而提供用於使用戶傾聽所創作的消息的回放連同系統的其他可聽輸出的示例性布置。麥克風111也可以經由音頻輸入埠或者其他連接而附連到客戶端設備101-105。替代地或者除耳機112和麥克風111之外，一個或多個揚聲器和/或麥克風可以集成到客戶端設備101-105或者其他外圍設備111-113中的一個或多個中。而且，外部設備可以連接到壓力板113和/或客戶端設備101-105以提供可以通過外部控制重現的聲音樣本、波形、信號或其他音樂輸入的外部源。這樣的外部設備可以是midi設備，客戶端設備103和/或壓力板113可以將midi事件或其他數據路由到midi設備以便觸發來自外部設備的音頻的回放。然而，設想這樣的外部設備可以採用不同於midi的格式。

圖2是圖示了用於操作音樂消息傳送系統100的方法200的實施例的流程圖，其中參考圖1中示出的組件。在202處開始，系統可以在204處接收文本輸入。用於用戶期望發送的消息的文本輸入可以由用戶經由諸如pc、平板或智慧型電話之類的電子設備、參考圖1描述的客戶端設備101-105中的任何其他或者其他適合的設備輸入。在這些設備中的任何設備中可以以常見方式輸入文本（例如，使用軟鍵盤或機械鍵盤、觸控螢幕鍵盤、言語到文本轉換的人工輸入）。在一些實施例中，通過使用客戶端設備101-105訪問的專門用戶接口應用來提供文本輸入。替代地，文本輸入可以經由一般應用來遞送以用於使用客戶端設備101-105傳輸基於文本的消息。

所得文本輸入可以通過無線通信網絡110和/或網絡106傳輸以由伺服器108在204處接收。在206處，系統使用伺服器108分析文本輸入以確定文本輸入的某些特性。然而，在一些實施例中，設想對文本消息的分析可以替代地發生在客戶端設備101-105本身而不是伺服器108上或者與伺服器108並行地發生。對文本輸入的分析可以包括多種數據處理技術和過程。例如，在一些實施例中，利用言語解析器將文本輸入解析成文本的言語元素。例如，在一些實施例中，言語解析器可以標識重要的詞（例如，喜愛、生氣、瘋狂）、標定短語邊界（例如，「我想你」、「我愛你」、「我們見面吧」、「那是個很棒的演唱會」）和/或標識俚語（例如，寒冷（chill）、懸掛（hang））。被視為重要的詞可以按照地區或語言而變化，並且可以隨時間過去更新以與當代文化一致。類似地，俚語可以地理上和時間上變化使得音樂消息傳送系統100是可更新和可定製的。在文本輸入中使用的標點符號或其他符號也可以被標識並且歸因於可能影響對文本的分析解析的某些情緒或音調。例如，感嘆號可以指示幸福或緊急，而「愁容」表情符號可以指示悲傷或悲痛。在一些實施例中，也可以通過將詞分解成音節以及進一步地通過將音節分解成一系列音位來將文本輸入中傳達的消息處理成其組分塊。在一些實施例中，音位用於創建文本輸入中的消息的音頻回放。下面更詳細地描述用於分析文本輸入的附加技術。

在208處，系統接收從客戶端設備101-105傳輸的對音樂輸入的選擇。在一些實施例中，用戶接口可以實現成從預先錄製且編有目錄的音樂作品的列表或庫或者可以包括一個或多個樂句的音樂作品的片段選擇音樂輸入。在該上下文中，樂句是展現完整音樂「想法」的音符或連接的聲音的組合，類似於語言短語或句子。為了促進用戶在預先錄製的音樂作品或樂句之間的選擇，可用音樂作品或樂句的列表可以包括例如對通過短語設置的歌曲名稱、表演藝術家、流派和/或情緒的基於文本的描述，僅舉幾個可以經由用戶接口提供給用戶的可能的信息塊。基於可用音樂作品或樂句的列表，用戶然後可以選擇期望的音樂作品或片段用於使音樂消息傳送系統將其與文本輸入進行組合。在一個實施例中，可以存在二十個或者更多個預先錄製和選擇的樂句用於使用戶從中選擇。

在一些實施例中，預先錄製的音樂作品或樂句以任何適合的計算機可讀格式存儲在伺服器108或媒體資料庫109上，並且經由客戶端設備101-105通過無線網絡106和/或網絡110來訪問。替代地，在其他實施例中，預先錄製的音樂作品直接地存儲到客戶端設備101-105或者諸如快閃記憶體驅動器或其他計算機存儲器設備之類的另一本地存儲器設備上。不管存儲位置，預先錄製的音樂作品的列表可以隨時間過去被更新，從而移除或添加音樂作品以便給用戶提供新的選項和附加選擇。

還設想各個用戶可以創作其自身的旋律以用於與音樂消息傳送系統關聯地使用。可以使用在轉讓給本申請的受讓人的題為「systemandmethodforproducingamoreharmoniousmusicalaccompanimentgraphicaluserinterfaceforadisplayscreensystemandmethodthatensuresharmoniousmusicalaccompaniment」的美國專利號8,779,268中公開的技術來創作一個或多個旋律。這樣的專利公開藉此通過引用被全部結合。

在進一步的實施例中，音樂輸入選項的列表中的各個條目是可選的以經由客戶端設備101-105向用戶提供預先錄製的音樂作品或其片段作為預覽。在這樣的實施例中，與選擇音樂作品相關聯的用戶接口包括音頻回放能力以允許用戶傾聽與其對作為音樂輸入的音頻作品中的一個的選擇相關聯的音樂片段。在一些實施例中，這樣的回放能力可以與回放滑動條相關聯，所述回放滑動條以圖形形式描繪音樂作品或片段的進度回放。不管用戶是從存儲在系統內的預先錄製的音樂作品還是從用戶創作的一個或多個旋律選擇旋律，設想可以給用戶提供用以選擇音樂作品內開始和結束的點來限定音樂輸入的功能。

在圖3中示出回放滑動條300的一個說明性示例。所圖示的回放滑動條300包括開始302、結束304以及布置在開始和結束之間的進度條306。然而，應理解在其他實施例中設想其他適合的配置。在圖3中所圖示的實施例中，所選音樂作品或片段的總長度為14.53秒，如在結束304處所示，但是應理解任何合適長度的音樂作品或片段被設想。當所選音樂通過回放前進時，進度指示符308跨過進度條306從開始302向結束304移動。在所圖示的實施例中，進度條在進度指示符308橫移時「填滿」，從而導致布置在開始302與進度指示符之間的已播放部分310以及布置在進度指示符和音樂片段的結束304之間的未播放部分312。在圖3中所圖示的實施例中，進度指示符308已經跨過進度條306前進至所選音樂片段中的6.10秒標記。儘管在圖3中圖示的實施例示出了進度條306在進度指示符308跨過其移動時被填滿，但是在本文中用於指示音樂作品或片段的回放進度的其他合適的機制也被設想。

在一些實施例（諸如在圖3中圖示的實施例）中，用戶可以沿著進度條306在所選樂句/旋律的子集周圍放置括號，諸如第一括號314和第二括號316。括號314、316指示被用作圖2中的208處的音樂輸入的音樂作品或片段的部分。例如，第一括號314可以指示所選音樂輸入的「開始」點，並且第二括號316可以指示「結束」點。可以代替在圖3的回放滑動條300的實施例或者結合所述實施例地使用可以促進樂句的子集的用戶回放和選擇的其他潛在用戶接口。

如其面前具有本說明書的本領域技術人員將理解的那樣，對於用戶而言以下將是可能：首先選擇音樂作品、樂句或旋律並且然後隨後輸入其期望的文本或反之亦然，同時仍獲得本發明的本質。

一旦用戶選擇要用作用戶的音樂消息的音樂輸入的期望的音樂作品或片段，客戶端設備101-105就通過無線網絡106和/或網絡110傳輸選擇，其由伺服器108在圖2的208處作為音樂輸入而接收。在圖2的210處，分析和處理音樂輸入以便標識與音樂輸入相關聯的某些特性和模式，從而更有效地使音樂輸入與文本輸入匹配以產生用於作為音樂消息使用的原始音樂作品。例如，在一些實施例中，對音樂作品的分析和處理包括「簡化」或「修飾」音樂作品。在一些實施例中，針對諸如結構上重要的音符、節奏調號和樂句邊界之類的特徵解析所選音樂作品。在利用如上面描述的文本或言語解析器的實施例中，也可以在音樂作品的分析中考慮到文本或言語解析的結果。在分析和處理期間，每個音樂作品或片段可以被可選地修飾或簡化，或者以音樂方式向樂句添加許多音符（修飾）或者移除它們（簡化），同時仍維持原始旋律的思想和識別。執行這些修飾或簡化以便通過對準文本輸入中的文本短語與樂句的邊界而使文本輸入中的文本短語與樂句對準，並且還以便提供使各個詞的音節與音符對準所必要的音樂材料，從而導致輸入文本的自然音樂表達。設想在一些實施例中，預先錄製的音樂作品的全部或部分分析將已經完成，從而使得音樂消息傳送系統能夠僅從媒體資料庫109檢索預先分析的數據以用於在完成音樂作品時使用。下面更詳細地闡述在為與文本輸入進行匹配和為在音樂消息中使用做準備而分析音樂作品的過程。

在對音樂輸入的分析之後，在212處，基於206和210處的對文本輸入和音樂輸入二者的分析而使文本輸入和音樂輸入相互相關。具體地，在一些實施例中，智能地並且自動地將經選擇和分析的音樂作品的音符分配給輸入文本中的一個或多個音位，如下面更詳細地描述的那樣。在一些實施例中，然後在214處將使輸入文本消息與音樂輸入旋律相關的所得數據格式化成合成器輸入以用於輸入到語音合成器中。然後在216處將以文本音節-旋律音符對的形式的經格式化的合成器輸入發送給語音合成器以創建用於在結合文本輸入和音樂輸入的特性的原始音樂消息中使用的文本輸入的有聲呈現。音樂消息或有聲呈現然後由伺服器108在218處接收。在一些實施例中，接收以音頻文件的形式的音樂消息，所述音樂消息包括對用戶在文本輸入中輸入的文本消息的有聲呈現，其被設置成所選音樂輸入的音樂。在一些實施例中，語音合成器可以生成整個音樂消息，包括文本輸入的有聲呈現和來自音樂輸入的音樂部分。在其他實施例中，語音合成器可以僅生成基於合成器輸入而創建的輸入文本的有聲呈現，其通過分析上面描述的文本輸入和音樂輸入而生成。在這樣的實施例中，基於音樂輸入的音樂呈現或者音樂輸入本身可以與有聲呈現組合以生成音樂消息。

語音合成器可以是任何適合的有聲呈現器。在一些實施例中，語音合成器是基於雲的，其具有來自web伺服器的支持，所述web伺服器提供安全、負載均衡以及接受入站消息和發送出站音樂增強消息的能力。在其他實施例中，有聲呈現器在伺服器108本身上本地運行或者在客戶端設備101-105上運行。在一些實施例中，語音合成器呈現經格式化的消息數據以提供文本到言語轉換以及唱歌言語合成。在一個實施例中，有聲呈現器可以給用戶提供多種語音、多種語音合成器（包括但不限於基於hmm的、雙音或者基於單元選擇的）的選擇或者人類語言的選擇。唱歌語音的選擇的一些示例是性別（例如，男性/女性）、年齡（例如，年輕/年長）、國籍或口音（例如，美國口音和/或英國口音）或者其他可區別的有聲特性（例如，清醒的/喝醉的、叫喊/耳語、誘惑的、焦慮的、呆板的等）。在一些實施例中，通過一個或多個言語合成器來實現這些語音選擇，每個言語合成器使用一個或多個有聲模型、音高、節奏以及導致感知上不同的唱歌屬性的其他變量。在一些實施例中，語音合成器的選擇由系統基於對指示情緒、音調或流派的具體詞或音樂風格的文本輸入和/或音樂輸入的分析而自動地做出。在某些實施例中，在語音合成器生成音樂消息之後，系統可以提供伴隨旋律的和聲。這樣的伴隨可以以在上面通過引用結合的未決美國專利號8,779,268中公開的方式添加到消息中。

在一些實施例中，用戶具有在219處將圖形元素添加到音樂消息的選項。如果被選擇，則圖形元素可以選自存儲在媒體資料庫109處、客戶端設備101-105本身上或二者的預先存在的元素的庫。在另一實施例中，用戶可以創建其自己的圖形元素以用於包括在音樂文本消息中。在其他實施例中，圖形元素自動地生成而不需要用戶具體地選擇它們。可以被生成以供音樂消息使用的圖形的一些示例是對應於音樂消息中的音樂的顏色和燈閃爍、拼出由用戶輸入文本消息中的全部或部分的動畫圖或字符，或者自動地確定成與所選音樂作品的音調或如通過對文本輸入的分析所確定的文本輸入本身的音調對應的其他動畫或顏色。如果用戶選擇或創建圖形元素，則指示該選擇的圖形輸入被傳輸到伺服器108並且在220處由伺服器108接收。然後在222處使用由用戶選擇的預先存在的元素、由系統基於對文本輸入和/或音樂輸入的分析而選擇的自動元素或者由用戶提供的圖形元素來生成圖形元素。

在一些實施例中，用戶可以在224處選擇使音樂消息包括視頻元素。如果用戶選擇包括視頻元素，則用戶接口可以激活集成到客戶端設備101-105中的一個或多個相機以捕獲視頻輸入，所述一個或多個相機諸如智慧型電話或其他設備上的前置或後置相機。用戶可以操縱客戶端設備上的用戶接口錄製視頻輸入以結合到音樂消息中。在一些實施例中，在客戶端設備101-105上顯示的用戶接口可以在用戶捕獲視頻輸入時提供音樂消息的回放，使得用戶可以使視頻輸入的特定特徵與音樂消息的特定部分協調。在一個這樣的實施例中，用戶接口可以在屏幕上顯示文本輸入的文本，其中進度指示符在回放期間跨過文本移動，以便在視頻捕獲期間給用戶提供音樂消息的進度的視覺表示。在其他實施例中，用戶接口給用戶提供如貫穿音樂消息的回放所期望的停止和開始視頻捕獲的點而同時停止音樂消息的回放的能力。提供該功能的一種這樣的方式是通過在用戶觸摸客戶端設備101-105的觸控螢幕或其他輸入端時捕獲視頻並且在用戶釋放觸控螢幕或其他輸入端時至少臨時地暫停視頻捕獲。在這樣的實施例中，系統允許用戶在音樂消息的第一部分期間捕獲視頻輸入的某些部分，在期望時暫停音樂消息的視頻捕獲和回放，並且然後繼續捕獲視頻輸入的另一部分以與音樂消息的第二部分對應。在視頻捕獲完成之後，用戶接口提供通過再捕獲視頻輸入的部分或整體來編輯視頻輸入的選項。

在一些實施例中，一旦視頻輸入的捕獲和編輯完成，視頻輸入就被傳輸給伺服器108並且由伺服器108在226處接收用於處理。然後可以處理視頻輸入以在228處生成視頻元素，並且然後將視頻元素結合到音樂消息中。一旦完成，視頻元素可以與和用戶捕獲視頻輸入的部分的順序對應的音樂消息一起同步和播放。在其他實施例中，處理和視頻元素生成可以在客戶端設備101-105本身上完成，而不需要向伺服器108傳輸視頻輸入。

如果用戶選擇不向音樂消息添加任何圖形或視頻元素，或者一旦視頻和/或圖形元素被生成並且結合到音樂消息中，則在230處通過網絡110和/或無線網絡110向客戶端設備101-105傳輸或輸出音樂消息。在其中在單個設備（諸如客戶端設備104）上執行描述的步驟中的全部或大部分的實施例中，可以將音樂消息輸出到揚聲器和/或與視覺顯示器組合的揚聲器。在該點處，在一些實施例中，系統可以給用戶提供在232處預覽音樂消息的選項。如果用戶選擇預覽消息，則在234處經由客戶端設備101-105播放音樂消息以用於使用戶預覽。在這樣的實施例中，如果用戶不滿意音樂消息或者出於不管什麼原因想要創建替代消息，則給用戶提供在音樂消息沒有發送的情況下取消音樂消息或者編輯消息的選項。然而，如果用戶贊同音樂消息或者選擇不預覽音樂消息，則用戶可以在235處向所選消息接收者發送音樂消息。如上面討論的那樣，可以使用多種通信和社交媒體平臺將音樂消息發送給一個或多個消息接收者，所述多種通信和社交媒體平臺諸如sms或mms消息傳送、電子郵件、facebook®、twitter®和instagram®，只要消息傳送服務/格式支持音頻和/或視頻文件的傳輸、遞送和回放即可。

以下提供對在分析和處理由用戶提供的文本輸入和音樂輸入中使用以創建音樂消息的方法的更詳細描述。具體地，所提供的細節涉及執行方法200的步驟206和210-214以用於操作在圖2中圖示的音樂消息傳送系統100的至少一個實施例。然而，應理解在本文中設想用於執行圖2的步驟的其他替代方法。還應理解音樂消息傳送系統可以在經由用戶的客戶端設備從用戶接收到文本輸入和對音樂輸入的選擇時自動地執行以下操作。應進一步理解本文中公開的方法提供對與使文本輸入與音樂輸入相關相關聯的技術問題的技術解決方案，使得有效地匹配兩個輸入的相關的音樂輸出。進一步地，本文中描述的方法和特徵可以操作成改進計算機或伺服器以以下方式處理某些類型的信息的功能能力：使計算機比在沒有本文中描述的操作和系統的情況下將另外可能的情況更可用和更具功能。

音樂消息傳送系統以用以確保系統靈活性、可擴展性和有效性的這樣的方式來搜集和操縱文本和音樂輸入。在一些實施例中，實現涉及文本輸入和音樂輸入的數據點的收集和分析以改進計算機和系統使音樂輸入和文本輸入有效地相關的能力。由系統在分析和處理文本輸入中（諸如在圖2的步驟206中）確定和使用的一些數據點是文本輸入中包括的字符的數目或者字符計數（「cc」），以及詞的數目或者詞計數（「wc」）。可以使用任何適合的方法來確定cc和wc。例如，在一些實施例中，系統通過對字符的組之間的空格進行計數或者通過參考以特定語言或語言選擇的已知詞的資料庫而識別字符的組中的詞來確定wc。由系統在文本輸入的分析期間確定的其他數據點是音節的數目或者音節計數（「tc」）以及句子的數目或句子計數（「sc」）。可以以任何合適的方式（例如通過分析sc的標點符號和間隔，或者通過參考存儲在媒體資料庫109或其他地方中的詞資料庫而將詞解析成音節）確定tc和sc。在經由客戶端設備101-105接收到由用戶供應的文本輸入時，系統分析和解析輸入文本以確定諸如cc、wc、tc和sc之類的值。在一些實施例中，該解析在伺服器108處進行，但是還設想在一些實施例中在客戶端設備101-105上進行輸入文本的解析。在某些實施例中，在分析期間，系統將經編碼的開始標誌和結束標誌插入在每個詞、音節和句子的開始和結束處以標記在分析期間做出的確定。例如在句子的開始處的開始標誌的位置可以稱為句子開始（「ss」），並且在句子的結束處的結束標誌的位置可以稱為句子結束（「se」）。附加地，設想可以在分析期間針對文本重點標示文本輸出的詞或音節。用於識別其中詞或音節應該接收文本重點的這樣的實例的系統方法可以基於語言或者是文化特定的。

在一些實施例中，由系統對輸入文本進行的另一分析是確定cc和wc中的每個的短語種類（「pc」）。字符計數的短語種類將稱為ccpc，並且詞計數的短語種類將稱為wcpc。短語種類的值是組的順序編索引的集合，其表示cc或wc的值的增加的集合。例如，具有cc0的文本輸入可以具有ccpc1，並且具有wc0的文本輸入可以具有wcpc1。進一步地，具有1和6之間的cc的文本輸入可以具有ccpc2，並且具有wc1的文本輸入可以具有wcpc2。ccpc和wcpc然後可以分別隨著cc或wc增加而順序地增加。

下面，表格1僅出於示例性且非限制性目的而圖示了基於文本輸入中的cc和wc的ccpc和wcpc的可能分類。

。

基於ccpc和wcpc，系統可以確定由用戶輸入的整個文本的總體短語種類，或者用戶短語種類（「upc」）。該確定可以通過分別向ccpc和wcpc的不同值給予不同權重來做出。在一些實施例中，在確定upc時向wcpc給予比ccpc大的權重，但是應理解也可以使用其他或相等的權重。一個示例給予ccpc40%權重並且給予wcpc60%權重，如通過以下等式表示的那樣：

等式1upc=0.4(ccpc)+0.6(wcpc)

因此，基於上面短語種類的示例性表格1和示例性等式1，具有cc27和wc3的文本輸入將具有ccpc5和wcpc3，從而導致如下的upc3.8：

等式2upc=0.4(5)+0.6(3)=3.8

應注意，本文中解釋的短語種類系統和加權系統可以基於與所選音樂輸入相關的若干因素（諸如，情緒、流派、風格等）或者與文本輸入相關的其他因素（諸如如在文本輸入的分析期間所確定的重要的詞或短語）而可變。

以類似方式，可以在諸如在圖2的步驟210中的分析和處理期間解析由用戶選擇或提供的音樂輸入。在一些實施例中，系統解析由用戶選擇或提供的音樂輸入以確定多種數據點。在分析中確定的一個數據點是特定音樂輸入中的音符的數目或者音符計數（「nc」）。

對音樂輸入做的分析的另一產物包括確定貫穿音樂輸入的樂句的開始和結束。樂句類似於語言句子，因為樂句是傳達音樂想法的音符的組合。因此，在一些實施例中，對所選音樂輸入的分析和處理涉及標示音樂輸入中的每個所標識的樂句的開始和結束。類似於上面描述的文本輸入的短語種類（upc），可以例如基於在音樂輸入中標識的樂句的數目和音符計數來確定稱為源短語種類（「spc」）的源音樂輸入的短語種類。

每個樂句的開始可以稱為樂句開始（「ps」），並且每個樂句的結束可以稱為樂句結束（「pe」）。音樂輸入中的ps和pe類似於文本輸入中的句子開始（ss）和句子結束（se）。在一些實施例中，與預先錄製且存儲在伺服器108或客戶端設備101-105上並且可用於由用戶作為音樂輸入選擇的音樂作品相關聯的ps和pe可以是預先確定的。在這樣的實施例中，音樂輸入的ps和pe的位置是預先確定的，並且對音樂輸入的分析涉及從存儲位置（諸如媒體資料庫109）檢索這樣的信息。然而，在其他實施例中，或者在其中音樂輸入由用戶提供並且不被預先錄製和存儲的實施例中，進行進一步的分析以區分音樂輸入中的樂句，並且因此確定每個所標識的樂句的對應ps和pe。

在一些實施例中，比較文本輸入和音樂輸入的短語種類以確定兩個輸入之間的同等或不等。應理解，儘管本公開描述了使用短語種類來比較對應的文本輸入和音樂輸入，但是在本文中設想用於做出文本輸入和音樂輸入之間的比較的其他方法。短語種類比較可以發生在基於相應分析而使音樂輸入與文本輸入相關時，諸如在圖2的步驟212處。

在某些實施例中，通過確定由用戶提供的對應文本輸入和音樂輸入之間的短語差異（「pd」）來分析文本輸入和音樂輸入之間的同等。確定pd的一個示例是通過將用戶短語種類（upc）除以源短語種類（spc），如下面在以下等式3中所示：

等式3pd=upc/spc

在該示例中，文本輸入和音樂輸入之間的完美短語同等將導致pd1.0，其中upc和spc相等。如果文本輸入比音樂輸入「短」，則pd具有小於1.0的值，並且如果文本輸入比音樂輸入「長」，則pd具有大於1.0的值。本領域技術人員將認識到，可以通過將spc除以upc或者利用其他適合的比較方法獲得類似結果。

還可以通過由用戶提供的文本輸入和音樂輸入之間的「音符」差異（「nd」）來確定文本輸入和音樂輸入之間的同等。確定nd的一個示例是通過取音符計數（nc）和文本輸入的類似音節計數（tc）之間的差異。例如：

等式4nd=nc–tc

在該示例中，文本輸入和音樂輸入之間的完美短語同等將是nd0，其中nc和tc相等。如果文本輸入比音樂輸入「短」，則nd將大於或等於1，並且如果文本輸入比音樂輸入「長」，則nd將小於或等於-1。本領域技術人員將認識到，可以通過從tc減去nc或者利用其他適合的比較方法獲得類似結果。

使用這些或合適的替代比較方法確立給定文本輸入多麼適合於所提供或選擇的音樂輸入。pd=1和nd=0的短語同等表示兩個輸入之間的高水平的同等，其中遠大於或小於1的pd或者遠大於或小於零的nd表示低水平的同等，即不等。在一些實施例中，當使音樂輸入與文本輸入相關以創建音樂消息時，文本輸入的句子開始（ss）和句子結束（se）將理想地分別與音樂輸入的樂句開始（ps）和樂句結束（pe）對準，如果同等完美或接近完美（即，高同等）的話。然而，當同等不完美時，se和pe可能在ss和ps設置成相互對準時沒有良好地對準。基於在分析期間所確定的同等/不等的水平，可以利用處理音樂輸入和文本輸入的各種方法來提供用於音樂消息的最佳結果。

使文本輸入和音樂輸入相關的解決方案的一個示例是音節匹配。當同等完美時，所述同等完美即音符差異（nd）為零，音符計數（nc）和音節計數（tc）相等或者短語差異（pd）為1.0，音節匹配可以涉及簡單地使文本輸入中的音節與音樂輸入中的音符匹配和/或使文本輸入句子與音樂輸入樂句匹配。

然而，在一些實施例中，如果pd稍微大於或小於1.0和/或nd在例如1和5或者-1和-5之間，則可以分別使用旋律簡化或修飾來提供輸入之間的相關。旋律簡化涉及減少在音樂輸入中播放的音符的數目，並且可以在nc稍微大於tc（例如，nd在近似1和5之間）或者音樂源短語種類（spc）稍微大於用戶短語種類（upc）（例如，pd稍微小於1.0）時使用。簡化音樂輸入中的音符可以縮短音樂輸入的總體長度並且導致nc更接近或等於文本輸入的tc，從而增加短語同等。從音樂輸入移除的音符越少，簡化將對作為音樂輸入選擇的音樂作品的有越小的影響，並且因此，音樂消息的音樂元素將在完成時更可識別。類似地，旋律修飾涉及向音樂輸入添加音符（即，「修飾」）。在一些實施例中，當nc稍微小於tc（例如，nd在-1和-5之間）或者spc稍微小於upc（例如，pd稍微大於1.0）時，使用旋律修飾。在音樂輸入中添加音符可以加長音樂輸入，其可以添加到nc或spc，並且因此增加輸入之間的同等。使用旋律修飾添加的音符越少，修飾將對作為音樂輸入選擇的音樂作品有越小的影響，並且因此，音樂消息的音樂元素將在完成時更可識別。在一些實施例中，通過分析音樂作品中的原始音符以及添加在音樂上有意義的音符來確定添加到音樂作品的附加音符。例如，在一些實施例中，系統可以僅在與原始音樂作品相同的音樂調中添加音符，或者維持原始作品的節拍或其他特徵以便幫助保持音樂作品可識別的音符。應理解儘管已經在音樂輸入和文本輸入之間的輕微短語不等的背景下描述了旋律簡化和修飾，但是還設想在更大或更小短語不等中的旋律簡化和修飾的使用。

解決音樂輸入和文本輸入之間的不等的另一解決方案是口吃效應（stuttereffect）。在一些實施例中，口吃效應可以用於解決中等不等差異——例如，近似0.75和1.5之間的pd。口吃效應涉及相對快速連續地切割和重複音樂或有聲作品的相對短的位。口吃效應可以以有聲口吃效應的形式應用於或者音樂輸入或者文本輸入以便加長一個或其他輸入以更緊密地匹配對應的音樂或文本輸入。例如，如果音樂輸入比對應文本輸入短（例如，pd近似為1.5），則可以通過快速連續地重複音樂輸入的一個或多個小部分來加長音樂輸入。類似過程可以供文本輸入使用，從而相對快速連續地重複文本輸入的一個或多個音節以便加長文本輸入。作為口吃效應的結果，可以使音樂輸入和文本輸入之間的短語差異更接近於最佳水平。應理解，儘管已經在音樂輸入和文本輸入之間的中等短語不等的背景下描述了口吃效應，但是還設想在更大或更小短語不等中的口吃效應的使用。

解決音樂輸入和文本輸入之間的不等的其他解決方案是重複和裝飾音。在一些實施例中，重複和裝飾音用於解決音樂輸入和文本輸入之間的相對大的短語差異——例如，小於0.5或大於2.0的pc。重複包括不止一次地重複或者文本輸入或者音樂輸入，同時將對應音樂或文本輸入播放一次。例如，如果pd為0.5，則這將指示音樂輸入是文本輸入的兩倍長。在這樣的情景中，文本輸入可以僅重複一次（即，播放兩次）以基本上匹配音樂輸入的長度。類似地，pd2.0將指示文本輸入基本上是音樂輸入的兩倍長。在這樣的情景中，音樂輸入可以循環播放兩次以與較長文本輸入的單個回放相關。

裝飾音是可以用於解決音樂輸入和對應文本輸入之間的不等的另一解決方案。在一些實施例中，當文本輸入比音樂輸入短時使用裝飾音以使得文本輸入與音樂輸入更緊密地匹配。具體地，裝飾音在來自文本輸入的單個音節在音樂輸入的多個音符上伸展時發生。例如，如果音節計數（tc）為12並且音符計數（nc）為13，則系統可以分配來自文本輸入的一個音節以在音樂輸入中的兩個音符上播放或「唱」。裝飾音可以應用在貫穿文本輸入的多個分離的音節上，諸如在音樂輸入的開始、中間和結束處。在一些實施例中，系統可以基於對文本輸入中的詞的分析和/或基於選擇為音樂輸入的音樂作品的音調或情緒來選擇應該向哪些詞或音節應用哪個裝飾音。

對文本輸入和音樂輸入之間的不等的另一解決方案是識別音樂輸入中的主樂調。本領域技術人員將認識到，主樂調是樂句的相對較小的元素，其仍包括可以由傾聽者辨別的一些「相同性」。「相同性」可以是貫穿樂句重複的類似或相同的韻律和音樂間隔的組合。例如，主樂調可以是樂句內的遵循類似音符模式或音符韻律的音符的組合，並且這些主樂調可以由系統在分析期間識別或者可以針對預先錄製的音樂作品來預先確定。在任一情況下，可以指出和標記貫穿音樂輸入的主樂調位置。在一些實施例中，當分析音樂輸入時，主樂調然後可以用作文本重點或重複的優先化目標以解決音樂輸入和文本輸入之間的不等。

本領域技術人員將理解，在某些實施例中，音樂消息傳送系統可以單獨地使用各個解決方案中的任何解決方案，同時使音樂輸入與文本輸入相關，或者可以順序地或者同時地實現本文中描述的各種解決方案以優化音樂消息的輸出質量。例如，系統可以使用修飾來加長音樂輸入，使得其變為文本輸入的長度的一半，接著通過使用經修飾的音樂輸入的重複來更緊密地與文本輸入匹配起來。在本文中還設想解決方案的其他組合以實現使音樂輸入與文本輸入相關的任務，使得最終的音樂消息被優化。還設想可以實現與本公開一致的其他技術以在將文本輸入和音樂輸入變換成最終音樂消息時有效地使音樂輸入與文本輸入相關。

本領域技術人員將理解，本文中描述的音樂消息傳送系統以及用於操作這樣的音樂消息傳送系統的方法可以在諸如客戶端設備104的單個客戶端設備或伺服器108之類上執行，或者可以在多種設備上執行，每個設備包括系統的不同部分並且執行方法的不同部分。例如，在一些實施例中，客戶端設備104或伺服器108可以執行在圖2中圖示的步驟中的大部分，但是語音合成可以由另一設備或者另一伺服器執行。以下包括對可以被配置成包括本文中描述的音樂消息傳送系統的單個設備的一個實施例的描述，但是應理解單個設備可以替代地為多個設備。

圖4示出了可以部署在來自圖1的多種設備101-105或108中的任何設備上或者一起工作的多個設備上的系統100的一個實施例，其出於說明性目的可以為任何多目的計算機（101、102）、手持計算設備（103-105）和/或伺服器（108）。出於說明的目的，圖4描繪了在來自圖1的設備104上操作的系統100，但是本領域技術人員將理解，可以將系統100部署或者作為安裝在單個設備上的應用，或者替代地在每個執行系統的操作的一部分的多個設備上。替代地，系統可以在http瀏覽器環境內操作，其可以可選地利用web插件技術來擴展瀏覽器的功能以使能與系統100相關聯的功能。設備104可以包括比圖4中示出的那些組件多得多或少得多的組件。然而，本領域普通技術人員應理解，某些組件未必用以作業系統100，而諸如處理器、視頻顯示器和音頻揚聲器之類的其他組件對於實踐本發明的方面是重要的。

如圖4中所示，設備104包括經由總線406與大容量存儲器404通信的處理器402，其可以是cpu。如其面前具有本說明書、附圖和權利要求書的本領域普通技術人員將理解的那樣，處理器402還可以單獨地或者彼此組合地包括一個或多個通用處理器、數位訊號處理器、其他專門處理器和/或asic。設備104還包括電力供應408、一個或多個網絡接口410、音頻接口412、顯示驅動414、用戶輸入處理機416、照明器418、輸入/輸出接口420、可選的觸覺接口422以及可選的全球定位系統（gps）接收機424。設備104還可以包括相機，其使得能夠獲取視頻和/或使得視頻能夠與特定音樂消息相關聯。來自相機或其他源的視頻還可以進一步提供給在線社交網絡和/或在線音樂社區。設備104還可以可選地與來自圖1的基站或伺服器108通信，或者直接地與另一計算設備通信。其他計算設備，諸如來自圖1的基站或伺服器108，可以包括附加音頻相關組件，諸如專業音頻處理器、發生器、放大器、揚聲器、xlr連接器和/或電力供應。

繼續圖4，電力供應408可以包括可再充電或不可再充電的電池，或者可以由外部電源提供，所述外部電源諸如還可以補充電池和/或為電池再充電的ac適配器或者供電塢接架（powereddockingcradle）。網絡接口410包括用於將設備104耦合到一個或多個網絡的電路，並且被構造用於供一個或多個通信協議和技術使用，所述一個或多個通信協議和技術包括但不限於全球移動通信系統（gsm）、碼分多址（cdma）、時分多址（tdma）、用戶數據報協議（udp）、傳輸控制協議/網際網路協議（tcp/ip）、sms、通用分組無線電業務（gprs）、wap、超寬帶（uwb）、ieee802.16全球微波接入互操作性（wimax）、sip/rtp或者多種其他無線通信協議中的任何協議。相應地，網絡接口410可以包括如收發機、收發設備或者網絡接口卡（nic）。

音頻接口412（圖4）被布置成產生和接收音頻信號，諸如人類語音的聲音。顯示驅動414（圖4）被布置成產生視頻信號來驅動各種類型的顯示器。例如，顯示驅動414可以驅動視頻監控顯示器，其可以是基於液晶、氣體等離子體或者發光二極體（led）的顯示器，或者可以供計算設備使用的任何其他類型的顯示器。顯示驅動414可以替代地驅動手持、觸敏屏幕，其還將被布置成從諸如觸筆之類的對象接收輸入或者經由用戶輸入處理機416從人手接收數字。

設備104還包括輸入/輸出設備420以用於與諸如耳機、揚聲器或者其他輸入或輸出設備之類的外部設備進行通信。輸入/輸出設備420可以利用一個或多個通信技術，諸如usb、紅外、bluetoothtm等。可選的觸覺接口422被布置成向設備104的用戶提供觸知反饋。例如，在實施例（諸如在圖1中示出的實施例）中，其中設備104是移動或手持設備，可選的觸覺接口422可以用來使設備以特定方式（諸如例如在計算設備的另一用戶在呼叫時）振動。

可選的gps收發機424可以確定設備100在地球表面上的物理坐標，其典型地將位置輸出為經度和緯度值。gps收發機424還可以採用其他地理定位機制，包括但不限於三角測量、輔助式gps（agps）、e-otd、ci、sai、eta、bss等，以進一步確定設備104在地球表面上的物理位置。然而，在一個實施例中，行動裝置可以通過其他組件提供可以用來確定設備的物理位置的其他信息，包括例如mac地址、ip地址等。

如在圖4中所示，大容量存儲器404包括ram423、rom426和其他存儲部件。大容量存儲器404圖示了用於諸如計算機可讀指令、數據結構、程序模塊或其他數據之類的信息的計算機可讀存儲介質的示例。大容量存儲器404存儲用於控制設備104的低級操作的基本輸入/輸出系統（「bios」）428。大容量存儲器還存儲用於控制設備104的操作的作業系統430。將領會，該組件可以包括諸如一個版本的maxos、windows、unix、linux之類的通用作業系統，或者諸如例如xbox360系統軟體、wiiios、windowsmobiletm、ios、android、webos、qnx或symbian®作業系統之類的專門作業系統。作業系統可以包括java虛擬機模塊或者與其對接，所述java虛擬機模塊使得能夠經由java應用程式控制硬體組件和/或作業系統操作。作業系統還可以包括一般地還稱為「沙盒」的安全虛擬容器，其使能例如flash和unity的應用的安全執行。

一個或多個數據存儲模塊可以存儲在設備104的存儲器404中。如其面前具有本說明書、附圖和權利要求書的本領域普通技術人員所將理解的那樣，存儲在數據存儲模塊中的信息的一部分還可以存儲在與設備104相關聯的盤驅動器或其他存儲介質上。這些數據存儲模塊可以存儲以上面討論的任何格式的多個音軌錄音、midi文件、wav文件、音頻數據的樣本以及多種其他數據和/或數據格式或輸入旋律數據。數據存儲模塊還可以存儲描述系統100的各種能力的信息，其可以例如在通信期間、在請求時或者響應於某些事件等作為報頭的部分發送給其他設備。此外，數據存儲模塊還可以用來存儲社交聯網信息，包括地址簿、好友列表、別名、用戶簡檔信息等。

設備104可以存儲和選擇性地執行許多不同的應用，包括用於根據系統100使用的應用。例如，用於根據系統100使用的應用可以包括音頻轉換器模塊、錄製會話實況循環（rsll）模塊、多取自動編排器（mtac）模塊、泛音器模塊、音軌共享器模塊、聲音搜索器模塊、流派匹配器模塊以及和弦匹配器模塊。在上面已經通過引用結合的美國專利號8,779,268中更詳細地描述了這些應用的功能。

設備104上的應用還可以包括信使434和瀏覽器436。信使434可以被配置成使用多種消息傳送通信中的任何傳送消息通信發起和管理消息傳送會話，所述多種消息傳送通信包括但不限於電子郵件、短消息服務（sms）、即時消息（im）、多媒體消息服務（mms）、網際網路中繼聊天（irc）、mirc、rss種子和/或類似物。例如，在一個實施例中，信使434可以被配置為im消息傳送應用，諸如aol即時信使、yahoo！信使、.net信使伺服器、icq等。在另一實施例中，信使434可以是客戶端應用，其被配置成集成和採用多種消息傳送協議。在一個實施例中，信使434可以與瀏覽器436交互以用於管理消息。瀏覽器436實質上可以包括被配置成接收和顯示圖形、文本、多媒體等的任何應用，其實質上採用任何基於web的語言。在一個實施例中，使得瀏覽器應用能夠採用手持設備標記語言（hdml）、無線標記語言（wml）、wmlscript、javascrip、標準通用標記語言（smgl）、超文本標記語言（html）、可擴展標記語言（xml）等，以顯示和發送消息。然而，可以採用多種其他基於web的語言中的任何語言，包括python、java和第三方web插件。

設備104還可以包括其他應用438，諸如計算機可執行指令，其在由客戶端設備104執行時傳輸、接收和/或以其他方式處理消息（例如，sms、mms、im、電子郵件和/或其他消息）、音頻、視頻並且使能與另一客戶端設備的另一用戶的電信。應用程式的其他示例包括日程表、搜索程序、電子郵件客戶端、im應用、sms應用、voip應用、聯繫管理器、任務管理器、代碼轉換器、資料庫程序、字處理程序、安全應用、電子表程序、遊戲、搜索程序等。上面描述的每個應用可以嵌入在設備104上或者替代地下載在設備104上並且在設備104上執行。

當然，雖然上面討論的各種應用被示出為在設備104上實現，但是在替代實施例中，這些應用中的每個的一個或多個部分可以在一個或多個遠程設備或伺服器上實現，其中通過一個或多個網絡在設備104與所述一個或多個遠程設備或伺服器之間傳遞每個部分的輸入和輸出。替代地，應用中的一個或多個可以被封裝以用於在外圍設備上執行或者從外圍設備下載。

前面的描述和附圖僅解釋和圖示本發明並且本發明不限於其。雖然關於某些實現或實施例描述了本說明書，但是出於說明的目的而闡述了許多細節。因此，前述僅說明本發明的原理。例如，本發明可以具有其他具體形式而不脫離其精神或本質特性。所描述的布置是說明性且非限制性的。對於本領域技術人員而言，本發明易受附加實現或實施例的影響，並且在該申請中描述的這些細節中的某些可以相當大地變化而不脫離本發明的基本原理。因此將領會，本領域技術人員將能夠設計各種布置，其儘管沒有在本文中明確地描述或示出，但是體現了本發明的原理並且因此處於本發明的範圍和精神內。