消息擴充系統和方法與流程

2023-05-05 04:37:51

發明領域

本發明涉及電子消息收發，並且更具體地涉及一種向電子消息添加流行音頻或視頻剪輯的方法。

相關技術的討論

當前，存在將消息從一個人發送給另一個人的各種各樣的方式，一些比較常見的消息是電子郵件、文本(sms)消息、聊天會話消息、社交媒體消息等等。典型地，大多數此類消息是文本，但是存在諸如通過skype以及其他基於視頻的服務的當今也可用的一些視頻和音頻消息收發選項。

流行文化的元素包括歌曲、藝人、電影、網際網路視頻等等。從一個人發送給另一個人的消息的各部分經常包括匹配這些流行文化元素中的一些流行文化元素的詞語或短語。例如，如果文本消息開始於詞語「hello(你好)」，則存在流行藝人表演的標題為「hello」或者在該歌曲中包括詞語「hello」的相當多的歌曲。由此，將有可能使用演唱該詞語或消息片段的流行藝人擴充此類文本消息。當前，在市場中並不存在可用於實現此擴充的東西。

因此，需要一種允許用戶使用流行文化元素擴充消息或消息的一部分的系統。如果一個以上的匹配可用則此類所需發明可能允許用戶選擇一個匹配音頻剪輯，並且在用戶正在鍵入或記錄該消息時可能允許對剪輯資料庫的實時搜索。此類所需系統可能分布在廣域網上，或者可能駐留在個人的智慧型電話或者其他電子設備內。本發明實現這些目的。

發明概述

本設備是一種用於擴充由用戶製作的的消息(諸如文本消息、音頻消息、或者包括音頻的視頻消息)的消息收發擴充系統。該消息可以是通過 聊天應用發送的文本消息、通過電子郵件消息收發系統發送的電子郵件消息、通過sms文本消息收發系統發送的文本消息等等。

該系統包括被適配成接收來自用戶的消息的消息輸入模塊。解析模塊被適配成將該消息分成或解析成至少一個消息片段。如果該消息是音頻或視頻，則可包括語音識別模塊以將音頻消息或者視頻消息的音頻部分轉換成文本轉錄，並且文本轉錄隨後作為文本消息發送。每一個消息片段可以是任意數量的詞語，諸如一個、兩個、或者更多個。

匹配模塊被適配成將每一個消息片段與所存儲剪輯的資料庫進行比較以為每一個消息片段標識匹配剪輯，並且傳遞模塊被適配成將任何匹配剪輯傳遞給用戶以擴充該消息。每一個所存儲剪輯包括音頻部分，並且對於每一個剪輯，剪輯資料庫進一步包括標題數據和相應的文件位置數據，該標題數據包括音頻消息的文本標題。在一個以上的音頻剪輯匹配消息片段的情況下，匹配模塊進一步被適配成向用戶提供選擇界面，其中用戶選擇所標識匹配剪輯中的一個以供由傳遞模塊傳遞。

用戶可選擇具有多個匹配剪輯，所述多個匹配剪輯在選擇界面中以通用流行度的次序或者按照他選擇的喜愛的藝人或者甚至他以前上傳的剪輯被分類顯示。在本發明的此類實施例中，進一步包括剪輯上傳模塊以將用戶的剪輯上傳到剪輯資料庫。與資料庫中的其他剪輯一樣，每一個用戶剪輯包括標題數據和相應的文件位置數據，該標題數據包括用戶剪輯的音頻的文本標題。為每一個用戶只提供對源自於該用戶並且優選不是任何其他用戶的用戶上傳的剪輯的用戶剪輯的訪問。

優選地，設置模塊對每一個用戶是特定的，其中剪輯資料庫可針對用戶的偏好(諸如喜愛的剪輯藝人、較大作品、歌曲或音軌、電影、節目、表演者)或者每一個剪輯或較大作品的流行度被進一步選擇性地過濾。因此，例如，如果需要，針對特定消息返回的所有剪輯可具有相同的藝人。

優選地，該系統分布在網絡(諸如網際網路、蜂窩電話網絡等等)上。由此，消息輸入模塊可駐留在用戶的客戶端設備的存儲器模塊(諸如可攜式或臺式計算機、智慧型電話等等)中。客戶端設備無線地或者通過有線網 絡連接與網絡通信。

在此類實施例中，匹配模塊駐留在與網絡通信的伺服器上，並且取決於網絡的可用帶寬和客戶端設備的計算能力，解析模塊可駐留在客戶端設備或伺服器上。該消息或消息片段從客戶端設備通過網絡發送到伺服器。一旦與資料庫中的剪輯匹配，匹配剪輯就從伺服器通過網絡返回到客戶端設備。

在使用中，用戶啟動他的客戶端設備中的消息收發擴充系統，並且通過消息輸入模塊輸入、說出、或者記錄該消息以發送給遠程用戶。消息輸入模塊可被結合到在客戶端設備上運行的另一聊天、視頻會議、電話、或者其他應用中。替換地，輸入模塊可被稱為來自網站應用等等的api例程。

將每一個消息片段與剪輯的資料庫進行比較以尋找匹配，並且如果一個以上的剪輯匹配任何特定消息片段，則向用戶提供挑選他偏好使用哪一個剪輯的選擇界面。一旦匹配和選擇所有剪輯，傳遞模塊就將每一個剪輯傳遞迴用戶和用戶的客戶端設備。接著，可將一個或多個剪輯與該消息一起發送給接收者，這些剪輯在接收或查看之後立即播放、或者作為在選擇時將在接收者的電子設備上播放每一個剪輯且任選地顯示整個消息的連結而呈現。

基於用戶的偏好，每一個返回的剪輯可來自相同的藝人，或者特定地來自不同的藝人或者共享相同的音樂流派或風格的藝人。用戶具有通過剪輯表示整個消息的選擇，只要該消息內的每一個消息片段與至少一個剪輯匹配，或者用戶可能只有使用剪輯表示的某些消息片段。在一個實施例中，包括多個往復消息的整個對話可被解析，上傳到伺服器，並且所傳遞的所得剪輯將整個對話表示為多個剪輯的混聚。

本發明是一種允許用戶使用流行文化元素擴充消息或消息的一部分的系統。如果一個以上的匹配可用則本發明允許用戶選擇一個匹配音頻剪輯，並且在用戶正在鍵入或者以其他方式準備該消息時允許對剪輯資料庫的實時搜索。本發明可分布在廣域網上，或者可駐留在個人的智慧型電話或者其他電子設備內。根據結合通過示例解說本發明的原理的附圖進行的以下更 詳細的描述，本發明的其他特徵和優點將變得顯而易見。

附圖描述

圖1是如在單個電子處理設備中體現的本發明的示圖；

圖2是如使用分布在客戶端電子設備和伺服器之間的網絡上的特定功能體現的本發明的示圖；

圖3是客戶端設備的樣本顯示屏；

圖4是客戶端設備的替換樣本顯示屏；

圖5是本發明的多個資料庫記錄的樣本；以及

圖6是解說用於匹配剪輯的選擇界面的客戶端設備的替換樣本顯示屏。

優選實施例的詳細描述

以下描述本發明的解說性實施例。以下解釋提供了用於透徹理解對這些實施例的描述和實現該描述的具體細節。本領域技術人員將理解在沒有此類細節的情況下可實踐本發明。在其他實例中，未詳細地示出或描述公知結構和功能，以避免不必要地混淆對實施例的描述。

除非上下文另外明確地要求，貫穿說明書和權利要求書，詞語「包括」、「包含」等等在包含性的意義上而不是在排他性或窮盡性的意義上(即，在「包括、但不限於」的意義上)進行解釋。使用單數或複數的詞語還分別包括複數或單數。另外，詞語「在本文中」、「以上」、「以下」、以及類似的導入詞語在本申請中使用時將指本申請整體，而不是本申請的任何特定部分。當權利要求在引用兩個或更多項目的列表中使用詞語「或」時，該詞語覆蓋該詞語的所有以下解釋：該列表中的任一個項目、該列表中的所有項目、以及該列表中的項目的任何組合。當詞語「每一個」用於引用先前介紹為在數量上至少一個的元素時，詞語「每一個」不一定隱含多個元素，但是也可意味著單個元素。

圖1和3-5解說用於擴充用戶13產生的消息15(諸如文本消息16、 音頻消息17、或者包括音頻的視頻消息18)的消息收發擴充系統10。消息15可以是通過聊天應用發送的文本消息16、通過電子郵件消息收發系統發送的電子郵件消息、通過sms文本消息收發系統發送的文本消息等等。

系統10包括被適配成接收來自用戶13的消息15的消息輸入模塊20。此類消息輸入模塊20可被包括在鍵盤應用160、聊天應用、視頻消息收發或視頻呼叫應用或網站、電子郵件應用等等內。因此，文本消息16可在任何有用的文本格式(諸如.txt、sms、或者類似的基於文本的格式)中體現。同樣，音頻消息17可在任何音頻格式(諸如.mp3、.wav、.wmp等等)內體現。在視頻消息18的情況下，視頻消息18的音頻部分可在.mp4、.mov或類似的視頻格式內體現。

解析模塊30被適配成將消息15分成或解析成至少一個消息片段100。如果消息15是音頻消息17或視頻消息18，則可包括語音識別模塊60以將音頻消息17或者視頻消息18的音頻部分轉換成文本轉錄，並且文本轉錄隨後作為文本消息16使用並解析。每一個消息片段100可以是任意數量的詞語，諸如一個、兩個、三個、或者更多個。替換地，每一個消息片段100可以是單個短語或整個句子。在系統10中包括設置模塊80，該設置模塊控制每一個消息片段100為多長或者如何基於語法規則等等確定消息片段100。

匹配模塊40被適配成將每一個消息片段100與所存儲剪輯120的資料庫110進行比較以標識與每一個消息片段100的匹配剪輯120，並且傳遞模塊50被適配成將任何匹配剪輯120傳遞給用戶13以擴充消息15。每一個所存儲剪輯120包括音頻部分，並且對於每一個剪輯120，剪輯資料庫110進一步包括標題數據122和相應的文件位置數據126，該標題數據包括音頻消息的文本標題124。

例如，如果音頻剪輯具有取自流行的較大音頻或視頻作品19的詞語「hello」，文本標題124則只是詞語「hello」以及較大作品19內的該詞語的起點和終點的文件位置數據126。此類文件位置數據126可基於時間戳數據128、幀數(未示出)、或者用於標識在包括較大音頻或視頻作品19的 音頻或視頻文件內的剪輯120的起點和終點的其他手段。還可包括馬上購買連結130用於為用戶13或者他的消息接收者提供買較大作品19的機會。

在消息片段100在資料庫110中沒有準確匹配、但是匹配剪輯120的一部分的情況下，語音識別可用於隔離剪輯120的包含消息片段100的部分。這可通過音頻識別、詞語引導(wordcourting)、音節計數、或者通過對可視地映射的抒情線的聲波和映射到標題124的話語中的尖峰的圖像識別來完成，以確定消息片段100的開始時間和停止時間。

在一個以上的音頻剪輯120匹配消息片段100的情況下，匹配模塊40進一步被適配成向用戶13提供選擇界面140(圖4)，其中用戶13諸如通過觸摸客戶端設備12的顯示器183來選擇所標識匹配剪輯120中的由傳遞模塊40傳遞的一個所標識匹配剪輯。例如，詞語「hello」可在相同的歌曲或者較大作品19內使用多次，但是可使用不同的重音和風格發聲。同樣，許多歌曲可包括詞語「hello」，並且因此基於存儲在設置模塊80內的分類偏好，詞語「hello」的每一個匹配剪輯120在選擇界面140中被不同地分類。例如，如果用戶13不喜歡說唱音樂風格，他則可在他的偏好150列表中取消選擇該風格，以使匹配非期望風格或藝人的剪輯120不作為選項而呈現。

用戶13可選擇具有多個匹配剪輯120，所述匹配剪輯在選擇界面140中以通用流行度的次序或者按照他選擇的喜愛的藝人132或者甚至他以前上傳的剪輯120被分類顯示。在本發明的此類實施例中，進一步包括剪輯上傳模塊70以將用戶13的剪輯120上傳到剪輯資料庫110。與資料庫110中的其他剪輯120一樣，每一個用戶剪輯120包括包含用戶剪輯120的音頻的文本標題124的標題數據122和相應的文件位置數據126。每一個用戶13隻訪問他上傳的用戶剪輯120，並且優選不訪問其他用戶13的上傳的用戶剪輯。設置模塊80對每一個用戶13是特定的，其中剪輯資料庫110可針對用戶的偏好150(諸如喜愛的剪輯藝人132、較大作品19、歌曲或音軌133、電影、節目、表演者)或者每一個剪輯120或較大作品19的流行度134進一步被選擇性地過濾。

優選地，系統10分布在諸如網際網路、蜂窩電話網絡等網絡170(圖2)上。由此，消息輸入模塊20可駐留在用戶13的客戶端設備12(諸如可攜式或臺式計算機、智慧型電話等等)上，該客戶端設備包括至少一個處理器182、用於存儲指令集185的非瞬態計算機可讀存儲介質181，該指令集體現系統10及其模塊、顯示器183、以及優選地相機184和話筒185兩者。

客戶端設備12無線地或者通過有線網絡連接與網絡170通信。在此類實施例中，匹配模塊40駐留在與網絡170通信的伺服器180上，並且取決於網絡170的可用帶寬和客戶端設備12的計算能力，解析模塊30可駐留在客戶端設備12或伺服器180上。消息15或消息片段100從客戶端設備12通過網絡170發送到伺服器180。一旦與資料庫中的剪輯120匹配，匹配剪輯120就從伺服器180通過網絡170返回到客戶端設備12。此類伺服器180優選地包括至少一個處理器182和非瞬態計算機可讀存儲介質181(諸如ram或rom)，該非瞬態計算機可讀存儲介質保存實現系統10及其模塊的指令集185。

在使用中，用戶13啟動他的客戶端設備12中的消息收發擴充系統10，並且通過消息輸入模塊20輸入、說出、或者記錄消息15以發送給遠程用戶(未示出)。消息輸入模塊20可被結合到在客戶端設備12上運行的另一聊天、視頻會議、電話、或者其他應用中。替換地，輸入模塊20可被稱為來自網站應用等等的api例程。

優選地，消息15接著通過網絡170發送到伺服器180，其中解析模塊30將該消息分成至少一個消息片段100。替換地，解析模塊30駐留在客戶端設備12上，並且每一個消息片段100通過網絡170發送到伺服器180和匹配模塊40。如果消息15處於音頻或視頻格式，則使用駐留在客戶端設備12上或者在伺服器180上的語音識別模塊60將音頻部分轉換成文本消息16，並且將此類文本消息16解析成至少一個消息片段並發送到匹配模塊40。

將每一個消息片段100與剪輯120的資料庫110進行比較以尋找匹配，並且如果一個以上的剪輯120匹配任何特定消息片段100，則向用戶13提 供挑選他偏好使用哪一個剪輯120的選擇界面140。一旦匹配和選擇所有剪輯120，傳遞模塊50就將每一個剪輯120傳遞迴用戶13和用戶的客戶端設備12。在任何時間，用戶13優選地具有播放每一個返回的剪輯120以驗證適合性且拒絕不期望的任何剪輯120的選項。接著，將最後一組挑選的剪輯120與消息15一起發送給接收者，這些剪輯120在接收或查看之後立即播放、或者作為在選擇時將在接收者的電子設備(未示出)上播放每一個剪輯120且任選地顯示或播放原始消息15的連結而呈現。

基於用戶的偏好150，每一個返回的剪輯120可來自相同的藝人132，或者特定地來自不同的藝人132或者共享相同的音樂流派或風格(例如，說唱或鄉村)的藝人132。用戶13具有通過剪輯120表示整個消息15的選擇，只要消息15內的每一個消息片段100與至少一個剪輯120匹配，或者用戶可能只有使用剪輯120表示的某些消息片段100。在一個實施例中，包括多個往復消息15的整個對話可被解析，上傳到伺服器180，並且所傳遞的所得剪輯120將整個對話表示為多個剪輯120的混聚。如果需要，此類對話的一方可包括來自一個藝人的剪輯120，而該對話的另一方可包括完全來自另一藝人的剪輯120。例如，來自用戶13的對話的一方可完全由來自搖滾樂隊u2的博諾(bono)演唱，而來自接收者的對話的另一方可由藝人碧昂絲(beyoncé)演唱。

優選地，當用戶正在鍵入或者以其他方式生成消息15時，解析模塊30正在工作以確定消息15的合適的消息片段100並將這些消息片段100發送到匹配模塊40。匹配模塊40快速地將接收到的消息片段100與返回的合適的匹配剪輯120進行比較，由此用戶13的體驗是在用戶13鍵入(圖3和4)或者說出消息15時基本實時地顯示對匹配剪輯120的建議。在具有自動完成特徵(圖6)的一個實施例中，匹配消息15的最流行的剪輯120與可選擇以自動地完成完整的消息15可能是什麼的預期剪輯129一起顯示。優選地，在選擇界面上按照流行度對這些預期剪輯129分類。

儘管已經解說和描述了本發明的特定形式，但是可作出各種修改而不比例本發明的精神和範圍將是顯而易見的。例如，剪輯120在上文中被公 開為具有至少一個音頻部分，但是可以純粹是視頻、靜止圖像等等。因此，不期望本發明除了如通過所附權利要求書以外受到限制。

在描述本發明的特定特徵或方面時使用的特定術語不應當用於隱含該術語在本文中重新定義以限於該術語與其相關聯的本發明的任何具體特性、特徵或方面。一般而言，在以下權利要求書中使用的術語不應當被解釋為將本發明限於在說明書中公開的具體實施例，除非以上詳細描述部分明確地定義此類術語。因此，本發明的實際範圍不僅涵蓋所公開的實施例，而且涵蓋實踐或實現本發明的所有等同方式。

本發明的實施例的以上詳細描述不旨在是窮盡性的或者將本發明限於以上公開的準確形式或在本公開中提及的特定使用領域。儘管出於解說性的目的以上描述了本發明的具體實施例和示例，但是各種等同修改在本發明的範圍內是可能的，如本領域技術人員將認識到的。同樣，在本文中提供的本發明的教義可適用於其他系統，不一定是以上描述的系統。以上描述的各個實施例的元素和動作可進行組合以提供進一步的實施例。

包括可在所附提交的文章中列出的任一個的所有以上專利和申請以及其他引用通過引用結合於此。本發明的各方面如果必要則可被修改以採用以上描述的各種引用的系統、功能和概念來提供本發明的更進一步的實施例。

鑑於以上「詳細描述」，可對本發明作出改變。儘管以上描述詳述了本發明的特定實施例並描述了所購想的最佳模式，但是不管上文以文本如何詳細地出現，本發明可以許多方式實踐。因此，實現細節可大副地變化，同時仍然被本文中所公開的發明涵蓋。如上所注釋的，在描述本發明的特定特徵或方面時使用的特定術語不應當用於隱含該術語在本文中重新定義以限於該術語與其相關聯的本發明的任何具體特性、特徵或方面。

儘管本發明的特定方面在下文中以特定權利要求形式呈現，但是發明人構想以任意數量的權利要求形式的本發明的各方面。因此，發明人保留在提交本申請之後增加附加權利要求的權力，以追求本發明的其他方面的此類附加權利要求形式。