可選擇實時虛擬通話背景的系統及視頻通話方法
2023-06-12 12:34:31 1
專利名稱：可選擇實時虛擬通話背景的系統及視頻通話方法
技術領域：
本發明涉及移動通信中的可視電話領域，尤其涉及一種可選擇實時虛擬 通話背景的系統及視頻通話方法。
背景技術：
話功能，我們能夠和遠在天邊的親朋好友面對面的交流對話，讓現實中的距 離一下子變得近在咫尺。
從2008年4月1日開始，中國開始進入了移動通信的3G時代。可移動 的可視電話讓你隨時隨地的與朋友面對面交流，極大的方便了豐富了人們的 生活，可以預見手機可視電話的使用會越來越普遍。
3G通信網為我們提供了非常快的的數據傳輸速率，為流暢的視頻通話提 供了基本的保障。隨著3G網絡建設的日趨成熟完善，3G通信的數據傳輸速 度會越來越穩定，為視頻通話和高速上網提供更優質的服務。
視頻通話的過程中使用了視頻壓縮技術和視頻圖像處理技術，隨著FPGA 和DSP技術的高速發展，為實時的視頻加工處理提供了技術上的支持。
3G手機的重要功能就是可以視頻通話，在通話過程中對方看到的可能只 是自己的頭部圖像。作為稀奇的東西，剛開始大家都會抱著好奇的心去嘗試， 而當那股新鮮勁下去之後，視頻通話的吸引力就會下降，畢竟視頻通話費用 要高不少，而且也只是能看到很熟悉的頭部圖像而已。
本發明提供了一種可以由客戶選擇的虛擬的實時的視音頻通話背景，通 過給視頻通話者加上虛擬的視音頻背景，增加趣味性和新奇性。視頻背景可 以自行在運營商提供的庫中進行選擇，比如有海邊的背景，有酒吧的背景， 有農田的背景，有高山叢林的背景，讓對方以為你真的在那種環境下，讓他 們羨慕不已，當然背景包括視頻背景和音頻背景。用戶可以首先對背景進行預覽，同時也可以預覽合成後的效果視頻，然後做出選擇；還可以自己錄製 製作視音頻背景，傳到伺服器自己的收藏夾中，還可以與別人共享視音頻背 景；還可以只選擇視頻背景或者只選擇音頻背景。
發明內容
本發明要解決的技術問題是提供一種可選擇實時虛擬通話背景的系統及 -現頻通話方法，能為^L頻通話增加趣味性和新穎性，佳:得用戶能夠充分享受 視頻通話的樂趣。
為了解決上述問題，本發明提供了一種可選擇實時虛擬通話背景的系統， 在伺服器端包括
系統管理才莫塊，用於提供虛擬通話背景供終端選擇，並記錄終端所選擇 的虛擬通話背景；在終端開始視頻通話後，接收終端釆集的視音頻；如果該 終端選擇了虛擬通話背景，則將虛擬通話背景和所接收的視音頻一起發送給 實時合成模塊；以及將從實時合成模塊接收的合成後的視音頻發送給進行通 話的另一終端；
實時合成模塊，用於對系統管理模塊發送來的視頻進行實時摳像，得到 用戶的人物圖像；以及用人物圖像、系統管理才莫塊發送來的音頻分別與虛擬 通話背景中的視頻、音頻進行實時合成，合成後發送給系統管理模塊。
進一步的，實時合成才莫塊釆用現場可編程門陣列與數位訊號處理相結合 的硬體平臺。
進一步的，系統管理模塊所提供的虛擬通話背景包括公共的虛擬通話背 景，和終端上傳的虛擬通話背景。
進一步的，實時合成模塊進行實時合成時，如果虛擬通話背景中的視音 頻已經結束而仍接收到所述終端的視音頻，則重複使用虛擬通話背景中的視 音頻進行實時合成。
進一步的，所述的系統還包括
虛擬通話背景庫，用於保存虛擬通話背景；
背景製作才莫塊，用於根據系統管理才莫塊轉發的處理指示對虛擬通話背景進行噪聲處理、音頻消除更換、設置時間長度及視頻、音頻格式；以及當收 到系統管理模塊轉發的確定指示後將處理完成的虛擬通話背景保存進虛擬通 話背景庫；
所述系統管理4莫塊還用於收到終端的視音頻加工處理指示後，將用戶選 擇處理的虛擬通話背景發送給背景製作模塊，並將從終端接收的處理指示和 確定指示發送給背景製作才莫塊。
進一步的，系統管理;f莫塊包括視頻通話管理子才莫塊，虛擬背景管理子才莫 塊和用戶帳戶管理子才莫塊；
虛擬背景管理子模塊用於管理虛擬通話背景庫，對系統提供的公用虛擬 通話背景和用戶製作的虛擬通話背景進行分類管理；以及在收到終端的視音 頻加工處理指示後，將用戶選擇處理的視音頻發送給背景製作模塊，並將從 終端接收的處理指示和確定指示發送給背景製作模塊；
視頻通話管理子^f莫塊，用於管理終端間的視音頻通話；當終端間開始視 頻通話後，查詢用戶帳戶管理子模塊中通話終端的"i殳置；如果終端選擇添加 虛擬通話背景，則從虛擬通話背景庫中提取終端選擇的虛擬通話背景，連同 所接收的該終端採集的視音頻一起發送給實時合成模塊，將合成後的視音頻 發送給進行通話的另一終端；如果終端沒有選擇添加虛擬通話背景，則直接 將終端採集的視音頻發送給進行通話的另 一終端；
用戶帳戶管理子模塊，用於保存用戶終端的信息以及對虛擬通話背景的 設置信息。
進一步的，該系統在用戶終端包括
終端管理^=莫塊，用於與所述系統管理^=莫塊交互，進行帳戶登陸，瀏覽虛 擬通話背景、選擇虛擬通話背景、預覽虛擬通話背景、上傳視音頻、處理虛 擬通話背景。
本發明還提供了一種視頻通話方法，包括 終端設定視頻通話的虛擬通話背景； 終端間開始^L頻通話；終端採集視音頻發送給爿良務器;端採集上來的視頻進行實時摳像，得到用戶的人物圖像；用 人物圖像、終端採集上來的音頻分別與該終端選擇的虛擬通話背景中的視頻、 音頻進行實時合成後，發送給進行通話的另一終端。
進一步的，所述虛擬通話背景包括伺服器提供的虛擬通話背景、或終端 預先上傳給伺服器的虛擬通話背景。
進一步的，如果通話時間長度超過虛擬通話背景的時間長度，則重複播 放虛擬通話背景。
進一步的，終端上傳虛擬通話背景給伺服器後，還包括
對上傳的虛擬通話背景進行加工處理，包括噪聲處理、音頻消除更換、 設置時間長度及視頻、音頻格式；處理後保存。
採用本發明所述方法，與現有視頻通話相比，增加更多的趣味性，新奇 性，為廣大的視頻通話用戶提供了更多的娛樂，將會吸引更多的用戶來使用 4見頻通話。
圖l是本發明應用示例中，用戶使用虛擬視音頻背景的流程圖； 圖2是本發明應用示例中，用戶製作虛擬視音頻背景的流程圖； 圖3是本發明應用示例中，實時視音頻合成的流程圖； 圖4是本發明應用示例中，可選擇實時虛擬通話背景的系統的框圖。
具體實施例方式
下面將結合附圖及實施例對本發明的技術方案進行更詳細的說明。
本發明提供了可選擇實時虛擬通話背景的系統，在伺服器端包括 系統管理模塊，用於提供虛擬通話背景供終端選擇，並記錄終端所選擇 的虛擬通話背景；在終端開始視頻通話後，接收終端採集的視音頻；如果該 終端選擇了虛擬通話背景，則將虛擬通話背景和所接收的視音頻一起發送給 實時合成模塊；以及將從實時合成模塊接收的合成後的視音頻發送給進行通 話的另一終端；實時合成模塊，用於對系統管理模塊發送來的視頻進行實時摳像，得到
用戶的人物圖像；以及用人物圖像、系統管理模塊發送來的音頻分別與虛擬 通話背景中的視頻、音頻進行實時合成，合成後發送給系統管理才莫塊。
可選的，實時合成才莫塊採用FPGA (現場可編程門陣列)與DSP (數字 信號處理)相結合的硬體平臺。
可選的，系統管理模塊所提供的虛擬通話背景可以包括公共的虛擬通話 背景和終端上傳的虛擬通話背景，或其中任一。
所述可選擇實時虛擬通話背景的系統在伺服器端還包括虛擬通話背景 庫，用於保存虛擬通話背景；
系統管理模塊還可以用於管理所述虛擬通話背景庫，對終端製作的虛擬 通話背景，及公共虛擬通話背景進行分類管理。
可選的，系統管理模塊還用於記錄終端是否選擇添加虛擬通話背景；如 果終端選擇不添加虛擬通話背景(這也是默認的情況)，則直接將該終端採 集的視音頻發送給進行通話的另 一終端。
可選的，系統管理^f莫塊還用於，當終端選擇添加虛擬通話背景，但沒有 選擇虛擬通話背景時，採用默認的虛擬通話背景作為終端選擇的虛擬通話背 景。
可選的，實時合成模塊進行實時合成時，如果虛擬通話背景中的視音頻 已經結束而仍接收到所述終端的視音頻，則重複使用虛擬通話背景中的視音 頻進行實時合成。
可選的，所述可選擇實時虛擬通話背景的系統在伺服器端還可以包括 背景製作模塊，用於為用戶提供方便快捷的處理虛擬通話背景的平臺；
所述系統管理模塊還可以用於在收到終端的視音頻加工處理指示後，將 終端選擇加工的視音頻發送給背景製作模塊，並將從終端接收的處理指示和 確定指示發送給背景製作才莫塊；
背景製作4莫塊用於對系統管理才莫塊發送來的視音頻進行噪聲處理、音頻 消除更換、設置時間長度及視頻、音頻格式；以及當收到系統管理模塊轉發 的確定指示後將處理完成的虛擬通話背景保存進虛擬通話背景庫。
也就是說，用戶上傳的視音頻必須製作完成後提交為可以正式使用的虛擬通話背景才可以在以後的視頻通話中選擇使用。
可選的，所述背景製作;f莫塊還可以用於提供處理後的虛擬通話背景給終 端預覽。
可選的，具備選擇實時虛擬通話背景功能的用戶終端包括
終端管理模塊，用於與所述系統管理模塊交互，包括進行帳戶登陸，瀏 覽虛擬通話背景、選擇虛擬通話背景、預覽虛擬通話背景、上傳^L音頻、處 理虛擬通話背景等操作。
本發明還提供了一種視頻通話方法，包括 終端設定視頻通話的虛擬通話背景； 終端間開始4見頻通話； 終端採集視音頻發送給伺服器；
伺服器對終端採集上來的視頻進行實時摳像，得到用戶的人物圖像；用 人物圖像、終端採集上來的音頻分別與該終端選擇的虛擬通話背景中的視頻、 音頻進行實時合成後，發送給進行通話的另一終端。
可選的，所述虛擬通話背景可以為伺服器提供的虛擬通話背景，或是由 終端預先採集或由其他處獲得，並上傳給伺服器的虛擬通話背景。
可選的，終端上傳普通的視音頻給伺服器後，還可以對該視音頻進行加 工處理，將視音頻製作成符合要求的虛擬通話背景後保存，可以^a不限於通 過伺服器端的背景製作模塊來進行加工處理；所述加工處理包括噪聲處理、 音頻消除更換、設置時間長度及視頻、音頻格式；還可以對製作成功的虛擬 通話背景進行預覽。
可選的，終端的視頻通話默i人i殳置為不添加虛擬通話背景；用戶可以通 過終端在伺服器上設置是否需要添加虛擬通話背景，也可以選擇使用哪種虛 擬通話背景；設置後，在進行視頻通話時就可以使用所選擇的虛擬通話背景， 也可以使用原始視音頻一一 即終端實時釆集到的視音頻，還可以在兩者間進 行切換。
10可選的，當終端選擇添加虛擬通話背景，但沒有選擇某個特定的虛擬通 話背景時，伺服器釆用默認的虛擬通話背景作為終端選擇的虛擬通話背景。
可選的，如果通話時間長度超過虛擬通話背景的時間長度，則重複播》丈 虛擬通話背景。
下面用本發明的一個應用示例進一步加以說明。
本應用示例中，以主叫用戶方面的流程進行說明，手機用戶使用虛擬通
話背景的流程圖如圖1所示，包括
101、 用已註冊帳號登陸伺服器端的系統管理模塊；
102、 設定在視頻通話過程中加虛擬通話背景；
103、 預覽虛擬通話背景，並選擇合適的虛擬通話背景；
104、 撥打電話，發起視頻通話；
105、 開始通話，手機採集視音頻發送給伺服器；伺服器將視音頻與選擇 的虛擬通話背景實時合成後發送給被叫手機；
通話期間，用戶可以通過手機自由切換自己的視頻是原始視音頻還是合 成後的糹見音頻；
最後、通話結束。
虛擬通話背景可以由用戶自行製作，如圖2所示，包括以下步驟
201、 獲得初始背景視音頻，可以自己錄製，也可以從網上或者其他處獲
得；
202、 上傳初始背景視音頻至視頻通話伺服器；
203、 使用伺服器中的背景製作模塊對初始背景視音頻進行加工處理，包 括噪聲處理、音頻消除更換等，製作出符合要求的虛擬通話背景；
204、 設置虛擬通話背景的時間長度及視頻、音頻格式；
205、 預覽製作的虛擬通話背景；
206、 確定後將該虛擬通話背景保存至背景庫中；保存前可以對該虛擬通話背景進行壓縮處理。
上述步驟105中，伺服器將視音頻與選擇的虛擬通話背景實時合成的具 體步驟如圖3所示，包括
301、 伺服器從手機實時獲得手機錄製的視音頻；
302、 對視頻幀進行摳像，得到用戶的人物圖像；
303、 將虛擬通話背景中的視頻背景與摳像得到的視頻幀進行實時合成； 將虛擬通話背景中的音頻與從手機獲得的音頻進行實時合成；
304、 輸出合成後的視音頻給被叫用戶。
可選擇虛擬通話背景的系統框圖如圖4所示，在伺服器端包括以下功能 模塊
系統管理才莫塊、背景製作才莫塊、實時合成才莫塊；虛擬通話背景庫；
系統管理模塊負責和終端上的管理模塊進行交互，接收終端的處理指令 和確認指令；通過調用背景製作模塊來完成對用戶上傳的視音頻背景的加工； 通過調用實時合成模塊完成視音頻通話過程中加入虛擬通話背景的操作；
系統管理模塊在收到終端的視音頻加工處理指示後，將用戶選擇處理的 視音頻發送給背景製作模塊，並將從終端接收的處理指示和確定指示發送給 背景製作才莫塊；
背景製作才莫塊用於對系統管理模塊發送的視音頻進行噪聲處理、音頻消 除更換、設置時間長度及視頻、音頻格式；以及當收到系統管理模塊轉發的 確定指示後將處理完成的虛擬通話背景保存進虛擬通話背景庫。
系統管理^f莫塊在終端開始視頻通話後，如果判斷通話終端選擇了添加虛 擬通話背景，則在收到終端釆集的視音頻後，從^L音頻背景庫中提取該終端 選擇的虛擬通話背景，連同所接收的該終端採集的視音頻， 一起發送給實時 合成模塊，然後將合成後的視音頻發送給被叫終端用戶。
實時合成模塊，用於對系統管理模塊發送來的視頻進行實時摳像，得到 用戶的人物圖像；以及用人物圖像、系統管理才莫塊發送來的音頻分別與虛擬 通話背景中的視頻、音頻進行實時合成，合成後發送給系統管理模塊。
系統管理才莫塊可以包括視頻通話管理子;f莫塊，虛擬背景管理子才莫塊和
12用戶帳戶管理子才莫塊；
虛擬背景管理子^f莫塊用於管理虛擬通話背景庫，對系統提供的公用虛擬 通話背景和用戶製作的虛擬通話背景進行分類管理；以及在收到終端的視音 頻加工處理指示後，將用戶選擇處理的視音頻發送給背景製作模塊，並將從 終端接收的處理指示和確定指示發送給背景製作4莫塊；
視頻通話管理子模塊，用於管理終端間的視音頻通話；當終端間開始視 頻通話後，查詢用戶帳戶管理子才莫塊中通話終端的設置；如果終端選擇添加 虛擬通話背景，則從虛擬通話背景庫中提取終端選擇的虛擬通話背景，連同 所接收的該終端釆集的視音頻一起發送給實時合成模塊，將合成後的視音頻 發送給進行通話的另一終端；如果終端沒有選擇添加虛擬通話背景，則直4妻 將終端釆集的視音頻發送給進行通話的另 一終端；
用戶帳戶管理子^^莫塊，用於保存用戶終端的信息以及對虛擬通話背景的 設置信息。
當然，本發明還可有其他多種實施例，在不背離本發明精神及其實質的 情況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形， 但這些相應的改變和變形都應屬於本發明的權利要求的保護範圍。
權利要求
1、一種可選擇實時虛擬通話背景的系統，在伺服器端包括系統管理模塊，用於提供虛擬通話背景供終端選擇，並記錄終端所選擇的虛擬通話背景；在終端開始視頻通話後，接收終端採集的視音頻；如果該終端選擇了虛擬通話背景，則將虛擬通話背景和所接收的視音頻一起發送給實時合成模塊；以及將從實時合成模塊接收的合成後的視音頻發送給進行通話的另一終端；實時合成模塊，用於對系統管理模塊發送來的視頻進行實時摳像，得到用戶的人物圖像；以及用人物圖像、系統管理模塊發送來的音頻分別與虛擬通話背景中的視頻、音頻進行實時合成，合成後發送給系統管理模塊。
2、 如權利要求l所述的系統，其特徵在於實時合成模塊採用現場可編程門陣列與數位訊號處理相結合的硬體平
3、 如權利要求l所述的系統，其特徵在於系統管理模塊所提供的虛擬通話背景包持公共的虛擬通話背景，和終端 上傳的虛擬通話背景。
4、 如權利要求l所述的系統，其特徵在於實時合成^f莫塊進行實時合成時，如果虛擬通話背景中的視音頻已經結束 而仍接收到所述終端的視音頻，則重複使用虛擬通話背景中的視音頻進行實 時合成。
5、 如權利要求1到4中任一項所述的系統，其特徵在於，還包括 虛擬通話背景庫，用於保存虛擬通話背景；背景製作模塊，用於根據系統管理模塊轉發的處理指示對虛擬通話背景 進行噪聲處理、音頻消除更換、設置時間長度及視頻、音頻格式；以及當收 到系統管理模塊轉發的確定指示後將處理完成的虛擬通話背景保存進虛擬通 話背景庫；所述系統管理模塊還用於收到終端的視音頻加工處理指示後，將用戶選 擇處理的虛擬通話背景發送給背景製作模塊，並將從終端接收的處理指示和確定指示發送給背景製作模塊D
6、 如權利要求5所述的系統，其特徵在於，系統管理;f莫塊包括視頻通話 管理子模塊，虛擬背景管理子才莫塊和用戶帳戶管理子模塊；虛擬背景管理子模塊用於管理虛擬通話背景庫，對系統提供的公用虛擬 通話背景和用戶製作的虛擬通話背景進行分類管理；以及在收到終端的視音 頻加工處理指示後，將用戶選擇處理的視音頻發送給背景製作才莫塊，並將從 終端接收的處理指示和確定指示發送給背景製作模塊；視頻通話管理子模塊，用於管理終端間的視音頻通話；當終端間開始3見 頻通話後，查詢用戶帳戶管理子才莫塊中通話終端的設置；如杲終端選擇添加 虛擬通話背景，則從虛擬通話背景庫中提取終端選擇的虛擬通話背景，連同 所接收的該終端釆集的視音頻一起發送給實時合成模塊，將合成後的視音頻 發送給進行通話的另一終端；如果終端沒有選擇添加虛擬通話背景，則直接 將終端採集的視音頻發送給進行通話的另 一終端；用戶帳戶管理子模塊，用於保存用戶終端的信息以及對虛擬通話背景的 設置信息。
7、 如權利要求5所述的系統，其特徵在於，該系統在用戶終端包括終端管理模塊，用於與所述系統管理模塊交互，進行帳戶登陸，瀏覽虛 擬通話背景、選擇虛擬通話背景、預覽虛擬通話背景、上傳視音頻、處理虛 擬通話背景。
8、 一種視頻通話方法，包括終端設定視頻通話的虛擬通話背景；終端間開始視頻通話；終端採集視音頻發送給伺服器；伺服器對終端採集上來的視頻進行實時摳像，得到用戶的人物圖像；用 人物圖像、終端採集上來的音頻分別與該終端選擇的虛擬通話背景中的視頻、 音頻進行實時合成後，發送給進行通話的另一終端。
9、 如權利要求8所述的方法，其特徵在於所述虛擬通話背景包括伺服器提供的虛擬通話背景、或終端預先上傳給 伺服器的虛擬通話背景。
10、 如權利要求8所述的方法，其特徵在於如果通話時間長度超過虛擬通話背景的時間長度，則重複播》文虛擬通話 背景。
11、 如權利要求8到10中任一項所述的方法，其特徵在於，終端上傳虛 擬通話背景給J5良務器後，還包括 對上傳的虛擬通話背景進行加工處理，包括噪聲處理、音頻消除更換、 設置時間長度及視頻、音頻格式；處理後保存。
全文摘要
本發明公開了一種可選擇實時虛擬通話背景的系統及視頻通話方法；系統在伺服器端包括系統管理模塊，用於提供虛擬通話背景供終端選擇，並記錄終端所選擇的虛擬通話背景；在終端開始視頻通話後，接收終端採集的視音頻；如果該終端選擇了虛擬通話背景，則將虛擬通話背景和所接收的視音頻一起發送給實時合成模塊；以及將從實時合成模塊接收的合成後的視音頻發送給進行通話的另一終端；實時合成模塊，用於對系統管理模塊發送來的視頻進行實時摳像，得到用戶的人物圖像；以及用人物圖像、系統管理模塊發送來的音頻分別與虛擬通話背景中的視頻、音頻進行實時合成，合成後發送給系統管理模塊。
文檔編號H04N5/265GK101677386SQ20081013539
公開日2010年3月24日 申請日期2008年8月1日 優先權日2008年8月1日
發明者牛興林 申請人:中興通訊股份有限公司