一種視頻通話的數據處理方法和裝置與流程

2023-10-10 22:32:14

本發明涉及視頻應用領域，特別涉及一種視頻通話的數據處理方法和裝置。

背景技術：

數字通信基礎設施日益演進，通信帶寬越來越寬，通信介質中承載的數據從最初的文字(電報)和語音，發展到現在的視頻通話。視頻電話時，數字通信系統需要同時傳輸壓縮的視頻數據和音頻數據，對通信帶寬、通信實時性和系統音視頻處理能力有極高的要求。

視頻通話最基礎的要求是對音頻數據和視頻數據按照通用的格式編碼壓縮，再打包成通用的傳輸流格式，再通過通信基礎設施傳輸給對方。現有的視頻通話一般通過攝像頭來捕捉視頻數據以及用麥克風捕捉音頻數據，並對捕捉的視頻數據和音頻數據直接傳輸，無法實現對視頻數據或音頻數據的效果渲染處理，存在著用戶體驗不高等問題。

技術實現要素：

為此，需要提供一種視頻通話的數據處理技術方案，用以解決現有視頻電話過程中，使用用戶粘性不高、用戶體驗差等問題。

為實現上述目的，發明人提供了一種視頻通話的數據處理裝置，所述裝置包括多個終端和伺服器，所述終端包括第一終端和第二終端；所述第一終端包括第一視頻採集單元、第一音頻採集單元、第一音頻效果單元、第一顯示合成單元、第一編碼單元和第一通信單元；所述第一音頻效果單元包括第一音頻識別子單元、第一音頻數字音效子單元和第一音頻變速子單元；

所述第一視頻採集單元用於實時採集第一視頻數據，所述第一音頻採集單元用於實時採集第一音頻數據；

所述第一音頻識別子單元用於將第一音頻數據識別成第一文字數據；所述第一音頻數字音效子單元將第一音頻數據疊加音頻數字音效；所述第一音頻變速子單元將第一音頻數據疊加變速不變調效果；

所述第一顯示合成單元用於將第一文字數據與第一視頻數據進行合成，得到第一合成數據；

所述第一編碼單元用於將第一音頻數據按照預設音頻格式進行編碼壓縮，得到第一音頻編碼數據；並用於將第一合成數據按照預設視頻格式進行編碼壓縮，得到第一視頻編碼數據；以及用於將第一音頻編碼數據和第一視頻編碼數據按照預設傳輸格式打包，得到第一編碼多媒體數據；

所述第一通信單元用於將第一編碼多媒體數據發送至第二終端。

進一步地，所述第一終端還包括第一顯示單元；所述第二終端包括第二視頻採集單元、第二音頻採集單元、第二音頻效果單元、第二顯示合成單元、第二編碼單元、第二通信單元和第二顯示單元；所述第二音頻效果單元包括第二音頻識別子單元、第二音頻數字音效子單元和第二音頻變速子單元；

所述第二視頻採集單元用於實時採集第二視頻數據，所述第二音頻採集單元用於實時採集第二音頻數據；

所述第二音頻識別子單元用於將第二音頻數據識別成第二文字數據；所述第二音頻數字音效子單元用於將第二音頻數據疊加音頻數字音效；所述第二音頻變速子單元用於將第二音頻數據疊加變速不變調效果。

所述第二顯示合成單元用於將第二文字數據與第二視頻數據進行合成，得到第二合成數據；

所述第二編碼單元用於將第二音頻數據按照預設音頻格式進行編碼壓縮，得到第二音頻編碼數據；並用於將第二合成數據按照預設視頻格式進行編碼壓縮，得到第二視頻編碼數據；以及用於將第二音頻編碼數據和第二視頻編碼數據按照預設傳輸格式打包，得到第二編碼多媒體數據；

所述第二通信單元用於第二編碼多媒體數據發送至第一終端；

所述第一顯示單元用於顯示第二編碼多媒體數據，第二顯示單元用於顯示第一編碼多媒體數據。

進一步地，所述第一終端還包括第一文字效果渲染單元和第一視頻效果渲染單元；所述第一文字效果渲染單元用於接收第一渲染指令，並對第一文字數據進行效果渲染；所述第一視頻效果渲染單元用於接收第二渲染指令，並對第一視頻數據進行效果渲染；所述第一顯示合成單元用於將渲染後的第一文字數據與渲染後的視頻數據進行合成，得到第一合成數據；

進一步地，伺服器包括存儲單元，所述存儲單元用於存儲文字效果渲染模板；所述第一終端包括第一文字渲染模板獲取單元；

所述第一文字渲染模板獲取單元用於接收文字模板獲取指令，從所述伺服器獲取對應的文字效果渲染模板；

所述第一文字效果渲染單元用於根據所獲取的文字效果渲染模板對第一文字數據進行效果渲染。

進一步地，伺服器包括存儲單元，所述存儲單元還用於存儲視頻效果渲染模板；所述第一終端包括第一視頻渲染模板獲取單元；

所述視頻渲染模板獲取單元用於接收視頻模板獲取指令，從所述伺服器獲取對應的視頻效果渲染模板；

所述第一視頻效果渲染單元用於根據所獲取的視頻效果渲染模板對第一視頻數據進行效果渲染。

發明人還提供了一種視頻通話的數據處理方法，所述方法應用於視頻通話的數據處理裝置，所述裝置包括多個終端和伺服器，所述終端包括第一終端和第二終端；所述第一終端包括第一視頻採集單元、第一音頻採集單元、第一音頻效果單元、第一顯示合成單元、第一編碼單元和第一通信單元；所述方法包括：

第一視頻採集單元實時採集第一視頻數據，第一音頻採集單元實時採集第一音頻數據；

第一音頻效果單元包括第一音頻識別子單元、第一音頻數字音效子單元和第一音頻變速子單元。第一音頻識別子單元將第一音頻數據識別成第一文字數據；第一音頻數字音效子單元將第一音頻數據疊加音頻數字音效；第一音頻變速子單元將第一音頻數據疊加變速不變調效果。

第一顯示合成單元將第一文字數據與第一視頻數據進行合成，得到第一合成數據；

第一編碼單元將第一音頻數據按照預設音頻格式進行編碼壓縮，得到第一音頻編碼數據；並將第一合成數據按照預設視頻格式進行編碼壓縮，得到第一視頻編碼數據；以及將第一音頻編碼數據和第一視頻編碼數據按照預設傳輸格式打包，得到第一編碼多媒體數據；

第一通信單元將第一編碼多媒體數據發送至第二終端。

進一步地，所述第一終端還包括第一顯示單元；所述第二終端包括第二視頻採集單元、第二音頻採集單元、第二音頻效果單元、第二顯示合成單元、第二通信單元、第二編碼單元和第二顯示單元；所述方法包括：

第二視頻採集單元實時採集第二視頻數據，第二音頻採集單元實時採集第二音頻數據；

第二音頻效果單元包括第二音頻識別子單元、第二音頻數字音效子單元和第二音頻變速子單元；第二音頻識別子單元將第二音頻數據識別成第二文字數據；第二音頻數字音效子單元將第二音頻數據疊加音頻數字音效；第二音頻變速子單元將第二音頻數據疊加變速不變調效果；

第二顯示合成單元將第二文字數據與第二視頻數據進行合成，得到第二合成數據；

第二編碼單元將第二音頻數據按照預設音頻格式進行編碼壓縮，得到第二音頻編碼數據，並將第二合成數據按照預設視頻格式進行編碼壓縮，得到第二視頻編碼數據；以及將第二音頻編碼數據和第二視頻編碼數據按照預設傳輸格式打包，得到第二編碼多媒體數據；

第二通信單元將第二編碼多媒體數據發送至第一終端；

第一顯示單元顯示第二編碼多媒體數據，第二顯示單元顯示第一編碼多媒體數據。

進一步地，所述第一終端還包括第一文字效果渲染單元和第一視頻效果渲染單元；所述方法包括：

第一文字效果渲染單元接收第一渲染指令，並對第一文字數據進行效果渲染；

第一視頻效果渲染單元接收第二渲染指令，並對第一視頻數據進行效果渲染；

第一顯示合成單元將渲染後的第一文字數據與渲染後的視頻數據進行合成，得到第一合成數據；

進一步地，伺服器包括存儲單元，所述存儲單元用於存儲文字效果渲染模板；所述第一終端包括第一文字渲染模板獲取單元；所述方法包括：

第一文字渲染模板獲取單元接收文字模板獲取指令，從所述伺服器獲取對應的文字效果渲染模板；

第一文字效果渲染單元根據所獲取的文字效果渲染模板對第一文字數據進行效果渲染。

進一步地，伺服器包括存儲單元，所述存儲單元還用於存儲視頻效果渲染模板；所述第一終端包括第一視頻渲染模板獲取單元；所述方法包括：

第一視頻渲染模板獲取單元接收視頻模板獲取指令，從所述伺服器獲取對應的視頻效果渲染模板；

第一視頻效果渲染單元根據所獲取的視頻效果渲染模板對第一視頻數據進行效果渲染。

上述技術方案所述的視頻通話的數據處理方法和裝置，所述方法應用於視頻通話的數據處理裝置，所述裝置包括多個終端和伺服器，所述終端包括第一終端和第二終端；所述第一終端包括第一視頻採集單元、第一音頻採集單元、第一音頻效果單元、第一顯示合成單元、第一通信單元；所述方法包括：第一視頻採集單元實時採集第一視頻數據，第一音頻採集單元實時採集第一音頻數據；第一音頻效果單元包括第一音頻識別子單元、第一音頻數字音效子單元和第一音頻變速子單元，將第一音頻數據識別成文字數據併疊加數字音頻音效/音頻變速效果；第一顯示合成單元將第一文字數據與第一視頻數據進行合成，得到第一合成數據；第一編碼單元將第一音頻數據按照一定的音頻格式編碼壓縮；並將第一合成數據按照一定的視頻格式編碼壓縮；並將音視頻壓縮的編碼數據按照一定的傳輸格式打包，得到第一編碼多媒體數據；第一通信單元將第一編碼多媒體數據發送至第二終端。這樣，在視頻電話過程中，可以將音頻音效/音頻變速效果疊加到音頻數據上；可以將通話語音識別成文字信息，並與視頻數據疊加，並在通話的終端上呈現，有效增強了用戶體驗。

附圖說明

圖1為本發明一實施方式涉及的視頻通話的數據處理裝置的示意圖；

圖2為本發明一實施方式涉及的視頻通話的數據處理方法的流程圖；

圖3為本發明另一實施方式涉及的視頻通話的數據處理方法的流程圖；

圖4為本發明另一實施方式涉及的視頻通話的數據處理方法的流程圖；

附圖標記說明：

101、第一終端；111、第一視頻採集單元；121、第一音頻採集單元；131、第一音頻效果單元；141、第一顯示合成單元；151、第一通信單元；161、第一顯示單元；171、第一文字渲染模板獲取單元；181、第一視頻渲染模板獲取單元；191、第一文字效果渲染單元；201、第一視頻效果渲染單元；211、第一編碼單元；

133、第一音頻識別子單元；134、第一音頻數字音效子單元；135、第一音頻變速子單元；

102、第二終端；112、第二視頻採集單元；122、第二音頻採集單元；132、第二音頻效果單元；142、第二顯示合成單元；152、第二通信單元；162、第二顯示單元；172、第二文字渲染模板獲取單元；182、第二視頻渲染模板獲取單元；192、第二文字效果渲染單元；202、第二視頻效果渲染單元；212、第二編碼單元；

136、第二音頻識別子單元；137、第二音頻數字音效子單元；138、第二音頻變速子單元

103、伺服器；113、存儲單元；

具體實施方式

為詳細說明技術方案的技術內容、構造特徵、所實現目的及效果，以下結合具體實施例並配合附圖詳予說明。

請參閱圖1，本發明一實施方式涉及的視頻通話的數據處理裝置的示意圖。所述裝置包括多個終端和伺服器103，所述終端包括第一終端101和第二終端102；所述第一終端101包括第一視頻採集單元111、第一音頻採集單元121、第一音頻效果單元131、第一顯示合成單元141、第一通信單元151、第二編碼單元211；

所述第一視頻採集單元111用於實時採集第一視頻數據，所述第一音頻採集單元121用於實時採集第一音頻數據。所述終端為移動智能設備，如手機、平板等，用戶可以通過終端之間進行視頻通話。所述視頻採集單元為具有視頻數據採集功能的電子元件，如攝像頭；所述第一音頻採集單元為具體音頻數據採集功能的電子元件，如麥克風。在本實施方式中，第一終端和第二終端為進行視頻通話的兩個終端設備，所述第一視頻數據為第一終端的攝像頭所採集的第一用戶的視頻圖像信息，所述第一音頻數據為第一終端的麥克風所採集的第一用戶的音頻數據。

所述第一音頻效果單元131包括第一音頻識別子單元133、第一音頻數字音效子單元134和第一音頻變速子單元135；第一音頻識別子單元133用於將第一音頻數據識別成第一文字數據；所述第一音頻數字音效子單元134將第一音頻數據疊加音頻數字音效；所述第一音頻變速子單元135將第一音頻數據疊加變速不變調效果；

所述音頻識別子單元可以通過語音識別算法解析出音頻數據的音頻信息，再將音頻信息識別成對應的文字數據，即第一文字數據。

所述第一顯示合成單元141用於將第一文字數據與第一視頻數據進行合成，得到第一合成數據。在本實施方式中，第一文字數據可以以字幕的形式與第一視頻數據進行疊加，例如位於根據視頻畫面比例，選用適當的文字大小，將文字數據作為畫面字幕置於視頻畫面的底部。在另一些實施例中，第一文字數據還可以疊加在視頻畫面的其他方位，具體可根據用戶的喜好設置。

所述第一編碼單元211用於將第一音頻數據按照預設音頻格式進行編碼壓縮，得到第一音頻編碼數據；並用於將第一合成數據按照預設視頻格式進行編碼壓縮，得到第一視頻編碼數據；以及用於將第一音頻編碼數據和第一視頻編碼數據按照預設傳輸格式打包，得到第一編碼多媒體數據。

所述預設音頻格式包括但不限於pcm,mp3,aac,ac3,dts。所述預設視頻格式包括但不限於divx,xvid,mpeg4,h264,h265,vp8,vp9。所述預設傳輸格式包括但不限於m3u8，ts,mpeg2ts,flv,mov,mp4。

所述第一通信單元151用於將第一編碼多媒體數據發送至第二終端。第一終端和第二終端可通過有線或無線的方式進行通信，當第二終端接收到第一編碼多媒體數據後，第二終端的顯示單元不僅可以顯示第一用戶的圖像信息時，還可以顯示第一用戶的音頻數據對應的文字數據，即將音頻音效/音頻變速效果疊加到音頻數據上；將語音識別成文字與視頻畫面疊加進行顯示，使得視頻電話過程中語音更加直觀化，有效提高了用戶體驗。

在某些實施例中，所述第一終端101還包括第一顯示單元161；所述第二終端102包括第二視頻採集單元112、第二音頻採集單元122、第二音頻效果單元132、第二顯示合成單元142、第二編碼單元212、第二通信單元152和第二顯示單元162。

所述第二視頻採集單元112用於實時採集第二視頻數據，所述第二音頻採集單元122用於實時採集第二音頻數據；所述第二音頻效果單元132包括第二音頻識別子單元136、第二音頻數字音效子單元137和第二音頻變速子單元138。第二音頻識別子單元136用於將第二音頻數據識別成第二文字數據；第二音頻數字音效子單元137將第二音頻數據疊加音頻數字音效；第二音頻變速子單元138將第二音頻數據疊加變速不變調效果。

所述第二顯示合成單元142用於將第二文字數據與第二視頻數據進行合成，得到第二合成數據；所述第二通信單元152用於將第二合成數據和第二音頻數據發送至第一終端；所述第一顯示單元161用於顯示第二編碼多媒體數據，第二顯示單元162用於顯示第一編碼多媒體數據。優選的，第一終端用於將接收到的第二編碼多媒體數據解析後進行顯示，第二終端用於將接收到的第一編碼多媒體數據解析後進行顯示。當然，第一終端上也可以解析第一編碼多媒體數據進行顯示，以便在第一終端上的顯示單元，可以同時看到通信雙方用戶的視頻畫面，第二終端同理可得，從而有效提高視頻通話的交互性。

第二終端對獲取的第二用戶的音頻數據識別成文字數據的方式，與第一終端類似，此處不再贅述。在進行視頻通話過程中，以使用第一終端的第一用戶視角為例，第一合成數據和第二合成數據可以分別顯示在屏幕上的兩個窗口中，兩個窗口可以大小、擺放位置可以根據用戶喜好進行調整。

在某些實施例中，所述第一終端101還包括第一文字效果渲染單元191和第一視頻效果渲染單元201；所述第一文字效果渲染單元191用於接收第一渲染指令，並對第一文字數據進行效果渲染；所述第一視頻效果渲染單元201用於接收第二渲染指令，並對第一視頻數據進行效果渲染；所述第一顯示合成單元141用於將渲染後的第一文字數據與渲染後的視頻數據進行合成，得到第一合成數據。所述第一渲染指令和第二渲染指令可以通過用戶點擊屏幕上的按鈕觸發。

優選的，所述伺服器103包括存儲單元113，所述存儲單元113用於存儲文字效果渲染模板；所述第一終端包括第一文字渲染模板獲取單元171；所述第一文字渲染模板獲取單元171用於接收文字模板獲取指令，從所述伺服器獲取對應的文字效果渲染模板；所述第一文字效果渲染單元191用於根據所獲取的文字效果渲染模板對第一文字數據進行效果渲染。所述文字渲染模板包含有諸多文字效果配置項，所述文字效果配置項包括文字顏色、字形、字體大小、文字風格(如漸變呈現)等。

在某些實施例中，伺服器包括存儲單元，所述存儲單元還用於存儲視頻效果渲染模板；所述第一終端包括第一視頻渲染模板獲取單元181；所述第一視頻渲染模板181獲取單元用於接收視頻模板獲取指令，從所述伺服器獲取對應的視頻效果渲染模板；所述第一視頻效果渲染單元201用於根據所獲取的視頻效果渲染模板對第一視頻數據進行效果渲染。所述視頻渲染模板包含有諸多視頻效果配置項，所述視頻效果配置項包括場景風格設置、背景設置、亮度調整等。

在某些實施例中，所述第二終端還包括第二文字渲染模板獲取單元172、第二視頻渲染模板獲取單元182、第二文字效果渲染單元192、第二視頻效果渲染單元202，第二文字效果渲染單元192用於根據第二文字渲染模板獲取單元172從伺服器獲取的文字渲染模板對第二文字數據進行效果渲染；第二視頻效果渲染單元192用於根據第二視頻渲染模板獲取單元182從伺服器獲取的視頻渲染模板對第二視頻數據進行效果渲染。在實際應用過程中，當第一終端和第二終端進行通話時，第一用戶可以通過第一終端對第一合成數據進行效果渲染，也可以對第二終端傳輸的第二合成數據進行效果渲染，從而有效提高了用戶體驗。

請參閱圖2，為本發明一實施方式涉及的視頻通話的數據處理方法的流程圖,。所述方法應用於視頻通話的數據處理裝置，所述裝置包括多個終端和伺服器，所述終端包括第一終端和第二終端；所述第一終端包括第一視頻採集單元、第一音頻採集單元、第一音頻效果單元、第一顯示合成單元、第一編碼單元、第一通信單元；所述方法包括：

首先進入步驟s201第一視頻採集單元實時採集第一視頻數據，第一音頻採集單元實時採集第一音頻數據。

而後進入步驟s202第一音頻效果單元中的第一音頻識別子單元將第一音頻數據識別成第一文字數據。所述第一音頻識別子單元可以通過語音識別算法解析出音頻數據的音頻信息，再將音頻信息識別成對應的文字數據，即第一文字數據。

而後進入步驟s203第一顯示合成單元將第一文字數據與第一視頻數據進行合成，得到第一合成數據。在本實施方式中，第一文字數據可以以字幕的形式與第一視頻數據進行疊加，例如位於根據視頻畫面比例，選用適當的文字大小，將文字數據作為畫面字幕置於視頻畫面的底部。在另一些實施例中，第一文字數據還可以疊加在視頻畫面的其他方位，具體可根據用戶的喜好設置。

而後進入步驟s204第一編碼單元將第一音頻數據按照預設音頻格式進行編碼壓縮，得到第一音頻編碼數據，並將第一合成數據按照預設視頻格式進行編碼壓縮，得到第一視頻編碼數據。

而後進入步驟s205第一編碼單元將第一音頻編碼數據和第一視頻編碼數據按照預設傳輸格式打包，得到第一編碼多媒體數據。

而後進入步驟s206第一通信單元將第一編碼多媒體數據發送至第二終端。第一終端和第二終端可通過有線或無線的方式進行通信，當第二終端接收到第一合成數據和第一音頻數據後，第二終端的顯示單元不僅可以顯示第一用戶的圖像信息時，還可以顯示第一用戶的音頻數據對應的文字數據，即將音頻音效/音頻變速效果疊加到音頻數據上；將語音識別成文字與視頻畫面疊加進行顯示，使得視頻電話過程中語音更加直觀化，有效提高了用戶體驗。

請參閱圖3，為本發明另一實施方式涉及的視頻通話的數據處理方法的流程圖。所述第一終端還包括第一顯示單元；所述第二終端包括第二視頻採集單元、第二音頻採集單元、第二音頻效果單元、第二顯示合成單元、第二編碼單元、第二通信單元和第二顯示單元；所述方法包括：首先進入步驟s301第二視頻採集單元實時採集第二視頻數據，第二音頻採集單元實時採集第二音頻數據；而後進入步驟s302第二音頻效果單元中的第二音頻識別子單元將第二音頻數據識別成第二文字數據；而後進入步驟s303第二顯示合成單元將第二文字數據與第二視頻數據進行合成，得到第二合成數據；而後進入步驟s304第二編碼單元將第二音頻數據按照預設音頻格式進行編碼壓縮，得到第二音頻編碼數據，並將第二合成數據按照預設視頻格式進行編碼壓縮，得到第二視頻編碼數據；而後進入步驟s305第二編碼單元將第二音頻編碼數據和第二視頻編碼數據按照預設傳輸格式打包，得到第二編碼多媒體數據；而後進入步驟s306第二通信單元將第二編碼多媒體數據發送至第一終端；而後進入步驟s307第一顯示單元顯示第二編碼多媒體數據，第二顯示單元顯示第一編碼多媒體數據。

如圖4所示，在某些實施例中，所述第一終端還包括第一文字效果渲染單元和第一視頻效果渲染單元；所述方法包括：首先進入步驟s401第一文字效果渲染單元接收第一渲染指令，並對第一文字數據進行效果渲染；而後進入s402第一視頻效果渲染單元接收第二渲染指令，並對第一視頻數據進行效果渲染；而後進入s403第一顯示合成單元將渲染後的第一文字數據與渲染後的視頻數據進行合成，得到第一合成數據。

在某些實施例中，伺服器包括存儲單元，所述存儲單元用於存儲文字效果渲染模板；所述第一終端包括第一文字渲染模板獲取單元；所述方法包括：第一文字渲染模板獲取單元接收文字模板獲取指令，從所述伺服器獲取對應的文字效果渲染模板；第一文字效果渲染單元根據所獲取的文字效果渲染模板對第一文字數據進行效果渲染。

在某些實施例中，伺服器包括存儲單元，所述存儲單元還用於存儲視頻效果渲染模板；所述第一終端包括第一視頻渲染模板獲取單元；所述方法包括：第一視頻渲染模板獲取單元接收視頻模板獲取指令，從所述伺服器獲取對應的視頻效果渲染模板；第一視頻效果渲染單元根據所獲取的視頻效果渲染模板對第一視頻數據進行效果渲染。

上述技術方案所述的視頻通話的數據處理方法和裝置，所述方法應用於視頻通話的數據處理裝置，所述裝置包括多個終端和伺服器，所述終端包括第一終端和第二終端；所述第一終端包括第一視頻採集單元、第一音頻採集單元、第一音頻效果單元、第一顯示合成單元、第一通信單元；所述方法包括：第一視頻採集單元實時採集第一視頻數據，第一音頻採集單元實時採集第一音頻數據；第一音頻效果單元包括第一音頻識別子單元、第一音頻數字音效子單元和第一音頻變速子單元，將第一音頻數據識別成文字數據併疊加數字音頻音效/音頻變速效果；第一音頻識別子單元將第一音頻數據識別成第一文字數據；第一顯示合成單元將第一文字數據與第一視頻數據進行合成，得到第一合成數據；第一通信單元將第一合成數據和第一音頻數據發送至第二終端。

這樣，在視頻電話過程中，可以將音頻音效/音頻變速效果疊加到音頻數據上；可以將通話語音識別成文字信息，並與視頻數據疊加，並在通話的終端上呈現，有效增強了用戶體驗。

需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者終端設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者終端設備所固有的要素。在沒有更多限制的情況下，由語句「包括……」或「包含……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者終端設備中還存在另外的要素。此外，在本文中，「大於」、「小於」、「超過」等理解為不包括本數；「以上」、「以下」、「以內」等理解為包括本數。

本領域內的技術人員應明白，上述各實施例可提供為方法、裝置、或電腦程式產品。這些實施例可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。上述各實施例涉及的方法中的全部或部分步驟可以通過程序來指令相關的硬體來完成，所述的程序可以存儲於計算機設備可讀取的存儲介質中，用於執行上述各實施例方法所述的全部或部分步驟。所述計算機設備，包括但不限於：個人計算機、伺服器、通用計算機、專用計算機、網絡設備、嵌入式設備、可編程設備、智能移動終端、智能家居設備、穿戴式智能設備、車載智能設備等；所述的存儲介質，包括但不限於：ram、rom、磁碟、磁帶、光碟、快閃記憶體、u盤、移動硬碟、存儲卡、記憶棒、網絡伺服器存儲、網絡雲存儲等。

上述各實施例是參照根據實施例所述的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到計算機設備的處理器以產生一個機器，使得通過計算機設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些電腦程式指令也可存儲在能引導計算機設備以特定方式工作的計算機設備可讀存儲器中，使得存儲在該計算機設備可讀存儲器中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些電腦程式指令也可裝載到計算機設備上，使得在計算機設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

儘管已經對上述各實施例進行了描述，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例做出另外的變更和修改，所以以上所述僅為本發明的實施例，並非因此限制本發明的專利保護範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護範圍之內。