一種語音和文字內容混排消息的實現方法
2023-04-25 05:35:01 2
專利名稱：一種語音和文字內容混排消息的實現方法
技術領域：
本發明涉及到通信領域的移動網際網路技術，具體的涉及一種將語音轉譯成相應語義的文字並在網際網路中傳送語音和文字內容混排消息的技術解決方案。
背景技術：
移動網際網路技術是在hternet上提供移動功能的網絡層方案，它可以使移動節點用一個永久的地址與網際網路中的任何主機通信，並且在切換子網時不中斷正在進行的通
fn °移動網際網路的基礎協議為移動IPv6協議(MIPv6)，IETF已經發布了 MIPv6的正式協議標準RFC3775[1] MIPv6的主要目標是使MN不管是連接在家鄉鏈路還是移動到外地鏈路，總是通過家鄉地址(HoA)尋址。當MN移動至外地子網時，需要配置一個具有外地網絡前綴的轉交地址(CoA)，並通過CoA提供MN當前的位置信息。建立HoA與CoA對應關係的過程稱為綁定(Binding)，它通過MN與HA、CN之間交互相關消息完成。在移動終端設備聯網之後，聲音、文字、圖片信息都可以轉化為統一的數據流在網際網路內傳播，網際網路上的特定的終端可以接收這些信息完成通信過程。雖然網際網路傳輸信息流具有廉價的特點，但是目前的移動終端都是通過運營商網絡發送訊息，這樣是需要一定的資費。而且，在發送語音消息的時候用戶只能接收到語音， 無法接收到與語義相關的文字信息。這種呈現方式必須要播放語音才能獲得語音的語義， 而文字信息則通過目視就能識別，顯然比語音要方便很多。專利CN101820590A公開了一種語音簡訊通過文字簡訊通道發送和接收的方法及移動通訊裝置，其中提出了一種新的傳播語音的方式，但是無法遞送語義的文字信息。嵌入式作業系統在移動終端設備上的應用已經相當成熟，目前有ios， Android, Symbian, WindowsMobile等各大的嵌入式作業系統，在嵌入式作業系統上可以編寫應用程式對聲音文字的錄製、轉碼、網絡傳輸與接收，解碼和顯示與播放進行操作。
發明內容
基於以上對背景技術的描述和目前所存在的問題，本發明提出了一種語音和文字內容混排消息，目的在於實現利用現有的網際網路和移動網際網路終端設備，錄製語音並通過網際網路或移動網際網路發送語音和文字內容，在接受設備上將語音和文字內容混合播放、顯示的技術解決方案。根據以上目的，本發明採用如下技術方案
所述方法用於通訊網絡系統中，所述通訊網絡系統包括網絡終端設備、後臺伺服器， 所述方法包括如下步驟
(1)、消息發送方通過網際網路或移動網際網路終端設備錄製語音消息；
(2)、所述語音消息通過網際網路或移動網際網路發送到後臺伺服器；
(3)、所述後臺伺服器將所述語音消息轉譯為文字；(4)、後臺伺服器將語音消息發送到網際網路或移動網際網路上的消息接收方的同時，將轉譯的文字內容遞送到消息發送方和/或消息接收方；
(5)、消息接收方用應用軟體將所接收到的後臺伺服器轉譯的文字內容和語音消息混排顯示和播放於顯示設備。本發明還可以採用如下進一步的技術方案
所述網絡終端設備包括了電腦、筆記本電腦這樣的固定或小範圍移動的網際網路終端設備，也包括了手機、平板電腦這樣的移動網際網路上網設備。步驟(1)和步驟(2)可拆分為如下步驟
al)、錄音，用所述網絡終端設備採集需要錄製的語音消息，將其轉化成數字音頻文件並存儲；
a2)、轉碼，將前述數字音頻文件轉碼成便於網際網路傳播的數字音頻文件，如該數字音頻文件已經是利於網際網路傳播的格式，則不需要轉碼；
a3)、聯網發送，即將前述轉碼完成的音頻文件通過所述網絡終端設備連接網際網路和移動網際網路進行發送。所述後臺伺服器完成文字語音轉譯實現的途徑包括了在本地伺服器進行轉譯，也包括了通過調用開放接口 API向網絡上的其他伺服器集群請求轉譯服務。所述步驟(4)包括了以下流程
bl)、將轉譯的文字內容遞送到發送方的網絡終端設備； b2)、將轉譯的文字內容遞送到接收方的網絡終端設備； b3)、將原始語音遞送到接收方的網絡終端設備。所述接收方接收通過網絡傳輸的聲音文件時，先判斷是否符合當前接受設備的播放格式，如果符合存儲語音文件，如果不符合則轉碼成符合格式的語音文件後再存儲。所述的應用軟體將語音和文字內容混排顯示和播放時，包含了以下特點
Cl)、語音和文字內容混排消息通過「語音」標識將語音消息區別於其他文字、圖片消
息；
c2)、語音和文字內容混排消息由表示「發送」和「接收」方的不同標識來區分信息的來
源；
c3)、語音和文字內容混排消息的文字內容是根據語音轉譯的語義或者是發送者自己通過非語音途徑輸入的文字，當文字字數較少是顯示全部，當多餘一定字數時候，取部分顯示；
c4)、語音可以在終端設備上播發並且同時顯示表示語音語義的部分文字； c5)、所述終端設備上可以同時顯示多條語音的部分文字；
c6)、所述終端設備上的應用軟體對應每條語音設有播放語音或僅僅顯示文字的選擇項。所述網絡終端設備即接收方的用以顯示消息的設備包括了可以網際網路或移動網際網路的終端設備，及其有視聽功能的設備。通過以上技術方案，本發明用戶在發送語音消息的同時還能接收到語音以及和語音相關的文字信息，同時在接收設備上將語音和文字內容混合播放、顯示，大大提升了用戶體驗度，更為方便親切。
圖1是本發明的發送接收機制說明圖； 圖2是本發明的轉譯機制說明圖3是本發明的顯示特徵圖。
具體實施例方式本發明用於通訊網絡系統中，所述通訊網絡系統包括網絡終端設備、後臺伺服器，本方法包括如下步驟
(1)、消息發送方通過網際網路或移動網際網路終端設備錄製語音消息；
(2)、所述語音消息通過網際網路或移動網際網路發送到後臺伺服器；
(3)、所述後臺伺服器將所述語音消息轉譯為文字；
(4)、後臺伺服器將語音消息發送到網際網路或移動網際網路上的消息接收方的同時，將轉譯的文字內容遞送到消息發送方和/或消息接收方；
(5)、消息接收方用應用軟體將所接收到的後臺伺服器轉譯的文字內容和語音消息混排顯示和播放於顯示設備。
所述的網絡終端設備包括了電腦、筆記本電腦這樣的固定或小範圍移動的網際網路終端設備，也包括了手機、平板電腦這樣的移動網際網路上網設備。所述的錄製語音指人類的語言和聲音，不限制語言語種和語義。如不限制是英語還是漢語，不限制與是實詞還是形聲詞等虛詞。所述的通過網絡發送語音到伺服器後臺，即步驟(1)和步驟(2)包括了以下步驟 al)、錄音，用所述網絡終端設備採集需要錄製的語音消息，將其轉化成數字音頻文件
並存儲於設備中；
a2)、轉碼，將已錄製的數字音頻文件轉碼成便於網際網路傳播的數字音頻文件。如某些作業系統錄製的數字音頻文件已經是利於網際網路傳播的格式，則不需要轉碼，如symbian 作業系統的錄音文件。a3)、聯網發送，即將前述轉碼完成的音頻文件通過所述網絡終端設備連接網際網路和移動網際網路進行發送傳輸信息。所述的後臺伺服器完成文字語音轉譯實現的途徑包括了在本地伺服器進行轉譯， 也包括了通過調用開放接口 API向網絡上的其他伺服器集群請求轉譯服務。所述的步驟(4)伺服器遞送信息到接收終端包括了以下流程 bl)、將轉譯的文字內容遞送到發送方的網絡終端設備；
b2)、將轉譯的文字內容遞送到接收方的網絡終端設備； b3)、將原始語音遞送到接收方的網絡終端設備。所述接收方接收通過網絡傳輸的聲音文件時，先判斷是否符合當前接受設備的播放格式，如果符合存儲語音文件，如果不符合則轉碼成符合格式的語音文件後再存儲。所述的應用軟體將語音和文字內容混排顯示和播放時，具體包含了以下特點
6Cl)、語音和文字內容混排消息通過「語音」標識將語音消息區別於其他文字、圖片消
息；
c2)、語音和文字內容混排消息由表示「發送」和「接收」方的不同標識來區分信息的來源，當然，來源於不同的消息接收方也會在應用軟體內用不同id加以顯示；
c3)、語音和文字內容混排消息的文字內容是根據語音轉譯的語義或者是發送者自己通過非語音途徑輸入的文字，當文字字數較少是顯示全部，當多餘一定字數時候，取部分顯示；
c4)、語音可以在終端設備上播發並且同時顯示表示語音語義的部分或全部文字； c5)、所述終端設備上可以同時顯示多條語音的部分文字；
c6)、所述終端設備上的應用軟體對應每條語音設有播放語音或僅僅顯示文字的選擇項。所述網絡終端設備即接收方的用以顯示消息的設備包括了可以網際網路或移動網際網路的終端設備，及其有視聽功能的設備。如液晶顯示屏、投影儀、普通電視等。
下面結合附圖來說明本發明的具體實施方案，圖1表示本發明的語音和文字內容混排消息的實現方法的發送機制。消息由發送方的網絡終端設備錄製語音，開啟錄音設備或模塊的開關人就可以對著麥克風或者內置麥克風講話。錄音的同時或者之後，終端設備上通過程序將聲音文件轉為amr格式的音頻文件進行存儲。再將此格式的聲音文件上傳到伺服器進行轉譯。伺服器轉譯獲得語義的文字內容後，然後將文字內容一份回遞給發送方，另一份和聲音文件一起遞送至接收方。如此，在發送和接收方的發送、接收終端設備中都已經獲取了語音文件文字內容，因此通過應用程式就可以把語音和文字內容一起混合顯示和播放。語音到文字的轉譯是行業內大家都熟知的技術，其做法是通過採樣音頻與資料庫中音頻的對比找到相關的可能正確的語義文字。圖2描述了後臺伺服器進行轉譯時的信息構架。其中，伺服器A是信息接收和發送伺服器，伺服器B是轉譯伺服器，是一個龐大的伺服器集群。轉譯時，伺服器A先從終端設備中接收語音，並確定要接收此消息的設備在網際網路上的標識。然後伺服器A將語音文件遞送給伺服器B，在伺服器B完成語音到文字內容的轉譯，伺服器B再將文字內容遞送給伺服器A，伺服器A將轉譯完的文字內容一份遞送給發送方，另外一份和語音文件一道遞送給接收方。當終端顯示設備中都已經獲取了消息的語音文件和文字內容後就可以通過應用軟體將兩者混合顯示和播放。圖3給出一個示例證明這種混排顯示播放的特徵
1)與其他消息1不同語音和文字內容混排消息有表示「語音」的標識如2指示的小喇叭。2)語音和文字內容混排消息有表示「發送」和「接收」方的不同標識來區分信息的來源，如3指示的兩個小喇叭，發送方喇叭朝向向左，接收方喇叭朝向向右。3)語音和文字內容混排消息的文字內容就是語音的語義，當文字字數較少是顯示全部，當多餘一定字數時候，取部分顯示。如4標號指示的兩條消息，「您好」顯示了文字內容全文，而「今天…」是「今天天氣不錯」的文字內容的部分顯示。4)語音可以在終端設備上播發並且同時顯示表示語音語義的文字。在圖3的界面下，打開程序中聲音播放的按鍵或觸摸熱區5就可以聽到這段語音。5)所述終端設備上的應用軟體對應每條語音設有播放語音或僅僅顯示文字的選擇項，使用者可以根據當時環境做出選擇，比如開會的時候，使用者可以選擇僅僅全部顯示文字，而不播放語音。6)所述終端設備上的應用軟體可以存儲並顯示多條記錄，使用者可以回溯歷史記錄，找到所需要的語音記錄，使用更為方便。
綜上，本發明利用現有的網際網路和移動網際網路終端設備，錄製語音並通過網際網路或移動網際網路發送語音和文字內容，在接受設備上通過應用軟體將語音和文字內容混合播放、 顯不。
權利要求
1.一種語音和文字內容混排消息的實現方法，其特徵在於所述方法用於通訊網絡系統中，所述通訊網絡系統包括網絡終端設備、後臺伺服器，所述方法包括如下步驟(1)、消息發送方通過網際網路或移動網際網路終端設備錄製語音消息；(2)、所述語音消息通過網際網路或移動網際網路發送到後臺伺服器；(3)、所述後臺伺服器將所述語音消息轉譯為文字；(4)、後臺伺服器將語音消息發送到網際網路或移動網際網路上的消息接收方的同時，將轉譯的文字內容遞送到消息發送方和/或消息接收方；(5)、消息接收方用應用軟體將所接收到的後臺伺服器轉譯的文字內容和語音消息混排顯示和播放於顯示設備。
2.如權利要求1所述一種語音和文字內容混排消息的實現方法，其特徵在於，所述網絡終端設備包括了電腦、筆記本電腦這樣的固定或小範圍移動的網際網路終端設備，也包括了手機、平板電腦這樣的移動網際網路上網設備。
3.如權利要求1所述一種語音和文字內容混排消息的實現方法，其特徵在於，步驟(1) 和步驟(2)可拆分為如下步驟al)、錄音，用所述網絡終端設備採集需要錄製的語音消息，將其轉化成數字音頻文件並存儲；a2)、轉碼，將前述數字音頻文件轉碼成便於網際網路傳播的數字音頻文件，如該數字音頻文件已經是利於網際網路傳播的格式，則不需要轉碼；a3)、聯網發送，即將前述轉碼完成的音頻文件通過所述網絡終端設備連接網際網路和移動網際網路進行發送。
4.如權利要求1所述一種語音和文字內容混排消息的實現方法，其特徵在於，所述後臺伺服器完成文字語音轉譯實現的途徑包括了在本地伺服器進行轉譯，也包括了通過調用開放接口(API)向網絡上的其他伺服器集群請求轉譯服務。
5.如權利要求1所述一種語音和文字內容混排消息的實現方法，其特徵在於，所述步驟(4)包括了以下流程bl)、將轉譯的文字內容遞送到發送方的網絡終端設備； b2)、將轉譯的文字內容遞送到接收方的網絡終端設備； b3)、將原始語音遞送到接收方的網絡終端設備。
6.如權利要求5所述一種語音和文字內容混排消息的實現方法，其特徵在於，所述接收方接收通過網絡傳輸的聲音文件時，先判斷是否符合當前接受設備的播放格式，如果符合存儲語音文件，如果不符合則轉碼成符合格式的語音文件後再存儲。
7.如權利要求1所述一種語音和文字內容混排消息的實現方法，其特徵在於，所述的應用軟體將語音和文字內容混排顯示和播放時，包含了以下特點Cl)、語音和文字內容混排消息通過「語音」標識將語音消息區別於其他文字、圖片消息；c2)、語音和文字內容混排消息由表示「發送」和「接收」方的不同標識來區分信息的來源；c3)、語音和文字內容混排消息的文字內容是根據語音轉譯的語義或者是發送者自己通過非語音途徑輸入的文字，當文字字數較少是顯示全部，當多餘一定字數時候，取部分顯不；c4)、語音可以在終端設備上播發並且同時顯示表示語音語義的部分文字； c5)、所述終端設備上可以同時顯示多條語音的部分文字；c6)、所述終端設備上的應用軟體對應每條語音設有播放語音或僅僅顯示文字的選擇項。
8.如權利要求1所述一種語音和文字內容混排消息的實現方法，其特徵在於，所述網絡終端設備即接收方的用以顯示消息的設備包括了可以網際網路或移動網際網路的終端設備， 及其有視聽功能的設備。
全文摘要
本發明提供一種語音和文字內容混排消息的實現方法,所述方法用於通訊網絡系統中,所述通訊網絡系統包括網絡終端設備、後臺伺服器，所述方法包括如下步驟(1)、消息發送方通過網際網路或移動網際網路終端設備錄製語音消息；(2)語音消息通過網際網路或移動網際網路發送到後臺伺服器；(3)後臺伺服器將所述語音消息轉譯為文字；(4)後臺伺服器將語音消息發送到接收方的同時,將轉譯的文字內容遞送到發送方和/或接收方；(5)消息接收方用應用軟體將所接收到的後臺伺服器的轉譯的文字內容和語音消息混排顯示和播放於顯示設備。本發明利用現有的網際網路和移動網際網路終端設備，錄製語音並通過網際網路或移動網際網路發送語音和文字內容，在接受設備上通過應用軟體將語音和文字內容混合播放、顯示。
文檔編號G10L15/26GK102347913SQ201110191319
公開日2012年2月8日 申請日期2011年7月8日 優先權日2011年7月8日
發明者方毅, 楊泱, 董霖 申請人:個信互動(北京)網絡科技有限公司