一種實現移動終端音視頻實時共享方法及移動終端的製作方法

2023-09-24 04:03:35

專利名稱：一種實現移動終端音視頻實時共享方法及移動終端的製作方法
技術領域：
本發明涉及移動通信領域，具體地涉及一種實現移動終端音視頻實時共享的方法
及移動終端。
背景技術：
媒體功能是當前移動終端的重要功能之一，而媒體共享也逐漸顯現它在資源共享 方面的重要性。目前，移動終端之間的音視頻等媒體信息的實時共享一般都是通過先將音 視頻等媒體文件傳輸到接收端，再由接收端進行媒體文件的解碼與播放。但是，如果接收端 不支持相關媒體文件的解碼，則該接收端就無法播放這些媒體文件；而且，由於文件傳輸需 要一段時間，接收端需要等待較長的時間進行文件下載，才能進行播放；而且，對於需要分 享其實時播放或顯示內容的移動終端用戶，可能還需要將這些內容錄製成文件，再傳輸到 接收端，不能滿足實時與同步性。 現有的專利文獻有專利申請號為CN200810066097. 0的專利申請提出了 "一種 共享播放多媒體文件的方法及多媒體播放器"。該專利申請提出的方法和多媒體播放器雖 然可以通過實時流的方式對播放器中的媒體進行緩衝，但還需播放器進行媒體解碼，對播 放器解碼能力要求較高，對一些播放器不支持的文件格式沒有辦法共享播放；並且，該專利 申請提出的方法和多媒體播放器未涉及與解決非實體文件的實時共享問題，例如，終端如 何將其C匪B(China Mobile Multimedia Broadcasting,中國移動多媒體廣播)或收音機 所接收到的視頻或音頻信息實時共享給其他終端，或如何將終端的LCD(Liquid Crystal Display,液晶顯示器)顯示內容或聲音實時共享給其他終端。

發明內容
本發明所要解決的技術問題是提供一種實現移動終端音視頻實時共享的方法及 移動終端，以將發送端所播放的音視頻數據同步傳輸到接收端。 為了解決上述技術問題，本發明提供了一種實現移動終端音視頻實時共享的方 法，包括以下步驟 A、發送端記錄將要播放的音視頻數據，對所述音視頻數據進行編碼壓縮後傳輸給 接收端； B、接收端對接收到的所述音視頻數據進行解壓解碼後調用相應的驅動接口對所 述音視頻數據進行播放。
進一步地，上述方法具有下面特點所述步驟A具體實現為 發送端以特定的速率定時抽取將要播放的音視頻數據，按時間順序將相鄰A t時 間內抽取的音視頻數據存儲在不同的緩衝區中，形成多個At時間數據包；
輪流編碼壓縮所述不同的緩衝區中的At時間數據包；
將編碼壓縮後的At時間數據包傳輸給接收端。 進一步地，上述方法具有下面特點所述抽取音視頻數據具體實現為
按照抽取周期定時採樣視頻數據，並且抽取所述抽取周期內完整的音頻數據。
進一步地，上述方法具有下面特點在所述輪流編碼壓縮所述不同的緩衝區中的 At時間數據包之後還包括 將編碼壓縮後的At時間數據包存儲於數據隊列中。
進一步地，上述方法具有下面特點所述步驟B具體實現為 接收端接收發送端發來的所述A t時間數據包； 對所述A t時間數據包進行解壓解碼後交替存儲於不同的緩衝區中；
輪流地從所述不同的緩衝區中取出所述At時間數據包中的音視頻數據進行分 離和調整後，調用LCD驅動接口和CODEC驅動接口分別對所述音視頻數據進行播放。
本發明還提供一種移動終端，包括 數據記錄模塊，用於記錄所述移動終端的音視頻數據，然後向第一數據處理模塊 發送一消息； 第一數據處理模塊，用於接收所述數據記錄模塊發來的消息後對所述音視頻數據 進行編碼壓縮，然後通知數據發送模塊； 數據發送模塊，用於接收到所述第一數據處理模塊發來的通知後發送編碼壓縮後 的音視頻數據。 進一步地，上述移動終端具有下面特點 所述數據記錄模塊，具體用於以特定的速率定時抽取本身的音視頻數據，按時間 順序將相鄰At時間內抽取的音視頻數據存儲在不同的緩衝區中，形成多個At時間數據 包，每形成一個At時間數據包即向所述第一數據處理模塊發送一消息；
所述第一數據處理模塊，具體用於接收到所述消息後相應地輪流編碼壓縮所述不 同的緩衝區中的At時間數據包，然後通知所述數據發送模塊； 所述數據發送模塊，具體用於接收到所述通知後發送編碼壓縮後的所述At時間 數據包。
進一步地，上述移動終端具有下面特點還包括 數據接收模塊，用於接收其它移動終端發來的音視頻數據，然後向第二數據處理 模塊發送消息； 第二數據處理模塊，用於接收所述消息後對所述音視頻數據進行解壓解碼，然後 通知驅動接口模塊； 驅動接口模塊，用於接收到所述通知後調用相應的驅動接口對所述音視頻數據進 行顯示和播放。 進一步地，上述移動終端具有下面特點 所述數據接收模塊接收到的音視頻數據為第二 A t時間數據包； 所述第二數據處理模塊，具體用於對所述第二 A t時間數據包進行解壓解碼後交
替存儲於不同的緩衝區中； 所述驅動接口模塊，具體用於輪流地從所述緩衝區中取出所述第二 At時間數據 包中的音視頻數據進行分離和調整後，調用LCD驅動接口和CODEC驅動接口對所述音視頻 數據進行播放。
本發明還提供一種移動終端，包括
數據接收模塊，用於接收其它移動終端發來的音視頻數據，然後向第三數據處理 模塊發送一消息； 第三數據處理模塊，用於接收所述消息後對所述音視頻數據進行解壓解碼，然後 通知驅動接口模塊； 驅動接口模塊，用於接收到所述通知後調用相應的驅動接口對所述音視頻數據進 行播放。 綜上，本發明提供的實現移動終端音視頻實時共享的方法及移動終端，可以使接 收端在沒有發送端播放文件相應解碼器的情況下同步觀看文件，或可以在沒有發送端媒體 硬體(如C匪B、攝像頭、收音機等)的情況下同步播放媒體，或滿足接收端實時同步顯示和 播放發送端所顯示或播放內容，包括各種實體或非實體信息。通過移動終端間的音視頻實 時共享，可以加大用戶間的交流，增強用戶的多媒體體驗。


附圖用來提供對本發明的進一步理解，並且構成說明書的一部分，與本發明的實 施例一起用於解釋本發明，並不構成對本發明的限制。在附圖中 圖1為根據本發明實施例的移動終端(發送端)的示意圖； 圖2為根據發明實施例的移動終端(接收端)的示意圖； 圖3為根據發明實施例的移動終端(包括發送端和接收端功能)的示意圖； 圖4為根據發明實施例的實現移動終端音視頻實時共享的方法的流程圖； 圖5示出了根據本發明實施例的線程T110控制與數據流圖； 圖6示出了根據本發明實施例的線程T120控制與數據流圖； 圖7示出了根據本發明實施例的線程T130控制與數據流圖； 圖8示出了根據本發明實施例的線程T210控制與數據流圖； 圖9示出了根據本發明實施例的線程T220控制與數據流圖； 圖10示出了根據本發明實施例的線程T230控制與數據流圖。
具體實施例方式
目前，各種移動終端，特別是手機基本上都採用藍牙作為短距離無線傳輸方式，因 此，本發明實施例基於該傳輸方式進行各種移動終端間的音視頻實時共享，但不局限於該 傳輸方式。主要的技術方案是發送端將其需要顯示和播放的音視頻數據記錄下來，並進行 編碼壓縮，通過藍牙傳輸給接收端，接收端再將該數據解壓解碼，並通過調用其相應的驅動 接口進行顯示和播放。以下結合附圖對本發明的優選實施例進行說明，應當理解，此處所描 述的優選實施例僅用於說明和解釋本發明，並不用於限定本發明。 圖l為本發明實施例的移動終端(發送端)的示意圖，如圖l所示，本實施例的移 動終端，即發送端S100，包括數據記錄模塊S110、數據處理模塊S120和數據發送模塊S130。
數據記錄模塊S110用於抽取發送端S100的音視頻數據，即RGB與PCM的原始數 據，經過數據預處理降低數據量後，保存於緩衝區中，最終形成At時間數據包，然後通知 數據處理模塊S120進行下一步處理； 數據處理模塊S120得到數據記錄模塊S110的通知消息後，對保存於緩衝區中的數據進行編碼壓縮，並將編碼壓縮結果保存於數據隊列，接著，通知數據發送模塊S130進 行下一步處理； 數據發送模塊S130得到數據處理模塊S120通知消息，調用藍牙接口將數據隊列 中保存的音視頻數據通過藍牙發送至接收端。 圖2為發明實施例的移動終端(接收端)的示意圖，如圖2所示，本實施例的移動 終端，即接收端R100，包括數據接收模塊R110、數據處理模塊R120和驅動接口模塊R130。
數據接收模塊R110用於通過藍牙接收到從發送端傳過來的音視頻數據包，存於 數據隊列P2中，並通知數據處理模塊R120進行處理； 數據處理模塊R120用於接收到數據接收模塊R110的通知後，對數據隊列P2中的 音視頻數據進行解壓縮、解碼，恢復出At時間數據包內的各個數據抽樣，存於緩衝區中， 然後通知驅動接口模塊R130進行處理； 驅動接口模塊R130用於接收到數據處理模塊R120的通知後，處理緩衝區中的數 據抽樣，得到原始的RGB數據和PCM數據，調用LCD驅動接口和CODEC驅動接口進行音視頻 數據的顯示和播放。 圖3為發明實施例的移動終端(包括發送端和接收端功能)的示意圖，如圖3所 示，本實施例的移動終端10包括上述發送端的功能模塊(數據記錄模塊S110、數據處理模 塊S120和數據發送模塊S130)，用於向其它移動終端發送其本身顯示和播放的音視頻數 據；還包括上述接收端的功能模塊(數據接收模塊R110、數據處理模塊R120和驅動接口模 塊R130)，用於顯示和播放其它移動終端發來的音視頻數據。本實施例的移動終端10即可 以作為發送端也可以作為接收端。 下面詳細介紹利用本發明提供的移動終端來實現移動終端音視頻實時共享的方 法，本發明的實現移動終端音視頻實時共享的方法主要是通過抽取發送端原始的音視頻數 據，即RGB數據與PCM數據，經過編碼與壓縮，有效的降低數據包大小，然後通過藍牙發送給 接收端，接收端通過藍牙接收到該音視頻數據，對其進行解壓和解碼，經過LCD驅動和音頻 CODEC驅動最終將音視頻播放出來。 如圖4所示，本實施例的實現移動終端音視頻實時共享的方法包括步驟 S401、發送端記錄本身將播放的音視頻數據，對所述音視頻數據進行編碼壓縮後
通過藍牙傳輸給接收端； 在該方法中，發送端S100包括數據記錄模塊S110、數據處理模塊S120和數據發 送模塊S130。本實施例中應用線程T110來實現數據記錄模塊S110的功能，應用線程T120 來實現數據處理模塊S120的功能，應用線程T130和藍牙模塊來實現數據發送模塊S130的 功能。 在本實施例中，線程T110記錄一段時間A t中的音視頻數據。該音視頻數據包括 發送端將輸出到其LCD驅動接口模塊的RGB數據，以及將輸出到音頻CODEC (解碼-解碼器) 模塊的PCM數據。該記錄方法應該儘可能降低音視頻原始數據量對於視頻RGB數據，可以 採用降低視頻數據解析度，可以採用降低視頻數據位數，可以採用降低視頻數據抽取速率， 或採用其他降低視頻原始數據量的方式，或不進行視頻數據傳輸而只傳輸音頻數據；對於 音頻數據，可以採用降低音頻數據位數，可以採用降低音頻數據抽取速率，可以進行u率或 A率編碼，或採用其他降低音頻原始數據量的方式，或不進行音頻數據傳輸而只傳輸視頻數據。記錄過程中為降低音視頻數據量所消耗的時間應小於對音視頻數據的抽樣周期。線程 T110將所記錄的數據採用雙緩衝或多緩衝方式存儲於存儲器中，例如線程TllO使用緩衝 區B1記錄一段時間At後，通知線程T120對緩衝區Bl進行數據處理，這時，線程T110可 在線程T120處理緩衝區B1的數據的同時，繼續將新的抽樣數據保存在緩衝區B2中，使按 時間關係相鄰的At時間抽樣的數據保存在不同的緩衝區中。 圖5示出了根據本發明實施例的線程T110控制與數據流圖。如圖5所示，線程 T110以一定的抽取速率定時抽取RGB數據和PCM數據，經過數據預處理，進行簡單的圖像 和音頻數據的調整與壓縮，存儲到緩衝區B1中，作為一條數據抽樣，這樣一直在緩衝區B1 中進行數據抽樣保存，直到進行At時間後，形成一個完整的At時間數據包。此時，線程 T110通知線程T120處理緩衝區B1中的At時間數據包，接下來的At時間內的數據抽樣 保存在緩衝區B2中，之後處理過程依此在緩衝區Bl和緩衝區B2循環進行。這裡以將抽 樣的音視頻數據存儲於雙緩衝區中為例，當然也可以將抽樣的音視頻數據存儲於多緩衝區 中，方法類似，這裡就不再贅述。而且，對於RGB數據和PCM數據抽取方式不盡相同RGB數 據按照抽取周期進行定時採樣，而所抽取的PCM數據則是對該抽取周期內的PCM數據的完 整記錄。 然後，線程T120處理線程T110所保存數據。圖6示出了根據本發明實施例的線 程T120控制與數據流圖。如圖6所示，線程T120得到線程T110的通知消息，輪流處理緩 衝區B 1和緩衝區B2中的At時間數據包。處理過程可以包括編碼、壓縮等步驟，也可以 採取其他方式，目的是儘可能消除At時間數據包內各個數據抽樣之間的冗餘信息，達到 數據存儲空間的最小化，以及降低對藍牙傳輸帶寬的要求。線程T120進行一個At時間數 據的壓縮編碼的耗時應小於At，否則會導致新的At時間數據有效時，不能及時進行壓縮 編碼處理。A t時間數據包經過編碼、壓縮等步驟處理後，存儲於數據隊列Pl中，並通知線 程T130。通過數據隊列P1的應用，可以靈活調整每次通過藍牙模塊發送At時間數據包的 個數，優化藍牙傳輸階段的有效性。 然後，線程T130處理線程T120所保存數據。圖7示出了根據本發明實施例的線 程T130控制與數據流圖。如圖7所示，線程T130得到線程T120的通知消息後，選擇數據 隊列P1中的數據通過藍牙模塊的藍牙空口發出。在通過藍牙模塊發送該數據時，可以採用 藍牙的OPP(Object Push Profile，物體推拉傳輸協議)、FTP(File Transfer Protocol，文 件傳送協議)等協議進行，也可以採用其他協議進行。數據隊列P1中數據的選擇方法可以 根據具體情況進行調整，可以每次傳輸固定個數的At時間數據包，也可以根據鏈路情況 動態調整，可以在每次調用藍牙模塊接口進行藍牙傳輸前，將所傳輸At時間數據包個數 信息傳輸至接收端。At時間數據包需要在發送之前經過處理，如加入At時間數據包結束 標誌，以便接收端能夠判斷一個At時間數據包是否已經接收完成。 S402、接收端對接收到的音視頻數據進行解壓解碼後調用相應的驅動接口對所述 音視頻數據進行播放。 在該方法中，接收端R100包括數據接收模塊Rl 10、數據處理模塊R120和驅動接口 模塊R130。本實施例中應用藍牙模塊和線程T210來實現數據接收模塊R110的功能，應用 線程T220來實現數據處理模塊R120的功能，應用線程T230來實現驅動接口模塊R130的 功能。
圖8示出了根據本發明實施例的線程T210控制與數據流圖。如圖8所示，藍牙模 塊通過藍牙空口接收到發送端發來的音視頻數據後，通知線程T210接收。線程T210將該 音視頻數據存儲到接收數據隊列P2中的當前寫入位置。當檢測到一個完整的At時間數 據包被接收，如通過At時間數據包結束標誌判斷，則將接收到的結束標誌之後得數據存 儲於數據隊列P2的其他單元之中，並通知線程T220進行數據處理。線程T210如果未在預 定的T時間內得到一個完整的A t時間數據包，則通知上層應用進行錯誤處理，以防止接收 端一直處於數據接收狀態。 然後，線程T220進行音視頻數據處理。線程T220接收到線程T210的通知消息， 從接受數據隊列P2中取數據進行解壓縮、解碼等操作，得到一個A t時間數據，存於雙緩衝 或多緩衝區，並通知驅動接口模塊R130進行處理。圖9是示出了根據本發明實施例的線程 T220控制與數據流圖。如圖9所示，線程T220接收到線程T210的通知消息後，從數據隊列 P2的當前讀出位置取出一個At時間數據包，進行解壓縮、解碼，恢復出一個At時間數據 包內的各個數據抽樣，存於多緩衝區，例如緩衝區B3或緩衝區B4中，並通知線程T230進行 後續處理。如果之前一個A t時間數據包存於緩衝區B3中，則下一個A t時間數據包存於 緩衝區B4中，S卩A t時間數據包數據抽樣的保存與處理在兩個緩衝區之間交替進行。
然後，線程T230實現與驅動程序的接口功能。線程T230接收到線程T220的通知 消息後，從雙緩衝區(或多緩衝區)中取出數據進行預處理，以符合LCD和音頻CODEC對 RGB、 PCM數據的要求，並調用相應的LCD驅動程序與音頻驅動程序。其中，RGB數據使用發 送端RGB抽樣速率進行LCD刷新；PCM數據則根據該PCM的採樣率、採樣位數、壓縮方式等 信息，調用音頻驅動程序播放。 圖10是示出了根據本發明實施例的線程T230控制與數據流圖。
如圖10所示，線程T230接收到線程T220的通知消息後，從數據緩衝區B3或數據 緩衝區B4中取出一個At時間數據包內抽樣的音視頻數據，經過PCM數據、RGB數據分離， RGB數據調整、PCM數據調整，然後調用LCD驅動接口和CODEC驅動接口顯示和播放該抽樣 的音視頻數據。PCM、 RGB數據分離，RGB數據調整、PCM數據調整等步驟主要是使最終輸入 到LCD驅動接口和CODEC驅動接口的數據滿足相應接口的要求。對抽樣的音視頻數據的處 理方式，對於PCM數據和RGB數據是不同的，這是由其的信號特點決定，並從數據抽樣的採 樣方式反映。 綜上所述，通過本發明的移動終端和實現移動終端音視頻實時共享的方法，可 以將發送端所播放的音視頻數據同步傳輸到接收端，由於採用將最終輸出到LCD和音頻 CODEC的數據進行發送，實現了接收端LCD圖像與聲音與發送端的同步。這樣，可以使接收 端在沒有發送端播放文件相應解碼器的情況下同步觀看文件，或可以在沒有發送端媒體硬 件(如C匪B、攝像頭、收音機等)的情況下同步播放媒體，使用戶同步實時共享媒體信息，達 到移動終端間的音視頻實時共享，加大用戶間的交流，增強用戶的多媒體體驗。
以上所述僅為本發明的優選實施例而已，並不用於限制本發明，對於本領域的技 術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修 改、等同替換、改進等，均應包含在本發明的保護範圍之內。
權利要求
一種實現移動終端音視頻實時共享的方法，包括以下步驟A、發送端記錄將要播放的音視頻數據，對所述音視頻數據進行編碼壓縮後傳輸給接收端；B、接收端對接收到的所述音視頻數據進行解壓解碼後調用相應的驅動接口對所述音視頻數據進行播放。
2. 如權利要求1所述的方法，其特徵在於，所述步驟A具體實現為 發送端以特定的速率定時抽取將要播放的音視頻數據，按時間順序將相鄰A t時間內抽取的音視頻數據存儲在不同的緩衝區中，形成多個At時間數據包；輪流編碼壓縮所述不同的緩衝區中的At時間數據包；將編碼壓縮後的At時間數據包傳輸給接收端。
3. 如權利要求2所述的方法，其特徵在於所述抽取音視頻數據具體實現為按照抽取周期定時採樣視頻數據，並且抽取所述抽取周期內完整的音頻數據。
4. 如權利要求2所述的方法，其特徵在於在所述輪流編碼壓縮所述不同的緩衝區中 的A t時間數據包之後還包括將編碼壓縮後的At時間數據包存儲於數據隊列中。
5. 如權利要求2所述的方法，其特徵在於所述步驟B具體實現為 接收端接收發送端發來的所述At時間數據包；對所述At時間數據包進行解壓解碼後交替存儲於不同的緩衝區中； 輪流地從所述不同的緩衝區中取出所述At時間數據包中的音視頻數據進行分離和 調整後，調用LCD驅動接口和CODEC驅動接口分別對所述音視頻數據進行播放。
6. —種移動終端，包括數據記錄模塊，用於記錄所述移動終端的音視頻數據，然後向第一數據處理模塊發送 一消息；第一數據處理模塊，用於接收所述數據記錄模塊發來的消息後對所述音視頻數據進行 編碼壓縮，然後通知數據發送模塊；數據發送模塊，用於接收到所述第一數據處理模塊發來的通知後發送編碼壓縮後的音 視頻數據。
7. 如權利要求6所述的移動終端，其特徵在於，所述數據記錄模塊，具體用於以特定的速率定時抽取本身的音視頻數據，按時間順序 將相鄰At時間內抽取的音視頻數據存儲在不同的緩衝區中，形成多個At時間數據包，每 形成一個At時間數據包即向所述第一數據處理模塊發送一消息；所述第一數據處理模塊，具體用於接收到所述消息後相應地輪流編碼壓縮所述不同的 緩衝區中的At時間數據包，然後通知所述數據發送模塊；所述數據發送模塊，具體用於接收到所述通知後發送編碼壓縮後的所述At時間數據包。
8. 如權利要求6所述的移動終端，其特徵在於，還包括數據接收模塊，用於接收其它移動終端發來的音視頻數據，然後向第二數據處理模塊 發送消息；第二數據處理模塊，用於接收所述消息後對所述音視頻數據進行解壓解碼，然後通知驅動接口模塊；驅動接口模塊，用於接收到所述通知後調用相應的驅動接口對所述音視頻數據進行顯 示和播放。
9. 如權利要求8所述的移動終端，其特徵在於， 所述數據接收模塊接收到的音視頻數據為第二 At時間數據包；所述第二數據處理模塊，具體用於對所述第二 At時間數據包進行解壓解碼後交替存 儲於不同的緩衝區中；所述驅動接口模塊，具體用於輪流地從所述緩衝區中取出所述第二 At時間數據包中 的音視頻數據進行分離和調整後，調用LCD驅動接口和CODEC驅動接口對所述音視頻數據 進行播放。
10. —種移動終端，包括數據接收模塊，用於接收其它移動終端發來的音視頻數據，然後向第三數據處理模塊 發送一消息；第三數據處理模塊，用於接收所述消息後對所述音視頻數據進行解壓解碼，然後通知 驅動接口模塊；驅動接口模塊，用於接收到所述通知後調用相應的驅動接口對所述音視頻數據進行播放。
全文摘要
本發明提供一種實現移動終端音視頻實時共享的方法及移動終端，該方法包括步驟A、發送端記錄將要播放的音視頻數據，對所述音視頻數據進行編碼壓縮後傳輸給接收端；B、接收端對接收到的所述音視頻數據進行解壓解碼後調用相應的驅動接口對所述音視頻數據進行播放。根據本發明可以使接收端在沒有發送端播放文件相應解碼器的情況下同步觀看文件，滿足接收端實時同步顯示和播放發送端所顯示或播放內容，包括各種實體或非實體信息。
文檔編號H04M1/725GK101695090SQ200910205518
公開日2010年4月14日 申請日期2009年10月20日 優先權日2009年10月20日
發明者王冰 申請人:中興通訊股份有限公司;