用於在無線通信系統中顯示應用數據的方法和裝置與流程
2023-06-01 15:50:11
本公開涉及一種用於播放在無線通信系統中的裝置之間共享的內容的方法和設備。
背景技術：
無線保真(Wi-Fi)顯示(WFD)標準已根據用於在滿足高質量和低延遲的同時傳輸音頻/視頻(AV)數據的需求而被規定。應用了WFD標準的WFD網絡是一種由Wi-Fi聯盟提出的網絡系統，其中，該網絡系統可使Wi-Fi裝置以對等方式彼此連接，而無需加入家庭網絡、辦公網絡或熱點網絡。WFD網絡中的WFD裝置搜索關於彼此的信息(例如，能力信息)，建立WFD會話，並呈現在WFD會話期間接收到的內容。
WFD網絡包括兩種類型的裝置(例如，信源裝置和信宿裝置)。信源裝置將信源屏幕上存在的數據鏡像到信宿裝置的屏幕上。信源裝置和信宿裝置相互交換第一序列消息，並執行裝置發現和服務發現。在裝置發現和服務發現完成後，網際網路協議(IP)地址被分配給信源裝置和信宿裝置。傳輸控制協議(TCP)連接在信源裝置和信宿裝置之間被建立，然後針對信源裝置和信宿裝置的實時流協議(RTSP)和實時協議(RTP)棧被激活。
信源裝置和信宿裝置之間的能力協商通過RTSP被執行，在能力協商期間中，信源裝置和信宿裝置通過M4消息交換M1。此後，信源裝置和信宿裝置交換WFD會話控制消息。數據會話通過RTP在信源裝置和信宿裝置之間被建立的。
在WFD網絡中，用戶數據報協議(UDP)被用於數據傳輸。UDP沒有可靠性，使得在無線傳輸期間中，一些包會丟失。由於丟失的包不會被重新發送，因此數據的丟失會被用戶注意到。具體地講，與文本相關的數據(諸如字幕或圖形用戶界面(GUI))丟失比AV數據更容易被用戶察覺。因此，對於用於在信宿裝置中提高文本和GUI數據的質量的方案存在需要。
為了減少信宿裝置中的文本和GUI相關數據的質量的可察覺失真，信宿裝置將AV數據與所述文本和GUI相關數據進行合併，而不是信源裝置將AV數據與所述文本和GUI相關數據進行合併將合併後的數據發送到信宿裝置。為了在信宿裝置中將諸如字幕的文本與AV數據進行合併，可使用諸如同步多媒體集成語言(SMIL)或定時文本標記語言(TTML)的技術。同樣，為了在信宿裝置中將GUI數據與AV數據進行合併，可使用諸如遠程視圖(RVU)、超文本標記語言(HTML)5或消費電子(CE)-HTML的技術。
上述信息僅作為背景信息被呈現以幫助理解本公開。至於上述信息中的任何信息是否可用作針對本公開的現有技術，尚未做出決定，也未做出斷定。
技術實現要素：
技術問題
本公開的一方面在於至少解決上述問題和/或缺點，並且至少提供以下描述的優點。因此，本公開的一方面在於提供一種用於在信宿裝置中將音頻/視頻(AV)數據與文本或圖形用戶界面(GUI)數據進行合併的方法和設備。
本公開的另一方面在於提供一種用於在將AV數據與文本或GUI數據進行合併時在信宿裝置中進行同步的方法和設備。
解決方案
根據本公開的一方面，提供了一種用於在無線通信系統中顯示應用數據的方法，所述方法包括：如果通過第一裝置和第二裝置之間的發現而建立了無線保真(Wi-Fi)顯示(WFD)會話，則在WFD會話中由第一裝置將由第一裝置執行的應用數據中的音頻和視頻數據發送到第二裝置；在不同於WFD會話的會話中，由第一裝置將與發送的音頻和視頻數據相關的文本或圖形用戶界面(GUI)數據發送到第二裝置；由第一裝置接收針對所述應用數據的關閉命令，並將包括用於停止顯示所述文本或GUI數據的設置參數的消息發送到第二裝置。
根據本公開的另一方面，提供了一種用於在無線通信系統中顯示應用數據方法，所述方法包括：如果通過第一裝置和第二裝置之間的發現而建立了無線保真(Wi-Fi)顯示(WFD)會話，則在WFD會話中由第一裝置從第二裝置接收由第二裝置執行的應用數據中的音頻和視頻數據；在不同於WFD會話的會話中，由第一裝置從第二裝置接收與接收的音頻和視頻數據相關的文本或圖形用戶界面(GUI)數據；由第一裝置將接收的音頻和視頻數據與所述文本或GUI數據進行合併和顯示；在第二裝置接收到針對所述應用數據的關閉命令時，由第一裝置從第二裝置接收包括用於停止顯示所述文本或GUI數據的設置參數的消息，並停止顯示所述文本或GUI數據。
根據本公開的另一方面，提供了一種用於在無線通信系統中顯示應用數據的方法，所述方法包括：由第一裝置將包括由第一裝置執行的應用數據中的文本數據的文件發送到第二裝置；由第一裝置解析所述文件以獲取與所述文本數據相關的時序信息，並在無線保真(Wi-Fi)顯示(WFD)會話中將所述應用數據中的音頻和視頻數據以及包括獲取的時序信息的包數據發送到第二裝置。
根據本公開的另一方面，提供了一種用於在無線通信系統中顯示應用數據的方法，所述方法包括：由第一裝置從第二裝置接收包括由第二裝置執行的應用數據中的文本數據的文件；在無線保真(Wi-Fi)顯示(WFD)會話中，由第一裝置從第二裝置接收所述應用數據中的音頻和視頻數據以及包括獲取的時序信息的包數據；由第一裝置對所述包數據進行解碼以檢測所述時序信息，將檢測的時序信息與從第二裝置接收的文件中所包括的時序信息進行比較，並基於比較的結果來顯示音頻和視頻數據以及與音頻和視頻數據對應的文本數據。
根據本公開的另一方面，提供了一種用於在無線通信系統中顯示應用數據的裝置，所述裝置包括：發送器/接收器，被配置為如果無線保真(Wi-Fi)顯示(WFD)會話是通過與另一裝置的發現而建立的，則在WFD會話中將由第一裝置執行的應用數據中的音頻和視頻數據發送到所述另一裝置，在不同於WFD會話的會話中將與發送的音頻和視頻數據相關的文本或圖形用戶界面(GUI)數據發送到所述另一裝置，並且接收針對所述應用數據的關閉命令並將包括用於停止顯示所述文本或GUI數據的設置參數的消息發送到所述另一裝置；控制器，被配置為控制發送器/接收器並與所述另一裝置建立連接。
根據本公開的另一方面，提供了一種用於在無線通信系統中顯示應用數據的裝置，所述裝置包括：發送器/接收器，被配置為如果無線保真(Wi-Fi)顯示(WFD)會話是通過與另一裝置的發現而建立的，則在WFD會話中從所述另一裝置接收由所述另一裝置執行的應用數據中的音頻和視頻數據，在不同於WFD會話的會話中從所述另一裝置接收與接收的音頻和視頻數據相關的文本或圖形用戶界面(GUI)數據，並在所述另一裝置接收到針對所述應用數據的關閉命令時從所述另一裝置接收包括用於停止顯示所述文本或GUI數據的設置參數的消息；控制器，被配置為將接收的音頻和視頻數據與所述文本或GUI數據進行合併和顯示，在從所述另一裝置接收到包括設置參數的消息時停止顯示所述文本或GUI數據，並與所述另一裝置建立連接。
根據本公開的另一方面，提供了一種用於在無線通信系統中顯示應用數據的裝置，所述裝置包括：發送器/接收器，被配置為將包括當前執行的應用數據中的文本數據的文件發送到另一裝置，解析所述文件以獲取關於所述文本數據的時序信息，並在無線保真(Wi-Fi)顯示(WFD)會話將所述應用數據中的音頻和視頻數據以及包括獲取的時序信息的包數據發送到所述另一裝置；控制器，被配置為控制發送器/接收器。
根據本公開的另一方面，提供了一種用於在無線通信系統中顯示應用數據的裝置，所述裝置包括：發送器/接收器，被配置為從另一裝置接收包括由所述另一裝置執行的應用數據中的文本數據的文件，在無線保真(Wi-Fi)顯示(WFD)會話中從所述另一裝置接收所述應用數據中的音頻和視頻數據以及包括獲取的時序信息的包數據；控制器，被配置為對所述包數據進行解碼以檢測時序信息，將檢測的時序信息與從所述另一裝置接收的文件中所包括的時序信息進行比較，基於比較的結果顯示所述音頻和視頻數據以及與所述音頻和視頻數據對應的文本數據,並控制發送器/接收器。
從以下結合附圖公開本公開的示例性實施例的詳細描述，對於本領域技術人員而言，本公開的其它方面、優點和顯著特徵將變得清楚。
附圖說明
從以下結合附圖的描述，本公開的特定示例性實施例的以上和其它方面、特徵和優點將更容易理解，其中，在附圖中：
圖1示意性地示出根據本公開的實施例的在WFD裝置之間共享內容的系統；
圖2示出根據本公開的實施例的用於信源裝置和信宿裝置之間的同步的一系列處理；
圖3示出根據本公開的另一實施例的用於信源裝置和信宿裝置之間的同步的一系列處理；
圖4是根據本公開的實施例的用於信源裝置和信宿裝置之間的同步的信源裝置和信宿裝置的框圖；
圖5和6示出根據本公開的實施例的用於信源裝置和信宿裝置之間的同步的示例。
貫穿附圖，同樣的附圖標號將被理解為是指同樣的元件、特徵和結構。
具體實施方式
在下文中，參照附圖詳細描述本發明構思的特定示例性實施例。此處定義的事項(諸如詳細的結構及其元件)被提供以幫助對此描述的全面理解。因此，明顯的是，示例性實施例可在沒有那些定義的事項的情況下被實現。此外，將在本公開中稍後描述的術語是通過考慮本發明構思中的功能來定義的，並可根據操作者或用戶的意圖或實踐而有所不同。因此，將在整個公開的信息基礎上做出術語的定義。
本公開可以以各種形式被不同地修改和實現，因此具體實施例在附圖中被舉例說明並在下文中被詳細描述。然而，本公開不限於特定的公開形式，並且需要解釋為包括在本公開的精神和技術範圍內的所有修改、等同物或替代物。
當包括諸如第一和第二的序號的術語被用來描述各種組件時，這樣的組件並不受限於所述術語。所述術語僅用來將一個組件和另一組件區分開的目的。例如，在不脫離本公開的範圍的情況下，第二元件可被稱為第一元件，以類似方式，第一元件可被重新命名為第二元件。術語「和/或」包括多個相關項的組合或所述多個相關項中的任意一個相關項。
此處使用的術語僅解釋特定施例，而並不意圖限制本公開。單數的表達覆蓋複數的表達，除非它在上下文中以不同的方式被明確使用。應該理解的是，此處使用的術語「包含」、「包括」、「具有」意圖表示這裡描述的特徵、數字、步驟、操作、元件、部件和它們的組合，但是不排除一個或更多個特徵、數字、步驟、操作、元素、部件和它們的組合。
除非另有定義，否則在此使用的包括技術術語或科學術語的術語具有與本公開所屬領域的技術人員所理解的含義相同的含義。在通用字典中定義的術語應被解釋為具有與相關技術的上下文中的含義一致的含義，並且除非在此被明確定義，否則不被解釋為理想或過於正式的含義。
圖1示意性地示出根據本公開的實施例的用於在無線保真(Wi-Fi)顯示(WFD)裝置之間共享內容的系統(或WFD系統)。
參照圖1，WFD系統包括信源裝置110和信宿裝置120。
信源裝置110可以是具有相對小屏幕的可攜式裝置，諸如移動通信裝置、智慧型電話、平板個人計算機(PC)、可攜式多媒體播放器(PMP)、個人數字助理(PDA)等。
信源裝置110與信宿裝置120形成用於無線發送多媒體內容的通信信道。例如，通信通道可包括Miracast會話。更具體地說，信源裝置110通過所述通信信道將多媒體內容和控制命令發送到信宿裝置120。所述通信信道可以是基於傳輸控制協議(TCP)或用戶數據報協議(UDP)的通信信道。具體地講，根據本公開的實施例，如果在通信系統中在信源裝置110和信宿裝置120之間提供了WFD，則在前向信道中定義信源裝置110和信宿裝置120之間的流協議。
也就是說，信源裝置110可在通過所述通信信道與信宿裝置120連接時，實時地將多媒體內容和控制命令發送到信宿裝置120。更具體地說，信源裝置110將多媒體內容轉換成流形式，並通過所述通信信道將轉換成流形式的多媒體內容發送到信宿裝置120。信源裝置110通過所述通信信道將控制命令發送到信宿裝置120。所述控制命令是用於控制多媒體內容的播放的命令。例如，所述控制命令可包括：音量控制、暫停、恢復、停止、倒帶等。信源裝置110可與音頻/視頻(AV)數據的發送相獨立地將文本或圖形用戶界面(GUI)數據發送到信宿裝置120。
信宿裝置120可以是具有相對大屏幕的電子裝置，諸如臺式PC、筆記本電腦、智能電視(TV)等。信宿裝置120通過所述通信信道從信源裝置110接收轉換成流形式的多媒體內容，並對接收的多媒體內容進行逆轉換和播放。信宿裝置120對從信源裝置110發送的AV數據以及文本或GUI數據進行合併和顯示。信宿裝置120從信源裝置110接收控制命令，並執行對應於所述控制命令的功能。
儘管圖1示出了一個信宿裝置，但本公開並不限於這個示例，當兩個或更多個信宿裝置存在時也可應用本公開。為方便起見，將使用存在一個信宿裝置的示例進行下面的描述。
文本或GUI通常與當前正在播放的程序相關。當AV數據以及文本或GUI數據在信宿裝置中被合併時，存在針對AV數據的AV會話(或Miracast會話)和針對文本或GUI數據的會話。信源裝置中的操作需要在信宿裝置中被反映，並且信宿裝置需要將AV數據和文本/GUI數據同步。也就是說，在信源裝置中的操作必須與AV會話時間同步地被顯示，並且必須當針對對應程序的AV會話正在進行時被顯示。在Miracast會話的有效時間期間，在信源裝置中可啟動和關閉多個程序，並且當程序被關閉時與該程序相關的文本/GUI必須被關閉。所述程序可在信源裝置中通過用戶對關閉按鈕或後退按鈕的輸入而被關閉。因此，信源裝置需要一種每當在信源裝置中執行與關閉程序相關的操作時，向信宿裝置通知信宿裝置需要關閉所述程序的機制。
圖2示出根據本公開的實施例的用於信源裝置和信宿裝置之間的同步的一系列處理。
參照圖2，在操作201中，信源裝置和信宿裝置相互發現並開始Miracast會話。在操作202中，用戶在信源裝置中執行諸如視頻播放器的程序，並輸入用於播放視頻的命令。在操作203中，信源裝置在Miracast會話中將對應的AV內容傳送到信宿裝置。在操作204中，信源裝置在不同於Miracast會話的會話(例如，文件傳輸協議(FTP))中將字幕/GUI內容傳送到信宿裝置。字幕/GUI內容可通過將新的媒體組件添加到針對Miracast會話的運動圖像專家組(MPEG)包而被傳送。在操作205中，信宿裝置將字幕/GUI內容與已經接收的AV內容進行合併和顯示。在Miracast會話期間，信源裝置將AV內容發送到信宿裝置。
當在操作207中從用戶向信源裝置輸入了用於終止當前運行的視頻的命令時，在操作208中，信源裝置將包括用於停止媒體組件的新設置參數「stop_media_components」的RTSP消息發送到信宿裝置。然後，在操作209中，信宿裝置根據從信源裝置接收的RTSP消息停止諸如當前顯示的GUI/文本的媒體組件。此後，在操作210中，Miracast會話可繼續進行，並且用戶可在信源裝置中開始另一AV應用。
文本/GUI內容可以以SMIL/TTML的形式被傳送，SMIL/TTML文件僅基於SMIL/TTML中的時間同步被播放，而不考慮視頻文件的時序。因此，當信宿裝置顯示文本時，該文本可能在不與AV內容同步的情況下被顯示。這個問題的發生是因為相同的內容從一個裝置被流傳輸到另一裝置。因此，WFD網絡需要使SMIL文件的播放時序與視頻內容的時序同步。
因此，本公開的實施例提出了一種用於由信源裝置將文本時序信息(SMIL/TTML時序信息)插入AV內容的MPEG包以發送到信宿裝置的方法。所述時序信息是指示當信宿裝置呈現內容時何時檢測哪個SMIL/TTML的信息。
圖3示出根據本公開的另一實施例的用於信源裝置和信宿裝置之間的同步的一系列處理。
參照圖3，在操作301中，信源裝置將包括文本的SMIL/TTML文件傳送到信宿裝置。所述SMIL/TTML文件包括關於何時顯示哪個文本的時序信息。信源裝置解析傳送到信宿裝置的SMIL/TTML文件並獲取關於所述文本的時序信息。此後，作為Miracast會話操作的一部分，信源裝置捕捉屏幕並對捕捉的屏幕信息進行打包。在操作302中，在打包期間，信源裝置將從SMIL/TTML文件獲取的時序信息合併到包。在操作303中，信源裝置將包括時序信息的所述包(例如，MPEG2-TS)傳送到信宿裝置。信宿裝置隨後對所述包進行解碼以檢測SMIL/TTML時序信息。在操作304中，信宿裝置對已接收到的SMIL/TTML文件進行解析，並將SMIL/TTML文件中所包括的時序信息與檢測到的時序信息相比較，以檢測對應的文本並將該文本和AV數據一起顯示。在操作305中，如果用戶向信源裝置輸入暫停命令，則信源裝置將針對暫停的觸發發送到信宿裝置。信宿裝置在操作306中響應於所述暫停將RTSP消息發送到信源裝置並在操作307中暫停當前顯示的文本。
圖4是根據本公開的實施例用於信源裝置和信宿裝置之間的同步的信源裝置和信宿裝置的框圖。
參照圖4，信源裝置和信宿裝置可包括控制器410、發送器/接收器420和存儲單元430。儘管為方便起見，圖4中僅示出了一個裝置，但對本領域普通技術人員顯而易見的是，信源裝置和信宿裝置可以是分開的裝置。
根據本公開的實施例，控制器410針對用於裝置之間的同步的一系列操作控制發送器/接收器420以及存儲單元430。與控制操作相關的總體操作與參照圖2和3已描述的操作相同，因此此時不對其進行詳細描述。
根據本公開的實施例，發送器/接收器420在控制器410的控制下，針對裝置之間的同步在信源裝置和信宿裝置之間發送和接收數據、消息、信號等。存儲單元430儲存將被發送到對端裝置的數據或從對端裝置接收的數據。與儲存操作相關的總體操作與參照圖2和3已描述的操作相同，因此此時不對其進行詳細描述。
儘管沒有在圖4中示出，但信源裝置和信宿裝置中還可包括用於接收用戶命令的輸入單元和用於顯示內容的顯示器。輸入單元和顯示單元可根據裝置的類型而被配置為一個單元。具體地講，包括在信源裝置110中的輸入單元和包括在信宿裝置中的輸入單元可包括多個用於接收數字或字符信息並設置和控制功能的輸入鍵和功能鍵，並且可由輸入裝置(諸如觸摸鍵、觸摸板和觸控螢幕或它們的組合)中的任意一種形成。
圖5和6示出根據本公開的實施例的用於信源裝置和信宿裝置之間的同步的示例。
圖5示出智慧型手機作為信源裝置執行導航應用並將導航執行屏幕作為內容發送到作為信宿裝置的車輛中的屏幕的情況。導航程序將針對詳細道路引導的文本以及用於設置道路引導狀況的GUI連同地圖數據一起顯示在屏幕上。在這種情況下，根據圖2和3中描述的本公開的實施例，通過應用用於同步的方法，顯示在車輛中的屏幕上的文本和GUI數據可在沒有任何丟失的情況下被顯示。
圖6示出智慧型手機作為信源裝置執行視頻播放程序並將內容發送到作為信宿裝置的TV的屏幕上的情況。諸如電影的內容包括字幕數據以及視頻和音頻數據。在這種情況下，根據參照圖2和3描述的本公開的實施例，通過應用用於同步的方法，字幕可無失真地被顯示在TV的屏幕上，或可與視頻和音頻數據同步。
本公開的特定方面也可實現為計算機可讀記錄介質上的計算機可讀代碼。計算機可讀記錄介質是可存儲其後可由計算機系統讀出的數據的任意數據存儲裝置。計算機可讀記錄介質的示例包括：只讀存儲器(ROM)、隨機存取存儲器(RAM)、緊湊盤(CD)-只讀存儲器(ROM)、磁帶、軟盤、光學數據存儲裝置和載波(諸如通過網際網路的數據傳輸)。計算機可讀記錄介質也可分布於連接網絡的計算機系統，從而計算機可讀代碼以分布式存儲和執行。此外，用於完成本公開的功能程序、代碼和代碼段可容易地被本公開所屬領域的程式設計師解釋。
根據本公開的實施例的設備和方法可通過硬體、軟體或硬體和軟體的組合來實現。這種軟體可被儲存(不管是否可擦除或可重新記錄)在易失性或非易失性存儲器(諸如ROM)、諸如RAM的存儲器、內存晶片、裝置或集成電路中，以及光學或磁性可記錄和機器(例如，計算機)可讀存儲介質(諸如CD、數字通用盤(DVD)、磁碟或磁帶)中。可看出，根據本公開的方法可通過包括控制器和存儲器的計算機或可攜式終端來實現，並且存儲器是適用於存儲包括用於實現本公開的實施例的指令的程序的機器可讀存儲介質的示例。
因此，本公開包括下述程序和用於存儲這樣的程序的機器(計算機)可讀存儲介質：該程序包括用於實現任意權利要求中所要求保護的設備或方法的代碼。該程序可通過任意介質(諸如通過有線連接或無線連接傳送的通信信號)被電子轉移，並且本公開適當包括其等同物。
根據本公開的實施例的裝置可從以有線或無線方式連接的程序提供裝置接收程序並存儲所述程序。該程序提供裝置可包括用於存儲程序(所述程序包括用於指示程序處理器執行預先設定的內容保護方法的指令)的存儲器、用於內容保護所必要的信息、用與圖形處理器執行有線或無線通信的通信單元、以及用於根據圖形處理器的請求或自動將對應程序發送到收發器的控制器。
雖然已經參照本公開的特定示例性實施例示出並描述了本公開，但是本領域技術人員將理解的是：在不脫離本公開的精神和範圍的情況下可在這裡做出形式和細節上的各種改變，本公開的精神和範圍由權利要求及其等同物所限定。