實時通信的製作方法
2023-06-14 05:54:06
實時通信的製作方法
【專利摘要】用於處理實時通信事件的數據的接收器、電腦程式產品和方法。接收器的處理模塊實現實時通信應用以便接收實時通信事件的數據流。在實時通信事件中向用戶輸出接收的數據流的數據。確定用戶在實時通信事件期間與實時通信應用的交互，並且基於所確定的交互控制實時通信事件中接收的數據流的數據速率。
【專利說明】實時通信
[0001]相關申請
本申請在35 USC 119或365下要求2012年6月8日提交的英國申請N0.1210090.5的優先權，該文獻的公開內容全部合併於此。
【背景技術】
[0002]實時通信系統允許在實時通信系統中的端點之間進行實時通信事件。例如，在實時通信事件的端點為用戶終端，每個端點與各自用戶關聯的情況下，實時通信事件(例如音頻或視頻呼叫)允許在用戶之間發生實時通信。實時通信事件的每個端點執行實時通信應用以便處理實時通信事件。數據流通過網絡在實時通信事件的端點之間傳輸。例如，該網絡可以是諸如網際網路之類的基於分組的網絡，並且數據流可以包括例如依照網際網路協議(IP)分組化和處理的數據分組序列。可替換地或者此外，所述網絡可以包括其他類型的網絡，例如行動電話網絡或者公共交換電話網絡(PSTN)。
[0003]增大實時通信事件中傳輸的數據流的數據速率可以導致實時通信事件的接收器處接收的數據質量更高。例如，如果實時通信事件為視頻會議事件，那麼用於視頻數據的更高的數據速率(即更高的帶寬)允許在接收器處接收和輸出更高質量的視頻信號。更高質量的視頻信號可以例如具有更高的幀速率、解析度或尺寸，從而要求傳輸更多的數據。在一些情形下，可能有益的是增大實時通信事件中的數據流的數據速率(即帶寬)。然而，實時通信系統具有有限的用於端點之間通信的資源。因此，增大實時通信事件中的數據流的數據速率(即帶寬)可能造成實時通信事件的接收器處接收數據流的數據的延遲，這在一些情形下可能是有害的。延遲可能對於作為實時通信事件的通信事件是特別有害的，因為延遲可以影響該通信事件實時地、令人滿意地起作用的能力。傳輸路徑中延遲的存在在本文中可以稱為滯後時間(latency)。例如,如果實時通信事件為其中兩個用戶在交談的呼叫,那麼數據流在呼叫的兩個端點之間傳輸中超過數百毫秒的延遲可能嚴重地影響談話的流暢，並且可能導致更頻繁的其中兩個用戶同時說話並且非故意地打斷彼此的雙談(doubletalk)實例。因此，在實時通信系統中，實時通信應用在數據流傳輸的帶寬與滯後時間之間做出折衷。例如，在視頻會議中，消耗的帶寬越高，則解碼的視頻數據的質量越高，但這是以滯後時間增加為代價的。
[0004]一些帶寬控制方法是「延遲自適應」的，並且可以限定實時通信事件中的目標雙程或者端到端延遲，可以調控傳輸速率以滿足該目標延遲。該目標延遲是預定的，或者依照網絡條件進行調節。
【發明內容】
[0005]本
【發明內容】
部分被提供來以簡化的形式引入構思的選擇，這些構思在下面的【具體實施方式】中進一步加以描述。本
【發明內容】
部分並不預期識別要求保護的主題的關鍵特徵或基本特徵，也不預期用來限制要求保護的主題的範圍。
[0006]本發明人已經認識到，實時通信事件中的數據流的數據速率(即帶寬)可以基於實時通信事件中的用戶交互加以控制。特別地，帶寬與滯後時間之間的最佳折衷可以取決於用戶如何使用實時通信應用。因此，帶寬與滯後時間之間的最佳折衷可以基於用戶如何使用實時通信應用來確定。例如，當用戶不在主動地交互時，滯後時間可能受較低關注，並且因此實時通信應用可以增加其帶寬使用率。用戶與實時通信應用的交互可以被監視並且用來更好地控制實時通信事件中的數據流的滯後時間與帶寬之間的折衷。
[0007]實時通信應用可以在實時通信事件的接收器處執行。實時通信應用可以處理實時通信事件的數據。特別地，實時通信應用可以接收實時通信事件的數據流並且向用戶輸出接收的數據流的數據。可以確定用戶在實時通信事件期間與實時通信應用的交互並且可以基於所確定的交互控制所接收的數據流的數據速率。
[0008]通過基於用戶與實時通信應用的交互來控制所接收的數據流的數據速率，可以適應性調節帶寬與滯後時間之間的折衷以便適合用戶當前與實時通信事件交互的方式。因此，如果用戶正以他對滯後時間增大特別敏感的方式交互(例如如果用戶在呼叫中正在說話)，那麼可以將數據速率設置成相對較低，從而允許與用戶對滯後時間增大不那麼敏感時(例如用戶在呼叫中不在說話時)相比將滯後時間設置成相對較低。類似地，如果用戶正以他對接收的數據的質量提高特別敏感的方式交互(例如如果用戶正主動地觀看視頻呼叫中接收的視頻數據)，那麼可以將數據速率設置成相對較高，從而與用戶對接收的數據的質量提高不那麼敏感時(例如用戶的注意力不在視頻呼叫中接收的視頻數據上時)相比提高接收的數據的質量。
【專利附圖】
【附圖說明】
[0009]為了更好地理解各個不同的實施例並且為了示出可以如何實施這些實施例，現在將通過實例的方式參照以下附圖，在附圖中:
圖1示出了包括兩個用戶終端的通信系統；
圖2示出了用戶終端的示意圖；
圖3a為實時通信事件中接收數據的過程的流程圖；
圖3b為實時通信事件中傳輸數據的過程的流程圖；以及 圖3c為控制實時通信事件的過程的流程圖。
【具體實施方式】
[0010]圖1示出了一種實時通信系統100，該系統包括與第一用戶終端102關聯的第一用戶104以及與第二用戶終端108關聯的第二用戶110。在其他實施例中，通信系統100可以包括任意數量的用戶和關聯的用戶終端。用戶終端102和108可以在通信系統100中通過網絡106通信，從而允許用戶104和110通過網絡106彼此通信。在各個不同的實施例中，通信系統100為基於分組的P2P通信系統，但是也可以使用其他類型的通信系統，例如非P2P、VoIP或者IM系統。網絡106可以例如為網際網路或者另一種類型的網絡，例如電話網絡(例如PSTN或者行動電話網絡)。用戶終端102和108中的每一個可以例如為行動電話、平板計算機、膝上型計算機、個人計算機(「PC」)(包括例如Windows ?、Mac OS ?和Linux ? PC)、遊戲設備、電視、個人數字助理(「PDA」)或者能夠連接到網絡106的其他嵌入式設備。用戶終端102被設置成接收來自用戶終端102的用戶104的信息並且向用戶104輸出信息。用戶終端102包括諸如顯示器和揚聲器之類的輸出設備。用戶終端102也包括輸入設備，例如小鍵盤、觸控螢幕、用於接收音頻信號的麥克風和/或用於捕獲視頻信號的圖像的照相機。用戶終端102連接到網絡106。
[0011]用戶終端102執行由與通信系統100關聯的軟體提供商提供的通信客戶端。該通信客戶端是在用戶終端102中的本地處理器上執行的軟體程序。該客戶端執行用戶終端102處所需的處理以便用戶終端102通過通信系統100發送和接收數據。可以通過數字證書的呈現來認證用戶終端102處執行的客戶端以便通過通信系統通信(例如證明用戶104是通信系統的真正訂戶)。
[0012]用戶終端108可以與用戶終端102相應。用戶終端108在本地處理器上執行與在用戶終端102處執行的通信客戶端相應的通信客戶端。用戶終端108處的客戶端以與用戶終端102處的客戶端執行允許用戶104通過網絡106通信所需的處理相同的方式執行允許用戶110通過網絡106通信所需的處理。用戶終端102和108為實時通信系統100中的端點。圖1為了清楚起見僅僅示出了兩個用戶(104和110)和兩個用戶終端(102和108)，但是多得多的用戶和用戶終端可以包含在通信系統100中，並且可以使用在各自的用戶終端上執行的各自的通信客戶端通過通信系統100通信。
[0013]圖2圖示出在其上執行用於通過通信系統100通信的通信客戶端的用戶終端102的詳細視圖。用戶終端102包括中央處理單元(「CPU」)或者「處理模塊」202，其連接了諸如屏幕之類的顯示器204、揚聲器211、用於存儲數據的存儲器212以及諸如小鍵盤206和照相機208及麥克風210之類的輸入設備。顯示器204、小鍵盤206、照相機208、麥克風210、揚聲器211和存儲器212可以如圖2中所示集成到用戶終端102中。在可替換的用戶終端中，顯示器204、小鍵盤206、照相機208、麥克風210、揚聲器211和存儲器212中的一個或多個可以不集成到用戶終端102中，並且可以經由各自的接口連接到CPU 202。這樣的接口的一個實例為USB接口。CPU 202連接到諸如數據機之類的網絡接口 224以便與網絡106通信。如果用戶終端102到網絡106的連接為無線連接，那麼網絡接口 224可以包括用於將信號無線地發射到網絡106以及從網絡106無線地接收信號的天線。網絡接口 224可以如圖2中所示集成到用戶終端102中。在可替換的用戶終端中，網絡接口 224不集成到用戶終端102中。
[0014]圖2也圖示出在CPU 202上執行的作業系統(「OS」)214。用於通信系統100的客戶端軟體的軟體堆棧216運行在OS 214之上。如下文中更詳細地描述的，當在CPU 202上執行時，客戶端軟體執行實時通信應用。軟體堆棧表現出客戶端協議層218、客戶端引擎層220和客戶端用戶接口層(「n」)222。每層負責特定的功能。由於每層通常與其他兩層通信，因而它們被認為如圖2中所示設置在堆棧中。作業系統214管理計算機的硬體資源並且處理經由網絡接口 224往返網絡106傳輸的數據。客戶端軟體的客戶端協議層218與作業系統214通信，並且管理通過通信系統的連接。要求較高級別處理的進程被傳遞至客戶端引擎層220。客戶端引擎220也與客戶端用戶接口層222通信。客戶端引擎220可以被設置成控制客戶端用戶接口層222以便經由客戶端的用戶接口向用戶104呈現信息以及經由用戶接口接收來自用戶104的信息。
[0015]用戶終端108以與如上面所描述的用戶終端102相同的方式實現，其中用戶終端108可以具有與這裡關於用戶終端102描述的元件相應的元件。[0016]參照圖3a_3c中所示的流程圖，接下來是用戶終端102如何通過實時通信系統100處理實時通信事件中的數據的描述。在下面描述的實例中，用戶104使用用戶終端102參與和使用用戶終端108的用戶110的實時通信事件，例如音頻或視頻呼叫。在實時通信事件中，可以通過網絡106在用戶終端102與108之間的任一或者兩個方向上發送數據流。用戶終端102在其接收來自用戶終端108的數據流時充當實時通信事件中的接收器。用戶終端102在其向用戶終端108發送數據流時充當實時通信事件中的發送器。
[0017]圖3a簡要地圖示出在用戶終端102充當實時通信事件中的接收器時由其採取的步驟。在步驟S302中，在用戶終端102處使用網絡接口 224通過網絡106從用戶終端108接收數據流。該數據流可以包括在實時通信事件中使用的音頻和/或視頻數據和/或其他適當的數據。數據流中的數據依照用於通過網絡傳輸的適當協議通過網絡106傳輸。例如，如果網絡106為網際網路，那麼可以依照網際網路協議接收數據流中的數據。可以將接收的數據流中的數據處理(例如編碼和分組化)成數據分組以便通過網絡106傳輸。用於處理數據以便通過網絡106傳輸的方法在本領域中是已知的並且不在這裡詳加描述。
[0018]在步驟S304中，將接收的數據流的數據從用戶終端102輸出到用戶104。例如，可以從用戶終端102的顯示器204輸出來自接收的數據流的視頻數據(和/或諸如文本數據之類的其他可視數據)。可以從用戶終端102的揚聲器211輸出來自接收的數據流的音頻數據。輸出數據的步驟S304可以包括在輸出數據之前處理接收的數據(例如對數據進行報文組裝和解碼)。輸出數據之前在接收的數據上發生的處理與在通過網絡106傳輸數據之前在數據上執行的處理互補。用於在輸出數據之前處理接收的數據流的數據的方法在本領域中是已知的並且不在這裡詳加描述。
[0019]圖3b簡要地圖示出在用戶終端102充當實時通信事件中的發送器時由其採取的步驟。在步驟S306中，用戶終端102接收來自用戶104的輸入以便在實時通信事件中發送至用戶終端108。例如，用戶輸入可以是麥克風210處接收的音頻信號。用戶輸入可以是由照相機208捕獲的圖像或者視頻信號。照相機208捕獲的圖像可以包括或者可以不包括用戶104的圖像。例如，如果照相機208捕獲了包括用戶104圖像的若干幀視頻信號，那麼可以在視頻呼叫中將視頻信號發送至用戶終端108，從而允許用戶110在視頻呼叫中觀看用戶102的圖像。步驟S306中接收的用戶輸入也可以包括其他類型的輸入，例如經由小鍵盤206或者經由顯示器204上的觸控螢幕輸入的數據(例如文本數據)。
[0020]在步驟S308中，在用戶終端102處將用戶輸入處理成適合於在實時通信事件中通過網絡106傳輸到用戶終端108的格式。例如，在網絡106為網際網路的情況下，可以如上面所描述的依照網際網路協議將用戶輸入處理成數據分組。例如，如果用戶輸入為包括用戶104的語音的音頻信號，那麼步驟S308可以涉及使用語音編解碼器並且依照語音編碼方案對音頻輸入編碼。類似地，如果用戶輸入為視頻信號，那麼步驟S308可以涉及使用視頻編解碼器並且依照視頻編碼方案對視頻輸入編碼。如上面所描述的，用於處理用戶輸入以便通過網絡106傳輸的方法在本領域中是已知的並且不在這裡更詳細地加以描述。
[0021]在步驟S310中，在實時通信事件中將已經在步驟S308中處理的數據通過網絡106從用戶終端102傳輸至用戶終端108。這涉及使用網絡接口 224將數據發送到網絡106上。
[0022]數據依照用於數據流的數據速率進行處理和傳輸。如上面所描述的，在數據流的數據速率與滯後時間之間存在折衷。[0023]在實時通信事件進行的同時，圖3c中所示的方法步驟被執行以便基於用戶104與實時通信事件的交互，尤其是基於用戶104與用戶終端102處執行的客戶端軟體實現的實時通信應用的交互來控制實時通信事件中傳輸的數據流的數據速率。
[0024]在步驟S312中，確定用戶102與實時通信應用的交互。在步驟S312中可以如下文中更詳細地描述的確定用戶交互的不同方面。
[0025]在步驟S314中，基於如步驟S312中所確定的用戶交互來控制實時通信事件中接收的數據流的數據速率。在一些實施例中，在步驟S314中，可以基於如步驟S312中所確定的用戶交互控制實時通信事件中發送的數據流的數據速率。
[0026]這允許基於用戶如何實際地與通信事件交互而控制帶寬與滯後時間之間的最佳折衷。例如，如果在視頻呼叫中用戶104的注意力在從用戶終端108發送的視頻數據上，那麼接收的視頻數據的質量比用戶104的注意力不在視頻數據上的情況更加重要。因此，視頻呼叫中在用戶終端102處接收的視頻數據的數據速率被控制為當用戶104的注意力在視頻數據上時比當用戶104的注意力不在視頻數據上時更高。作為另一個實例，如果用戶104不在呼叫中向用戶110通信(例如，用戶104使麥克風210靜音，或者啟動了其中用戶104不打算將音頻數據發送至呼叫的遠側的「收聽模式」，或者如果用戶104不在音頻呼叫中談話)，那麼為用戶終端102處接收的數據信號維持小的滯後時間不像當用戶104在呼叫中主動交互以便將音頻數據發送至呼叫的遠側時那樣重要。因此，呼叫中在用戶終端102處接收的數據信號的數據速率可以被控制為當用戶104不在呼叫中向用戶110通信時比當用戶104在呼叫中向用戶110通信時更高。
[0027]為了控制接收的數據流和/或發送的數據流的數據速率，用戶終端102處的實時通信應用執行數據速率控制方法以便確定用於數據速率的目標值。目標值可以是目標數據速率本身，或者目標值可以是另一個值，在步驟S308中可以根據該值確定目標數據速率。例如，目標值可以是數據流不應當超過的目標隊列大小Nq。為了控制接收的數據流的數據速率，可以將控制信號從用戶終端102發送至網絡106中的節點，該節點在實時通信事件中在於用戶終端102處接收數據流的數據之前處理該數據流的數據。控制信號可以包括目標數據速率的指示(例如，該指示可以是目標數據速率本身，或者如上面所描述的節點可以根據其確定目標數據速率的目標隊列大小NQ)，從而使得該節點能夠在實時通信事件中以目標數據速率發送數據流。例如，該節點可以是實時通信事件的發送器，即這裡描述的實例中的用戶終端108。可替換地，該節點可以是網絡106中的中間節點，數據流經由該中間節點從用戶終端108傳輸至用戶終端102。
[0028]為了控制傳輸的數據流的數據速率，可以從用戶終端108接收用於數據速率的目標值的指示。該目標值被提供給用於將用戶輸入處理成數據流的步驟S308中使用的算法。該目標值在步驟S308中被使用，使得數據流具有目標數據速率。
[0029]用戶終端102處的客戶端軟體實現的實時通信應用執行的數據速率控制方法可以使用目標隊列大小Nq。帶寬估計方法可以用來使用分組延遲噪聲項ed估計通過網絡106對於實時通信事件可用的帶寬，其中數據速率可以基於估計的帶寬進行控制。在這些方法中，Nq或者ed越高，那麼供信道上使用的被認為是數據速率與延遲之間的折衷(或者換言之，帶寬與滯後時間之間的折衷)中的最佳數據速率的傳輸速率越高。
[0030]在下文中識別的是可以影響數據速率與延遲之間的折衷的用戶行為模式。下文中描述了和用戶104與用戶終端102處的客戶端軟體實現的實時通信應用的交互有關的實例，其應當在數據速率與延遲之間的折衷中以更高的延遲為代價導致更高的最佳數據速率。
[0031]為了確定用戶與實時通信應用的交互，用戶終端102(特別是用戶終端102處的客戶端軟體實現的實時通信應用)可以確定用戶104是否正在將數據輸入到實時通信應用以便在實時通信事件中傳輸。例如，可以控制實時通信事件中接收的數據流的數據速率，使得它在用戶不將數據輸入到實時通信應用以便在實時通信事件中傳輸的情況下增大。
[0032]為了確定用戶是否正將數據輸入到實時通信應用以便在實時通信事件中傳輸，用戶終端102處的實時通信應用可以例如:(i)確定用戶104是否使麥克風210靜音，(ii)確定用戶104是否激活了要由用戶終端102處的實時通信應用實現的收聽模式，和/或(iii)檢測來自用戶104的音頻或視頻輸入中的至少一個。
[0033]關於用戶104是否使麥克風210靜音的確定可以以若干不同的方式執行。例如，用戶104可以使用實時通信應用中的接口、作業系統214中的接口或者包括麥克風210的音頻設備上(例如連接到用戶終端102的頭戴式受話器上)的諸如按鈕之類的控制項使麥克風210靜音。如果用戶在實時通信事件期間使麥克風210靜音，那麼這是用戶104不打算在實時通信事件中與遠側交互的跡象。
[0034]為了確定用戶104是否在用戶終端102處激活了收聽模式，實時通信應用可以實現「收聽模式」接口，用戶104可以經由該接口主動地告訴實時通信應用他或她不打算與遠側交互。
[0035]為了檢測來自用戶104的音頻或視頻輸入中的至少一個，實時通信應用可以確定用戶104是在談話(即輸入用於在實時通信事件中傳輸的音頻數據)還是移動(即輸入用於在實時通信事件中傳輸的視頻數據)。為了實現這點，實時通信應用可以監視利用麥克風210接收的音頻信號中的話音活動，和/或可以監視利用照相機208接收的視頻信號中的視頻活動。用於檢測利用麥克風210接收的音頻信號中以及利用照相機208接收的視頻信號中的用戶輸入的方法是本領域技術人員已知的，並且不在這裡詳加描述。如果在利用麥克風210接收的音頻信號中或者在利用照相機208接收的視頻信號中未檢測到用戶輸入，那麼實時通信應用可以確定用戶104不在實時通信事件中與遠側交互。
[0036]當用戶104不在實時通信事件中與遠側交互時(例如當用戶104不在向遠側發送數據時)，與用戶104正在實時通信事件中與遠側交互(例如向遠側發送數據)時相比，用戶104對於接收的數據流上的滯後時間不那麼敏感。因此，當用戶104不在實時通信事件中與遠側交互時，可以增大用戶終端102處接收的數據流的數據速率。換言之，實時通信事件中在用戶終端102處接收的數據流上的延遲與數據速率之間的最佳折衷使得與用戶104正在實時通信事件中與遠側交互時(例如當用戶正在向遠側發送數據時)相比，數據速率和延遲在用戶104不在實時通信事件中與遠側交互時(例如當用戶不在向遠側發送數據時)均增大。由於用戶104當前在實時通信事件中交互的方式的原因，關聯的延遲增大是無關緊要的。
[0037]在下文中識別的是可以影響數據速率與延遲之間的折衷的另外的用戶行為模式。下文中描述了和用戶104與用戶終端102處的客戶端軟體實現的實時通信應用的交互有關的實例，其應當在數據速率與延遲之間的折衷中導致更低的最佳數據速率以及因而更低的延遲。
[0038]為了確定用戶104與實時通信應用的交互，用戶終端102(特別是用戶終端102處的客戶端軟體實現的實時通信應用)可以確定接收的數據流上的延遲是否對於實時通信事件中的通信造成問題。例如，如果確定接收的數據流上的延遲對於實時通信事件中的通信造成問題，那麼可以減小接收的數據流的數據速率，從而允許降低延遲。為了確定延遲是否對於實時通信事件中的通信造成問題，實時通信應用可以檢測實時通信事件中的雙談狀態。在呼叫中，高的通信延遲可能導致雙談狀態，即其中呼叫的用戶非故意地打斷彼此的狀態。因此，如果檢測到雙談，那麼可以降低實時通信事件中的兩個方向上傳輸的數據流的數據速率，從而降低延遲，並且降低雙談的發生。作為一個實例，如果呼叫期間呼叫的用戶打斷彼此的頻率超過閾值頻率，則可以確定存在雙談狀態。
[0039]在一些實施例中，實時通信事件的接收終端(例如當其充當接收來自用戶終端108的數據流的接收器時的用戶終端102)確定接收用戶與接收終端處實現的實時通信應用的交互。基於所確定的交互，接收終端確定如本文所描述的用於接收的數據流的目標數據速率(或者帶寬)。將目標數據速率的指示發送至實時通信事件的將數據流發送到接收終端的發送終端(例如，當其充當將數據流發送至用戶終端102的發送器時，用戶終端108是該發送終端)。然後，發送終端依照目標數據速率將數據流發送至接收終端。在這些實施例中，接收終端根據用戶與接收終端處實現的實時通信應用的交互確定目標數據速率。
[0040]在一些實施例中，將所確定的交互的指示發送至實時通信事件的將數據流發送到接收終端的發送終端(例如，當其充當將數據流發送至用戶終端102的發送器時，用戶終端108是該發送終端)。基於所確定的交互，發送終端確定如本文所描述的用於數據流的目標數據速率(或者帶寬)。然後，發送終端依照目標數據速率將數據流發送至接收終端。在這些實施例中，發送終端根據用戶與接收終端處實現的實時通信應用的交互確定目標數據速率。
[0041]因此，可以看出，在一些實施例中，傳輸的數據流的數據速率基於接收用戶與接收用戶終端處實現的實時通信應用的交互而被控制。所述方法可以在實時通信事件的每端處實現，從而可以對實時通信事件中每個方向上的數據流的數據速率的控制進行控制。實時通信事件可以包括兩個或更多端點。例如，系統100的兩個用戶之間的呼叫具有兩個端點，而系統100的多個用戶之間的會議呼叫可以具有各自的多個端點。
[0042]可替換地，發送用戶終端可以基於用戶與發送終端處實現的實時通信應用的交互控制它在實時通信事件中發送的數據流的數據速率。例如，用戶終端102可以基於用戶104與用戶終端102處實現的實時通信應用的交互控制它發送至用戶終端108的數據流的數據速率。例如，如果用戶終端102處實現的實時通信應用檢測到呼叫中的雙談狀態，那麼可以減小呼叫中從用戶終端102傳輸至用戶終端108的數據流的數據速率，從而降低傳輸的數據流中的延遲以便降低雙談的發生。
[0043]為了確定用戶104與實時通信應用的交互，用戶終端102 (尤其是由用戶終端102處的客戶端軟體實現的實時通信應用)可以確定用戶的注意力是否在輸出的數據上。可以控制實時通信事件中接收的數據流的數據速率，使得它在用戶的注意力不在輸出的數據上的情況下減小。
[0044]例如，如果用戶不在由用戶終端102處的照相機208捕獲以便在視頻呼叫中傳輸的圖像中，那麼可以確定用戶104未將他的注意力放在視頻呼叫的視頻數據上。這可以是用戶104不在其用戶終端102之前並且因而不在觀看由實時通信應用在顯示器204上輸出的視頻數據的跡象。在此基礎上，可以確定用戶104不在觀看接收的數據流的視頻數據。然而，用戶104可能仍然在經由音頻信號與遠側交互，從而數據流的傳輸的滯後時間仍然是重要的。因此，確定視頻質量比視頻呼叫中的延遲較少受關注，並且由此可以降低接收的數據流的數據速率，從而降低關聯的延遲。
[0045]作為另一個實例，如果輸出接收的數據流的視頻數據的實時通信應用的用戶接口在用戶終端102的顯示器204上被最小化、隱藏或者離焦，那麼可以確定用戶104沒有將其注意力放在視頻呼叫的視頻數據上。這些事件是用戶104不在視頻呼叫中觀看由實時通信應用輸出的視頻數據的指示。然而，用戶104可能仍然在經由音頻信號與遠側交互，從而數據流的傳輸的滯後時間仍然是重要的。因此，確定視頻質量比視頻呼叫中的延遲較少受關注，並且由此可以降低接收的數據流的數據速率，從而降低關聯的延遲。
[0046]這裡描述的方法可以由用戶終端102處的客戶端軟體實現的實時通信應用執行。按照這種方式，客戶端軟體是被配置成處理實時通信事件的數據的電腦程式產品，其中該電腦程式產品包含在有形計算機可讀硬體介質上並且被配置成當在用戶終端102的處理器202上執行時實現實時通信應用以便執行本文描述的方法的操作。計算機可讀硬體介質意在描述計算機可讀介質的所有法定形式並且因而排除了介質的非法定形式。用戶終端102是用戶終端102與108之間的實時通信事件的端點，其中用戶終端102充當用於從用戶終端108發送到用戶終端102的數據流的接收器，並且用戶終端102充當用於從用戶終端102發送到用戶終端108的數據流的發送器。相應的方法可以在用戶終端108處實現，從而允許依照本文描述的方法控制在用戶終端102與108之間的兩個方向上發送的數據流的數據速率。
[0047]這裡描述的方法可以在實時通信事件期間動態地實現。這允許動態地控制數據流的數據速率。數據流的數據速率可以基於用戶104與用戶終端102處實現的實時通信應用的當前交互進行控制。
[0048]用戶104與用戶終端102處實現的實時通信應用的交互描述了用戶104正在如何參與實時通信事件。換言之，用戶104與實時通信應用的交互描述了用戶如何捲入實時通信事件。例如，用戶104與實時通信應用的交互可以描述以下至少一個:(i)用戶104接收實時通信事件的數據的方式，以及(ii)用戶104輸入數據以便在實時通信事件中傳輸的方式。
[0049]儘管以特定於結構特徵和/或方法動作的語言描述了主題，但是應當理解的是，在所附權利要求書中限定的主題不必限於上面描述的特定特徵或動作。相反地，上面描述的特定特徵和動作作為實現權利要求的實例形式而被公開。
【權利要求】
1.一種被配置成處理實時通信事件的數據的接收器(102)，該接收器(102)包括處理模塊(202)，該處理模塊被配置成實現實時通信應用以便: 接收實時通信事件的數據流； 在實時通信事件中向用戶(104)輸出接收的數據流的數據； 確定用戶(104)在實時通信事件期間與實時通信應用的交互；並且 基於所確定的交互控制實時通信事件中接收的數據流的數據速率。
2.權利要求1的接收器(102)，其中為了控制實時通信事件中接收的數據流的數據速率，處理模塊(202)被配置成實現實時通信應用以便將控制信號發送到發送器(108)，該發送器將實時通信事件中的數據流發送至接收器(102)，所述控制信號包括:或者(i)目標數據速率的指示，或者(ii)所確定的交互的指示，從而使得發送器(108)能夠基於所確定的交互確定目標數據速率。
3.前面任何一項權利要求的接收器(102)，其中為了確定用戶(104)與實時通信應用的交互，處理模塊(202)被配置成實現實時通信應用以確定用戶(104)是否正在將數據輸入到實時通信應用以便在實時通信事件中傳輸。
4.權利要求3的接收器(102)，其中為了確定用戶(104)是否正在將數據輸入到實時通信應用以便在實時通信事件中傳輸，處理模塊(202)被配置成實現實時通信應用以便執行以下至少一個: 確定用戶(104)是否使接收器(102)處的麥克風(210)靜音， 確定用戶是否在接收器( 102)處激活了收聽模式，以及 檢測來自用戶(104)的音頻或視頻輸入中的至少一個。
5.前面任何一項權利要求的接收器(102)，其中為了確定用戶(104)與實時通信應用的交互，處理模塊(202)被配置成實現實時通信應用以確定延遲是否對於實時通信事件中的通信造成問題。
6.前面任何一項權利要求的接收器(102)，其中處理模塊(202)進一步被配置成實現實時通信應用以便: 傳輸實時通信事件中的數據流；並且 基於所確定的交互來控制實時通信事件中傳輸的數據流的數據速率。
7.前面任何一項權利要求的接收器(102)，其中為了確定用戶(104)與實時通信應用的交互，處理模塊(202)被配置成實現實時通信應用以確定用戶的注意力是否在輸出的數據上。
8.權利要求7的接收器(102)，其中接收的數據流包括視頻數據和音頻數據，並且其中處理模塊(202)被配置成實現實時通信應用以便通過以下方式確定用戶的注意力不在輸出的數據上:或者 (i)檢測用戶(104)不在由接收器(102)處的照相機(208)捕獲以便在實時通信事件中傳輸的圖像中，並且在此基礎上確定用戶(104)不在觀看接收的數據流的視頻數據；或者 (ii)確定輸出接收器(102)處接收的數據流的視頻數據的實時通信應用的用戶接口被最小化、隱藏或者離焦。
9.一種電腦程式產品，被配置成處理實時通信事件的數據，該電腦程式產品包含在非暫時性計算機可讀介質上並且被配置成當在實時通信事件的接收器(102)的處理器(202)上執行時實現實時通信應用以便執行以下操作: 接收實時通信事件的數據流； 在實時通信事件中向用戶(104)輸出接收的數據流的數據； 確定用戶(104)在實時通信事件期間與實時通信應用的交互；以及 基於所確定的交互來控制實時通信事件中接收的數據流的數據速率。
10.一種使用接收器(102)處的實時通信應用處理實時通信事件的數據的方法，該方法包括: 接收實時通信事件的數據流； 在實時通信事件中向用戶(104)輸出接收的數據流的數據； 確定用戶(104)在實時通信事件期間與實時通信應用的交互；以及 基於所確定的交互控制實時通信事件中接收的數據流的數據速率。
【文檔編號】H04L12/58GK103490975SQ201310229606
【公開日】2014年1月1日 申請日期:2013年6月9日 優先權日:2012年6月8日
【發明者】趙羽珩, C.A.羅德布若 申請人:微軟公司