對於音頻視頻顯示裝置的伴隨裝置、伺服器和方法

2023-09-13 19:03:05

對於音頻視頻顯示裝置的伴隨裝置、伺服器和方法
【專利摘要】本發明涉及伴隨裝置上的伺服器-客戶端遠程用戶界面（RUI）會話的自動發現和鏡像、以及在伴隨裝置上使用RUI同步地控制兩個會話。一種伺服器將遠程用戶界面（RUI）發送到諸如TV的視頻裝置，該RUI展現在TV上，並且可操縱為將控制命令送回到伺服器。諸如平板計算機的伴隨裝置發現RUI會話，並且伺服器向該伴隨裝置提供它自己的RUI，該RUI鏡像TV上的RUI，被修改為適合於該伴隨裝置的屏幕。伺服器使這兩個RUI保持同步，以使得伴隨裝置上的RUI鏡像TV上的RUI。
【專利說明】對於音頻視頻顯示裝置的伴隨裝置、伺服器和方法

【技術領域】
[0001] 本申請大體上涉及約束實時和非實時（NRT)內容對於與RT內容相關的廣播TV信 號的地理位置的可獲得性。

【背景技術】
[0002] 遠程用戶界面（RUI)本質上是從將受控制的裝置發送到意圖進行控制的裝置的、 用於作為圖形用戶界面展現在該意圖控制裝置上的用戶界面。冊1有利地動態地便利於用 戶界面的實現，而不必預先用應用程式圖形和輸入響應對意圖進行控制的裝置進行編程。
[0003] 如本文中所理解的，可以從伺服器向較大型呈現裝置(諸如TV)提供RUI，以使得 TV的用戶可以使用TV的遙控器在RUI "會話"期間導航和操作RUI來控制伺服器。僅作為 一個例子，伺服器可以實現機頂盒的功能，相應地，冊1可以是允許在會話期間建立示出在 TV上的頻道的電子節目指南（EPG )。
[0004] 如本文中進一步理解的，用戶在伺服器-TV冊1會話期間看電視時可能碰巧持有 伴隨裝置（companion device),諸如平板計算機、智慧型電話等，並且在RUI會話在其他兩個 組件（即，TV與伺服器）之間實施時，使用通常具有比TV RC多的功能的伴隨裝置來控制服 務器可能是希望的。然而，如本文中進一步理解的，僅在多個裝置上展現多個冊1而不連結 它們以使它們保持彼此協調則不太希望。


【發明內容】

[0005] -種伺服器在遠程用戶界面（RUI)會話期間將冊1和視頻提供給主屏幕，還包括 冊1的狀態。主屏幕和對於主屏幕的會話可以由與主屏幕和/或伺服器配對的伴隨裝置發 現。一旦在伺服器處使屏幕配對，伺服器就既在主屏幕上、又在伺服器在伴隨裝置上創建的 新的會話上鏡像會話的冊1的圖形部分，伴隨裝置可以僅具有標準的HTML5瀏覽器。在這 種情況下，還將用於從伺服器發送到主屏幕的冊1的圖形展現命令轉換為與在HTML5瀏覽 器上運行的應用程式兼容的協議。該應用程式能夠在伴隨裝置上生成相同的圖形輸出，並 且可以在伴隨裝置上開始鏡像會話之前從伺服器下載，或者可以在開始鏡像會話之前在伴 隨裝置本地上展現。伴隨屏幕可以具有觸控螢幕。當伴隨屏幕具有觸控螢幕時，它可以通過直 接在冊1圖形上提供觸摸命令來取代主屏幕上對於遙控器的需要。伴隨裝置將關於觸摸或 多觸摸的數據送回到伺服器，伺服器知道什麼冊1元件位於伴隨裝置上的什麼地方，從而 相應地對命令進行處理，就如同它們來自主屏幕一樣。
[0006] RUI可以，但不限於，基於RVU協議、或XII協議、或支持伺服器側屏幕圖形的任何 自定義協議，以使得伺服器保持對於圖形的組裝件的呈現控制。
[0007] 相應地，對於音頻視頻顯示裝置（AVDD)的伴隨裝置包括處理器、顯示器和計算機 可讀存儲介質，顯示器在處理器的控制下展現需要的圖像，計算機可讀存儲介質承載可被 處理器執行以從伺服器接收與呈現遠程用戶界面（RUI)有關的信息的指令。在AVDD上展 現RUI的一版本。冊1上的顯示位置可以由用戶選擇，以將可以與控制命令相關聯的信息 送回到伺服器。伴隨裝置處理器從伺服器接收對冊1的更新，以使得展現在伴隨裝置上的 RUI與展現在AVDD上的版本同步。
[0008] 在示例實施例中，用HTML5對與呈現RUI有關的信息進行格式化以用於呈現RUI。 一般來講，HTML5是除了位圖圖形命令之外還支持使用矢量圖形的圖形呈現命令的示例超 文本標記語言。然而，展現在AVDD上的RUI的版本不需要通過HTML5客戶端。此外，可以 從展現在AVDD上的版本將展現在伴隨裝置的顯示器上的冊1修改為適合於伴隨裝置的顯 示器。
[0009] 如果需要，伴隨裝置處理器可執行的指令可以使處理器建立與伺服器的通信。伴 隨裝置可以建立僅與AVDD而不與伺服器的通信，其中伴隨裝置通過AVDD接收與呈現RUI 有關的伺服器信息。
[0010] 在示例實施例中，處理器可執行的指令使處理器在HTML5基礎上執行協議應用程 序，該協議應用程式將與呈現冊1有關的信息轉碼為HTML5圖形。伴隨裝置接收的與呈現 RUI有關的信息可以包括可擴展標記語言（XML)命令和/或JavaScript對象表示（JS0N) 格式化命令。
[0011] 在另一方面，一種伺服器包括處理器和可供該處理器訪問的承載指令的計算機可 讀存儲介質，所述指令在被處理器執行時使處理器將在音頻視頻顯示裝置（AVDD)的顯示器 上呈現包含一個或多個冊1元件的遠程用戶界面（RUI)的圖形呈現命令發送到AVDD。與將 圖形呈現命令發送到AVDD同步地，伺服器將使伴隨裝置在伴隨裝置的顯示器上呈現冊1或 其基本類似版本的相應的圖形呈現命令發送到伴隨裝置。"基本類似版本"意指展現在AVDD 上的冊1的針對伴隨裝置的展現能力而修改的版本。伺服器處理器從伴隨裝置接收與RUI 有關的用戶選擇信號，將該用戶選擇信號與控制命令相關聯，並執行該控制命令。
[0012] 在另一方面，一種方法包括在音頻視頻顯示裝置（AVDD)和與該AVDD配對的伴隨 裝置處接收在每個裝置上呈現各自的遠程用戶界面（RUI)的圖形呈現命令。該方法還包括 在AVDD和伴隨裝置兩者處接收各自的RUI修改命令以彼此同步地改變各自的RUI。
[0013] 可以參照附圖來最好地理解本發明的關於其結構和操作兩者的細節。

【專利附圖】

【附圖說明】
[0014] 在附圖中，相似的標號指示相似的部分，其中：
[0015] 圖1是根據本原理的非限制性示例系統的框圖；
[0016] 圖2是示例總體邏輯的流程圖；
[0017] 圖3是示例替代總體邏輯的流程圖；
[0018] 圖4是第一示例實現的框圖；
[0019] 圖5是第二示例實現的框圖；以及
[0020] 圖6-9是例示本原理的結果的抓屏。

【具體實施方式】
[0021] -開始參照圖1中所示的非限制性示例實施例，系統10包括諸如音頻視頻顯示裝 置（AVDD)的客戶端12。AVDD可以用包括TV調諧器16的TV實現，TV調諧器16與處理器 18進行通信，處理器18訪問有形計算機可讀存儲介質20,諸如基於盤的或固態儲存器。作 為非限制性的例子，AVDD還可以用大型平板計算機、個人計算機、網際網路協議（IP)TV (諸如 圖1中所示的TV)等實現。
[0022] AVDD12可以在一個或多個揚聲器22上輸出音頻。在例子中，AVDD12可以使用與 處理器12通信的內置有線或無線數據機24從網際網路接收流傳輸視頻，處理器12可以 執行軟體實現的瀏覽器26。在顯示器28上在處理器18的控制下展現視頻，顯示器28諸 如，但不限於，高清晰TV (HDTV)平板顯示器，並且可以是觸控螢幕顯示器。顯示器28可以是 40〃或更大型顯示器。可以使用例如rf或紅外線來從遙控器（RC)30無線地接收對於處理 器18的用戶命令。可以使用除了 TV之外的音頻-視頻顯示裝置，例如，智慧型電話、遊戲機、 個人數字組織器、筆記本計算機和其他類型的計算機、具有連接到TV或監視器的HDMI輸出 的聯網的藍光或DVD播放器、具有連接到TV或監視器的HDMI輸出的遊戲機、連接到TV或 監視器的具有聯網和處理能力的HDMI棒、通過HDMI連接到TV或監視器的IP客戶端STB 等。
[0023] 可以在顯示器28和揚聲器22上展現與AVDD12通信的地面廣播天線34接收的來 自一個或多個地面TV廣播源32的TV節目。地面廣播節目可以遵循數字ATSC標準，並且 可以在它內攜帶地面廣播EPG，但是可以從替代源接收地面廣播EPG，所述替代源例如經由 乙太網的網際網路、或電纜通信鏈路、或衛星通信鏈路。
[0024] 還可以在TV處接收來自有線電視頭端36的TV節目以用於在顯示器28和揚聲器 22上展現TV信號。當僅需要基本電纜（basic cable)時，來自牆壁的電纜通常傳載QAM或 NTSC格式的TV信號，並且在美國被直接插入到TV底盤上的"F型連接器"38中，但是在其他 國家用於這個目的的連接器可以不同。相反，當例如用戶具有延長電纜（extended cable) 訂閱時，通常通過STB40發送來自頭端36的信號，STB40可以與TV底盤分離或者集成在TV 底盤內，但是在任何情況下，都將HDMI基帶信號發送到TV。可以使用其他類型的連接，例 如，MOCA、USB、1394 協議、DLNA。
[0025] 在示例實現中，STB40可以起到下述伺服器的作用。可以起到伺服器作用的其他 示例組件包括網關裝置、媒體伺服器、如所示的通過網際網路與AVDD12通信並且執行例如 STB40的功能的基於雲的伺服器41、以及PC。
[0026] 類似地，可以將由與家用衛星碟相關的集成接收器/解碼器（IRD)44接收的TV廣 播信號的衛星源42所發送的HDMI基帶信號輸入到AVDD12以用於展現在顯示器28和揚聲 器22上。此外，可以從網際網路46接收流傳輸視頻以用於展現在顯示器28和揚聲器22上。 可以在計算機數據機24處接收流傳輸視頻，或者可以在AVDD12外部的家裡的調製解 調器48處接收流傳輸視頻，並通過有線或無線乙太網鏈路將該視頻傳遞到AVDD12,並且在 TV底盤上的RJ45或802. llx天線處接收該視頻。注意，如以下進一步描述的，可以通過以 上任何一個通道將按預定計劃的兩者的廣播TV節目與增加內容(實時的或非實時的（NRT) 內容）一起發送。
[0027] 此外，在一些實施例中，攝像機50可以連接到處理器16以將觀看顯示器28的觀 看者的視頻圖像提供給處理器16,如果需要，攝像機50可以集成在底盤中，或者單獨安裝 並且電連接到底盤。攝像機50可以設有廣角鏡頭。攝像機50可以具有它自己的與TV處 理器18通信的照相機處理器，或者它可以是由處理器18控制的簡單的成像裝置，諸如(XD 或其他成像器。此外，麥克風52可以設置在底盤上或者與底盤分離，並且可以電連接到處 理器16以將觀看者產生的語音命令提供給處理器16。
[0028] 還可以提供伴隨裝置54。伴隨裝置的示例實施例包括，但不限於，平板計算機、或 智慧型電話、PC、或其他移動無線計算裝置。伴隨裝置可以包括由訪問一個或多個計算機可讀 存儲介質60以執行本邏輯的伴隨處理器58控制的視覺顯示器56,諸如觸控螢幕顯示器。附加 的輸入裝置62可以包括，諸如，但不限於，語音識別裝置、鍵盤、指點和點擊裝置等。伴隨裝 置54可以使用伴隨裝置網絡接口 66與AVDD12的無線網絡接口 64和伺服器(例如，STB40) 的無線網絡接口 65通信。接口 64、65、66可以是，但不限於，WiFi接口、藍牙接口、或其他 適當的無線通信接口（包括無線電話接口）。
[0029] 現在參照圖2,伴隨裝置54與AVDD12 (僅為了例示說明，在流程圖中被稱為"TV"） 和/或伺服器連接("配對")，所述伺服器例如雲伺服器41、STB40或執行本文中描述的服務 器功能的其他設備。在優選實施例中，伴隨裝置54連接到伺服器。但是如以下參照圖3所 描述的，伴隨裝置可以僅連接到TV。
[0030] 伴隨裝置54與伺服器的連接(該連接可以是無線通信連接)優選地是自動的，並且 由伴隨裝置進行。伴隨裝置可以發現從伺服器發送到AVDD12的RUI、和/或伺服器與AVDD 之間的冊1會話，或者可以自己發起AVDD與伺服器之間的第一冊1會話、以及伴隨裝置與 伺服器之間的第二RUI會話，第二RUI會話鏡像（mirror)AVDD與伺服器之間的第一 RUI會 話。
[0031] 在可以實現這個的非限制方式之中，伴隨裝置可以使用在Netflix支持下開發的 發現和啟動（DIAL)協議來發起通信。例如，伴隨裝置54可以使用DIAL協議來在AVDD上啟 動RUI客戶端應用程式，AVDD作為響應建立與伺服器的通信連接。伴隨裝置54使用DIAL 將額外的識別參數發送到AVDD上的冊1客戶端，其繼而將該識別參數發送到伺服器。月艮 務器將該額外的識別參數解釋為意指具有由該識別參數定義的身份的客戶端連接到服務 器。該額外的識別參數可以指示伴隨裝置的模型，伺服器可以將該模型與能力相關聯，以便 針對伴隨裝置的顯示器適當地修改RUI，或者該額外的識別參數可以直接指示能力。
[0032] 然後，伴隨裝置54使用相同的識別參數來建立與伺服器的通信，該識別參數被服 務器識別為指示伴隨裝置連接到與AVDD12配對的伺服器，並且識別為要求鏡像由伺服器 提供給AVDD12的冊1的單獨的RUI。
[0033] 另一種方法是伺服器使用通用即插即用（UPnP)、由Apple，Inc.提供的"Bonjour" 發現特徵、由Microsoft Corp提供的"ZeroConf"特徵來在網絡以及任何活動會話上公布它 的RUI。伴隨裝置54然後連接到AVDD上的活動RUI會話的實例化，因此鏡像它。
[0034] 又一種方法是將單獨的"配對註冊畫面"作為冊1的一部分提供。一旦伴隨裝置 54的用戶選擇要配對到的裝置，伴隨裝置就如此通知伺服器，伺服器作為響應將鏡像從服 務器發送到AVDD的冊1的RUI發送到伴隨裝置。
[0035] 移至方框72,伺服器將其冊1發送到AVDD。在一個非限制性例子中，可以使用經 由傳輸控制協議/網際網路協議（TCP/IP)套接字的低級圖形卡協議來發送被發送到AVDD的 RUI。這是因為發送到AVDD的冊1信息（以及發送到伴隨裝置54的鏡像冊1信息）基本上 簡單地定義如何在呈現裝置上呈現RUI元件，呈現裝置是AVDD12或伴隨裝置54。AVDD12 上的RUI客戶端或伴隨裝置54上的RUI客戶端不需要知道RUI元件在被選擇時的基本功 能，而是僅伺服器需要知道該基本功能。用戶選擇冊1元件導致呈現裝置僅將指示該選擇 發生的畫面位置的信號送回到伺服器，伺服器然後將該信號與所選冊1元件下面的適當功 能相關聯。另一種方法是，識別RUI元件的選擇的一些功能在AVDD12上的RUI客戶端或伴 隨裝置54上的冊1客戶端上是可用的，並且在冊1客戶端上進行一些處理以指示該選擇並 且將指示該選擇發生的畫面位置的信號送回到伺服器，伺服器然後將該信號與所選冊1元 件下面的適當功能相關聯。
[0036] 進入方框74,伺服器將鏡像發送到AVDD12的第一冊1的第二冊1發送到伴隨裝置 54,如果需要，將第二冊1修改為適合於伴隨裝置54的顯示器。換句話講，不是在伴隨裝置 54上具有與AVDD12上完全相同的圖形，伺服器可以將伴隨優化版本發送到伴隨裝置54,該 版本例如略去展現在AVDD12上的視頻圖片窗口，或者具有更少的文本信息，或者具有額外 的文本信息，例如，到關於節目、頻道或女演員的相關信息的統一資源定位符（URL)超連結。 然而，因為伴隨裝置54上的RUI的總體外觀和功能鏡像AVDD12上的RUI的總體外觀和功 能，並且伺服器使得它們保持同步，所以伴隨裝置54上的用戶體驗仍感覺像同步的體驗。
[0037] 因此，"鏡像"意指伺服器發送到伴隨裝置54的冊1響應於用戶輸入與由伺服器發 送到AVDD12的冊1如何響應於相同輸入改變相對應地改變，反之亦然。伴隨裝置RUI上的 用戶輸入因此被伺服器相應地傳播到AVDD上的RUI。如果需要，"鏡像"還可以意指這兩個 RUI在被用戶操作時具有相同的功能。
[0038] 在示例實施例中，伴隨裝置54可以僅使用相對簡單的超文本標記語言（HTML) -5 瀏覽器。伺服器承擔確保發送到AVDD12的RUI圖形和發送到執行HTML5瀏覽器的伴隨裝 置54的RUI圖形彼此同步地鏡像的負擔。注意，如果需要，伴隨裝置54可以在計算上是輕 量級的、便宜的，並且不需要支持視頻回放，即，伴隨裝置54無需執行視頻編解碼器或加密 能力。
[0039] 出於這種考慮，在示例實現中，伺服器對於伴隨裝置54產生HTML5兼容的圖形呈 現命令，這些圖形呈現命令鏡像被發送到AVDD12的可以是HTML5或者可以不是HTML5的圖 形呈現命令。在從伺服器發送到AVDD12的冊1用低級圖形協議(諸如TCP/IP套接字)的實 施例中，HTML5特徵(諸如Canvas和WebSocket)提供將TCP/IP低級協議轉碼（transcode) 為HTML5,注意，Canvas提供全像素級操縱低級圖形，WebSocket複製TCP/IP的行為。進一 步注意，Websocket提供通過HTTP連接的全雙工通信，而Canvas提供對於位圖圖形和矢量 圖形呈現的支持。
[0040] 進一步注意，HTML5是應用程式在其頂部執行的框架。在伴隨裝置54上，應用 程序可以被稱為被配置為建立WebSocket鏈路並且接收壓縮可擴展標記語言（XML)或 JavaScript對象表示（JS0N)格式化命令的協議應用程式，該協議應用程式提取這些格式 化命令來呈現HTML5圖形。例如，提取的命令可以是圖形矢量命令，諸如"在畫面位置X，y 處勾畫大小為h，w、顏色為c，alpha的盒子"。換句話講，在伴隨裝置54上執行的協議應用 程序(在示例實現中，該協議應用程式可以用JavaScript、HTML和層疊樣式表單（CSS)編 寫）確定如何將來自伺服器的RUI命令變為合適的HTML5圖形。
[0041] 可以將協議應用程式從伺服器下載到伴隨裝置54,記住伺服器擁有該協議的另一 半（即，分發壓縮的XML或JS0N格式化命令)。然而，可以在銷售時或者在使用伴隨裝置54 控制伺服器之前的任何時間，預先將協議應用程式加載到伴隨裝置54的HTML5瀏覽器中。
[0042] 方框76指示AVDD12和伴隨裝置54根據伺服器發送到每個組件的各自的RUI圖 形命令來彼此同步地呈現它們各自的RUI。因此，當在方框78,用戶通過例如伴隨裝置54 上的觸控螢幕輸入對冊1上的元件的選擇時，在方框80,伴隨裝置將該選擇發送到伺服器(通 常通過發送用戶的觸摸的畫面位置)。在方框82,伺服器將該畫面位置與Π 元件及其功能 相關聯來執行功能，例如改變頻道、改變音量、執行特技播放功能、記錄等。如果適當，服務 器還使兩個RW彼此同步地更新，以使這兩個冊1彼此保持鏡像。相應地將更新的冊1呈 現命令從伺服器發送到AVDD12和伴隨裝置54兩者。
[0043] 注意，更新AVDD RUI無需對於用戶在伴隨裝置上的每一個RUI輸入發生。例如，假 設冊1是具有許多行頻道選擇器元件的電子節目指南（EPG)，並且在AVDD上一次展現六行， 而在伴隨裝置上一次僅展現三行。如果用戶在伴隨裝置上向上滾動一行，使前頂行消失，但 是伴隨裝置上的冊1的新的底行和前頂行出現在正展現在AVDD上的冊1的六行內，則對於 這種特殊情況，伺服器不需要命令AVDD滾動AVDD上的EPG。伺服器維護與兩個裝置的會 話，然而，更新兩個會話意味著更新兩個RUI的狀態，使得用戶在伴隨裝置的冊1上的進一 步滾動(其導致假想EPG的當前沒有示出在AVDD上的新的行示出在伴隨裝置上）將使服務 器更新AVDD上的EPG，以相應地與伴隨裝置上的滾動位置相應地滾動。這同樣地在反方向 上起作用，其中，對於AVDD上的RUI的用戶輸入被發送到伺服器，伺服器相應地改變伴隨裝 置上的RUI以保持與AVDD上的RUI同步。一般來講，在AVDD上所示的RUI中展現伴隨裝 置(其通常具有比AVDD小的顯示器)上所展現的每一個冊1元件，如果用戶將光標焦點放置 在這些裝置中的一個裝置（AVDD或伴隨)的冊1中，則伺服器立即更新另一裝置的RUI以展 現相同的焦點。
[0044] 現在可以意識到，兩個RUI (在AVDD12和伴隨裝置54上)彼此同步地連結，以使得 用戶在伴隨裝置顯示器56上看到的內容鏡像在AVDD顯示器28上看到的內容。注意，因為 伺服器承擔確保發送到AVDD12的冊1圖形和發送到伴隨裝置54的瀏覽器的RUI圖形彼此 同步地鏡像的負擔，所以伴隨裝置54擺脫了產生RUI並且將該RUI發送到AVDD12的負擔。
[0045] 進一步注意，用戶可以將伴隨裝置54作為他在AVDD上所看到的內容的觸控螢幕控 制進行操作，這大大地改進了導航(觸摸，而不是指針)，但仍使得房間裡的每一個人可以共 享選擇處理，正如他們共享常規的遙控器一樣。當伺服器一直負責在兩個客戶端上呈現圖 形的每個部分、而不發生任何客戶端側創作（composition)時，該方法是非常適用的。因此， 伺服器可以非常容易地使多個客戶端上的呈現保持同步。
[0046] 圖3例示伺服器不將RUI圖形轉碼為HTML5以用於發送到伴隨裝置54,而是改為 由AVDD12執行轉碼任務的替代實施例。在該實現中，伺服器將根本不需要知道存在伴隨裝 置，所以不需要伺服器修改。
[0047] 因此，在方框84,伴隨裝置54建立與AVDD 12的通信。在方框86,伺服器將RUI發 送到AVDD12, AVDD12繼而在方框88針對HTML5對RUI進行轉碼，並將用於呈現冊1的指令 發送到伴隨裝置54。AVDD12還在它自己的顯示器上展現RUI，但是還沒有將指示實際上已 經顯示冊1或冊1元件的消息送回到伺服器。因此，在方框90,兩個裝置都呈現冊1或RUI 元件，伴隨裝置略晚於AVDD。當伴隨裝置已經完成呈現RUI或RUI元件時，它向AVDD報告 它的完成，AVDD然後回頭向伺服器報告AVDD上的RUI呈現完成。因此，當AVDD上的RUI或 冊1元件的呈現完成時，AVDD不立即向伺服器報告冊1或冊1元件已經被呈現，而是等待， 直到伴隨裝置向AVDD報告已經在伴隨裝置上呈現RUI或RUI元件為止，此時，AVDD向服務 器報告冊1呈現。
[0048] 在方框92,伴隨裝置接收用戶選擇。在方框94,伴隨裝置將該選擇的畫面位置 發送到AVDD，AVDD將該選擇中繼到伺服器。在方框96,伺服器更新AVDD RUI，將它發送到 AVDD，AVDD對更新的RUI進行轉碼，並將它發送到伴隨裝置54。
[0049] 圖4和圖5示出伺服器、伴隨裝置和音頻視頻顯示裝置（AVDD，為了示例描述，在圖 4和圖5中被標記為"TV"）的示例框圖。圖4和圖5中所示的伺服器、AVDD和伴隨裝置可 以用上述相應電器中的任何一個實現。
[0050] 在圖4中，伺服器100通過TCP/IP連接102將RUI圖形呈現命令與將展現在 AVDD104上的視頻一起發送到AVDD104。並行地，伺服器100通過Websockets通信鏈路108 僅將RUI圖形呈現命令發送到有HTML5能力的伴隨裝置106,而不發送視頻。如上所述，通 過由伴隨裝置106執行協議應用程式來將可以是壓縮的XML或JS0N格式化命令的圖形呈 現命令轉碼為HTML5,以呈現鏡像展現在AVDD104上的冊1的HTML5圖形。伺服器100通過 鏈路110從伴隨裝置106接收Π 命令，伺服器然後將新的RUI呈現命令傳播到AVDD104和 伴隨裝置106兩者以同步地反映 Π 命令，以使冊1保持以鏡像的方式連結。
[0051] 圖5示出與圖4中所示的系統基本上相同的系統，除了以下之外：除了將冊1圖形 呈現命令發送到伴隨裝置106之外，伺服器100還將視頻發送到伴隨裝置106以用於在伴 隨裝置的顯示器上展現該視頻。
[0052] 作為以上原理的例子，假定調用圖2的邏輯(伺服器使兩個冊1同步)，並且現在參 照圖6-9。在圖6和圖7中所示的例子中，AVDD顯示器28和伴隨裝置顯示器56都展現相 同的RUI，在這種情況下，EPG。注意，在所示的假設中，由於伴隨裝置顯示器56較小，所以 它僅展現EPG的兩行，而較大的AVDD顯示器28展現三行。
[0053] 現在假定，如圖7中的邊界加亮部分200所指示的，用戶觸摸了伴隨裝置顯示器56 的與節目E相應的區域。根據以上原理，伴隨裝置54將觸摸的畫面位置發送到伺服器，服務 器將該觸摸與用戶命令相關聯以展現關於節目E的信息。如圖8和圖9中所示，伺服器通 過使兩個裝置上的冊1保持同步(在這種情況下，通過在AVDD顯示器28和伴隨裝置顯示器 56上都展現節目E信息）來執行該命令。因為AVDD顯示器28大於伴隨裝置顯示器56,所 以它展現與伴隨裝置56相同的信息，在這種情況下，更多的是，節目E的明星的姓名。除此 之外，保持冊1展現相同的外觀。兩個冊1都包括"現在選擇"元件，如果使用例如RC30從 AVDD冊1選擇該元件或者使用顯示器56上的觸摸從伴隨裝置選擇該元件，則該元件使服務 器在AVDD上展現節目E，並且當有視頻能力並且啟用視頻時，在伴隨裝置上也展現節目E。
[0054] 注意，以上原理可以應用於同步的網頁，其中，第一裝置和第二裝置與使兩個裝置 上的相同網頁的展現同步的伺服器通信。這些裝置中的第一裝置的網頁上的用戶活動被發 送到伺服器，伺服器自動地改變另一(第二）裝置上的網頁以鏡像由第一裝置的用戶操作的 網頁。
[0055] 在當伴隨裝置不能接收視頻時的情況下，它可以接收空白視頻空間中的替代內 容。這可以是視頻中的僅作為位圖圖像展現的偶爾的iframe。它還可以是與用戶和正被觀 看的內容有關的廣告。它還可以是交互式內容，比如，投票、實時社交網絡、隱藏字幕、或可 訪問用戶將需要而房間裡的其他用戶將不需要的其他可訪問特徵。
[0056] 儘管本文中詳細地示出並描述了具體的"伴隨裝置上的伺服器-客戶端遠程用戶 界面（RUI)會話的自動發現和鏡像、以及在伴隨裝置上使用RUI同步地控制兩個會話"，但 是要理解本發明所包含的主題僅由權利要求書限制。
【權利要求】
1. 一種對於音頻視頻顯示裝置（AVDD)的伴隨裝置，包括： 處理器； 顯示器，所述顯示器在所述處理器的控制下展現需要的圖像； 計算機可讀存儲介質，所述計算機可讀存儲介質承載能夠被所述處理器執行以執行以 下步驟的指令： 從伺服器接收與呈現遠程用戶界面（RUI)有關的信息，冊1的一版本被展現在所述 AVDD上，RUI上的顯示位置能夠被用戶選擇以將能夠與控制命令相關聯的信息送回到服務 器；和 從伺服器接收對冊1的更新，以使得展現在所述伴隨裝置上的冊1與展現在所述AVDD 上的所述版本同步。
2. 根據權利要求1所述的伴隨裝置，其中，用超文本標記語言對與呈現冊1有關的信息 進行格式化以用於呈現RUI，所述超文本標記語言除了位圖圖形命令之外還支持使用矢量 圖形的圖形呈現命令。
3. 根據權利要求1所述的伴隨裝置，其中，所述AVDD上的RUI不用HTML5。
4. 根據權利要求1所述的伴隨裝置，其中，從展現在所述AVDD上的所述版本將展現在 所述伴隨裝置的顯示器上的冊1修改為適合於所述伴隨裝置的顯示器。
5. 根據權利要求1所述的伴隨裝置，其中，能夠被所述處理器執行的指令使所述處理 器建立與所述伺服器的通信。
6. 根據權利要求1所述的伴隨裝置，其中，能夠被所述處理器執行的指令使所述處理 器建立僅與AVDD而不與伺服器的通信，與呈現冊1有關的伺服器信息由所述伴隨裝置通過 所述AVDD接收。
7. 根據權利要求1所述的伴隨裝置，其中，能夠被所述處理器執行的指令使所述處理 器在用超文本標記語言建立的基礎上執行將與呈現冊1有關的信息轉碼為所述基礎上的 圖形的協議應用程式，所述超文本標記語言除了位圖圖形命令之外還支持使用矢量圖形的 圖形呈現命令。
8. 根據權利要求1所述的伴隨裝置，其中，所述伴隨裝置接收的與呈現冊1有關的信息 包括可擴展標記語言（XML)命令和/或JavaScript對象表示（JSON)格式化命令。
9. 一種伺服器，包括： 至少一個處理器；和 至少一個計算機可讀存儲介質，所述至少一個計算機可讀存儲介質能夠供所述處理器 訪問，並且承載當被所述處理器執行時使所述處理器執行以下步驟的指令： 將用於在音頻視頻顯示裝置（AVDD)的顯示器上呈現包含至少一個遠程用戶界面 (RUI)元件的RUI的至少一個圖形呈現命令發送到所述AVDD ; 與將所述圖形呈現命令發送到所述AVDD同步地，將使伴隨裝置在所述伴隨裝置的顯 示器上呈現冊1或其基本類似版本的至少一個相應的圖形呈現命令發送到所述伴隨裝置， 展現在所述伴隨裝置上的所述基本類似版本是展現在所述AVDD上的冊1的針對所述伴隨 裝置的展現能力而修改的版本； 從所述伴隨裝置接收與冊1有關的至少一個用戶選擇信號； 將所述用戶選擇信號與控制命令相關聯； 執燈所述控制命令；和 至少有時，響應於來自所述伴隨裝置的用戶選擇信號，自動地將使所述AVDD修改展現 在其上的RUI以使得所述AVDD上的RUI與所述伴隨裝置上的RUI同步的圖形呈現命令發 送到所述AVDD。
10. 根據權利要求9所述的伺服器，其中，所述指令在被所述處理器執行時使所述處理 器將至少一個修改冊1呈現命令發送到所述AVDD並且將相應的至少一個修改冊1呈現命 令發送到所述伴隨裝置，以使得展現在所述伴隨裝置上的冊1鏡像展現在所述AVDD上的 RUI。
11. 根據權利要求9所述的伺服器，其中，所述指令在被所述處理器執行時使所述處理 器以適合於在HTML5環境下呈現冊1的格式將至少一個圖形呈現命令發送到所述伴隨裝 置。
12. 根據權利要求9所述的伺服器，其中，所述指令在被所述處理器執行時使所述處理 器使用經由傳輸控制協議/網際網路協議（TCP/IP)套接字的低級圖形卡協議將至少一個圖 形呈現命令發送到所述AVDD。
13. 根據權利要求9所述的伺服器，其中，所述指令在被所述處理器執行時使所述處理 器以可擴展標記語言（XML)格式或JavaScript對象表示（JSON)格式將至少一個圖形呈現 命令發送到所述伴隨裝置。
14. 一種方法，包括： 在音頻視頻顯示裝置（AVDD)和與所述AVDD配對的伴隨裝置處接收用於在每個裝置上 呈現各自的遠程用戶界面（RUI)的圖形呈現命令；和 在所述AVDD和所述伴隨裝置兩者處接收各自的冊1修改命令以彼此同步地改變各自 的冊1。
15. 根據權利要求14所述的方法，其中，所述各自的RUI修改命令是由伺服器響應於所 述伴隨裝置上的用戶輸入而產生的。
16. 根據權利要求14所述的方法，其中，對所述各自的冊1修改命令彼此不同地格式 化。
17. 根據權利要求14所述的方法，其中，發送到所述伴隨裝置的冊1修改命令為適合於 在HTML5環境下呈現冊1的格式。
18. 根據權利要求14所述的方法，其中，發送到所述伴隨裝置的冊1修改命令為可擴展 標記語言（XML)格式或JavaScript對象表示（JSON)格式。
19. 根據權利要求14所述的方法，其中，發送到所述AVDD的冊1修改命令是用經由傳 輸控制協議/網際網路協議（TCP/IP)套接字的低級圖形卡協議的。
20. 根據權利要求14所述的方法，其中，因為伺服器承擔確保發送到所述AVDD的RUI 圖形和發送到所述伴隨裝置的RUI圖形彼此同步地鏡像的負擔，所以所述伴隨裝置不必產 生RUI並將RUI發送到所述AVDD。
【文檔編號】H04N21/472GK104105000SQ201410145224
【公開日】2014年10月15日 申請日期:2014年4月10日 優先權日:2013年4月12日
【發明者】G·克利夫特, 吳珍珂 申請人:索尼公司