用於管理遠程會話中的多媒體操作的系統和方法

2023-10-17 07:31:04 2

專利名稱：用於管理遠程會話中的多媒體操作的系統和方法
用於管理遠程會話中的多媒體操作的系統和方法背景可以包括協作會話的遠程會話可以在本地計算機和遠程計算機之間提供遠程化 (remoting)體驗。協作可以涉及在遠程計算機上重新創建本地計算機的圖形用戶界面的 一部分或全部的外觀。可以使用諸如遠程化之類的一種或多種技術來在遠程計算機上重新 創建圖形用戶界面。最終在遠程計算機上重新創建的協作會話可以由一個或多個參數來管 控，這些參數可以與本地計算機的在遠程計算機處重新創建的那部分相關聯。協作會話的一個常見的示例可以是與用於回放多媒體文件的媒體操作相關的操 作。用於遠程化這樣的會話的技術可以涉及將媒體數據從本地計算機傳輸到遠程計算機。 媒體數據可以包括與旨在被播放的多媒體文件相關聯的數據、處理數據、呈現數據等等。本 地計算機上的多媒體文件可以通過將媒體數據遠程化到遠程計算機來在遠程計算機上遠 程播放。媒體數據並非呈現到本地計算機上，而是呈現到遠程計算機上。概述提供本概述是為了介紹用於管理遠程會話中的多媒體操作的概念。這些概念在以 下詳細描述中進一步描述。本概述並不旨在標識所要求保護的主題的必要特徵，也不旨在 用於幫助確定所要求保護的主題的範圍。附圖簡述參考附圖來描述「詳細描述」。在附圖中，附圖標記中最左邊的數字標識該附圖標 記首次出現的附圖。在各附圖中，使用相同的標號來指示相同的特徵和組件。

圖1是示出了用於管理協作會話中的多媒體操作的示例性網絡的框圖。圖2是示出了管理基於計算機的網絡中的協作會話中的多媒體操作的流程圖。圖3是用於管理協作會話中的多媒體操作的映射表的示例性圖示。圖4是示出了媒體平臺的一個或多個示例性組件的框圖。圖5是示出了用於管理協作會話中的多媒體操作的示例性過程的流程圖。圖6是示出了示例性通用計算機環境的框圖。詳細描述下面描述的方法和系統涉及協作會話和處理協作會話中的媒體回放操作。協作會 話可以在客戶機計算機(下文簡稱「客戶機」)和伺服器計算機(下文簡稱「伺服器」)之 間提供遠程化體驗。協作可以涉及在客戶機上表示伺服器的圖形用戶界面(GUI)的一部分 或全部。在某些協作情形下，出於各種原因，諸如媒體回放命令之類的媒體操作可以與⑶I 的其餘部分分開處理。例如，可以單獨地處理媒體回放命令以節省伺服器和客戶機之間的 網絡帶寬。在這樣的情況下，媒體能以未經處理的或經部分處理的形式從伺服器重定向到 客戶機。然後，客戶機可以處理該媒體，並將經處理的媒體與GUI的其餘部分集成以創建服 務器⑶I的表示。媒體或媒體文件可以根據不同的格式存儲，如符合MPEG等等的格式以及其他格 式。對媒體文件的處理可以由使用被配置成處理該媒體文件的格式的一個或多個媒體平臺 的媒體播放器來完成。媒體處理可以涉及諸如媒體回放命令之類的媒體操作。這樣的媒體操作可以是平臺專用的。在協作情形下，客戶機和伺服器可以支持或者可以不支持相同的 媒體平臺。例如，伺服器上支持的媒體平臺所專用的媒體回放命令對於客戶機上支持的媒 體平臺而言可能沒有意義。各示例性實現可以提供允許在伺服器和客戶機之間在協作會話中有效地傳達媒 體操作的抽象功能。例如，對媒體操作的抽象可以便於協作會話中的用戶媒體回放命令的 執行。在這樣的情況下，某些實現可以將伺服器的平臺專用媒體回放命令轉換成通用媒體 回放命令。然後，可以將通用媒體回放命令轉換成客戶機上支持的媒體平臺的平臺專用媒 體回放命令。然後，客戶機可以執行該媒體回放命令，並將結果與客戶機的GUI的其餘部分 集成。在一實現中，媒體被發送到客戶機以供處理而非在伺服器上處理，平臺專用命令 可以在伺服器處截取。如所討論的，伺服器和客戶機可以具有或者可以不具有相同的平臺。 因此，伺服器的平臺專用命令在客戶機上可能不被理解。本發明的實現可以便於伺服器和 客戶機之間的有效通信，以便用戶的媒體回放命令可以獨立於伺服器和客戶機上所使用的 平臺來在客戶機上執行。例如，本發明的一些實現可以將伺服器的平臺專用命令轉換為通 用媒體回放命令。然後，可以將通用媒體回放命令發送到客戶機。客戶機可以將通用命令 轉換成由客戶機支持的平臺所專用的命令。然後，客戶機的平臺可以處理該命令以在客戶 機設備上取得所需的效果(即，播放、暫停、停止等等)。示例性系統圖1示出了用於實現協作會話和處理這些協作會話中的媒體操作的示例性系統 100。系統100可以包括經由網絡106耦合到客戶機104的伺服器102。伺服器桌面110可 以顯示在伺服器102上。類似地，客戶機桌面112可以顯示在客戶機104上。所描述的實現是在通常在當前時間點遇到的計算環境的上下文中的。各示例可以 通過由諸如個人計算機(即，PC)之類的計算機執行的諸如程序模塊之類的計算機可執行 指令或代碼裝置來實現。一般而言，程序模塊包括執行特定任務或實現特定抽象數據類型 的例程、程序、對象、組件、數據結構等等。各示例可以在除PC以外的計算機系統配置中實現。例如，各實施例可以在手持式 設備、多處理器系統、基於微處理器的或可編程的消費電子產品、網絡PC、小型計算機、大型 計算機蜂窩電話等等中實現。此外，隨著技術持續發展，各實現還可以在尚未標識的各類設 備上實現。例如，隨著處理能力的單位成本繼續下降和無線技術的發展，類似當今的蜂窩電 話的計算設備可以在單個行動裝置中執行當今的PC、攝像機、蜂窩電話等等的功能。此單個 設備可以在一種情形下充當伺服器，並且在另一種情形下充當客戶機。這只是所描述的實 現的許多現有和正在開發的示例中的一個。各示例可以其中任務由通過通信網絡連結的遠程處理設備執行的分布式計算環 境中實現。在分布式計算環境中，程序模塊可以位於本地和遠程存儲器存儲設備中。此外， 如此處所使用的術語「伺服器」和「客戶機」並不暗示兩個設備的任何相對能力。客戶機可 以比伺服器具有更多、更小或相等的處理能力。相反地，在本說明書中，名稱「伺服器」和客 戶機描述了兩個組件的相對關係。例如，第一或伺服器設備的計算環境被遠程化到第二或 客戶機設備。為便於說明，本文中所提供的示例涉及單個伺服器和單個客戶機；然而，這隻 是一個可能的配置。可以理解，在其他實現中，可以包括支持多個客戶機的一個或多個伺服器。在某些實現中，第一計算機可以充當第二計算機的伺服器，而第二計算機又充當第三計 算機的伺服器。如所討論的，協作會話可以在伺服器102和客戶機104之間提供遠程化體驗。協 作可以涉及在客戶機上表示伺服器的圖形用戶界面(GUI)的一部分或全部。在此情況下， GUI被表示成伺服器桌面110。具體而言，協作可以創建在伺服器102上運行的一個或多個 應用程式實際在客戶機104上運行的感覺。協作會話的示例可以包括遠程終端會話情形和一個或多個呈現情形等等。在遠程 終端會話情形下，可以在客戶機104上生成來自伺服器的顯示區(例如，伺服器桌面110) 的GUI以作為表示或遠程化桌面114。呈現情形可以涉及遠程化在伺服器上運行的特定應 用程序的⑶I而並非整個桌面110。在這樣的情形下，該應用程式的伺服器⑶I (例如，圖形 窗口)可以用於在客戶機上生成該應用程式的表示。例如，伺服器桌面110包括媒體播放 器圖形窗口 116。呈現會話可以在客戶機104上生成圖形窗口 116的表示118，而沒有服務 器的桌面110的其餘部分。媒體處理可以在伺服器102上由媒體播放器120經由存儲在服 務器102上的媒體平臺122來實現。類似地，媒體處理也可以在客戶機104上由媒體播放 器124經由存儲在客戶機104上的媒體平臺126來實現。如所討論的，與協作會話相對應的大多數過程可以出現在伺服器102上；然而，在 協作會話中，媒體操作可以至少部分地在客戶機104上處理。例如，媒體回放命令可以表示 一個或多個類型的媒體操作。由用戶在客戶機104處生成的媒體回放命令(S卩，用戶命令) 可以被轉發到伺服器102以供處理。伺服器102根據伺服器102的配置來處理用戶命令。 例如，伺服器102基於媒體平臺122來處理用戶命令。在這樣的情況下，對用戶命令的處理 可以基於媒體平臺122所專用的用戶命令來生成專用媒體回放命令。協作會話可以截取平臺專用媒體回放命令，並可以將該命令發送到客戶機以供執 行。在某些情況下，客戶機的媒體平臺126，可能不理解伺服器的媒體平臺122所專用的媒 體回放命令。為此，系統100可以包括可以便於伺服器102和客戶機104之間的媒體相關 通信的協作媒體抽象層130。例如，在本示例中，協作媒體抽象層130可以抽象或通用化媒 體平臺122所專用的媒體回放命令。然後，可以將通用化的媒體回放命令轉換成客戶機的 媒體平臺126所專用的媒體回放命令。因此，協作媒體抽象層130可以便於協作會話中的用戶命令的執行。此外，除媒體 回放命令示例以外，協作媒體抽象層130可以便於在進行協作會話的伺服器102和客戶機 104之間的通信傳遞媒體操作。在某些情況下，通用媒體回放命令可以被客戶機104理解，而不管伺服器102和客 戶機104的配置差異如何。例如，客戶機104和伺服器102可以具有不同的作業系統、相同 作業系統的不同版本、或不同的媒體平臺等等。下面結合圖2和圖3進一步地詳細描述實 現了對協作會話中的多媒體操作的管理的系統的工作。圖2示出了在相關圖1介紹的概念上構建的系統200。在此情況下，相關於遠程 終端會話來描述系統200。可以理解，類似的概念可以同樣地適用於其他協作會話。在本 實現中，系統200包括可以通過網絡206進行通信的伺服器202和客戶機204。伺服器202 包括媒體平臺208和遠程終端會話(即「RTS」)媒體抽象模塊210。客戶機204包括媒體 平臺212和RTS媒體抽象模塊214。
在此實現中，伺服器202可以將與伺服器的桌面216相關的數據發送到客戶機 204，以供在客戶機204處生成諸如遠程桌面218之類的遠程表示。與遠程桌面218相關聯 的數據可以包括用戶界面組件220和媒體組件222。用戶界面組件220可以包括通常構成用戶界面的圖形和圖像。用戶界面組件220 可以包括圖標，主機音頻，背景圖像和諸如與文字處理應用程式、電子表格應用程式、數據 庫應用程式、媒體應用程式等等相關聯的GUI等應用程式表示。事實上，不是媒體組件222 的任何組件都是用戶界面組件220的一部分。當與媒體組件222相比時，用戶界面組件220 可以是相對靜態的，並且相對來說是低數據密集的。相比之下，媒體組件222可能是相對動 態的，並且是高數據密集的。如所討論的，媒體組件222可以是高數據密集的，因為它們包括構成媒體呈現或 媒體事件的媒體豐富的元素。與媒體組件222相關聯的數據的傳輸可以是帶寬密集的。媒 體組件222的示例包括，但不限於，包括視頻和/或音頻呈現的流媒體呈現，諸如有線電視 (CATV)、衛星、按觀看計費的或廣播的節目之類的電視節目；數字壓縮媒體體驗；無線電節 目；記錄的媒體事件(例如，以VCR、DVD播放器、CD播放器、個人錄像機等等作為源)；實時 媒體事件；以及照像機饋源等等。為解釋起見，在伺服器桌面216上以及在客戶機的遠程桌面218上都示出了媒體 組件222。可以理解，伺服器桌面216的部分或全部可以不必顯示在伺服器202的顯示設備 上。在這樣的實現中，媒體組件222(或其一部分)可以只出現在客戶機上。例如，即使服 務器不連接到顯示設備，伺服器桌面也可以被遠程化到客戶機。遠程桌面218的數據可以通過網絡206從伺服器202發送到客戶機204。在一實 現中，與用戶界面組件220和媒體組件222相關聯的數據可以分別通過用戶界面信道224 和媒體信道226來發送。用戶界面信道224可以將用戶界面組件220傳遞到客戶機204。在一實現中， 位於美國華盛頓州雷德蒙市的微軟 公司所提供的Terminal Server (終端伺服器)和 Terminal Client (終端客戶機)服務可以提供示例性用戶界面信道224。可以使用可遠 程化協議通過用戶界面信道224來發送數據。示例性協議和數據格式包括，遠程桌面協 議(RDP)、T-120系列協議或HTML(超文本標記語言以及其許多變體)等等。由Citrix Systems所開發的獨立計算體系結構(ICA)提供了可以支持遠程終端會話的另一個示例。媒體信道226可以與用戶界面信道224分開或集成在一起。可以使用媒體信道 226來發送諸如上面所列出的視頻及其他媒體類型之類的帶寬密集的體驗。在此情況下， 媒體信道226可為媒體組件222提供通信管道以用於與用戶界面組件220進行分開的流傳 輸。因此，媒體組件222可以相對於用戶界面組件在帶外但同步地發送。通過媒體組件226 發送數據的示例性協議可以包括，但不限於，傳輸控制協議(TCP)以及RDP連接上的虛擬信 道。換言之，本發明的實現可以將與遠程桌面相關的數據傳遞分為兩支。諸如用戶界 面組件220之類的伺服器桌面216的相對低數據密集的組件可以在伺服器202上處理，並 隨後發送到客戶機204。諸如媒體組件222之類的相對高數據密集的組件能以未經處理的 或較少處理的形式發送到客戶機204。處理隨後可以由客戶機204完成並與低數據密集的 組件相結合，以在客戶機204處創建遠程桌面218。可以在伺服器處跟蹤影響媒體呈現的事
7件(即，媒體操作)，以便可以維持媒體呈現與遠程桌面218的其他部分的相對關係。在本示例性情形下，用戶界面組件220與媒體組件222相組合或聯合以在客戶機 204處生成遠程桌面218。客戶機204處的用戶可以通過與遠程桌面218進行交互來遠程 地操作伺服器202。例如，客戶機204處的用戶可以將滑鼠光標移動到遠程桌面218上的應 用程序上方，並通過點擊對應的圖標來打開應用程式。同樣，用戶可以通過遠程桌面向應用 程序發出命令。例如，對於媒體應用程式，用戶可以利用滑鼠點擊來發出諸如開始回放(開 始)、停止回放(停止)、快進、倒帶、暫停以及設置音量之類的用戶命令等等。本發明的實 現便於遠程終端會話情形下的用戶命令的執行。為解釋起見，考慮其中客戶機204處的用戶輸入與遠程桌面218相關的用戶媒體 回放命令(用戶命令)的假設情形。用戶命令可以作為遠程終端會話的一部分經由網絡206 從客戶機204中繼到伺服器202，如作為命令230概括地表示的。命令230可以通過UI信 道224或通過不同的信道來發送。命令230可以在伺服器202上由媒體平臺208處理成平 臺專用媒體命令。如所討論的，媒體平臺208的媒體處理可以作為遠程終端會話的一部分 被截取，並發送到客戶機204以供進一步處理。客戶機的媒體平臺212可以與諸如媒體平臺208之類的伺服器的媒體平臺相同， 或者也可以不同，並且如此可以理解或者也可以不理解所截取的伺服器202的平臺專用媒 體命令。伺服器的RTS抽象模塊210可以接收所截取的平臺專用媒體命令。RTS抽象模塊 210可以將所截取的平臺專用媒體命令轉換成通用或抽象的媒體命令。該通用媒體命令可 以從伺服器的RTS媒體抽象模塊210發送到客戶機的RTS媒體抽象模塊214，如作為命令 232概括地表示的。客戶機的RTS媒體抽象模塊214可以將諸如命令232之類的通用媒體 命令轉換成客戶機的媒體平臺212所專用的媒體命令。然後，客戶機的媒體平臺212可以 執行該客戶機專用媒體命令以實現用戶命令。下面將相關於圖3來描述用於實現遠程終端 會話中的媒體命令抽象的更詳細的示例。圖3提供了系統200如何實現上文相關於圖2所描述的媒體操作抽象的示例。在 此情況下，分別位於伺服器202和客戶機204處的RTS媒體抽象模塊210、214通過遠程終 端會話(RTS)映射表302、304實現媒體操作抽象。例如，伺服器的RTS媒體抽象模塊210 可以接收伺服器的媒體平臺208所專用的媒體命令。在一實現中，由伺服器的RTS媒體抽 象模塊210接收到的命令可以響應於可能與媒體文件的回放相關聯的事件所專用的一個 或多個動作。例如，當客戶機204處的一個或多個用戶訪問媒體文件以便進行回放時，服務 器的RTS媒體抽象模塊210可以接收命令。伺服器的RTS媒體抽象模塊210可以利用RTS映射表302將接收到的媒體操作映 射成通用或抽象媒體操作。根據RTS映射表302所抽象的媒體操作可以發送到客戶機的 RTS媒體抽象模塊214。客戶機的RTS媒體抽象模塊214可以使用另一個RTS映射表304。 RTS映射表304可以將所抽象的媒體操作轉換成客戶機的媒體平臺212所專用的媒體操 作。然後，客戶機的媒體平臺212可以執行該媒體操作。為解釋起見，假設伺服器的媒體平 臺208是Media Foundation (媒體基礎)平臺，而客戶機的媒體平臺212是DShow 平 臺。在此示例中，RTS映射表302可以將在306A-306I概括地表示的Media Foundation 平臺專用操作分別轉換成在308A-308I概括地表示的對應的通用媒體操作。類似地，RTS 映射表304可以將在310A-310I概括地表示的通用媒體操作轉換成在312A-312I概括地表示的對應的DShow 平臺專用操作。例如，假設基於Media Foundation平臺的RTS媒 體抽象模塊210從媒體平臺208接收操作306A，即「 IMFClockStateSink: OnClockStart ed」。RTS媒體抽象模塊210可以利用映射表302將操作306A轉換成通用媒體操作命令 308A,即「StartPlayback(開始回放)」。RTS媒體抽象模塊210可以將通用媒體操作命令 "StartPlayback" 308A發送到客戶機204上的RTS媒體抽象模塊214。諸如通用命令308A之類的通用媒體操作命令可以基於RTS映射表304來映 射到客戶機的媒體平臺212的對應命令。例如，RTS媒體抽象模塊214可以在RTS映射 表304中定位從伺服器202接收到的通用媒體操作命令「StartPlayback」。在此情況 下，通用媒體操作命令「StartPlayback」被表示為310A。RTS映射表304可以將通用媒 體操作命令「StartPlayback」310轉換成被表示為命令312A的DShow 平臺專用媒體 操作「 IMediaControl Run」。RTS媒體抽象模塊214可以將DShow平臺專用媒體操作 「IMFMediaSession: :Start」312A發送到客戶機平臺212 ( DShow 平臺)，從而允許客戶 機的平臺212理解並執行該DShow專用媒體操作。可以通過跨映射表302、304的單個行水 平地移動來進行其他映射。可以理解，分別位於伺服器202和客戶機204處的RTS映射表 302、304可以包括其他命令和將平臺專用命令關聯到通用命令的映射或進行反向關聯的映 射。在一實現中，RTS映射表302、304可以被配置成在還有待於開發的媒體平臺之 間轉換。儘管此處所示出的RTS映射表302、304包括兩個特定媒體平臺之間的轉換，但 是其他映射表可以包括多個轉換。例如，伺服器的媒體平臺208可以是DShow和Media Foundation,而客戶機的媒體平臺可以是Quick Time 平臺和〇gg 平臺。因此，在某些實 現中，RTS映射表302、304可以提供伺服器媒體平臺和客戶機媒體平臺之間的轉換。此外，通過對媒體操作進行抽象，RTS映射表302、304可以比其他可能的解決方案 更簡單。例如，伺服器RTS映射表302可能不需要考慮可以在客戶機204上使用的所有可能 的媒體平臺。換言之，諸如RTS映射表302之類的伺服器的媒體表可以與客戶機的媒體平 臺212無關(即，伺服器的媒體表不必基於客戶機的媒體平臺配置來進行配置)。對於客戶 機的媒體表212也同樣如此。此外，伺服器的RTS映射表302也可以不必隨著可在客戶機 204上使用的新媒體平臺的開發而更新。相反，伺服器RTS映射表302可以將伺服器202上 存在的任何媒體平臺所專用的諸如操作306A-306I之類的媒體操作轉換成諸如308A-308I 之類的對應的抽象或通用媒體操作。然後，客戶機RTS映射表304可以將諸如308A-308之 類的通用媒體操作轉換成諸如操作310A-310I之類的客戶機204上的媒體平臺212所專用 的媒體操作。客戶機RTS映射表304不必考慮伺服器202上使用的或可以使用的所有不同 的媒體平臺。相反，客戶機RTS映射表304可以簡單地將通用媒體操作310A-310I轉換成 在客戶機204上操作的媒體平臺212所專用的媒體操作。所示RTS映射表302、304隻是表示可以利用文字處理文檔實現的一個可能實現。圖4是用於支持遠程終端會話中的媒體操作抽象的系統400的選擇性組件的示例 性表示。圖4涉及伺服器402和客戶機404之間的遠程終端會話的媒體組件。在此實現 中，終端服務會話需要遠程桌面協議(RDP)配置，上面示出了其示例。作為補充或替換，系 統400可以用於遠程終端會話以外的其他協作情形。伺服器400可以包括第一媒體平臺406和第二媒體平臺408。媒體平臺406與媒體源410相關聯。媒體平臺406包括幾何形狀跟蹤器模塊412、RTS媒體抽象模塊414、目 的地模塊416，以及包括RTS媒體抽象模塊420的分發管理器模塊418。媒體平臺406還包 括視頻解碼器422、視頻效果模塊424、視頻呈現器426、RTS媒體抽象模塊428、音頻解碼器 430、音頻效果模塊432、音頻呈現器434、RTS媒體抽象模塊436、以及音頻發送器438。服 務器還包括可以與媒體平臺406進行通信的媒體播放器440。客戶機的媒體平臺408可以包括RTS媒體抽象模塊442、幾何形狀跟蹤模塊444， 包括RTS媒體抽象模塊448的多媒體模塊446。客戶機的媒體平臺408還可以包括RTS媒 體抽象模塊450、音頻接收器模塊452、音頻解碼器454、音頻效果模塊456，以及音頻呈現器 458。媒體平臺408還可以包括RTS媒體抽象模塊460、視頻接收器462、視頻解碼器464、視 頻效果模塊466，以及視頻呈現器468。客戶機還包括可以與媒體平臺408進行通信的媒體 播放器470。在此示例中，伺服器的媒體平臺406可以作為伺服器作業系統(未示出)的一部 分而存在以允許回放媒體，以便與該作業系統進行交互的應用程式可以控制媒體的回放而 無需「知道」該媒體的格式的特定細節。類似地，客戶機的媒體平臺408可以作為客戶機操 作系統(未示出)的一部分而存在以允許回放媒體，以便與該作業系統進行交互的應用程 序可以控制媒體的回放而無需知道該媒體。例如，媒體平臺406可以允許諸如媒體播放器 440之類的應用程式運行，而無需媒體播放器440知道與所回放的媒體的格式有關的細節。 以類似的方式，客戶機的媒體平臺408可以允許媒體播放器470作為伺服器作業系統的一 部分來運行以允許回放媒體，以便與該作業系統進行交互的應用程式可以控制媒體的回放 而無需知道媒體格式的特定細節。在伺服器402上運行的媒體平臺406可以與在客戶機 404上運行的媒體平臺408相同。在其他情況下，伺服器402上的媒體平臺406可以是與在 客戶機404上操作的媒體平臺408不同的產品和/或版本。在前一和後一種情況下，下面 所描述的組件都可以允許媒體操作在伺服器和客戶機之間高效地傳遞。在此示例中，伺服器的媒體平臺406可以經由目的地模塊416來檢測它是否在遠 程終端會話中運行。目的地模塊416可以是定義在哪裡進行呈現(例如，窗口、磁碟文件等 等)以及呈現發生了什麼的對象。此外，伺服器媒體平臺406可以確定源連接到客戶機， 如具有在本地呈現媒體的能力的客戶機404。分發管理器418可以確定伺服器的媒體平臺 406連接到客戶機404，並且客戶機404具有在本地呈現媒體的能力。分發管理器418還可 以建立遠程終端會話策略，以允許將媒體遠程化到客戶機404。分發管理器418可以與客戶 機404上的諸如多媒體組件模塊444之類的多媒體客戶端插件建立虛擬信道連接。該虛擬 信道連接可以允許在伺服器402和客戶機404之間交換與遠程終端會話相關的控制信息。通過分發管理器418和多媒體組件模塊444之間的虛擬信道連接交換的控制信息 的一個方面涉及遠程終端會話中的媒體操作。分發管理器418和多媒體組件模塊444可以 使用它們各自的RTS媒體抽象模塊420、446來協商如何處理遠程終端會話中的媒體操作。 伺服器402和客戶機404中的任何一個都可以啟動關於媒體操作的協商。在某些實現中， 媒體操作協商可以作為用於建立遠程終端會話的啟動過程的一部分來啟動。在其他實現 中，媒體操作協商可以響應於諸如在遠程終端會話中接收到的用戶的媒體回放命令之類的 媒體操作而開始。在一說明性示例中，響應於用戶的媒體回放命令，伺服器402可以確定來自媒體源410的媒體的媒體格式。出於解釋的目的，假設伺服器402確定源媒體格式是MPEG IV。 伺服器的RTS媒體抽象模塊420可以查詢諸如客戶機404之類的客戶機是否支持MPEG IV 媒體格式。例如，伺服器的RTS媒體抽象模塊420可以向客戶機的RTS抽象模塊448查詢 客戶機是否支持諸如MPEG IV之類的特定媒體格式。這樣的查詢的示例在RTS映射表302、 304中作為在308E和310E所示的通用媒體操作「檢查格式支持(CheckFormatSupport) 」來 提供。客戶機的RTS媒體抽象模塊448可以回頭查詢，以詢問伺服器402可以使用什麼媒 體平臺來支持該媒體格式。然後，客戶機404可以利用來自伺服器402的信息來確定客戶 機404是否支持該媒體格式。另選地，客戶機404可以確定它具有支持該媒體格式的諸如 媒體平臺408之類的媒體平臺。在後一種情況下，客戶機404可以指示伺服器402繼續流 傳輸該媒體。例如，客戶機404通過客戶機的RTS媒體抽象模塊448可以具有完全不同於 伺服器402上的媒體平臺406的媒體平臺408。在這樣的情況下，在協作會話的諸如回放、 暫停等等之類的操作進行之前，可以對由客戶機404支持的平臺執行檢查。在另一種情況 下，並非等待伺服器，客戶機的RTS媒體抽象模塊448可以主動地將與客戶機404相關聯的 與客戶機404所支持的媒體格式相關的能力和/或在客戶機404操作的媒體平臺通知給服 務器402。此外，利用虛擬信道連接允許分發管理器418和多媒體組件446建立分布式拓撲 結構。分布式拓撲結構可以執行各種功能。例如，分布式拓撲結構可以包括伺服器402上 的網絡發送器和客戶機404上的網絡接收器。網絡接收器又分別連接到客戶機404上的音 頻和/或視頻呈現器458、468。在此特定配置中，在伺服器402上示出了視頻發送器472和 音頻發送器438，而在客戶機404上示出了對應的視頻接收器462和音頻接收器452。在遠程桌面媒體呈現情形下，媒體可以作為流以未經處理的或部分地處理的形式 被定向到客戶機404。例如，在伺服器402處，媒體平臺406可以截取否則將在伺服器402 處由諸如視頻解碼器422、視頻效果模塊424、視頻呈現器438、音頻解碼器430、音頻效果 432和音頻呈現器434處理的媒體。該媒體可以被重定向到相應的視頻和音頻發送器472、 438以便流傳輸到客戶機404。流傳輸可以通過各個信道進行。例如，可以使用RDP通過虛 擬信道在帶內流傳輸該媒體。這樣的配置重用現有的RDP連接並允許RDP處理穿越防火牆 並建立安全的經認證的上下文的各種細節以及其他任務。作為替換或補充，媒體可以通過 邊帶用戶數據報協議(UDP)或傳輸控制協議(TCP)連接來流傳輸。在某些實現中，可以使 用帶外配置。例如，在特定配置中，與通過RDP的連接可用的帶寬相比，帶外連接在該連接 上有更大帶寬可用。在客戶機404上，在多媒體模塊446上接收流傳輸的媒體，多媒體模塊446又將該 流傳輸的媒體分別傳遞到視頻和音頻接收器462、452。視頻和音頻接收器462、452分別將 該媒體傳遞到客戶機側轉換器和接收器，包括視頻解碼器464、視頻效果466、視頻呈現器 468、音頻解碼器454、音頻效果456以及音頻呈現器458。然後，在客戶機404處解碼和呈 現該媒體。由於音頻和視頻是以編碼形式流傳輸的，因此該編碼媒體中所包含的任何同步 工具都可在客戶機404處用於維持正確的音頻視頻同步。為便於解釋，將未經處理的媒體 從伺服器402流傳輸到客戶機404。在其他實現中，可以發生對媒體的某些處理。例如，假設根據上文所描述的遠程桌 面情形，用戶請求播放在源處在假設的編解碼器AA中編碼的媒體。在此示例中，源可以包含解碼假設的編解碼器AA的組件，但是客戶機可以不包含；然而，源和客戶機兩者都可以 具有第二假設的編解碼器格式BB的編解碼器能力。在這樣的情況下，源可以解碼該媒體， 然後在將該媒體流傳輸到客戶機404之前將該媒體重新編碼成BB格式。這只是一個示例， 它表示根據上文和下文所描述的概念可以在系統組件中進行的對媒體的各種級別的處理。幾何形狀跟蹤組件(即幾何形狀跟蹤器)412,444能夠註冊和跟蹤與終端服務會 話的目標窗口相關的任何變化。例如，幾何形狀跟蹤器412能夠註冊目標窗口的唯一標識 符並跟蹤上文所描述的遠程桌面上的目標窗口。幾何形狀跟蹤器412可以跟蹤伺服器側與 由另一個窗口對目標窗口的剪輯、目標窗口的位置、以及目標窗口的大小相關的更改。然 後，通過遠程桌面協議將這些更改中繼到客戶機404，在那裡這些更改被定向到客戶機側多 媒體模塊446。幾何形狀跟蹤可以是提供窗口幾何形狀變化的通知系統的諸如 Terminal Services 平臺之類的平臺的一個特徵。每當窗口的幾何形狀變化時，都可以生 成包含新幾何形狀的事件，並將它們發送到源處的通知接收器。在此示例中，客戶機充當 源。當窗口被移動、最小化/最大化或被另一個窗口剪輯時，窗口幾何形狀可以變化。在某些情況下，應用程式可以決定在客戶機上呈現媒體，而並非從伺服器發送預 先呈現的位圖。為了做到這一點，應用程式在伺服器和客戶機端都創建一個窗口。伺服器窗 口充當佔位符並能夠接受全部輸入，而實際媒體可以由客戶機端的應用程式呈現和繪製。 客戶機窗口恰好在伺服器窗口上繪製，以便分發對用戶而言是透明的。由於所有輸入實際 上是對伺服器窗口起作用的，因此幾何形狀變化將反映在伺服器處。應用程式跟蹤對服務 器窗口的這些更改並相應地更新客戶機窗口以使兩個窗口在幾何形狀上是同步的。示例性方法現在將參考圖1-4描述用於協作會話以及處理協作會話中的媒體操作的示例性 過程。這些過程可以在計算機可執行指令的一般上下文中描述。一般而言，計算機可執行 指令可以包括執行特定功能或實現特定抽象數據類型的例程、程序、對象、組件、數據結構、 過程、模塊、功能等等。這些過程還可以在其中功能由通過通信網絡連結的遠程處理設備完 成的分布式計算環境中實現。在分布式計算環境中，計算機可執行指令可以位於包括存儲 器存儲設備的本地和遠程計算機存儲介質中。圖5示出了用於協作會話以及處理協作會話中的媒體回放操作的示例性方法 500。描述方法的次序並不旨在被解釋為限制，並且任意數量的所描述的框可以按任何次序 組合以實現該方法。此外，該方法還可以用任何合適的硬體、軟體、固件或其組合來實現。在框502，接收與同媒體文件相關的一個或多個動作相關聯的命令。接收到的命令 是與接收該命令的計算設備相關聯的媒體平臺所專用的。該命令可以從可通過網絡訪問該 媒體文件的另一個計算設備生成。例如，伺服器的RTS媒體抽象模塊210可以接收對該服 務器的媒體平臺208專用的媒體命令。這樣的命令可以響應於諸如媒體文件被訪問之類的 某些動作而生成。在框504，將接收到的平臺專用命令與一個或多個通用媒體操作相關聯。該通用 操作可以對用於回放該媒體文件的各種應用程式通用。在一個實現中，基於映射將該平臺 專用命令與一個或多個通用操作相關聯。例如，伺服器的RTS媒體抽象模塊210可以利用 RTS映射表302來將接收到的媒體操作(如由命令306A-306I所指示的)映射到通用或
12抽象媒體操作(如由308A-308I所指示的)。基於伺服器202的平臺的示例包括但不限於 MediaFoundation0在框506，將通用操作發送到請求訪問媒體文件的計算設備。例如，可以將通用操 作從伺服器202發送到客戶機204。在一個實現中，伺服器的RTS媒體抽象模塊210將通用 命令從伺服器202發送到客戶機204。在框508，作出請求的設備接收通用命令並將它們與平臺專用命令相關聯。例如， 客戶機的RTS媒體抽象模塊214接收由伺服器的RTS媒體抽象模塊210所發送的通用命令。 客戶機的RTS媒體抽象模塊214可以使用另一 RTS映射表304。RTS映射表304可以將所 抽象的媒體操作轉換側客戶機的媒體平臺212所專用的媒體操作。然後，客戶機的媒體平 臺212可以執行該媒體操作。客戶機204上的媒體平臺的示例包括但不限於DShow 平 臺。因此，通過將平臺專用命令抽象成通用操作，可以將伺服器202的平臺專用命令轉換成 客戶機204的平臺專用命令。示例性計算環境圖6示出了示例性通用計算機環境600，該環境600可以用來實現此處所描述的 技術並可以表示此處所描述的元件的全部或部分。計算機環境600隻是計算環境的一個示 例，而非旨在對計算機和網絡體系結構的使用範圍或功能提出任何限制。計算機環境600 也不應被解釋成對於示例計算機環境600中所示出的任一組件或其組合有任何依賴或要 求。計算機環境600包括計算機602的形式的通用的基於計算的設備。計算機602可 以是，例如，臺式計算機、手持式計算機、筆記本或膝上型計算機、伺服器計算機、遊戲控制 臺等等。計算機602的組件可以包括，但不限於，一個或多個處理器或處理單元604、系統存 儲器606，以及將包括處理器604的各種系統組件耦合到系統存儲器606的系統總線608。系統總線608表示若干類型的總線結構中的任何一種總線結構的一個或多個，包 括存儲器總線或存儲器控制器、外圍總線、加速圖形埠，以及使用各種總線體系結構中 的任何一種的處理器或局部總線。作為示例，這樣的體系結構可以包括工業標準體系結 構(ISA)總線、微通道體系結構(MCA)總線、增強型ISA(EISA)總線、視頻電子標準協會 (VESA)局部總線，以及也稱為夾層總線的外圍部件互連(PCI)總線。計算機602通常包括各種計算機可讀介質。這樣的介質可以是可由計算機602訪 問的任何可用介質，並包括易失性和非易失性介質、可移動和不可移動介質。系統存儲器606包括諸如隨機存取存儲器(RAM) 610之類的易失性存儲器形式的 和/或諸如只讀存儲器(ROM)612之類的非易失性存儲器形式的計算機可讀介質。示出了 通常存儲在ROM 612中的基本輸入/輸出系統(BIOS) 614，它包含諸如在啟動過程中幫助在 計算機602內的各元件之間傳輸信息的基本例程。RAM 610通常包含可由處理單元604立 即訪問和/或目前正在由處理單元604進行操作的數據和/或程序模塊。計算機602還也可以包括其他可移動的/不可移動的、易失性/非易失性的計算 機存儲介質。作為示例，圖6示出了用於讀寫不可移動、非易失性磁性介質(未示出)的硬 盤驅動器616。此外，圖6示出了用於讀寫可移動、非易失性磁碟620(例如，「軟盤」)的磁 盤驅動器618，另外，圖6示出了用於讀寫諸如⑶-ROM、DVD-ROM或其他光學介質之類的可 移動、非易失性光碟624的光碟驅動器622。硬碟驅動器616、磁碟驅動器618以及光碟驅
13動器622各自都通過一個或多個數據媒體接口 626連接到系統總線608。或者，硬碟驅動器 616、磁碟驅動器618以及光碟驅動器622可以通過一個或多個接口(未示出)連接到系統 總線608。磁碟驅動器以及它們相關聯的計算機可讀介質為計算機602提供了計算機可讀 指令、數據結構、程序模塊以及其他數據的非易失性存儲。雖然該示例示出了硬碟616、可 移動磁碟620以及可移動光碟624，但可以理解，諸如磁帶盒或其他磁存儲設備、快閃記憶體卡、 CD-ROM、數字多功能盤(DVD)或其他光存儲、隨機存取存儲器(RAM)、只讀存儲器(ROM)、電 可擦可編程只讀存儲器(EEPROM)等等之類的可以存儲可由計算機訪問的數據的其他類型 的計算機可讀介質也可以用於實現該示例性計算系統和環境。可以有任意數量的程序模塊存儲在硬碟616、磁碟620、光碟624、R0M612和/或 RAM 610上，作為示例，包括作業系統626、一個或多個應用程式628、其他程序模塊630、以 及程序數據632。這樣的作業系統626、一個或多個應用程式628，其他程序模塊630以及程 序數據632中的每一個(或其某種組合)可以實現支持分布式文件系統的常駐組件的全部 或部分。用戶可以經由諸如鍵盤634和定點設備636 (例如，「滑鼠」)之類的輸入設備向計 算機602輸入命令和信息。其他輸入設備638(未具體示出)可以包括話筒、操縱杆、遊戲 墊、碟形衛星天線、串行埠、掃描儀，等等。這些及其他輸入設備經由耦合到系統總線608 的輸入/輸出接口 640連接到處理單元604，但也可以通過其他接口和總線結構來進行連 接，如並行埠、遊戲埠、通用串行總線(USB)埠。監視器642或其他類型的顯示設備也可以經由諸如視頻適配器644之類的接口連 接到系統總線608。除了監視器642之外，其他輸出外圍設備可以包括可經由輸入/輸出接 口 640連接到計算機602的組件，諸如揚聲器(未示出)和印表機646。計算機602可以使用到諸如遠程的基於計算的設備648之類的一個或多個遠程計 算機的邏輯連接來在聯網環境中操作。作為示例，遠程的基於計算的設備648可以是個人 計算機、可攜式計算機、伺服器計算機、路由器、網絡計算機、對等設備或其他常見網絡節點 等等。遠程的基於計算的設備648被示為可以包括此處相對於計算機602所描述的元件和 特徵中的許多或全部的可攜式計算機。計算機602和遠程計算機648之間的邏輯連接被描繪成區域網(LAN)660和一般 廣域網(WAN) 652。這樣的聯網環境在辦公室、企業範圍的計算機網絡、內聯網和網際網路中是 常見的。當在LAN網絡環境中實現時，計算機602經由網絡接口或適配器654連接到局域 網660。當在WAN網絡環境中實現時，計算機602通常包括數據機656或用於通過廣域 網652建立通信的其他裝置。數據機656，對計算機602而言可以是內置或外置的，可 以經由輸入/輸出接口 640或其他適當的機制連接到系統總線608。可以理解，所示出的網 絡連接只是示例性的，並且可以使用在計算機602和648之間建立通信鏈路的其他手段。在聯網環境中，如用計算環境600示出的環境，相對於計算機602所描述的程序模 塊或其各部分可以存儲在遠程存儲器存儲設備中。作為示例，遠程應用程式658駐留在遠 程計算機648的存儲器設備上。為了說明，應用程式及諸如作業系統之類的其他可執行程 序組件在此處被示為各分離的框，但可以認識到，這些程序和組件在不同的時間駐留在基於計算的設備602的不同存儲組件中，並由該計算機的數據處理器來執行。各種模塊和技術可以在由一臺或多臺計算機或其他設備執行的諸如程序模塊之 類的計算機可執行指令的一般上下文中描述。一般而言，程序模塊包括執行特定任務或實 現特定抽象數據類型的例程、程序、對象、組件、數據結構等。通常，程序模塊的功能可以按 需在各個實施例中進行組合或分布。這些模塊和技術的實現可以存儲在某種形式的計算機可讀介質上或通過某種形 式的計算機可讀介質來發送。計算機可讀介質可以是可由計算機訪問的任何可用介質。作 為示例而非限制，計算機可讀介質可以包括「計算機存儲介質」和「通信介質」。「計算機存儲介質」包括以用於存儲諸如計算機可讀指令、數據結構、程序模塊或 其他數據之類的信息的任何方法或技術實現的易失性和非易失性、可移動和不可移動介 質。計算機存儲介質包括，但不限於，RAM、ROM、EEPR0M、快閃記憶體或其他存儲器技術、CD-ROM、數 字多功能盤(DVD)或其他光碟存儲、磁帶盒、磁帶、磁碟存儲或其他磁性存儲設備、或能用 於存儲所需信息且可以由計算機訪問的任何其他介質。或者，該框架的各部分可以用硬體或硬體、軟體和/或固件的組合來實現。例如， 可以設計或編程一個或多個專用集成電路(ASIC)或可編程邏輯器件(PLD)以實現該框架 的一個或多個部分。結論儘管已經用對結構特徵和/或方法專用的語言描述了用於管理協作會話中的多 媒體操作的各實施例，但可以理解，所附權利要求書的主題不必受所描述的具體特徵或方 法的限制。相反，這些具體特徵和方法是作為用於管理協作會話中的多媒體操作的示例性 實現來公開的。
權利要求
一種包括計算機可執行指令的計算機可讀存儲介質(610，612，614)，當所述計算機可執行指令被執行時執行以下動作，包括接收協作會話中的、伺服器(102)上所支持的媒體平臺(208)專用的媒體回放命令；以及，將所述平臺專用媒體回放命令轉換成通用媒體回放命令以供傳輸到客戶機(204)。
2.如權利要求1所述的方法，其特徵在於，還包括在客戶機處在媒體呈現窗口中呈現 用戶界面並跟蹤對該媒體呈現窗口的更改。
3.如權利要求1所述的方法，其特徵在於，在用戶界面組件上將媒體應用程式實例化 成媒體呈現窗口，並且其中所述跟蹤包括向所述媒體呈現窗口分配唯一標識符，並且其中 將對所述媒體呈現窗口的更改中繼到所述客戶機以允許相對於所述用戶界面組件來定向 所述媒體呈現窗口。
4.如權利要求1所述的方法，其特徵在於，還包括通過由所述協作會話所建立的第一 網絡信道發送命令，並通過第二不同的信道流傳輸數據。
5.如權利要求4所述的方法，其特徵在於，所述第二不同的信道是由所述協作會話建立的。
6.如權利要求1所述的方法，其特徵在於，還包括在所述流傳輸之前 確定所述媒體的格式；評估所述客戶機以所述格式解碼並呈現所述媒體的能力。
7.如權利要求6所述的方法，其特徵在於，在所述客戶機缺乏以所述現有格式解碼並 呈現所述媒體的能力的情況下，還包括解碼所述媒體並以所述客戶機被配置成處理的第二 不同的格式來重新編碼所述媒體。
8.如權利要求1所述的方法，其特徵在於，還包括，響應於所述呈現命令 與所述客戶機建立虛擬信道連接，協商由所述源和所述客戶機兩者都支持的格式；以及， 與所述客戶機建立分布式拓撲結構。
9.如權利要求8所述的方法，其特徵在於，所述建立分布式拓撲結構包括在所述源處 插入網絡發送器和在所述客戶機處插入網絡接收器。
10.一種伺服器(102)，包括:包括構成用戶界面的圖形和圖像的用戶界面組件(220)；以及 包括要通過所述用戶界面組件播放的媒體呈現數據的媒體組件(222)，其中將平臺專 用命令轉換成通用媒體回放命令或在遠程終端會話客戶機上支持的媒體平臺。
11.如權利要求10所述的伺服器，其特徵在於，所述用戶界面組件包括媒體應用程式窗口。
12.如權利要求11所述的伺服器，其特徵在於，所述媒體組件被配置成在所述媒體應 用程序窗口內的媒體呈現目標窗口中呈現。
13.如權利要求12所述的伺服器，其特徵在於，通過相對於所述媒體應用程式窗口跟 蹤所述媒體呈現目標窗口來跟蹤所述媒體呈現數據。
14.如權利要求13所述的伺服器，其特徵在於，所述跟蹤包括將所述媒體呈現目標窗 口相對於所述媒體應用程式窗口的相對位置中繼到所述遠程客戶機。
15.如權利要求13所述的伺服器，其特徵在於，所述跟蹤包括在所述伺服器桌面上插 入表示所述媒體呈現目標窗口的佔位符並跟蹤影響所述佔位符的任何更改。
16.如權利要求10所述的伺服器，其特徵在於，還包括確定所述遠程客戶機支持什麼 媒體格式。
17.如權利要求10所述的伺服器，其特徵在於，還包括與所述遠程客戶機建立分布式 拓撲結構。
18.如權利要求10所述的伺服器，其特徵在於，所述發送和所述流傳輸是在終端服務 會話中發生的。
19.一種系統(100)，包括用於接收響應於協作會話中的用戶輸入的媒體回放命令而生成的平臺專用媒體回放 命令的機制(502)；以及，用於將所述平臺專用媒體回放命令抽象成平臺通用媒體回放命令的機制(504)。
全文摘要
描述了與管理終端服務情形中的多媒體傳輸相關的技術。在一示例中，一種方法將用戶界面組件從伺服器發送到遠程客戶機。該示例性方法還流傳輸媒體組件，以便與用戶界面組件相結合地呈現在遠程客戶機上，並且其中伺服器跟蹤但不顯示該媒體呈現。
文檔編號G06F3/048GK101981558SQ200980112501
公開日2011年2月23日 申請日期2009年3月6日 優先權日2008年4月1日
發明者R·瑪哈簡, V·斯託亞諾夫 申請人:微軟公司