控制遠程計算機的控制方法

2023-06-09 20:00:31

專利名稱：控制遠程計算機的控制方法
技術領域：
本發明涉及一種使用輸入/輸出裝置和存儲器容量有限的遠程通信 終端甚至在數據傳輸速率有限並且傳輸成本高的通信網絡環境中還能 有效地控制遠程計算機的控制方法。
背景技術：
遠程計算機和用戶終端之間可以通過有線或無線通信網絡建立使用 環境的同步。在常規的遠程控制中，雙方之間無損傷的、準確的、快速 的同步變得4艮重要。這樣，遠程計算機的屏幕沒有變化地並且實時地顯 示在用戶終端上，在用戶終端中輸入的事項沒有改變地添加到遠程計算 機上。
這是因為通信網絡的數據傳輸速率足夠高，數據傳輸成本低，並且 遠程計算機和用戶終端具有類似的類型和性能。曾經嘗試減小通過通信 網絡傳輸的數據量。然而，這個嘗試在滿足兩者間以無損傷的準確同步 的條件的範圍內使用了簡單的方法，例如減少屏幕顏色的數量以及數據 壓縮。在輸入的情況下，假設雙方的輸入設備非常相似，而沒有考慮到 根據輸入設備之間差異的轉化。
所以，如果數據傳輸速率不足夠高，數據傳輸成本較高，並且遠程 計算機和用戶終端的性能以及輸入/輸出設備的類型存在差異，例如移動
通信網絡，則適用常規技術就會出現問題。例如，在常規的遠程控制中， 為了在用戶終端中看到遠程計算機的屏幕，在任何時候每當遠程計算機 的屏幕內容發生改變，修改後的數據就立即被發送給用戶終端。
但是，移動通信網絡的情況不足以實時地發送具有^^改後的傳輸速 率的數據。因此，實時控制很難做到，由於數據量大所以必然需要高成 本，並且由於用戶終端的尺寸太小，不足以按原來的形式顯示傳輸的屏 幕數據，所以會浪費信息。甚至在輸入的情況下，由於佔據大部分移動
8通信網絡的用戶終端的行動電話僅由數據按鈕和幾個特殊按鈕組成，所 以實際上不可能完全仿真一般計算機鍵盤的大約100個^t以及滑鼠。
因此，本發明的目的是提供一種使用輸入/輸出設備和有限存儲器容 量的遠程通信終端、甚至在數據傳輸速率有限並且傳輸成本高的通信網 絡環境中能有效控制遠程計算機的控制方法。

發明內容
為了實現上述目的，根據本發明，提供一種包括用戶終端和遠程計 算機的系統的控制方法，所述用戶終端和遠程計算機連接到通信網絡並
且可以相互進行通信，所述控制方法包括以下步驟提耳又對應於所述遠 程計算機上所顯示屏幕的屏幕數據，根據所述用戶終端的規範轉換所提 取的屏幕數據，以及提取出正在所述遠程計算機中運行的應用程式與屏 幕控制相關的信息，允許所述用戶終端接收轉換後的屏幕數據以及所提 取的與屏幕控制相關的信息，根據接收到的轉換後的屏幕數據和與屏幕
控制相關的信息顯示用戶終端的屏幕，基於所顯示的屏幕接收用戶輸入 信息，並且將所接收的用戶輸入信息發送給所述遠程計算機，允許所述 遠程計算機接收所述用戶輸入信息，根據所述遠程計算機的規範轉換接 收到的用戶輸入信息，並驅動相應的操作。
本發明提供一種適用於用戶終端的輸入方法，根據遠程計算機和用 戶終端之間的類型和規範的不同對屏幕數據和輸入數據進行轉換，減'J、 了傳輸的數據量，並且在一定程度上引入適當的傳輸延遲使得用戶可以 適當地識別屏幕。因此，可以提供一個遠程控制環境，所述遠程控制環 境在具有輸入/輸出設備和有限存儲容量的遠程通信終端和具有有限數 據傳輸速率和高傳輸成本的通信網絡中有效地進行操作。
根據本發明，使用輸入/輸出設備和有限存儲容量的終端、甚至在數 據速率有限並且傳輸成本較高的通信網絡環境中能夠有效地控制遠處 的計算機。因此，用戶在任何支持接入通信網絡的地方可以通過使用例
如PDA或行動電話的終端，訪問辦公室或家中的計算才幾有效地執行必 需的任務。


現在將藉助示例，參照附圖來描述本發明，其中
圖1表示使用根據本發明的控制方法的行動裝置的計算環境提供系
統的配置示例；
圖2和圖3表示圖1所示行動裝置的計算環境提供系統的操作方法 的消息序列圖4到圖6為用於描述圖1所示行動裝置的計算環境提供系統的操 作方法的示意圖7為表示適用於根據本發明的控制方法的用戶終端的輸入方法的 示意圖8為表示執行字符串輸入和輸入對象檢索的方法的示意圖；以及 圖9為表示用於根據本發明的控制方法中使用的屏幕數據緩存的構 造的示意圖。
具體實施例方式
以下參照附圖對本發明進行詳細的描述。圖1示出了一個計算環境 結構的示例，該計算環境提供了適用根據本發明的控制方法進行控制的 行動裝置的系統。參照圖1，用戶終端120和遠程計算機110通過移動 通信網絡30和網際網路40相互連接並且相互進行通信。遠程計算機110 包括一般的計算機或者安裝在提供預定服務的公司處的伺服器。
遠程計算機IIO可以包括控制器111、管理資料庫113、移動屏幕轉 換單元115以及應用程式117。控制器111使用管理資料庫113執行用 戶驗證、生成並管理基於用戶的計算環境、根據從用戶終端120接收到 的操作指令控制應用程式117的操作，並且將從移動屏幕轉換單元U5 接收的適合當前狀態的移動屏幕傳送到用戶終端120。在管理資料庫]13 中存儲有用於用戶驗證的信息和單個用戶的計算環境信息。應用程式 117為在一般的個人計算機上運行的程序，並且為現有的一般程序(而 非為本發明單獨撰寫或修改的程序)。
計算環境包括在環境中運行的應用程式117、應用程式117存儲的文檔、例如環境設置信息的計算環境信息、顯示應用程式117的屏幕和/
或類似物。遠程計算機110中可以同時存在有多個計算環境，同時存在
的多個計算環境相互獨立。
計算環境可以與作業系統提供的基於用戶的帳號或終端功能無關。
換句話說，遠程計算機110可以通過作業系統中的一個用戶帳號和當相
應的帳號登錄時提供的一個桌面屏幕來提供多個計算環境，而非操作系
統提供的功能。在這種情況下，控制器111進行控制以改變應用程式117 存儲文檔的位置或者存儲環境設置信息的位置，並將其存^^在用戶唯一 的管理資料庫113中，因此通過使用作業系統上的僅一個用戶帳戶，多 個計算環境的信息可以同時存在。此時，所使用的改變存儲位置的方法 的例子可以包括視窗(Windows )環境的用戶程序界面、鉤子(Hooking ) 等。
控制器111可以利用對桌面屏幕進行邏輯分區的方法，從而使用一 個桌面屏幕來提供多個計算環境的屏幕。 一般地，由於用戶終端120的 屏幕解析度低於遠程計算機110的屏幕解析度，所以遠程計算機110的 桌面屏幕根據用戶終端120的屏幕解析度進行邏輯分區，並且相應的用 戶終端120上顯示的屏幕僅使用相應的邏輯分區部分以計算環境為基礎 進行配置。例如，4支定遠程計算機110的桌面屏幕解析度為1600x1200， 而用戶終端120的屏幕解析度為320x240，則遠程計算才幾110的桌面屏 幕對應於25個用戶終端120的屏幕。因此，25個邏輯分區是可能的並 且至少25個計算環境是可能的。
每個用戶運行的應用程式117置於遠程計算機(110)屏幕的相應邏 輯分區的位置上，並且被控制以便具有與邏輯分區相同大小的用戶界 面。通過僅使用分配給每個計算環境的邏輯分區部分，移動屏幕轉換單 元115配置傳送給相應用戶的用於用戶終端120的屏幕。這樣，雖然在 多個用戶的計算環境中執行的應用程式117以地磚的形式安排在實際的 遠程計算機110的桌面屏幕中，但是實際的用戶^f又能看到用於他自己的 計算環境的一塊地磚，也就是說，僅能看到一個邏輯分區。如果需要提 供具有比可能的邏輯分區數量更多的計算環境，則使用將已經長時間沒 有使用的計算環境的邏輯分區分配給當前邏輯分區的計算環境的重新分配的方法。這時，在原有計算環境的應用程式117中，用戶界面得以
最小化，屏幕消失，新的計算環境的應用程式117的用戶界面置於相應
的邏輯分區中。
用戶終端120可以通過互if關網40和移動通信網絡30與遠程計算機 110進行通信，用戶終端120包括行動電話、PDA等。用戶終端120包 括用於控制計算機環境的用戶界面121。用戶終端120將用戶界面]21 顯示給用戶。如果選4奪了所希望的操作，則用戶終端120將相應的操作 傳送給遠程計算機110,從而執行操作。另外，用戶終端120接收根據 操作結果進行改變的狀態或在遠程計算機110的計算環境中自動改變的 狀態，並將狀態反映在用戶界面121上。
圖2和圖3是表示圖1所示行動裝置的計算環境提供系統的操作方 法的消息序列圖。
圖2是表示操作行動裝置的計算環境提供系統的方法的與初始化相 關的事項的消息序列圖。參照圖2,通過可連接網際網路的消息設備從遠 程計算機110作出為服務使用請求註冊(S200)。然後執行註冊過程
(S205 )。遠程計算才幾110確i人這個註冊(S210 )。在初始狀態，用戶下 載在用戶終端120上提供用戶界面121的程序。
然後，用戶請求登錄以便在用戶終端120中使用計算環境(S215)。 遠程計算機110執行相應的驗證程序(S220),為相應的用戶生成計算 環境(S225 )，並將所生成的計算環境的初始狀態發送給用戶終端120
(S230)。用戶終端120在用戶界面上顯示計算環境的初始狀態以及菜 單(S235 )。
圖3是顯示操作行動裝置的計算環境提供系統的方法的事項的消息 序列圖，所述事項與根據用戶終端的操作的選擇的實際應用程式的操作 以及操作結果的傳送相關。參照圖3，用戶終端120查詢顯示在屏幕上 的用戶界面121 (S300)，選擇必要的功能，並將相應的操作發送給遠程 計算機110 (S305 )。
遠程計算機no的控制器111將從用戶終端120接收到的操作傳送 給應用程式117 (S310)。這時，在視窗(Windows)環境的情況下，操 作傳送方法可以釆用對象連結嵌入(Object Link Embedding, OLE )自動
12化、窗口 (Window)消息傳輸、鍵盤和滑鼠仿真、使用應用程式14提 供的應用禾呈序才妻口 ( Application Programming Interface， API)的方法等。 應用程式117執行接收到的操作(S315)。這時，應用程式117的操作與 現有個人計算機中的操作相同。移動屏幕轉換單元115持續監視應用程 序117的狀態，如果應用程式117的狀態被改變，則將該事實通知給控 制器lll (S320)。移動屏幕轉換單元115將修改的移動屏幕的信息和其 它相應改變的項目發送給控制器111 (S325 )。控制器111將接收到的信 息發送給用戶終端120 ( S330 )。
用戶終端120將接收到的信息顯示在用戶界面121上(S335 )。圖中 已經示出了根據對用戶終端120的操作的選擇的狀態變化。然而，即使 沒有選擇用戶終端120的操作，也可以改變應用程式117的狀態。在這 種情況下，移動屏幕轉換單元115感測相應的狀態變化並將這個事實通 知給控制器111,其方式與根據對操作的選擇的情況相同。
圖4到圖6是為了描述操作圖1所示行動裝置的計算環境提供系統 的方法所參照的視圖。
圖4表示在用戶終端120中用戶訪問遠程計算機110從而使用計算 環境這樣的情形下的視圖。參照圖4中的(a)，用戶通過點按用戶終端 120中的預先確定的4姿4建獲得訪問遠程計算機110的權限。遠程計算才幾 110向用戶終端120發送用於相應用戶的計算環境的初始狀態，該初始 狀態通過驗證程序得以生成，例如當用戶終端120為行動電話時使用電 話號碼以及接收密碼。用戶終端120根據接收到的信息在其上面顯示適 當的屏幕和菜單。用戶可用的菜單顯示如圖4中的(b)， ^旦是計算環境 的屏幕還可以顯示為現有的遠程控制工具中的屏幕。
圖5示出了使用郵件應用程式的一個例子。在圖5中，選擇了郵件 功能的特定郵件文件夾，然後打開文件夾中的郵件。個人計算機的郵件 應用程式具有複雜的用戶界面，其很難在用戶終端120中直接使用。然 而，在這個例子中，通過移動屏幕轉換單元115和用戶終端120的用戶 界面121之間的相互作用，可以向行動裝置提供最優化的用戶界面。用 戶可以通過選擇所接收的郵箱確認新郵件，並且可以通過選擇預先確定 的郵件文件夾打開現有的郵件。在圖5中，(a)顯示了選擇文件夾列表的處理，(b)表示從所選擇 文件夾中選擇郵件列表視圖(view)的處理，(c)表示顯示所選擇郵件列 表的處理。另外，(d)表示選擇郵件視圖的處理，(e)表示顯示郵件內 答。
在如前所述選擇文件夾或郵件的過程中，使用列表形式的菜單項、 彈出式(Pop-up)菜單項等。如果文件夾或郵件被選擇，則用戶終端120 將相應的操作信息發送給遠程計算機110。在郵件應用程式執行實際操 作之後，將執行結果再次發送給用戶終端120。郵件應用程式的執行結 果顯示在用戶終端120的用戶界面121上，從而可以執行下一個操作。
郵件的內容可以以文本形式4妄收和顯示，也可以以在計算環境的屏 幕上顯示的並且隨後由郵件應用程式捕捉的圖像被接收和顯示，或者在 行動裝置直接接收郵件內容然後作為類似於原來的形式顯示在屏幕上。 在圖5中，(f)表示選擇郵件接收列表的處理，(g)表示選擇作為原來 形式的視圖的屏幕，(h)表示執行原來形式的視圖的屏幕。如前所述， 遠程計算才幾110和用戶終端120對郵件應用程式進行識別、指定和處理。 因此，與現有的僅通過整個屏幕捕獲顯示和接收屏幕的現有遠程控制工 具相比，可以提高用戶使用便利性和效率。
圖6顯示了使用網絡瀏覽器的實施例的視圖。可以看出，網絡瀏覽 器可以將結果顯示給用戶終端20的屏幕，當與郵件應用程式的屏幕相 比時，所述結果接近個人計算機中運行的原有屏幕。這是由於只有瀏覽 接近原來的屏幕才能易於信息瀏覽和屏幕控制的原因，這也是一個根據 應用程式117的類型對屏幕進行特別處理的例子。在圖6中，(a)表示 選擇網頁的處理；(b)表示起始網頁的例子，(c)表示文本輸入的處理， (d)表示點擊按鈕的處理。通過這些處理，網頁移到新的網頁，(c)表 示l斤網頁。
從圖6可以看出，輸入文本和點擊按鈕的操作與個人計算機是不同 的。這是由於不存在滑鼠以及具有有限鍵盤輸入的行動裝置的特性。
如上所述， 一種情況是使用不同於應用程式屏幕的專用用戶界面， 另一種情況是顯示接近原有屏幕的屏幕。其中，第二種情況需要提供可 以克服用戶終端的限制以便用個人計算機水平控制屏幕的用戶界面。以下將描述提供所述用戶界面的方法。該方法也可以部分用於前一種情況。
圖7表示行動電話的輸入設備，也就是通常用於無線通信網絡(即， 典型的低速通信網絡)的終端，並示出了適用於根據本發明的控制方法
中使用的用戶終端的輸入方法。 一般計算機的輸入設備由具有100個鍵
的鍵盤以及滑鼠構成。在最近的作業系統中，除了字符輸入，大部分操 作通過使用滑鼠完成。因此，在本發明中，設計了用於有效支持滑鼠操 作的行動電話按鍵。
數字小鍵盤區域首先分配給執行滑鼠光標移動的功能。按鍵"2"、 "4"、 "6"和"8"分別向上、左、右、下移動滑鼠，按鍵T、 "3"、 "7，，和"9" 分別向左上、右上、左下和右下移動滑鼠。如果按下各個按鍵，則滑鼠 光標開始移動，而如果釋放按鍵，則滑鼠光標的移動停止。另外，當按 下按鍵時，開始滑鼠光標移動較慢然後隨著時間會更快速地移動，從而 能夠同時實現微小的操作和快速移動的操作。
另外，當計算機屏幕收縮並顯示在用戶終端120上或者由於用戶終 端120的技術參數的限制從而單位時間內更新屏幕的次數也受到限制 時，滑鼠的位置可能從一個位置跳到另一個位置上。在這種情況下，移 動前的點與移動後的點之間的中間點由計算機進行適當的計算並確定， 從而滑鼠可以通過這些點。因此，能夠消除由於滑鼠的跳躍而出現的副 作用，這些副作用例如僅當滑鼠通過上面時才激活的按鈕不起作用等。
方向鍵區域用於輔助數字小鍵盤區域。這個方法更加方便，因為數 字小鍵盤區域還支持對角線的移動，但是不能用於使用數字來進行菜單 選擇、字符輸入等情形中。這使得增加方向鍵區域成為必要。方向鍵用 作按鍵"2"、 "4"、 "6"和"8"。當按下中間的OK 4建時，屏幕中當時選擇 的元素所提供的功能列表作為菜單顯示。這類似於作為計算機輸入設備 的滑鼠右鍵的角色。在功能列表中用戶最常用到的功能分配給數字小鍵 盤區域的按鍵5。
所以，按鍵5類似於滑鼠左鍵的角色。無論當前屏幕中選擇的元素 為哪一個，菜單(Menu)鍵被分配用於顯示整個菜單。取消(Cancel) 鍵被分配用於替代鍵盤中的取消(Esc )按鍵，確認(Confirm)鍵被分配
15用於替代方向鍵區域中央的OK鍵或在適當的情況下替代數字小鍵盤區
域中的按鍵5。提供特殊形式的滑鼠按鍵(例如左鍵)的功能作為菜單 的一部分，仿佛按下位於方向鍵區域中央的OK鍵。
如前所述，通過分配按4建和菜單、發送相應的輸入給遠程計算機、 將輸入轉換為合適的系統事件以及輸入轉換後的輸入，可以在行動電話 中有效地操作計算機的滑鼠。
同時，如果計算機屏幕的一些區域在用戶終端的屏幕上放大到預先 確定的大小並顯示，則在移動滑鼠光標之外還需要具有移動屏幕功能以 便觀看其它區域。在這種情況下，由於缺少單獨分配該功能的按鍵，所 以要在數字d 、鍵盤區域或方向鍵區域的模式之間進行切換。在第 一模式 中，支持滑鼠光標的移動，而在第二模式中，支持屏幕的移動。這時， 模式切換功能可以分配給特殊按鍵，例如數字小鍵盤區域中的*鍵或# 鍵，或者可以顯示為額外的菜單。這樣，用戶可以放大所需要的一部分 計算機屏幕並在移動時自由地觀看所顯示的區域。
在滑鼠光標移動功能和屏幕移動功能的情況下，如果當滑鼠光標或 正在顯示的一些區域到達實際屏幕的邊緣時移動指令附加地到達，則優 選地添加這樣的功能，即當前顯示屏幕的窗口可滾動時自動地對其進行 滾動以附加J4顯示其它部分。
另外，如果可以滾動當前顯示屏幕的窗口，則僅使用滑鼠光標移動 功能和點擊功能直接控制和滾動滾動條是困難的。因此，需要能夠立即 在滑鼠位置處滾動窗口的功能(例如滑鼠滾輪)。在這種情況下，由於 沒有單獨分配給這個功能的按鍵，數字小鍵盤區域或方向鍵區域的模式 以與屏幕移動相同的方式進行切換，從而支持例如滑鼠滾輪的功能。
以與屏幕移動功能相同的方式提供模式切換功能。另外，實際的鼠 標滾輪僅向上向下進行搡作，但是在這個實施例中，全部支持向上、向 下、向左和向右，>^人而可以輕易地在水平方向上滾動窗口。滾動方法的 目的是在一般視窗(Windows)的窗口中控制窗口的滾動位置。在網頁的情 況下，在從當前滑鼠位置處的元素到元素分級結構的最高位置處進行檢 查之後，將滾動指令傳送給可以滾動的元素。
屏幕放大和縮小一般使用音量增加按鍵和音量降低按^t實現。但是，由於存在根據行動電話不存在相應按—睫的情況，所以優選地將這些按4定 添加到菜單中。
在當前屏幕為網頁時，僅提取當前滑鼠位置的文本並顯示在用戶終 端。這樣，無論實際網頁的顯示方法，僅有文本可以容易地看到。當與 將整個網頁作為文本觀看的情況相比較，這個方法更加有效。這是因為 整個網頁的文本包括除了用戶實際想要的文本信息之外的大量的裝飾
或菜單文本。為了^是供這個功能，通過文檔對象模型(Document Object Model, DOM)找出當前滑鼠位置的網絡元素，然後以適當的程度選才奪 出相應元素的等級結構的一個元素，還通過DOM l是取出包含在元素中 的文本。
例如，在當前位置的元素是一個元素時，如果1義4是耳又相應元素 的文本，則僅提取出一個段落。在新聞頁面的例子中，具有僅看到僅一 部分頁面的不便，因此相應地提取出相應元素的父元素的文本。在如上 所述並非相應元素而是其父元素的文本被提取出來的項目包括, , ， ， ， <P〉， , ， 〈UL〉及類似物。 根據用戶需要可以添加或刪除主題元素。在此，4艮據網頁可以使用元素 來替代，因此，如果提取出父元素的文本，則會提取過大 的區域。為此，假設在〈DIV〉的父元素是〈DIV〉時可以認為那樣使用， 優選地提取出當前〈DIV〉元素的文本。
圖8是顯示執行字符串輸入和輸入對象檢索的方法的視圖。
字符串通過額外的輸入窗口輸入。字符串輸入菜單項作為上述菜單 項中的一個提供。如果用戶選擇該菜單項，則額外的輸入窗口顯示在屏 幕上。用戶通過將方向鍵區域作為方向鍵以及將數字小鍵盤區域作為字 符輸入鍵使用，以用行動電話中一般輸入方法來輸入所希望的字符串。 由於顯示了額外的輸入窗口 ，所以用戶可以使用數字小鍵盤區域來輸入 字符串，而不會出現混淆。
輸入字符串可以通過在方向鍵區域中按下OK4橐或確i人(Confirm) 鍵將字符串發送給計算機。這時僅可以發送可以被發送的字符串或其末 尾添加回車(Enter)鍵的字符串。回車(Enter)鍵用於在大部分顯示在 計算機上的在線輸入窗口上確認輸入結果，從而用戶可以使用回車
17(Enter)鍵添加功能。這可以免去用戶通過滑鼠操作按下計算機屏幕上 額外顯示的執行按鈕的麻煩。通過這樣做，用戶可以通過用戶終端的有 限的輸入設備有效地控制計算機的鍵盤。
如果要輸入字符串，則必然需要找出在計算機屏幕中輸入字符串所 需要的元素然後選擇所選擇出的元素。如果直接在計算機中輸入字符 串，則可以使用滑鼠選擇相應的元素然後以簡單地使用鍵盤進行輸入。 但是，如果用戶終端的解析度不足從而計算機屏幕^l有一部分被放大而 可以看到，則會花費很長的時間來找到並選擇相應的元素。為了解決這 個不便，如果相應的功能通過使用特殊按鍵實現，例如在數字小鍵盤區 域中的*鍵或#鍵，或者在菜單中提供查找下一個輸入元素的功能，則可 以在整個計算機屏幕中或當前選擇的應用程式窗口中找到下一個輸入 元素，元素可以顯示在個人終端屏幕的適當位置上，並且可以將焦點指 定給相應的元素。在這種情況下，在按鍵和菜單之外，還可以使用額外 地將輸入元素之間的移動模式提供給滑鼠光標移動模式和屏幕移動模 式的方法。通過這樣^:,用戶可以立即使用上述字符串輸入功能。
可以看出，這個功能類似於計算機tap鍵的功能。在網頁的情況下， tap鍵不僅選擇輸入元素，還選擇超連結。當網頁包括許多超連結時，用 戶通過不改變地使用支持tap鍵的方法不能在短時間內找到輸入元素。 因此，在這個功能中，在當前要控制的對象是網頁時，通過分析網頁的 DOM僅僅有選擇地選擇輸入元素。即使在一般的視窗(Windows)屏幕 中，通過窗口 (Window)控制分析僅選擇看起來對於用戶重要的元素。
因此，在根據本發明的控制方法中，不僅對簡單的屏幕捕獲和輸入 設備仿真進行感測和分析，而且對用戶正在使用的程序和網頁進行感測 和分析，從而提取出與屏幕控制相關的信息。因此，可以提供適用於當 前情形的用戶界面。
在根據本發明的控制方法中，在將遠程計算機的屏幕數據有效地傳 送給用戶終端並且顯示屏幕數據的方法中，可以延遲進行傳輸部分屏 幕、緩存屏幕數據以及傳輸屏幕。
當一般用戶終端的屏幕解析度低於遠程計算機的屏幕解析度時，僅 傳輸部分屏幕的方法是有用的。在這種情況下，如果要在用戶終端中以原有尺寸觀看遠程計算機的屏幕，則必然僅能看到部分屏幕。在這種情 況下，當僅將用戶看到的區域的屏幕數據傳送給用戶終端並進行更新， 以及所見的區域發生改變時，相應區域的屏幕數據被再次發送給用戶終 端，然後進行更新。因此，可以僅利用整個屏幕數據的一部分進行遠程 控制。
在緩存屏幕數據的方法中，可以減小所傳輸的數據量，並且可以節 省遠程計算機和用戶終端的存儲使用。常規的遠程控制系統是在假如用 戶終端能夠在其存儲器中具有遠程計算機的整個屏幕的情況下運行。但 是，在才艮據本發明的控制方法中，考慮到了可能用戶終端的存儲容量受 到限制的情況。
圖9為用於根據本發明的控制方法中的屏幕數據緩存器的結構視圖。
用戶終端220可以根據用戶的要求以多种放大倍率顯示遠程計算機的屏 幕。遠程計算機210根據用戶終端220所請求的放大倍率捕獲屏幕。如 果關於用戶終端當前看到的區域的數據被修改，則遠程計算機210根據 用戶終端220當前指定的放大倍率將改變的部分分割為各個單元，並將 它們發送給用戶終端。這時，通過比較每個放大倍率的屏幕緩存和被分 割為單元的當前屏幕可以判斷數據是否已經被^^改。
如果遠程計算機210由於用戶終端220要求的放大倍率的類型太多 而不能在其存儲器中同時具有用於全部放大倍率的屏幕緩存，則刪除最 久沒有使用過的放大倍率的屏幕緩存，從而保證存儲空間。當之後用戶 終端220請求相應放大倍率的屏幕數據時，遠程計算機210生成新的屏 幕緩存並進行操作，就好像整個區域已經^L修改。用戶終端220將屏幕 數據作為基於放大倍率的單元進行緩存。每個單元的大小遠小於整個屏 幕大小。即使當用戶終端220不具有遠程計算機210的整個屏幕數據， 遠程計算才幾210的屏幕的一部分也可以顯示在用戶終端210上。與遠程 計算機210的情況相同，如果存儲器不足以包含新的單元數據，則用戶 終端220通過從其存儲器中刪除最久沒有使用過的單元來保證存儲空 間，並且為了稍後屏幕顯示而需要相應的單元時，通過請求從遠程計 算機重新接收相應的單元。
因此，遠程計算機210可以接收針對單元的請求，所述單元在其被發送給用戶終端220之後沒有被修改過。在這種情況下，相應的單元必
須再次被發送給用戶終端。另一方面，當從遠程計算機210刪除緩存時， 用戶終端220能夠再次接收已經被接收的單元。但是，這種情況很少見， 因為遠程計算機210具有相對充足的存儲。
由於如前所述遠程計算才幾210和用戶終端220獨立地管理緩存，所 以可以在考慮存儲限制時提供用於使得傳輸數據量最小化的遠程控制 系統。但是，當遠程計算機210中屏幕內容被頻繁修改時，仍然存在一 個問題，即傳輸數據量很大。
在根據本發明的控制方法中，通過延遲傳輸屏幕數據然後在延遲期 間使用在用戶終端中已經存在的數據適當地顯示屏幕，可以使得被修改 屏幕內容的量所導致的傳輸數據量的增加最小化。換句話說，遠程計算 機在內部記錄從用戶終端接收到的視圖區域改變請求和屏幕數據請求， 而不直接對它們進行回應，以預先確定的周期檢查屏幕是否已經改變， 傳送所請求的數據以及作為檢查結果所選擇的屏幕部分。這時，如果由 於屏幕變化很大從而要發送的屏幕數據太多，則遠程計算機可以發送部 分屏幕數據，然後在下一周期在再次對它們進行;險查之後發送剩餘的屏 幕數據。當屏幕數據從遠程計算機210到達時，用戶終端220使用例如 緩存的現有數據顯示屏幕，然後當稍後屏幕數據到達時顯示剩餘的屏幕。
即使在這種情況下，由於用戶終端220的處理速度和通信網絡的速 率的限制，超過單位時間內用戶終端220可處理的量的屏幕數據可由遠 程計算機210傳輸。因此，在接收到以下回復之後，即遠程計算機在預 先確定的周期已經從用戶終端接收到屏幕數據並對其進行了處理，進行 下一個周期。這時，傳輸周期以及每個周期的傳輸量可以作為用戶選項 輸入進行處理，或者可以在操作期間根據數據傳輸速率自動進行控制。
如果如前所述屏幕數據的傳輸發生延遲，則可能由於用戶終端220 的屏幕沒有實時更新而不方便。但是，可緩解由於傳輸數據的超量所引 起的費用上升和通信網絡速率的限制而產生的延遲，進而以這一優勢抵 消這種不方i"更。
在屏幕數據傳輸之外可以使用 一種在每個給定周期傳輸用戶輸入信息而不用實時發送的方法。如果這種方法用在當在短時間內產生大量輸 入數據時，例如滑鼠光標位置的移動，則可以極大地減小傳輸數據量。 在這種情況下，雖然實際輸入數據的傳輸被延遲，但是根據輸入數據的 屏幕變化可以使得由於延遲而對用戶產生的不便最小化。
雖然已經結合現在認為是示例性的實施例對本發明進行了描述，但 是應當理解，本發明並不限於所公開的實施例，而是相反，其意在覆蓋 所附權利要求書的精神和範圍中包括的各種修改和等同方案。
本發明用於具有受限的輸入/輸出設備和存儲容量的遠程通信終端 中，並且即使在數據傳輸速率受到限制以及傳輸成本較高的通信網絡環 境中也可以在遠程位置上控制計算機。
權利要求
1. 一種包括用戶終端和遠程計算機的系統的控制方法，所述用戶終端和遠程計算機連接到通信網絡並且可以相互進行通信，所述控制方法包括以下步驟提取對應於所述遠程計算機上所顯示屏幕的屏幕數據，根據所述用戶終端的規範轉換所提取的屏幕數據，以及提取出正在所述遠程計算機中運行的應用程式的與屏幕控制相關的信息；允許所述用戶終端接收所述轉換後的屏幕數據以及所提取的與屏幕控制相關的信息；根據接收到的轉換後的屏幕數據和與屏幕控制相關的信息顯示用戶終端的屏幕，基於所顯示的屏幕接收用戶輸入信息，並且將所接收的用戶輸入信息發送給所述遠程計算機；以及允許所述遠程計算機接收所述用戶輸入信息，根據所述遠程計算機的規範轉換接收到的用戶輸入信息，並驅動相應的操作。
2. 根據權利要求1所述的控制方法，其中，所述用戶終端包括移動通 信終端，所述移動通信終端可以通過移動通信網絡訪問所述遠程計算機。
3. 根據權利要求2所述的控制方法，其中，在所述用戶終端中，數字 小鍵盤區域中包括的按^:分配給對應於滑鼠光標的移動的功能，方向鍵區域 的按鍵分配給輔助所述數字小鍵盤區域的功能，所述方向鍵區域的中央按鍵 分配給作為菜單的顯示當前所顯示屏幕中所選擇的元素提供的功能列表的 功能，所述菜單中最廣泛使用的功能分配給所述數字小鍵盤區域的"5"鍵。
4. 根據權利要求3所述的控制方法，其中，在所述用戶終端中，菜單 按鍵分配給顯示整個菜單的功能，取消按鍵分配給對應於鍵盤Esc鍵的功能， 還分配確認鍵以便使所述確認鍵執行對應於所述方向鍵區域中央處的按鍵 或者所述數字小鍵盤區域的"5"鍵的功能。
5. 根據權利要求3所述的控制方法，其中，當在所述用戶終端中所述遠程計算機屏幕縮小顯示，或由於每個單位時間屏幕更新次數受到限制從而 所述滑鼠光標的位置從一個位置移動到相隔一定距離或更遠距離的另一個 位置時，指定移動前後的點之間的中間點，並且控制滑鼠光標以通過這些點。
6. 根據權利要求3所述的控制方法，其中，當所述遠程計算機屏幕的 一些區域在所述用戶終端的屏幕上以預定的倍率放大顯示時，為了實現移動 當前顯示的屏幕區域而非進行滑鼠光標移動的功能，通過使用"*"鍵或"#"鍵 或額外的菜單將所述數字小鍵盤區域或所述方向鍵區域的功能在所述滑鼠 光標移動功能和所顯示屏幕區域移動功能之間切換。
7. 根據權利要求6所述的控制方法，還包括步驟在所述滑鼠光標移 動功能和屏幕區域移動功能的情況下，如果在所述滑鼠光標或當前顯示的一 些區域到達實際屏幕的邊緣區域的時候額外地輸入移動指令，則如果當前顯 示的屏幕的窗口可滾動時自動滾動所述當前顯示的屏幕的窗口 ，並且額外地 顯示其它部分。
8. 根據權利要求6所述的控制方法，其中，當前顯示屏幕的窗口可以 滾動時，為了實現對應於可以滾動滑鼠光標位置處的窗口的滑鼠滾輪的功 能，使用"*"鍵或"#"鍵或額外的菜單將所述數字小鍵盤區域或方向鍵區域的 功能在滑鼠光標移動、屏幕區域移動功能和滑鼠滾輪功能之間進行切換。
9. 根據權利要求8所述的控制方法，還包括步驟通過提供作為可切 換狀態的輸入元素之間的移動功能從而在所述用戶終端中選擇將要輸入字 符串的對象，提供下一個輸入元素查找功能。
10. 根據權利要求8所述的控制方法，其中，通過支持包括上、下、左 和右的所有方向上的移動、在一舶^見窗屏幕中控制窗口的滾動位置，以及在 網頁的情況下通過檢查從當前滑鼠光標位置到元素等級結構的最高位置的 元素以便傳送可滾動元素的滾動命令，從而所述滑鼠滾輪功能實現滾動。
11. 根據權利要求2所述的控制方法，其中，當所述遠程計算機屏幕的一部分區域在用戶終端的屏幕上以預先確定的倍率放大並顯示時，屏幕放大 和縮小的功能分別分配給音量增大鍵和音量減小鍵。
12. 根據權利要求2所述的控制方法，還包括步驟當所述遠程計算機 的屏幕為網頁時，通過文檔對象模型提取出當前滑鼠光標的文本並顯示在所 述用戶終端上。
13. 根據權利要求12所述的控制方法，還包括步驟當通過所述DOM 提取文本時，元素如果包括〈A〉 、 <DIV〉、 、 、 、 P、 <SPAN〉、 〈TR〉和，則選擇元素的父元素，並且當所述元素 的父元素是〈DIV〉時，提耳又出所述〈DIV〉元素自己的文本。
14. 根據權利要求2所述的控制方法，還包括步驟當所述用戶終端中 字符串被輸入時，在屏幕上顯示字符串輸入窗口，在顯示所述字符串輸入窗 口的狀態中將數字小鍵盤區域的按鍵用於文字輸入，如果字符串輸入結束並 且選擇發送時，可選擇僅發送輸入的字符串或者自動地將回車鍵添加到所述 字符串的末尾並發送。
15. 根據權利要求1所述的控制方法，其中當所述遠程計算機屏幕的一部分區域在用戶終端的屏幕上以預定倍率 放大並顯示時，僅將對應於顯示在所述用戶終端屏幕上的區域的屏幕數據傳 送給所述用戶終端並進行更新，當觀看的區域發生改變時，相應區域的屏幕 數據被再次傳送給所述用戶終端並進行更新，從而僅有全部屏幕數據的一部 分被傳送並且執行任務。
16. 根據權利要求1所述的控制方法，其中，所述遠程計算機以所述用 戶終端所請求的放大倍率捕捉屏幕，當所述用戶終端當前看到的區域的數據 被改變時，以所述用戶終端中當前指定的放大倍率將改變的部分分割為單 元，並傳送給所述用戶終端。
17. 根據權利要求16所述的控制方法，其中通過比較基於放大倍率的屏幕緩存以及被分割為單元當前屏幕，判斷所 述數據是否已經被改變，當不能全部存儲所有所需的放大倍率的屏幕緩存時，刪除已經最久沒有 使用的放大倍率的屏幕緩存，從而確保存儲空間，以及當隨後所述用戶終端請求已經刪除的某一放大倍率的屏幕數據時，重新 生成屏幕緩存。
18. 根據權利要求16所述的控制方法，其中用所述用戶終端所請求的各放大倍率的單元執行緩存，使得所述單元的大小小於整個屏幕的大小，從而即使沒有整個屏幕數據 的情況下所述遠程計算機屏幕的一部分也能顯示在所述用戶終端上，當對於容納新單元數據而言存儲空間不足時，刪除最久沒有使用的單元 以確保存儲空間，以及當為了屏幕顯示而刪除的單元隨後被請求時，則通過請求從所述遠程計 算機重新接收。
19. 根據權利要求1所述的控制方法，其中所述遠程計算4幾不直接回應從所述用戶終端傳送的所觀看區域的修改 請求和屏幕數據請求，而進行內部記錄，所述遠程計算機以一定周期檢查屏 幕是否已經改變，並且傳送作為檢查結果的所選擇的屏幕部分和所請求的數 據，並且，當所請求的屏幕數據為預定的大小或更大時，所述遠程計算機僅傳送其 中一部分，在下一個周期重新檢查剩餘屏幕數據，然後傳送所述剩餘屏幕數 據，根據需要每過一定周期從所述用戶終端收到接收屏幕數據並處理完成的 回應之後執行下一個周期，從而控制不會傳送超出所述用戶終端每個單位時 間所能夠處理的數據量。
20. 根據權利要求1所述的控制方法，其中，當短時間生成大量輸入數 據時，所述用戶終端在預定的周期傳送所述用戶輸入信息，而不用實時傳送 用戶輸入信息，從而減少傳輸數據的數據量。
21. 根據權利要求1所述的控制方法，其中，即使當所述用戶輸入信息 沒有被發送給遠程計算機時，或者當所述用戶輸入信息還沒有在遠程計算機 中處理時，或者當所述用戶輸入信息或屏幕改變數據還沒有完全傳送到用戶 終端時，所述用戶終端使用已經存在的用戶輸入信息和屏幕數據顯示近似的 結果。
22. 根據權利要求1所述的控制方法，還包括步驟 在所述用戶終端上顯示用於控制在所述遠程計算機中生成的計算環境的用戶界面；以及允許所述遠程計算機控制通過所述用戶界面請求的操作在遠程計算機 的計算環境中執行。
23. 根據權利要求22所述的控制方法，還包括步驟將所述遠程計算 機請求的操作結果通知給所述用戶終端。
24. 根據權利要求22所述的控制方法，還包括步驟允許所述遠程計 算機根據來自所述用戶終端的註冊請求執行用戶驗證，然後生成對應於用戶 驗證的計算環境。
25. 根據權利要求22所述的控制方法，其中，所述用戶界面包括至少 一個由所述遠程計算機提供的屏幕、用於控制整個計算環境的共用菜單以及 用於控制在所述計算環境中運行的應用程式的單個菜單。
26. 根據權利要求22所述的控制方法，其中，在顯示所述用戶界面的 步驟中，使用作業系統上的一個用戶帳號以及當用所述用戶帳號登錄時提供 的桌面屏幕生成多個計算機環境。
27. 根據權利要求26所述的控制方法，其中，所述遠程計算機在針對 用戶的唯一的空間中存儲所述應用程式的文檔和環境設置信息，並且使用操 作系統上的一個用戶帳號管理所述文檔和所述環境設置信息，從而使得多個 計算環境共同存在。
28. 根據權利要求27所述的控制方法，還包括步驟根據所述用戶終 端的屏幕解析度在邏輯上分割遠程計算機的屏幕，安排用於相應於每個邏輯 分區部分的計算環境的應用程式的用戶界面，並將所述用戶界面提供給所述 計算環境的屏幕。
29. 根據權利要求28所述的控制方法，其中，所述遠程計算機為了提 供具有多個或更多可能的邏輯分區的計算環境，將最久沒使用過的計算環境 的邏輯分區重新分配給當前必須分配邏輯分區的計算環境。
30. 根據權利要求22所述的控制方法，還包括步驟接收在所述用戶 終端中根據所述請求的操作的結果而改變的狀態和所述計算環境中自動改 變的狀態，並且重新配置所述用戶界面。
全文摘要
本發明涉及一種使用輸入/輸出裝置和有限的內存容量的遠程通信終端，甚至在數據傳輸速率有限並且傳輸成本高的通信網絡環境中還可以有效控制遠程計算機的控制方法。根據本發明的控制方法包括為終端的有限輸入設備優化的輸入方法、為小屏幕終端優化的屏幕顯示方法以及為通信網絡速率、傳輸成本和有限的存儲容量的終端優化的屏幕數據傳輸功能。
文檔編號G06F15/16GK101506791SQ200780031373
公開日2009年8月12日 申請日期2007年8月23日 優先權日2006年8月23日
發明者沈在範 申請人:論理工場株式會社