基於電話的動態圖像注釋的製作方法
2023-06-02 01:19:41 2
專利名稱：基於電話的動態圖像注釋的製作方法
技術領域：
本發明涉及多媒體消息的存儲和獲取，更具體地涉及將語音郵件系統的存儲和轉發功能用於處理多媒體消息，這些多媒體消息中含有經動態注釋的圖像。
由於能夠產生、存儲、發布數字媒體(如文本，語音，圖像，視頻，圖形等)的硬體和軟體的出現，促成了多媒體消息通訊系統的發展，使得人們不必在同一時間和同一地點也可以互相交流。這些系統必須以簡潔直觀的手段轉述儘可能多的信息，才能在實際應用中生效。在這種情況下，圖像注釋的方法十分引人注目。圖像注釋可以在已記錄好的圖像上疊加語音、文本、圖形、滑鼠移動等信息，它使得發送方覺得接收方似乎就在現場一樣。例如，一個人可以用聲音和圖形描述一文檔如何被修改，好像另一方就在他/她的身旁一樣。通常來說，動態圖像注釋擴展了人們使用計算機互相交流的方法。
使用注釋來增強基於計算機的交流有多種方式。在最簡單的一種方法中，文本文檔可以採用特殊標記加以擴展，例如可以在「發送」標記處打入注釋。更加成熟的系統允許創建包含聲音和圖形的圖像注釋或文本注釋。但是，這些系統要求產生和再現這些注釋的計算機裝有執行音頻記錄和回放的必要的軟硬體設備。
本發明的目的是開發一種獨特的注釋，可以用於合成和再現注釋的計算機缺少音頻能力但擁有獨立電話裝置的環境中。基本的設想是使用計算機記錄消息中的圖形和滑鼠移動(指示符)，使用語音郵件系統記錄消息中的聲音部分。
本發明將動態圖像注釋的使用擴展到缺少完全多媒體能力的PC機和工作站上。通過利用語音郵件系統的存儲和轉發能力，以及利用電話裝置傳送消息中的語音/聲音部分，該系統可以合成、存儲和獲取包含動態注釋圖像的多媒體消息。該系統包含在消息記錄、存儲、再現過程中同步語音/聲音部分的協議。
圖1描述四種可能的多媒體方式。
圖2描述本發明一實施例的記錄協議。
圖3描述本發明一實施例的回放協議。
圖4描述本發明一次測試中的系統部件。
圖1描述四種方式，其中本發明的動態注釋可用於語音郵件環境中。方式1中一用戶使用一臺含有動態圖像注釋的多媒體PC機11，通過區域網12訪問語音郵件系統15。方式2中一用戶使用一臺非多媒體PC機13(例如，不帶音箱、話筒或電話接口的PC機)，通過電話14和區域網12訪問語音郵件系統15的服務。電話聯接由公共分組交換機(PBX)16實現。方式3中一用戶使用一臺非多媒體可攜式PC機17(例如，不帶音箱、話筒或電話接口的可攜式PC機)，利用電話18和數據機19，通過公共電話網20訪問語音郵件系統15的服務。方式4中一用戶使用一臺多媒體PC機21，通過公共電話網20遠程訪問語音郵件系統15的服務。
本發明感興趣的是方式2和方式3，其中要求有電話裝置。具體來說，在方式2中，注釋消息的語音部分通過語音網絡傳輸，而同時圖形和指示符通過區域網傳輸。在方式3中，注釋消息的語音部分又通過語音網絡傳輸到語音郵件系統。注釋的其餘部分，包括圖像、圖形和滑鼠指示符，也通過一條獨立的電話線傳送到語音郵件系統。在方式3的另一實現方法中，注釋的圖形和指示符部分可以記錄在本地PC機中，並通過傳輸語音的同一條電話線傳輸到語音郵件系統中。
典型的多媒體注釋消息包括一幅或多幅圖像，一條語音/聲音消息，和由繪畫、滑鼠移動及查看命令組成的指示符時間序列，所有這些在時間上保持同步。本發明的目的是設計一種協議，允許在傳輸和存儲過程中分離語音/聲音部分，在回放過程中重新組裝分離的語音/聲音部分。開發這一協議的關鍵部分是標識適當的同步機制。
圖2描述本發明一實施例協議的記錄部分，以及計算機24、區域網26、語音郵件系統28、PBX30、和電話裝置32的互相聯接。用戶選擇記錄模式開始一次通訊，然後選擇要注釋的圖像。選擇完成後，系統要求語音郵件系統28開始呼叫相應的電話裝置32，然後進入等待狀態。這裡假定已有決定被呼叫設備和驗證用戶標識的機制。語音郵件系統28將開始這個呼叫，等待用戶的回答，並顯示提示符指出呼叫的原因，要求用戶做出指定的響應，例如按下一按紐確認已準備好開始注釋圖像。接到用戶的確認之後，語音郵件系統28將命令PC24上的注釋程序進行注釋，開始記錄從電話裝置32傳來的語音消息。注意這一步要求滿足實時的限制。即系統必須立即通知注釋程序運行。該程序也必須能夠立即從等待狀態返回。這一步驟中記錄下一系列的同步標記(Ti)以跟蹤通訊過程。具體是，T1表示從注釋開始處到第一次暫停經過的時間，T2表示第一次暫停的期間，T3表示第二次注釋的期間。注意如果在記錄注釋過程中有兩次或更多的暫停，將需要T4、T5等標記。用戶按下「停止」按紐並掛上電話32指示已完成注釋。用戶發出「發送」命令後，通訊即完成(從用戶的角度來看)。系統將在後臺繼續與語音郵件系統28的通訊，發送圖像、指示符、和同步標記到消息存儲器，消息存儲器將這些信息與消息的語音部分一起保存。
圖3描述回放過程中執行的步驟。計算機34、區域網36、語音郵件系統38、PBX40、和電話裝置42之間的聯接如圖2所示。在第一步，用戶接收到所提供的一列消息，並選擇其中之一進行回放。接著的兩步處理與上面協議中描述的類似。在第三步，用戶通過電話裝置42接收到語音消息，同時注釋的指示符部分顯示在計算機34的屏幕上。在記錄過程中合成的同步標記將用於兩個設備間的同步。即指示符再現裝置將定期地比較執行的實際時間。如果有必要，指示符再現裝置將丟掉少量指示符信息，以加速再現過程。指示符再現裝置也可以插入一些延遲，以對語音和指示符注釋進行再同步。
作為本發明的一個測試，創建了一個簡單的概念系統，用來模擬電話和語音郵件部分的功能。該系統如圖4所示。這一系統由三個UNIX進程構成，運行在兩個分離的工作站上。進程1運行圖像注釋軟體，該軟體加入了遠程過程調用功能，用以模擬與語音郵件伺服器之間的通訊。進程2後臺運行，模擬語音郵件系統的功能；根據協議中的定義，該進程接收來自注釋程序(進程1)、電話裝置(進程3)的命令，也向這些進程發出命令。最後，進程3用於模擬標準電話裝置。該系統在第二臺工作站上使用圖形用戶界面、話筒、和音箱來記錄和播放消息的語音部分。上述測試系統說明本發明可以實現預計的功能。
如上所述，本發明將動態圖像注釋的使用擴展到缺少完全多媒體功能的PC機或工作站上。採用電話傳輸多媒體消息的語音/聲音部分還有其它優點，例如被記錄和傳輸的聲音質量的提高，對區域網通信量和帶寬要求的降低。
本發明並不僅限於上述的硬體、軟體配置，或運作過程。本發明包括如下權利要求範圍中包含的所有對其的變化和替換。
權利要求
1.一種基於電話的動態圖像注釋系統，包括計算機裝置，包括計算機屏幕；區域網路，與所述計算機裝置相聯接；語音郵件系統，與所述區域網相聯接；公共分組交換機(PBX)裝置，與所述語音郵件系統相聯接；電話裝置，與所述PBX裝置相聯接；還有，協議裝置，對一消息進行記錄和回放；其中，在所述記錄過程中，消息的語音部分被分離，以使所述電話裝置可以傳輸所述消息的語音部分；在所述回放過程中，經所述電話裝置播放的所述語音部分與疊加繪製在所述計算機屏幕上顯示的所述消息的圖像上的圖形和指示符部分同步。
2.如權利要求1所述的基於電話的動態圖像注釋系統，其中所述的協議裝置包括記錄裝置；還有，回放裝置。
3.如權利要求2所述的基於電話的動態圖像注釋系統，其中所述的記錄裝置包括載入裝置，將所述圖像載入到所述計算機屏幕上；啟動裝置，要求所述語音郵件系統開始呼叫一個設備，並進入等待狀態；其中所述語音郵件系統開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，並要求用戶執行特定的動作；確認裝置，提供所述用戶的確認；指令裝置，在所述用戶開始使用所述電話裝置記錄一段語音消息時，使所述語音郵件系統指示所述計算機裝置上的注釋程序進行注釋；還有，通訊裝置，使所述語音郵件系統發送圖像、指示符、和同步標記到消息存儲器，將這些消息與所述語音消息保存在一起。
4.如權利要求2所述的基於電話的動態圖像注釋系統，其中所述的回放裝置包括載入裝置，將所述圖像載入到所述計算機屏幕上；啟動裝置，要求所述語音郵件系統開始呼叫一個設備，並進入等待狀態；其中所述語音郵件系統開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，並要求用戶執行特定的動作；確認裝置，提供所述用戶的確認；傳輸裝置，當所述圖像和指示符顯示在所述計算機裝置屏幕上時，經所述電話裝置發送所述語音消息；還有，同步裝置，使用所述同步標記來協調所述電話裝置和所述計算機裝置的所述屏幕。
5.如權利要求4所述的基於電話的動態圖像注釋系統，其中所述的回放裝置還包括消息獲取裝置，使所述計算機裝置向所述語音郵件系統請求一列消息；消息隊列裝置，使所述語音郵件系統提供所述消息隊列；消息選擇裝置，使所述計算機裝置從所述消息隊列中選擇一條或多條消息；還有，傳輸和顯示裝置，使所述語音郵件系統提供所述一條和多條消息。
6.一種基於電話的動態圖像注釋系統，包括計算機裝置，包括計算機屏幕；數據機裝置，與所述計算機裝置相聯接；電話裝置，與所述數據機相聯接；公共電話網，與所述數據機相聯接；公共分組交換機(PBX)裝置，與所述公共電話網相聯接；語音郵件系統，與所述PBX裝置相聯接；還有，協議裝置，對一消息進行記錄和回放；其中，在所述記錄過程中，消息的語音部分被分離，以使所述電話裝置可以傳輸所述消息的語音部分；在所述回放過程中，經所述電話裝置播放的所述語音部分與疊加繪製在所述計算機屏幕上顯示的所述消息的圖像上的圖形和指示符部分同步。
7.如權利要求6所述的基於電話的動態圖像注釋系統，其中所述的協議裝置包括記錄裝置；還有，回放裝置。
8.如權利要求7所述的基於電話的動態圖像注釋系統，其中所述的記錄裝置包括載入裝置，將所述圖像載入到所述計算機屏幕上；啟動裝置，要求所述語音郵件系統開始呼叫一個設備，並進入等待狀態；其中所述語音郵件系統開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，並要求用戶執行特定的動作；確認裝置，提供所述用戶的確認；指令裝置，在所述用戶開始使用所述電話裝置記錄一段語音消息時，使所述語音郵件系統指示所述計算機上的注釋程序進行注釋；還有，通訊裝置，使所述語音郵件系統發送圖像、指示符、和同步標記到消息存儲器，將這些消息與所述語音消息保存在一起。
9.如權利要求7所述的基於電話的動態圖像注釋系統，其中所述的回放裝置還包括載入裝置，將所述圖像載入到所述計算機屏幕上；啟動裝置，要求所述語音郵件系統開始呼叫一個設備，並進入等待狀態；其中所述語音郵件系統開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，並要求用戶執行特定的動作；確認裝置，提供所述用戶的確認；傳輸裝置，當所述圖像和指示符顯示在所述計算機裝置屏幕上時，經所述電話裝置發送所述語音消息；還有，同步裝置，使用所述同步標記來協調所述電話裝置和所述計算機裝置的所述屏幕。
10.如權利要求9所述的基於電話的動態圖像注釋系統，其中所述的回放裝置還包括消息獲取裝置，使所述計算機裝置向所述語音郵件系統請求一列消息；消息隊列裝置，使所述語音郵件系統提供所述消息隊列；消息選擇裝置，使所述計算機裝置從所述消息隊列中選擇一條或多條消息；還有，傳輸和顯示裝置，使所述語音郵件系統提供所述一條和多條消息。
11.一種動態注釋圖像傳輸方法，包括以下步驟使用帶計算機屏幕的計算機裝置；聯接所述計算機裝置和區域網；聯接語音郵件系統和所述區域網；聯接公共分組交換機(PBX)裝置和所述語音郵件系統；聯接電話裝置和所述語音郵件系統；還有，使用協議裝置記錄和回放一條消息；其中，在所述記錄過程中，消息的語音部分被分離，以使所述電話裝置可以傳輸所述消息的語音部分；在所述回放過程中，經所述電話裝置播放的所述語音部分與疊加繪製在所述計算機屏幕上顯示的所述消息的圖像上的圖形和指示符部分同步。
12.如權利要求11所述的動態注釋圖像傳輸方法，其中所述協議裝置的使用包括以下步驟記錄所述消息；還有，回放所述消息。
13.如權利要求12所述的動態注釋圖像傳輸方法，其中所述消息的記錄包括以下步驟載入所述圖像到所述計算機屏幕；要求所述語音郵件系統開始呼叫一個設備，並進入等待狀態；其中所述語音郵件系統開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，並要求用戶執行特定的動作；提供所述用戶的確認；在所述用戶開始使用所述電話裝置記錄一段語音消息時，啟動所述語音郵件系統，指示所述計算機裝置上的注釋程序進行注釋；還有，指示所述語音郵件系統發送圖像、指示符、和同步標記到消息存儲器，將這些消息與所述語音消息保存在一起。
14.如權利要求12所述的動態注釋圖像傳輸方法，其中所述消息的回放包括以下步驟載入所述圖像到所述計算機屏幕；要求所述語音郵件系統開始呼叫一個設備，並進入等待狀態；其中所述語音郵件系統開始所述呼叫，顯示提示符指示所述呼叫的原因，並要求用戶執行特定的動作；提供所述用戶的確認；當所述圖像和指示符顯示在所述計算機裝置屏幕上時，經所述電話裝置發送所述語音消息；還有，使用所述同步標記來同步所述電話裝置和所述計算機裝置的所述屏幕。
15.如權利要求14所述的動態注釋圖像傳輸方法，其中所述消息的回放還包括以下步驟啟動所述計算機裝置向所述語音郵件系統請求一列消息；提供來自所述語音郵件系統的所述消息隊列；使所述計算機裝置從所述消息隊列中選擇一條或多條消息；還有，傳輸來自所述語音郵件系統的所述一條和多條消息。
16.一種動態注釋圖像傳輸方法，包括以下步驟使用帶計算機屏幕的計算機裝置；聯接數據機裝置和所述計算機裝置；聯接電話裝置和所述數據機；聯接公共電話網和所述數據機；聯接公共分組交換機(PBX)裝置和所述公共電話網；聯接語音郵件系統和所述PBX裝置；還有，使用協議裝置記錄和回放一條消息；其中，在所述記錄過程中，消息的語音部分被分離，以使所述電話裝置可以傳輸所述消息的語音部分；在所述回放過程中，經所述電話裝置播放的所述語音部分與疊加繪製在所述計算機屏幕上顯示的所述消息的圖像上的圖形和指示符部分同步。
17.如權利要求16所述的動態注釋圖像傳輸方法，其中所述協議裝置的使用包括以下步驟記錄所述消息；還有，回放所述消息。
18.如權利要求17所述的動態注釋圖像傳輸方法，其中所述消息的記錄包括以下步驟載入所述圖像到所述計算機屏幕；要求所述語音郵件系統開始呼叫一個設備，並進入等待狀態；其中所述語音郵件系統開始所述呼叫，當回應所述呼叫時，顯示提示符指示所述呼叫的原因，並要求用戶執行特定的動作；提供所述用戶的確認；在所述用戶開始使用所述電話裝置記錄一段語音消息時，啟動所述語音郵件系統，指示所述計算機裝置上的注釋程序進行注釋；還有，指示所述語音郵件系統發送圖像、指示符、和同步標記到消息存儲器，將這些消息與所述語音消息保存在一起。
19.如權利要求18所述的動態注釋圖像傳輸方法，其中所述消息的回放包括以下步驟載入所述圖像到所述計算機屏幕；要求所述語音郵件系統開始呼叫一個設備，並進入等待狀態；其中所述語音郵件系統開始所述呼叫，顯示提示符指示所述呼叫的原因，並要求用戶執行特定的動作；提供所述用戶確認；當所述圖像和指示符顯示在所述計算機裝置屏幕上時，經所述電話裝置發送所述語音消息；還有，使用所述同步標記來同步所述電話裝置和所述計算機裝置的所述屏幕。
20.如權利要求19所述的基於電話的動態圖像注釋系統，其中所述消息的回放還包括以下步驟啟動所述計算機裝置向所述語音郵件系統請求一列消息；提供來自所述語音郵件系統的所述消息隊列；使所述計算機裝置從所述消息隊列中選擇一條或多條消息；還有，傳輸來自所述語音郵件系統的所述一條和多條消息。
全文摘要
一種通信系統,它能夠生成、存儲和獲取含有動態注釋圖像的多媒體消息,利用語音郵件系統的存儲和發送功能以及電話裝置來傳送消息的語音/聲音部分。本系統包含一協議,它支持在傳輸和存儲過程中將消息的語音/聲音部分分離,並在回放時重新組裝語音/聲音部分。該協議採用了適當的同步機制。
文檔編號G06F3/16GK1195445SQ96196758
公開日1998年10月7日 申請日期1996年8月15日 優先權日1995年9月6日
發明者阿圖羅·皮扎諾, 所羅門·吳, 邱明義 申請人:西門子合作研究公司, 西門子商業通訊系統公司