事件指揮所的製作方法

2023-09-18 03:10:25 2

專利名稱：：事件指揮所的製作方法
技術領域：
：本發明涉及用於信息收集和在物理現場(physicalsite)的用戶之間的通信的方法和裝置。
背景技術：
：近些年來，開發了很多諸如行動電話和步話機的設備，用於在移動用戶組之間的雙向音頻通信。除了音頻設備外，還開發了很多視頻設備，諸如網絡攝像機和視頻電話被開發以便提供在一組用戶之間的雙向視頻通信。在諸如火災的動態情形中，對於處在緊急事件指揮所(incidentcommandpost)的協調人員來說，跟蹤救火員和其它地面人員是極其重要的，以便能夠適當地觀察和指引他們。這些情形還需要用於啟動和維持與相關人員的音頻和視頻通信鏈路的裝置。在當前的技術中，緊急事件指揮所通常使用分離的、非集成的用於音頻和視頻通信的系統來建立與救火員的音頻或視頻鏈路。例如，步話機系統用於音頻通信，而閉路電視(「CCTV」)攝像機被用於視頻通信。計算機處理器還可以被用於提供使用發送這種信息的設備的人員的位置信息。而且，在現有技術中，建築經常配備有多種類型的傳感器，例如，位置傳感器、溫度傳感器、移動傳感器和煙霧傳感器。這種傳感器可以連接到或者可以不連接到計算機網路。這種傳感器提供關於用戶/資源的位置的有價值的信息以及關於在現場位置的環境的信息。然而，在當前的技術中，這些系統/設備(行動電話、步話機、視頻電話等)缺少一個單一接口上傳送用於決策的信息所需的集成。沒有一個單一系統能夠提供集中式的位置和傳感器信息，以及通信集線器(communicationhub)的功能。這種集成的缺乏導致了在諸如火災的緊急情況(missioncritical)中的協調和通信相關問題。存在對於在緊急情況中允許自然和靈活的通信/交互的系統和方法的需求。需要提供一個雙向通信/交互平臺，該平臺集成來自多種基於位置的系統、音頻和視頻流系統和傳感器系統的信息。這種系統能夠真正在單一接口上提供通過現場視頻通信的實時狀況可見性，以及用於建立雙向交互和/或通信的容易和靈活的接口，以及有價值的傳感器數據。在動態環境中，用於為用戶提供這種集成的理想的平臺是諸如膝上計算機、蜂窩式電話和個人數字助理(「PDA」)的行動裝置。這些設備之所以是非常適合這種狀況的原因在於它們都是輕便和易於使用的，它們的屏幕能夠使用適當的解析度來進行視頻顯示。它們能夠被容易地連接到無線網絡，從而輔助移動用途，它們提供所需的雙向通信能力，同時，最重要的是，它們能夠被連接到集成位置信息、實時視頻顯示和輔助多模態的伺服器系統。用於這種提供傳感器信息與音頻和視頻通信的集成的理想接口將被便利地集成，而且是多模態的(multimodal)，允許同時使用諸如語音、小鍵盤、輸入筆動作(stylusgesture)的輸入模態以及諸如音頻、視頻和地圖顯示的輸出模態。這種接口的用戶能夠執行各種任務，包括跟蹤用戶/資源、導航通過他們的環境，定位在他們的環境中的其他用戶/資源以及使用多種模態向地理上收集的資源/用戶發出自動化命令。用戶能夠在地圖顯示上動態地更新環境的布局以精確地反映狀況。定義傳感器—如在現有技術中所公知的，傳感器170是從它們周圍的環境收集數據的設備。它們通常將這種數據轉換成信號並將它們發送到諸如計算機的其它設備(經由有線或無線網絡)。這種信號隨後被計算機處理器解釋以產生對應的信息。由傳感器170搜集的一些類型數據的例子是位置數據(例如，GPS坐標)、以及環境數據(溫度、壓力、溼度、化學物或煙霧的存在等)。為了本文件的目的，區分位置信號和環境信號(除位置以外的所有信息)是有用的。通常，位置傳感器和環境傳感器在物理上是截然不同的，這在於當前技術可用的傳感器能夠發送位置信號或環境信號，但不能發送這兩者。並不奇怪，為了本發明的目的，可以在相同的設備中一起包裝位置傳感器和環境傳感器，從而在邏輯意義上來講，單一設備可以發送這兩種類型的信號。在本發明的一個實施例中，與移動用戶和對象(靜止和移動兩者)相關的位置傳感器分別發送使能對用戶和對象進行跟蹤的位置信號。位置傳感器可以是和由用戶攜帶移動多模態系統120相關的或者可以是靜態的。靜態位置傳感器也可以是在現場原有的(例如嵌入的牆壁或者建築的其它部件中)，或者可以是由用戶帶入的用來幫助繪製(map)所述現場的地圖(在建築各點的大量位置傳感器可能足以添加信息到地圖，或者甚至創建地圖本身)。「移動計算機架構」—在一個實施例中，移動計算機架構110是一個包括計算機網絡、物理和邏輯的區分多模態系統120(通常由用戶攜帶)、和位置跟蹤系統140的架構。在一個實施例中，多模態系統120是具有音頻、視頻和文本模式的顯示和通信能力的設備。位置信號由網絡的位置傳感器170發送到位置跟蹤系統140，從而定位了與該傳感器相關的被跟蹤資源。移動計算機網絡110還可以具有環境跟蹤系統160，用於解釋來自環境傳感器的信號，以及歸檔系統150，用於存儲該環境信息，包括由移動計算機架構110創建的現場的地圖。「被跟蹤資源」—簡單地說指的是一個人或用戶、一件設備或任何其它移動或者不移動的具有位置傳感器的對象，並且因此能夠被位置跟蹤系統140跟蹤。被跟蹤的資源的一個例子是可移動滅火器。被跟蹤的資源的另一個例子是安裝在建築中的不移動的閉路電視。被跟蹤的資源可以由系統的用戶來攜帶。所述用戶與他或她所攜帶的資源被一起跟蹤。例如位置傳感器可以和個人或用戶攜帶的移動多模態系統120相關，從而幫助跟蹤這樣的多模態系統120的用戶的位置。為了文件的目的，在一些地方我們對個人將使用詞語「用戶」來描述而不是將他們稱作被跟蹤的資源。「位置跟蹤系統」—位置跟蹤系統140是用於管理移動或不移動的資源的位置數據的系統。在一個實施例中，位置跟蹤系統140包括定位引擎220以及呈現系統230。「定位引擎」—定位引擎220是用於搜集移動和不移動的被跟蹤資源的定位信號的系統。定位引擎220與位置傳感器發送的位置信號一起使用。在一個實施例中，定位引擎收集和積累來自位置傳感器的位置信號，所述位置傳感器和由用戶攜帶的移動多模態系統120相關。在另一個實施例中，定位引擎收集和積累可以是來自靜態傳感器或者已經是現場的原有位置傳感器的位置信號(例如，嵌入建築的牆壁或者是其它部件的)，或者可以是由用戶帶入以幫助繪製所述現場的地圖的位置傳感器的位置信號(建築中各點的大量傳感器可以是足夠向地圖添加信息或者是用來創建地圖本身的)。按照對象，定位引擎220包括用於從位置傳感器接收室內和室外位置信號的位置接收機，以及用於處理和解釋所接收的位置信號的部件。在一個實施例中，定位引擎可以具有便利於跟蹤的客戶端軟體或者硬體部件，其與嵌入和被跟蹤的資源相關的位置傳感器中的硬體或軟體類似。例如，如果定位引擎使用採用射頻信號的跟蹤協議，則被跟蹤的資源可以攜帶射頻發射機和接收機。位置傳感器的例子諸如包括基於IEEEE802.11或基於射頻的產品，它們將位置信號定期發送給定位引擎，這些產品可以來自諸如Ekahau、Aeroscout和Wherenet公司。「呈現系統」—在一個實施例中，呈現系統230的目的包括但不局限於，向多模態系統120通信和呈現信息。其還便利使用多模態系統120用於這種通信的跟蹤的資源(用戶)之間的雙向音頻和視頻通信。呈現系統230包括(a)從移動多模態系統接收請求的部件、以及(b)響應於來自移動多模態系統的請求的部件。呈現系統230管理在位置跟蹤系統140和用戶之間的全部用戶交互。呈現系統230通過諸如SAPNetWeaver協作平臺的伺服器架構的協作部件便利了在被跟蹤的資源之間的雙向音頻和視頻通信。呈現系統230的一個例子包括在SAPNetWeaver應用環境中運行並響應於經由超文本傳輸協議(「HTTP」)連接的用戶請求。該響應是使用XHTML+Voice(「X+V」)或與引用語言標籤(「SALT」)標準的多模態文件(使用例如文本和聲音的超過一種通信模式的文件)。該行動裝置需要被配備成使用相同標準與呈現系統230進行通信。位置跟蹤系統140還可以包括但不局限於諸如融合引擎260和地圖存儲設備250的其它部件。融合引擎—融合引擎260是將來自連接到其的多種部件的輸入信息進行集成和積累，用於通過定位跟蹤系統輸出到被跟蹤的資源的軟體部件。在一個實例中，連接到融合引擎260的不同部件是定位引擎220、呈現系統230、地圖存儲設備250以及環境跟蹤系統160。融合引擎將來自環境跟蹤系統160的環境傳感器信息、來自定位引擎220的定位信息以及來自呈現系統230的雙向音頻和視頻通信作為輸入接收。融合引擎260將來自連接到其的多種部件的輸入信息進行集成，並積累其用於輸出和將所集成的輸出信息經由呈現系統230傳送到移動多模態系統120。融合引擎260還將所收集的信息發送到歸檔系統150。在本發明的一個實施例，融合引擎260是將要運行在SAPNetWeaver或類似平臺的軟體部件。「地圖存儲設備」—地圖存儲設備250是以多種格式存儲的地圖和圖像的軟體資料庫。在一個實施例中，地圖存儲設備250雙向連接到呈現系統230和定位引擎220。其經由呈現系統230顯示在移動多模態系統120上的地圖。地圖存儲設備250可以是來自諸如Oracle、IBM、微軟和Myself的經銷商的任何資料庫。該資料庫必須能夠存儲圖像信息、以及大量和地圖上感興趣的多種點/位置的坐標相關的信息。「環境跟蹤系統」—環境跟蹤系統160是用於解釋環境信號的系統。環境跟蹤系統160包括用於解釋中繼的環境信號的處理器。該處理器將解釋的環境信號經由位置跟蹤系統140傳送給移動多模態系統120。環境跟蹤系統160雙向鏈連接到位置跟蹤系統140。環境傳感器170的例子是安裝在辦公室建築中的溫度和溼度傳感器。如果兼容，它們還可以是已經連接到在建築中的計算機網絡並且可由本發明的網絡訪問。新一代環境傳感器170基於分別被稱為因特爾微粒(IntelMotes)、伯克利微粒(BerkeleyMotes)和SmartDust的特別網絡技術。這些環境傳感器170能夠感知諸如溫度的各種環境參數。當多個微粒(motes)在相互通信的距離之內，它們能夠通過它們自身形成計算機網絡並且能在它們之間或與外部系統交換信息。當特定環境參數的值落在預定值之外時，可以確定發生一個事件。例如，如果由環境參數定義的火災溫度是120(華氏度)或更高，則任何由環境跟蹤系統160接收的這種信號的例子都將指示火災。環境跟蹤系統將事件的發生以及其位置(從相關的位置傳感器確定該事件的位置)經由位置跟蹤系統140傳送給移動多模態系統120的用戶。「歸檔系統」—歸檔系統150是用於記錄被跟蹤的資源之間(用於通信的移動多模態系統120的用戶)的雙向通信、被跟蹤資源的所有移動和其它數據的系統。在一個實施例中，它是記錄被跟蹤的資源的所有雙向通信和所有移動的大型多媒體資料庫。它具有將時間戳蓋在存儲的信息上的處理器。該處理器還檢索、重放、分類以及分析所存儲的信息。歸檔系統150連接到位置跟蹤系統140。「行動裝置」—行動裝置是具有計算能力並且具有用戶界面的被跟蹤的資源。在一個實施例中，其可以是膝上計算機或數字個人助理(「PDA」)或者是類似的具有多模態用戶界面的計算設備。「多模態界面」—多模態界面是支持諸如語音或機械鍵盤和輸入筆動作的組合以及諸如聽覺和視覺的輸出模態的組合的計算機用戶界面。該多模態界面與移動多模態系統相關。「多模態系統」—多模態系統120是用於在行動裝置的用戶和使用多種輸入和輸出模態的移動計算架構110之間的通信的系統。在一個實施例中，行動裝置或系統包括但不局限於(a)包括麥克風、揚聲器以及音頻編解碼器的音頻輸入/輸出系統；(b)顯示輸出和小鍵盤(keypad)/輸入筆(stylus)輸入；(c)包括攝像機和視頻編解碼器的視頻輸入/輸出系統；(d)包括句法分析器、解釋器以及用於文本到語音轉換以及語音到文本轉換的嵌入式語音識別引擎、以及為用戶同步音頻和視頻輸入和輸出兩者的同步元件的多模態瀏覽器；(e)雙向使能視頻信息流的視頻緩衝器；(f)包括軟體驅動器和在網絡上發送或接收信號所需的天線的802.11無線通信能力；以及(g)用於解釋在網絡上發送的信號或接收的信號，以將輸出遞送給用戶和從用戶接收輸入的軟體部件。在本發明中，多模態系統120通常由用戶攜帶，並且因此是移動多模態系統120。「XHTML+Voice」-XHTML+Voice是作為擴展超文本標記語言(「XHTML」)和聲音擴展標記語言(「VXML」)的組合的一種標記語言。XHTML+Voice文本可以包括地圖、聲音對話、聲音語法或任何其它信息。XHTML+Voice文本可以由多模態XHTML+Voice瀏覽器來進行句法分析(parsable)、解釋(interpretable)和渲染(renderable)。XHTML+Voice還結合了XML-Events技術。在XML-Events中，例如口頭髮聲、輸入筆動作或是小鍵盤輸入都被稱作為事件。這種事件是事先定義的。這些事件在XHTML+Voice中是使用預先定義的句柄(handler)來處理的，而這些句柄是使用來自諸如Javascript的多種腳本技術來實現的。當預定義的事件發生時(例如當口頭髮聲時)，激活在預定句柄中的Javascript代碼並且處理該事件。在口頭髮聲的一個實例中，XML-Events利用使用Javascript實現的聲音句柄來處理預定義的事件。XHTML+Voice文件由瀏覽器進行句法分析(由包括Javascript引擎的瀏覽器中的句法分析器)，並且在客戶設備上的瀏覽器中創建文件的文件對象模型(DOM)。文件的DOM如同在原始XHTML+Voice文件一樣還包括預先定義的事件和事件句柄(由此創建DOM)。因此，當預定事件發生時調用事件句柄，該預定事件被處理，並且這可以改變DOM。對於DOM的改變反映在視頻顯示以及由瀏覽器呈現的聲音對話中。對DOM的改變被作為HTTP請求傳送給位置跟蹤系統。「區」—在移動應用架構的意義上的區是位置現場的一個區或區域。在一個實施例中，區被在圖形地圖中劃分。在任何給定時間在一個區中可以出現一個或多個被跟蹤的資源。「指揮所」—指揮所是用於在一組被跟蹤的資源之間的協調和通信的中心點。在一個實施例中，其最少具有所有被跟蹤資源的所有元件。
發明內容本發明的一個方面提供用於動態繪製用以呈現給用戶的現場的地圖的系統，該系統包括計算機網絡；多個能夠在網絡上發送位置信號的位置傳感器；用於接收位置信號的網絡模塊；包括定位引擎和呈現引擎的位置跟蹤系統；以及用戶顯示器。類似的系統可以包括計算裝置；多個能夠在網絡上發送位置信號的感測裝置；用於接收位置信號的網絡接收裝置；包括用於將地圖顯示給用戶的定位裝置和呈現裝置的位置跟蹤裝置；以及用戶顯示裝置。該系統還可以通過接收和解釋附加位置信號來更新地圖。位置傳感器之一可以和被跟蹤的資源相關。該系統還可以包括個人數字助理、膝上型計算機或包括用戶顯示器的行動電話。該系統可以集成有多模態系統。位置傳感器可以是與現場相關的原有的位置傳感器或是在繪製地圖時被放置在現場的RFID位置傳感器。該系統可以包括發送環境信號的環境傳感器，環境信號可以被解釋為環境信息，並與地圖一起來呈現。該系統還可以包括移動計算架構、位置跟蹤系統、歸檔系統、地圖存儲設備和環境跟蹤系統。本發明的另一個方面提供了一種用於向用戶呈現疊加在現場的地圖上的本地化的環境信息的方法，該方法包括從多個位置傳感器接收位置信息和從多個環境傳感器接收環境信息；將位置信號解釋為位置信息和將環境信號解釋為環境信息；將位置信息和環境信息應用到現場的地圖作為本地化的環境信息；使用應用的信息顯示和歸檔地圖；在運行過程中(ongoingbasis)重複前面的步驟以便動態更新本地化的環境信息；並當環境信息指示環境參數落在預定範圍之外時確定事件的發生。本發明的位置傳感器可以與被跟蹤的資源相關。顯示可以在個人數字助理、膝上型計算機或包括用戶顯示器的行動電話上執行。用戶的輸入和輸出可以來自多模態系統。位置傳感器可以是與現場相關的原有的位置傳感器，或者是在繪製地圖時被放置在所述現場的RFID位置傳感器。該方法可以包括環境傳感器發送可以被解釋為環境信息並與地圖結合在一起呈現的環境信號，或動態地更新地圖或首先產生該地圖。該系統還可以包括移動計算架構、位置跟蹤系統、歸檔系統、地圖存儲設備以及環境跟蹤系統。該方法還可以涉及使用現有的靜態數據的產生的初始版本的地圖。一些位置傳感器被附在(tagged)現場的對象或建築部件上，以便能夠標識所述對象或部件。環境參數值之一可以是溫度或化學物濃度。位置信號可以被用於計算在一個傳感器和所有其它被跟蹤的資源之間的距離，以標識在預定距離內的所感興趣的所有傳感器和相關對象。該方法還可以包括計算在一個位置傳感器和其它傳感器之間的距離以標識在第一位置傳感器的預定距離內的感興趣的所有傳感器和相關對象。本發明的另一個方面提供了一種用於在現場監控人員移動和狀態的方法，其中每個人員和被跟蹤的資源相關，該方法包括從多個位置傳感器接收位置信號，其中至少位置傳感器之一與和人員相關的一個或多個被跟蹤的資源相關；將所述位置信息應用到現場的地圖；對疊加有一個或多個被跟蹤的資源的地圖進行顯示和歸檔；並且在運行過程中重複上述步驟以便連續地更新所跟蹤資源的位置和地圖。本發明的位置傳感器可以和被跟蹤的資源相關。顯示可以在個人數字助理、膝上型計算機或包括用戶顯示器的行動電話上執行。用戶的輸入和輸出可以來自多模態系統。位置傳感器可以是與現場相關的原有的位置傳感器，或者是在繪製地圖時被放置在所述現場的RFID位置傳感器。該方法可以包括環境傳感器發送可以被解釋為環境信息並和地圖結合在一起呈現的環境信號，或者動態地更新地圖或首先產生該地圖。該系統還可以包括移動計算架構、位置跟蹤系統、歸檔系統、地圖存儲設備以及環境跟蹤系統。該方法可以涉及接受用戶對於用戶位置的問詢、確定用戶位置和將用戶位置傳送給用戶。本發明的另一個方面提供了一種用於在現場的被跟蹤資源之間的通信的方法，該方法包括在與第一被跟蹤資源相關的顯示器上加載現場視圖；在與第一被跟蹤資源相關的顯示器上顯示現場視圖；在所述現場視圖上顯示和標識包括第二被跟蹤資源的一個或多個附加的被跟蹤資源；當用戶在現場視圖上選擇了第二被跟蹤資源時，在第一被跟蹤資源和第二被跟蹤資源之間建立音頻通信鏈路或視頻通信鏈路或建立這兩者。所述現場視圖可以是圖形地圖、所述現場的視頻或文本描述。該方法可以包括在現場視圖上標繪代表被跟蹤的資源的圖形或文本指示符。該方法可以包括用戶使用輸入筆選擇第二被跟蹤資源。用戶對第二被跟蹤資源的選擇可以包括畫出環繞代表第二被跟蹤資源的指示符的形狀。用戶對第二被跟蹤資源的選擇還可以包括用戶向與第一被跟蹤資源相關的聲音識別系統發出聲音命令。用戶對第二被跟蹤資源的選擇指定了與第二被跟蹤資源相關的屬性。該方法可以包括確定在用戶和第二被跟蹤資源之間的距離，其中，所述位置跟蹤系統確定用戶的位置以及第二被跟蹤資源的位置，並且隨後計算在用戶的位置和第二被跟蹤資源的位置之間的距離。用戶對第二被跟蹤資源的選擇還包括指定第二被跟蹤資源離開用戶的距離的聲音命令，並且該第二被跟蹤資源是基於所確定的小於或等於所指定距離的在第一被跟蹤資源和第二被跟蹤資源之間的距離而選擇的。本發明的另一個方面提供了一種用於在第一被跟蹤資源和第二被跟蹤資源之間建立雙向通信的方法，該方法包括第一被跟蹤資源的用戶使用聲音、文本或動作模態中的一個或多個在與行動裝置相關的多模態系統上輸入對第二被跟蹤資源的指令；該多模態系統處理由用戶輸入的指令；位置跟蹤系統接收輸入指令；位置跟蹤系統解釋輸入指令；位置跟蹤系統將該指令傳送給第二被跟蹤資源；第二被跟蹤資源在與第二被跟蹤資源相關的多模態界面上輸出指令，其中所述輸出可以是下面類型中的一種或多種聲音、視頻、文本或動作。下面將結合相關附圖描述本發明的這些和其它特徵和優點。本發明的目的和優點本發明的一些目的和優點在於集成輔助雙向通信並在移動多模態界面上向一組被跟蹤的資源提供基於位置的服務的各種系統。對於各種系統的集成改善了在資源組之間的通信和協調。本發明的基於上述目的一些目的和優點是提供用於集成位置跟蹤系統和雙向音頻和視頻通信系統的方法。這些方法允許通過使用模態，諸如使用輸入筆在所顯示的位置信息上點擊來基於所顯示的位置信息容易和直觀地建立雙向通信，從而避免在通信建立上的延遲。提供用於集成環境傳感器信息和關於位置的信息、使能在統一的多模態界面(與用戶使用的移動多模態系統相關的界面)上對現場位置的完全的上下文理解(contextualunderstanding)的方法。提供用於記錄和歸檔在資源之間的通信和資源的移動，用於後續分析的方法。提供用於多模態指令(使用多於一種通信模式給出的指令，諸如聲音和文本)的通信，改善系統可用性的方法。提供一種用於對位置跟蹤和環境跟蹤系統的多模態詢問(使用超過一種的通信模式的問詢方法，諸如聲音和文本)的方法。提供用於周期性地標繪疊加有被跟蹤的資源的標繪的位置現場的圖形地圖，從而在位置現場顯示在所跟蹤資源的位置的任何改變。由於可以用到對於位置現場的精確標繪，從而便利了導航，並且允許特別是在諸如火災的緊急狀況下做出準確的決定。結合隨後的說明和附圖，本發明的其它目的和優點將變得更加明顯。圖1是根據本發明的一個實施例的集成移動多模態界面(移動多模態系統的界面)、位置跟蹤系統、環境跟蹤系統和歸檔系統的移動計算架構的框圖。圖2是位置跟蹤系統的方框圖。圖3是說明了根據本發明的一個實施例的用於加載圖形地圖現場視圖(graphicalmapsiteview)的方法的流程圖。圖4是說明了根據本發明的一個實施例的用於圖形地圖現場視圖中的預定區的用戶操縱的方法的流程圖。圖5是說明了根據本發明的一個實施例的用於跟蹤環境傳感器信號、解釋來自環境傳感器的環境信號和將信息傳送給被跟蹤資源的方法的流程圖。圖6是說明了根據本發明的一個實施例的用於歸檔與事件相關的被跟蹤資源的移動和雙向通信的方法的流程圖。圖7是配備有根據本發明的一個實施例的多模態界面的行動裝置的方框圖。圖8是說明了根據本發明的一個實施例的用於啟動在兩個資源之間的音頻視頻雙向鏈路的方法的流程圖。圖9是根據本發明的一個實施例的用於輸入多模態指令和用於輸出多模態指令的用多模態界面的示意性截屏圖(screenshot)。圖10是說明了根據本發明的一個實施例的用於給出多模態指令的方法的流程圖。圖11是說明了根據本發明的一個實施例的用於詢問位置跟蹤系統的方法的流程圖。圖12是說明了根據本發明的一個實施例的用於向多模態界面(與移動多模態系統相關的界面)的用戶發出多模態指令的方法的流程圖。圖13是說明了根據本發明的一個實施例的用於啟動與遠程被跟蹤的資源的交互幫助會話的方法的流程圖。圖14是集成來自環境傳感器的信號並將相應的信息傳送給位置跟蹤系統的環境跟蹤系統的方框圖。具體實施例方式在本發明的下面的詳細描述中，對多個特定的實施例進行描述以便提供對於本發明的全面的理解。然而，對於本領域的技術人員來說應當清楚，本發明可以不用這些特定的細節或者使用作為替代的元件或處理來實現。在其它實例中，公知的處理、程序、部件和電路不被詳細說明，以免不必要地幹擾本發明的其它方面。實施例移動計算架構圖1說明了根據本發明的一個實施例的範例移動計算架構110。移動計算架構110包括諸如位置跟蹤系統140、環境跟蹤系統160、以及歸檔系統150的應用部件。其還包括連結到環境跟蹤系統160的環境傳感器170，以及和被跟蹤的用戶相關的多個被跟蹤行動裝置120。位置跟蹤系統140包括定位引擎220、呈現系統230、地圖存儲設備250以及融合引擎260。位置跟蹤系統140使用定位引擎220來確定在一個位置的移動和非移動被跟蹤資源的位置。呈現系統230使能對用戶呈現所有被跟蹤資源的當前位置。定位引擎220標繪疊加在現場位置的圖形地圖上的移動和非移動被跟蹤資源的即時位置，並將其顯示在用戶的行動裝置上。被跟蹤資源的位置上的任何改變都通過定期地在圖形地圖上重新標繪移動和非移動被跟蹤資源的位置而在圖形地圖上自動更新。呈現系統230在無線通信網絡上像行動裝置提供更新的圖形地圖。位置跟蹤系統140對圖形地圖的定期更新使得用戶能夠實時看見他們的位置以及靠近他們的其它被跟蹤資源的位置。這幫助用戶導航通過他們的環境。這裡的一個例子是涉及到在建築內滅火的救火員。假定被跟蹤的滅火器被火毀壞了。位置跟蹤系統140現在能檢測到滅火器的缺失。地圖被更新以示出滅火器的缺失，並且這個信息被傳送到行動裝置的用戶。在這個系統中可以使用多種用於室內跟蹤的定位引擎。這些可以包括使用無線信號的系統，所述系統符合諸如IEEE802.11b、Bluetooth、超寬帶(「UWB」)或Zigbee的協議。這些引擎所使用的定位技術可以包括基於無線信號的信號強度或時間信息的專用技術。而且，上述的無線信號可以在被跟蹤設備之間或被跟蹤設備和作為預先安裝的射頻接收機的所謂的信標(beacons)之間交換。在另一個實施例中，定位引擎220可以使用具有紅外或其它用於識別被跟蹤資源位置的通信技術的移動感測的組合。對於室外定位，定位引擎220可以包括GPS接收機的使用。為了提高精度，可以使用上述的定位技術的一種混合。定位引擎220可以集成來自室外和室內定位引擎兩者的信息來確定被跟蹤資源的位置。大多數定位系統具有一個客戶端和一個伺服器軟體部件。客戶端軟體部件駐留在被跟蹤設備或被跟蹤資源上，並將信號強度或時間信息通過無線連接傳送到駐留在計算機伺服器上的伺服器軟體部件。呈現系統230將當前信息傳送到移動多模態系統。呈現系統230包括(a)從移動多模態系統/設備接收信息請求的部件，和(b)響應與來自移動多模態系統的請求的部件。呈現系統230管理在位置跟蹤系統140和用戶之間的所有用戶交互。呈現系統230的角色還在於便利在被跟蹤資源之間的雙向音頻和視頻通信。其能通過諸如SAPNetWeaver協作平臺的協作部件來提供這種便利。在一個實施例中，呈現系統230包括諸如SAPNetWeaver的平臺，其包括網絡伺服器和通過超文本傳輸協議(「HTTP」)與行動裝置通信的應用伺服器。在一個實施例中，呈現系統230響應於來自行動裝置的所述HTTP請求，將XHTML+Voice文件發送到行動裝置。呈現系統230還可以使用「HTTP-push」機制向行動裝置發送更新，而不需要來自該行動裝置的用於更新的HTTP請求。XHTML+Voice文件可以包括地圖和聲音對話來導航該地圖或訪問其它信息。在一個實施例中，用於其多模態系統的行動裝置710，使用可以使用諸如「XHTML+Voice」的多模態標記語言的多模態瀏覽器，所述「XHTML+Voice」是擴展超文本標記語言(「XHTML」)和聲音擴展標記語言(「VXML」)的組合。XHTML+Voice文件可以包括地圖和聲音對話來導航該地圖或訪問其它信息。XHTML+Voice文件被句法分析，解釋並由行動裝置上的多模態瀏覽器渲染(render)。在一個實施例中，多模態瀏覽器的角色在於使用文本到語音(「TTS」)合成能力產生用於自動消息的音頻輸出。該多模態瀏覽器還接收行動裝置的聲音輸入，基於在XHTML+Voice文件中描述的語法解釋該聲音輸入，基於該用戶輸入創建XHTML+Voice文件，並將其轉換成用於呈現系統230的HTTP請求。行動裝置710上的多模態系統還可以由語音界面(例如通過聲音語音識別系統)和顯示界面(例如Java小程序或可縮放食糧圖形客戶端)的其它組合形成。在一個實施例中，呈現系統230還可以管理在多個被跟蹤資源之間的連續音頻和視頻通信。呈現系統230提供用於連接、路由和管理雙向音頻和視頻通信的多個流的軟體或硬體數字通信開關。在一個實施例中，融合引擎260是集成來自多種連接到其的多種部件並積累這種信息用於通過位置跟蹤系統輸出到被跟蹤的資源。在一個實施例中，連接到融合引擎260的不同部件是定位引擎220、呈現系統230、地圖存儲設備250和環境跟蹤系統160。融合引擎從環境跟蹤系統160接收環境傳感器信號、從定位引擎220接收位置信息以及從呈現系統230接收雙向音頻和視頻通信信息作為輸入。融合引擎260即成來自連接到其的各種部件的輸入信息，積累這種信息用於輸出並將所集成的輸出信息經由呈現系統230呈現系統230傳送到移動多模態系統120。融合引擎260還定期將所收集的信息發送到歸檔系統150。在一個實施例中，地圖存儲設備250是地圖的軟體資料庫，並且包括以位圖或可縮放矢量圖(「SVG」)或類似格式存儲的地形。其還包括有關區和多種其它地圖特徵的信息。位置跟蹤系統140可以位於相同的計算設備上，諸如運行Linux作業系統的伺服器，或者其部件可以在多個計算伺服器上，甚至在被跟蹤的資源本身上分布。位置跟蹤系統的操作在圖3中，存儲的圖形地圖經由呈現系統230被從地圖存儲設備加載到移動顯示界面(310)。位置跟蹤系統140使用在例如320和330中描述的多種定位技術中的一種或多種來確定所有被跟蹤的資源的位置。位置跟蹤系統140集成來自320和330(340)中描述的多種定位技術的位置信息，並隨後將被跟蹤的資源的位置標繪到從地圖存儲設備(350)加載的圖形地圖。呈現系統230在移動多模態系統(360)上顯示疊加有被跟蹤的資源的描述的圖形地圖，並將該圖形地圖發送到歸檔該地圖的歸檔系統(360)。被跟蹤資源的位置信息被連續地更新(380)。在被跟蹤的資源中的位置的任何改變被確定(390)，並且圖形地圖被更新(395)。分區方法顯示在行動裝置上的圖形地圖包括預定的區。區，在移動計算架構中的上下文中是位置現場的一個區或區域。區被在圖形地圖上劃分。在任何給定時間可以存在一個或更多被跟蹤的資源。例如在有很多樓層的建築現場中，任何樓層都可以被定義為一個區。用戶可以通過使用多種方法來修改預定的區。一個這種方式是通過使用輸入筆在圖形地圖顯示上劃出所期望的內容來修改區的邊界。使用輸入筆劃出所期望的區，則新畫的區變成高亮(highlight)。點擊高亮的區，則提供給用戶選項來保存新畫的區。用戶能夠保存新定義的區。這也可以被傳送給其他的用戶。在諸如火災的事件中，當事件指揮員能夠在圖形地圖上更新被火災影響的區時，這種工具得到實際應用。在一個實施例中，圖形地圖是顯示在多模態系統上的XHTML+Voice文件。該地圖由XHTML+Voice瀏覽器渲染在行動裝置上。在一個實施例中，XHTML+Voice文件包括使用Javascript編寫的句柄代碼以處理諸如輸入筆動作或口頭髮聲或者小鍵盤輸入。當用戶例如使用輸入筆來在用戶界面上操作區的內容(也被稱為用戶輸入或輸入)時，一個事件發生。用於輸入筆輸入的預定句柄被激活並且用戶操縱/輸入被渲染到XHTML+Voice文件。用戶隨後可以存儲對XHTML+Voice文件的操縱/輸入並將其傳送到呈現系統230。在系統的一個實施例中，能夠操縱圖形地圖的用戶需要被授權；換句話說，區修改設置被限制在一個較小的用戶集或只限制於在火災狀況中管理緊急狀況的指揮站。呈現系統230可以維持作為位置跟蹤系統140的部分的授權方法。在圖4中，由位置跟蹤系統140標繪的圖形地圖被顯示在設備上(410)。圖形地圖顯示預定的區和被跟蹤的資源。用戶通過使用輸入筆點擊或者通過在小鍵盤上鍵入或者通過發出一個聲音命令(420)來選擇改變區布局的選項。用戶被授權通過授權系統來操縱圖形地圖的預定的區，其可以使位置跟蹤系統140的一部分(430)。被授權的用戶現在可以使用輸入筆來選擇改變的區，或者通過選擇適當的選項來添加新的區(440)。用戶現在能夠通過聲音命令、輸入筆動作或者小鍵盤輸入修改所選的區或新區的範圍(450)。所畫的新區或者修改的區被發送到位置跟蹤系統140(460)。由位置跟蹤系統140位置跟蹤系統140在圖形地圖繪圖上更新新區或更新的區，並且隨後被顯示在所有使用其它行動裝置的用戶的多模態界面上(470)。環境跟蹤系統圖1所示的環境跟蹤系統160連接到位置跟蹤系統140，並且更具體地說連接到位置跟蹤系統140的融合引擎260。建築通常配備有收集有關圍繞其環境的數據的多種類型的環境傳感器。這種環境傳感器的一些例子是溫度傳感器、移動傳感器等。這些環境傳感器還被連接到計算網絡(有線或無線)。或者，現場人員可以採用能夠感測在事件現場的諸如溫度和溼度的環境參數的移動或非移動環境傳感器。這些移動和非移動環境傳感器能夠在它們之間形成特別(adhoc)無線網絡來傳送數據環境跟蹤系統160由環境傳感器、計算網絡、以及用於解釋中繼信號和確定中繼這些信號的環境傳感器的位置的軟體或硬體部件構成。利用計算網絡，還可以將環境跟蹤系統160連接到移動計算架構110。利用諸如通過HTTP的XML數據交換的通用通信方法，環境跟蹤系統160能夠將環境信息和環境傳感器的位置傳送到移動計算架構110。在環境跟蹤系統160中使用的環境傳感器170可以測量諸如溫度和壓力的環境參數，可以檢測移動和/或聲音，並且甚至可以使用視頻技術記錄移動。而且，這些傳感器可以被相互連接，並且使用有線或無線網絡技術來跟蹤系統。有線的網絡拓撲可以是基於廣域網(「WAN」)或區域網(「LAN」)，而無線網絡技術可以包括使用無線信號的系統。在一個實施例中，環境傳感器170包括具有由大學開發和由諸如加州SanjoseDaggett街道的Crossbow技術有限公司商業銷售的具有特別無線網絡能力的微小的自我包容設備，並且通常被稱為「微粒」或「SmartIts」。傳感器170還可以是包含銷量數據的射頻標識(「RFID」)標籤，其包含主動(配備電池的)或被動收發機，並且其被用於跟蹤設備和商品。根據一個實施例，環境跟蹤系統160使用包含感測設備和其中接收機積累和/或解釋由環境傳感器發送的信號的接收機制。接收機可以是使用有線或無線網絡技術連接到環境傳感器的行動裝置或伺服器。該接收機集成和分析來自網絡連接到其的所有環境傳感器的輸入。接收機還及時將環境信息轉換成為諸如可擴展標記語言(「XML」)，並將其傳送到其它軟體部件。可以使用多種計算網絡來實施環境跟蹤系統，例如在下面的圖14中所描述的，或者在授予Gelvin(請見Gelvin的圖16的例子)美國專利6735630公開的WINGSNG網絡。在一個實施例中，環境跟蹤系統160包括下列部件(圖14)一組傳感器1410和1420，感測多種環境和其它參數，用於集成環境傳感器信號並將其發送到信號處理系統以及發送到控制系統的接口1430，用於基於預定的時間標準標識/解釋事件的信號處理系統1450，用於控制事件流的控制流的控制系統1440，處理系統1460，其將事件和環境傳感信號分類並將它們在無線網絡上發送到諸如位置跟蹤系統140的其它系統，和用於通信事件和環境傳感信息的無線網絡連接1470。上述的不同部件可以在一個或多個傳感器設備上分布或在網絡上不同的計算機或伺服器上分布。在移動計算架構110，環境跟蹤系統160連接到較大的系統，諸如通過有線或無線連接的位置跟蹤系統140。位置跟蹤系統140將位置信息更新和來自環境跟蹤系統160的事件信息解釋為通過HTTP連接的XML文件。在位置跟蹤系統140中由融合引擎260對該文件進行的句法分析將環境傳感器的位置和來自環境跟蹤系統160的環境信息渲染到位置跟蹤系統140。在位置現場的相同的圖形地圖上組合檢測事件的環境傳感器的位置和被跟蹤的資源的位置，位置跟蹤系統140中的定位引擎220能夠在距離事件某個距離之內定位被跟蹤的資源。在一個實施例的應用中，在配備由網絡連接到計算架構的環境傳感器的位置現場，環境跟蹤系統160在現場接收並解釋來自環境傳感器的信號以確定信號的發生。事件是基於環境信息的組合來預定的，例如，較高的煙霧傳感器讀數指示火災。如果環境跟蹤系統160檢測到事件的發生，則環境跟蹤系統160立即通知位置跟蹤系統140該事件的位置，以及該事件的性質(nature)。位置跟蹤系統140隨後將該事件的發生傳送給離開該事件某個預定距離中的所有被跟蹤資源，例如，所有的救火員被指示火災現在擴張到建築的房間11。在圖5中，環境傳感器定期將環境傳感器信號發送到環境跟蹤系統(510)。環境傳感器信號由環境跟蹤系統160解釋以獲取嵌入環境信息(520)。發送信號的環境傳感器的位置由環境跟蹤系統160確定。環境跟蹤系統160將環境傳感器信息與預定的環境信號讀取閾值進行比較以確定事件的發生(540)。環境跟蹤系統160將事件的發生以及其位置傳送給位置跟蹤系統140。位置跟蹤系統140通過比較相對於事件發生的位置的被跟蹤的資源的位置來定位事件位置附近的被跟蹤的資源(560)。位置跟蹤系統140將事件的發生傳送到這些被跟蹤的資源(570)。歸檔系統歸檔系統150連接到移動計算架構110中的位置跟蹤系統140。歸檔系統150是能夠在實時存儲大量信息的多媒體資料庫。歸檔系統150是用於記錄雙向通信、被跟蹤的資源的所有位置和其它數據的系統。在一個實施例中，其是紀錄雙向通信和被跟蹤的資源的所有移動的大的多媒體資料庫。其具有對存儲的信息蓋時間戳的處理器。該處理器還檢索、重放、分類和分析所存儲的信息。歸檔系統150連接到位置跟蹤系統140並且更具體來說連接到融合引擎260。歸檔系統150記錄來自融合引擎的信息。融合引擎積累來自移動計算架構的不同部分的信息。歸檔系統具有在存儲所有信息之前對其蓋時間戳的處理器。在一個實施例中，歸檔系統150通過融合引擎260記錄在被跟蹤的資源之間的所有的視頻和音頻通信流，以及來自被跟蹤的資源的HTTP請求到呈現系統230，以及將來自呈現系統230的XHTML+Voice文件到行動裝置。歸檔系統150還記錄事件的所有環境信息和位置信息以及由融合引擎260積累的被跟蹤的資源的位置信息。歸檔系統150還可以被連接到在事件期間或事件後檢索、重放、分類和分析信息的分析系統以得到更好的學習。在歸檔系統150實施例的一個操作的例子中，由環境跟蹤系統160確定的時間發生及其位置，被傳送到位置跟蹤系統140的融合引擎260。融合引擎260解釋環境跟蹤系統160的輸入，並且將事件的位置傳送給在為之跟蹤系統中的定位引擎220。位置跟蹤系統140中的定位引擎220在位置現場的圖形地圖上標繪事件的位置，並將其與標繪在相同圖形地圖上的被跟蹤的資源進行組合。在進行圖形地圖標繪後，定位引擎220標識距離事件某個距離之內的所有用戶。這是通過由定位引擎220測量在被跟蹤的資源的位置和事件位置之間的距離來完成的。隨後，定位引擎220經由呈現系統230將事件的發生傳送給靠近該事件的被跟蹤的資源。當檢測到事件時，位置跟蹤系統140還啟動定位引擎220來連續記錄所有被跟蹤的資源的所有移動和雙向通信。在圖6中，每個環境傳感器定期發送信號到環境跟蹤系統160(610)。該信號被環境跟蹤系統160解釋和積累(620)。環境傳感器信號的位置由環境跟蹤系統160確定(630)。環境跟蹤系統160將環境傳感器信號讀數與預定的信號閾值進行比較以確定事件的發生(640)。當環境跟蹤系統檢測到事件的發生時，環境跟蹤系統160將事件的發生及其位置傳送到位置跟蹤系統140(650)。位置跟蹤系統140隨後通過將事件的位置與被跟蹤的用戶的位置進行比較來定位在事件位置附近的用戶的位置(660)。位置跟蹤系統140還指示歸檔系統150記錄被跟蹤的資源的所有通信和移動(670)。由歸檔系統150使用時間戳來記錄所有雙向通信和被跟蹤的資源的移動。移動多模態系統移動多模態系統710由下列部件構成包括麥克風、揚聲器和音頻編解碼器740的音頻輸入/輸出系統；顯示輸出和小鍵盤/輸入筆輸入730；包括攝像機和視頻編解碼器750的視頻輸入/輸出系統。在一個實施例中，在下面詳細說明的使用多模態瀏覽器形成的多模態界面；使能雙向的視頻信息流視頻緩衝器735；包括軟體驅動器和天線760的WiFi通信能力。多模態瀏覽器720包括下列部件對包含XHTML+Voice、SALT(語音應用語言標籤)或類似的標記的多模態文件進行句法分析，並將它們轉換為DOM(文件對象模型)的句法分析器790；組合起來提供語音輸入/輸出能力的語音到文本引擎715和自動語音識別引擎725；將顯示元件渲染到視頻顯示以及接收小鍵盤/輸入筆輸入的渲染器770；同步視頻和音頻用戶交互的同步元件；允許在文件對象模型上的動態客戶端交互的Javascript引擎。移動多模態系統的多模態瀏覽器的角色在於使用TTS合成能力產生用於自動消息的音頻輸出。多模態瀏覽器還將接收載行動裝置上的聲音輸入/聲音發聲、基於在XHTML+Voice文件對象中描述的預定的聲音句柄對其進行解釋並將其轉換成到呈現系統230的HTTP請求。在一個實施例中，一動設備具有使用諸如XHTML+Voice的多模態標記語言、在文件對象模型上的擴展超文本標記語言(XHTML)和聲音擴展標記語言(VXML)的多模態瀏覽器，以創建、操縱和渲染XHTML+Voice文件對象。多模態瀏覽器基於來自與移動多模態系統相關的多模態界面上的輸入創建HTTP請求。由多模態界面創建的HTTP請求被發送到位置跟蹤系統。響應中的位置跟蹤系統140向用戶發送可能包含地圖、聲音對話和句柄代碼來導航地圖或訪問其它信息。多模態瀏覽器還渲染、句法分析和解釋從位置跟蹤系統140接收的XHTML+Voice文件並將該信息傳送給移動多模態系統的用戶。在行動裝置上的多模態界面還可以由語音界面(例如ViaVoice語音識別系統)以及顯示界面(例如JavaApplet，或者可縮放矢量圖形客戶)的其它組合形成。在使用移動多模態系統的一個例子中，多模態技術被用於加載該位置的現場視頻視圖。這可以通過使用諸如使用小鍵盤/輸入筆動作點擊在行動裝置的屏幕上顯示的地圖的圖形指示符，或者通過發出由行動裝置上的語音識別系統解釋的口頭命令來完成。圖形指示符可以表示(a)記錄現場視圖的視頻攝像機或(b)被跟蹤的資源，其發送由與其的移動多模態界面相關的攝像機記錄的視頻視圖。點擊圖形指示符標識和建立了與特定資源的視頻鏈路來中繼該視頻視圖。多模態技術被用於建立與所感興趣的被跟蹤的資源的音頻鏈路。這可以通過使用和上面相似的技術來完成。在圖8中，在行動裝置的顯示器上顯示一個圖形地圖(XHTML+Voice文件)。被跟蹤的資源被使用諸如圖標或點的圖形指示符顯示在圖形地圖上。移動界面的用戶可以通過點擊在與該被跟蹤的資源相關的顯示器上的圖標或點來選擇另一個用戶或被跟蹤的資源，以建立與其的音頻/視頻通信(820)。在某些實施例中，可以使用利用聲音識別引擎解釋的聲音命令來選擇。在這種情況下的聲音命令通過與被跟蹤的資源相關的統一屬性來標識被跟蹤的資源。一旦標識了被跟蹤的資源，則在顯示界面上出現一個命令提示請求用戶選擇將與被跟蹤的資源建立哪個通信鏈路(830)。用戶通過點擊各自的命令提示來選擇所選的通信鏈路(例如音頻或視頻)(840)。用戶輸入命令是事件發生並且調用顯示在顯示界面上的XHTML+Voice文件對象模型上的Javascript代碼(點擊或使用聲音來識別被跟蹤的資源和所選的通信鏈路)。用戶命令隨後由瀏覽器作為HTTP請求發送到位置跟蹤系統。一旦接收到來自用戶被作為HTTP請求發送到位置跟蹤系統的輸入命令，則位置跟蹤系統140通過其在圖形地圖上的位置坐標將所選的被跟蹤的資源繪製(maps)到其唯一的IP位址或唯一的界面地址(850)。在用戶和所選的被跟蹤的資源之間使用多媒體流協議來建立用戶所選的通信鏈路(860)。輸出被顯示在用戶的顯示界面上(870)。多模態指令在使用移動多模態系統的另一個例子中，使用多模態技術來指示移動多模態系統的用戶。例如，如圖9所示，如果一個用戶拖住一個高亮的圖形指示符(表示第二用戶)通過圖形地圖上的路徑，將向該第二用戶發出沿著該路逕行進的音頻指令。屏幕上的其它動作/點擊將導致發出給該用戶的其它類型的口頭或可視指令。或者，諸如從用戶向與用戶相關的移動多模態系統發出的呼叫「幫助」的口頭指令可以導致諸如在所有其他用戶的行動裝置上的閃爍指示符的可視消息。多模態指令的操作用戶能夠通過使用輸入筆來環繞標繪在圖形地圖上的被跟蹤的資源的圖形指示符以及在行動裝置上的顯示器上的顯示來選擇被跟蹤的資源(1010)。用戶能夠向所選的圖標發出多種命令，並且在一個實例中這是通過使用輸入筆拖著該圖形指示符穿過圖形地圖(拖拉圖形指示符是預定義的事件)來完成(1020)。將基於這個事件激活在XHTML+Voice文件對象模型中適當的預定JavaScript句柄代碼，並且該事件句柄將把這個命令作為HTTP請求傳送給位置跟蹤系統(1030)。作為響應，位置跟蹤系統創建命令並將該命令作為XHTML+Voice文件轉發給所選的用戶，指示它們行進在地圖上被顯示為高亮的路徑(1040)。每個所選的用戶得到指示他們跟隨行進路徑的音頻消息。他們的屏幕也顯示要被行進的路徑(1050)。圖9說明了如同在行動裝置的多模態界面上看到的示例多模態指令輸入和輸出。作為被跟蹤的資源的諸如救火員的用戶，被例如另一個可能是事件指揮員的用戶請求離開建築。為了這樣做，該事件指揮員在顯示屏幕上點擊代表救火員的點。隨後他或她在他們的行動裝置的觸摸顯示器上進行輸入筆的動作。這導致對於位置跟蹤系統的請求，其向救火員的行動裝置發送作為XHTML+Voice文件的指令。救火員同時在行動裝置上得到兩種不同模態的指令(音頻和視頻)。使用設備上的TTS合成來產生音頻指令。圖9表示這個用戶的行動裝置的顯示(視頻指示的顯示)。910代表在他或她的行動裝置上的救火員，而920是他或她被要求跟隨以離開建築的地圖上的路徑。多模態詢問在使用移動多模態系統的一個實施例中，被跟蹤的資源可以使用多模態技術問詢位置跟蹤系統140。由被跟蹤的資源進行的問詢可以是兩種類型的(a)使用預定聲音語法的幫助能夠識別的聲音命令或(b)可由在行動裝置的觸摸顯示器上的小鍵盤/輸入筆的動作/點擊觸發的預定的命令集。例如，當用戶點擊/觸摸所顯示的圖形指示符進行問詢時，其啟動問詢模式。XHTML+Voice文件被加載到行動裝置以便利用戶詢問/問詢。用戶可以使用諸如「我在哪裡」的預定聲音句法來問詢設備，其向呈現系統230發送一個請求而呈現系統230將給出適當的回答作為響應。多模態問詢的操作在圖11，用戶在顯示界面上用於問詢的圖形指示符(XHTML+Voice文件被用於顯示該圖形指示符)上畫個圈或者點擊該圖形指示符(1110)。用戶隨後具有在顯示界面上定義的聲音語法發發聲音命令(1120)。例如，該聲音命令可以是「我在哪裡？」，這導致對於所發出的聲音命令的預定事件的出現。該命令被用於該事件的預定句柄識別並由瀏覽器轉換成行動裝置上的HTTP請求。該HTTP請求被發送到呈現系統230(1130)。從位置跟蹤系統140種的遠程伺服器產生一個適當的多模態響應(1140)並且使用TTS來渲染音頻輸出，並且視頻輸出被顯示在行動裝置顯示界面上(1150)。替代實施例多模態指令在使用移動應用架構的另一個實施例中，多模態技術被用於用戶之間通信指令。例如，用戶可以點擊他們的行動裝置的觸摸顯示器上的按鍵；這可能導致給一個或多個用戶的TTS生成的聲音。多模態指令的操作用戶能夠通過使用輸入筆來對想對其傳送指令的、在顯示在多模態界面上的圖形地圖上標繪的被跟蹤的資源的圖形指示符畫圈，來選擇該被跟蹤的資源(1210)。用戶還在多模態界面上選擇指令菜單(1220)。用戶從用於所選的被跟蹤的資源的菜單選擇指令(1230)。用戶所選的指令被發送給位置跟蹤系統140，並由位置跟蹤系統140解釋(1240)。作為響應，XHTML+Voice文件由位置跟蹤系統使用適當的指令發送到所選的用戶(1250)。每個所選的用戶得到具有適當指令的音頻指令。他們的屏幕也顯示這個指令(1260)。多模態問詢在使用移動多模態系統的另一個實施例中，用戶可以使用多模態技術來問詢位置跟蹤系統140。被跟蹤的資源的問詢可以是兩種類型的(a)能夠由預定的聲音語法識別的聲音命令或(b)可由在行動裝置的觸摸顯示器上的小鍵盤/輸入筆的動作/點擊觸發的預定的命令集。例如，當用戶有一個問題，他們可以使用在有效XHTML+Voice文件中定義的諸如「問題」的聲音語法，藉此位置跟蹤系統140將被跟蹤的資源連接到第二遠程資源用於交互的問題-回答會話。多模態問詢的操作在多模態問詢的實施例中，用戶在被跟蹤的資源上畫圈或者點擊被跟蹤的資源來問詢在顯示界面上的圖標(1310)。問詢是使用諸如「問題」的預定的聲音語法來執行的(1320)。設備上嵌入的語音識別給予預定聲音語法識別該命令，將其轉換成HTTP請求並將該請求發送到位置跟蹤系統140(1330)。位置跟蹤系統140產生適當的響應從而建立與將便利交互問題回答對話的遠程伺服器的音頻鏈路(1340)。創建具有資源/伺服器回答「請求」的交互聲音對話。應當理解，本發明可以以多種形式的硬體、軟體、固件、特殊用途處理器或者其組合來實現。在一個實施例中，本發明可以被以作為有形體現在程序存儲設備上的應用程式來實現。該應用程式可以被加載到包括任何合適的體系結構的機器或者由包括任何合適的體系結構的機器來執行。最好，該機器在具有諸如一個或多個中央處理單元(CPU)、隨機存取存儲器(RAM)以及輸入/輸出(I/O)接口的計算機平臺來實現。該計算機平臺還包括作業系統和微指令代碼。這裡描述的多種處理和功能既可以是微指令代碼的一部分或者可以是應用程式(或者是它們的組合)的一部分，其通過作業系統被執行。此外，多種其它外設設備可以連接到諸如附加信息存儲設備和列印設備的計算機平臺。還應當理解，由於在附圖中所描述的一些系統組件和方法步驟可以以軟體來實現，取決於本發明被編程的方式，在系統部件之間的實際連接(或處理步驟)可以是不同的。給出在此提供的本發明的主旨，本領域的技術人員應當能夠構思出本發明的這些和類似的實現或結構。權利要求1.一種用於動態繪製用於呈現給用戶的現場的地圖的系統，所述系統包括a.計算機網絡；b.多個能夠在網絡上發送位置信號的位置傳感器；c.用於接收所述位置信號的網絡模塊；d.位置跟蹤系統，該位置跟蹤系統包括i.用於將位置信號解釋為位置信息並且動態產生所述現場的地圖的定位引擎；和ii.用於將該地圖顯示給用戶的呈現引擎；以及e.用戶顯示器。2.如權利要求1所述的系統，其中，所述系統能夠通過接收和解釋附加位置信號來在運行過程中更新動態地圖。3.如權利要求1所述的系統，其中，所述位置傳感器之一和被跟蹤的資源相關。4.如權利要求1所述的系統，其中，所述系統還包括個人數字助理、膝上計算機或包括用戶顯示器的行動電話。5.如權利要求1所述的系統，其中，所述系統集成有多模態系統。6.如權利要求1所述的系統，其中，至少一些位置傳感器是與所述現場相關的原有的位置傳感器。7.如權利要求1所述的系統，其中，至少一些位置傳感器是在繪製地圖時放置在所述現場的RFID位置傳感器。8.如權利要求1所述的系統，還包括發送環境信號的環境傳感器。9.如權利要求8所述的系統，其中，所述環境信號被作為環境信息解釋，並被與所述現場的地圖結合在一起呈現。10.如權利要求1所述的系統，還包括下面中的一個或更多移動計算架構；位置跟蹤系統；歸檔系統；地圖存儲設備或環境跟蹤系統。11.一種用於向用戶呈現疊加在現場的地圖上的本地化的環境信息的方法，所述方法包括a.從多個位置傳感器接收位置信號和從多個環境傳感器接收環境信號；b.將位置信號解釋為位置信息和將環境信號解釋為環境信息；c.將位置信息和環境信息應用到所述現場的地圖作為本地化的環境信息；d.利用應用的信息顯示和歸檔地圖；e.在運行過程中重複步驟a到d以便動態地更新本地化的環境信息；和f.當環境信息指示環境參數落到預定範圍之外時確定事件的發生。12.如權利要求11所述的方法，其中，位置傳感器之一和被跟蹤的資源相關。13.如權利要求11所述的方法，其中，所述顯示是在個人數字助理、膝上計算機或包括用戶顯示器的行動電話上進行的。14.如權利要求11所述的方法，其中，用戶輸入和輸出是來自多模態系統的。15.如權利要求11所述的方法，其中，至少一些位置或環境傳感器是與所述現場相關的原有的傳感器。16.如權利要求11所述的方法，其中，至少一些位置或環境傳感器是在繪製地圖時放置在所述現場的RFID傳感器。17.如權利要求11所述的方法，其中，所述位置信號用於動態地產生或更新地圖自身。18.如權利要求11所述的方法，其中，所述地圖的初始版本是使用預先存在的靜態數據產生的。19.如權利要求11所述的方法，其中，至少一些傳感器被附在所述現場的對象或建築部件上，以便在地圖上標識該對象或部件。20.如權利要求11所述的方法，其中，所述環境參數值之一是溫度。21.如權利要求11所述的方法，其中，所述環境參數值之一是化學物濃度。22.如權利要求11所述的方法，其中，所述位置信號被用於計算在一個傳感器的位置和每一個其它被跟蹤的資源的位置之間的距離，以標識在預定距離內的所有感興趣的傳感器和相關對象。23.如權利要求11所述的方法，其中，所述位置跟蹤系統被用於計算在一個位置傳感器和其它位置傳感器之間的距離，以標識在第一位置傳感器的預定距離內的所有感興趣的傳感器和相關對象。24.一種用於監控在現場的人員移動和狀態的方法，其中，每個人員和被跟蹤的資源相關，所述方法包括a.從多個位置傳感器接收位置信號，其中至少位置傳感器之一和與人員相關的一個或多個被跟蹤的資源相關；b.將位置信號解釋成位置信息；c.將位置信息應用到所述現場的地圖；d.顯示並歸檔疊加有一個或多個被跟蹤的資源的地圖；e.在運行過程中重複步驟a到d以便連續地更新被跟蹤的資源的位置和地圖。25.如權利要求24所述的方法，其中，所述地圖在移動計算機或PDA顯示器上被顯示給用戶。26.如權利要求24所述的方法，其中，用戶輸入和輸出是來自多模態系統的。27.如權利要求24所述的方法，其中，至少一些位置傳感器是與所述現場相關的原有的位置傳感器。28.如權利要求24所述的方法，其中，至少一些位置傳感器是在繪製地圖時放置在所述現場的RFID位置傳感器。29.如權利要求24所述的方法，其中，所述位置信號是用於動態地產生或更新地圖自身。30.如權利要求24所述的方法，其中，所述地圖的初始版本是使用預先存在的靜態數據產生的。31.如權利要求24所述的方法，其中，至少一些傳感器被附在現場的對象或建築部件上以便在地圖上標識該對象或部件。32.如權利要求24所述的方法，還包括使用從環境傳感器接收的環境信號顯示疊加在地圖上的環境信息。33.如權利要求24所述的方法，還包括接受用戶對於用戶位置的問詢，確定用戶位置，和將用戶位置傳送給用戶。34.一種用於在現場的被跟蹤的資源之間進行通信的方法，所述方法包括a.在與第一被跟蹤資源相關的顯示器上加載現場視圖；b.在與第一被跟蹤資源相關的顯示器上顯示現場視圖；c.在現場視圖上顯示和標識包括第二被跟蹤資源的一個或多個附加的被跟蹤資源；d.當用戶在現場視圖上選擇第二被跟蹤資源時，在第一被跟蹤資源和第二被跟蹤資源之間建立音頻通信鏈路或視頻通信鏈路或建立這兩者。35.如權利要求34所述的方法，其中，所述現場視圖是圖形地圖。36.如權利要求34所述的方法，其中，所述現場視圖是現場的視頻。37.如權利要求34所述的方法，其中，所述現場視圖是文本描述。38.如權利要求34所述的方法，其中，顯示第二被跟蹤資源包括在現場視圖上標繪代表被跟蹤的資源的圖形或文本指示符。39.如權利要求34所述的方法，其中，用戶對第二被跟蹤資源的選擇包括使用輸入筆點擊。40.如權利要求34所述的方法，其中，用戶對第二被跟蹤資源的選擇包括畫出環繞代表第二被跟蹤資源的指示符的形狀。41.如權利要求34所述的方法，其中，用戶對第二被跟蹤資源的選擇還包括用戶向與第一被跟蹤資源相關的聲音識別系統發出聲音命令。42.如權利要求34所述的方法，其中，用戶對第二被跟蹤資源的選擇指定了與第二被跟蹤資源相關的屬性。43.如權利要求34所述的方法，還包括確定在用戶和第二被跟蹤資源之間的距離，其中，所述位置跟蹤系統確定用戶的位置以及第二被跟蹤資源的位置，並且隨後計算在用戶的位置和第二被跟蹤資源的位置之間的距離。44.如權利要求34所述的方法，其中，用戶對第二被跟蹤資源的選擇還包括指定第二被跟蹤資源離開用戶的距離的聲音命令，並且該第二被跟蹤資源是基於所確定的小於或等於指定距離的在第一被跟蹤資源和第二被跟蹤資源之間的距離而選擇的。45.一種用於在第一被跟蹤資源和第二被跟蹤資源之間建立雙向通信的方法，所述方法包括a.第一被跟蹤資源的用戶使用聲音、文本或動作模態中的一個或多個在與行動裝置相關的多模態系統上輸入對第二被跟蹤資源的指令；b.所述多模態系統處理由用戶輸入的指令；c.由一位置跟蹤系統接收輸入指令；d.所述位置跟蹤系統解釋輸入指令；e.所述位置跟蹤系統將該指令傳送給第二被跟蹤資源；f.第二被跟蹤資源在與第二被跟蹤資源相關的多模態界面上輸出指令，其中所述輸出可以是下面類型中的一種或多種聲音、視頻、文本或動作。全文摘要本發明提供了一種用於跟蹤現場資源和使用多種輸入和輸出模態來啟動與被跟蹤資源的音頻和視頻通信的系統和方法。該系統包括具有定位引擎和呈現引擎的位置跟蹤系統、環境跟蹤系統、或是永久性地安裝的或是臨時布置的位置和環境傳感器、以及諸如由被跟蹤的資源和用戶攜帶的行動電話或個人數字助理的可攜式設備。該方法包括跟蹤在現場的這種資源，使用可視地圖顯示器在可攜式設備上顯示他們的位置，並提供啟動與一個或多個被跟蹤資源的雙向音頻和視頻通信的能力。文檔編號H04L29/08GK1916828SQ20061007145公開日2007年2月21日申請日期2006年3月28日優先權日2005年3月28日發明者羅伯特·派,蒂姆·卡爾德韋,薩米爾·雷亞尼申請人:Sap股份公司