用於捕捉裝置的視覺信息的系統和方法

2023-10-30 10:01:17

專利名稱：用於捕捉裝置的視覺信息的系統和方法
技術領域：
本發明大體涉及仿真裝置的領域。具體地，本發明涉及用於捕捉 裝置的視覺信息的系統和方法。
背景技術：
產品文檔典型地包括有組織系列的說明文檔，該系列說明文檔解 釋產品的操作、產品對於用戶輸入的響應、產品操作中的不同階段等 等。產品文檔典型地包括產品的圖像。當前，產品文檔包括利用數字 相機或者利用仿真的屏幕截圖來近似最終產品從而得到完成產品的照 片。產品文檔在操作手冊、產品行銷、教育培訓等等方面是有用的。關於利用數字相機來拍攝完成產品的照片，存在這樣的問題，就 是文檔直到開發周期中非常遲的時候才能得到該照片。這在產品出廠 之前留下很少的時間來得到照片並將照片結合到文檔中。此外，高質 量的照片需要高品質數字相機和採光。另外，在拍照時，必須有人適 當地將產品框在相機取景器中，確保採光充足並且產品處於適當的狀 態，拍攝照片，並將照片移出相機並移入為適用於包括在產品文檔中 的形式。這使得拍攝照片是易出錯的以及時間密集的過程。此外，對 於每張照片都需要重複這樣的過程。相似地，執行屏幕截圖是非常勞動密集、耗時以及昂貴的過程。 藝術家執行的屏幕截圖經常不是產品的顯示的屏幕上出現的準確圖 像。進一步地，藝術家通常使用完成產品作為參考，而通常他們只有在開發周期中很晚時候才能得到完成產品；或者他們根據概念圖來工 作，而概念圖可能不精確地反應最後產品實際上的外表特徵。
因此，需要這樣的機構，該機構使得在產品周期中比產品的硬體早得多的時候就可以得到產品的仿真。該機構應該具有腳本(scripting) 功能，從而自動地獲得屏幕圖像。該機構還應該消除光學、顏色和取 景失真/錯誤。該機構應該以數字格式捕捉圖像，以至於圖像可以被直 接地結合到產品文檔中。此外，該機構應該利用仿真器，該仿真器可 以被容易和快速地傳送到不同的位置。


圖1是根據本發明的仿真系統的示例性方塊圖。圖2是示出根據本發明的用於捕捉裝置的視覺信息的系統的示例 性部件的方塊圖。圖3是示出根據本發明的捕捉裝置的視覺信息的示例性過程的流 程圖。圖4是示出根據本發明的製備裝置的產品文檔的示例性過程的流 程圖。圖5和6示出流程圖，該流程圖示出根據本發明的製備行動電話 手機的操作視頻的示例性過程。圖7是根據本發明的示例性仿真器控制臺。圖8是根據本發明的示例性仿真窗口。圖9是示出根據本發明的電子設備的示例性部件的方塊圖。圖IO是根據本發明的由仿真器使用的示例性腳本。
具體實施方式
本發明涉及用於評估嵌入在裝置中的應用程式的仿真器。對於一 個實施例，該裝置是無線通信裝置。嵌入無線通信裝置中的每個應用 程序，以數據文件的形式被提供給仿真器作為輸入。當仿真器操作時， 輸出裝置顯示無線通信裝置的圖像，該無線通信裝置包括殼體、顯示 器、鍵盤等。進一步地，當仿真無線通信裝置的操作時，仿真的裝置 的輸入/輸出部件的圖像改變，尤其是顯示器。
本發明包括視覺捕捉功能，該功能記錄無線通信裝置的仿真操作 的屏幕截圖。視覺捕捉功能捕捉仿真裝置的視覺信息。所捕捉的視覺 信息可以被用來生成裝置操作的視頻。視覺信息還可以被用來製備操 作手冊、產品行銷、教育培訓等等。本發明的一個方面是用於捕捉裝置的視覺信息的系統，該系統包 括仿真器和視覺信息模塊。仿真器被配置為生成裝置的操作的仿真。 視覺信息模塊被配置為基於仿真來捕捉裝置的視覺信息。所述視覺信 息包括裝置的圖像和視頻的至少一個。本發明的另一方面是用於捕捉裝置的視覺信息的方法。使用仿真 器來生成裝置的操作的仿真。該仿真然後被用來記錄仿真裝置的視覺曰息。參考圖1，圖1示出了根據本發明的用於捕捉視覺信息的示例性系統。系統100包括輸入單元102、仿真單元104、輸出單元106以及 控制單元108。輸入單元102被用來向仿真單元104提供用戶輸入。輸 入單元102的例子包括鍵盤、操縱杆等。仿真單元104生成裝置的操 作的仿真。對於一個實施例，所述裝置是使用無線協議的無線通信裝 置，其包括但是不局限於基於蜂窩的通信，例如模擬通信(使用 AMPS)、數字通信(使用CDMA、 TDMA、 GSM、 iDEN、 GPRS或 EDGE)、以及下一代通信(使用UMTS或WCDMA)以及它們的變 體；對等或ad hoc通信，例如HomeRF、藍牙、IEEE 802.11(a、 b或 g)和IEEE 802.16(a、d或e);以及其他形式的無線通信，例如紅外技術。基於嵌入在裝置中的一個或多個應用程式，來生成仿真。仿真單 元104基於該仿真來捕捉裝置的視覺信息。視覺信息可以是裝置的圖 像、視頻和音頻的至少一個。由仿真單元104捕捉的視覺信息可以被 顯示在輸出單元106上。輸出單元106的例子包括計算機監視器、電 視屏幕或任何其他顯示裝置。控制單元108控制輸入單元102、仿真單 元104和輸出單元106的操作。參考圖2，圖2示出了方塊圖，該方塊圖示出根據本發明的用於 捕捉裝置的視覺信息的仿真單元104的示例性部件。仿真單元104包 括仿真器202和視覺信息模塊204。對於一個實施例，仿真器202是應 用程序。對於一個實施例，到仿真器202的輸入是嵌入在裝置中的應 用程序，仿真器202使用該應用程式，生成裝置的操作的仿真。在裝 置中嵌入的應用程式也被已知為操作應用程式。操作應用程式可以是 數據文件的形式，其具有可執行和連結格式(ELF) 、 Motorola專用格 式(S記錄)和/或二進位文件格式。對於一個實施例，仿真器202在 應用程式仿真中運行操作程序，該應用程式仿真不需要裝置的硬體， 以及仿真器202還仿真數據文件的對應裝置的操作。當仿真器202運 行操作應用程式時，輸出單元106示出裝置的圖像，該裝置包括殼體、 顯示器、鍵盤等。當仿真裝置的操作時，裝置的輸入/輸出部件尤其是 顯示器發生改變。視覺信息模塊204捕捉由仿真器202仿真的無線通信裝置的操作 的視覺信息。該視覺信息可以包括裝置的所仿真操作的屏幕截圖、裝 置的所仿真操作的視頻、以及音頻信息。對於一個實施例，可以每隔 預定時間間隔地來捕捉視覺信息。對於另一個實施例，在預定仿真事 件處，捕捉視覺信息。例如，在仿真行動電話的操作時，可以對仿真 器202編程，以在撥出號碼時捕捉行動電話的屏幕。在本發明的又一 個實施例中，基於裝置的操作速度和裝置的所仿真操作的速度的至少 一個，來捕捉視覺信息。裝置的所仿真操作的速度可以與裝置的操作 的速度不同。稍後在詳細的說明部分中將對此進行進一步的解釋。裝 置的視覺信息可以被用來製備裝置的產品文檔。產品文檔的製備包括 生成視頻和動畫的至少一個。視覺信息還可以被用來製備用戶手冊， 該用戶手冊包括在線介質格式的裝置的產品文檔。在線介質格式的例 子包括Macromedia flash電影、動畫圖像等。用戶手冊可以進一步包括 提示來將用戶的注意力吸引到要提供給裝置的輸入。例如，如果按下
裝置的鍵盤上的"5"鍵，其被以不同顏色突出，從而將用戶的注意力吸引到被提供的輸入。用戶手冊還可以包括提示，來將用戶的注意力 吸引到由裝置生成的輸出。例如，如果在行動電話中輸入電話號碼之 後按下了呼叫鍵，則可以突出屏幕來將用戶的注意力吸引到顯示器中 的變化。參考圖3，圖3是示出根據本發明的捕捉裝置的視覺信息的示例 性過程的流程圖。在步驟302起動過程之後，仿真器202在步驟304 生成裝置的操作的仿真。基於裝置的操作應用程式，來生成仿真，該 操作應用程式被作為輸入提供給仿真器202。基於仿真，在步驟306記 錄裝置的視覺信息。對於一個實施例，以電子格式記錄視覺信息。電 子格式的例子包括JPG、 GIF、 JPEG、 DAT、 AVI、 PNG、 SWF等。之 後，過程在步驟308結束。參考圖4，圖4是流程圖，示出根據本發明的製備裝置的產品文 檔的示例性過程。在步驟402起動過程之後，在步驟404仿真裝置的 操作。基於裝置的操作應用程式，來生成仿真，該操作應用程式被作 為輸入提供給仿真器202。基於仿真，在步驟406記錄裝置的視覺信息。 裝置的仿真操作的速度可以和裝置的操作的速度不同。因此，在步驟 408，基於裝置的操作速度，來編輯所記錄的視覺信息。對於一個實施 例，調節兩個連續圖像的捕捉之間的周期，來考慮到操作速度上的差 異。例如，當仿真行動電話的操作時，如果仿真器202花費比實際移 動電話更長的時間來顯示地址簿，則視覺捕捉功能減慢捕捉圖像的速 度；以至於當播放最終視頻時，其被顯示為以與實際行動電話近似相 同的速度進行操作。基於在步驟408所編輯的視覺信息，在步驟410 生成視頻。對於一個實施例，可以對仿真器202進行編程，來每一所 仿真秒捕捉20張圖像，可以組合這些圖像來生成視頻。視頻被用來在 步驟412製備用戶手冊。此後，過程在步驟414結束。參考圖5和圖6，示出了流程圖，該流程圖示出根據本發明的制 備行動電話手機的操作的視頻的示例性過程。在步驟502起動過程之 後，在步驟504，基於用戶輸入或用於仿真的腳本，來開始視頻記錄。 在圖10中示出了被仿真器202使用的示例性腳本。此後，在步驟506， 記錄所仿真的手機圖像，作為視頻記錄的第一視頻幀。對於一個實施 例，所仿真的手機圖像被暫時存儲在仿真圖像存儲器508中。仿真圖 像存儲器508是隨機存取存儲器(RAM)。對於一個實施例，所仿真 的手機圖像被存儲在磁存儲裝置中。之後，在步驟510生成仿真。在 步驟512，執行檢查，來驗證仿真時間是否已經進行了視頻幀周期。如 果仿真時間已經經過了視頻幀周期，在步驟514，記錄來自仿真圖像存 儲器508的所仿真的手機圖像，作為下一視頻幀。在步驟514記錄了 所仿真的手機圖像之後，或者如果在步驟512仿真時間還沒有進行視 頻幀周期，則在步驟516執行檢查，以驗證用戶是否已經手動停止了 視頻記錄。如果用戶還沒有停止視頻記錄，在步驟518執行另一檢查， 來驗證仿真時間是否已經達到了指定持續時間。如果仿真時間還沒有 達到指定持續時間，則重複步驟512到518。如果仿真時間達到了指定 持續時間，或者用戶已經手動地停止了視頻記錄，則將暫時存儲在仿 真圖像存儲器508中的所仿真手機圖像動態地結合到視頻中，以在步 驟520生成視頻文件522。對於一個實施例，視頻文件522被存儲在磁 存儲裝置中。之後，過程在步驟524結束。參考圖7，示出根據本發明的示例性仿真器控制臺窗口 700。仿真 器控制臺窗口 700是用戶接口，其可以被用戶用來向仿真器202提供 輸入。在圖7中，框702表示用於提供用戶輸入的空間。區域704表 示仿真器202對於用戶輸入的響應，也就是用戶輸入的狀態。此外， 區域704還顯示可能由仿真器202生成的錯誤和警告。參考圖8，示出根據本發明的示例性仿真窗口 800。當正在輸入號 碼時，仿真窗口 800示出仿真的行動電話圖像。仿真的手機的屏幕顯 示正在輸入號碼800 555 8355。最後輸入的數字是"5",因此在鍵盤 上的"5"鍵被突出，也就是給出提示，從而將用戶的注意力吸引到正 在給出的輸入。因為通過使用行動電話的操作應用程式來生成仿真，所以如圖8所示的仿真圖像與行動電話是逐像素相同的，而該行動電話是圖像也就是視覺信息的源。參考圖9，圖9示出方塊圖，該方塊圖示出根據本發明的電子裝 置900的示例性部件。電子裝置900包括用於生成的裝置902、用於捕 捉的裝置904和用於記錄的裝置906。提供裝置的操作應用程式，作為 對於用於生成的裝置902的輸入。基於裝置的操作應用程式，用於生 成的裝置902生成裝置的操作的仿真。用於捕捉的裝置904，基於該仿 真來捕捉裝置的視覺信息。對於一個實施例，自動地捕捉視覺信息。 對於本發明的另一實施例，用於捕捉的裝置904捕捉在顯示裝置的子 部(subsection)中顯示的視覺信息。利用用於記錄的裝置906來記錄 所捕捉的視覺信息，從而生成裝置的視頻、動畫、用戶手冊和產品文 檔的至少一個。所捕捉的視覺信息還可以被用於評估裝置。圖IO是根據本發明的由仿真器202使用的示例性腳本。該腳本自 動地記錄行動電話的接通操作，也就是電話呼叫800-555-8355達20秒 的接通操作，以及然後自動地記錄行動電話的斷開操作。腳本對仿真 器202編程，從而以每仿真秒24幀的速度來捕捉仿真手機圖像。此外， 腳本對仿真器202編程，從而將捕捉的仿真圖像存儲在位置 /proj/sim/mpegs處的名為"dialscenario.mpeg"的視頻文件中。通過將 電源鍵按下兩個仿真秒，來接通行動電話。進一步地，對行動電話的 電源編程，從而在啟動電話呼叫io個仿真秒之後切斷。將知道，在這裡描述的用於捕捉視覺信息的系統可以包括一個或 多個傳統處理器和控制該一個或多個處理器來執行的獨特存儲的程序 指令，並結合有特定的非處理器電路、這裡描述的系統的一些、多數 或全部功能。非處理器電路可以包括但是不局限於無線電接收器、無 線電發射器、信號驅動器、時鐘電路、電源電路和用戶輸入裝置。由 此，這些功能可以被解釋為捕捉視覺信息的方法的步驟。替換地，可
以利用沒有存儲程序指令的狀態機來執行一些或全部功能，或者在一個或多個特定用途集成電路(ASIC)中來執行一些或全部功能，在這 些特定用途集成電路(ASIC)中，每個功能或某些功能的一些組合被 作為用戶邏輯來執行。當然，可以使用兩種方法的結合。因此，已經 在這裡描述了用於這些功能的方法和裝置。期望本領域技術人員，雖然可能由例如可用時間、當前技術和經 濟考慮導致顯著的努力和很多設計選擇，在這裡公開的概念和原理的 引導嚇，將能夠容易地利用最小的實驗來生成這樣的應用指令和程序 以及IC。如這裡使用的術語"程序"被定義為被設計用於在計算機系統上 執行的指令序列。"程序"或"電腦程式"可以包括子程序、函數、 過程、對象方法、對象執行、可執行應用程式、Java程序、小服務程 序、原始碼、目標代碼、共享庫/動態負載庫和/或其他設計被用於在計 算機系統上執行的指令序列。進一步知道，對於相關術語的使用，如 果有的話，這些術語例如第一和第二、頂部和底部等等，僅僅被用來 將一個實體或行為與另外實體或行為區分開，而不一定需要或暗示這 樣的實體或行為之間的任何實際的這樣的關係或次序。雖然已經示出和描述了本發明的優選實施例，要知道，本發明不 被局限於此。對於本領域技術人員將發生無數的修改、改變、變化、 替換和等效，而不偏離有所附權利要求限定的本發明的精神和範圍。
權利要求
1.一種用於捕捉裝置的視覺信息的系統，該系統包括仿真器，被配置為生成裝置的操作的仿真；以及視覺信息模塊，被配置為基於所述仿真來捕捉裝置的視覺信息，所述視覺信息包括裝置的圖像和視頻的至少一個。
2. 根據權利要求l所述的系統，進一步包括控制模塊，其被配置 為控制所述視覺信息的捕捉。
3. 根據權利要求l所述的系統，其中，所述仿真器基於嵌入在裝 置內的應用程式來仿真裝置的操作。
4. 根據權利要求l所述的系統，其中，所述仿真器是被配置為評 估嵌入在所述裝置內的應用程式的應用程式。
5. 根據權利要求l所述的系統，其中，所述仿真器仿真用戶輸入和期望的系統輸出的至少一個。
6. 根據權利要求l所述的系統，其中，所述視覺信息模塊捕捉音頻信息。
7. 根據權利要求l所述的系統，其中，所述視覺信息進一步包括 裝置的操作的仿真的圖像、視頻和音頻的至少一個。
8. 根據權利要求l所述的系統，其中，所述視覺信息與所述視覺 信息的源是逐像素相同的。
9. 根據權利要求l所述的系統，其中，由所述視覺信息模塊來自 動地捕捉所述視覺信息。
10. 根據權利要求1所述的系統，其中，以電子格式來記錄所述視覺信息。
11. 根據權利要求1所述的系統，進一步包括輸出單元，該輸出 單元包括配置為顯示所述裝置的視覺信息的顯示裝置。
12. 根據權利要求ll所述的系統，其中，所述視覺信息模塊捕捉 在所述顯示裝置的子部中顯示的視覺信息。
13. 根據權利要求1所述的系統，其中，所述視覺信息被用於以 下的至少一個裝置的評估、裝置的產品文檔、用戶手冊的製備和裝置的操作的動畫的製備。
14. 根據權利要求13所述的系統，其中，所述用戶手冊包括在線 介質格式的裝置的產品文檔。
全文摘要
提供用於捕捉裝置的視覺信息的系統(200)。系統包括仿真器(202)和視覺信息模塊(204)。仿真器被配置為生成裝置的操作的仿真。視覺信息模塊被配置為基於仿真來捕捉裝置的視覺信息。視覺信息包括裝置的圖像和視頻的至少一個。
文檔編號G06Q30/00GK101151633SQ200680009999
公開日2008年3月26日 申請日期2006年2月21日 優先權日2005年3月31日
發明者賈森·D·勒韋 申請人:摩託羅拉公司