測試無線組件應用程式的系統和方法

2023-05-28 10:50:36

專利名稱：測試無線組件應用程式的系統和方法
技術領域：
本專利文件公開的一部M受著作權保護的材料。著作權所有者不反對專利 文件或專利公開中的任何一人所作的複製再現，如在專利和商標局專利文件淑當
案中出現的，但除itb^外則保留所有的著作權。
本發明的揭示涉及用於提供與多個設備進行通信的通信系統，特別是用於測 試無線組件應用禾旨的一種系統和方法。
背景技術：
由於無線網絡的激增，當今處於使用中的無線設備的數量持影曾長。這些設
備包括行動電話，帶有無線通信功能的個人數字助理(PDA)，雙向尋呼機等。 同時隨著可用的無線設備的增加，在這些設備上運行的軟體應用程式也增加了它 們的效用。例如，無線設備可包括檢索歹撥中所需城市的天氣報告的應用禾聘， 或允許使用者購買食品雜貨的應用f，軟體。除了語言通信之外，這些軟體應用 程序經常利用傳輸無線網絡數據的能力， 一把向使用者提供及時和有用的業務。 但是由於設備類型過多， 一些設備的有限資源，以及向設刷專輸大量數據的， 性，開發軟體應用，旨依然是一項困難且費時的工作。
當前，設備被配置^3i基於網際網路的瀏覽器和/或本地應用禾將與Web業 務進行通信。瀏覽器具有適合於針對多種不同設備，在交叉平臺基礎上操作的優 點，但其缺點是需要從Web業務請求頁面(HTML中的屏幕定義)，從而阻礙了 屏幕所包含的,的持續性。瀏覽器的另一錯點是屏驗運行時被渲染，這需 要很多的資源。瀏覽器應用程式對於設計獨立平臺應用禾歸是有效的工具。因此， 不同運行時間環境執行相同的應用程式，而與平臺無關。但是，因為不同無線裝 置具有不同的能力和形式因素，該應用，Mjf可能並不象所希望的那樣被執行或者
顯示。另外，基於瀏覽器的應用，醉經常需要顯著的傳送帶寬來有效icr作，這
對於一些無線^g來說是昂貴或者甚至是不可用的。
另一方面，為特定的無線裝置平臺開發本i也應用f，，從而為在該平臺上運
行的運行時間環境^i共相對優化的應用禾歸。然而， 於平臺的應用禾驕帶來 了一些缺點，包括必須開發相同應用，歸的多個版本以及禾歸規模相對較大，因 此消耗了無線設備的存儲資源。另外，應用禾驕開發員需要具有程式語言的經驗，
如Java和C++，以構建這些本地應用禾驕。
目前，幾乎沒有用於無線組件應用禾i^的自動功能測試。由於不同平臺間在 硬體和軟體上的不同， 一種概括性的應用f旨並不是可行的選擇，因為它不能簡 單地(如果從根本上)應用於被測試的應用，驕。對於無線組件應用f聘，因每 個應用程式可能是不同而是這個問題複雜化。採用包含有關每模i央規模的功能性 的單元測試，但是當把系統作為整體測試時就不合適了 (每個模塊就其本身而言 可能工作得非常好，但當與其餘部分連接時就會出現災難)。開發員和測試員手 動測試是找到問題的有效方式，但毫無效率。這是很昂貴，費時並且不徹底的。 本發明提供了一種能夠有效、自動且徹底地測i^用程序的方式。

發明內容
本發明公開提供了一種創新的方法，用於針對資源有限的小設備對無線組件 應用禾歸進行嚴格、自動的功能性觀賦。
根據本發明公開的一個實施例，^f共一種測試工具(test harness)系統，用 於對無線組件應用程式進行功能性測試。該測試工具系統包括至少一個測試集 (testbt)，用於測試至少一個目標應用程式日誌事件；以及至少一個事件句柄 (event handler)，用於針對該至少一個目標應用程式日誌事件來驗i正至少一個比較 器。
根據本發明的另一個實施例，劍共一種對無線組件應用禾歸進行功能性測試
的方法。該方fe^括步驟監聽目標應用程式曰志事件，接收目標應用程式日誌 事件，接收測i雄並基於該測i^ft衞正目標應用禾歸日誌事件。
根據本發明公開的另一個實施例，提供一種計算》幾可讀媒介，用於存儲用來 在計算機中執行對無線組件應用，驕進行自動功能性測試的方法的指令或語句。 該方法包括步驟監聽目標應用程式日誌事件，接收目標應用程式日誌事件，接 收測i^並基於該測i^^船正目標應用禾ii^日誌事件。
根據本發明公開的另一個實施例，提供一種攜帶有信號的傳播信號載體，所述信號包含有可由計算機讀取皿行的計算機可執行指令。該計算機可執行指令 用於執行對無線組件應用，歸進行自動的功能性測試的方法。該方 跑括步驟 監聽目標應用程式日誌事件，接收目標應用程式日誌事件，接收測i^並基於該 測i^^i正目標應用f，日誌事件。


現在參考附圖描述僅作為一個實例的本發明的實施例，其中
圖1為簡化了無線組件應用的網絡實例的示意圖2在流程圖中示出了無線組件應用通信模型的實例；
圖3在詳細的組件示意圖中示出了圖1所示的應用網關的實例；
圖4在接口示意圖中示出了安全子系統的實例；
圖5在接口示意圖中更詳細地示出了生存周期子系統的實例；
圖6在接口示意圖中更詳細地示出了管理子系統的實例；
圖7在組件示意圖中示出了無線組件應用程式的運行時間環境結構的實例；
圖8在組件示意圖中示出了根據本發明公開的一個實施例，功能性測試無線
組件應用程式的測試工具(harness)系統的實例；
圖9示出了框架實例的示意圖，在該框架中測試工具系統根據測試工具系統
的實施例工作；
圖10在流程圖中示出了根據測試工具系統的實施例，功能測試無線組件應 用禾，的方法實例；
圖11在流程圖中示出了根據測試工具系統的實施例，功能測試無線組件應用 禾旨的另一種方法的實例；
圖12以樹形結構示出了根據測試工具系統實施例的測ii結構的實例；
圖13在流程圖中示出了根據測試工具系統實施例的功能測試無線組件應用 禾ii^的另一種方法的實例。
具體實施例方式
本發明公開提供了一種創新的程序，用於在具有有限資源的小設備JW無線 組件應用程式進行嚴格自動功能測試。
有利的是，測試工具系統減少了開發員在創建測試工具與其接口的代碼，以
獲得應用程式的狀態信息方面所付出的努力(g卩，減少或消除插入或接入點)， 從而允許開發員編寫代碼而不用擔心自動測試工具如何利用代碼工作。
現在參考如何能夠最好地進行和使用的實施例的各種實例來描述本發明的 系統和方法。為方{€^見，在說明書和附圖中用相同的參考數字表示相同或相應 的部分，其中各種元件不需要成比例地描繪。
參考圖1，用數字100—般性地說明通信基礎設施的一個實例。該通信基礎
設施100包括多個無線設備102，通信網絡104，應用網關106，以及多個後端業 務(back-end services) 108。
無線設備102通常為個人數字助理(PDA)，但也可包括其他設備。*無 線設備102包括能夠為多個組件應用程mif共虛擬主機(hosting)的運行時間環
境o
組件應用禾歸包括一個或多個數據組件，表示組件，禾口/或消息組件，其以諸
如可擴展標記語言(XML)代碼之類的結構定義語言寫成。組件應用程式能還包 括工作 1^且件，其包含有以諸如ECMAScript的子集寫成的一系列指令，並且在 一些實現中能駄在XML代碼中。因此，由於應用禾歸t戱吩成，iiiliti共對 應的表示組件，可以為多個設備寫出公用的應用程式，而不需要重寫其他組件。 另外，典型應用f驕的大部分職責被轉移到組件應用，驕的運行時間環境中。下 面進一步描述組件應用，旨的細節。
無線設備102 iliiil信網絡104與應用網關106通信。相應地，通信網絡104 可以包括多個組件，例如，無線網絡110，中繼設備112，共同(corporate)業務 器114和/或移動數據業務器(MDS) 116，用於在無線設備102和應用網關106 之間中繼數據。
應用網關106包括網，務器118，規^lk務器(provition server) 120和發 王M務器(discovery server) 122。網 務器118在無線設備102和後端業務器 108的運行時間環境業務之間充當消息代理。網 務器118與規定業務器120 和發5M務器122 二者通信。網 務器110還經由適當的鏈路與業務諸如網絡 業務108a，資料庫業務業務108b，以及其他企業業務108c之類的多個後端業務 器108通信。例如，網^lk務器118經由簡單Xt^訪問助、議(SOAP)和Java數 據庫連接(JDBC: Java Database Connectivity)分別與網絡業務108a和i^庫業 務108b連接。其它類型的後端業務器108以及它們相對應的鏈路能夠連接到網
燭務器U8。
iM地，*無線設備102最初配備有業務手冊或rr策略設備以建立多種
協議和設置，包括針對共同業務器114禾口/或移動 業務器116的連接信息。這 些參數可以包括應用網M務器118的統一資源定位符(URL)以及它的加密密 鑰。可選地，如果無線設備102最初未配備URL和加密密鑰，它們可經由移動 數據業務器116被推到無線設備102。然後行動裝置102可經由應用網M務器 118的URL與應用網關106連接。
參考圖2，在流程圖中圖示說明無線組件應用禾旨通信模型150的實例。從 上層透視來看，旨無線組件應用e^礎設施150包括在設備102 JJt行的無 線組件應用，，運行時間環境(設備RE)以及 務器118上運行的無線組件 應用程式網關(AG) 106。
AG 106作為由RE執行的無線組件應用禾歸(在本發明公開中有時被稱為應 用程序)和應用禾辨與其通信的一個或多個後端業務108之間的調停者(mediator) 業務。通常，期望後端業務是在HTIP或HTTPS上4頓SOAP作為傳綱、議的 網絡業務108a。由於網絡業務是所期望的最普通的後端業務108，因此在本發明 公開中使用的術語"網絡業務"與後端業務108是可互換的。然而，可以理解，其 他類型的後端業務也可以應用到本發明中。圖2示例性地示出了與後端業務108 同步的鏈路。但是，應該指出，AG 106能夠在異步鏈路上與後端業務108通信。
無線組件應用程式通信模型150是基於異步收發消息範例的。在該模型中， 應用網關(AG)106建立並調停設備102與一個或多個後端業務108之間的連接， 從而
1在資源管理中獲得更高的靈活性。
2在設備102和後端業務108之間提供可靠的通信鏈路，從而當無線覆蓋不 穩定時處理多種情況。
3在設備RE102和AG 106之間有效地分配工作負載。
參考圖3，示出了應用網關106—個實例的更詳細的示意圖。應用網 務 器118包括三個業務層基礎業務層202，應用網^ik務層204以及應用程式業 務層206。應用網劃艮務器118進一步包括管 務208。
規定業務210和發現業務212分別由規定伺服器120和發現務器120提供。
在:ft/S層，基礎業務層202給更高層中的其他組#^{共基礎的，獨立域的系
統業務。因此，例如，在應用網 務層204和應用程式業務層206中的所有子 系統能夠^ffi基礎業務層202中的子系統併合作。在該實施例中，基礎業務層202 包括實用程序子系統210，安全子系統212，配置子系統214和登錄子系統216。
應用網 務層204 ^j共無線組件應用禾i^特定fem務。這些業務給後端業 務羅掛將效的消息轉換禾帷送至l脂端業務108，並糹^E^戔設備102和組件應 用程，供生存周期管理。在該實施例中，應用網 務層204包括生存周期子 系統220，連接器子系統222，收發消息子系統224，和轉換子系統226。
應用程式業務層206位於架構的最上端^f共使用由較低層提供的子系統 的夕卜部禾歸接口禾口用戶接口。例如，諸如業^f共者生存周期應用禾聘，打包應 用禾歸以及消息收聽應用禾歸之類的各種應用禾聘外部禾Dffi口 ，這是因為它們 主要與外部系統上的應用，i^通信。類似地，管理應用fimi31給使用者衛， 入能力來^i共itffl者接口 ，並存在著修改應用網關數據和/或參數的可能。
管M務208負責管理系統消息，無線設備102的管理，應用網關子系統的 運行時間管理，支持和顯示系統診斷，以及規定和發現業務的默認實施的管理。
消息收聽應用程式(或收發消息收聽器232)掛共用於從無線設備102以及 外部信號源接收消息，並將消息傳送到收發消息子系統的接口。另外，消息收聽 應用程式232通常驗i正消息來源的有效性。
參考圖4，更詳細地示出了消息收聽應用程式232的實例。消息收聽應用程 序232包括三個收聽器通知收聽器302，壓縮消息收聽器304，和移動 業 務確認收聽器306。通知收聽器302經由通知接口 303從事件源108c接收通知並 響應消息。也可添加其他消息收聽，口。
在一個實施例中，通知接口 303可用網絡業務事件(WSEventing)來實現。 當在諸如事件源和應用之類的其他業務中發生事件時，網絡業務通常要接收消 息。網絡業務預約(WS Subscription)掛共了一種本領域中用來登記興趣的機制。 網絡業務預約為備稱為預定者的網絡業務定義協議，，以向備稱為事件源的另一 個網絡業務註冊感興趣的事，以便接收被稱為通知的有關事件的消息。當事件源 向預定魏知事件時，稱之為網絡業務事件。
緊密消息收聽器304經由緊密消息接口 305接 自行動裝置102的消息。 移動數據業務確認收聽器306經由移動數據業務接口 307接M自移動 業務 306的確認通知。^H個收聽器302， 304和306中的每一個都經由收聽器管理接
口 309接收來自管理業務208的管理消息。
在該實施例中，在安全插槽層(Secure Socket Layer)上4OT超文本傳送協議 /安全超文本傳送協議(HTIP/HTIPS)配置收聽器接口 303， 305， 307和309。 但是，這些協議已，雌擇為設計選項，而當需要時可〗柳其他協議。據此，夕卜部 系統發送HTTP/HTIPS請求，由適當的收聽器接收該請求。收聽器獲取消息， 進行最小的轉換，並將它傳送到收發消息子系統224。該轉換包括吧HTIP首部 信息到複製到消息目標欄位。例如，HTIP首部信息可識另撥出消息的移動翻 業務116和無線設備102。
如前所述，消息收聽應用，M^驗證消息源作為移動數據業務116，無線設備 102或事件源108是有效的。
另外，如果需要可靠的收發消息，那麼就要保證業務的有效性，且收聽器要 處JW應於可用性攻擊的技術方案。為使之簡化，收發消息子系統定義針對最大 消息量的閾值，以及在給定時間段內來自後端業務器108、組件應用程式或無線 設備的連接。管理員可以根據需要修改該閾值，也可以M管理業務208允許特 定的例外。
另外，由於可能存在消息截聽和重放攻擊，收聽器使用識別S^文消息的機制 來檢湖拼禁止該攻擊。這些機制通常包括隨機數(nonce)的{頓。隨機數備定 義為隨時間變化的參數。隨機數可以是用來限制或fflii:未授權的重放或消息再生 的時間^H己或其他特殊^H己。因為隨機數隨時間而改變，所以能夠用^^確定消 息是否是原始的，或是原始消息的重放或再生。用於阻止截聽和重放攻擊的隨機 數的f柳在本領域中是公知的，不需要詳細描述，作為標準實現方式劄細。
另外，除時間的時間標記技術之外，鋼來代替時間的時間iH己技術，業可 以用其他技術，如排序，來防ih^Z用程序消息的M。再一次說明，這些技術在 本領域中是公知的，作為標準實施來4頓，不需要詳細描述。
參考圖5，更詳細地示出了生存周期子系統220的一個實例。生存周期子系 統包括生存周期業務402和設備庫(device depot) 404。
生存周期業務402處理與無線設備104有關的設備啟動消息，運行時間環境 生存周期和組件應用程式生存周期。這些消息，例如，可以和無線設備的註冊或 暫停，無線設備的交換，無線設備的可用性，組件應用，歸的安裝，升級，^Ji 除，以及運行時間環境升級有關。這些消息經由設備系統消息處理接口 403進行
到和來自連接器子系統222的通信。
生存周期業務402進一步提供用不同的過濾器對無線設備和組件應用程式 進衍旬問的能力。為了簡化該特徵，生存周期業務402經由設劄言息詢問/升級接 口 405與收發消息子系統224和管理子系統208通信。在該實施例中，設^言息 詢問/升級接口 405使用一組用於詢問並升級設備信息的Java應用程式編程接口 (APIs)來實現。典型的接口包括那些用於管理無線設備的安全性和客戶管理策 略的接口。
生存周期子系統220管理^無線設備104的安全簡檔，無線設備M51/S用 網關106註冊到設備庫404中。每個安全簡檔包括每個設備的安全對稱密鑰。該 密鑰用於無線設備104和應用網關106之間的安，信。
客戶管理策略包括獲取無線設備狀態，搜索滿足某個可更改標準的組件應用 禾歸，以及搜索滿足某個可更改標準的設備。例如，可能需^5角定將哪個組件應 用程序安裝在所有的無線設備上，或哪個無線設備已安裝了特定的組件應用程 序。
更進一步，管理子系統208提供了生存周期管理接口 407以簡化生存周期子 系統402和設備庫404的管理。例如，管理子系統可指示新版本組件應用程式的 可用性^ig行時間環境。
相應地，生存周期業務402管理多個指定無線設備102中的每一個的狀態， 所述指定無線設備包括存儲在其中的運行時間環境和組件應用程式。諸如運行時 間環境，組件應用程式狀態，以及無線設備安全^g之類的信息備存儲在設備庫 404中。安全設置可以包括，例如，客戶管理策略以及無線設備的加密密鑰。
應用網劃艮務器118也允許使用第三方生存周期組件，其也被稱為生存周期 業務提供商，通常在應用網關106的外部。為了簡化生存周期業，供商，在應 用程序業務層提供了生存周期業務提供商收聽器。生存周期業，供商收聽器負 責接收來自生存周期業皿供商的有關所有生存周期系統消息的通知，並將它們 發送到管理子系統208以進行處理。另外，生存周期業^^f共商能夠接入管Sik 務，從而配置應用網劃艮務器118或發送系統消息。
管理子系統208管理系統消息，系統設備，應用網關子系統，系統診斷，以 及規定和發5 務的默認實現。參考圖6，示出了管理子系統208的一個實例更 詳細的示意圖。管理子系統208包括管理業務502，管理控制臺504和管理應用
禾歸506。管理應用程式506包括Java管理擴展(JMX)應用程式508和網絡業 務應用辦510。
瀏覽器接口 505將管理員連接到管理員控制臺502，以管鵬用網關106。 管理員接口 503將管理業務502與收發消息子系統224連接，以傳送管理系統消 息。管理應用程式506經由適當的接口連接到它們各自對應的第三方管理應用程 序。例如，經由JMX接口 509耦合JMX應用禾M^508，經由網絡業務接口 511 耦合網絡業務應用程式510。
管M務502處理管理員或生存周期業^l供商Mil生存周期管理接口發 起的組件應用程式和運行時間環境生存周期事件。這些事件的例子包括iOT推規 定安裝組件應用程式，刷新加密密鑰，升級組件應用，旨或運行時間組件，去除 組件應用禾旨，隔離組件應用程式，和從隔離中去除組件應用程式，應用組件應 用禾歸清除腳本，詢問用於狀態更新的升級運行時間環境，以及更新客戶管理策 略。
管鵬務502還負責無線設備104的管理。據此，管鵬務502會辦應答無 線設備註冊系統消息並維護諸如安全密鑰，移動i^業務URL，運行時間版本和 狀態之類的無線設備的設置。管理業務502進一步支持根據預定義的過濾特性列 出設備的能力，如向設備詢問其組件應用禾，和運行時間環境設置，以及詢問有 關牛寺定設備的組件應用f旨。
管理業務502還向管理員掛，入應用網關子系統運行時間信息和設置的 能力，如果可應用，按群節點進行，以及執行與系統有關的任務。這些任務包括 觀察消息子系統224的運行時間信息，該信息包括^無線設備12和^組件
應用程式的消息信息，隊列中的消息數，以及匯集的特定類型xm的數目的簡短
描述。管理員倉,在運行時間更改該特定設置以及刪除或重新調度過期的消息。 管《務502提供的其他信息和設置包括以下。應用網關子系統參數可以加 以更改。因此，例如，管理員會^夠在運行時間使動和禁止各種特性。倉&夠為集中 式應用網關資料庫配置資料庫設置。該資料庫可以包括所有子系統庫。可以配置 應用網關URL司接入外部系統。例如，可以將URL指定給管鵬用禾聘506以 允許第三方接入。同樣，可將URL指定給打艦務，以允許規定業務訪問。
管理業務502也可存儲發JM務證書(credential),業務^f共商證書，移動 數據業務參數以及安全參數。在接收到表示組件應用糹醉可用的通知消息時，可
以用發5fclk務證書^i正發i!ik務。類似地，在接收到組件應用禾旨或運行時間環 境生存周期消息時，業^l^商證書，包括其URL，能被用於^iiBk^^共商。
會,用移動 業務參數將管理員連接到移動 業務並包括其IP位址，{， 者身份和密碼。可以將諸如應用網關公共和私人密鑰以及密鑰刷新策略之類的應 用網關安全參數和設置用於對應用網關和外部應用禾驕之間的通信進行加密。
管Mk務502也被用於登記附加子系統，如顧客連接器和生存周期收聽器。
網絡業務應用禾歸510 j頓網絡業務來將業務提供商魏的系統消息引導 至惰理業務502以進行處理，並且如果需要的話，再傳送到設備。
類似地，JMX應用，聘508將業^M共商魏的系統消息弓I導到管 》務 502以進行處理，且如果需要的話，再傳送到設備。但是，JMX接口 509是開放 接口，任何管理系統銷售商者阿以影響。管理基礎設施基於JMX技術，這是一 項用於系統管理和監控的開放技術。^^管理系統實施一套Mbeans只m，以便 成為可配置的。按照JMX規範，這些對象必須i!31^(，處理空間內運行的 MbeanServer ^6S行登記。
由於應用網關106能潛在地運行在分布式環境中，就是說， 一些子系統可以 在不同的應用伺服器上運行，因而^應用伺服器需要有它自己的MbeanServer 的實現方式。另外，^子系統需要使用由對應的應用伺服器掛共的分開的管理 控制臺，或4頓了解如何接入由MbeanServer劍共的功能的第三對空制臺來配置 每個子系統。
運行時間環境框架容器為一個客戶常駐(client-resident)容器，在該容器中 可以在設備上執行應用程式。該容器管理設備上的應用程式生存周期(規定，執 行，刪除等)，並負責粉戈表應用禾驕的元數據(XML)翻譯為可在設備上有效 執行的形式。該容器給應用禾Wiii乓一itt務，以及提供對任選JavaScript的支 持。這些業務包括對UI控制， 持續性和異步客戶伺服器收發消息等的支持。
圖7示出了運行時間環境框架600的一個實例。運行時間環境框架600包括 應用程式業務模±央602，管理模±央604，規定和生存周期管理(PLM)業務模土央 606，收發消息模塊608，以及基礎業務模塊610。可以向運行時間環境框架600 中刪除或加進一些組件。運行時間環境框架600與無線組件應用後臺(daemon) 辦612通信。
應用禾聘業務模i央602包括用於在4頓者和當前運行的應用禾歸之間掛共
界面的屏幕業務614，用於為應用fijm^m行環境的解釋禾旨業務616，用於 處理並調停與應用程式元數據有關的接入的元數據業務618，以及用於允許應用 禾Mi^接入設備102上的其他應用程式的接入業務620。
管理模±央604包括控制中心622，用於處理無線組件應用禾，運行時間環境 框架600的使用者界面，處理使用者與無線組件應用禾旨運行時間環境框架600 的交互，使無線組件應用禾Mi^運行時間環境框架600與網絡系統100整合。
PLM業務模±央606包括RE容器624，用於協調RE容器更新以及M3V復原 程序，並對RE框架600應用默認錯誤處理機制；發5jMk務模塊626，用於對應 用禾im諸存庫中的應用禾歸進行定位；規定業務628，用於X寸應用禾驕進行規定 (包括應用程式的下載，安裝和升級)；以及生存周期業務630，用於登記，維護 用於管理應用程式的信息，並管理應用程式。
收發消息模±央608包括收發消息業務模塊632，用於消息排隊，消息(解)
壓縮，以及消息分配。
基礎業務模±央610包括持續業務634，用於存儲RE簡檔(包括其版本，目
錄，客戶管理策略，應用禾辨管理策略，安全密鑰，有用的升級等)，存儲應用 程序簡檔(包括其版本，元數據，應用程式持續 組件，應用程式可持續^^ 數據以及應用程式資源，有用的升級等)，並存儲可靠的消息(包括因超出覆蓋 範圍造成的輸出消息待傳送，以及輸入可靠消息待處理)。基礎業務模塊610還 包括安全業務636，用於限制對RE業務的接入，提供消息衞正，整合，和加密。 基礎業務模i央610還包括通信業務638，用於發送和接收輸A^輸出設備102的 消息，yyOt當的儲存庫下載資源和文件，以及向感興趣的RE業務通知有關無線 覆蓋的事件。
無線組件應用後臺(daemon)程序模塊612包括後臺640，用於在每當由於 重大的異常事fH吏進程停止時重啟無線組件應用，iJ^進程。
現在描述一個創新過程，用於對具蹄限資源的小設備上的無線組件應用程 序進行嚴格的自動功能測試。依據日誌從正在被測試的應用程式上分離測試工 具。測試工具是一種在正被觀賦的產品外部的應用禾歸，戶/f^產品的功能^i乓對 其目標的內部工作的接入，以使它們能被測試。它錢些點上插入到目標應用程 序，瓶供明確定義的輸入，然後監控應用f歸的狀奮變化並確定它們的有效性。
圖8示出了根據本發明公開的一個實施例，用於對無線組件應用禾歸進行自
動功能測試的測試工具系統700的實例。測試工具(testharness)系統700包括 一個或多個測試集(testlet) 702，用於測試目標應用程式的日誌事件，以及一個 或多個事件句柄706，用於確認一串比較器。測試集702包括一個或多個期望的 日誌事件(LE) 708，用於定義一個期望的目標應用禾聘邏輯流程，以及一個或 多個比較器704，用於保存用於確認測試過程中的某個步驟的信息。項目708以 XML定義的期望日誌事件，其隨後被轉換為該消息，項目704或比較器，(一 種實現方式中的Java對象)的測試工具的內部表現。期望的LE708包括^i只符, 用於唯一地1fi只LE708 (或期望的LE708)，以及一個或多個用於存儲期望目標 應用禾I^邏輯流程信息的參數。該參數可包含能幫助準確i也表示目標應用f旨當 前狀態的任意種類的信息。比較器704包括用於將比較器與事件句柄相關聯的句 柄定義。比較器704也可以包括任選欄位，用於存儲用來確認目標應用程式邏輯 流程的附加信息。
在開放期間，編碼器通常將大量信息記錄成日誌，這些信息恆定地描繪出當 前運行的應用程式的狀態圖。能夠以開發人員選擇的任意方式簡明地格式化這些 日誌條目。另外，每當日誌事件發生時，應用禾聘記錄業務(LS) ^^合已登記的 收聽器劍共事件通知。因此，測試工具系統700可以被實施為一種類型的收聽器， 該收聽器登記者本身以接收由目標應用程式(TA)在測試運行期間創建的任何日 志事件。雌地，J頓用於比較輸入事件的基於XML的基準(測體702)來 確認m的執行流程。如果在測i雄702中定義的功能應用禾歸流程和從TA接 收到的日誌事件序列之間存在任何差異，就認為領i賦規了，否則就M。雌 地，測i嫌702要保持了解(cuirent) TA中發生的功能變化。
測試集702為一些實體，這些實體包括一連串由TA記錄的期望出現的LE 708。優選地，使用XML來定義測i式集。每個期望LE708 (在測i式集702中被 定義為測試'步驟")具有唯一的標識符710以及呈多個參數712形式的附加信息， 任選的是，在其之前必須以及發生的另一個步驟的形式為前提。測試工具系統700 把這個腳本用作TA功能流程的期望。
在某種意義上，測試工具這樣進行模塊化，即它的事件比較邏輯由事件句柄 (EH) 706管理，事件句柄處理在TA中發生的各種事件的特定功能比較請求。 因此，對於一4^寺定的測i錄例來說，只加l^f需的句柄706，這樣就將觀賦工 具系統700的資源覆蓋面減少到最小。
模塊化去耦合測試工具系統700將下列新概念和優點引入到測試無線組件 應用程式中
*在實現測i効早決方案方面減少了開發團隊需要付出的努力，即，重新使 用了應用禾驕現有的記錄機制，開發人員只需要記錄測試團隊所需的、在TA邏
輯流程中它們發生的點上的某些LE 708;
*從TA中^^本去耦合；
*嚴格的觀賦能力，即，開發人員能榭也們希望的儘可能多的信息加入到
LE708中，以便測試他們的應用禾辨。
*平臺上的微小資源覆蓋面，即，僅Y頓測試案例所需的EH706;以及 可擴展，艮卩，如果在應用禾辦中加入了新功能，幵發人員僅僅需要增加
一個新的LE708，測試人員在他們的測試集中定^t應的步驟(如果需要的話可
以創建新的EH)。
測試工具系統700 M31多個人工產物的引導來操作，這些人工產物包括無線 組件目標應用程式(TA)和其記錄業務(LS)，測K^702，事件句柄706，以
及測試伺服器。
模塊測試工具系統700可以應用於許多形勉且件應用禾驕測試需求。工具系 統700是模±央，且由於其事件句柄的高度專用化而非常適用於幾乎任意測試方案。 因為不需要任何掛鈎點，它對TA的代碼也只有最小的影響。
圖9示出了根據測試工具系統700的一個實施例，測試工具系統700在其中 工作的框架的實例的示意圖。無線組件應用，，是測試工具系統700的目標應用 程序(TA) 752。它結合了一個基於事件的記 務754，而不僅限於某一類型 的應用禾歸。當事件達到觀i賦員所關心的某個狀態時，其貫穿TA752的執行流 程而被記錄。雌地，它運行不易被察覺，且與領賦工具系統700無關。
無線組件應用禾聘(或TA752)以領賦員定義的格式創建事件日誌。觀i賦員 和開發人員預先對LE消息的格式達成一致的意見。然後以XML寫成3寸應的期 望LE 708，以與來自應用，旨的LE的結構匹配，它們基本上包括相同的參數712 和ID 710。 TA752和TH700不知道它們之間的交換的信息的格式，只要期望的 事件格式與輸入的事件格式匹配就可以了；這就是靈活14^f在。當TA752記錄 在其執行流程中與達到新狀態對應的信息時，記 務754創建日誌事件。 測試集702是TA 752遵循的邏輯步驟的XML定義，以便成功地完成測試案
例(它的功能的一個小子集當前正被測試)。 地，為了存儲器的效率，TH700 一次載入一個測i^702，且測ii702含有比較器704的組合(定義了測試的 期望結果的XML單元)，以及i^^賣驅動TA752以獲得進一步結果的模擬輸入。 模擬輸入命令緊跟在比較器704的成功確認之後，其定義是比較器704的一個產 物。
比較器704是包含關於TA752的期望行為的參數化基線信息的實體。它們 包含一個強制欄位，它們的句柄714定義，所述定義指示了哪個THEH706將使 用該比較器704以完成事件的確認。另外，他們可包含多個任選欄位716。一個 任選欄位716可以是一個前提定義，其是已在測試流程中發生的另一個事件的定 義，且其確認對於當前事件的成功確認是必需的。任選欄位716的第二中類型可 以是參數欄位，其以名字值對(name-valuepair)形式包含關於事件的附加信息。
它們都被根據句柄的特殊事件處理邏輯成功地確認，以使步i!M:。為了維護測
試的靈活性，可以省略在LE708中出現的一些參數，且當確認該事件時，將它 們忽略。另一個任選欄位716為命令定義，該定義描述了 TH 700基於當前步驟 的成功確認而發送到TA752的模擬輸入。
命令是比較器步驟704的產物單元，其包括TH700基於它們所屬的比較器 目標的成功確認而在TA 752上模擬的用戶輸入的上層定義。命令，細於職TA 752的邏輯流程，以生成進一步的LE 708 。
根據它們的具體比較邏輯，事件句柄706負責成功地確認被指定給它們的一 連串比較器704。針測試都1頓所需的儘可能多的句柄706來滿足特殊測i蹤 例中的步驟(或LE708)的特定比較需求。對於*測試案例，載入和卸載句柄， 以便減少TH (700)的存儲器覆蓋面。
測i劃艮務器(TS) 756負責管理向可用於執行湖賦的TO700的測試組的指 定，以及負責存儲在測試案例結束後接收到的結果日誌。它還負責壓縮測試集702 並執行{^可所需的映射，以使它們能正確地確認TA的752輸入日誌事件。
測試工具系統700的一個目的是以測試小裝置應用程式的功能為中心，這些 小裝置應用禾歸需要應用禾歸大量的平臺資源。這樣的應用禾歸就輸入輸出序列 而言，大部分趨向於同步，因此它們的日誌事件會以一種可預料的、有序的方式 到達。因此，TH700mtWil^用簡單的句柄706來維護最小限度的存在， 這將按順岸確認測試步驟。
圖10示出根據測試工具系統700的一個實施例，測i式無線組件應用禾ii^
(800)功能的方法的實例。測試工具獲f翻!)i^702 ( 802)，並將所有必需的信 息預先加載到事件句柄706中。然後，測試工具系統700以監聽TA752 (804) 的日誌事件開始。可從測i劃艮務器756得到測試集，或者將測ii局部地存儲在 測試工具系統700中。 一旦測試工具系統700得到來自TA752 (806)的日誌事 件，l頓加載的測i雄(808)中的對應比較器704來確認日誌事件。
在能夠測試案例之前，創建或重新使用事件句柄706。這種情況下，它的邏 輯將遵循如圖11提供的流程圖所示的步驟，圖11為根據測試工具系統700的一 個實施例，測試無線組件應用fiJ^的功能(850)的方法的另一個實例(所衝共 的流程用於在從伺服器接收到測i嫌702且將凰碼發送到EH 706進行分析 之後所立即採用的邏輯)。
方法(850)以遵循測體702 (852)中定義的步働頃序在隊列中i體比較 器704作為開始。接下來，開始測試且啟動(854)與第一比較器704相關聯的 超時計時器。對照隊列(856)中的第一比較器，確認來自TA752的輸入日誌事 件。如果所有參數與日誌事件(858)中呢合出的信息相匹配，那麼京婦寸前提事 件進行檢查以了解它是否成功地發生了 (860)，如果步驟(或LE708)中定義了 該前提事件的話。否則，如果一個或多個參數與日誌事件(858)中給出的信息 不匹配，那麼輸入日誌事件就被認為是不可處理的並被傳送到其他EH706以進 行確認(862)，如果存在其他EH的話。如果期望的LE708以不準確的參數712 信息(864)到達，那麼由於沒有句柄成功地對它進行確認，因此在測試計時器 期滿(866)時出現測試失敗。如果滿足步驟(860)，那麼就認為事件被成功確 認(868)。對於所有其他隋況，都被認為規(870)。確認狀態被記錄到TH700 (872)的一個臨時日誌。如果確認成功(868)，那麼將超時計時器設置為為隊列 中下一個比較器定義的超時；被成功確認的那一個則出列並添加入前提列表 (874)。對於其他事件，可以按照有效的預處理來操作。如果存在另一個輸入日 志事件(876)，就重複步驟(856)。否則(876)，方法完成(880)。如果確認失 敗(870)，就將結果記錄為日誌，關閉日誌並將結果發送到伺服器(878)。測試 結束(880)。在EH702己被正確實施和測試之後，就準備將它用於所有M其 邏輯而將被確認的測試案例。
測試集702是定義一套期望測試結果(LE708)的XML文件，對照測試集，
700可用於確認輸入日誌事件。圖12以一個樹型結構示出根據測試工具系統
700的一個實施例在的測i嫌結構900的一個實例。測i雄結構900包括一個案 例定義902，該案例定義包括一個或多個步驟708定義904。每個步驟定義904 包括句柄710，包括前提906的任選欄位712，或多個參數908，以及一個或多個 命令910。 ^命令910包括一個或多個參數908。
根據測試集結構900的一個實施例，下面是測i，定義的一個例子。 1. 案例定義測試集根段，包含一個所需的屬性。
l丄l.名稱測i嫌定義的測試案例的名稱；應該是唯一的。
1.2. 步驟定義案例的產物，必須定義至少一個。針測試步驟代表IH的
內部EH中的比較器目標。步驟具有兩個所需的屬性 1.Z1. id:與對應的日誌事件相關聯的唯一標識符 1.2.2.超時識別在確認失敗之前TH應當等待嚴格匹配LE多少秒。
1.3. 句柄定義步驟的產物，必須定義。識別哪個THEH將基於當前的比較 器定義而執行比較。1.4.前提定義步驟的產物，任選。識別在前發生的、已成 功確認的LE，該步驟必須在當前事件之前發生，以使其被確認。它被作為一種
機制<頓，該機制確保異步應用禾歸的應用邏輯的正確排序。1.5.參數定義步
驟的產物，任選。定義關於事件的附加信息，所述事件應當由事件句柄在確認
LE中4頓。可能導致EH尋i^f有或部分來自LE的信息。包含一個所需的屬性。 1.5丄id:參數名稱，在參數單元中能找至)J所述參數的值。
1.6.命令定義步驟的產物，任選。定義應當在當前比較器成功確認之後立即
發送的模擬輸入命令。包含一個所需的屬性。
1.6丄desc:命令屬性，用於識別命令。
1.6.2. param:命令的產物單元，衝共用於修改基本命令的附加信息(如伴隨命 令的移位或alt狀劍彥改量)
根據測試工具系統700的一個實施例，下面提供一個樣本測試集實施實例， 其舉例說明了上文所^i共的結構。
DefaultStrictHandler
<command〉
/bushism々param>
DefaultStrictHandler>-2739759394304175306 〈param id="Wiclet—URT>/bushism


DefaultAsynchronousHandler
DefaultStrictHandler>-2739759394304175306 〈param id:"Wiclef一OK/'^/bushism々param〉

-2739759394304175306 Research—In_Motion.com/bushism

DefaultStrictHandler sct—Main 〈param〉2 〈command> 〈param

〈step>
DefaultStrictHandler>-2739759394304175306 2々param> 482370271514247927々param〉>DELIVERY—MODE—STANDAREXparam〉

<handler〉DefauItStrictHandler
〈param>0


DefauItStrictHandler

DefaultStrictHandler
envlp4.png 々step>

DefaultStrictHandler
〈param>scrJVIessageSent
2々param〉 々step〉
〈step〉 DefaultStrictHandler
〈param>envlp3 .png々param〉 々step〉
DefaultStrictHandler
scr—inGetRandomBushismResponse 2々param> <command〉
<param〉
DefaultStrictHandler 〈param>33 1 〈command>
<param〉5
〈command> <param
<handler〉DefaultStrictHandler>-2739759394304175306 Research—In一Motion.com/bushism〈/param〉

對異步無線組件應用禾聘的領賦與對同步應用f歸的對以。4頓期望的結果 創建句柄和定義測i嫌的機制保持不變，但是考慮到被測i驅用，聘的異歩性 質，測試流程的邏輯要改變。這種形式的測試特別適合基於網絡業務的應用禾辨。
對於異步應用禾辨，{頓兩4^1柄。 一個己如上戶腿在圖11中定義。第二個 用於異步事件的句柄在下文中定義。圖13根據測i式工具系統700的一個實施例，
在流程圖中示出了測試無線組件應用禾M^ (iooo)功能的方法的另一個實例。如
前文所述，測i嫌702中出現的邏輯流程已被TH700從TS756中接收，對應的 步 行到EH 706以進行解析。
方法(1000)以定義所有事件都必須發生(1002)在其中的超時時段開始。 如果在該時段結束時還剩有倒可未確認的事件(1012)，那麼就認為測試， (1016)。接下來，基於與測試集702中的異步句柄相關聯的步驟生成比較器事件 列表(1004)。啟動(1006)測試和句柄超時計時器。對於^m入的日誌事件 (1008)，將日誌事件與列表中的所有比較器704進行比較，直到找到(1010)匹 配。該比較邏輯與上面步驟(856)到(866)中所定義的邏輯是一樣的。在句柄 的超時時段期間，如果所有異步比較器對照輸入的日誌事件已被成功地確認，那 麼就認為測試成功了 (1014)。
異步應用程式的測試集定義可遵循與上文定義的相同的語法結構。但是，使 用前提標誌M TH 700的期望邏輯流程進行排序，以與涉及異步事件的TA 752 匹配。考慮一組期望來自TA752的A， B， C， ...G， H的事件。讓事件C， D， E， G為異步，但C， D和E必須只在同步事件A和B發生之後發出。由於前提 對同步事件是暗示的，因此它的定義只是一種形式。但是，為了確保來自TA752 的事件C， D和E在正確的時間到達，它們必須以事件B明確地為前提。否則， 它們可能被確認為含有正確的信息，但是它們的到達時間在邏輯上可能不正確， 一直到涉及TA752。
下面掛共一個使用異步事件的示例測i式集。來自伺服器的響應和輸入消息是 異步事件，其可能在取決於業務的網絡業務質量(QoS)的請求發i^後的4^可 時間，即網絡業務能夠提供請求的信息的平均時間發生。 formula see original document page 24

〈step> DefaultStrictHandler>4681829582212566094々param> <param
id="Wiclet—URT>Research—In—Motion.com/AQuote

DefaultStrictHandler <precond〉
DefaultStrictHandler>-2739759394304175306 /bushism

4681829582212566094々param> 〈param
id="Wiclet_URT>Research—In—Motion.com/AQuote 々step>

DefaultStrictHandler 〈param>sct—Main々param〉 〈param>2
〈param/>
〈step>
DefaultStrictHandler4681829582212566094 2 〈param>-2857534396031158848 〈param>lDELIVERY—MODE—STANDAREK/param> 々step>

DefaultStriciHandler
〈param>-737979528
0
24

<handler〉DefaultStrictHandler
scr_MessageSent
〈param>2


Defau!tAsynchronousHandler
DefaultStrictHandlei 〈pararn
id=" Wiclet—ID">4681829582212566094々param>
〈param>2 -2857534396031158848々param〉
1 <param
id="Reliable">DELIVERY_MODE—STANDAREK/param>
-737979528々param> 200

DefaultAsynchronousHandler
DefaultStrictHandler <param
id="Wiclet—ID">4681829582212566094
2
〈param>-2857534396031158848
<param〉 1
<param
id="Reliable">DELIVERY—MODE_STANDARD

〈pararn>4681829582212566094 1々param〉 〈param>-2857534396031158848 1々param〉
DELIVERY—MODE—STANDAREK/param>

DefaultStrictHandler
DefaultAsynchronousHandler <param
id=" Wiclet一ID"〉4681829582212566094 1 >-2857534396031158848々param>
l <param
id="Reliable">DELIVERY—MODE—STANDAREXparam〉
々step> 々precond〉
4681829582212566094 1 4681829582212566094 0

根據本發明公開的系統和方法可以由具有上文所述的功能的任意硬體，軟體 或硬體與軟體的組合來實現。軟體的代碼，不論是其整體還是其中一部分，都可
存儲在計算機可讀存儲器中。另外， 一種代表軟^^碼的計^m數據信號可s3！
通信網絡進行發送，所述數據信號可^A載波中。這樣的計對幾可讀存儲器以及
計算機 信號，以及硬體，軟體以及它們的組合，都在本發明公開的範圍內。
雖然已經給出並描述了本發明的特定實施例，可以對這些實施例進行改變禾口 變型，而並不脫離本發明的真正範圍。
權利要求
1.一種用於無線組件應用程式的自動功能測試的測試工具系統，所述測試工具系統包括至少一個測試集，用於測試至少一個目標應用程式日誌事件；以及至少一個事件句柄，用於針對所述至少一個目標應用程式日誌事件來確認至少一個比較器。
2. 根據權利要求1所述的測試工具系統，其中所述至少一個比較器形成一系列比較器
3. 根據權利要求1所述的測試工具系統，其中來自所述至少一個測i^中的測碟包括至少一個期望的日誌事件，用於定義期望的目標應用禾，邏輯流程；以及所述至少一個比較器，用於保存用來確認測試過程中的步驟的信息。
4. 根據權利要求3所述的測試工具系統，其中所述至少一個目標應用程式日誌事件中的目標應用禾，日誌事件包括一個標識符，用於唯一地標iR^f述目標應用程式日誌事件；以及 至少一個參數，用於存儲描述所述目標應用程式當前狀態的期望目標應用禾，邏 輯流程信息。
5. 根據權利要求4戶腐的測試工具系統，其中所述目標應用禾號日誌事件還 包括用於確定在目標應用程式日誌事件之前發生的前提日誌事件的前提。
6. 根據權禾腰求3戶脫的測試工具系統，其中所超少一個比較器中的比較 器包括句柄定義，用於將所述比較器與至少一個事件句柄中的事件句柄相關聯。
7. 根據權利要求6所述的測試工具系統，其中所述比較器包括已發生的前提 日誌事件的前提定義。
8. 根據權禾腰求6所述的測試工具系統，其中所述比較器包括至少一個參數欄位，用於存儲有關目標應用，歸日誌事件的附n信息。
9. 根據權利要求8所述的測試工具系統，其中所述至少一個參數欄位中的附 加信息呈名稱值對的形式。
10. 根據權禾腰求6戶脫的測試工具系統，其中所述比較器包括用於描述模擬 輸入的至少一錯令定義，領賦工具系統基於測試的成功確認將所述模擬輸入 發送到目標應用程式。
11. 根據權利要求1所述的測試工具系統，進一步包括用於管艦測試工具系 統的測試組分派的測試伺服器'所述測湖艮務器包括-用於存儲測試集結果的至少一個測試結果日誌；以及用於存儲測試集的儲存庫。
12. 根據權利要求1所述的測試工具系統，進一步包括目標應用程式記皿務，用於在目標應用程式記錄信息時產生日誌事件。
13. —種無線組件應用程式的自動功能測試的方法，所述方飽括步驟-收聽目標應用程式日誌事件； 接收目標應用程式日誌事件；接收測試集;以及基於測試集確認目標應用程式日誌事件。
14. 根據權利要求13所述的方法，進一步包括步驟 將從測i媒接收到的比較器排列成隊列； 啟動與第一比較器相關聯的超時計時器；以及 對照第一比較器確認目標應用程式日誌事件。
15. 根據權利要求14所述的方法，其中所述確認目標應用禾歸日誌事件的步驟包括確定是否所有參數與都目標應用程式日誌事件中給定的信息匹配的步驟。
16. 根據權利要求14所述的方法，進一步包括基於確認所述目標應用程式日 志事件的步驟的結果來記錄目標應用日誌事件的確認狀態的步驟。
17. 根據權利要求14所述的方法，進一步包括步驟 時成功確認的比較器出列；以及 將成功確認的比較器添加到前提列表中。
18. 根據權利要求14戶脫的方法，進一步包括步驟 為第二比較器重置超時計時器；以及 對照第二比較器確認日誌事件。
19. 根據權利要求14所述的方法，其中對多個日誌事件進行異步確認。
20. —種用於存儲指令或語句的計算機可讀介質，在計算機中執行所述指令或 語句，以執行無線組件應用程式的自動功能測試方法，所述方法包括步驟 收聽目標應用程式日誌事件； 接收目標應用程式日誌事件； 接收測i^;以及基於測試，確認目標應用程式日誌事件。
21.—種攜帶信號的傳播信號載波，所述信號包含能由計算機讀取並執行的計 算機可執行指令，所述計算機可執行指令用來執行無線組件應用程式的自動功能 測試方法，所述方^^括步驟收聽目標應用程式日誌事件；接收目標應用禾聘日誌事件；接收測試集；以及基於測試集來確認目標應用程式日誌事件。
全文摘要
提供一種無線組件應用程式的功能測試的測試工具(test harness)系統和方法。該測試工具系統包括至少一個測試集(testlet)，用於測試至少一個目標應用程式日誌事件，以及至少一個事件句柄，用於針對所述至少一個目標應用程式日誌事件來確認至少一個比較器。該方法包括步驟收聽目標應用程式日誌事件，接收目標應用程式日誌事件，接收測試集，以及基於該測試集來確認目標應用程式日誌事件。
文檔編號G06F11/36GK101194233SQ200680012721
公開日2008年6月4日 申請日期2006年4月18日 優先權日2005年4月18日
發明者亞歷克斯·巴布特, 麥可·施克爾尼克, 麥可·申菲爾德 申請人:捷訊研究有限公司