用於外部測試平臺的應用測試方法和系統與流程
2023-10-19 19:35:27 3
本發明涉及程序測試，尤其涉及一種用於外部測試平臺的應用測試方法和系統。
背景技術：
隨著電子技術的發展，尤其是移動客戶端的普及，應用提供方(例如，移動APP的提供商)對產品質量的重視程度也越來越高。在應用的測試過程中，應用提供方加入越來越多的自動化測試手段以保障質量。在自動化測試過程中，需要對在客戶端上獨立運行的應用進行測試，以便模擬用戶實際的使用體驗。在現有的解決方案中，首先外部測試平臺給待測應用下發測試任務；測試應用隨後開始測試，執行測試腳本；測試過程中待測應用上報測試數據；測試結束後測試平臺分析測試數據生成測試報告。
由上可知，待測應用被動接收測試任務。在測試過程中，如若需要調整測試力度或是參數，則通常需要在外部測試平臺和待測應用之間建立通信。例如，當即時通訊模塊存在大量內存告警情況下，希望外部測試平臺能夠自動調整即時通訊模塊的測試力度，做到靈活改變測試隨機事件權重而實現智能測試。為了實現智能測試，外部測試平臺需要在測試過程中給待測應用發送測試指令使其按照指令工作，如：啟動測試，打開某個頁面，開啟性能數據收集，開啟統計開關，調整測試任務，結束測試任務等。待測應用同時需要發送消息給外部測試平臺告知其測試情況，如：測試進展情況，性能測試數據情況，測試結果等。
外部測試平臺和待測應用在測試過程中通常採用網絡通信方式。圖1示出了現有技術中外部測試平臺與待測應用的通信示意圖。如圖所示，在測試平臺與待測應用進行通信之前，需要先進行網絡連接。一般情況下，網絡連接使用socket(套接字)網絡通信方式實現，這需要客戶端上的待測應用發起連接請求，並且需要測試平臺接受請求並握手來實現網絡連接。此外，對於例如iOS系統的封閉性系統，不僅需要建立網絡連接，還需要搭建客戶端-伺服器(CS)程序架構才能實現待測應用與外部系統通信。
鑑於現有技術中應用測試通信的諸多不便，因此需要一種新的用於外部應用測試的方法和系統，以方便可靠地實現測試過程中外部測試平臺與待測應用之間的通信。
技術實現要素：
為了解決現有技術中的至少一個問題，本發明提出了一種用於外部測試平臺和待測應用之間的新的通信方案，所述方案無需測試平臺與待測應用間的網絡連接，就能夠通過設備間的連接進行通信，由此直接以參數形式傳遞測試命令來告知待測應用所述測試平臺的存在並啟動測試。後續的測試命令也同樣能夠以參數方式直接傳遞。這樣，能夠實現測試過程中方便可靠的測試通信，尤其適用於本需要額外搭建CS程序結構才能實現測試過程中網絡通信的iOS系統和其他封閉系統。
根據本發明的一個方面，提出了一種應用測試方法，由主機上的測試平臺對所述主機所連接設備上的待測應用進行測試，並且所述待測應用在封閉式作業系統內運行，所述方法包括：向待測應用以參數方式傳遞啟動測試指令以啟動測試；以及獲取來自所述待測應用的測試信息。
由此，能夠實現測試平臺與待測應用的直接通信，提升外部測試的便利性與可靠性。
優選地，所述主機和所述設備是經由線纜連接的。這樣，由於主機與客戶端之間的在前連接，就能夠免除測試平臺與待測應用之間的連接需要，由此進一步提升測試效率。優選地，所述線纜連接可以是USB連接。
優選地，前述方法還可以包括向所述待測應用傳遞後續的測試指令，由此提升對測試過程的控制精度和水平。
優選地，前述方法還可以包括根據獲得的測試信息，確定向待測應用傳遞的所述後續測試指令。由此，能夠實現對測試過程更為靈活準確的控制，由此提升測試質量。
優選地，以參數方式傳遞測試指令可以是以參數傳入環境變量值的方式傳遞測試指令。這樣，就能夠藉由可在應用間傳遞的值來實現更為便利的信息傳遞，由此提升系統效率。
優選地，封閉式作業系統是iOS系統，並且以參數方式傳遞測試指令是通過instruments工具實現的，從而使得本發明尤其適用於流行的作業系統。
優選地，獲取來自待測應用的測試信息可以包括：發送測試信息獲取命令以獲取來自所述待測應用的測試信息。由此確保測試平臺對測試信息獲取的主動性。
優選地，發送的所述測試信息獲取命令是idevicesyslog命令，從而使得本發明進一步適用於流行的iOS作業系統。
優選地，獲取來自所述待測應用的測試信息包括：獲取來自所述待測應用的測試日誌並加以分析得到測試信息；或者獲取所述待測應用寫入資料庫中的測試數據作為測試信息。這樣，就能夠獲取適用於各類場景的測試信息，以便應對實際測試中所遭遇的各式問題。
根據本發明的另一方面，提出了一種應用測試裝置，用於由主機上的測試平臺對所述主機所連接設備上的待測應用進行測試，並且所述待測應用在封閉式作業系統內運行，所述裝置包括：測試指令傳遞單元，用於向待測應用以參數方式傳遞啟動測試指令以啟動測試；以及測試信息獲取單元，用於獲取來自所述待測應用的測試信息。
優選地，所述測試指令傳遞單元以參數傳入環境變量值的方式向所述待測應用傳遞後續測試指令；並且/或者所述測試指令傳遞單元根據獲得的測試信息，確定隨後向待測應用傳遞的測試指令。
優選地，所述應用測試裝置還包括：獲取命令發送單元，用於發送測試信息獲取命令以獲取來自所述待測應用的測試信息。
優選地，所述獲取命令發送單元通過向所述待測應用發送idevicesyslog命令來獲取測試信息。所述封閉性作業系統是iOS作業系統，所述測試指令傳遞單元通過instruments工具傳遞參數。
根據本發明的再一個方面，提出了一種應用測試系統，包括上述的應用測試裝置，還包括待測設備，所述應用測試裝置與所述待測設備相互連接並且所述待測設備運行封閉式作業系統並且安裝有待測應用。優選地，所述應用測試裝置和所述待測設備可以經由線纜連接。
由此，通過設備間而非測試平臺與待測應用之間預先建立的連接，就能夠經由參數傳遞實現測試過程中外部測試平臺與待測應用之間的便利通信，並能夠避免對編寫測試腳本以及封閉性系統中搭建CS架構的需要，由此提升測試效率並避免潛在的安全問題。
附圖說明
通過結合附圖對本公開示例性實施方式進行更詳細的描述，本公開的上述以及其它目的、特徵和優勢將變得更加明顯，其中，在本公開示例性實施方式中，相同的參考標號通常代表相同部件。
圖1示出了現有技術中外部測試平臺與待測應用的通信示意圖。
圖2示出了根據本發明的一種應用測試方法。
圖3示出了根據本發明的一種可選的應用測試方法。
圖4示出了根據本發明的外部測試平臺與待測應用的通信示意圖。
圖5示出了根據本發明的一種應用測試裝置。
圖6示出了根據本發明的一種應用測試系統。
具體實施方式
下面將參照附圖更詳細地描述本公開的優選實施方式。雖然附圖中顯示了本公開的優選實施方式，然而應該理解，可以以各種形式實現本公開而不應被這裡闡述的實施方式所限制。相反，提供這些實施方式是為了使本公開更加透徹和完整，並且能夠將本公開的範圍完整地傳達給本領域的技術人員。
應用在投放之前，需要進行各類測試來鑑定待測應用的正確性、完整性、安全性和質量。在測試的後期，通常需要將應用安裝在預定使用的系統/設備中，並且使用外部測試平臺進行測試。例如，一款面向iOS系統的APP在投放到APP商店之前，需要被安裝在iPhone或是iPad上實際運行以進行測試。這時的測試平臺通常位於安裝了該APP的客戶端(例如，上述iPhone或iPad)之外的設備上。優選地，測試平臺可以是搭建在伺服器上的web程序，能夠通過瀏覽器進行訪問使用。由於測試平臺和被測APP位於不同的設備上，因此在現有技術中，需要首先在外部測試平臺和待測應用之間建立網絡連接，才能夠進行後續的通信(如圖1所示)。由於需要網絡連接，因此增加了平臺與應用之間信息交換的開銷，而且需要開發額外的代碼以控制客戶端上的應用測試。另外，對於例如iOS的封閉系統，需要額外搭建CS程序結構才能實現測試過程中的上述網絡通信。
基於上述問題，本發明提出了一種新的用於外部測試平臺和待測應用之間的應用測試方案，其無需預先建立測試平臺與待測應用之間的連接，而是能夠通過測試平臺上傳遞參數本身來建立連接並啟動測試，並且在後續的測試過程中，也能夠根據需要實現測試指令和測試信息的雙向傳遞，由此提升測試的靈活性、可靠性和便利性。
圖2示出了根據本發明的一種應用測試方法。該方法適用於主機上的測試平臺對主機所連接設備上的待測應用進行測試。所述主機可以是伺服器。該設備上安裝有封閉式作業系統，待測應用在該封閉式作業系統內運行。在一個實施例中，主機與設備之間的連接可以通過線纜連接實現，例如通過USB連接實現。
在步驟S210，向待測應用以參數方式傳遞啟動測試指令以啟動測試。在這裡，由於主機和設備已經預先連接，測試平臺和待測應用之間可以在無需預先建立連接的情況下進行通信。在本發明的測試方案中，測試平臺和待測應用之間無需像圖1的現有技術那樣，在進行通信之前預先建立應用級的連接。在本發明中，通信的開啟可以直接通過測試平臺向待測應用傳遞參數這一動作完成。換句話說，待測應用與測試平臺可以直接通過啟動測試指令來知曉彼此的存在。
在步驟S220，獲取來自待測應用的測試信息。測試平臺可以基於多種方式來獲取來自待測應用的測試信息。在一個實施例中，待測應用可以直接響應於啟動測試指令，自行收集測試過程中的各類信息並將其發送給測試平臺。在另一個實施例中，待測應用也可以根據來自測試平臺的測試信息返回指令將其收集的測試信息返回給測試平臺。在這裡，「測試信息」指代待測應用在測試過程中生成的各類信息，例如，可以包括測試進展狀況、性能測試數據情況、測試日誌和測試結果等等。待測應用可以根據來自測試平臺的指令，收集對應的測試信息，並在恰當的時機將這些測試信息返回給測試平臺。
待測應用返回測試信息的方式也可以根據具體的測試命令或是測試信息返回指令的不同而有所不同。例如，待測應用可以根據傳入的參數，判斷是需要主動上報數據還是被動上報數據。例如，待測應用可以根據測試命令開啟內存問題監控測試，在測試過程中通過調用PHP頁面方式將內存測試數據POST寫入資料庫中。而在其他實施例中，待測應用可以在測試過程中以日誌形式不斷輸出當前的測試情況。
在一個實施例中，獲取來自所述待測應用的測試信息可以是獲取來自所述待測應用的測試日誌並加以分析得到測試信息。在另一個實施例中，獲取來自所述待測應用的測試信息還可以是獲取待測應用寫入資料庫中的測試數據作為測試信息。可以根據待測應用的具體測試目的來選取測試信息的獲取方式。例如，在對待測應用進行標籤欄點擊輪詢操作時，可以獲取不斷生成的測試日誌，並對測試日誌加以分析以獲取測試結果。而對於內存監控測試，則希望將內存數據一併存儲，由此方便隨後的讀取和分析。
雖然有時候直接通過啟動測試命令就能夠傳遞足夠的信息並相應地獲取所需的待測信息，但更多情況下，在啟動測試命令之後，還需要進一步的測試命令來應對測試過程中的各種情況。圖3示出了根據本發明的一種可選的應用測試方法。與圖2相類似地，在步驟S310，向待測應用以參數方式傳遞啟動測試指令以啟動測試。在步驟S315，可以以參數方式向待測應用傳遞後續的測試指令。在步驟S320，測試平臺獲取來自待測應用的測試信息。在步驟S325，根據獲取的測試信息，確定隨後向待測應用傳遞的測試指令。在一個實施例中，測試平臺可以以參數的方式向待測應用傳遞一個或多個後續測試指令。待測應用則可以對後續測試指令做出相應的反應並記錄對應信息。在一個實施例中，待測應用可以響應於測試命令記錄測試信息並向測試平臺返回測試信息。雖然如上以特定順序示出了後續測試的傳遞和相應的調整，但是應該理解，在實際操作中，步驟S315和S325是可選的，並且可以按照需要調整次序。例如，在測試啟動之後，待測應用可以先返回測試信息，隨後再發送後續的測試指令。後續的測試指令可由測試平臺自行確定，也可以根據測試信息的反饋來調整或確定。本領域技術人員還可以輕易設想出圖3實施例的其他變體。
在一個實施例中，以參數方式傳遞測試指令是以參數傳入環境變量值的方式傳遞測試指令。上述傳遞的測試指令可以是用於啟動測試的啟動測試指令，後續的測試指令或是根據測試信息確定的測試指令。這些指令能夠以參數傳入的環境變量值的形式來輕易實現從測試平臺到待測應用的跨應用傳遞，而無需預先建立的應用級別的連接。
在一個實施例中，獲取來自待測應用的測試信息可以包括發送測試信息獲取命令以獲取來自所述待測應用的測試信息。所述測試信息獲取命令可以包括約定協議，用於約定待測應用送出測試信息的形式和位置。
在一個實施例中，運行待測應用的封閉式作業系統可以是iOS系統。因此，以參數方式傳遞測試指令是通過instruments工具實現的，而用於獲取測試信息的測試信息獲取命令可以是idevicesyslog命令。具體地，對於安裝在iOS系統下的待測應用而言，可以通過instruments命令傳遞環境變量值的方式，實現外部測試平臺向待測應用的指令下發，並且隨後可以使用idevicesyslog命令來獲取日誌或是寫入資料庫的測試信息並進行解析，由此達到待測應用向外部測試平臺的信息傳遞。
圖4示出了根據本發明的外部測試平臺與待測應用的通信示意圖。如圖所示，位於不同設備上的測試平臺和待測應用無需像現有技術(圖1)那樣，需要預先建立起測試平臺與待測應用之間的專用連接，而是通過利用能夠透過不同作業系統直接傳遞的參數(例如，環境變量值)來實現平臺與應用之間的直接通信。因此，相比於圖1的現有技術，本發明的技術方案無需進行額外代碼開發，只需要待測應用按照約定協議輸出測試信息，就能夠通過解析這些測試信息來實現從客戶端直接獲取信息的溝通方式。另外，尤其對於諸如iOS的封閉性作業系統，本發明的技術方案利用現有的傳遞窗口(例如，參數的傳遞變量)，使得能夠在無需破解該封閉性作業系統的情況下就能夠實現透明於該封閉系統的信息傳輸，由此確保測試系統的穩定可靠。
以上結合圖2-4對根據本發明的應用測試方法及其相應原理進行了闡述。如下將結合圖5和圖6描述用於實現本發明技術方案的應用測試裝置和系統。
圖5示出了根據本發明一個實施例的應用測試裝置500。應用測試裝置500用於主機上的測試平臺對所述主機所連接設備上的待測應用進行測試。該待測應用在前述設備上的封閉式作業系統內運行。在一個實施例中，裝置500可以由測試平臺的功能模塊實現。在另一個實施例中，該裝置500也可由獨立於測試平臺的功能模塊實現。
在一個實施例中，應用測試裝置500包括測試指令傳遞單元510和測試信息獲取單元520。測試指令傳遞單元510用於向待測應用以參數方式傳遞啟動測試指令以啟動測試。測試信息獲取單元520則用於獲取來自所述待測應用的測試信息。
在一個實施例中，測試指令傳遞單元510以參數傳入環境變量值的方式向所述待測應用傳遞後續測試指令。在另一個實施例中，測試指令傳遞單元510可以根據獲得的測試信息，確定隨後向待測應用傳遞的測試指令。
在一個實施例中，裝置500還可以包括獲取命令發送單元530，後者用於發送測試信息獲取命令以獲取來自所述待測應用的測試信息。例如，在封閉性作業系統是iOS作業系統的情況下，測試指令傳遞單元510可以通過instruments工具傳遞參數，獲取命令發送單元530則相應地通過向所述待測應用發送idevicesyslog命令來獲取測試信息。
圖6示出了根據本發明一個實施例的應用測試系統。應用測試系統600包括主機610和安裝有待測應用的待測設備620。雖然圖中將主機510示出為臺式機，但應該理解的是，主機610可以是其上能夠安裝測試平臺的任何計算設備。在一個實施例中，主機610可以是伺服器。在一個優選實施例中，測試平臺則是搭建在該伺服器上的web程序，並且例如可以通過瀏覽器來進行使用。另外，雖然圖中示出了設備620-1…620-N，但應該理解的是，主機610可以根據需要連接一臺、兩臺或多臺設備。設備620上安裝有封閉式作業系統，例如iOS系統，而待測應用則在該封閉式作業系統下運行。
在測試開始之前，將主機610與設備620相連。在一個實施例中，主機和設備通過有線線纜相連，例如USB連接。由此，主機上的測試平臺便可以參數方式向設備620上的待測應用傳遞啟動測試指令以啟動測試。隨後，測試平臺獲取來自待測應用的測試信息。
優選地，測試平臺還以參數方式向所述待測應用傳遞後續測試指令，並且所述啟動測試指令和/或所述後續測試指令是以參數傳入環境變量值的方式傳遞的。
在一個實施例中，封閉性作業系統是iOS作業系統，因此用於測試的設備可以是任何能夠運行iOS作業系統的設備，例如蘋果公司的iPod和iPhone設備等。優選地，以參數方式傳遞測試指令可以通過instruments工具實現的，並且所述測試平臺通過向所述待測應用發送idevicesyslog命令來獲取測試信息。
在一個實施例中，主機610可以包括如圖5所述的應用測試裝置500，或者可以是該測試裝置本身。例如，應用測試裝置可以包括主機具有的各種功能或者作為其代替。
如上所述，通過替換固有的待測應用與外部測試平臺通信的方案，本發明提出了一種效率最高、效果最優、工作量最小的應用測試解決方案來實現測試過程中待測應用與外部測試平臺之間的互相通信。在最終實現的應用測試系統中，測試平臺可以經由參數傳遞環境變量值來下發指令給待測應用做相關測試任務，待測應用則通過輸出日誌方式給外部測試平臺以測試結果信息，例如測試開始、測試過程(性能指標、崩潰情況等)、測試結束信息等，以最終達到雙方通信的目的。
上文中已經參考附圖詳細描述了根據本發明的應用測試方法和系統。如下將參考具體例子來說明本發明技術方案的具體實現。
【應用示例】
為了更直觀地體現本發明的優點，在這裡示出了具體實施本發明技術方案的一個例子。在此例中，主機通過USB接口預先與iOS系統設備(例如iPhone)相連。該應用測試方案的詳細實現如下：
1.在外部測試平臺上部署測試任務，腳本修改代碼文件，開啟測試宏，編譯打包出帶有開啟與外部通信功能的包；
2.外部測試平臺下發安裝任務，iPhone安裝測試包；
3.啟動測試：外部測試系統執行instruments命令，-e參數方式傳入環境變量值，例如：-e NSZombieEnabled YES啟動測試。在這裡，NSZombieEnabled是可以按照約定隨意命名的環境變量名，YES是環境變量值。即，採用key－value的數據形式，給APP下發啟動殭屍模式的測試，用於發現內存相關的問題，使得APP相應地啟動測試；
4.測試過程：APP根據傳入環境變量值，進行判斷解析後做對應操作；
5.外部測試平臺接受APP指令：APP開始啟動自動化測試過程中，通過idevicesyslog命令獲取設備日誌情況，解析協議數據，如：手動測試結束指令。外部系統結束測試任務。
6.測試平臺生成測試報告：讀取日誌輸出測試信息(啟動測試時間，測試時長，結束時間等)，詳細數據讀取資料庫數據，生成測試報告。
在步驟4的測試過程中，待測APP可以做出兩類響應：
a)主動上報數據：在APP測試過程中，由APP將相關測試信息寫入資料庫。如：開啟內存問題監控測試，測試過程中通過調用PHP頁面方式將內存測試數據POST寫入資料庫中。可以預先以PHP方式搭建web伺服器。在測試過程中，待測APP訪問該web伺服器(以POST方式攜帶測試數據調用PHP)，以便將測試信息送入資料庫。
具體業務場景：
線上出現一個非必現崩潰，懷疑是內存導致的問題。在已經收集到崩潰堆棧、機型、版本等信息的情況下，可以根據上述a)方式收集更多有用的信息分析問題。另外，在平時發布前的穩定性測試過程中，能夠開啟此類a)方式的監控進行測試，解決問題。最後，在提交修改代碼後，a)方式能夠用於驗證問題已解決。換句話說，通過上述主動上報數據的a)方式，能夠開啟測試，並最終達到收集信息、解決問題後驗證結果以及預防此類問題再次發生的效果。
b)被動上報數據：APP測試過程中，以日誌形式輸出當前測試情況；
具體業務場景：
測試過程中需要做大量壓力測試驗證應用穩定性，如：對應用底部5個標籤欄標籤進行一萬次的輪詢點擊操作。使用腳本進行測試的方式顯得比較笨重，可通過傳入環境變量值來讓APP自身驅動測試。通過上述被動上報數據的b)方式，就能夠在測試過程中持續輸出測試日誌。外部測試平臺獲取日誌信息並加以分析，並最終得出測試結果。
以上示出了本發明技術方案應用於iOS作業系統的示例，但可以理解的是，本發明同樣適用於能夠以參數方式將測試命令傳入的其他封閉式作業系統。待測應用用於測試的發布版本可以輸出具有約定協議形式的日誌，外部測試平臺獲取並解析日誌後，實現獲取測試進行情況的目的。外部測試平臺也能夠根據測試情況可動態調整測試任務，重新通過傳入測試命令的方式來調整測試任務。由此，本發明實現了測試平臺與待測應用級別的直接通信，從而使得自動化測試更為方便智能。
此外，根據本發明的方法還可以實現為一種電腦程式，該電腦程式包括用於執行本發明的上述方法中限定的上述各步驟的電腦程式代碼指令。或者，根據本發明的方法還可以實現為一種電腦程式產品，該電腦程式產品包括計算機可讀介質，在該計算機可讀介質上存儲有用於執行本發明的上述方法中限定的上述功能的電腦程式。本領域技術人員還將明白的是，結合這裡的公開所描述的各種示例性邏輯塊、模塊、電路和算法步驟可以被實現為電子硬體、計算機軟體或兩者的組合。
附圖中的流程圖和框圖顯示了根據本發明的多個實施例的系統和方法的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。也應當注意，在有些作為替換的實現中，方框中所標記的功能也可以以不同於附圖中所標記的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或操作的專用的基於硬體的系統來實現，或者可以用專用硬體與計算機指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。