進行分布式資料庫系統性能測試的方法及系統的製作方法
2023-07-14 19:57:26
專利名稱：進行分布式資料庫系統性能測試的方法及系統的製作方法
技術領域：
本發明涉及性能測試技術，尤其涉及進行分布式資料庫系統性能測試的方法及系統。
背景技術：
隨著網際網路技術的不斷發展，大型應用場景越來越多，分布式資料庫系統在各種應用中充當著越來越重要的角色，分布式資料庫系統的性能也越來越受到重視。獲取一個分布式資料庫系統的性能時，需要對該系統包含的各節點上的資料庫性能進行統計，對統計的結果進行分析，以得到該分布式資料庫系統的性能。以需要統計的性能為內存使用率進行說明先統計出某一時刻各節點資料庫的內存使用率，對統計得到的該時刻的各節點資料庫的內存使用率進行運算，得到分布式資料庫系統的內存使用率。現有的進行分布式資料庫系統性能測試的方法具體包括當需要檢測分布式資料庫系統的性能時，手工啟動該系統包含的各節點上的性能獲取程序；性能獲取程序運行後得到資料庫性能數據，工作人員再手工從各節點導出資料庫性能數據；然後，對得到的各個節點的性能進行統一分析，得到系統的資料庫性能數據。現有性能測試方法存在以下缺點需要人為手工啟動各個節點上的性能獲取程序，並手工從各個節點導出得到資料庫性能數據，其花費較多人力，花費較大；並且，對系統某一時刻的資料庫性能數據進行獲取時，由於手工同時對各節點進行程序啟動存在一定的時間差異，不能準備獲取某一時刻各節點的資料庫性能數據，導致得到的系統某一時刻的資料庫性能數據存在誤差。更重要地，在實際應用中，常需要獲取用戶對分布式資料庫系統的操作，與分布式資料庫系統資料庫性能數據之間的關係，但目前還沒有這方面的方案。可見，現有性能測試方案存在測試結果不準確，且不能獲取用戶操作與資料庫性能數據之間關係的缺陷。
發明內容
本發明提供了一種進行分布式資料庫系統性能測試的方法，該方法能夠獲得用戶操作與資料庫性能數據之間的關係，且能夠提高測試結果的準確性。本發明還提供了一種進行分布式資料庫系統性能測試的系統，該系統能夠獲得用戶操作與資料庫性能數據之間的關係，且能夠提高測試結果的準確性。一種進行分布式資料庫系統性能測試的方法，該方法包括編寫用於對資料庫進行操作的操作腳本，將操作腳本布署成web頁面上的連結；編寫點擊腳本，執行點擊腳本，模擬用戶點擊web頁面上的連結以執行對應的操作腳本；向分布式資料庫系統的各節點發送關於資料庫性能數據的獲取指令，接收各節點反饋的資料庫性能數據；
對得到的各節點資料庫性能數據進行分析，得到用戶操作與資料庫性能數據之間的關係。一種進行分布式資料庫系統性能測試的系統，該系統包括頁面布署單元、人為模擬單元、數據獲取單元和數據分析單元；所述頁面布署單元，用於編寫對資料庫進行操作的操作腳本，將操作腳本布署成 web頁面上的連結；所述人為模擬單元，用於編寫點擊腳本，執行點擊腳本，模擬用戶點擊web頁面上的連結以執行對應的操作腳本；所述數據獲取單元，用於向分布式資料庫系統的各節點發送關於資料庫性能數據的獲取指令，接收各節點反饋的資料庫性能數據，傳送給所述數據分析單元；所述數據分析單元，用於對得到的各節點資料庫性能數據進行分析，得到用戶操作與資料庫性能數據之間的關係。從上述方案可以看出，採用本發明方案，預先布署web頁面，編寫點擊腳本之後， 執行點擊腳本，便可模擬用戶點擊web頁面的操作腳本，並向分布式資料庫系統的各節點發送關於資料庫性能數據的獲取指令以獲取各節點資料庫性能數據，進而通過分析得到用戶操作與資料庫性能數據之間的關係。採用本發明方案，實現了獲取用戶操作與資料庫性能數據之間的關係；並且，整個過程無需手工啟動各節點上的性能獲取程序，再手工從各節點導出資料庫性能數據，本發明方案節省了測試時的人力成本；也不存在手工對各節點進行程序啟動時的時間誤差，提高了測試結果的準確性。
圖I為本發明進行分布式資料庫系統性能測試的方法示意性流程圖；圖2為本發明進行分布式資料庫系統性能測試的系統結構示意圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，下面結合實施例和附圖，對本發明進一步詳細說明。本發明提供了能夠獲取用戶操作與資料庫性能數據之間關係的方案，且該方案無需手工啟動各節點上的性能獲取程序，再手工從各節點導出資料庫性能數據。參見圖1，為本發明進行分布式資料庫系統性能測試的方法示意性流程圖，其包括以下步驟步驟101，編寫用於對資料庫進行操作的操作腳本，將操作腳本布署成web頁面上的連結。所述對資料庫進行的操作包括對資料庫進行的更新操作、刪除操作、插入操作或查詢操作等。具體實現時，可採用軟體python編寫操作腳本，各操作腳本對應了不同的對資料庫的操作；而後，可採用軟體Uwsgi運行操作腳本,再通過軟體nginx將運行的操作腳本布署成web頁面上的連結。將腳本布署成web頁面上的連結需先運行該腳本，相當於激活該腳本；這裡採用軟體Uwsgi運行操作腳本，就是為了將操作腳本激活後布署成web頁面上的連結。操作腳本中包含操作類型、操作的資料庫地址等信息；如果模擬點擊web頁面上的連結，web伺服器便執行對應的操作腳本，以對相應的資料庫進行相應的操作。python是公知的程式語言，在確定對資料庫進行的操作之後，由python編寫操作腳本是本領域技術人員易於實現的；Uwsgi為網絡伺服器網關接口工具，也是本領域技術人員常用的用於運行腳本的軟體；且軟體nginx為將腳本布署成web頁面上連結的專用軟體，具有將運行的腳本布署成web頁面上連結的功能；這裡不再過多贅述。步驟102，編寫點擊腳本，執行點擊腳本，模擬用戶點擊web頁面上的連結以執行對應的操作腳本。具體實現時，可採用軟體負載運行工具(Loadrunner)編寫點擊腳本，執行點擊腳本後，便可模擬用戶點擊web頁面上的連結。點擊腳本中包含web上的連結地址、點擊次數、 模擬用戶數、點擊的時間間隔等點擊參數；執行點擊腳本後，便可模擬用戶按照點擊參數點擊web頁面上的相應連結。例如，可以同時模擬50個用戶對某一節點資料庫進行插入操作， 同時模擬50個用戶對某一節點進行查詢操作，等等。各節點上設置了最大用戶連接數，設為M，節點資料庫在同一時刻最多只允許M個用戶的操作，本發明中，為了防止某些節點上的最大用戶連接數小於模擬用戶數，可預先對節點上的最大用戶連接數進行配置，以符合模擬用戶人數的要求，即大於或等於模擬用戶數。對各節點最大用戶連接數進行配置的方法包括在各節點進行最初配置時，將各節點默認的最大用戶連接數進行配置成足夠大，以大於或等於模擬用戶數。各節點的配置文件中包含默認的最大用戶連接數，在使用過程中，各可點可能對默認的最大用戶連接數進行了修改，因此，還可以直接對各節點的配置文件中的最大用戶連接數進行修改；具體實現時，可向分布式資料庫系統的各節點下發包含最大用戶連接數的配置指令，各節點接收後，對配置文件中的最大用戶連接數進行修改。web伺服器接收關於某連結的點擊後，執行與該連結對應的操作腳本，以對相應的節點資料庫進行操作；步驟101中通過軟體nginx將運行的操作腳本布署成web頁面上的連結，這裡將web伺服器稱為nginx伺服器。具體實現時，nginx伺服器接收關於某連結的點擊後，使用軟體Uwsgi執行與該連結對應的操作腳本，以對相應的節點資料庫進行操作。Loadrunner為人為模擬點擊web上連結的專用軟體，在確定需要點擊的web 頁面上的連結地址、點擊次數、模擬用戶數、點擊的時間間隔等點擊參數之後，採用軟體 Loadrunner編寫點擊腳本,是本領域技術人員易於實現的,這裡不多贅述。步驟103，向分布式資料庫系統的各節點發送關於資料庫性能數據的獲取指令，接收各節點反饋的資料庫性能數據。所述資料庫性能數據包括cpu使用率、內存使用率、磁碟輸入輸出指標和網絡吞吐率等中的至少一項。具體實現時，可採用站點觀測(Sitescope)軟體實現關於資料庫性能數據的獲取指令的編寫。Sitescope軟體為專用的從目標對象獲取數據的軟體，編寫時，按照 Sitescope軟體的規定設置參數即可，本實例中，設置的參數包括節點IP位址、獲取性能數據的頻率、獲取的內容等；所述獲取的內容為節點資料庫的使用情況，即節點資料庫的性能數據。各節點接收關於資料庫性能數據的獲取指令後，運行性能獲取程序，並反饋請求的性能數據。
Sitescope軟體為專用的從目標對象獲取所需數據的軟體，提供分布式監視解決方案，這裡不贅述。步驟104，對得到的各節點資料庫性能數據進行分析，得到用戶操作與資料庫性能數據之間的關係。本步驟可具體包括獲取編寫點擊腳本時配置的點擊參數，點擊參數包含了用戶操作的信息；結合點擊參數，對得到的各節點資料庫性能數據進行分析，得到用戶操作與資料庫性能數據之間的關係。具體地實現時，對人為點擊參數和得到的各節點資料庫性能數據進行結合分析， 可通過Loadrunner本身自帶的分析器實現。根據軟體Loadrunner的特點，其自帶有分析器，該分析器具有分析用戶操作與資料庫性能數據之間關係的功能，在獲知用戶對各節點的操作信息以及相應節點的資料庫性能數據之後，將用戶操作信息和資料庫性能數據作為分析參數，輸入分析器，並進行必要的其他設置，分析器便可得計算出某一時刻用戶操作與資料庫性能數據之間的關係；例如，得到的關於CPU使用率的分析結果包括某一時刻，當對分布式資料庫系統進行操作的用戶人數為50時，系統的cpu使用率為10%;當對分布式資料庫系統進行操作的用戶人數為90 時，系統的cpu使用率為20%;等等。還可以，將分析器得到的結果設置為以圖形化界面方式進行顯示。分析用戶操作與資料庫性能數據之間關係，為分析器本身具有的功能，這裡不過多贅述。採用本發明方案，預先布署web頁面，編寫點擊腳本之後，執行點擊腳本，便可模擬用戶點擊web頁面的操作腳本，並向分布式資料庫系統的各節點發送關於資料庫性能數據的獲取指令以獲取各節點資料庫性能數據，進而通過分析得到用戶操作與資料庫性能數據之間的關係。整個過程無需手工啟動各節點上的性能獲取程序，再手工從各節點導出資料庫性能數據，本發明方案節省了測試時的人力成本；也不存在手工對各節點進行程序啟動時的時間誤差，提高了測試結果的準確性。參見圖2，為本發明進行分布式資料庫系統性能測試的系統結構示意圖，圖中將該系統稱為性能測試系統，該系統包括頁面布署單元、人為模擬單元、數據獲取單元和數據分析單元；頁面布署單元，用於編寫對資料庫進行操作的操作腳本，將操作腳本布署成web 頁面上的連結；人為模擬單元，用於編寫點擊腳本，執行點擊腳本，模擬用戶點擊web頁面上的連結以執行對應的操作腳本；數據獲取單元，用於向分布式資料庫系統的各節點發送關於資料庫性能數據的獲取指令，接收各節點反饋的資料庫性能數據，傳送給所述數據分析單元；數據分析單元，用於對得到的各節點資料庫性能數據進行分析，得到用戶操作與資料庫性能數據之間的關係。具體的，頁面布署單元編寫的對資料庫進行操作的操作腳本包括對資料庫進行的更新操作、刪除操作、插入操作或查詢操作的操作腳本。數據獲取單元接收到各節點反饋的資料庫性能數據包括cpu使用率、內存使用率、磁碟輸入輸出指標和網絡吞吐率中的至少一項。頁面布署單元、人為模擬單元、數據獲取單元和數據分析單元分別置於不同的設備上，或者，置於同一設備上。本發明採用一個性能測試系統完成對分布式資料庫系統性能的測試，避免了測試時人為啟動各節點程序時產生的時間誤差，提高了測試結果的準確性。以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。
權利要求
1.一種進行分布式資料庫系統性能測試的方法，其特徵在於，該方法包括編寫用於對資料庫進行操作的操作腳本，將操作腳本布署成web頁面上的連結； 編寫點擊腳本，執行點擊腳本，模擬用戶點擊web頁面上的連結以執行對應的操作腳本；向分布式資料庫系統的各節點發送關於資料庫性能數據的獲取指令，接收各節點反饋的資料庫性能數據；對得到的各節點資料庫性能數據進行分析，得到用戶操作與資料庫性能數據之間的關係O
2.如權利要求I所述的方法，其特徵在於，所述對得到的各節點資料庫性能數據進行分析包括獲取編寫點擊腳本時配置的點擊參數；結合點擊參數，對得到的各節點資料庫性能數據進行分析，得到用戶操作與資料庫性能數據之間的關係。
3.如權利要求2所述的方法,其特徵在於,所述點擊參數包括點擊的連結地址、點擊次數、模擬用戶數和點擊時間間隔。
4.如權利要求3所述的方法，其特徵在於，所述編寫用於對資料庫進行操作的操作腳本之前，該方法還包括對各節點的最大用戶連接數進行配置，使最大用戶連接數大於或等於所述模擬用戶數。
5.如權利要求2、3或4所述的方法，其特徵在於，所述對得到的各節點資料庫性能數據進行分析，通過負載運行工具Loadrunner本身自帶的分析器實現。
6.如權利要求I至4中任一項所述的方法，其特徵在於，所述資料庫性能數據包括cpu 使用率、內存使用率、磁碟輸入輸出指標和網絡吞吐率中的至少一項。
7.一種進行分布式資料庫系統性能測試的系統，其特徵在於，該系統包括頁面布署單元、人為模擬單元、數據獲取單元和數據分析單元；所述頁面布署單元，用於編寫對資料庫進行操作的操作腳本，將操作腳本布署成web 頁面上的連結；所述人為模擬單元，用於編寫點擊腳本，執行點擊腳本，模擬用戶點擊web頁面上的連結以執行對應的操作腳本；所述數據獲取單元，用於向分布式資料庫系統的各節點發送關於資料庫性能數據的獲取指令，接收各節點反饋的資料庫性能數據，傳送給所述數據分析單元；所述數據分析單元，用於對得到的各節點資料庫性能數據進行分析，得到用戶操作與資料庫性能數據之間的關係。
8.如權利要求I所述的系統，其特徵在於，所述頁面布署單元、人為模擬單元、數據獲取單元和數據分析單元分別置於不同的設備上，或者，置於同一設備上。
9.如權利要求I所述的系統，其特徵在於，所述對資料庫進行的操作包括對資料庫進行的更新操作、刪除操作、插入操作或查詢操作。
10.如權利要求7至9中任一項所述的系統，其特徵在於，所述資料庫性能數據包括cpu使用率、內存使用率、磁碟輸入輸出指標和網絡吞吐率中的至少一項。
全文摘要
本發明提供了進行分布式資料庫系統性能測試的方法及系統，其中，該方法包括編寫用於對資料庫進行操作的操作腳本，將操作腳本布署成web頁面上的連結；編寫點擊腳本，執行點擊腳本，模擬用戶點擊web頁面上的連結以執行對應的操作腳本；向分布式資料庫系統的各節點發送關於資料庫性能數據的獲取指令，接收各節點反饋的資料庫性能數據；對得到的各節點資料庫性能數據進行分析，得到用戶操作與資料庫性能數據之間的關係。本發明方案能夠獲得用戶操作與資料庫性能數據之間的關係，且能夠提高測試結果的準確性。
文檔編號G06F17/30GK102609472SQ20121001579
公開日2012年7月25日 申請日期2012年1月18日 優先權日2012年1月18日
發明者劉堃, 顏春芳 申請人:深圳市同洲視訊傳媒有限公司