一種資料庫優化方法及裝置的製作方法
2023-06-19 15:35:06
專利名稱：一種資料庫優化方法及裝置的製作方法
技術領域：
本發明涉及通信技術領域，尤其涉及一種資料庫優化方法及裝置。
背景技術：
時至今日，「Big data」 (大數據)時代的來臨已經毋庸置疑，尤其是在電信、金融等行業，幾乎已經到了「數據就是業務本身」的地步。大數據包括結構化、半結構化和非結構化等多類數據，其中海量結構化數據存儲在分布式數 據庫系統中。但是在大數據時代，分布式資料庫系統部署在大量廉價存儲的不可靠的計算機上，系統內的結點性能下降或發生故障是常態。現有技術中，分布式資料庫性能優化的方法主要是針對單個資料庫結點或固定的性能測試程序實現分布式資料庫性能優化的目標。但在上述現有技術中，存在以下缺陷資料庫優化效率低，針對單個資料庫結點的優化效率低，無法滿足大數據環境大量分布式資料庫結點優化的需要，以及由於固定的性能測試程序無法反應真實環境分布式資料庫系統負載情況，真實環境中資料庫負載的改變，而導致資料庫優化效果不佳。
發明內容
本發明實施例提供了一種資料庫優化方法及裝置，用以提升資料庫業務性能的優化效果。本發明實施例提供的資料庫優化方法，包括定期獲取分布式資料庫結點的實時業務負載信息；將所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比；根據對比結果，調整所述分布式資料庫結點中的服務資料庫結點。本發明實施例提供的資料庫優化裝置，包括獲取單元，用於定期獲取分布式資料庫結點的實時業務負載信息；對比單元，用於將所述獲取單元獲取的所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比；調整單元，用於根據所述對比單元的對比結果，調整所述分布式資料庫結點中的服務資料庫結點。從以上技術方案可以看出，本發明實施例具有以下優點分布式資料庫中間件伺服器定期獲取與其通過網絡相連的分布式資料庫結點的實時業務負載信息，將其中包含的各分布式資料庫結點的實時性能參數與預設的性能評價模型進行對比，該預設的性能評價模型可隨著實時業務負載信息的更新進行更新，根據對比結果，調整所述分布式資料庫結點中的服務資料庫結點，由於分布式資料庫中間件伺服器定期根據實時業務負載信息全局性地調整服務資料庫結點，可優化資料庫結點範圍大，提高了資料庫優化的效率，並且性能評價模型可根據實時業務負載信息進行更新，增強資料庫優化效果。
圖I為本發明實施例中分布式資料庫系統結構示意圖2為本發明實施例中資料庫優化方法的一個實施例示意圖；圖3為本發明實施例中資料庫優化方法的另一個實施例示意圖；圖4為本發明實施例中資料庫優化裝置的一個實施例示意圖；圖5為本發明實施例中資料庫優化裝置的另一個實施例示意圖。
具體實施例方式本發明實施例提供了一種資料庫優化方法及裝置，用於根據獲取的實時業務負載數據，動態調整服務隊列中的服務資料庫結點，實現資料庫業務性能的優化，提高資料庫優化效率。請參閱圖1，本發明實施例中，分布式資料庫中間件伺服器集群101通過網絡102·與分布式資料庫結點集群103相連接，其中，分布式資料庫中間件伺服器集群101由各分布式資料庫中間件伺服器104組成，分布式資料庫結點集群103由各分布式資料庫結點105組成。本發明實施例中，通過資料庫重演的方式獲取工作環境中資料庫的負載信息，進而在測試環境中還原該資料庫的工作環境的測試數據，資料庫重演是指在工作環境的資料庫中捕獲所有負載信息，並可以將之傳送至測試環境中，在測試環境中重演資料庫的工作環境，使得通過測試環境再現真實環境中資料庫的負載及運行情況。為使得資料庫重演，完成整個測試過程，分布式資料庫中間件伺服器將獲取的資料庫業務負載信息轉化成基準測試腳本，在後臺定期運行基準測試腳本，實時獲得分布式資料庫各點的實時性能信息。請參閱圖2，本發明實施例中的資料庫優化方法的一個實施例包括101、定期獲取分布式資料庫結點的實時業務負載信息；分布式資料庫中間件伺服器運行中間件，定期獲取與其通過網絡相連的分布式資料庫結點的實時業務負載信息，所述實時業務負載信息包括業務數據的入庫信息、查詢信息、統計信息、分析信息等，該實時業務負載信息中包含各分布式資料庫結點的實時性能參數的信息，該實時性能參數包括業務數據的入庫速度、索引時間、更新速度、刪除速度、以結構化查詢語言(SQL, Structured Query Language)表示的主要負載的查詢響應速度、性能權重等參數。其中，中間件是一類連接軟體組件和應用的計算機軟體，它包括一組服務，以便於運行在一臺或多臺機器上的多個軟體通過網絡進行交互。中間件通常用於支持分布式應用程式並簡化其複雜度，它包括web伺服器、事務監控器和消息隊列軟體。102、將所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比；本實施例中，預設的性能評價模型中的性能評價參數可包括業務數據的入庫速度、索引時間、更新速度、刪除速度、SQL表示的主要負載的查詢響應速度、性能權重等參數。該預設的性能評價模型可以是在系統啟動時，根據第一次獲取的分布式資料庫結點的實時業務負載信息，建立初始的性能評價模型，也可以是根據系統通常的工作情況建立的性能評價模型，該預設的性能評價模型可隨著實時業務負載信息的更新而進行更新。獲取的實時業務負載信息中的實時性能參數，應當是與預設的性能評價模型中所含參數全部或部分相同，便於對比。
103、根據對比結果，調整所述分布式資料庫結點中的服務資料庫結點。根據所述實時業務負載信息中的實時性能參數與預設的性能評價模型的對比結果，調整所述分布式資料庫結點中的服務資料庫結點，其中，服務資料庫結點是指提供業務數據存儲的分布式資料庫結點。本發明實施例中，分布式資料庫中間件伺服器定期獲取與其通過網絡相連的分布式資料庫結點的實時業務負載信息，將其中包含的各分布式資料庫結點的實時性能參數與預設的性能評價模型進行對比，該預設的性能評價模型可隨著實時業務負載信息的更新進行更新，根據對比結果，調整所述分布式資料庫結點中的服務資料庫結點，由於分布式資料庫中間件伺服器定期根據實時業務負載信息全局性地調整服務資料庫結點，可優化資料庫結點範圍大，提高了資料庫優化的效率，並且性能評價模型可根據實時業務負載信息進行 更新，增強資料庫優化效果。為便於理解，下面詳細介紹本發明實施例中的資料庫優化方法，請參閱圖3，本發明實施例中資料庫優化方法的另一個實施例包括201、定期獲取分布式資料庫結點的實時業務負載信息；分布式資料庫中間件伺服器定期獲取與其通過網絡相連的分布式資料庫結點的實時業務負載信息，該實時業務負載信息中包含各分布式資料庫結點的實時性能參數的信
肩、O202、根據所述實時業務負載信息，判斷是否更新所述預設的性能評價模型；定期獲取分布式資料庫結點的實時業務負載信息，該實時業務負載信息可能隨著網絡狀況的變化而產生變化，為使得服務資料庫結點的調整更符合實際情況，防止服務資料庫結點的錯誤選擇。例如，當在預置的一段時長內獲取的實時負載信息中開始出現查詢信息，而統計信息不再出現，則更新預設性能評價模型，在其中添加處理關於查詢信息的語句，刪除處理關於統計信息的語句，使得性能評價模型中的性能評價參數可與實時業務負載信息中的實時性能參數相對應，便於對比。若是，則執行步驟203 ;若否，則執行步驟204。203、更新所述預設的性能評價模型；更新所述預設的性能評價模型後，定期獲取分布式資料庫結點的實時業務負載信息，進行後續操作。具體地，更新該性能評價模型中的相關信息語句，例如，當在預置的一段時長內獲取的實時負載信息中開始出現查詢信息，而統計信息不再出現，則添加處理關於查詢信息的語句，刪除處理關於統計信息的語句，可理解的，相對於其他獲取的分布式資料庫結點的實時業務負載信息，也通過更新性能評價模型中的相關信息語句的方式對該性能評價模型進行更新。204、將所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比；205、若所述實時業務負載信息中的實時性能參數反映的性能低於所述預設的性能評價模型反映的性能，則在服務資料庫結點的隊列中，刪除所述實時業務負載信息對應的資料庫結點；若所述實時業務負載信息中的實時性能參數反映的性能低於所述預設的性能評價模型反映的性能，則表明所述實時業務負載信息對應的資料庫結點性能較差，存取數據速度較慢，暫時不適合提供業務數據存取的服務，則在服務資料庫結點的隊列中，刪除所述實時業務負載信息對應的資料庫結點。206、將業務訪問資料庫切換到所述刪除的資料庫結點對應的備份資料庫結點。在服務資料庫結點的隊列中，刪除所述實時業務負載信息對應的資料庫結點後，為避免該被刪除的資料庫結點上的業務數據的缺失，則將業務訪問資料庫切換到所述刪除的資料庫結點對應的備份資料庫結點，由該備份資料庫結點提供數據存取服務。本實施例中，分布式資料庫中間件伺服器定期獲取所述刪除的資料庫結點的實時業務負載信息，將所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對t匕，若所述刪除的資料庫結點的實時業務負載信息中的實時性能參數反映的性能，高於所述預設的性能評價模型反映的性能，表明所述實時業務負載信息對應的資料庫結點性能較好，存取數據速度較快，則將所述時業務負載信息對應的資料庫結點添加到服務資料庫結點的隊列中，這樣，可避免大規模的分布式資料庫由於個別結點性能不可靠而導致的資料庫整體訪問性能下降的問題。本發明實施例中，分布式資料庫中間件伺服器定期獲取分布式資料庫結點的實時業務負載信息，根據所述實時業務負載信息，判斷是否更新所述預設的性能評價模型，使得服務資料庫結點的調整更符合實際情況，將所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比，若所述實時業務負載信息中的實時性能參數反映的性能低於所述預設的性能評價模型反映的性能，則在服務資料庫結點的隊列中，刪除所述實時業務負載信息對應的資料庫結點，若所述刪除的資料庫結點的實時業務負載信息中的實時性能參數反映的性能，高於所述預設的性能評價模型反映的性能，則將所述實時業務負載信息對應的資料庫結點添加到服務資料庫結點的隊列中，以此實現根據分布式資料庫的實時負載信息，對服務資料庫結點的動態調整，減輕針對資料庫性能維護管理的工作量，提高資料庫優化的效率，增強資料庫優化效果。下面介紹本發明實施例中的資料庫優化裝置，請參閱圖4，本發明實施例中的資料庫優化裝置的一個實施例包括獲取單元301，用於定期獲取分布式資料庫結點的實時業務負載信息；
對比單元302，用於將所述獲取單元301獲取的所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比；調整單元303，用於根據所述對比單元302的對比結果，調整所述分布式資料庫結點中的服務資料庫結點。本發明實施例中的資料庫優化裝置的各單元實現各自功能的具體過程，請參見前述圖2所示實施例中的描述，此處不再贅述。本發明實施例中，獲取單元301定期獲取分布式資料庫結點的實時業務負載信息，對比單元302將獲取單元301獲取的實時業務負載信息中的實時性能參數反映的性能與預設的性能評價模型反映的性能進行對比，調整單元303根據對比單元302的對比結果，調整分布式資料庫結點中的服務資料庫結點，由於分布式資料庫中間件伺服器定期根據實時業務負載信息全局性地調整服務資料庫結點，可優化資料庫結點範圍大，提高了資料庫優化的效率，並且性能評價模型可根據實時業務負載信息進行更新，增強資料庫優化效果。
為便於理解，下面詳細介紹本發明實施例中的資料庫優化裝置，請參閱圖5，本發明實施例中的資料庫優化裝置的另一個實施例包括獲取單元401，用於定期獲取分布式資料庫結點的實時業務負載信息；對比單元402，用於將所述獲取單元401獲取的所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比；調整單元403，用於根據所述對比單元402的對比結果，調整所述分布式資料庫結點中的服務資料庫結點。其中，調整單元403還可以進一步包括刪除單元4031，用於若所述實時業務負載信息中的實時性能參數反映的性能低於所述預設的性能評價模型反映的性能，則在服務資料庫結點的隊列中，刪除所述實時業務負載信息對應的資料庫結點；·添加單元4032，用於若所述刪除的資料庫結點的實時業務負載信息中的實時性能參數反映的性能，高於所述預設的性能評價模型反映的性能，則將所述實時業務負載信息對應的資料庫結點添加到服務資料庫結點的隊列中。需要說明的是，本發明實施例中的資料庫優化裝置還可以進一步包括切換單元404，用於將業務訪問資料庫切換到所述刪除的資料庫結點對應的備份資料庫結點；判斷單元405，用於根據所述實時業務負載信息，判斷是否更新所述預設的性能評價模型；更新單元406，用於更新所述預設的性能評價模型。本發明實施例中的資料庫優化裝置的各單元實現各自功能的具體過程，請參見前述圖2及圖3所示實施例中的描述，此處不再贅述。本發明實施例中，獲取單元401定期獲取分布式資料庫結點的實時業務負載信息，根據所述實時業務負載信息，判斷單元405判斷是否更新所述預設的性能評價模型，使得服務資料庫結點的調整更符合實際情況，對比單元402將所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比，若所述實時業務負載信息中的實時性能參數反映的性能低於所述預設的性能評價模型反映的性能，則刪除單元4031在服務資料庫結點的隊列中，刪除所述實時業務負載信息對應的資料庫結點，若所述刪除的資料庫結點的實時業務負載信息中的實時性能參數，高於所述預設的性能評價模型，添加單元4032則將所述實時業務負載信息對應的資料庫結點添加到服務資料庫結點的隊列中，以此實現根據分布式資料庫的實時負載信息，對服務資料庫結點的動態調整，減輕針對資料庫性能維護管理的工作量，提高資料庫優化的效率，增強資料庫優化效果。本領域技術人員可以理解實現上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬體完成，所述的程序可以存儲於一種計算機可讀存儲介質中，上述提到的存儲介質可以是只讀存儲器，磁碟或光碟等。以上對本發明所提供的一種資料庫優化方法及裝置進行了詳細介紹，對於本領域的技術人員，依據本發明實施例的思想，在具體實施方式
及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。
權利要求
1.一種資料庫優化方法，其特徵在於，包括 定期獲取分布式資料庫結點的實時業務負載信息； 將所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比； 根據對比結果，調整所述分布式資料庫結點中的服務資料庫結點。
2.根據權利要求I所述的方法，其特徵在於，所述根據對比結果，調整所述分布式資料庫結點中的服務資料庫結點包括 若所述實時業務負載信息中的實時性能參數反映的性能低於所述預設的性能評價模型反映的性能，則在服務資料庫結點的隊列中，刪除所述實時業務負載信息對應的資料庫結點。
3.根據權利要求2所述的方法，其特徵在於，所述在服務資料庫結點的隊列中，刪除所述實時業務負載信息對應的資料庫結點之後包括 將業務訪問資料庫切換到所述刪除的資料庫結點對應的備份資料庫結點。
4.根據權利要求I所述的方法，其特徵在於，所述定期獲取分布式資料庫結點的實時業務負載信息之後包括 根據所述實時業務負載信息，判斷是否更新所述預設的性能評價模型； 若是，則更新所述預設的性能評價模型，若否，則執行所述將所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比的步驟。
5.根據權利要求2或3所述的方法，其特徵在於，所述方法還包括 若所述刪除的資料庫結點的實時業務負載信息中的實時性能參數反映的性能，高於所述預設的性能評價模型反映的性能，則將所述實時業務負載信息對應的資料庫結點添加到服務資料庫結點的隊列中。
6.一種資料庫優化裝置，其特徵在於，包括 獲取單元，用於定期獲取分布式資料庫結點的實時業務負載信息； 對比單元，用於將所述獲取單元獲取的所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比； 調整單元，用於根據所述對比單元的對比結果，調整所述分布式資料庫結點中的服務資料庫結點。
7.根據權利要求6所述的裝置，其特徵在於，所述調整單元包括 刪除單元，用於若所述實時業務負載信息中的實時性能參數反映的性能低於所述預設的性能評價模型反映的性能，則在服務資料庫結點的隊列中，刪除所述實時業務負載信息對應的資料庫結點。
8.根據權利要求7所述的裝置，其特徵在於，所述裝置還包括 切換單元，用於將業務訪問資料庫切換到所述刪除的資料庫結點對應的備份資料庫結點。
9.根據權利要求8所述的裝置，其特徵在於，所述裝置還包括 判斷單元，用於根據所述實時業務負載信息，判斷是否更新所述預設的性能評價模型； 更新單元，用於更新所述預設的性能評價模型。
10.根據權利要求9所述的裝置，其特徵在於，所述調整單元還包括添加單元 ，用於若所述刪除的資料庫結點的實時業務負載信息中的實時性能參數反映的性能，高於所述預設的性能評價模型反映的性能，則將所述實時業務負載信息對應的資料庫結點添加到服務資料庫結點的隊列中。
全文摘要
本發明實施例公開了一種資料庫優化方法及裝置，用於根據獲取的實時業務負載數據，動態調整服務隊列中的服務資料庫結點，實現資料庫業務性能的優化，提高資料庫優化效率。本發明實施例方法包括定期獲取分布式資料庫結點的實時業務負載信息，將所述實時業務負載信息中的實時性能參數與預設的性能評價模型進行對比，根據對比結果，調整所述分布式資料庫結點中的服務資料庫結點。
文檔編號G06F17/30GK102902825SQ201210442020
公開日2013年1月30日 申請日期2012年11月6日 優先權日2012年11月6日
發明者倪穎傑, 張軍, 李祖華, 朱開顏, 劉桂英, 馬飛, 李弢 申請人:無錫江南計算技術研究所