一種資料庫緩存集中管理方法和系統的製作方法

2023-06-10 13:16:51 2

專利名稱：：一種資料庫緩存集中管理方法和系統的製作方法
技術領域：
：本發明涉及一種資料庫緩存集中管理方法和系統，屬於數據通信
技術領域：
。
背景技術：
：集群(Cluster)是由兩臺或多臺節點機(伺服器)構成的一種鬆散耦合的計算節點集合，為用戶提供網絡服務或應用程式(包括資料庫、Web服務和文件服務等)的單一客戶視圖，同時提供接近容錯機的故障恢復能力。集群系統一般通過兩臺或多臺節點伺服器系統通過相應的硬體及軟體互連，每個集群節點都是運行其自己進程的獨立伺服器。這些進程可以彼此通信，對網絡客戶機來說就像是形成了一個單一系統，協同起來向用戶提供應用程式、系統資源和數據。網絡負載均衡就是兩個或兩個以上的伺服器組成群集，網際網路(Internet)客戶端使用一個網際網路協議(InternetProtocol,簡稱IP)地址或一組IP位址訪問集群。網絡負載均衡使用某種分布式算法來將客戶端的請求映射到集群中的某臺主機上。簡單的說，就是程序的一個拷貝運行在集群內的所有主機上，然後通過均衡技術，將外部發送來的請求均勻地分配到對稱結構中的某臺伺服器，而接受到請求的伺服器都能獨立回應客戶機的請求，網絡負載均衡則將工作負載在這些主機間進行分配。需要注意的是，在集群部署下，各個伺服器之間的資料庫要求一致。如果一臺資料庫中的數據發生改變，那麼其他伺服器上的資料庫也需要和它同步保持數據一致，如圖1所示。圖1中，用戶訪問集群對應的IP位址，通過負載均衡將用戶的請求映射給伺服器B，對伺服器B上的資料庫進行了修改，伺服器A，伺服器C，伺服器D上的資料庫需要進行同步，使得與伺服器B保持一致。但是，集群中一般不進行資料庫和伺服器進行分離，這是因為如果所有伺服器都公用一個資料庫的話，因為對資料庫的相同的表不能同時進行讀寫操作，所以會產生阻塞影響性能，另一方面如果這個資料庫出現問題，整個服務將完全不能運行，保存在資料庫的數據將會完全丟失，產生比較嚴重的後果，也失去了集群通過冗餘來提高可靠性的意義。資料庫緩存是指資料庫數據在內存中的臨時容器，它包含了資料庫表數據在內存中的拷貝，位於資料庫與數據訪問層之間。對於查詢資料庫操作相當頻繁的系統，良好的緩存機制顯得尤為重要。應用系統在進行數據讀取時，首先在緩存中查詢，避免了資料庫調用的性能開銷，並且由於內存操作比磁碟操作要快，從而也大大加快了資料庫數據的查詢速度。資料庫緩存是保證伺服器性能的必要手段，在伺服器中的位置如圖2所示。資料庫複製是一組資料庫技術，由資料庫自身來實現。它將數據和資料庫對象從一個資料庫複製和分發到另外一個資料庫，然後在資料庫之間進行同步，以維持資料庫之間的一致性。應用系統在部署網絡負載均衡集群時，一臺伺服器的資料庫上的數據發生變化4時，則可以通過資料庫複製技術，使得其他伺服器上的資料庫保持一致。資料庫緩存同步是指伺服器上資料庫緩存和資料庫進行同步，使得資料庫緩存與資料庫的內容保持一致。在傳統的集群部署下，每個節點都包括一個資料庫。為了提高性能，各個節點上同時還包括一份資料庫緩存。當資料庫同步時，必須也對資料庫緩存進行同步。但是，資料庫同步主要通過資料庫複製技術，而資料庫複製技術不能保證其他伺服器上的資料庫緩存和資料庫保持一致。因此，在部署集群的應用下，需要使用其他一些額外的機制來保證資料庫緩存的同步，例如專利《分布式系統中緩存數據的同步配置方法與裝置》(專利申請號200810127364.0)提出在資料庫內容發生變化時，觸發資料庫的觸發器，通過觸發器將資料庫緩存中的數據和資料庫進行同步，例如可以每隔一段時間去監視資料庫表是否發生變化，如果有變化則更新同步資料庫緩存。但是這類方法都需要消耗相當大的性能，特別是資料庫中每張表有很多記錄項，如果某個記錄項中的數據發生改變，則所有伺服器上的資料庫緩存都必須做相應的改變，這樣很難保證同步的及時性。
發明內容本發明的目的是提供一種資料庫緩存集中管理方法和系統，避免對資料庫同步時需要對資料庫緩存進行同步的問題，節省系統資源。為實現上述目的，本發明提供了一種資料庫緩存集中管理方法，所述方法包括步驟Sl，資料庫伺服器發送資料庫操作信息給資料庫緩存伺服器；步驟S2，資料庫緩存伺服器根據所述資料庫操作信息對資料庫緩存進行相應操作，並返回操作結果給資料庫伺服器；步驟S3，資料庫伺服器根據操作結果對資料庫進行相應操作。為了實現上述目的，本發明還提供了一種資料庫緩存集中管理系統，所述系統包括一個或多個資料庫伺服器和一個資料庫緩存伺服器；所述資料庫伺服器用於發送資料庫操作信息給資料庫緩存伺服器，並根據資料庫緩存伺服器返回的操作結果對資料庫進行相應操作所述資料庫緩存伺服器與一個或多個資料庫伺服器連接，用於緩存資料庫中的部分資料庫表項，用於根據所述資料庫操作信息對資料庫緩存進行相應操作，並返回操作結果給資料庫伺服器。本發明通過對資料庫緩存進行集中管理，對多臺資料庫伺服器部署一臺統一的資料庫緩存伺服器，不需要在每臺資料庫伺服器上都維持一份資料庫緩存，在對資料庫進行操作前先對資料庫緩存進行相應操作，避免了對資料庫同步時再對多個資料庫緩存進行同步的問題，節約了系統資源。圖1為集群部署下的伺服器和資料庫關係示意圖圖2為資料庫緩存在伺服器中位置示意圖圖3為本發明一種資料庫緩存集中管理方法實施例一示意圖圖4為本發明一種資料庫緩存集中管理方法實施例二示意圖圖5為本發明一種資料庫緩存集中管理系統實施例示意圖圖6為本發明一種資料庫緩存集中管理系統部署拓撲示意圖具體實施例方式本發明的目的是提供一種資料庫緩存集中管理方法和系統，避免對資料庫同步時需要對資料庫緩存進行同步的問題，節省系統資源。下面結合附圖對本發明進行說明，本發明提供了一種資料庫緩存集中管理方法，圖3給出了本發明一種資料庫緩存集中管理方法實施例一示意圖，所述方法包括步驟Sl，資料庫伺服器發送資料庫操作信息給資料庫緩存伺服器；所述資料庫伺服器上包括資料庫，所述緩存伺服器用於緩存資料庫中的部分表項，與一臺或多臺資料庫伺服器連接。所述資料庫操作信息可以包括資料庫表名、資料庫表項主鍵、資料庫操作碼和資料庫表項。步驟S2，資料庫緩存伺服器根據所述資料庫操作信息對資料庫緩存進行相應操作，並返回操作結果給資料庫伺服器；步驟S3，資料庫伺服器根據操作結果對資料庫進行相應操作。本發明通過對資料庫緩存進行集中管理，對多臺資料庫伺服器部署一臺統一的資料庫緩存伺服器，不需要在每臺資料庫伺服器上都維持一份資料庫緩存，在對資料庫進行操作前先對資料庫緩存進行相應操作，避免了對資料庫同步時再對多個資料庫緩存進行同步的問題，節約了系統資源。在進行添加操作時，所述資料庫操作碼為添加操作碼；所述步驟S2具體可以為資料庫緩存伺服器根據資料庫表名和資料庫表項主鍵將資料庫表項添加到資料庫緩存中，並返回添加成功的響應給資料庫伺服器；所述步驟S3具體可以為資料庫伺服器收到添加成功的響應後，在資料庫中進行添加操作。例如在進行添加操作時，資料庫伺服器可以按照如下格式發送TCP報文給資料庫緩存伺服器資料庫表名資料庫表項主鍵資料庫操作碼資料庫表項(添加操作碼)資料庫表項主鍵是資料庫中唯一標識資料庫表項的值，可以為資料庫表項的通用唯一識別碼(UniversallyUniqueIdentifier,簡稱UUID)。資料庫緩存伺服器收到消息後，按如上格式解析出資料庫表名和資料庫主鍵，組成資料庫緩存中的關鍵字(key)值，將這條資料庫表項加入到資料庫緩存的哈希(Hash)表中，並發送一個添加成功的響應給資料庫伺服器。資料庫伺服器收到添加成功的響應後將資料庫表項添加到資料庫中。在進行查詢操作時，所述資料庫操作碼為查詢操作碼，所述資料庫表項為空；所述步驟S2具體可以為資料庫緩存伺服器根據資料庫表名和資料庫表項主鍵6在資料庫緩存中查詢是否存在對應的資料庫表項，如果查詢到則返回查詢結果給資料庫伺服器，否則發送查詢失敗的響應給資料庫伺服器；所述步驟S3具體可以為資料庫伺服器在收到查詢結果後，直接返回查詢結果；在收到查詢失敗的響應後，在資料庫伺服器上進行查詢，並將查詢到的資料庫表項添加到資料庫緩存中。例如在進行查詢操作時，資料庫伺服器可以按照如下格式發送TCP報文給資料庫緩存伺服器資料庫表名資料庫表項主鍵資料庫操作碼資料庫表項(查詢操作碼)(為空)資料庫緩存伺服器收到消息後，按如上格式解析出資料庫表名和資料庫主鍵，組成key值，查詢資料庫緩存中的Hash表中，如果查詢到則將查詢結果發送給資料庫伺服器，否則發送一個查詢失敗的響應給資料庫伺服器。資料庫伺服器在收到查詢結果後，直接返回查詢結果；在收到查詢失敗的響應後，在資料庫伺服器上進行查詢，並按照上面的格式將查詢到的資料庫表項添加到資料庫緩存中。在進行刪除操作時，所述資料庫操作碼為刪除操作碼，所述資料庫表項為空；所述步驟S2具體可以為資料庫緩存伺服器根據資料庫表名和資料庫表項主鍵在資料庫緩存中進行刪除操作，並返回刪除成功的響應給資料庫伺服器；所述步驟S3具體可以為資料庫伺服器收到刪除成功的響應後，在資料庫中進行刪除操作。例如在進行刪除操作時，資料庫伺服器可以按照如下格式發送TCP報文給資料庫緩存伺服器資料庫表名資料庫表項主鍵資料庫操作碼資料庫表項(刪除操作碼)(為空)資料庫緩存伺服器收到消息後，按如上格式解析出資料庫表名和資料庫主鍵，組成key值，查詢資料庫緩存的Hash表，如果查詢到則從Hash表中刪除掉該表項，否則不進行任何操作，並發送一個刪除成功的響應給資料庫伺服器。資料庫伺服器收到刪除成功的響應後從資料庫中刪除相應表項。在進行修改操作時，所述資料庫操作碼為修改操作碼；所述步驟S2具體為資料庫緩存伺服器根據資料庫表名和資料庫表項主鍵在資料庫緩存中查詢是否存在對應的資料庫表項，如果查詢到則修改對應的資料庫表項，並發送修改成功的響應給資料庫伺服器，否則發送修改失敗的響應給資料庫伺服器；所述步驟S3具體為資料庫伺服器在收到修改成功的響應後，在資料庫中進行修改操作；在收到修改失敗的響應後，在資料庫伺服器上進行修改操作，並將修改的資料庫表項添加到資料庫緩存中。例如在進行修改操作時，資料庫伺服器可以按照如下格式發送TCP報文給資料庫7tableseeoriginaldocumentpage8資料庫緩存伺服器收到消息後，按如上格式解析出資料庫表名和資料庫主鍵，組成key值，查詢資料庫緩存中的Hash表中，如果查詢到則將資料庫緩存的Hash表中的資料庫表項更新為資料庫操作信息中的資料庫表項，並發送修改成功的響應給資料庫伺服器，否則發送一個修改失敗的響應給資料庫伺服器。資料庫伺服器在收到修改成功的響應後，在資料庫中進行修改操作；在收到修改失敗的響應後，在資料庫伺服器上進行修改操作，並將修改的資料庫表項添加到資料庫緩存中。圖4給出了本發明一種資料庫緩存集中管理方法實施例二示意圖，本實施例除了包括方法實施例一的步驟外，在所述步驟SI之前還包括步驟S4:資料庫伺服器判斷與資料庫緩存伺服器連接是否正常，如果是則執行步驟Sl，否則直接對資料庫進行操作。資料庫緩存伺服器和資料庫伺服器之間通常使用TCP連接，如果連接出現中斷，資料庫緩存伺服器會檢測到，此時通常它會把所有的緩存都清空掉。當連接恢復時再繼續對資料庫伺服器中的數據進行緩存。在常見的部署中，資料庫緩存伺服器和資料庫伺服器是通過交換機直接連接的，很少出現網絡連接中斷的問題。如果出現連接中斷，一般是由於資料庫緩存伺服器出現故障或者斷電引起的，在重啟資料庫緩存伺服器或更換新機器後，緩存將被清空，正常工作後對資料庫伺服器中的數據進行緩存。本發明還提供了一種資料庫緩存集中管理系統，圖5給出了本發明一種資料庫緩存集中管理系統實施例示意圖，所述系統包括一個或多個資料庫伺服器和一個資料庫緩存伺服器；所述資料庫伺服器用於發送資料庫操作信息給資料庫緩存伺服器，並根據資料庫緩存伺服器返回的操作結果對資料庫進行相應操作所述資料庫操作信息可以包括資料庫表名、資料庫表項主鍵、資料庫操作碼和資料庫表項。所述資料庫緩存伺服器與一個或多個資料庫伺服器連接，用於緩存資料庫中的部分資料庫表項，用於根據所述資料庫操作信息對資料庫緩存進行相應操作，並返回操作結果給資料庫伺服器。所述資料庫伺服器還可以用於在發送資料庫操作信息給資料庫緩存伺服器之前判斷與資料庫緩存伺服器連接是否正常，如果是發送資料庫操作信息給資料庫緩存伺服器，否則直接對資料庫進行操作。在進行添加操作時，所述資料庫操作碼為添加操作碼；資料庫緩存伺服器可以用於根據資料庫表名和資料庫表項主鍵將資料庫表項添加到資料庫緩存中，並返回添加成功的響應給資料庫伺服器；資料庫伺服器可以用於收到添加成功的響應後，在資料庫中進行添加操作。在進行查詢操作時，所述資料庫操作碼為查詢操作碼，所述資料庫表項為空；資料庫緩存伺服器可以用於根據資料庫表名和資料庫表項主鍵在資料庫緩存中查詢是否存在對應的資料庫表項，如果查詢到則返回查詢結果給資料庫伺服器，否則發送查詢失敗的響應給資料庫伺服器；資料庫伺服器可以用於在收到查詢結果後，直接返回查詢結果；在收到查詢失敗的響應後，在資料庫伺服器上進行查詢，並將查詢到的資料庫表項添加到資料庫緩存中。在進行刪除操作時，所述資料庫操作碼為刪除操作碼，所述資料庫表項為空；資料庫緩存伺服器可以用於根據資料庫表名和資料庫表項主鍵在資料庫緩存中進行刪除操作，並返回刪除成功的響應給資料庫伺服器；資料庫伺服器可以用於收到刪除成功的響應後，在資料庫中進行刪除操作。在進行修改操作時，所述資料庫操作碼為修改操作碼；資料庫緩存伺服器可以用於根據資料庫表名和資料庫表項主鍵在資料庫緩存中查詢是否存在對應的資料庫表項，如果查詢到則修改對應的資料庫表項，並發送修改成功的響應給資料庫伺服器，否則發送修改失敗的響應給資料庫伺服器；資料庫伺服器可以用於在收到修改成功的響應後，在資料庫中進行修改操作；在收到修改失敗的響應後，在資料庫伺服器上進行修改操作，並將修改的資料庫表項添加到資料庫緩存中。圖6給出了本發明一種資料庫緩存集中管理系統部署拓撲示意圖，本拓撲有如下特徵1.部署了網絡負載均衡集群，即多臺資料庫伺服器；2.每臺資料庫伺服器上都部署有資料庫；3.部署1臺資料庫緩存伺服器；4.資料庫伺服器與資料庫緩存伺服器直接連接；5.資料庫之間通過資料庫複製技術保持資料庫一致本發明通過對資料庫緩存進行集中管理，對多臺資料庫伺服器部署一臺統一的資料庫緩存伺服器，不需要在每臺資料庫伺服器上都維持一份資料庫緩存，在對資料庫進行操作前先對資料庫緩存進行相應操作，避免了對資料庫同步時再對多個資料庫緩存進行同步的問題，節約了系統資源。同時，將緩存由資料庫緩存伺服器集中管理，例如可以保存在一張巨大的Hash表中，提高了查詢資料庫緩存的性能。資料庫緩存的統一管理，也減少了不必要的緩存冗餘，為每臺伺服器大大節約了寶貴的內存資源。最後應說明的是以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。權利要求一種資料庫緩存集中管理方法，其特徵在於，所述方法包括步驟S1，資料庫伺服器發送資料庫操作信息給資料庫緩存伺服器；步驟S2，資料庫緩存伺服器根據所述資料庫操作信息對資料庫緩存進行相應操作，並返回操作結果給資料庫伺服器；步驟S3，資料庫伺服器根據操作結果對資料庫進行相應操作。2.根據權利要求1所述的方法，其特徵在於，所述資料庫操作信息包括資料庫表名、資料庫表項主鍵、資料庫操作碼和資料庫表項。3.根據權利要求2所述的方法，其特徵在於，所述資料庫操作碼為添加操作碼；所述步驟S2具體為資料庫緩存伺服器根據資料庫表名和資料庫表項主鍵將資料庫表項添加到資料庫緩存中，並返回添加成功的響應給資料庫伺服器；所述步驟S3具體為資料庫伺服器收到添加成功的響應後，在資料庫中進行添加操作。4.根據權利要求2所述的方法，其特徵在於，所述資料庫操作碼為查詢操作碼，所述資料庫表項為空；所述步驟S2具體為資料庫緩存伺服器根據資料庫表名和資料庫表項主鍵在資料庫緩存中查詢是否存在對應的資料庫表項，如果查詢到則返回查詢結果給資料庫伺服器，否則發送查詢失敗的響應給資料庫伺服器；所述步驟S3具體為資料庫伺服器在收到查詢結果後，直接返回查詢結果；在收到查詢失敗的響應後，在資料庫伺服器上進行查詢，並將查詢到的資料庫表項添加到資料庫緩存中。5.根據權利要求2所述的方法，其特徵在於，所述資料庫操作碼為刪除操作碼，所述資料庫表項為空；所述步驟S2具體為資料庫緩存伺服器根據資料庫表名和資料庫表項主鍵在資料庫緩存中進行刪除操作，並返回刪除成功的響應給資料庫伺服器；所述步驟S3具體為資料庫伺服器收到刪除成功的響應後，在資料庫中進行刪除操作。6.根據權利要求2所述的方法，其特徵在於，所述資料庫操作碼為修改操作碼；所述步驟S2具體為資料庫緩存伺服器根據資料庫表名和資料庫表項主鍵在資料庫緩存中查詢是否存在對應的資料庫表項，如果查詢到則修改對應的資料庫表項，並發送修改成功的響應給資料庫伺服器，否則發送修改失敗的響應給資料庫伺服器；所述步驟S3具體為資料庫伺服器在收到修改成功的響應後，在資料庫中進行添加操作；在收到修改失敗的響應後，在資料庫伺服器上進行添加操作，並將修改的資料庫表項添加到資料庫緩存中。7.根據權利要求1-6所述的任一方法，其特徵在於，所述步驟Sl之前還包括步驟S4:資料庫伺服器判斷與資料庫緩存伺服器連接是否正常，如果是則執行步驟Sl，否則直接對資料庫進行操作。8.—種資料庫緩存集中管理系統，其特徵在於，所述系統包括一個或多個資料庫伺服器和一個資料庫緩存伺服器；所述資料庫伺服器用於發送資料庫操作信息給資料庫緩存伺服器，並根據資料庫緩存伺服器返回的操作結果對資料庫進行相應操作所述資料庫緩存伺服器與一個或多個資料庫伺服器連接，用於緩存資料庫中的部分資料庫表項，用於根據所述資料庫操作信息對資料庫緩存進行相應操作，並返回操作結果給資料庫伺服器。9.根據權利要求8所述的系統，其特徵在於，所述資料庫伺服器還用於在發送資料庫操作信息給資料庫緩存伺服器之前判斷與資料庫緩存伺服器連接是否正常，如果是發送資料庫操作信息給資料庫緩存伺服器，否則直接對資料庫進行操作。全文摘要本發明提供了一種資料庫緩存集中管理方法和系統。所述方法包括步驟S1，資料庫伺服器發送資料庫操作信息給資料庫緩存伺服器；步驟S2，資料庫緩存伺服器根據所述資料庫操作信息對資料庫緩存進行相應操作，並返回操作結果給資料庫伺服器；步驟S3，資料庫伺服器根據操作結果對資料庫進行相應操作。本發明通過對資料庫緩存進行集中管理，對多臺資料庫伺服器部署一臺統一的資料庫緩存伺服器，不需要在每臺資料庫伺服器上都維持一份資料庫緩存，在對資料庫進行操作前先對資料庫緩存進行相應操作，避免了對資料庫同步時再對多個資料庫緩存進行同步的問題，節約了系統資源。文檔編號H04L29/08GK101706781SQ200910093368公開日2010年5月12日申請日期2009年9月29日優先權日2009年9月29日發明者毛琦申請人:北京星網銳捷網絡技術有限公司