過濾式緩存方法及其裝置、緩存系統的製作方法

2023-05-01 19:58:21

專利名稱：過濾式緩存方法及其裝置、緩存系統的製作方法
技術領域：
本發明涉及網際網路數據緩存領域，尤其涉及一種過濾式緩存方法及其裝置、緩 存系統。
背景技術：
在網際網路應用領域中，數據緩存技術至關重要，尤其是頁面數據緩存技術，不 僅要保證緩存的簡易性，還要保證緩存的性能、可擴展性。網際網路緩存技術一般都是通 過反向代理方式來實現的。如圖1，在反向代理方式中，由代理伺服器來接受網際網路上 的連接請求，然後將請求轉發給WEB伺服器，並將從WEB伺服器上得到的結果返回給 網際網路上請求連接的客戶端，此時代理伺服器對網際網路提供服務，將WEB伺服器屏蔽。 反向代理伺服器如果發現本地有緩存的數據內容，並且未過期，就不再請求內部網絡的 WEB伺服器了，直接返回給用戶，節省了 WEB伺服器上代碼執行和生成頁面的時間， 因此可以看出反向代理方式存在以下兩個問題(1)如果增加代理伺服器來提高訪問效率，必然降低命中率，因為不同的代理服 務器緩存的數據在不同的WEB伺服器上，如果用戶的數據請求(如頁面數據請求)對於 每個WEB伺服器都為首次請求(也即每個WEB伺服器上都沒有該用戶所要請求的緩存 數據)，那麼對於該用戶每次的同一個數據請求，該請求每次被隨機分配不同的WEB服 務器，這時每次不同的代理伺服器都需要調用內部網絡的WEB伺服器，從而降低WEB 伺服器的命中率。(2)可緩存的數據量無法通過增加代理伺服器來擴展，因為任何一個數據請求都 可能訪問到任何一臺代理伺服器，增加可緩存的數據量就需要對每臺代理伺服器增加存 儲量，這樣就會大大提高了運營的成本，從而使其擴展性比較差。

發明內容
本發明的實施例旨在提供一種過濾式緩存方法及裝置，以解決現有技術緩存數 據命中率低和擴展性差的問題。為實現上述目的，本發明的實施例提供一種過濾式緩存方法，包括下述步驟Si:根據用戶請求，獲取用戶請求中的key;S2根據所述key，選擇與該用戶請求相應的緩存伺服器；
S3從所述選擇的緩存伺服器中查 詢該用戶請求的數據，將查找到的數據直接 返回給該用戶。根據本發明的一個實施例，所述過濾式緩存方法還包括S4若在所述選擇的緩存伺服器中查找不到該用戶請求的數據，則執行業務邏 輯從資料庫中查詢該用戶請求的數據；S5根據從資料庫中查找到的數據的key，將該查找到的數據緩存到所述選擇 的緩存伺服器中，並將該數據返回給用戶。
根據本發明的一個實施例，所述步驟Sl中所述key為用戶請求中的網頁地址。根據本發明的一個實施例，所述步驟S2具體為對所述key進行哈希編碼，將 生成的哈希碼模除緩存伺服器的數量，所獲得餘數為所述與該用戶請求相應的緩存服務 器的索引號。相應於本發明的過濾式緩存方法，本發明還提供一種過濾式緩存裝置，包括key獲取模塊，用於根據用戶請求，獲取用戶請求中的key;伺服器選擇模塊，用於根據所述key，選擇與該用戶請求相應的緩存伺服器；查詢模塊，用於從所述選擇的緩存伺服器中查詢該用戶請求的數據，將查找到 的數據直接返回給該用戶。根據本發明的一個實施例，所述過濾式緩存裝置還包括業務邏輯執行模塊，用於在所述選擇的緩存伺服器中查找不到該用戶請求的數 據時，從資料庫中查詢該用戶請求的數據；緩存模塊，用於根據從資料庫中查找到的數據的key，將該查找到的數據緩存到 所述選擇的緩存伺服器中，並將該數據返回給用戶。為了實現上述過濾式緩存方法，本發明還提供一種緩存系統，包括至少一個 WEB伺服器和至少一個緩存伺服器；其中每個WEB伺服器，直接接收用戶的請求，並根據該用戶請求從至少一個緩 存伺服器中選中一個緩存伺服器進行數據的緩存和查詢；其中每個緩存伺服器相應於用戶請求的key來緩存該用戶所請求的數據。根據本發明的一個實施例，所述緩存系統還包括資料庫，其中所述每個WEB服 務器根據用戶請求，從該資料庫中查找該用戶請求的數據，並將該數據緩存到所述選擇 的緩存伺服器中。由上述技術方案可知，本發明的實施例由於取消了代理伺服器，直接由WEB服 務器直接進行數據的緩存和查詢，通過針對用戶請求，選中一個緩存伺服器，直接在緩 存伺服器中進行查詢和緩存數據，能夠提高緩存命中率，並且由於緩存伺服器和WEB服 務器分離，可以通過增加緩存伺服器的數量來擴展緩存容量，提高了容量的擴展性，並 降低了運營成本。


圖1為反向代理方式的系統結構示意圖；圖2為本發明的一種實施例的緩存系統結構示意圖；圖3為本發明的過濾式查詢方法的流程圖；圖4為本發明的過濾式查詢方法的一種實施例的流程圖；圖5本發明的過濾式查詢裝置 的結構示意圖。
具體實施例方式下面將詳細描述本發明的具體實施例。應當注意，這裡描述的實施例只用於舉 例說明，並不用於限制本發明。
本發明的主要構思在於取消反向代理方式中的代理伺服器，直接將WEB伺服器面向用戶，通過在WEB伺服器中增加過濾功能，根據用戶的請求來選擇WEB伺服器後 端的緩存伺服器，從而避免了由於反向代理方式所帶來的命中率低和擴展性差的問題。 下面將結合附圖詳細說明本發明的技術方案。首先，參考圖2，顯示了本發明的過濾式緩存系統的結構圖，該系統包括至少一 個WEB伺服器和至少一個緩存伺服器，其中在WEB伺服器中設置有過濾器，該過濾器 用來根據用戶的請求在所述至少一個緩存伺服器進行選擇，這樣可以針對用戶請求只需 要選擇其相應的緩存伺服器就可實現數據的緩存或對緩存數據的查詢過程。結合圖2所示的過濾式緩存系統的結構，並參考圖3，詳細介紹本發明的過濾式 緩存方法，該方法包括以下步驟Sl 根據用戶請求，選擇用戶請求中的key ；S2根據所述key，選擇與該用戶請求相應的緩存伺服器；S3從所述選擇的緩存伺服器中查詢該用戶請求的數據，將查找到的數據直接 返回給該用戶。根據本發明的一個實施例，其中在步驟Sl中，至少一個WEB伺服器中的一個 WEB伺服器接收到用戶的連接請求，比如說請求獲取某個頁面內容，這時，可以將連接 請求中的頁面地址(如資源定位符URL)作為key ；根據本發明的一個實施例，其中在步驟S2中，可以對所述key作哈希編碼，然 後將所述key的hash code(哈希碼)模除所有緩存伺服器的數量，所得到的餘數即為針對 某用戶請求選中的緩存伺服器的索引，從而可以根據該索引選擇與該用戶請求相應的緩 存伺服器，針對性的根據用戶請求進行緩存服務，從而提高了緩存的命中率。根據本發明的一個實施例，其中在步驟S3中，在所獲取到的緩存伺服器中查詢 用戶請求的數據時，可以根據key來進行查詢，這是由於在緩存伺服器中緩存數據時，可 以以key作為索引號對數據進行緩存。在步驟S3中如果查找到用戶請求的數據，則表明 該用戶請求應不是首次請求，所請求的數據(比如說頁面內容)已經緩存在緩存伺服器中 了，可以直接查找到，在查到後，直接將查找到的數據返回給用戶。根據本發明的一個實施例，在緩存伺服器中查找不到用戶請求的數據時，例如 當該用戶為首次請求時，可以由WEB伺服器執行業務邏輯(主要是訪問數據的邏輯)， 從後臺的資料庫中查詢該用戶所要請求的數據(比如頁面內容)，然後將查找到的數據 (如頁面內容)中返回給用戶請求並存入該用戶請求選擇的緩存伺服器中，以便於對於後 續的同一請求訪問，能夠直接通過緩存伺服器訪問數據。這裡，根據本發明的一個實施例，可以根據查找到的數據的key，將該數據緩存 到選擇的緩存伺服器中，比如將查找到的網頁地址URL作為key，將該頁面內容作為key 對應的value緩存到選擇的緩存伺服器中；在緩存到選擇的緩存伺服器時，將該數據輸出 給用戶。參考圖4，本發明的過濾式緩存方法的一個具體實施例如下1、WEB Server接收用戶(訪問查詢)請求；2、WEB Server的過濾器攔截住請求，取出請求的URL，將URL作為key作hash code,模除緩存伺服器的數量，得出餘數，即是選中緩存伺服器的index;
3、過濾器將URL作為key，從選中的緩存伺服器中查詢，如果找到，直接返回 給用戶；4、第3步如果找不到，將執行業務邏輯，業務邏輯查詢資料庫，並且以URL作 為key，輸出頁面內容作為value，寫入到選中的緩存伺服器，並輸出給用戶。本發明的緩存技術，通過將key做hashcode，然後模除伺服器數量，得到的餘數 就是將要緩存伺服器的序號(0開始)，相同的key不會緩存到不同的兩臺伺服器)，所以 提高了可擴展性，如果數據增加，只需要增加緩存伺服器即可，而不需要如反向代理方 式中通過對每臺代理伺服器增加相同容量的硬體。同一 key的數據在不同次的訪問中都 會緩存在同一緩存伺服器中，所以緩存命中率也有所提高，下面舉例說明如果緩存的 有效時間是1小時，每小時用戶訪問量是1000，有100臺伺服器，如果使用反向代理， 命中率=(1000-100)/1000 = 90%,如果使用本緩存策略，緩存命中率=(1000-1)/1000 =99.9%,每個頁面每小時減少了 99次資料庫訪問，不僅降低了資料庫壓力，並且提高 了平均訪問效率。根據本發明的一個實施例，本發明的過濾式緩存方法可通過相應的過濾式緩存 裝置來實現，參照圖5，該過濾式緩存裝置包括key獲取模塊，用於根據用戶請求，獲取用戶請求中的key;伺服器選中模塊，用於根據所述key，獲取與該用戶請求相應的緩存伺服器；查詢模塊，用於從所述獲取到的緩存伺服器中查詢該用戶請求的數據，將查找 到的數據直接返回給該用戶。其中，所述裝置還包括業務邏輯執行模塊，用於在所述獲取到的緩存伺服器中查找不到該用戶請求的 數據時，執行業務邏輯從資料庫中查詢該用戶請求的數據；緩存模塊，用於根據從數據 庫中查找到的數據的key，將該查找到的數據緩存到 所述獲取到的緩存伺服器中，並將該數據返回給用戶。雖然已參照幾個典型實施例描述了本發明，但應當理解，所用的術語是說明和 示例性、而非限制性的術語。由於本發明能夠以多種形式具體實施而不脫離發明的精神 或實質，所以應當理解，上述實施例不限於任何前述的細節，而應在隨附權利要求所限 定的精神和範圍內廣泛地解釋，因此落入權利要求或其等效範圍內的全部變化和改型都 應為隨附權利要求所涵蓋。
權利要求
1.一種過濾式緩存方法，包括下述步驟 Si:根據用戶請求，獲取用戶請求中的key;S2根據所述key，選擇與該用戶請求相應的緩存伺服器；S3從所述選擇的緩存伺服器中查詢該用戶請求的數據，將查找到的數據直接返回 給該用戶。
2.根據權利要求1所述的方法，所述方法還包括S4 若在所述選擇的緩存伺服器中查找不到該用戶請求的數據，則從資料庫中查詢 該用戶請求的數據；S5根據從資料庫中查找到的數據的key，將該查找到的數據以及所述key緩存到所 述選擇的緩存伺服器中，並將該數據返回給用戶。
3.根據權利要求1所述的方法，所述步驟Sl中所述key為用戶請求中的網頁地址。
4.根據權利要求1所述的方法，所述步驟S2具體為對所述key進行哈希編碼，將 生成的哈希碼模除緩存伺服器的數量，所獲得餘數為所述與該用戶請求相應的緩存服務 器的索引號。
5.—種過濾式緩存裝置，包括key獲取模塊，用於根據用戶請求，獲取用戶請求中的key; 伺服器選擇模塊，用於根據所述key，選擇與該用戶請求相應的緩存伺服器； 查詢模塊，用於從所述選擇的緩存伺服器中查詢該用戶請求的數據，將查找到的數 據直接返回給該用戶。
6.根據權利要求5所述的裝置，所述裝置還包括業務邏輯執行模塊，用於在所述獲取到的緩存伺服器中查找不到該用戶請求的數據 時，從資料庫中查詢該用戶請求的數據；緩存模塊，用於根據從資料庫中查找到的數據的key，將該查找到的數據緩存到所述 選擇的緩存伺服器中，並將該數據返回給用戶。
7.—種緩存系統，包括至少一個WEB伺服器和至少一個緩存伺服器；其中每個WEB伺服器直接接收用戶請求，並根據該用戶請求從所述至少一個緩存服 務器中選擇一個緩存伺服器進行數據的緩存和查詢；其中每個緩存伺服器相應於用戶請求的key來緩存該用戶所請求的數據。
8.根據權利要求7所述的緩存系統，還包括資料庫，其中所述每個WEB伺服器根據 用戶請求，從該資料庫中查找該用戶請求的數據，並將該數據緩存到所述選擇的緩存服 務器中。
全文摘要
本發明公開了一種過濾式緩存方法及其裝置、緩存系統，其中過濾式緩存方法為根據用戶請求，獲取用戶請求中的key；S2根據所述key，選擇與該用戶請求相應的緩存伺服器；S3從所述選擇的緩存伺服器中查詢該用戶請求的數據，將查找到的數據直接返回給該用戶。本發明的過濾式緩存方法能夠提高緩存數據命中率，並提高了緩存的擴展性。
文檔編號G06F17/30GK102012931SQ201010569449
公開日2011年4月13日 申請日期2010年12月1日 優先權日2010年12月1日
發明者王紅寶 申請人:北京瑞信在線系統技術有限公司