消息類業務累計數據緩存方法及系統的製作方法

2023-10-28 17:17:17

專利名稱：消息類業務累計數據緩存方法及系統的製作方法
技術領域：
本發明涉及管理提供商增值業務的綜合業務管理平臺領域，特別是一種消 息類業務累計數據緩存方法及系統。
背景技術：
在傳統的消息類業務應用中，消息類數據產生後，直接存儲到資料庫中， 如果需要使用消息類數據，則直接從資料庫中查找。由於資料庫容量巨大，查 找費時，使得該方案中數據訪問速度較低，實時性不高。此外，傳統的消息類業務應用中，對消息類數據查找常用直接定址法的哈希算法。直接定址法中哈希函數為關鍵字的線性函數H(key) = key或者H(key) =akey + b,對於超出地址範圍的哈希函數值，另建立一個數據鏈，再次分配地 址。通常，使用哈希函數計算地址都會產生哈希地址衝突，在傳統的消息類業 務中，當出現哈希衝突時，依照空閒地址的順序依次存儲。該方法的缺點在於， 數據存儲較為雜亂，，容易產生空閒地址，造成空間浪費，在對數據鏈中存儲的 數據進行訪問時，訪問速度較慢，從而影響整個數據訪問的速度。發明內容有鑑於此，本發明的主要目的在於提供一種消息類業務累計數據緩存方法， 對系統性能影響更小，並能有效的解決哈希沖突。本發明的另一目的在於提供一種消息類業務累計數據緩存系統，效率高、 實時性好。為達到上述目的，本發明的技術方案是這樣實現的 一種消息類業務累計數據緩存方法，該方法包括在綜合業務管理平臺和3G引擎之間建立二級緩存機制，採用除留餘數法計算消息類業務累計數據存儲地址，將消息類業務累計數據存儲在緩沖區。所述消息類業務累計數據存儲地址的計算過程具體包括 將用戶號碼、產品代碼中唯一標識產品的字符碼組成中間串； 對所述中間串加密，得到累計悽史據標識；將累計數據標識各字符的ASCII碼相加結果作為哈希函數自變量； 將所述哈希函數自變量代入除留餘數法構建的哈希函數，所得哈希函數值 為消息類業務累計數據的緩存存儲地址。所述存儲地址計算還包括採用開放定址法解決緩存區存儲地址沖突 衝突的存儲地址的新地址Hi = (H(key) + di) % m;其中，H(key)為沖突的存儲地址,i= 1,2，…，k, (k<=m-l)， m為哈希表長; di的選取採用線性探查再散列的方法，即di-l，2,3,.,.,m-l，直到解決存儲 地址衝突為止。所述二級緩存機制包括 設置緩存更新周期和歷史訪問頻率閾值；緩存更新周期到達，搜索資料庫中在此次緩存更新周期內的產生的消息類 業務累計數據；若消息類業務累計數據的歷史訪問頻率高於歷史訪問頻率閾值，則將該消 息類業務累計數據更新到一級緩存，否則，更新到二級緩存。該方法還包括對用戶請求的消息類業務，根據消息類業務累計數據進行 批價。所述根據消息類業務累計數據進行批價的過程包括 3G引擎向綜合業務管理平臺發送批價請求消息，該消息包含用戶號碼、產 品代碼；綜合業務管理平臺收到批價請求消息，根據該用戶的歷史使用情況進行批價，並將用戶號碼、產品代碼存入一級緩存，向3G引擎返回批價請求響應消 自、'3G引擎向綜合業務管理平臺發送批價確認消息；綜合業務管理平臺根據批價確認消息，在一級緩存中獲取用戶號碼和產品 代碼，計算累計數據標識，根據累計數據標識依次在一級緩存、二級緩存中尋 找消息類業務累計數據，如果找到，根據消息類業務累計數據對該業務重新批價、更新消息類業務累計數據，並將更新後的消息類業務累計數據存入資料庫； 否則，將該消息類業務累計數據各項歸零；綜合業務管理平臺向3G引擎返回批價確認響應消息。所述原始累計數據是線性結構，包括累計數據標識、本月累計資源、本月 累計消費費用。所述原始累計數據還包括本月包量累計資源和本月保底累計使用費用。 一種消息類業務累計數據緩存系統，該系統包括3G引擎、綜合業務管理平臺、緩存區、數據處理模塊和資料庫，3G引擎、綜合業務管理平臺、緩存區、數據處理模塊和資料庫依次連接3G引擎，用於根據用戶選擇業務向綜合業務管理平臺發送批價請求、批價確iU肖息；綜合業務管理平臺，用於對服務提供商或者內容提供商的產品進行管理， 所述管理包括但不限於鑑權、批價；響應3G引擎發送的批價請求、批價確認 消息，並根據批價確認消息從緩存區中檢索累計數據標識；緩存區，包括一級緩存、二級緩存，分別用於存儲訪問頻率高於歷史訪問 頻率闊值的消息類業務累計數據、訪問頻率低於歷史訪問頻率閾值的消息類業 務累計數據；數據處理模塊用於將資料庫中原始累計數據按業務過濾，並將過濾後的消 息類業務累計數據存入緩沖區； 資料庫用於存儲原始累計數據。所述數據處理模塊包括數據過濾模塊和數據監控模塊，數據過濾模塊將原始累計數據中的消息類業務累計數據過濾出來，並將消 息類業務累計數據的歷史訪問頻率與歷史訪問頻率閾值比較結果，發送給數據 監控模塊；數據監控模塊採用哈希算法，將訪問頻率高於歷史訪問頻率閾值的消息類 業務累計數據移入一級緩存，訪問頻率低於歷史訪問頻率閾值的消息類業務累 計數據移入二級緩存。本發明以用戶對數據的歷史訪問頻率為依據，設置兩級緩存，定時將消息 類業務累計數據分割，並分別移入一級緩存和二級緩存。本發明對累計數據標 識採用了獨有的結構，即將用戶號碼與部分產品代碼經過加密算法處理，形成 累計數據標識，使用更高效的除留餘數法存取消息類業務累計數據，並使用對 系統性能影響最小的開放定址法有效解決哈希衝突。


圖1為本發明應用系統結構示意圖；圖2為本發明消息類業務累計數據存儲流程圖；圖3為本發明的批價流程示意圖。
具體實施方式
本發明將多級緩存技術應用於使用日益頻繁的SP增值業務管理平臺的消 息類業務中。在綜合業務管理平臺和3G引擎之間建立數據二級緩存機制，並 釆用除留餘數法解決哈希地址衝突，以提高消息類業務在批價確認的處理中再 次批價的準確率。下面結合具體實施例對本發明的技術方案進一步說明。本發明僅限於常見的對單個產品批價、單方計費的情況，不適用於對套餐 中的產品批價、多方共同計費的情況；主要針對3G消息類增值業務的商業運 作而設計，既支持下行計費(如用戶點播天氣預報，SP下發指定消息後收費) 的情形，也支持上行計費(如用戶參與選秀節目，發送成功即收費)的情形。本發明應用系統結構如圖1所示，該系統包括3G引擎、綜合業務管理平 臺、緩存區、數據處理模塊和資料庫，3G引擎、綜合業務管理平臺、緩存區、 數據處理模塊和資料庫依次連接3G引擎主要是指綜合業務接入網關(ISAG， Integrated Service Access GateWay),是批價確認消息的請求發起方，當用戶選擇業務，費用發生變化時， 3G引擎向綜合業務管理平臺發起批價請求、批價確認消息；綜合業務管理平臺是指集成了各種3G增值業務(如簡訊、彩信、wap、流 媒體等)於一體的管理平臺，主要負責鑑權和批價，還用於響應3G引擎發送 的批價請求、批價確認消息，並根據批價確認消息從緩存區中檢索累計數據標 識。鑑權是指保證綜合業務管理平臺內各個實體的存在性和有效性；批價即計 算價格，以便出帳單或交由實時扣費系統對指定用戶扣費。綜合業務管理平臺 包括批價模塊、計費模塊等多個功能模塊，批價模塊用於計算價格，是綜合業 務管理平臺的核心和關鍵，直接關係到運營商的商業利潤；計費模塊用於根據 歷史使用情況計算用戶費用，並提交扣費系統對用戶扣費。緩存區包括了 一級緩存和二級緩存兩部分，分別用於存儲訪問頻率高於歷 史訪問頻率閾值的消息類業務累計數據、訪問頻率低於歷史訪問頻率閾值的消 息類業務累計數據。資料庫是原始累計數據的磁碟存儲區；資料庫通過數據處理模塊與緩存區 連接，數據處理模塊用於將資料庫中原始累計數據按業務過濾，並將過濾後的 消息類業務累計數據存入緩衝區，包括數據過濾模塊和數據監控模塊。數據過 濾模塊將原始累計數據中的消息類業務累計數據過濾出來，並將消息類業務累 計數據的歷史訪問頻率與歷史訪問頻率閾值比較結果，發送給數據監控模塊； 數據監控模塊採用哈希算法，將訪問頻率高於歷史訪問頻率閾值的消息類業務 累計數據移入一級緩存，訪問頻率低於歷史訪問頻率閾值的消息類業務累計數 據移入二級緩存。在消息類業務中，消息類業務累計數據是每個用戶所選業務、使用量和費 用的重要記錄。消息類業務累計數據在註冊用戶首次使用時，由系統根據用戶 信息生成，各項累計均為0，並此後逐漸統計用戶對各項業務的使用情況。累 計數據主要有兩個作用1)方便實時統計用戶基於SP、業務、產品的月消費 額和消費總額；2)作為重要的輸入參數送給計費模塊完成各種複雜的批價，尤其應用於計量分檔、累計折扣等費用模式中。原始累計數據是線性結構，主要包括累計數據標識、本月累計資源、本月 累計消費費用、本月包量累計資源、本月保底累計使用費用。累計數據標識是一個32位字符串，用於校驗用戶及產品信息的真實性，防 止黑客利用木馬程序任意竊取指定的累計數據；本月累計資源是指用戶對產品的累計使用次數，不涉及wap、流媒體等內容類業務的細節；本月累計消費費 用是指用戶本月實際的開銷；本月包量累計資源用於用戶對包量產品的量內使 用次數累計；本月保底累計使用費用是指用戶對保底產品在保底範圍內的虛擬 使用費用累計，在保底範圍內用戶對產品的累計消費費用始終為零。原始的累計數據是存儲在資料庫中的，涉及到12張數據結構完全一致的 表，分別存儲12個月份的累計數據，但是每個月份的累計數據是不分簡訊、彩 信、wap還是流媒體業務的。對用戶的費用統計時，需要按照不同的業務類型 分別計費，通過數據過濾，將原始累計數據按照簡訊、彩信等業務類型劃分， 劃分後的消息類業務累計數據在分別存入緩衝區，以備計費使用。原始累計數據在資料庫中隨時更新，而對於緩存區中的消息類業務累計數 據，通過設置緩存更新周期，周期性更新緩存區消息類業務累計數據；設置歷 史訪問頻率閾值，以劃分消息類業務累計數據是存入一級緩存還是二級緩存； 還需設置當月累計數據浮動時間，用於確定哈希表的長度。每個緩存更新周期 內可能會產生多條原始累計數據，緩存更新周期到達時，根據業務類型，過濾 出原始累計數據中的消息類業務累計數據，對每條消息類業務累計數據處理的 具體步驟是步驟2a、提取累計數據標識；根據歷史訪問頻率與歷史訪問頻率閾值比較，高於閾值的單條消息類業務 累計數據移入一級緩存，否則，存入二級緩存。單條消息類業務累計數據涉及 用戶號碼和產品代碼。產品代碼為21位，其中右邊IO位是流水碼，可以唯一 確定一個產品。基於此，將用戶號碼與產品IO位流水碼聯結成一個中間串，然 後調用MD5算法對該中間串加密。例如，中間串為137000000300000000078，那麼加密後的字符串就是d5c309a5bd038da0f7c4beb20b353540，所生成的32 位加密字符串稱為累計悽t據標識。步驟2b、採用除留餘數法構造哈希函數，將消息類業務累計數據存入緩存區；步驟2bl、將消息類業務累計數據標識各個字符的ASCII碼相加，得到一 個數字和Suml，作為哈希函數的自變量；步驟2b2 、根據當月累計數據的總量以及當月累計數據浮動時間段內的增 減頻率，估算出在緩存中需要建立的哈希表的長度p, —般的，哈希表的長度 以當月累計數據總量的1.5倍為宜；步驟2b3、根據哈希函數的自變量使用除留餘數法計算函數值，即H (Suml ) =Suml %q(q<p), —般取q為質數較好，q越接近p,產生哈希沖突 的機率越小，得到的H (Suml )即為哈希函數值，也是累計數據的緩存存儲地 址。依照計算得到的緩存存儲地址將消息類業務累計數據存入緩存區。步驟2c、使用開放定址法解決哈希衝突。在調用哈希函數計算存儲地址，將消息類業務累計數據移入緩存區的過程 中，不可避免地存在哈希衝突，即地址衝突。這裡，採用開放定址法解決哈希沖突，即Hi = ( H(key) + di) % m， i= 1，2,......,k(k<=m-l),其中di為增量，H(key)為哈希函數，m為哈希表長。這裡對di的選取採用線性探查再散列的方法，即&=1， 2, 3， ......， m-l,直到解決哈希衝突為止，將地址沖突的單條消息類業務累計數據的存儲地址按上述計算生成新的地址，並按照新地址將 該消息類業務累計數據存入緩衝區。重複步驟2a至2c，直到將一個緩存周期內新增消息類業務累計數據全部 處理完畢。在業務層面，3G引擎與綜合業務管理平臺通訊，對用戶的請求的消息類業務，根據消息類業務累計數據進行批價的流程如圖3所示步驟3a、 3G引擎向綜合業務管理平臺發送批價請求消息，該消息包含用戶號碼、產品代碼、消息標識(msgid，唯一標識一條消息，它的格式為MMDDHHMMSSXXXXXXXXXX ， MMDDHHMMSS代表當前時間， XXXXXXXXXX代表遞增的序列號)；步驟3b、綜合業務管理平臺收到批價請求消息，根據用戶的歷史使用情況 對產品批價，例如，用戶享有折扣、本次服務是否在折扣範圍內等等；然後以 批價請求消息的消息標識為索引，把用戶號碼和產品代碼存儲到一級緩存中， 並響應3G引擎批價請求消息，批價請求響應消息包含批價請求結果、計費情 況等，其中，批價請求結果為0表示批價成功，否則按照各種批價失敗情況返 回對應的結果碼。步驟3c、根據批價確認消息，獲取消息類業務累計數據並重新批價； 3G引擎向綜合業務管理平臺發送批價確認消息，該消息包含3G引擎批價 請求響應消息的接收情況，消息標識；綜合業務管理平臺以批價確認消息的 msgid為索引，到一級緩存中獲取用戶號碼和產品代碼，獲取過程與緩存區數 據更新過程類似，即對用戶號碼+產品10位流水碼串進行MD5加密得到累計 數據標識，以累計數據標識為索引，到一級緩存獲取消息類業務累計數據；如 果獲取失敗，依然以累計數據標識為索引，到二級緩存獲取消息類業務累計數 據；如果再次獲取失敗，表明該消息類業務累計數據為初次使用，則將該消息 類業務累計數據各項全部設置為零，作為本次獲取的結果。綜合管理平臺將獲取的消息類業務累計數據、費率(例如50分/條)、折扣 (例如累計10條折扣90%)作為輸入參數傳給批價模塊，批價模塊重新批價， 並將重新批價後的新消息類業務累計數據存入資料庫中，該存儲消息包含用戶 號碼、產品代碼、存儲時間等信息。緩存更新周期到達後，根據各新消息類業 務累計數據的歷史訪問頻率，將累計數據更新到緩存區中。步驟3d、綜合業務管理平臺響應3G引擎的批價確認消息。 以上批價請求消息、批價請求響應消息、批價確認消息、批價確認響應消 息是完成一次業務處理過程，實際中，3G引擎可能會連續發出多個批價請求消 息，然而由於通信網絡實際情況複雜，綜合業務管理平臺接收的消息可能會產 生交錯，用戶的費用會隨時發生變化，通過在每次業務操作的批價確認環節重新批價，以保證數據的一致性。此外，也可以採用如RIPEMD160、 SHA1、 SHA256、 SHA384、 SHA512等加密算法對用戶號碼和產品代碼進行處理得到 其他形式的累計數據標識，在查找消息類業務累計數據時，採用同樣的加密處 理過程得到累計數據標識即可。以上所述，僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍。
權利要求
1、一種消息類業務累計數據緩存方法，其特徵在於，該方法包括在綜合業務管理平臺和3G引擎之間建立二級緩存機制，採用除留餘數法計算消息類業務累計數據存儲地址，將消息類業務累計數據存儲在緩衝區。
2. 根據權利要求1所述的消息類業務累計數據緩存方法，其特徵在於，所 述消息類業務累計數據存儲地址的計算過程具體包括將用戶號碼、產品代碼中唯一標識產品的字符碼組成中間串； 對所述中間串加密，得到累計悽丈據標識；將累計數據標識各字符的ASCII碼相加結果作為哈希函數自變量； 將所述哈希函數自變量代入除留餘數法構建的哈希函數，所得哈希函數值 為消息類業務累計數據的緩存存儲地址。
3. 根據權利要求2所述的消息類業務累計數據緩存方法，其特徵在於，所 述存儲地址計算還包括採用開放定址法解決緩存區存儲地址沖突衝突的存儲地址的新地址Hi = ( H(key) + di) % m;其中，H(key)為衝突的存儲地址，i= 1,2,…,k， (k<=m-l)， m為哈希表長; di的選取採用線性探查再散列的方法，即di= 1,2,3,...,m-l,直到解決存儲 地址衝突為止。
4. 根據權利要求1至3任一所述的消息類業務累計數據緩存方法，其特徵 在於，所述二級緩存機制包括設置緩存更新周期和歷史訪問頻率閾值；緩存更新周期到達，搜索資料庫中在此次緩存更新周期內的產生的消息類 業務累計數據；若消息類業務累計悽t據的歷史訪問頻率高於歷史訪問頻率閾值，則將該消 息類業務累計數據更新到一級緩存，否則，更新到二級緩存。
5. 根據權利要求1所述的消息類業務累計數據緩存方法，其特徵在於，該 方法還包括對用戶請求的消息類業務，根據消息類業務累計數據進行批價。
6、 根據權利要求5所述的消息類業務累計數據緩存方法，其特徵在於，所述根據消息類業務累計數據進行批價的過程包括3G引擎向綜合業務管理平臺發送批價請求消息，該消息包含用戶號碼、產 品代碼；綜合業務管理平臺收到批價請求消息，根據該用戶的歷史使用情況進行批價，並將用戶號碼、產品代碼存入一級緩存，向3G引擎返回批價請求響應消 自 3G引擎向綜合業務管理平臺發送批價確認消息；綜合業務管理平臺根據批價確認消息，在一級緩存中獲取用戶號碼和產品 代碼，計算累計數據標識，根據累計數據標識依次在一級緩存、二級緩存中尋 找消息類業務累計數據，如果找到，根據消息類業務累計數據對該業務重新批 價、更新消息類業務累計數據，並將更新後的消息類業務累計數據存入資料庫； 否則，將該消息類業務累計數據各項歸零；綜合業務管理平臺向3G引擎返回批價確認響應消息。
7、 根據權利要求6所述的消息類業務累計數據緩存方法，其特徵在於，所 述原始累計數據是線性結構，包括累計數據標識、本月累計資源、本月累計消 費費用。
8、 根據權利要求7所述的消息類業務累計數據緩存方法，其特徵在於，所 述原始累計數據還包括本月包量累計資源和本月保底累計使用費用。
9、 一種消息類業務累計數據緩存系統，其特徵在於，該系統包括3G引擎、 綜合業務管理平臺、緩存區、數據處理模塊和資料庫，3G引擎、綜合業務管理 平臺、緩存區、數據處理模塊和資料庫依次連接3G引擎，用於根據用戶選擇業務向綜合業務管理平臺發送批價請求、批價 確i人消息；綜合業務管理平臺，用於對服務提供商或者內容提供商的產品進行管理， 所述管理包括但不限於鑑權、批價；響應3G引擎發送的批價請求、批價確認 消息，並根據批價確認消息從緩存區中檢索累計數據標識；緩存區，包括一級緩存、二級緩存，分別用於存儲訪問頻率高於歷史訪問 頻率閾值的消息類業務累計數據、訪問頻率低於歷史訪問頻率閾值的消息類業務累計數據；數據處理模塊用於將資料庫中原始累計數據按業務過濾，並將過濾後的消息類業務累計數據存入緩衝區； 資料庫用於存儲原始累計數據。
10、根據權利要求9所述的消息類業務累計數據緩存系統，其特徵在於， 所述數據處理模塊包括數據過濾模塊和數據監控模塊，數據過濾模塊將原始累計數據中的消息類業務累計數據過濾出來，並將消 息類業務累計數據的歷史訪問頻率與歷史訪問頻率闊值比較結果，發送給數據 監控模塊；數據監控模塊採用哈希算法，將訪問頻率高於歷史訪問頻率闊值的消息類 業務累計數據移入一級緩存，訪問頻率低於歷史訪問頻率閾值的消息類業務累 計數據移入二級緩存。
全文摘要
本發明公開了一種消息類業務累計數據緩存方法在綜合業務管理平臺和3G引擎之間建立二級緩存機制，採用除留餘數法計算消息類業務累計數據存儲地址，將消息類業務累計數據存儲在緩衝區。本發明還公開了相應系統，3G引擎，用於根據用戶選擇業務向綜合業務管理平臺發送批價請求、批價確認消息；綜合業務管理平臺，用於對服務提供商或者內容提供商的產品進行管理；緩衝區包括一級緩存、二級緩存，分別用於存儲訪問頻率高於、低於歷史訪問頻率閾值的消息類業務累計數據；數據處理模塊用於將資料庫中原始累計數據按業務過濾為消息類業務累計數據，並存入緩衝區；資料庫用於存儲原始累計數據。本發明能有效的解決哈希衝突，實時性好。
文檔編號G06F17/30GK101216855SQ20081005628
公開日2008年7月9日 申請日期2008年1月16日 優先權日2008年1月16日
發明者劉國梁 申請人:中興通訊股份有限公司