海量數據大規模並行處理中基於數據流的負載均衡方法
2023-08-11 20:07:36
專利名稱：海量數據大規模並行處理中基於數據流的負載均衡方法
技術領域：
本發明涉及用於海量數據實時處理的基於數據流的負載均衡方法或一種負載均衡器，尤其是涉及電信運營商大規模並行準確數據處理應用方法。
背景技術：
隨著通信業務的不斷迅速發展，話務量急劇增加，目前的電信計費結算系統通常每個月需要處理十幾億甚至幾十億條記錄，在這種情況下，對數據處理的及時性要求越來越高。如何在利用最少的資源的前提下提高系統的處理效率，是每個業務支撐系統考慮的重點之一。
由於不同交換機上採集的話單文件的大小不一樣，每個通道在每條話單記錄處理所需要的時間也不相同，因此系統要考慮每個通道的運行的均衡，保證系統的處理性能，以避免一個或幾個通道忙，其他通道閒置的狀態，使預處理和其他的功能模塊進行合理的、等負荷的運行。
CN03812802涉及數據網絡中的負載平衡裝置，該裝置包括用於對到來數據分組計算哈希函數的哈希邏輯；連接到所述哈希邏輯的閾值檢測器，用於響應對下遊對象超出預定閾值的使用，引發所述哈希邏輯中哈希函數的參數從第一組參數到第二組參數的重新規定，以在下遊對象之間重新分布數據分組；隨後基於一種單獨的哈希計算的結果，而經由從第一和第二路由選擇通路中選擇出的一條通路對分組進行路由選擇。
CN03810946用於控制通信系統中的數據流的方法和裝置，包括接收一確認消息，表明目的地處數據分組的接收；確定與相應的多個所述數據分組相關聯的多個所述確認消息的延遲的統計均值和方差，其中所述延遲是發送所述數據分組和接收所述確認之間的時間段；基於所述延遲的統計均值和方差來確定延遲時間；將所述接收確認消息的傳遞延遲一時間段，該時間段等於所述所確定的延遲時間。
CN200410070070基於業務數據流計費的計費信息處理方法，該方法包括以下步驟傳輸面功能實體獲取計費配置信息，並根據計費配置信息生成計費信息，然後上報給計費功能實體。其中，傳輸面功能實體獲取計費配置信息可以是通過接收計費規則功能實體發送的計費規則，從中獲取計費配置信息，也可以是獲取配置在傳輸面功能實體自身的計費配置信息。
負載均衡器可以把數據按地區和業務劃分到多個通道進行處理，另外通道也可以分配到多臺主機上運行，分配方式是通過參數配置形式來設置的。
發明內容
本發明的目的是提出一種基於數據流的負載均衡方法及均衡器。支持多對多目錄的均衡負載功能；支持單對多目錄的均衡負載功能；支持按文件大小均衡分配功能；提出一種負載均衡器把數據按地區和業務劃分到多個通道進行處理，另外通道也可以分配到多臺主機上運行，尤其是針對傳統處理方法雖然是多通道，但通道間的數據不均衡，導致一些通道長期空閒，但有些通道數據積壓太多，最後數據無法及時處理的問題而提出的。
本發明的技術方案是基於數據流的負載均衡方法，數據流的負載均衡是通過對輸出通道的數據流文件量參數檢測，通過對各輸出通道文件量的參數配置調節各通道的數據流文件。文件量現分二種文件的個數和文件的總大小。
具體而言1)根據配置的輸入通道，到輸入通道搜索文件；2)檢查配置的各輸出通道的文件量，當某個通道的文件量較小(沒有達到配置的閾值)或者沒有時，將輸入通道的文件送到該輸出通道，直到該通道的文件量達到所配置的閾值；當某個通道的文件量較大時，等待該通道處理；3)不停地循環檢查各輸出通道的文件量，實時地將文件送到各個文件量較小的通道。
本發明分配方式是通過參數配置形式來設置的。在搜索輸入通道文件的時候，如果文件沒有相應的權限(後續模塊無法處理)，將文件移到錯誤文件目錄，並且實時告警。
基於數據流的負載均衡器技術主要功能是根據不同的交換機分為不同的交換機組，按照設定的文件過濾規則，以輪循的方式，輪流在輸入通道下搜索符合過濾條件的文件，以區別不同業務平臺。然後按照每個交換機組輸出通道裡文件的大小或者是多少，找出文件數目最少或者文件總大小最小的一個通道，並和標準之間進行比較，將文件按照要求進行改名後向這個通道分發文件減小這樣的差別，直到該通道大於或者等於標準條件，接著繼續掃描輸出通道，找出符合條件的下一個輸出通道，改名並分發文件使得在每個時刻的每個交換機組的輸出通道能保持近似的負載均衡(文件總數目或者文件總大小滿足標準條件)，以確保系統的主線進程(預處理、計費結算)的各部分能均衡分擔任務，更高效地處理話單文件。
本發明的特點是支持多對多目錄的均衡負載功能；支持單對多目錄的均衡負載功能；支持按文件大小均衡分配功能；支持文件的壓縮、解壓縮功能；支持文件進行改名操作功能；提供與集中監控的接口功能等。提出一種負載均衡器把數據按地區和業務劃分到多個通道進行處理，另外通道也可以分配到多臺主機上運行，分配方式是通過參數配置形式來設置，按這樣的方式能滿足高峰值海量數據處理的要求，對大容量的數據處理具有很強的實時能力和效率，並能使得系統的整體處理能力隨著業務的不斷發展而實現平滑的擴充，以高效、自動的「負載平衡動態調度」，使系統的並行處理達到最大的效率。
負載均衡器還可以根據各通道文件的大小和數目，同時檢測硬體的運行參數情況，結合文件的屬性要素和硬體資源的情況按規則進行優化計算，按最優算法分配每個通道進行負載均衡，保證每個通道的負載基本均衡和結算系統的實時、有效的運行，相關的配置可以通過邏輯表達式設定，靈活完成系統的動態功能。
本發明主要特點在於1、不管每個省、每個地市的各臺交換機數據量的差別有多大，都可以將各臺交換機上下下來的數據均衡到不同通道，及時處理；2、可以適當減少處理通道，降低主機的能耗；3、不需要讀寫文件，處理速度很快；4、只需一個進程就可以均衡所有通道，能耗低；本發明基於數據流的負載均衡器技術採用構件化設計思想進行設計。該技術可以作為獨立的可配置的應用模塊存在於應用平臺，通過文件接口的方式輸入輸出。該技術只要一個進程就可以支持多通道的均衡，能耗低。負載均衡器技術考慮了等異常情況下的及時告警。
功能描述 支持文件名稱的邏輯表達式動態搜索； 支持文件名稱的規則命名配置； 支持文件遺漏、重複的檢查； 硬體重要參數的實時數值； 支持多對多目錄的均衡負載功能； 支持單對多目錄的均衡負載功能； 支持按文件大小均衡分配功能； 支持文件的壓縮、解壓縮功能； 支持文件進行改名操作功能； 提供與集中監控的接口功能； 對運行的過程和結果進行日誌記錄等功能； API接口功能包括基本的信息輸出功能和本功能被其他模塊插入調用。
本發明的效果在電信計費系統的實際使用表明，採用基於數據流的負載均衡器技術比沒有使用負載均衡器的系統至少提高2.5倍以上的處理效率。
圖1是本發明方法與面向過程和面向數據的方法進行所費時間比較的示意2是本發明數據流的負載均衡過程的程序圖具體實施方式
基於數據流的負載均衡器技術主要採用輪流循環的算法，每次總是找出文件總數或文件數目最小的通道，然後向該通道分發文件，直到所有輸出通道達到文件總量滿足配置文件所設定的標準，保證了其後續進程能有近似均衡的負荷。
數據流的負載均衡器技術中的幾個關鍵對象類設計如下Schedule函數負載均衡部分主函數。
List函數搜索輸入通道下文件函數。
BatchMove函數向指定輸出通道下分發文件函數。
ChangeName函數將指定的文件改名後移動到指定通道。
可以利用上述程序(但不限於上述程序)實現下述步驟1)根據配置的輸入通道，到輸入通道搜索文件；檢查配置的各輸出通道的文件量，當某個通道的文件量較小(沒有達到配置的閾值，閾值是一個配置在配置文件的標誌量，可以是文件的個數或者是文件的大小，如十個文件或500M的文件)或者沒有時，將輸入通道的文件送到該輸出通道，直到該通道的文件量達到所配置的閾值。當某個通道的文件量較大時，繼續檢查下一個通道。同時等待該通道處理。
2)不停地循環檢查各輸出通道的文件量，當輸出通道的文件個數或者文件的總共大小沒有達到配置的閾值時，實時地將文件送到各個文件量較小的通道。
3)在搜索輸入通道文件的時候，如果文件沒有相應的權限(比如文件的讀權限，如果沒有讀權限，後續模塊無法處理)，將文件移到錯誤文件目錄，並且實時告警。錯誤文件不算流量。
數據流的負載均衡過程如圖2所示。
權利要求
1.基於數據流的負載均衡方法，其特徵是數據流的負載均衡是通過對輸出通道的數據流文件量參數檢測，文件量現分二種文件的個數和文件的總大小，通過對各輸出通道文件量的參數配置調節各通道的數據流文件。
2.由權利要求1所述的基於數據流的負載均衡方法，其特徵是1)根據配置的輸入通道，到輸入通道搜索數據流文件；2)檢查配置的各輸出通道的數據流文件量，當某個通道的數據流文件量較小或者沒有時，即沒有達到配置的閾值，將輸入通道的數據流文件送到該輸出通道，直到該通道的文件量達到所配置的閾值；當某個通道的文件量較大時，等待該通道處理；3)不停地循環檢查各輸出通道的文件量，實時地將文件送到各個文件量較小的通道。
3.由權利要求1所述的基於數據流的負載均衡方法，其特徵是在搜索輸入通道文件的時候，如果文件沒有相應的權限，將文件移到錯誤文件目錄，並且實時告警。
全文摘要
基於數據流的負載均衡方法，數據流的負載均衡是通過對輸出通道的數據流文件量參數檢測，文件量現分二種文件的個數和文件的總大小，通過對各輸出通道文件量的參數配置調節各通道的數據流文件。尤其是1)根據配置的輸入通道，到輸入通道搜索數據流文件；2)檢查配置的各輸出通道的數據流文件量，當某個通道的數據流文件量較小或者沒有時，將輸入通道的數據流文件送到該輸出通道，直到該通道的文件量達到所配置的閾值；當某個通道的文件量較大時，等待該通道處理；3)不停地循環檢查各輸出通道的文件量，實時地將文件送到各個文件量較小的通道。
文檔編號G06F13/42GK1870598SQ20061008576
公開日2006年11月29日 申請日期2006年6月30日 優先權日2006年6月30日
發明者邵九松, 黃誠, 王濤, 施大偉, 紀振華, 周仲華, 歐小祥, 周連華 申請人:南京聯創科技股份有限公司