一種基於消息鏈的輕量級數據處理框架的製作方法
2023-06-10 11:08:01
一種基於消息鏈的輕量級數據處理框架的製作方法
【專利摘要】本發明涉及分布式計算【技術領域】，特別是指一種基於消息鏈的輕量級數據處理框架。當消息被接收後進入消息處理鏈模塊；經過鏈上每個處理器上行處理邏輯的處理後，緩存到上行消息隊列中；上行消息隊列管理線程取出消息放入消息線程池；消息線程池將消息解析成對象或者結構體；消息觀察者根據類型決定是否接受消息，並對其進行特殊業務邏輯處理；另外，用戶請求或響應經過消息解析模塊轉化成消息緩存到下行消息隊列中；消息隊列把下行消息保存在待發送隊列中；按順序出列進入消息處理鏈，經過鏈上每個處理器下行處理邏輯處理後發送至消息通道。本發明解決了採用消息中間件所存在的問題，可用於實現基於本數據處理框架的第三方軟硬體的快速集成開發。
【專利說明】一種基於消息鏈的輕量級數據處理框架【技術領域】
[0001]本發明涉及分布式計算【技術領域】，特別是指一種基於消息鏈的輕量級數據處理框架。
【背景技術】
[0002]一個分布式系統需要處理不同類型的消息，消息的處理邏輯既有共同之處，也會根據消息類型的不同而需要特殊的處理邏輯。我們一般採用消息中間件來處理消息的共性問題，它的處理步驟是這樣的:
[0003]1、消息中間件中一般有三個角色:消息中間件、消費者、服務提供者；
[0004]2、消費者組裝數據請求報文發送給消息；
[0005]3、消息中間件將消費者請求報文轉發給各服務提供者監聽隊列，服務提供者接收請求業務報文；
[0006]4、服務提供者異步返回請求報文的響應報文；
[0007]5、消息中間件將消費者請求報文的響應報文返回到對應消費者應答隊列，消費者接收請求的響應報文,並做相應處理；
[0008]6、服務提供者生成消費者所需的數據，並發送報文給消息中間件；
[0009]7、消息中間件將通知報文轉發給各消費者監聽隊列，消費者接收到通知業務報文；
[0010]8、消費者異步返回通知報文的響應報文。
[0011]可是，消息中間件在消息量不大的分布式環境中也存在以下的問題:
[0012]1、消息中間件是一個獨立的消息引擎，會佔用一部分伺服器資源，對於消息量不大的分布式應用來說，沒有必要增加這樣的開銷，而且引入第三者的角色，消息(報文)在傳輸過程中經過多一層隊列的暫存，會減低消息的實時性.[0013]2、消息中間件對消息處理邏輯沒有設計靈活的處理機制，一旦消息處理邏輯變化，需要重新編碼實現.[0014]3、消息中間件沒有設計對消息的特殊處理邏輯機制，對特殊業務邏輯的開發不利。
【發明內容】
[0015]本發明解決的技術問題在於提供一種基於消息鏈的輕量級數據處理框架，解決目前通用消息中間件存在的消息處理不靈活、開發效率低、消息實時性低的問題；
[0016]本發明解決上述技術問題的技術方案是: [0017]包括步驟:
[0018]上行消息從消息通道中被接收後進入消息處理鏈模塊；
[0019]消息依次經過鏈上每個處理器上行處理邏輯的處理後，緩存到上行消息隊列中；
[0020]上行消息隊列管理線程從消息隊列中取出消息放入消息線程池；[0021]消息線程池將消息解析成對象或者結構體；
[0022]消息觀察者根據消息對象或結構體的類型決定是否接受消息，並對其進行特殊業務邏輯處理；
[0023]處理相應或者用戶請求經過消息解析模塊轉化成消息緩存到下行消息隊列中；
[0024]消息隊列把下行消息保存在待發送隊列中；
[0025]待發送隊列中消息按順序出列進入消息處理鏈，依次經過鏈上每個處理器下行處理邏輯處理後發送至消息通道。
[0026]所述消息分為上行消息和下行消息；上行消息是指系統從消息通道上接收到並需要進行相應命令操作的請求，下行消息則是指命令操作處理完後的響應或是用戶需要發送出去的請求。
[0027]所述消息處理鏈是消息處理工具的鏈式集合，包括上行消息處理鏈和下行消息處理鏈；上行消息處理鏈包括的消息處理工具有消息解包、消息解壓、消息解密及消息認證等；下行消息處理鏈包括的消息處理工具則相應的有消息認證、消息加密、消息壓縮和消息打包等；
[0028]所述的消息線程池是指各個消息處理線程的集合，具有將消息解析成各個對象或者結構體的功能；
[0029]所述的消息觀察者是指可以針對解析出來的消息對象進行各種不同處理的接口對象，包括日誌觀察者，審計觀察者，虛擬機觀察者，邏輯卷觀察者等；消息觀察者採用觀察者模式設計實現，同一個消息支持依次被多個觀察者接收處理；，觀察者模式是編程設計中一種編程實現方法。
[0030]所述的上下行消息處理鏈工具集支持動態可擴展。
[0031]所述上下行消息隊列支持內存形式和資料庫形式；
[0032]所述的內存形式消息隊列是指在內存中申請一定大小的空間作為消息緩衝，具有效率高的特性；
[0033]所述的資料庫形式是指將消息先保存到資料庫，等待消息處理線程的調度，具有持久化特性，支持服務故障恢復消息重新處理的特點。
[0034]所述的消息觀察者特殊業務邏輯處理是指類似於日誌觀察者進行日誌記錄，審計觀察者進行審計，虛擬機觀察者進行創建虛擬機、關閉虛擬機等業務邏輯處理。
[0035]本發明方案的有益效果如下:
[0036]1、本發明的框架是輕量級的，對系統額外增加的開銷較少，消息的實時性高。
[0037]2、本發明的框架是高度靈活的，消息處理鏈中的處理邏輯可以按需通過配置進行增減，無需重新編碼即可運行；要增加對消息的特殊處理邏輯也較容易。
[0038]3、本發明的方法能在短時間內開發分布式處理應用，在消息處理鏈中的處理器都是根據共性處理邏輯開發的通用組件，在實際使用過程中只需要進行配置或做少量編碼即可。
[0039]4、能提高分布式應用開發的質量，增加客戶滿意度。由於應用本架構可做到不編寫代碼或者只編寫極少量代碼，因此減少了開發過程中編碼產生的錯誤，提高了軟體質量。
【專利附圖】
【附圖說明】[0040]下面結合附圖對本發明進一步說明:
[0041]圖1為本發明流程圖；
[0042]圖2為本發明上行數據處理框架分解圖；
【具體實施方式】
[0043]如圖1所示，本發明基於消息鏈的輕量級數據處理方法包括如下步驟:
[0044]上行消息從消息通道中被接收後進入消息處理鏈模塊；
[0045]消息依次經過鏈上每個處理器上行處理邏輯的處理後，緩存到上行消息隊列中；
[0046]上行消息隊列管理線程從消息隊列中取出消息放入消息線程池；
[0047]消息線程池將消息解析成對象或者結構體；
[0048]消息觀察者根據消息對象或結構體的類型決定是否接受消息，並對其進行特殊業務邏輯處理；
[0049]處理相應或者用戶請求經過消息解析模塊轉化成消息緩存到下行消息隊列中；
[0050]消息隊列把下行消息保存在待發送隊列中；
[0051]待發送隊列中消息按順序出列進入消息處理鏈，依次經過鏈上每個處理器下行處理邏輯處理後發送至消息通道。
[0052]所述消息分為上行消息和下行消息；上行消息是指系統從消息通道上接收到並需要進行相應命令操作的請求，下行消息則是指命令操作處理完後的響應或是用戶需要發送出去的請求。
[0053]消息處理鏈是消息處理工具的鏈式集合，包括上行消息處理鏈和下行消息處理鏈；上行消息處理鏈包括的消息處理工具有消息解包、消息解壓、消息解密及消息認證等；下行消息處理鏈包括的消息處理工具則相應的有消息認證、消息加密、消息壓縮和消息打包等；
[0054]消息線程池是指各個消息處理線程的集合，具有將消息解析成各個對象或者結構體的功能；
[0055]消息觀察者是指可以針對解析出來的消息對象進行各種不同處理的接口對象，包括日誌觀察者，審計觀察者，虛擬機觀察者，邏輯卷觀察者等；消息觀察者採用觀察者模式設計實現，同一個消息支持依次被多個觀察者接收處理；，觀察者模式是編程設計中一種編程實現方法。
[0056]上下行消息處理鏈工具集支持動態可擴展。
[0057]上下行消息隊列支持內存形式和資料庫形式；內存形式消息隊列是指在內存中申請一定大小的空間作為消息緩衝，具有效率高的特性；資料庫形式是指將消息先保存到資料庫，等待消息處理線程的調度，具有持久化特性，支持服務故障恢復消息重新處理的特點。
[0058]消息觀察者特殊業務邏輯處理是指類似於日誌觀察者進行日誌記錄，審計觀察者進行審計，虛擬機觀察者進行創建虛擬機、關閉虛擬機等業務邏輯處理。
[0059]再結合圖2所示，數據處理框架中消息處理鏈處於文本消息進出的階段，包含解包、解壓、解密、認證等處理過程，每一個處理過程都是一個Handler，且每個Handler需繼承MsgHandler基類，MsgHandler基類設計如下:
[0060]
【權利要求】
1.一種基於消息鏈的輕量級數據處理框架，其特徵在於:包括步驟: 上行消息從消息通道中被接收後進入消息處理鏈模塊； 消息依次經過鏈上每個處理器上行處理邏輯的處理後，緩存到上行消息隊列中； 上行消息隊列管理線程從消息隊列中取出消息放入消息線程池； 消息線程池將消息解析成對象或者結構體； 消息觀察者根據消息對象或結構體的類型決定是否接受消息，並對其進行特殊業務邏輯處理； 處理相應或者用戶請求經過消息解析模塊轉化成消息緩存到下行消息隊列中； 消息隊列把下行消息保存在待發送隊列中； 待發送隊列中消息按順序出列進入消息處理鏈，依次經過鏈上每個處理器下行處理邏輯處理後發送至消息通道。
2.根據權利要求1所述的輕量級數據處理框架，其特徵在於:所述消息分為上行消息和下行消息；上行消息是指系統從消息通道上接收到並需要進行相應命令操作的請求，下行消息則是指命令操作處理完後的響應或是用戶需要發送出去的請求。
3.根據權利要求1所述的輕量級數據處理框架，其特徵在於:所述消息處理鏈是消息處理工具的鏈式集合，包括上行消息處理鏈和下行消息處理鏈；上行消息處理鏈包括的消息處理工具有消息解包、消息解壓、消息解密及消息認證等；下行消息處理鏈包括的消息處理工具則相應的有消息認證、消息加密、消息壓縮和消息打包等； 所述的消息線程池是指各個消息處理線程的集合，具有將消息解析成各個對象或者結構體的功能； 所述的消息觀察者是指可以針對解析出來的消息對象進行各種不同處理的接口對象，包括日誌觀察者，審計觀察者，虛擬機觀察者，邏輯卷觀察者等；消息觀察者採用觀察者模式設計實現，同一個消息支持依次被多個觀察者接收處理；，觀察者模式是編程設計中一種編程實現方法。
4.根據權利要求3所述的輕量級數據處理框架，其特徵在於:所述的上下行消息處理鏈工具集支持動態可擴展。
5.根據權利要求1至4任一項所述的輕量級數據處理框架，其特徵在於:所述上下行消息隊列支持內存形式和資料庫形式； 所述的內存形式消息隊列是指在內存中申請一定大小的空間作為消息緩衝，具有效率高的特性； 所述的資料庫形式是指將消息先保存到資料庫，等待消息處理線程的調度，具有持久化特性，支持服務故障恢復消息重新處理的特點。
6.根據權利要求1至4任一項所述的輕量級數據處理框架，其特徵在於:所述的消息觀察者特殊業務邏輯處理是指類似於日誌觀察者進行日誌記錄，審計觀察者進行審計，虛擬機觀察者進行創建虛擬機、關閉虛擬機等業務邏輯處理。
7.根據權利要求5所述的輕量級數據處理框架，其特徵在於:所述的消息觀察者特殊業務邏輯處理是指類似於日誌觀察者進行日誌記錄，審計觀察者進行審計，虛擬機觀察者進行創建虛擬機、關閉虛擬機等業務邏輯處理。
【文檔編號】G06F9/44GK103677844SQ201310714072
【公開日】2014年3月26日 申請日期:2013年12月20日 優先權日:2013年12月20日
【發明者】熊夢, 楊松, 莫展鵬, 季統凱 申請人:國雲科技股份有限公司