大數據應用平臺及基於其的交互方法與流程
2023-09-10 17:48:50 2
本發明涉及計算機技術領域，尤其關於一種大數據應用平臺及基於大數據應用平臺的交互方法。
背景技術：
隨著信息技術的飛速發展，數據量出現了爆炸式增長，數據量的不斷擴張預示著現在已進入大數據時代，然而，傳統的關係型資料庫已無法滿足大數據的數據存儲動態擴展及負載均衡等需求。
分布式平臺是指將數據存儲、數據分析和計算等構建在由多個主機構成的集群上的軟體平臺。分布式平臺相對於單機構成的系統主要區別在於處理問題的規模上，包括數據計算的規模和數據存儲的規模。從物理層次上看，分布式平臺運行在由多臺不共享內存的機器構成的集群上，但是從邏輯層上來看，分布式平臺對用戶而言就好像一個單機系統，完全感覺不到物理上分布式的存在。分別式平臺中分布式存儲的運用使我們輕易的可以實現動態擴展及負載均衡的需求，而分布式計算讓我們能夠實現對大數據的分析，讓數據產生價值，分布式計算通過分而治之解決單機計算的性能瓶頸。同時分布式存儲及分布式計算無需再與大型資料庫及大型伺服器綁定，大大降低硬體設備成本，實現去IOE。
一般而言，現有的業務系統想要從原來的單機存儲移植到分布式平臺，需重新了解分布式平臺的原理和實現細節，並對分布式功能進行開發，如此一來，業務系統不僅需要進行自身的業務開發，還要兼顧分布式功能的開發，帶來了繁雜的開發工作。
技術實現要素：
為了解決背景技術中存在的問題，本發明提供一種大數據應用平臺，通過所述大數據應用平臺實現業務系統與分布式平臺的鬆耦合，從而使得業務系統無需了解分布式平臺的原理和實現細節，便可從原來的單機存儲系統平滑移植到分布式平臺，如此可使業務系統更專注於自身業務功能的開發，節省大量的開發工作。
本發明提供的大數據應用平臺，用於業務系統與分布式平臺的交互，包含至少一應用程式接口，用於與所述業務系統建立連接，並通過所述分布式平臺提供的訪問接口與其建立連接。
於一變化實施例中，所述大數據應用平臺更包含至少一功能模塊，所述業務系統通過所述應用程式接口調用所述功能模塊，所述功能模塊通過所述訪問接口與所述分布式平臺建立連接。
於一變化實施例中，所述大數據應用平臺更包含一分布式隊列服務模塊，接收和存儲來自所述業務系統的服務請求，所述功能模塊從所述分布式隊列服務模塊中讀取相應服務請求，並將處理結果返回給相應的所述業務系統。
於一變化實施例中，所述大數據應用平臺更包含一分布式協調服務模塊，連接於各個功能模塊。
本發明還提供一種基於大數據應用平臺的交互方法，包含步驟：
S1、大數據應用平臺接收來自業務系統的服務請求；
S2、解析轉換所述服務請求；
S3、調用分布式平臺對所述請求進行處理；
S4、獲取並返回處理結果給所述業務系統。
更近一步的，在所述步驟S4的獲取後與返回處理結果給所述業務系統前，所述大數據應用平臺會對所述處理結果進行解析轉換。
本發明通過提供用於業務系統與分布式平臺交互的所述大數據應用平臺，使得業務系統通過連接訪問所述大數據應用平臺提供的應用程式接口，即可完成服務請求的發送與處理結果的接收，所述大數據應用平臺通過將來自各業務系統的服務請求進行解析轉換，並通過調用分布式平臺完成請求的處理，進而將處 理結果返回至相應的各業務系統，從而完成對來自業務系統服務請求的響應，如此一來，業務系統無需了解分布式平臺的原理和實現細節，只需與大數據應用平臺進行交換則可完成服務請求的傳送與處理結果的接收，避免了大量的程序開發工作。
附圖說明
圖1繪示本發明一較佳實施例所提供基於大數據應用平臺的系統交互示意圖；
圖2繪示本發明一較佳實施例中的大數據應用平臺結構示意圖；
圖3繪示本發明另一較佳實施例中大數據應用平臺結構示意圖；
圖4繪示本發明另一較佳實施例中大數據應用平臺結構示意圖；
圖5繪示本發明一實施例的基於大數據應用平臺的交互方法流程圖。
具體實施方式
為使本發明的技術方案及其優點更加明確和詳細，以下將參照圖示進行說明。
請參閱圖1，圖1繪示本發明一較佳實施例所提供基於大數據應用平臺的系統交互示意圖。如圖所示，本實施例中，業務系統10通過大數據應用平臺20與分布式平臺30進行交互，具體而言，大數據應用平臺20包含應用程式接口21，用於與業務系統10建立連接，換言之，業務系統10通過應用程式接口21與大數據應用平臺10進行連接與交互。分布式平臺30提供訪問接口31，大數據應用平臺20通過訪問接口31與分布式平臺30進行連接與交互。基於此，業務系統10通過應用程式接口21將服務請求發送給大數據應用平臺20，大數據應用平臺20將服務請求進行解析轉換，通過訪問接口31調用分布式平臺30進行服務請求的處理並獲取處理結果，最終將獲取到的處理結果進行解析轉換，並響應給發送服務請求的業務系統10。
如此一來，業務系統10可通過大數據應用平臺20與分布式平臺30進行交互，完成服務請求的處理，從而避免了現有業務系統10從單機存儲移植到分布式平臺時帶來的繁雜工作。
值得注意的是，本發明所通過的大數據應用平臺20可同時與多個業務系統進行交互，該些業務系統可通過應用程式接口21與大數據平臺20建立連接並進行交互，以完成各自服務請求的處理。由此可見，大數據應用平臺20的設立使得現有的業務系統在從單機存儲移植到分布式平臺時，不僅無需重新了解分布式平臺的原理和實現細節，而且還可以避免多個業務系統相同功能需求的重複開發工作。
此外，本實施例中，大數據應用平臺20僅提供一個統一的應用程式接口21，可以理解的是，於本發明的其他實施例中，大數據應用平臺20可包含多個應用程式接口，業務系統可根據不同的需求訪問相應的應用程式接口，或者，不同類型的業務系統可訪問的應用程式接口也可不同，由此可在服務請求高度並發時減輕單個應用程式接口的負擔。
本發明的其他實施例中，大數據應用平臺可更包含至少一個功能模塊22，請參閱圖2，圖2繪示本發明一較佳實施例中的大數據應用平臺結構示意圖。如圖2所示，本實施例中的大數據應用平臺20a較上一實施例中的大數據應用平臺而言，更包含至少一個功能模塊22，其中，該些功能模塊22可為數據查詢服務模塊、數據搜索服務模塊、數據採集服務模塊、數據挖掘服務模塊、分布式文檔存儲服務模塊、分布式離線計算服務模塊、分布式實時計算服務模塊及分布式資料庫服務模塊等提供相應服務功能的模塊，本發明的實施例中，該些功能模塊22通過應用程式接口21供業務系統10按需調用或訂閱，接收來自業務系統10的服務請求，對服務請求進行解析和轉換，並通過訪問接口31對分布式平臺30進行調用以將服務請求傳送至分布式平臺30進行處理，並獲取處理結果，再解析轉化處理結果後，響應給業務系統。舉例而言，業務系統10需要對數據進行查詢，那麼它可以通過應用程式接口21直接調用數據查詢服務模塊，數據查詢服務模塊接收來自業務系統10的服務請求，並將該服務請求解析轉換，通過訪問接口31對分布式平臺30進行調用，將解析轉換後的服務請求傳送至分布式平臺進行處理，獲取處理結果後，對其進行解析和轉換成業務系統10能識別的形式，並最終響應給業務系統10，從而完成數據查詢相關的服務請求 的處理。大數據應用平臺20將不同功能模塊進行單獨封裝，不僅可方便自身的管理，而且可加速對業務系統的響應，減少了在多個業務系統同時對大數據應用平臺20進行調用時出現的排隊時間過長問題的出現。
本實施例中，大數據應用平臺20a以分布式hadoop平臺為基礎，構建基於分布式hadoop平臺封裝各功能模塊的應用平臺。其中數據抽取及數據挖掘等服務數據查詢服務模塊，以Impala為基礎，客戶端根據自己需求，靈活構造查詢條件，系統進行語法解析和數據路由決策，分布式並行查詢匯聚，構成海量數據查詢服務，提供精確及模糊搜索能力。
數據搜索服務模塊，以SolrCloud為基礎，通過統一搜索入口，提供索引創建，搜索語法解析、並行搜索和匯聚展現等功能，構成海量數據搜索服務。
數據採集服務模塊，提供多樣性的採集功能，可以從多個終端採集數據，也可以採集多種形式的數據(資料庫、文件、網頁等)，支持實時及批量數據採集的方式，並通過分布式隊列進一步加工處理。
數據挖掘服務模塊，提供各種不同類型的算法服務，對預先存儲在HDFS和HBASE中的數據做分析，通過存儲在分布式系統中的大量數據進行分析挖掘生成更有價值的數據。
分布式文檔存儲服務模塊，是以HDFS為基礎，提供分布式文件存儲機制，將數據分散存儲在多臺伺服器上，採用元數據管理以及數據存儲節點的組成模式，構成海量文檔存儲服務。
分布式離線計算服務模塊，對存儲在hdfs和hbase中的海量數據做分布式並行計算，支持基於mapreduce和spark技術，對預先存儲在分布式平臺中的數據做定期的統計分析，並支持將統計分析結果推送到預先指定的位置。
分布式實時計算服務模塊基於spark stream技術實現，提供流式計算、迭代計算、批處理和交互查詢等實時計算功能。
分布式資料庫服務模塊以HBase為基礎，提供分布式海量數據存儲能力，將數據分散存儲在多臺伺服器上，為高並發、大數據量的數據讀寫、管理提供支持。
本發明的實施例中，大數據應用平臺還可更包含分布式隊列服務模塊。請參閱圖3，圖3繪示本發明另一較佳實施例中大數據應用平臺結構示意圖。如圖3所示，本實施例中的大數據應用平臺20b較上一實施例中的大數據應用平臺20a而言，更包含分布式隊列服務模塊23，與上一實施例不同的是，本實施例中，業務系統10通過應用程式接口21發送的服務請求將會先統一存儲在分布式隊列服務模塊23中，各功能模塊22從分布式隊列模塊23中讀取各自相關的服務請求，並進行解析轉換，通過訪問接口31調用分布式平臺進行請求的處理，獲取處理結果後，對其進行解析轉換，最後響應給相應的業務系統10。本實施例中，通過使用分布式隊列服務模塊23統一存儲管理來自業務系統10的服務請求，並通過各功能模塊22主動從分布式隊列服務模塊23中讀取待處理請求的方式，可減少服務請求大量並發時排隊等候的時間，提高處理效率。值得注意的是，本發明的實施例中，分布式隊列服務模塊23以Kafka為基礎，具備分布式、分區的、多副本的、多訂閱者的特點，是可提供高吞吐量、高可靠的分布式消息隊列服務。
請參閱圖4，圖4繪示本發明另一較佳實施例中大數據應用平臺結構示意圖。如圖4所示，本實施例中的大數據應用平臺20c較上一實施例中的大數據應用平臺20b而言，更包含分布式協調服務模塊24，連接於各功能模塊22及分布式隊列服務模塊。分布式協調服務模塊24以Zookeeper為基礎，針對大型分布式系統，構建應用間一致性服務，提供的功能包括：配置維護、名字服務、分布式鎖、組服務、隊列管理等。舉例而言，分布式協調服務模塊24對來自業務系統10的服務請求進行分析，確認其服務請求中所需的功能模塊22，並對該些功能模塊22間的調用順序進行整理，以完成業務系統10的服務請求的處理，同時也可對分布式隊列模塊23等其他資源進行規劃和整合，從而提升系統的整體性能，以快速響應業務系統的服務請求。
值得注意的是，本發明的實施例中，大數據應用平臺20、20a及20b是以分布式hadoop平臺為基礎，構建基於分布式hadoop平臺封裝各功能模塊的應用平臺，較於傳統的單機系統而言，它是部署在一個計算機集群上的分布式應用平臺，包含一個主節點及至少一個子節點，主節點用於協調控制子節點。而被封裝在該應用平臺上的各功能模塊、分布式隊列服務模塊以及分布式協調服務模塊也同樣是被部署在一個計 算機集群上，各自包含一個主節點及至少一個子節點，主節點用於協調控制子節點。通過該方式，使得大數據應用平臺本身具有高度的可擴展性。
可以理解的是，上述實施例中，業務系統10都是通過大數據應用平臺20所提供的統一應用程式接口21對大數據應用平臺20上的各功能模塊22進行調用，而該應用程式接口21是獨立於各功能模塊22的，本發明的其他實施例中，各功能模塊22也可以提供單獨的應用程式接口供業務系統10直接調用，換言之，該應用程式接口21是由各功能模塊22提供的，而並非獨立於各功能模塊22存在，如此一次，業務系統10可根據服務請求的類型，直接通過各功能模塊22提供的應用程式接口直接對其進行調用，從而加速了服務請求的響應。
本發明還提供一種基於大數據應用平臺的交互方法，請參閱圖5，圖5繪示本發明一實施例的基於大數據應用平臺的交互方法。
如圖5所示，基於大數據應用平臺的交互方法包含步驟：
S1，大數據應用平臺接收來自業務系統的服務請求。請再次參照圖1，業務系統10通過大數據應用平臺20提供的應用程式接口21發送服務請求至大數據應用平臺20，大數據應用平臺20對通過應用程式接口21進入的服務請求進行接收。
S2，解析轉換服務請求。大數據應用平臺20通過步驟S1接收到來自業務系統10的服務請求後，對其進行解析轉換，使得該條服務請求符合分布式平臺30的格式標準，從而後續能被分布式平臺30讀取識別。
S3，調用分布式平臺對服務請求進行處理。大數據應用平臺20通過訪問接口31調用分布式平臺30對服務請求進行處理。
S4，獲取並返回處理結果給所述業務系統。大數據應用平臺20從分布式平臺30獲取處理結果，並將處理結果返回給業務系統10。值得注意的是，大數據應用平臺20從分布式平臺30獲取到處理結果後，會先對處理結果進行解析轉換，使其能被業務系統10所讀取和識別，解析轉換完成後，大數據應用平臺20才會把處理結果返回給業務系統10。
綜上所述，本發明通過提供一種大數據應用平臺及基於大數據應用平臺的交互方法，使得業務系統無需直接與分布式平臺建立連接，而是通過大數據應用平臺進行間接耦合，以完成從傳統單機系統到分布式平臺的平滑轉移。使得業務系統無需了解分布式平臺的原理和實現細節，只需與大數據應用平臺進行交換則可完成服務請求的傳送與處理結果的接收，避免了大量的程序開發工作。