一種基於雲計算的大規模圖數據處理及分析技術的製作方法
2023-05-18 04:10:01
一種基於雲計算的大規模圖數據處理及分析技術的製作方法
【專利摘要】本發明屬於計算機應用【技術領域】，是一種基於雲計算的大規模圖數據處理及分析技術。包括：服務申請系統、數據提交系統、圖資料庫管理系統、圖數據離線計算平臺、圖數據可視化系統以及圖數據計算結果展示系統。本發明適用於通過雲計算服務平臺向網際網路用戶提供大規模圖數據計算服務的應用場景。
【專利說明】一種基於雲計算的大規模圖數據處理及分析技術
[0001]一、【技術領域】
本發明屬於計算機應用【技術領域】，是一種基於雲計算的大規模圖數據處理及分析技術。主要包括:服務申請系統、數據提交系統、圖資料庫管理系統、圖數據離線計算平臺、圖數據可視化系統以及圖數據計算結果展示系統。本發明適用於通過雲計算服務平臺向網際網路用戶提供大規模圖數據計算服務的應用場景。
[0002]二、【背景技術】
隨著信息技術的發展以及網際網路的普及，數據呈爆炸式增長，尤其是近年來社交網絡的快速發展使得圖數據急劇增長。雲計算技術的提出與發展為大規模數據的處理開闢了新的路徑。雲計算平臺能夠向用戶提供強大的計算服務，用戶僅通過Web瀏覽器便可進行計算服務申請，然後上傳數據，最終由平臺反饋數據處理結果。目前尚未有專門為大規模圖數據提供計算服務的雲平臺，無法滿足一些某些大規模圖數據擁有者對圖計算能力的需求。
[0003]三、
【發明內容】
(一)本申請提案要解決的技術問題
一種基於雲計算的大規模圖數據處理及分析技術，主要特徵包括:服務申請系統、數據提交系統、圖資料庫管理系統、圖數據離線計算平臺、圖數據可視化系統以及圖數據計算結果展示系統。通過該技術，用戶可以輕鬆獲得強大的圖數據計算服務，並根據服務申請類型獲得相應的結果展示。
[0004](二)簡要說明欲保護的關鍵點及對應的技術效果
關鍵點1，數據傳輸協議。用戶提交數據後，系統自動對數據進行加密傳輸。由於圖數據一般較大，因此會對數據進行分割，分別提交。每部分傳輸結束後都會在伺服器端進行校驗，以保證傳輸的可靠性。本發明提供兩種傳輸方式:一是通過Web瀏覽器進行提交，該方式無需下載客戶端，方便簡單，但傳輸速度較慢，適用於數據量小的圖數據；二是通過數據傳輸客戶端提交數據，該方式需要安裝專門的數據傳輸客戶端，數據傳輸較為快捷，適用於大圖數據的傳輸。當數據處理完畢時，用戶可以通過下載或者在線瀏覽的方式查看結果，數據傳輸過程同樣經過加密傳輸。
[0005]技術效果:數據傳輸協議能夠保證大規模圖數據處理結果在伺服器和客戶端之間高速、安全的傳輸。
[0006]關鍵點2，圖數據格式化方法。由於圖數據一般以某些結構化方式或是文本方式存儲在用戶本地文件系統中，在圖數據上傳之前，系統提供數據格式化方法，具體有兩種方式:一是用戶指定XML格式的元數據文件，該文件以結構化方式規定圖的頂點和邊的值及其它屬性值等；二是向用戶開放MapReduce計算服務接口，用戶通過上傳自定義MapReduce方法在伺服器端將圖數據進行格式化。
[0007]技術效果:圖數據格式化方法能夠保證用戶提交的圖數據能夠在離線計算系統、圖數據管理系統、圖數據可視化系統中正確地計算、存儲和展現。
[0008]關鍵點3，圖數據可視化服務。本發明提供圖數據可視化服務，用戶可通過服務申請系統指定可視化服務。具體實現方法是利用圖數據管理系統的在線查詢支持，得到用戶查詢的頂點、邊以及它們的屬性值，通過可視化插件在web瀏覽器向用戶展示查詢結果。用戶通過查詢語言可以獲取任意部分的圖數據信息，並通過可視化功能對數據執行簡單的在線分析等功能。
[0009]技術效果:圖數據可視化服務能夠向用戶提供更為豐富的計算結果展現方式，並提供簡單的在線計算，以進行二次分析。
[0010]關鍵點4，圖資料庫與計算平臺的交互方法。圖資料庫主要負責支撐圖數據可視化服務，而圖數據計算平臺則負責數據的高效、準確的離線計算。兩者既可以向用戶提供不同的服務，又可以進行交互:計算平臺可以利用圖資料庫存儲緩存中間計算結果；圖資料庫可以存儲部分計算平臺的計算結果，向用戶提供更加強大的可視化服務。
[0011]技術效果:圖資料庫與計算平臺的交互方法能夠保證大規模圖數據的高效處理以及圖數據可視化服務的豐富展現。
[0012](三)總的技術效果
本發明具有以下的優點和特點:
I)本發明提出了一種基於雲計算的大規模圖數據處理及分析技術，主要包括:服務申請系統、數據提交系統、圖資料庫管理系統、圖數據離線計算平臺、圖數據可視化系統以及圖數據計算結果展示系統。通過該平臺，用戶可以輕鬆獲得強大的圖數據計算服務，並根據服務申請類型獲得相應的結果展示。
[0013]2)本發明提供的雲計算服務的多樣性能夠讓用戶選擇更加適合自己的圖數據計算服務。
[0014]四、【專利附圖】
【附圖說明】
附圖1是「基於雲計算的大規模圖數據處理及分析技術」架構示意圖。
[0015]附圖2是圖數據處理流程圖。
[0016]附圖3是圖數據離線計算方法示意圖。
[0017]五、【具體實施方式】
下面結合附圖與【具體實施方式】對本發明作進一步詳細描述。
[0018]本發明提供的一種基於雲計算的大規模圖數據處理及分析技術，包括六個組成部分:服務申請系統、數據提交系統、圖資料庫管理系統、圖數據離線計算平臺、圖數據可視化系統以及圖數據計算結果展示系統。如圖1所示。
[0019]服務申請系統負責向用戶提供個性化和多樣化的計算服務選擇，包括選擇進行哪種圖數據處理算法、數據處理結果的展現方式以及所需的計算能力等；當用戶提交服務申請後，服務申請系統向後臺發送命令配置計算環境並開啟數據傳輸服務。
[0020]圖資料庫管理系統將圖數據以NoSql的方式存儲，目的是支持高效的圖數據在線查詢，解決傳統的關係型資料庫在圖數據查詢方面的不足。
[0021]圖數據離線計算平臺則負責對大規模圖數據進行離線計算，採用BSP (BulkSynchronous Parallel Model)計算模型對圖數據進行高效的迭代計算,依託雲計算平臺的高可用性和可擴展性，發揮強大的圖數據計算能力。
[0022]圖數據可視化系統則向用戶進行可視化展現:用戶使用圖數據查詢語言按照頂點和邊的屬性查詢目的頂點和邊，使圖數據有更加直觀的展現。
[0023]圖數據計算結果展示系統向用戶數據處理結果的原始展現，用戶可通過下載或者在線瀏覽的方式查看。
[0024]圖數據提交系統、圖數據可視化以及圖數據計算結果展現均通過客戶端與用戶進行交互，圖資料庫管理系統和圖數據離線計算平臺則負責數據的存儲和計算。
[0025]客戶端則支持B/S和C/S兩種方式，B/S方式下為Web瀏覽器，如IE、Firefox、Opera等，C/S方式則為應用程式。
[0026]本發明中，大規模圖數據處理及分析包括以下幾個步驟。如圖2所示。
[0027]步驟S2.1:用戶通過客戶端向圖數據處理平臺申請相應計算服務。
[0028]步驟S2.2:用戶通過客戶端向圖數據處理平臺傳送圖數據和元數據文件。
[0029]步驟S2.3:系統根據元數據文件將圖數據進行格式化處理，並根據用戶申請的服務類型和元數據文件判斷將數據存儲在雲平臺文件系統或圖數據管理系統中。
[0030]步驟S2.4:圖數據離線計算平臺根據配置文件選擇平臺機器啟動離線計算。
[0031]步驟S2.5:離線計算過程中與圖數據管理系統發生數據交互。
[0032]步驟S2.6:離線計算完畢，向圖數據管理系統以及圖數據計算結果展示系統傳送計算結果。
[0033]步驟S2.7:用戶通過客戶端獲得離線計算結果，也可通過可視化方式獲得個性化的結果展示。
[0034]本發明中，離線計算平臺計算方法如圖3所示
圖數據離線計算方法採用面向節點(Vertex-Oriented)的思想，即將圖數據中每一個節點作為計算中心，例如當前的活躍節點Vl和V2 ；
在每一輪迭代過程中，活躍的計算節點都會經歷信息收集、信息計算、信息更新三個階
段；
位於不同機器上的兩節點的交互採用①建立副本或者②消息傳遞機制來保證，具體的使用方式將依據圖數據特點以及相應算法的特性來選擇。
[0035]如上所述，利用基於雲計算的大規模圖數據處理及分析技術，可以實現向用戶提供強大的大規模圖數據計算服務。
[0036]以上所述，僅為本發明的實施步驟描述，並非用於限定本發明的保護範圍。
【權利要求】
1.一種基於雲計算的大規模圖數據處理及分析技術，主要特徵包括:服務申請系統、數據提交系統、圖資料庫管理系統、圖數據離線計算平臺、圖數據可視化系統以及圖數據計算結果展示系統，通過本發明，用戶可以輕鬆獲得強大的圖數據計算服務，並根據服務申請類型獲得相應的結果展示。
2.如上述權利要求1所述的方案，它包含了數據傳輸協議，基於該協議，能夠保證大規模圖數據處理結果在伺服器和客戶端之間高速、安全的傳輸。
3.如上述權利要求1所述的方案，它包含了圖數據格式化方法，該方法能夠保證用戶提交的圖數據能夠在離線計算系統、圖數據管理系統、圖數據可視化系統中正確地計算、存儲和展現。
4.如上述權利要求1所述的方案，它包含了圖數據可視化服務，能夠向用戶提供更為豐富的計算結果展現方式，並提供簡單的在線計算，以進行二次分析。
5.如上述權利要求1所述的方案，它包含了圖資料庫與計算平臺的交互方法，該方法能夠保證大規模圖數據的高效處理以及圖數據可視化服務的豐富展現。
6.如上述權利要求1所述的方案，它包含了圖數據離線計算方法，該方法能夠保證根據圖數據的特點以及算法特性選取最佳的計算模式。
【文檔編號】H04L29/08GK103780704SQ201410057204
【公開日】2014年5月7日 申請日期:2014年2月20日 優先權日:2014年2月20日
【發明者】馬永徵, 李偉, 謝瑋, 南凱 申請人:中國科學院計算機網絡信息中心