迎接大數據分析時代 金倉推出分析型資料庫

2024-04-09 02:43:05

    隨著政府、金融、電信、能源等各企事業單位數據中心建設和運營的逐步深入，TB甚至PB級運營數據已經屢見不鮮，數據計算全面進入大數據時代。另一方面，除了數據存儲、數據管理等典型業務需求外，數據中心管理者更需要數據挖掘和決策分析等一整套解決方案。大數據分析已經成為當前典型迫切的業務需求。

    作為國產資料庫領軍企業的人大金倉，積極迎接大數據時代對海量數據分析提出的技術挑戰，繼發布金倉資料庫KingbaseES V7和金倉商業智能統一平臺Kingbase SmartBI V2之後，全新推出面向商業智能和在線數據分析應用領域的高性能10TB級海量資料庫管理系統：金倉分析型資料庫—KingbaseES V7分析版。KingbaseES V7分析版內置行存儲和列存儲兩大數據存儲和執行引擎，提供高效的透明數據壓縮和並行數據裝載能力，集成高性能並行處理技術和豐富的OLAP優化手段。能夠靈活應對各種紛繁複雜的業務場景，是現代數據中心構建在線事務處理和商業數據分析混合業務應用的非常好的選擇。

    KingbaseES 分析版的技術架構如下圖表示：

    Kingbase ES 分析版從架構上可以分為三層。最底層是數據存儲層，主要完成存儲管理、封鎖、並發控制、事務管理、日誌管理等。第二層是執行引擎層，主要完成SQL 接口底層實現、解析、優化和並行處理等。最上層是接口層，主要包括各種資料庫訪問接口，以及資料庫管理工具和開發工具的支持。

    可以看到，Kingbase ES 分析版被設計為行列兩個存儲引擎和執行引擎。使得KingbaseES資料庫可以從容應對各種OLTP和OLAP混合業務場景，滿足企業複雜業務場景對資料庫系統的綜合性技術要求。

    金倉分析型資料庫—Kingbase ES 分析版的總體技術特性如下：

    · 雙重引擎，深度加速

    KingbaseES分析版內置行、列兩大數據存儲和執行引擎，可以靈活應對OLAP+OLTP混合業務場景。按列存儲有效適應海量數據分析應用對數據列敏感的業務場景，將對列的聚集操作和更新等操作，分別轉化為對磁碟的順序讀和順序寫, 從而從核心層面有效降低數據I/O，加速數據查詢處理性能。同時，按列存儲可以獲得10-40倍以上的高效透明的垂直數據壓縮能力，有效降低數據存儲開銷，減少數據裝載和I/O的時間，從而降低現代企業數據中心的總體構建和運維成本，提升業務運行效率。

    · 智能索引，多重優化

    索引在傳統資料庫中的維護帶來了較大的維護開銷，尤其數據量持續增長後表現非常明顯。KingbaseES分析版的列存儲引擎採用被稱作自適應優化器的極小的元數據層來替換常規的索引，自動為每列數據維護粗粒度的索引而不需要用戶手動維護。同時，列存儲引擎還內置分段統計、掃描結點的物化推遲等多重優化技術，大幅提升OLAP查詢性能。

    · 快速裝載，並行計算

    分析型業務場景往往伴隨著海量歷史數據，從而對數據加載、處理時效和數據管理的可擴展能力有著更高的能力要求。KingbaseES分析版通過對數據裝載功能進行了並行優化，充分調度現代多核CPU處理能力，提供單表300GB/小時、多表500GB/小時的高速數據裝載速度。同時，KingbaseES分析版還內置高效的並行SQL 執行方法，並支持與金倉雲數據集群架構整合，提供基於大規模並行處理（MPP）架構的PB級數據管理線性擴展能力。

    · 接口豐富，使用便捷

    金倉分析型資料庫有效繼承金倉通用資料庫在數據類型、函數、SQL以及與第三方資料庫兼容性上的豐富支持能力，提供統一一致的開發接口和管理界面，有效降低學習、開發和維護成本，保證業務應用的平滑遷移。

    1秒   PK  數月時間

    我們來看下應用了大數據分析型資料庫後能給客戶帶來哪些好處？

    據專家分析：在利用大數據的過程中，數據的分析處理速度往往決定了數據應用的成敗，用戶很難接受一個長達數月的分析。分析型資料庫替代傳統行存資料庫解決了用戶海量歷史數據的存儲和I/O開銷過大、加載時間過長、無法有效結合業務場景提升數據查詢效率等問題。而分析型資料庫與實時商業智能分析技術的綜合運用可以將分析的響應速度提高到秒級,完全可以滿足用戶的業務要求，使用戶獲得良好的應用體驗。

    誰會用到金倉分析型資料庫？我們來看兩個大數據分析應用的案例：
    ① 沃爾瑪是最早通過利用大數據而受益的美國企業之一，擁有世界上最大的數據倉庫系統。通過對消費者的購物行為等海量數據進行分析，沃爾瑪成為最了解顧客購物習慣的零售商，並創造了「啤酒與尿布」的經典案例。早在2007年，沃爾瑪就建立了一個超大的數據中心，其存儲能力高達4Pb以上。② 3月11日日本大地震發生後僅9分鐘，美國國家海洋和大氣管理局(NOAA)就發布了詳細的海嘯預警。隨即，NOAA通過對海洋傳感器獲得的實時數據進行計算機模擬，製作的海嘯影響模型出現在YouTube等網站。

    大數據分析已經不再局限於網際網路的範疇和IT領域，有大量數據生成的用戶數據掘金都有可能用到：例如銀行、公共事業部門、科學、製造以及氣象等眾多行業，都出現海量的數據應用，如果能應用金倉分析型資料庫及商業智能平臺等合理的管理、挖掘這些數據資源，對所在行業的發展將帶來不可估量的巨大推動作用。

    人大金倉總裁任永傑博士表示：「在大數據時代，用戶的需求不僅僅局限於數據存儲，更向數據管理、分析、展現、挖掘、保護及相關服務等多元化方向發展。人大金倉將立足基礎、融合吸收、重點突破，金倉分析型資料庫、商業智能平臺等只是金倉應對大數據挑戰推出的部分解決方案，我們計劃用3-5年的時間，將人大金倉打造成為國產大數據中心一站式解決方案提供商，迎接大數據、大應用、大服務的時代。」

    人大金倉分析型資料庫的推出，順應了大數據分析時代的市場趨勢，豐富了金倉大數據中心一站式服務的產品線，為用戶進一步高效挖掘數據價值、提高社會效益和經濟效益貢獻了一份力量。人大金倉分析型資料庫的推出必將引發新一輪基於國產資料庫大數據分析的應用高潮，對推進大數據時代我國信息化建設帶來深遠而積極的影響。