一種關係型資料庫的實時數據存儲和讀取方法
2023-06-08 13:45:11 2
專利名稱：一種關係型資料庫的實時數據存儲和讀取方法
技術領域：
本發明涉及一種資料庫的數據存儲和讀取方法，特別涉及一種關係型資料庫的實時數據存儲和讀取方法。
背景技術：
企業生產過程是不斷變化的動態過程，表徵生產運行的過程參數如溫度、壓力、流量、液位等等是時刻變化著的；企業生產過程賴以存在的物質基礎是生產設備，生產設備的運行參數如狀態、電流、電壓、功率、振動指標等等也是在不斷變化的；生產過程所處的環境條件如大氣壓強、溫度、溼度、易燃易爆、有毒、有害氣體濃度等等更是在不斷變化著的。生產過程實時數據無疑是企業最寶貴的信息資源之一。任何有進取精神的企業都希望完整地存儲過程數據，從而從生產過程的「過去」和「歷史」去分析過程運行的效率和 質量情況，並從中發現潛在的隱患，以提高企業的管理水平和エ藝技術水平。過程實時信息規模巨大、內容瞬息萬變的特徵給數據存儲技術帶來了前所未有的挑戰。實時資料庫RTDB (Real-Time Data Base)的概念最早出現在1988年3月的ACMSIGMOD Record的一期專刊中。標誌著實時資料庫這個新興研究領域的確立。實時資料庫是資料庫系統發展的ー個分支，是實時領域與資料庫領域的融合，它適用於處理不斷更新的快速變化的數據及具有時間限制的事務處理。實時資料庫技術是實時系統和資料庫技術相結合的產物，研究人員希望利用資料庫技術來解決實時系統中的數據管理問題，同時利用實時技術為實時資料庫提供時間驅動調度和資源分配算法。然而，實時資料庫並非是兩者在概念、結構和方法上的簡單集成。早期的信息系統受計算機硬體、軟體技術水平的制約，無法用面向業務處理的關係型資料庫存儲引擎解決實時數據的存儲問題，目前只有數家專業實時資料庫生產廠家，提供實時數據的存儲解決方案，如美國OSIsoft的PI實時資料庫，Aspen Technology的IP21等。因為是「專業」產品，沒有經過商業軟體市場的充分洗禮，所以其產品價格十分昂貴，大型企業實施實時信息系統僅實時資料庫軟體的成本投入可能都在百萬元人民幣以上。根據有關資料統計，目前國內企業生產過程信息化的ー個主要屏障正是實時資料庫軟體產品高昂的購置成本和總體擁有成本(TCO)。近年來，在企業信息化浪潮的推進下，關係型資料庫引擎技術得到了廣泛的應用，其軟體產品在市場的歷練中日臻完善成熟。企業IT人員對關係型資料庫軟體產品的應用、維護也日益得心應手。關係型資料庫引擎和實時資料庫引擎都是用來存儲數據，並以最高的性能給用戶提供可靠、可用的數據存取功能，同時自動進行存儲系統資源的自動管理。但在應用場景上有著重要的差別存儲規模關係型資料庫原來主要用於存儲企業的事務過程數據，而事務過程是需要人來參與的過程，ー個最繁忙的大型超市毎秒需要記錄的數據也不會超過幾百條。反之，實時資料庫引擎主要用於存儲企業的生產過程實時數據，隨著自動化控制技術的發展，現代企業的生產過程多是在控制設備控制下的連續化的不斷運行的過程，ー個典型的現代化エ裝置每秒產生上萬條的數據已是較為常見的情況。實時性因為事務過程需要人來參與，ー個事務過程從開始到結束起碼需要數分鐘的時間，最少也要數秒鐘時間，而現代生產過程基本上是自動過程，在毫秒級的時間內就可以完成一個過程。舉例說明，如果我們要存儲10000個エ位點I次/毎秒的採樣數據，存儲I年需要的磁碟存儲規模是數據的質量碼需要I個字節，時間戳記錄採樣時間偏移並精確到毫秒需要3個字節，數據假定為單精度浮點數為4個字節，即記錄ー個單精度浮點數需要8個字節。8X10000X3600X24X365 ^ 2350GB ^ 2. 29TB 平均每毫秒需要記錄10條數據實時數據引擎的存儲規模和實時性都是非常驚人的。從底層技術實現層面來說，關係型資料庫和實時資料庫都使用計算機作業系統的文件系統管理功能來存取數據，實時資料庫並不存在直接到磁碟的特殊技術手段。因為目前主流大容量磁碟還是以機械方式轉動的，所以文件IO是耗時的。提高存取性能，要從文件系統的高效緩衝著手，這對關係型資料庫和實時資料庫都是一致的。關係型資料庫系統採用事務管理來保證數據的完整性，同樣實時資料庫也不能忽視數據的完整性。因此，實現嚴密、高效的事務處理是關係型資料庫和實時資料庫共同的目標。從並發訪問控制來看，兩種系統追求的目標肯定都是一致的，即更大的安全並發度。其它方面，如索引結構、存取機制、恢復機制、日誌管理等，因為關係型資料庫有更多的「市場成熟度」，關係型資料庫產品在可用性、穩定性、可伸縮性、性價比方面有著更好的表現。業內認為無法使用關係型數據引擎存儲實時數據，理由是關係型資料庫讀寫速度慢，存取性能差關係型資料庫存儲效率低(不能壓縮數據)——摘自網際網路《關係資料庫、內存資料庫、實時資料庫的簡單比較》
權利要求
1.一種關係型資料庫的實時數據存儲和讀取方法，包括 (1)實時數據存儲 步驟I :接收來自外部的數據； 步驟2 :查找與接收的數據對應的數據緩存塊； 步驟3 :利用數據緩存塊記錄的數據使用第一算法判斷當前接收的數據是否需要記錄，若不需要記錄，則返回步驟1，若需要記錄，繼續步驟4 ; 步驟4 :將當前接收的數據寫入數據緩存塊； 步驟5 :判斷數據緩存塊是否已寫滿，若沒有寫滿，返回步驟1，若已經寫滿，繼續步驟6 ； 步驟6 :向資料庫引擎提交數據緩存塊中的數據； (2)實時數據讀取 步驟I):發出數據查詢請求； 步驟2):查找與查詢的數據對應的數據緩存塊； 步驟3):判斷當前查詢的數據是否全部在數據緩存塊中，若查詢的數據全部在數據緩存塊中，則返回查詢結果，返回步驟I)，否則繼續步驟4)； 步驟4):向資料庫引擎提交查詢請求，並將資料庫引擎返回的數據寫入臨時緩存區； 步驟5):若步驟3中存在不需要記錄的數據，則採用第二算法恢復相應的數據； 步驟6):若步驟3)中的數據緩存塊中有數據，則合併數據緩存塊和臨時緩存區中的數據，返回查詢結果。
2.根據權利要求I所述ー種關係型資料庫的實時數據存儲和讀取方法，其特徵在於所述步驟6中，先使用第三算法壓縮數據緩存塊中的數據，再向資料庫引擎提交數據緩存塊中的數據；所述步驟4)中，在將資料庫引擎返回的數據寫入臨時緩存區後，使用第三算法解壓縮臨時緩存區內的數據。
3.根據權利要求I所述ー種關係型資料庫的實時數據存儲和讀取方法，其特徵在於所述步驟2中，使用索引算法查找與接收的數據對應的數據緩存塊。
4.根據權利要求3所述ー種關係型資料庫的實時數據存儲和讀取方法，其特徵在於所述索引算法為紅黑樹索引算法。
5.根據權利要求I所述ー種關係型資料庫的實時數據存儲和讀取方法，其特徵在於所述第一算法為分段折線擬合數據過濾算法，所述第二算法為線性擬合算法。
6.根據權利要求2所述ー種關係型資料庫的實時數據存儲和讀取方法，其特徵在於所述第三算法為LZ壓縮算法。
全文摘要
本發明公開了一種關係型資料庫的實時數據存儲和讀取方法，包括實時數據存儲接收來自外部的數據；查找與接收的數據對應的數據緩存塊；利用數據緩存塊記錄的數據判斷當前接收的數據是否需要記錄；將當前接收的數據寫入數據緩存塊；判斷數據緩存塊是否已寫滿；向資料庫引擎提交數據緩存塊中的數據；實時數據讀取發出數據查詢請求；查找與查詢的數據對應的數據緩存塊；判斷當前查詢的數據是否全部在數據緩存塊中；向資料庫引擎提交查詢請求，並將資料庫引擎返回的數據寫入臨時緩存區；恢復相應的數據；合併數據緩存塊和臨時緩存區中的數據，返回查詢結果。本發明解決傳統關係型資料庫讀寫速度慢、存取性能差的問題。
文檔編號G06F17/30GK102831245SQ201210344460
公開日2012年12月19日 申請日期2012年9月17日 優先權日2012年9月17日
發明者戴華, 婁建新, 婁建宏 申請人:洛陽翔霏機電科技有限責任公司