一種電力系統實時資料庫內存管理方法
2023-07-05 10:47:36 2
專利名稱：一種電力系統實時資料庫內存管理方法
一種電力系統實時資料庫內存管理方法技術領域
本發明屬於實時資料庫領域，尤其是電力系統的數據量極為龐大的實時資料庫的 內存管理方法。
背景技術：
實時資料庫是資料庫技術結合實時處理技術產生的，在電力系統領域，隨著調度 自動化水平的不斷提高以及計算機監控系統的不斷發展，系統採集的數據規模越來越大。 實時資料庫管理系統不僅需要實時存儲海量的採集數據，而且需要為企業的生產管理和調 度、數據分析、決策支持提供多種數據管理功能。針對電力系統這一特定應用場景，實時數 據庫需要滿足電力系統海量信息存儲的需求，實時處理性能，在普通PC機上的數據提交吞 吐率能達到每秒百萬事件以上，需要充分挖掘現代處理器技術、作業系統技術、存儲器技術 和網絡通訊技術的潛力。本發明主要研究實時資料庫的內存管理技術,使實時資料庫的數 據處理能力能夠達到每秒百萬事件以上，結合虛擬內存和堆空間內存管理方法的優點，通 過這種特殊的內存管理方法，實時資料庫能夠合理地分配和使用內存資源，提高計算機資 源的利用率。發明內容
本發明的目的是提出一種虛擬內存和堆空間內存管理方法，該方法針對電力系統 海量、實時、高頻的數據地採集、處理並及時作出正確響應的特定需求，保證了實時資料庫 數據的高效存儲和檢索。
本發明所要解決的技術問題是內存與海量實時數據的矛盾，提供一種實時數據 庫虛擬內存管理技術方法，實現分布式實時資料庫的高效存儲和檢索。
本發明技術方案如下步驟1、訪問數據，虛擬內存管理機制首先判斷數據所在的內存塊是否在內存中，在內 存中，進入步驟2 ;不在內存中，進入步驟3 ;步驟2、直接通過內存地址進行訪問；步驟3、判斷數據是否在磁碟文件中，在磁碟文件中進入步驟4 ;不在磁碟文件中，訪問 違例；步驟4、在磁碟文件中，先把磁碟中數據塊加載到內存，然後再進行訪問。
引用堆空間內存管理，主要包括以下步驟1) 一次申請比較大的內存塊；(2)對小 內存的申請在大的內存塊中進行預分配；3)對不用的內存進行回收。
本發明方法的有益效果是，能夠針對特定的應用場景對內存進行合理分配，把要 處理的海量數據文件進行分塊，只把需要的那部分數據放入內存，大大減少了內存的壓力； 同時對臨時小量數據的內存也進行分塊管理並且通過預分配機制使計算機的物理內存得 到充分的利用。
圖1實時資料庫虛擬內存機制。
圖2實時資料庫堆空間管理機制。
圖3為實時資料庫通過虛擬內存管理訪問數據的流程。
具體實施方式
下面說明本發明的優選實施例。
把磁碟中的文件按一定的大小塊進行劃分，在需要利用某一塊磁碟空間的時候， 通過內存映射的方式映射到內存中，並且按照實時資料庫的虛擬內存管理機制對映射到內 存中的塊進行管理，如果內存中的映射塊超過設定的上限，可以按照一定的算法比如最近 最久未使用算法將空閒的數據塊換出到磁碟以得到更多空閒內存供使用。
1.對持久化數據的內存管理方案技術方案所依據的原理Win32訪問虛擬內存時的處理流程 當數據已經在物理內存中時，虛擬內存管理器只需將指向該數據的虛擬地址映射為物 理地址指針，即可訪問到物理內存中的真正數據。這不涉及磁碟10，速度快。
當第一次訪問一段剛剛提交的內存中的數據時，因為並沒有真正的物理內存分配 給它。
或者該數據以前已被訪問過，但被虛擬內存管理器置換出了內存。此時會引發缺 頁錯誤，虛擬內存管理器會先檢測此數據是否在調頁文件中已有備份空間，有的話，就在物 理內存中找到合適的頁，並將存放在磁碟的備份數據置換進物理內存。
虛擬內存管理器首先檢查當前物理內存是否有空閒頁，如果有，直接使用，否則， 根據調頁算法首先選出某個頁，檢查此頁狀態，如果此頁自上次調入尚未被修改，則直接使 用，否則要先將此頁內容寫道調頁文件中與此頁相對應的備份頁中，並將此頁標為空閒頁。
此時，有了一個空閒頁可以使用，虛擬內存管理器會再次檢測，此數據是否剛被申 請且第一次訪問，直接清0，不是的話，需要將調頁文件中該頁的備份頁讀入，並將此頁改為 活動頁。此時數據已在物理內存中，通過虛擬地址映射,可以直接訪問。
借鑑作業系統虛擬內存管理的概念，提出了一種實時資料庫虛擬內存管理技術， 主要是為了滿足海量數據的實時處理需求而設計的一種內存與磁碟之間的換入換出技術， 同時也是一種數據持久化技術。通過索引確定需要從文件系統中加載某塊數據時，由統一 的虛擬內存管理負責將數據從物理文件加載到內存，並按照LRU策略對高速緩存區進行統 一管理。
實時資料庫虛擬內存管理主要是對多文件存儲空間實現定長度結構空間的分配 和回收，同時基於文件映射內存技術，實現用戶層的虛擬內存技術，結合實際文件位置和內 存數據結構，將實時資料庫與多文件存儲空間的接口簡化為內存和指針的形式。
在實時資料庫的虛擬內存管理機制中有一系列的數據結構對其內存塊進行管理， 這些數據結構保證了虛擬內存管理機制的順利運行，如圖1所示；作業系統提供的_ap機制可以讓我們能夠把磁碟中的文件按塊進行劃分，並一一映 射到內存中。實時資料庫的虛擬內存管理不斷的將新來的數據存放到虛擬內存塊中，在內 存塊中有更精細的對這內部的小內存進行分配的機制，用來對接收到的數據進行有序排放，並在一定時間內對這些內存塊進行同步，使其存放到硬碟中，同時將數據已同步到硬碟 的虛擬內存塊進行釋放。這樣就完成了虛擬內存換入換出和實時海量數據的持久化。
2.對臨時數據的內存管理方案除了對虛擬內存空間進行管理，實時資料庫也需要對運行過程中的臨時數據所需的空 間進行快速分配和釋放，以達到數據處理的實時性，這些空間的申請來源於內存的堆空間， 因此需要對此內存空間進行有效的管理。
堆空間內存管理概念是針對虛擬內存提出的，虛擬內存主要用作數據的持久化； 堆空間內存主要用在運行過程中對臨時數據的處理。這些內存在實際的應用中有如下特 點(1)一次申請的內存量小；(2)申請和釋放非常頻繁；(3)在程序的堆空間進行操作。對 性能要求極高的實時資料庫來說，頻繁的調用作業系統API是不能忍受的，它將使資料庫 的性能極大的下降；同時堆內存的申請是比較耗時的操作，如果頻繁使用將使程序在用戶 空間和內核空間頻繁切換，效率大大降低。
針對這種場景，為了提高資料庫的實時性，本文提出了堆空間內存管理概念，使數 據庫在運行過程中減少new/delete操作，充分利用內存，主要採取以下措施(I)一次申請 比較大的內存塊；(2)對小內存的申請在大的內存塊中進行預分配；(3)對不用的內存進行 回收。如圖2所示；分配較大的內存塊並進行預分配有兩個好處一是減少了作業系統分配內存的次數， 二是在內存分配好後就對其進行數據結構進行初始化，使其在需要時能夠快速分配內存。 在每個內存塊的內部有靈活的指針，能方便小塊內存的分配和回收。在申請到數據塊後，需 要增加鍊表對其進行管理，以防止內存洩露，從而高效正確地使用內存。
權利要求
1.一種電力系統實時資料庫內存管理方法，其特徵在於 步驟1、訪問數據，虛擬內存管理機制首先判斷數據所在的內存塊是否在內存中，在內存中，進入步驟2 ;不在內存中，進入步驟3 ; 步驟2、直接通過內存地址進行訪問； 步驟3、判斷數據是否在磁碟文件中，在磁碟文件中進入步驟4 ;不在磁碟文件中，訪問違例； 步驟4、在磁碟文件中，先把磁碟中數據塊加載到內存，然後再進行訪問。
2.根據權利要求1所述的方法，其特徵在於引用堆空間內存管理，主要包括以下步驟I) 一次申請比較大的內存塊；(2 )對小內存的申請在大的內存塊中進行預分配；3 )對不用的內存進行回收。
全文摘要
本發明屬於實時資料庫領域，尤其是電力系統的數據量極為龐大的實時資料庫的內存管理方法，針對內存與海量實時數據的矛盾，提出一種虛擬內存和堆空間內存管理方法，該方法針對電力系統海量、實時、高頻的數據地採集、處理並及時作出正確響應的特定需求，實現分布式實時資料庫的高效存儲和檢索。
文檔編號G06F17/30GK103020077SQ20111028614
公開日2013年4月3日 申請日期2011年9月24日 優先權日2011年9月24日
發明者周淳, 陳靜 申請人:國家電網公司, 江蘇瑞中數據股份有限公司