一種海量數據存儲方法
2023-08-07 21:09:36
專利名稱：一種海量數據存儲方法
技術領域：
本發明涉及計算機數據存儲技術領域，具體涉及一種基於分布式哈希表DHT與內存資料庫存儲相結合的海量數據存儲方法。
背景技術：
近年來，「電梯驚魂事件」在各大一線城市頻繁上演，北京、深圳、上海、廣州等城市電梯死亡、傷人事故報導不斷，成為繼食品危機之後又一觸及百姓神經的重大敏感事件，為了有效防範和堅決遏制電梯事故發生，電梯安全管理平臺應運而生。電梯安全管理平臺主要實現對電梯運行遠程動態檢測、故障診斷和記錄，可以通過視頻實時了解電梯的運行情況，在電梯出現關人、衝頂、沉底等故障時，第一時間獲悉並及時採取措施，而且對於電梯的檢驗、維保等狀況，政府部門能夠實時掌握，可以及時敦促有關方面落實責任，達到技術監管的目的，同時，通過對電梯運行狀況的數據處理，還能掌握不同品牌、不同地點電梯的安 全運行與質量狀況，起到預警、分析、處理的作用。在市場和政府政策的推動下，以區、市為單位的大型的電梯安全管理平臺的概念的提出，在理論上保障了區、市領導能夠在發生事故時第一時間掌握信息、第一時間發出指令、第一時間實施救援、第一時間調查處理。但是在實際研發中，由於區、市為單位的大型的電梯安全管理平臺具有海量的數據，每天具有幾十萬甚至上億條的數據記錄，對現有的資料庫的穩定性和擴展性帶來極大的挑戰。現有的數據存儲策略是將數據保存到硬碟上，再進行讀取，一般是處理永久、穩定的數據。例如專利申請號為CN200810216695. I的發明，提供一種海量數據存儲方法，採用文件伺服器來管理海量文件數據，具體存儲的時候，首先讀取DICOM圖像文件，根據其中特定的數據元素，對所述DICOM圖像文件進行存儲，包括步驟:A1、建立樹結構目錄的根目錄；A2、求取所述DICOM圖像文件中的一種唯一性標識的Hash值，建立以所述Hash值命名的第一級子結點目錄；A3、以所述DICOM圖像文件中的SOP Instance UID命名所述DICOM圖像文件，將所述DICOM圖像文件存儲於第一級子結點目錄中。上述數據存儲方法雖然在處理海量數據時具有良好的穩定性，但其同樣強調維護數據的完整性、一致性，但很難顧及有關數據及其處理的定時限制，不能滿足電梯報警在實際應用中的實時性的需要。再例如，專利申請號為CN201010246288. 2的發明，提供了一種支持海量存儲的內存資料庫方法，使用內存資料庫來管理海量數據，並且改進了當物理資料庫有大量的數據需加載到內存時，會存在內存不足的情況，具體方案包括一個內存資料庫將用戶要訪問且不在內存資料庫中的記錄從一個物理資料庫載入，當內存資料庫使用內存達到上限時，定時清除內存資料庫中使用機率低於設定值的記錄。上述方案在一定程度上解決了數據存儲的時限性問題，但是該方案把大量的數據全部加載到內存中，這對伺服器的硬體要求非常高，普通企業很難承受
發明內容
本發明所要解決的技術問題是提供一種海量數據存儲方法，基於分布式哈希表DHT與內存資料庫存儲相結合的方案，解決以區、市為單位的大型的電梯安全管理平臺的海量數據的存儲的即時性問題。為了解決上述技術問題，本發明所採用的思路是，為每臺待監控的電梯配備數據採集主機，以區、市為單位的大型的電梯安全管理平臺安裝於監控中心，該數據採集主機負責將數據傳輸至監控中心的內存資料庫伺服器集群。內存資料庫伺服器集群是由多臺內存資料庫伺服器組成，這多臺內存資料庫伺服器採用無主模式(沒有一個集中管理的內存資料庫伺服器)，來實現大規模內存存儲。一種海量數據存儲方法，包括以下步驟
步驟I:得到目前活動的內存資料庫伺服器列表；其具體包括
步驟11:在數據採集主機上建立活動的(目前正常工作的)內存資料庫伺服器的IP位址表，並通過「心跳檢測」程序定期向各內存資料庫伺服器發送心跳檢測信號；各內存資料庫伺服器通過「心跳響應」程序對數據採集主機發送的心跳檢測信號向數據採集主機發送響應信號；
步驟12 :數據採集主機判斷各內存資料庫伺服器對心跳檢測信號進行響應的時間，如果一內存資料庫伺服器沒有在規定時間響應，則認為該內存資料庫伺服器已下線，則從IP位址表中刪除該內存資料庫伺服器；數據採集主機如果重新收到已下線的內存資料庫伺服器的響應信號，則向IP位址表中插入該內存資料庫伺服器的IP位址；
通過上述方式，實時更新數據採集主機上的IP位址表，從而得到目前活動的內存資料庫伺服器列表。步驟2 :把待存儲的數據整理為Key-Value的Hash字符串值索引格式，存儲於關係資料庫和Hash數據表中，並將其映射到環形的Hash空間上；所述待存儲的數據包含數據來源的數據採集主機IP位址以及目標內存資料庫伺服器的IP位址；
步驟3 :把內存資料庫伺服器的IP位址映射到環形的Hash空間上
步驟4:建立內存資料庫伺服器上的內存資料庫與Hash鍵值的對應映射數組PositionToDB，也即每臺內存資料庫伺服器對應的各組Hash鍵值的存儲映射關係，以及內存資料庫伺服器的各虛擬伺服器的虛擬資料庫的散列位置存儲數組DBtoPosition，從而得到數據、虛擬資料庫與實際資料庫的映射關係，並進行數據存儲，具體存儲過程包括
步驟41 :當某條數據要存儲到內存資料庫的時候，首先對該數據的關鍵字進行Hash，得到Key ；
步驟42 :根據步驟41得到的Key，搜索內存資料庫與Hash鍵值的對應映射數組PositionToDB (即Hash鍵值映射到資料庫節點的對照表,相當於確定將hash數據存儲到哪一個內存資料庫伺服器節點上)的索引值，當搜索到某個索引值>該Key時，則停止搜索，並存儲該索引值；否則把該數組中的第一個索引值當作所要查找的索引值；
步驟43 :根據步驟42找到的索引值，依據數據、虛擬資料庫與實際資料庫的映射關係，得到內存資料庫的伺服器IP位址，並把該條數據發送給該內存資料庫，對應的內存資料庫接收並存儲。進一步的，本發明的海量數據存儲方法還包括
步驟5 :數據備份，其具體包括為保證數據存取的實時性，本方案中數據備份採用異步方式，數據採集主機在發送數據的時候，如果預設的備份數量超過預設值，則從環形的Hash空間中查找後繼的內存資料庫，也即從內存資料庫與Hash鍵值的對應映射數組PositionToDB中查找後繼的內存資料庫，同時要確保查找到的內存資料庫與先前備份的內存資料庫實際屬於不同的內存資料庫，以保證備份被保存在不同的內存資料庫伺服器上，內存資料庫伺服器在收到數據後，首先存儲數據，然後再按照數據採集主機提供的後繼的內存資料庫所在的內存資料庫伺服器的IP位址，直接將該數據複製到該內存資料庫裡。進一步的，對於上述步驟5的數據備份，其存取策略是由於數據備份採用異步方式進行，因此，備份數據可能存在不一致的情況，為克服數據不一致的缺陷，對於步驟5的數據備份，對備份數據的存取採用NWR規則，即做N個備份；寫入至少W份才認為備份成功；讀備份數據的時候，至少讀取R個備份才認為讀到的數據是一致的；其中W+R>N。進一步的，本發明的海量數據存儲方法還包括異常情況處理，當數據採集主機判、斷出現內存資料庫伺服器宕機情況，進行以下處理
第一，根據數據採集主機上存儲的IP位址表，找到宕機的內存資料庫伺服器的IP位址，根據該IP位址的Hash值刪除數組PositionToDB與DBToPosition中對應的內容，其中，PositionToDB是內存資料庫與Hash鍵值的對應映射數組，DBToPosition是內存資料庫伺服器的各虛擬伺服器散列位置的存儲數組；
第二，由於數據備份存儲在內存資料庫伺服器集群的不同的內存資料庫伺服器上，故根據數據來源的數據採集主機的IP位址與目標內存資料庫伺服器的IP位址，將缺失的數據從其他正常工作的內存資料庫伺服器上獲取。當數據採集主機判斷有新的內存資料庫伺服器時，進行以下處理
第一，將新增的內存資料庫伺服器映射到環形的Hash空間，根據Hash值往數組PositionToDB與DBToPosition中增加相應的元素，並確保PositionToDB索引是有序的；第二，根據數組PositionToDB查找到該資料庫後繼內存資料庫，查找滿足「後繼內存資料庫的移動索引值小於等於新內存資料庫Hash值」條件的數據，移動到新的內存資料庫上。本發明採用上述方法，具有以下優點
1.本發明基於分布式哈希表DHT與內存資料庫存儲相結合的方案，應用於以區、市為單位的大型的電梯安全管理平臺，解決了其海量數據的存儲的即時性問題；
2.本發明提供的存儲方法同時具備數據備份功能，該數據備份採用異步方式進行，不影響數據存儲的即時性；且採用NWR規則，防止了備份的數據與原數據可能存在不一致的情況；
3.本發明還包括異常情況處理，在出現內存資料庫伺服器宕機的情況下進行自我修復。
圖I是本發明的實施例的系統架構示意 圖2是本發明的實施例的步驟2的示意 圖3是本發明的實施例的步驟3的示意 圖4是本發明的實施例的步驟4的示意圖。
具體實施例方式現結合附圖和具體實施方式
對本發明進一步說明。現以應用於以區、市為單位的大型的電梯安全管理平臺的海量數據存儲為例來闡述本發明的具體實施。如圖I所示，首先為每臺待監控的電梯配備數據採集主機，以區、市為單位的大型的電梯安全管理平臺安裝於監控中心，該數據採集主機負責將數據傳輸至監控中心的內存資料庫伺服器集群。內存資料庫伺服器集群是由多臺內存資料庫伺服器組成，這多臺內存資料庫伺服器採用無主模式運行，即沒有一個集中管理的內存資料庫伺服器，各個內存資料庫伺服器之間是平行的關係，來實現大規模內存存儲。
本發明的海量數據存儲方法具體存儲步驟如下
步驟I:數據採集主機上安裝「心跳檢測」程序，並建立活動的(即目前正常工作的)內存資料庫伺服器的IP位址表；各內存資料庫伺服器裝有「心跳響應」程序，數據採集主機通過「心跳檢測」程序定期向各內存資料庫伺服器發送心跳檢測信號，若規定時間內未接收到內存資料庫伺服器的響應信號，則表示該內存資料庫伺服器已下線，則從IP位址表中刪除該內存資料庫伺服器；如果數據採集主機重新受到已下線的內存資料庫伺服器的響應信號，則向IP位址表中插入該內存資料庫伺服器的IP位址，通過這種方式，可以實時更新數據採集主機上的內存資料庫伺服器IP位址表，用來確定目前正常工作的內存資料庫伺服器。上述過程中的「心跳檢測」為本領域技術人員所熟知，這裡不再贅述。步驟2 :把待存儲的數據整理為Key-Value的Hash字符串值索引格式，存儲於關係資料庫和Hash數據表中，映射到環形的Hash空間上；具體實現方法如下首先，通過電梯的數據採集主機把採集到的數據整理成資料庫可以存儲的格式，同時設置欄位用來記錄數據來源的數據採集主機IP位址以及目標內存資料庫伺服器的IP位址。如圖2所示，假設現在用η位地址空間，則可以把環形Hash空間進行2n等分，分別編號為O — (2n_l)。把每條數據記錄的「來源數據採集主機IP位址+記錄主鍵」當成一個關鍵字，然後對此關鍵字進行MD5進行加密，當然也可以採用其他方式加密；然後可以適當的截取若干位(假設這裡n=32，則截取前4個字節)作為Hash值Key，最後根據Hash值的大小映射到環形Hash空間上。步驟3 :把內存資料庫伺服器的IP位址映射到環形的Hash空間上
根據步驟2中的Hash算法，並對各數據採集主機中的內存資料庫伺服器IP位址表的IP值進行Hash獲得DKey值，然後散列到環形Hash空間上。為了保證數據儘可能均勻地存儲至內存資料庫伺服器，本方案引入虛擬資料庫的概念，也即根據內存資料庫伺服器的存儲能力(存儲能力越強，虛擬臺數越多)，把一臺內存資料庫伺服器虛擬成M臺，然後分別對各虛擬伺服器進行Hash，這裡取「IP#1」到「IP#M」為這M臺虛擬伺服器的Hash關鍵字與資料庫ID，最後散列到環上，假設這裡把第一臺內存資料庫伺服器虛擬成兩臺虛擬伺服器，則其示意圖如圖3所示。步驟4 :建立內存資料庫與Hash鍵值的對應映射數組PositionToDB，以及內存資料庫伺服器的各虛擬伺服器的虛擬資料庫的散列位置存儲數組DBtoPosition，從而得到數據、虛擬資料庫與實際資料庫的映射關係，並進行數據存儲，其數據存儲方案如下根據步驟3的原理，將內存資料庫伺服器的M臺虛擬伺服器的M個虛擬資料庫與該內存資料庫伺服器的內存資料庫的散列位置建立映射數組DBtoPosition，也即一臺內存資料庫伺服器的各虛擬伺服器的散列位置存儲數組，也可以稱為一個內存資料庫的各虛擬資料庫的散列位置存儲數組。虛擬資料庫較多的情況下可使用二叉樹進行存儲。例如，將內存資料庫伺服器的IP位址作為實際資料庫的標誌，則 DBtoPosition[IP][]={{PositionL, …，PositonM}， …，{Positions， …
PositonZ}}，
PositionToDB[Postion] = {DBl#l，DB2，DB1#2，…，DBN};
其中，
DBToPosition [DB1_IP] = {Hash (DB1_IP#1)，Hash (DB1_IP#2)}，表示內存資料庫 DBl 被虛擬成兩個虛擬資料庫以及該虛擬資料庫的散列位置；
PositionToDB [Hash (DB1_IP#1) ] = {DB1_IP}，表示散列位置 Hash (DB1_IP#1)對應虛擬資料庫DB1#1 (也即虛擬伺服器)，這裡保證該數組的索引值是有序的，默認從小到大排序；根據以上描述，可以得到數據、虛擬資料庫與實際資料庫的映射關係圖如圖4所示。具體存儲步驟如下
步驟41 :當某條數據要存儲到內存資料庫的時候，首先根據步驟2的方法對該數據的關鍵字進行Hash，得到Key ;
步驟42 :根據步驟41得到的Key，搜索內存資料庫與Hash鍵值的對應映射數組PositionToDB的索引值，當搜索到某個索引值>該Key時，則停止搜索，並存儲該索引值；否則把該數組中的第一個索引值當作所要查找的索引值；
步驟43 :根據步驟42找到的索引值，依據數據、虛擬資料庫與實際資料庫的映射關係，得到內存資料庫伺服器的IP位址，並把該條數據發送給該內存資料庫伺服器上的內存資料庫，對應的內存資料庫接收並存儲；
步驟44 :返回繼續執行步驟41-步驟43，直到所有數據存儲完畢步驟5 :數據備份為為保證數據存取的實時性，本方案中數據備份採用異步方式，數據採集主機在發送數據的時候，如果預設的備份數量超過預設值，則從環形的Hash空間中查找後繼的內存資料庫，也即從內存資料庫與Hash鍵值的對應映射數組PositionToDB中查找後繼的內存資料庫，同時要確保查找到的內存資料庫與先前備份的內存資料庫實際屬於不同的內存資料庫，以保證備份被保存在不同的內存資料庫伺服器上，內存資料庫伺服器在收到數據後，首先存儲數據，然後再按照數據採集主機提供的後繼的內存資料庫所在的內存資料庫伺服器的IP位址，直接將該數據複製到該內存資料庫裡。上述步驟5的備份數據存取策略由於數據備份採用異步方式進行，因此，備份數據可能存在不一致的情況，為克服數據不一致的缺陷，這裡對備份數據的存取採用NWR規則這裡N代表總共需要做N個備份，W代表要寫入至少W份才認為備份成功，R表示應用程式需要讀備份數據的情況下，至少需要讀取R個備份才認為讀到的數據是一致的，這些參數都可以通過電梯的數據採集主機進行設置。配置的時候要求W+R > N，這樣就保證至少能讀取到一個最新的數據版本。另外，本發明還對異常情況進行處理，例如出現內存資料庫伺服器出現宕機情況第一，根據數據採集主機上存儲的IP位址表，找到宕機IP，根據IP的Hash值刪除數組PositionToDB 與 DBToPosition 中對應的內容；
第二，由於數據備份存儲在不同的內存資料庫伺服器上，根據數據來源地址與目標資料庫地址，缺失的數據可以從別的伺服器上獲取。當增加新的內存資料庫伺服器時
第一，根據步驟2的方法，把新增內存資料庫伺服器映射到環形Hash空間，根據Hash值往數組PositionToDB與DBToPosition中增加相應的元素，並確保PositionToDB索引是有序的；
第二，根據數組PositionToDB查找到該內存資料庫的後繼內存資料庫，找出符合「後繼的內存資料庫移動索引值小於等於新內存資料庫Hash值」條件的數據，移動到新的內存資料庫上，比如，根據圖3，假設DB2是新插入的資料庫，則只要把Hash值在區間[KEY1，DKEY2]的數據移動到DB2內存資料庫伺服器上即可。 儘管結合優選實施方案具體展示和介紹了本發明，但所屬領域的技術人員應該明白，在不脫離所附權利要求書所限定的本發明的精神和範圍內，在形式上和細節上可以對本發明做出各種變化，均為本發明的保護範圍。
權利要求
1.一種海量數據存儲方法，其特徵在幹包括以下步驟 步驟I:得到目前活動的內存資料庫伺服器列表； 步驟2 :把待存儲的數據整理為Key-Value的Hash字符串值索引格式，存儲於關係資料庫和Hash數據表中，並將其映射到環形的Hash空間上；所述待存儲的數據包含數據來源的數據採集主機IP位址以及目標內存資料庫伺服器的IP位址； 步驟3 :把內存資料庫伺服器的IP位址映射到環形的Hash空間上； 步驟4:建立內存資料庫伺服器上的內存資料庫與Hash鍵值的對應映射數組PositionToDB，以及內存資料庫伺服器的各虛擬伺服器的虛擬資料庫的散列位置存儲數組DBtoPosition，從而得到數據、虛擬資料庫與實際資料庫的映射關係，並進行數據存儲，具體存儲過程包括 步驟41 :當某條數據要存儲到內存資料庫的時候，首先對該數據的關鍵字進行Hash， 得到Key ； 步驟42 :根據步驟41得到的Key，搜索內存資料庫與Hash鍵值的對應映射數組PositionToDB的索引值，當搜索到某個索引值 > 該Key吋，則停止捜索，並存儲該索引值；否則把該數組中的第一個索引值當作所要查找的索引值； 步驟43 :根據步驟42找到的索引值，依據數據、虛擬資料庫與實際資料庫的映射關係，得到內存資料庫伺服器的IP位址，並把該條數據發送給該內存資料庫伺服器上的內存資料庫，對應的內存資料庫接收並存儲； 步驟44 :返回繼續執行步驟41-步驟43，直到所有數據存儲完畢。
2.根據權利要求I所述的ー種海量數據存儲方法，其特徵在於還包括 步驟5 :數據備份，其具體過程包括為保證數據存取的實時性，本方案中數據備份採用異步方式，數據採集主機在發送數據的時候，如果預設的備份數量超過預設值，則從環形的Hash空間中查找後繼的內存資料庫，也即從內存資料庫與Hash鍵值的對應映射數組PositionToDB中查找後繼的內存資料庫，同時要確保查找到的內存資料庫與先前備份的內存資料庫實際屬於不同的內存資料庫，以保證備份被保存在不同的內存資料庫伺服器上，內存資料庫伺服器在收到數據後，首先存儲數據，然後再按照數據採集主機提供的後繼的內存資料庫所在的內存資料庫伺服器的IP位址，直接將該數據複製到該內存資料庫裡。
3.根據權利要求2所述的ー種海量數據存儲方法，其特徵在於對於步驟5的數據備份，對備份數據的存取採用NWR規則，具體是做N個備份；寫入至少W份才認為備份成功；讀備份數據的時候，至少讀取R個備份才認為讀到的數據是一致的；其中W+R>N。
4.根據權利要求I所述的ー種海量數據存儲方法，其特徵在於所述步驟I得到目前活動的內存資料庫伺服器列表具體包括 步驟11 :在數據採集主機上建立活動的內存資料庫伺服器的IP位址表，並通過「心跳檢測」程序定期向各內存資料庫伺服器發送心跳檢測信號；各內存資料庫伺服器通過「心跳響應」程序對數據採集主機發送的心跳檢測信號向數據採集主機發送響應信號； 步驟12 :數據採集主機判斷各內存資料庫伺服器對心跳檢測信號進行響應的時間，如果ー內存資料庫伺服器沒有在規定時間響應，則認為該內存資料庫伺服器已下線，則從IP位址表中刪除該內存資料庫伺服器；數據採集主機如果重新收到已下線的內存資料庫伺服器的響應信號，則向IP位址表中插入該內存資料庫伺服器的IP位址。
全文摘要
本發明涉及計算機數據存儲技術領域。本發明一種海量數據存儲方法，其包括以下步驟步驟1得到目前活動的內存資料庫伺服器列表；步驟2把需要待存儲的數據整理為資料庫可以存儲的格式，並將其映射到環形的Hash空間上，其中上述數據同時包含數據來源的主機IP位址以及目標內存資料庫伺服器的IP位址；步驟3把內存資料庫伺服器的IP位址映射到環形的Hash空間上；步驟4建立兩個資料庫與資料庫的散列位置建立映射數組，也即一臺資料庫伺服器的各虛擬伺服器散列位置存儲數組，得到數據、虛擬資料庫與實際資料庫的映射關係，並對待存儲的逐條數據進行存儲。本發明應用於海量數據的即時存儲。
文檔編號G06F17/30GK102737127SQ20121020412
公開日2012年10月17日 申請日期2012年6月20日 優先權日2012年6月20日
發明者林凡, 林蔚, 黃文林 申請人:廈門聚海源物聯網絡技術有限公司