區塊鏈元數據存儲系統及其存儲方法與檢索方法與流程
2023-06-03 11:28:31
本發明涉及數據存儲與檢索領域，尤其涉及一種元數據的存儲系統、存儲與檢索方法。
背景技術：
區塊鏈是一個去中心化去信任的集體維護的可靠資料庫，分布式網絡是區塊鏈的基礎設施，每個節點上產生的數據通過分布式網絡廣播到其他節點，其他節點通過工作量證明來驗證數據的真實性。分布式網絡是保證區塊鏈去中心化、不可篡改、可回溯特性的前提，在比特幣網絡中，正是由於有分布於全球的驗證節點，才使得比特幣的工作量證明機製得到認可，也才讓人們認識到了區塊鏈的價值。
分布式網絡是區塊鏈的基礎，而連接於分布式網絡中的每個節點都存儲有相同的數據交易記錄，也就是每個節點記錄相同的「一本帳」則是區塊鏈的最主要特徵，要保證全網「一本帳」，就必須將數據隨時同步到各個節點，並能夠保證數據的一致性。但在實際的應用系統中，業務數據可能非常龐大，尤其包括視頻、音頻的數據，動輒幾十兆，有的甚至上百兆，如此龐大的數據在網絡中傳輸，對帶寬要求非常高，而且全網中如此大的數據匯聚成「一本帳」，則這個帳本會非常龐大，單個節點很難保證有足夠的存儲容量來存儲。即使現在的比特幣網絡，帳本的容量在優化後仍然達到4G以上，而且隨著挖礦的進行，帳本的容量在繼續擴大，一臺普通PC若要下載完成整個帳本需要長達幾十個小時，嚴重影響了用戶體驗，這不僅對區塊鏈的普及推廣構成很大的挑戰，而且使得區塊鏈在商業系統上的應用情況也變得更加嚴峻。
與數據存儲相對應的是數據檢索，在龐大「一本帳」數據中如何快速檢索，在區塊鏈分布式網絡中也面臨著嚴峻的挑戰。
因此，提供一種能夠保證區塊鏈上大容量元數據的存儲及檢索的方法及系統成為業內急需解決的問題。
技術實現要素：
本發明的目的在於提供一種區塊鏈元數據存儲系統及其存儲方法與檢索方法，其不僅能夠引入分布式存儲系統來存儲大數據，同時還可以將數據降維後再存入區塊鏈，便於需求方採集所需的信息。
本發明的第一個目的在於提供一種區塊鏈元數據存儲系統，包括各自連接網際網路的至少一個主節點及若干個副節點，至少一個主節點及若干個副節點通過區塊鏈構造成分布式共享網絡，其中，至少一個主節點包括：數據接收模塊，其用於接收來自外部的源數據；分布式存儲模塊，其與數據接收模塊相連接，用於將數據接收模塊傳輸的源數據進行分布式存儲；降維保全模塊，其與分布式存儲模塊相連接，用於將分布式存儲模塊傳輸的源數據進行降維操作以形成元數據後，再對元數據進行保全操作以形成數據指紋；數據存儲模塊，其與降維保全模塊相連接，用於將數據指紋寫入區塊鏈中；以及第一數據共識模塊，其用於將數據指紋進行全網發布以實現區塊鏈的共識過程；若干個副節點包括：數據共識模塊，其用於接收及存儲區塊鏈發布的數據指紋以完成區塊鏈的共識過程。
其中，源數據是指需要保存的數據，諸如文檔、語音、視頻、或記錄信息等。
此外，分布式存儲模塊採用可擴展的系統結構，利用多臺存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息。分布式存儲在眾多的伺服器搭建一個分布式文件系統，再在這個分布式文件系統上實現相關的數據存儲業務。分布式文件系統是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。分布式文件系統可以包括:Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、MooseFS、pNFS等，優選地，分布式存儲模塊設定為採用FastDFS分布式文件系統。
可選擇地，主節點還包括：與分布式存儲模塊相連接的用於進行負載均衡的Nginx組件以及連接於Nginx組件與數據存儲模塊之間的ATS組件。
優選地，數據的降維保全操作是指對數據應用HASH算法，其中，HASH算法是將任意長度的二進位值映射為較短的固定長度的二進位值，這個小的二進位值稱為哈希值。哈希值是一段數據唯一且極其緊湊的數值表示形式。如果散列一段明文而且哪怕只更改該段落的一個字母，隨後的哈希都將產生不同的值。要找到散列為同一個值的兩個不同的輸入，在計算上是不可能的，所以數據的哈希值相似於「指紋」，經HASH算法處理後得到的HASH值被稱為「指紋」值，從而可以檢驗數據的完整性。HASH算法包括：MD2、MD4、MD5和SHA-1。更優選地，本發明的降維及保全操作設定為對源數據應用SHA-1算法。
優選地，數據指紋設定為包括：本次源數據應用SHA-1算法得到的作為元數據的HASH值、本次源數據應用SHA-1算法的時間戳、本次源數據應用SHA-1算法的數字籤名、以及上次元數據的數據指紋。
優選地，主節點還包括：指紋檢索模塊，其與數據存儲模塊相連接，用於檢索存儲於區塊鏈中的數據指紋以得到檢索數據指紋。
優選地，主節點及副節點均包括有驗證模塊，其用於驗證檢索數據指紋是否發生篡改。
本發明的第二個目的在於提供一種上述區塊鏈元數據存儲系統的存儲方法，其包括：主節點接收來自外部的源數據，並將源數據進行分布式存儲；主節點將進行分布式存儲的源數據進行降維操作以形成元數據後，再對元數據進行保全操作以形成數據指紋；主節點將數據指紋寫入區塊鏈中，利用區塊鏈的共識過程進行全網發布；以及副節點接收及存儲所述區塊鏈發布的所述數據指紋。
優選地，降維操作設定為對元數據應用SHA-1算法。
優選地，數據指紋設定為包括：本次源數據應用SHA-1算法得到的元數據、本次源數據應用SHA-1算法的時間戳、本次源數據應用SHA-1算法的數字籤名、以及上次元數據的數據指紋。
本發明的第三個目的在於提供一種上述區塊鏈元數據存儲系統的指紋檢索方法，其包括：於主節點上對目標數據指紋進行檢索以獲取檢索數據指紋；於主節點及連接於區塊鏈中的若干個副節點上對檢索數據指紋進行驗證；以及待主節點及若干個副節點對檢索數據指紋驗證一致性比例超過80％後，判定檢索數據指紋未發生篡改，完成指紋檢索過程。
本發明的有益效果是：(1)、主節點引入分布式存儲系統來存儲諸如音頻、視頻類的大數據量的源數據，然後再將源數據進行降維保全形成的數據指紋存入區塊鏈中，並通過區塊鏈的共識過程將數據指紋分布式存儲到各個副節點中，大大減小了存儲於區塊鏈中的數據量，減輕了區塊鏈的數據負擔；(2)、源數據通過降維算法降維保全後就變為區塊鏈可以接受的數據大小，而且在數據同步的過程中，大大降低了對帶寬的要求，對分布式節點上的存儲要求也大大降低；(3)、採用中心化的檢索方式，在保證數據一致性的前提下，只需要在主節點上檢索數據指紋即可，不需要進行全網檢索，從而避免了不必要的帶寬開銷，保證數據檢索的速度；(4)、每一次完成數據指紋檢索後，都需要首先在全網進行驗證，確保檢索得到的數據指紋沒有被篡改掉，才可以使用，有效保證了數據的安全性。
附圖說明
圖1是本發明的區塊鏈元數據存儲系統的構造示意圖。
圖2是本發明的數據指紋的組成示意圖。
圖3是本發明的區塊鏈元數據存儲系統的存儲方法的流程示意圖。
圖4是本發明的區塊鏈元數據存儲系統的檢索方法的流程示意圖。
具體實施方式
下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，旨在用於解釋本發明，而不能理解為對本發明的限制。
首先，請參考圖1，作為一種非限制性示例，本發明的區塊鏈元數據存儲系統包括各自連接網際網路的一個主節點P及n個副節點S1、S2、S3……Sn，主節點P與副節點S1、S2、S3……Sn通過區塊鏈C構造成分布式共享網絡。在本發明中，主節點與副節點是邏輯上的區別，主節點可以發送「心跳」，副節點不需要發送「心跳」，同時，主節點可以接受外部的業務數據，而副節點不接收外部的業務數據。其中，「心跳」是主節點與若干個副節點之間進行網絡探測的一種方式，其用來探測主節點與副節點之間的連通性。
在該非限制性示例中，主節點P包括：數據接收模塊100、分布式存儲模塊200、降維保全模塊300、數據存儲模塊400以及第一數據共識模塊700。其中，數據接收模塊100接收來自外部的作為源數據的業務數據，分布式存儲模塊200則將數據接收模塊100傳輸來的源數據進行分布式存儲。在本發明中，對於音頻、視頻等大文件的源數據的存儲採用FastDFS分布式文件系統存儲，從而適用於音頻及視頻等大文件。在完成分布式存儲後，利用降維保全模塊300將分布式存儲模塊200傳輸的源數據先進行降維形成元數據，然後再對元數據進行保全操作，從而形成數據指紋。而數據存儲模塊400則將降維保全後形成的數據指紋寫入區塊鏈中，然後再利用第一數據共識模塊700將這些數據指紋進行全網發布，從而實現區塊鏈的共識過程，同時副節點S1、S2、S3……Sn利用第二數據共識模塊800來接收及存儲區塊鏈發布的這些數據指紋，從而大大降低了區塊鏈中的存儲數據量。
在該非限制性示例中，降維保全模塊300對源數據應用SHA-1算法，降維保全的過程類似於對源數據進行「壓縮」，其需要基於數據內容、文件特徵、時間戳等特定信息進行壓縮。其中，如圖2所示，本發明的數據指紋包括本次源數據應用SHA-1算法得到的作為元數據的HASH值、本次源數據應用SHA-1算法的時間戳、本次源數據應用SHA-1算法的數字籤名、以及上次元數據的數據指紋。從而將本次的源數據進行了「固化」，再定期地發布在區塊鏈中，接受連接於區塊鏈中的各個節點的監督，保證了區塊鏈中存儲數據的安全性及可靠性。
作為一種可替代的實施方式，主節點P還包括指紋檢索模塊500及驗證模塊600，與此對應地，副節點S1、S2、S3……Sn上安裝有驗證模塊600。由此，在保證數據一致性的前提下，當需要對源數據的數據指紋進行檢索時，只需要在主節點P上利用指紋檢索模塊500便可以檢索存儲於主節點P的區塊鏈中的數據指紋，從而得到檢索數據指紋，不需要進行全網檢索，避免了不必要的寬帶開銷。但是為了確保數據的安全性，檢索後得到的檢索數據指紋需要在全網進行驗證，利用主節點P及n個副節點S1、S2、S3……Sn上安裝的驗證模塊600，便可以驗證檢索數據指紋是否發生篡改，在保證檢索數據指紋未發生改變的情況下，才可以對該元數據進行使用。
基於同樣的思想，本發明還提供了區塊鏈元數據存儲系統的存儲方法，如圖3所示，在步驟S1中，主節點接收來自外部的源數據，並將源數據進行分布式存儲。接著，在步驟S2中，主節點將進行分布式存儲的源數據進行降維操作形成元數據後，再對元數據進行保全操作，從而形成數據指紋。在步驟S3中，繼續利用主節點將數據指紋寫入區塊鏈中，利用區塊鏈的共識過程進行全網發布。最後，在步驟S4中，將數據指紋分布式存儲於連接於區塊鏈中的n個副節點中。
與存儲方法相對應的是區塊鏈元數據存儲系統的檢索方法，為了在龐大的區塊鏈中實現元數據的快速檢索，如圖4所示，首先，在步驟S10中，於主節點上對目標數據指紋進行檢索，從而獲取檢索數據指紋。接著，在步驟S20中，於主節點及若干個副節點上對檢索數據指紋進行驗證。最後，在步驟S30中，待主節點及若干個副節點對檢索數據指紋驗證一致性比例超過80％後，則判定檢索數據指紋未發生篡改，完成指紋檢索的過程。
在本說明書的描述中，參考術語「一個實施例」、「一些實施例」、「示例」、「具體示例」、或「一些示例」等的描述意指結合該實施例或示例描述的具體特徵、結構或者特點包含於本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不必須針對的是相同的實施例或示例。此外，在不相互矛盾的情況下，本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特徵進行結合和組合。
儘管上面已經示出和描述了本發明的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本發明的限制，本領域的普通技術人員在本發明的範圍內可以對上述實施例進行變化、修改、替換和變型。