一種海量文件的存儲方法和裝置製造方法

2023-10-08 18:18:09 1

一種海量文件的存儲方法和裝置製造方法
【專利摘要】本發明實施例提供的一種海量文件的存儲方法和裝置，可以解決在.NET平臺架構下利用HDFS存儲數據時系統運行效率低以及部署成本高的問題。具體方案為：在.NET平臺架構下通過IKVM.NET調用HDFS存儲待存儲文件中的數據；當所述待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲所述待存儲文件的索引信息。
【專利說明】 一種海量文件的存儲方法和裝置

【技術領域】
[0001]本發明涉及數據處理領域，具體涉及一種海量文件的存儲方法和裝置。

【背景技術】
[0002]隨著信息技術的高速發展，據權威市場調查機構網際網路數據中心預測，未來每隔18個月，整個世界的數據總量就會翻倍，到2020年，整個世界的數據總量將會增長44倍，達到35.2ZB(1ZB = 10億TB)，隨之而來的是海量信息存儲的需求不斷增加。
[0003]目前大數據技術是通信網絡行業的熱門話題，由於數據量的爆炸式增長，許多已經上線的軟體應用都有對接大數據平臺、或將業務遷移到大數據平臺上的迫切需求；目前應用較廣的大數據平臺海杜普(英文=Hadoop)是一個由Apache基金會所開發的分布式系統基礎架構，Hadoop是基於JAVA語言(1995年SUN公司推出的程式語言)實現的一套大數據解決方案。其中，海杜普分布式文件系統(英文:Hadoop Distributed File System,簡稱HDFS)是適合運行在通用硬體上的分布式文件系統，它和現有的分布式文件系統有很多共同點，但同時，它和其他的分布式文件系統的區別也是有很明顯的區別，HDFS是一個高度容錯性的系統，適合部署在廉價的機器上，HDFS能提供高吞吐量的數據訪問，非常適合在大規模數據集上應用。
[0004]雖然Hadoop平臺的某些組件也提供其他語言的接口方式，但大都需要搭建額外的網絡伺服器(英文:WebService)做中轉或者使用thrift方式完成調用，其中，WebService是一種跨程式語言和跨作業系統平臺的遠程調用技術；thrift是由臉書公司開發的一個軟體框架，用來進行可擴展且跨語言的服務的開發；尤其對於HDFS，在.NET平臺架構(.NET是微軟公司開發的一個網絡服務平臺架構)下並沒有官方的應用程式編程接口(英文！Applicat1n Programming Interface,簡稱:API)支持,現有的技術方案是採用WebService方式和thrift方式調用HDFS來存儲海量數據,但是,現有的採用WebService方式和thrift方式的方案存在系統運行效率低、部署成本高的問題。


【發明內容】

[0005]本發明實施例提供一種海量文件的存儲方法和裝置，可以解決在.NET平臺架構下利用HDFS存儲數據時系統運行效率低以及部署成本高的問題。
[0006]為達到上述目的，本發明的實施例採用如下技術方案:
[0007]第一方面，本發明實施例提供一種海量文件的存儲方法，所述方法包括:
[0008]在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據；
[0009]當所述待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲所述待存儲文件的索引信息。
[0010]結合第一方面，在第一種可能的實現方式中，所述在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據包括:
[0011]將使用JAVA語言編寫的用於調用所述HDFS存儲數據的程序通過所述IKVM.NET轉換為所述.NET平臺架構下對應的程序，執行所述對應的程序以在所述.NET平臺架構下調用所述HDFS存儲所述待存儲文件中的數據。
[0012]結合第一方面，在第二種可能的實現方式中，所述待存儲文件的索引信息包括以下中的至少一種:所述待存儲文件的文件名、所述待存儲文件的文件大小、所述待存儲文件的生成時間。
[0013]結合第一方面至第一方面的第二種可能的實現方式中任一可能的實現方式，在第三種可能的實現方式中，所述方法還包括:
[0014]定時檢查所述文件索引表中存儲的索引信息與所述HDFS中存儲的數據的對應關係，若檢查到有匹配不上所述HDFS中存儲的數據的無效索引信息，則將所述無效索引信息移到預設的錯誤記錄表中。
[0015]結合第一方面至第一方面的第二種可能的實現方式中任一可能的實現方式，在第四種可能的實現方式中，所述方法還包括:
[0016]當對所述HDFS中存儲的數據進行操作時，根據所述操作的結果對所述文件索引表中所述數據對應的索引信息進行更新。
[0017]第二方面，本發明實施例提供一種海量文件的存儲裝置，所述裝置包括:
[0018]第一存儲單元，用於在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據；
[0019]第二存儲單元，用於當所述待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲所述待存儲文件的索引信息。
[0020]結合第二方面，在第一種可能的實現方式中，所述第一存儲單元具體用於:
[0021]將使用JAVA語言編寫的用於調用所述HDFS存儲數據的程序通過所述IKVM.NET轉換為所述.NET平臺架構下對應的程序，執行所述對應的程序以在所述.NET平臺架構下調用所述HDFS存儲所述待存儲文件中的數據。
[0022]結合第二方面，在第二種可能的實現方式中，所述待存儲文件的索引信息包括以下中的至少一種:所述待存儲文件的文件名、所述待存儲文件的文件大小、所述待存儲文件的生成時間。
[0023]結合第二方面至第二方面的第二種可能的實現方式中任一可能的實現方式，在第三種可能的實現方式中，所述裝置還包括:
[0024]檢查單元，用於定時檢查所述文件索引表中存儲的索引信息與所述HDFS中存儲的數據的對應關係，若檢查到有匹配不上所述HDFS中存儲的數據的無效索引信息，則將所述無效索引信息移到預設的錯誤記錄表中。
[0025]結合第二方面至第二方面的第二種可能的實現方式中任一可能的實現方式，在第四種可能的實現方式中，所述裝置還包括:
[0026]更新單元，用於當對所述HDFS中存儲的數據進行操作時，根據所述操作的結果對所述文件索引表中所述數據對應的索引信息進行更新。
[0027]本發明實施例提供的海量文件的存儲方法和裝置，在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據；當所述待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲所述待存儲文件的索引信息。本發明可以解決在.NET平臺架構下利用HDFS存儲數據時系統運行效率低以及部署成本高的問題。

【專利附圖】

【附圖說明】
[0028]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0029]圖1為本發明實施例提供的本發明的實施例的架構示意圖；
[0030]圖2為本發明實施例提供的一種海量文件的存儲方法的流程示意圖一；
[0031]圖3為本發明實施例提供的一種海量文件的存儲方法的流程示意圖二 ；
[0032]圖4為本發明實施例提供的一種海量文件的存儲裝置的結構示意圖一；
[0033]圖5為本發明實施例提供的一種海量文件的存儲裝置的結構示意圖二 ；
[0034]圖6為基於本發明實施例提供的一種海量文件的存儲裝置存儲海量文件的實施示意圖。

【具體實施方式】
[0035]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0036]圖1所示為本發明的實施例的架構示意圖，本發明涉及關係資料庫，關係資料庫是建立在關係資料庫模型基礎上的資料庫，藉助於集合代數等概念和方法來處理資料庫中的數據。目前主流的關係資料庫有Oracle (甲骨文公司推出的關係資料庫管理系統)、DB2(國際商業機器公司推出的關係型資料庫管理系統)、MySQL(甲骨文公司推出的關係資料庫管理系統)等。示例性的，圖1中以Oracle系統為例。
[0037]本發明還涉及IKVM.NET, IKVM.NET是開源的基於.NET平臺架構下公共語言運行時(英文:common language runtime,簡稱:CLR)的JAVA虛擬機,可以通過IKVM.NET這個中介讓JAVA程序和.NET平臺的應用程式一起協同工作。簡單介紹IKVM.NET的作用原理:IKVM.NET的工具先將class文件(JAVA程序編譯後得到的)、JAR文件(Java歸檔文件)編譯為.NET平臺的通用中間語言(英文:Common Intermediate Language,簡稱:CIL)程序集，然後在.NET平臺上運行這些CIL程序集，這樣可以在基於.NET平臺開發時直接使用JAVA 的 API。
[0038]本發明提供的技術方案中將關係型資料庫和HDFS的特點進行了結合，採用IKVM.NET做中介，使現有的基於.NET平臺架構下CLR的系統不需要過多改造，即可對接基於JAVA的Hadoop平臺，並可編寫程序調用HDFS，實現文件索引信息和文件的數據實體的分別存儲，充分利用關係型資料庫和HDFS的優點，在.NET平臺架構上實現海量文件的存儲的同時降低部署成本，提高系統的運行效率。
[0039]本發明實施例提供一種海量文件的存儲方法，如圖2所示，該方法包括:
[0040]SlOl、在.NET平臺架構下通過IKVM.NET調用HDFS存儲待存儲文件中的數據。
[0041]S102、當待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲該待存儲文件的索引信息。
[0042]本發明實施例提供的海量文件的存儲方法，在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據；當所述待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲所述待存儲文件的索引信息。本發明可以解決在.NET平臺架構下利用HDFS存儲數據時系統運行效率低以及部署成本高的問題。為了使本領域技術人員能夠更清楚地理解本發明實施例提供的技術方案，下面通過具體的實施例，對本發明的實施例提供的海量文件的存儲方法進行詳細說明，如圖3所示，該方法包括:
[0043]S201、在.NET平臺架構下通過IKVM.NET調用HDFS存儲待存儲文件中的數據。
[0044]具體的，將使用JAVA語言編寫的用於調用HDFS存儲數據的程序通過IKVM.NET轉換為.NET平臺架構下對應的程序，執行該對應的程序以在.NET平臺架構下調用HDFS存儲所述待存儲文件中的數據。
[0045]示例性的，使用JAVA語言編寫調用HDFS的程序；將該程序打包為一個JAR文件；安裝並配置IKVM.NET ;將該程序的JAR文件和該程序依賴的其他JAR文件複製到同一文件目錄下；使用IKVM.NET的CMD命令將該程序的JAR包轉化為.NET平臺架構上可用的「應用程式拓展(英文縮寫:DLL)文件,其中，CMD命令可以使用SharedClassLoader命令以保證該程序依賴的所有JAR文件都可以被添加；最後執行OUT命令是生成該程序對應的DLL文件。
[0046]另外，對於HDFS存儲待存儲文件中的數據的過程，本領域技術人員可以參照現有的技術方案中HDFS存儲數據的過程，在此不做贅述。
[0047]S202、當待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲待存儲文件的索引信息。
[0048]其中，待存儲文件的索引信息包括以下中的至少一種:待存儲文件的文件名、待存儲文件的文件大小、待存儲文件的生成時間。
[0049]具體的，將待存儲的文件中的數據向HDFS上傳後，判斷上傳是否成功，當判斷上傳HDFS成功則使用根據關係資料庫創建的文件索引表存儲待存儲文件的索引信息後執行S203 ;當判斷上傳HDFS失敗，則向系統通知該待存儲文件的數據上傳錯誤，系統可以通知刪除上傳的不完整的數據後重新向HDFS上傳數據。
[0050]S203、當待存儲文件的索引信息存儲成功後，則確定完成待存儲文件的存儲。
[0051]具體的，將待存儲的文件中的索引信息向關係資料庫上傳後，判斷上傳是否成功，當判斷上傳關係資料庫成功則確定待存儲的文件存儲完成；當判斷上傳關係資料庫失敗，則向系統通知索引信息上傳錯誤，系統可以通知刪除HDFS上已上傳的對應的數據再次向HDFS上傳。
[0052]S204、定時檢查文件索引表中存儲的索引信息與HDFS中存儲的數據的對應關係，若檢查到有匹配不上HDFS中存儲的數據的無效索引信息，則將無效索引信息移到預設的錯誤記錄表中。
[0053]需要說明的是，通過執行S204可以有效保證文件的索引信息和數據的一致性。
[0054]S205、當對HDFS中存儲的數據進行操作時，根據操作的結果對文件索引表中數據對應的索引信息進行更新。
[0055]示例性的，當對HDFS中存儲的數據移動或刪除時，相應的，對關係資料庫中被移動或被刪除的數據對應的索引信息進行更新。
[0056]本發明實施例提供的海量文件的存儲方法，在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據；當所述待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲所述待存儲文件的索引信息。本發明可以解決在.NET平臺架構下利用HDFS存儲數據時系統運行效率低以及部署成本高的問題。
[0057]本發明實施例提供一種海量文件的存儲裝置10，如圖4所示，該裝置10包括:
[0058]第一存儲單元11，用於在.NET平臺架構下通過IKVM.NET調用HDFS存儲待存儲文件中的數據；
[0059]第二存儲單元12，用於當待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲該待存儲文件的索引信息。
[0060]可選的，第一存儲單元11具體用於:
[0061]將使用JAVA語言編寫的用於調用HDFS存儲數據的程序通過IKVM.NET轉換為.NET平臺架構下對應的程序，執行該對應的程序以在.NET平臺架構下調用HDFS存儲該待存儲文件中的數據。
[0062]可選的，待存儲文件的索引信息包括以下中的至少一種:待存儲文件的文件名、待存儲文件的文件大小、待存儲文件的生成時間。
[0063]可選的，如圖5所示，該裝置10還包括:
[0064]檢查單元13，用於定時檢查文件索引表中存儲的索引信息與HDFS中存儲的數據的對應關係，若檢查到有匹配不上HDFS中存儲的數據的無效索引信息，則將無效索引信息移到預設的錯誤記錄表中。
[0065]更新單元14，用於當對HDFS中存儲的數據進行操作時，根據操作的結果對文件索引表中數據對應的索引信息進行更新。
[0066]圖6為基於本實施例提供的裝置在存儲海量文件時的實施示意圖。
[0067]本實施例用於實現上述各方法實施例，本實施例中各個單元的工作流程和工作原理參見上述各方法實施例中的描述，在此不再贅述。
[0068]本發明實施例提供的海量文件的存儲裝置，在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據；當所述待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲所述待存儲文件的索引信息。本發明可以解決在.NET平臺架構下利用HDFS存儲數據時系統運行效率低以及部署成本高的問題。以上所描述的裝置實施例僅僅是示意性的，例如，模塊的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。另一點，所顯示或討論的模塊相互之間的連接可以是通過一些接口，可以是電性，機械或其它的形式。所述各個模塊可以是或者也可以不是物理上分開的，可以是或者也可以不是物理單元。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。
[0069]另外，在本發明各個實施例中的各功能模塊可以集成在一個處理模塊中，也可以是各個模塊單獨物理包括，也可以兩個或兩個以上模塊集成在一個模塊中。上述集成的模塊既可以採用硬體的形式實現，也可以採用硬體加軟體功能模塊的形式實現。
[0070]上述以軟體功能單元的形式實現的集成的模塊，可以存儲在一個計算機可讀取存儲介質中。上述軟體功能模塊存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述方法的部分步驟。而前述的存儲介質包括:U盤、移動硬碟、只讀存儲器(英文:Read-0nly Memory,簡稱ROM)、隨機存取存儲器(英文:Random Access Memory,簡稱RAM)、磁碟或者光碟等各種可以存儲程序代碼的介質。
[0071]以上所述，僅為本發明的【具體實施方式】，但本發明的保護範圍並不局限於此，任何熟悉本【技術領域】的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以所述權利要求的保護範圍為準。
【權利要求】
1.一種海量文件的存儲方法，其特徵在於，包括: 在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據； 當所述待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲所述待存儲文件的索引信息。
2.根據權利要求1所述的方法，其特徵在於，所述在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據包括: 將使用JAVA語言編寫的用於調用所述HDFS存儲數據的程序通過所述IKVM.NET轉換為所述.NET平臺架構下對應的程序，執行所述對應的程序以在所述.NET平臺架構下調用所述HDFS存儲所述待存儲文件中的數據。
3.根據權利要求1所述的方法，其特徵在於，所述待存儲文件的索引信息包括以下中的至少一種:所述待存儲文件的文件名、所述待存儲文件的文件大小、所述待存儲文件的生成時間。
4.根據權利要求1至3任一項所述的方法，其特徵在於，所述方法還包括: 定時檢查所述文件索引表中存儲的索引信息與所述HDFS中存儲的數據的對應關係，若檢查到有匹配不上所述HDFS中存儲的數據的無效索引信息，則將所述無效索引信息移到預設的錯誤記錄表中。
5.根據權利要求1至3任一項所述的方法，其特徵在於，所述方法還包括: 當對所述HDFS中存儲的數據進行操作時，根據所述操作的結果對所述文件索引表中所述數據對應的索引信息進行更新。
6.一種海量文件的存儲裝置，其特徵在於，包括: 第一存儲單元，用於在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據； 第二存儲單元，用於當所述待存儲文件中的數據存儲成功後，使用根據關係資料庫創建的文件索引表存儲所述待存儲文件的索引信息。
7.根據權利要求6所述的裝置，其特徵在於，所述第一存儲單元具體用於: 將使用JAVA語言編寫的用於調用所述HDFS存儲數據的程序通過所述IKVM.NET轉換為所述.NET平臺架構下對應的程序，執行所述對應的程序以在所述.NET平臺架構下調用所述HDFS存儲所述待存儲文件中的數據。
8.根據權利要求6所述的裝置，其特徵在於，所述待存儲文件的索引信息包括以下中的至少一種:所述待存儲文件的文件名、所述待存儲文件的文件大小、所述待存儲文件的生成時間。
9.根據權利要求6至8任一項所述的裝置，其特徵在於，所述裝置還包括: 檢查單元，用於定時檢查所述文件索引表中存儲的索引信息與所述HDFS中存儲的數據的對應關係，若檢查到有匹配不上所述HDFS中存儲的數據的無效索引信息，則將所述無效索引信息移到預設的錯誤記錄表中。
10.根據權利要求6至8任一項所述的裝置，其特徵在於，所述裝置還包括: 更新單元，用於當對所述HDFS中存儲的數據進行操作時，根據所述操作的結果對所述文件索引表中所述數據對應的索引信息進行更新。
【文檔編號】G06F17/30GK104331518SQ201410709125
【公開日】2015年2月4日 申請日期:2014年11月27日 優先權日:2014年11月27日
【發明者】楊勇, 辛國茂, 趙仁明, 亓開元 申請人:浪潮(北京)電子信息產業有限公司