一種基於混合結構的數字圖書館雲存儲系統的製作方法

2023-10-10 02:57:54 3

一種基於混合結構的數字圖書館雲存儲系統的製作方法
【專利摘要】一種基於混合結構的數字圖書館雲存儲系統，基於Hadoop技術的混合結構，同時支持HBase資料庫技術和傳統關係資料庫SQL Server技術，系統以Hadoop分布式文件系統集群作為後臺雲存儲框架，設有CSSDL_HS登錄模塊、CSSDL_HS用戶管理模塊、CSSDL_HS文件管理模塊、CSSDL_HS文件夾管理模塊以及CSSDL_HS伺服器管理模塊，並在CSSDL_HS文件管理模塊中增設了智能文件預處理模塊，根據用戶設定的閾值智能地對文件進行預處理。本發明能夠解決數字圖書館場景中文件的分布式存儲問題，可以提高文件存儲的速度和可靠性，減少可能帶來的人工誤操作，達到在網絡環境下高效管理數字圖書館中各種文件的目的。
【專利說明】一種基於混合結構的數字圖書館雲存儲系統

【技術領域】
[0001] 本發明涉雲存儲技術，尤其涉及一種基於混合結構的數字圖書館雲存儲系統（簡 稱CSSDL_HS)，屬於數字圖書館文件的分布式存儲的【技術領域】。本系統能夠解決數字圖書館 場景中文件的分布式存儲問題，可以提高文件存儲的速度，減少可能帶來的人工誤操作，使 得在網絡環境下數字圖書館中各種文件存儲具有更好的可靠性和無故障性。

【背景技術】
[0002] Hadoop 分布式文件系統（Hadoop Distributed File System，簡稱 HDFS)是一 個高度容錯的文件系統，支持分布式文件的存取，具有較高的安全性、穩定性。HDFS是一 種Master/Slave架構，一臺伺服器作為NameNode節點，其餘伺服器是DataNode數據節 點。NameNode負責管理文件的命名空間、數據複製和客戶端對文件的訪問。DataNode在 NameNode的管理下負責將文件中的數據保存在本地文件系統上。在基於混合結構的數字圖 書館雲存儲應用方面，HDFS具有如下特點：（1)硬體錯誤是常態而不是異態。HDFS對需要 存儲的每一個數據塊都保存多份（用戶可以通過修改配置文件更改副本數量，本發明中默 認為三份）並保存在不同的DataNode上，一旦某一個DataNode結點失效，NameNode就會 將該數據塊複製到其他活躍的DataNode上，保證任何時候系統中的任一數據塊的正常數 量比例不低於閾值。（2)流式數據訪問。HDFS系統的設計是數據批處理方式，而不是用戶 交互處理。考慮更多的是提高數據訪問的吞吐量。（3)大規模數據集。因為一個HDFS集群 裡可以擴展到數百個結點，所以HDFS能提供整體較高的數據傳輸帶寬，從而更適於數字圖 書館場景下各種大文件的網絡存儲。（4)簡單的一致性模型。HDFS系統中的文件採取一次 寫入多次讀取的策略，方便了數據的訪問，也保證了數據的一致性。（5)可移植性，只要機器 上安裝有Linux系統和Java虛擬機就可以部署HDFS。因此HDFS也繼承了 Java的高度可 移植性。
[0003] 在當今網絡技術快速的發展情況下，信息技術不斷發展，以印刷型書刊資料為主 要收藏載體的傳統圖書館難以適應這些新技術帶來的新需求，也使得數字圖書館走上了歷 史舞臺，數字資源的使用者和數字資源的種類、數量迅速增長，促進了數字圖書館的快速發 展。然而數字圖書館現在所使用的存儲技術都在不同程度上存在技術缺陷。目前數字資源 的主要存儲設備是磁帶和主要採用SATA接口的磁碟，系統存儲容量擴充難度大，存儲在系 統中的數據安全性較低，難以保證數據存儲的可靠性、無故障性。資金投入量較大，使得現 有的存儲系統難以滿足新服務的發展帶來的日益增長的服務需求，也沒有統一而可行的存 儲技術標準指導數字圖書館資源的存儲系統建設，嚴重地阻礙了應用伺服器與存儲系統之 間的高速數據傳輸，整個系統極度缺乏快速數據備份和故障恢復能力，系統的運行也不穩 定。
[0004] 以雲存儲為基礎的存儲系統有四大決定性優勢：
[0005] 1)無限擴充。雲存儲系統採用了網格技術、P2P技術和集群技術，支持大規模的數 據存儲，數字圖書館用戶可以動態添加和管理存儲結點和存儲設備。
[0006] 2)實時數據迀移和快速備份。在雲存儲中，所有的存儲設備和存儲結點對於服務 對象都是一個整體，採用虛擬化技術對所有的存儲設備進行邏輯上的劃分，形成一個個邏 輯分區，新數據一旦被傳入，系統會進行快速備份。
[0007] 3)投入資金量小。不需要高檔的中小型計算機，可以由低廉的一般計算機組成。
[0008] 4)高安全性。數據和文件被保存在不同的存儲結點上，並留有文件存儲位置的索 弓丨，若某文件無法被訪問，操作指令將被存儲系統自動的發送到另一臺存儲有此文件存儲 結點上，使文件的訪問正常進行。
[0009] 綜上所述，雲存儲技術非常適合存儲數字圖書館資源，為圖書館節省了龐大的存 儲設施，不僅減少了經費開支、也提高了數字圖書館資源存儲的安全性，從而加速了數字圖 書館的發展。
[0010] Java Management extensions技術，簡稱JMX技術，在標準Java技術基礎上擴展 的，定義管理系統和資源之間交互標準的管理規範，是管理系統和資源之間的一個接口。在 Hadoop技術的支持下，JMX提供了獲取NameNode、DataNode以及JobTracker運行的接口， 並可以通過Web的形式展現出來。


【發明內容】

[0011] 本發明基於上述的技術，提出並實現了一種基於混合結構的數字圖書館雲存儲系 統，能夠解決數字圖書館場景中文件的分布式存儲問題，可以提高文件存儲的速度和可靠 性，減少可能帶來的人工誤操作，達到在網絡環境下高效管理數字圖書館中各種文件的目 的。
[0012] 本發明採用的技術方案如下：
[0013] 一種基於混合結構的數字圖書館雲存儲系統，其特徵是：針對數字圖書館中存在 的多種不同類型和不同大小的文件，為數字圖書館文件的分布式存儲設計了基於Hadoop 技術的混合結構，該混合結構同時支持HBase資料庫技術和傳統關係資料庫SQL Server技 術，所述混合結構包括以下部分：
[0014] 1)數字圖書館的用戶，該用戶包括了支持讀寫功能的數字圖書館的Web端用戶和 支持寫功能的數字圖書館的PC端用戶；
[0015] 2)雲存儲伺服器，用於提供基於Tomcat的數字圖書館的Web端用戶的可視化操作 界面，支持讀寫功能；
[0016] 3)應用伺服器，用於提供基於寫隊列的數字圖書館的PC端用戶實現寫功能；
[0017] 4)混合結構中的核心控制模塊，用於在雲存儲伺服器和應用伺服器之間提供一個 信息交互的橋梁，從而實現對混合結構中的HBase和MySQL進行控制；
[0018] 5)混合結構中的HBase部分，是建立在HDFS基礎之上的列資料庫；
[0019] 6)混合結構中的HDFS部分，具體包括NameNode和DataNode ;
[0020] 7)混合結構中的MySQL部分，具體包括用戶元信息和文件元信息。
[0021] 基於上述混合結構的數字圖書館雲存儲系統，利用Hadoop技術，以HDFS集群作為 後臺雲存儲框架，構造了五個模塊：
[0022] (I) CSSDL_HS登錄模塊：提供CSSDL_HS的新用戶註冊、註冊用戶登錄和CSSDL_HS 的用戶註銷，用戶按要求填入用戶名、密碼，進行登陸驗證；如果用戶信息驗證成功，則可以 登陸系統；否則進入等待狀態，等待用戶重現輸入；該模塊通過數字圖書館的用戶來進行 展現；
[0023] (2) CSSDL_HS用戶管理模塊：提供查看和修改CSSDL_HS用戶信息，依次通過數字 圖書館的用戶、數字圖書館的PC端用戶、應用伺服器、混合結構中的MySQL部分，並最終在 混合結構中的MySQL部分存儲用戶的元信息；
[0024] (3) CSSDL_HS文件管理模塊：提供CSSDL_HS文件的智能預處理、上傳文件、下載文 件、重命名文件和刪除文件；CSSDL_HS文件管理模塊是CSSDL_HS中的一個核心模塊，它首 先分別經過數字圖書館的PC端用戶和數字圖書館的Web端用戶把信息分別傳遞給權雲存 儲伺服器和應用伺服器，接著經過混合結構中的核心控制模塊，實現雲存儲伺服器和應用 伺服器之間的信息交互，其中數字圖書館的數據文件由混合結構中的HBase完成分布式文 件存儲，而數字圖書館的文件元信息由混合結構中的MySQL完成集中式存儲；
[0025] (4) CSSDL_HS文件夾管理模塊：提供CSSDL_HS的新建文件夾、重命名文件夾和刪 除文件夾；當用戶註冊系統時，CSSDL_HS為該用戶新建一個文件夾，作為該用戶的根目錄， 之後用戶所有的文件或文件夾操作（新建、重命名和刪除），都在該根目錄下進行；通過數 字圖書館的用戶，完成MySQL的操作；
[0026] (5) CSSDL_HS伺服器管理模塊：用於提供查看CSSDL_HS伺服器信息，依次通過數 字圖書館的用戶、數字圖書館的PC端用戶，把信息分別傳遞給雲存儲伺服器，接著通過調 用Hadoop的JMX接口，實時獲取HDFS伺服器運行參數（使用JMX的Rest形式），這些參數 經加工漢化後，顯示到網頁上供CSSDL_HS管理員進行監控和系統維護。
[0027] 本發明的優點及顯著效果：本發明提供的基於混合結構的數字圖書館雲存儲系統 (CSSDL_HS)能夠解決數字圖書館場景中文件的分布式存儲問題，可以提高文件存儲的速度 和可靠性，減少可能帶來的人工誤操作，達到在網絡環境下高效管理數字圖書館中各種文 件的目的。

【專利附圖】

【附圖說明】
[0028] 圖1為數字圖書館雲存儲中的混合結構；
[0029] 圖2為基於混合結構的數字圖書館雲存儲系統的結構；
[0030] 圖3為CSSDL_HS中的智能文件預處理模塊；
[0031] 圖4為CSSDL_HS總體框架；
[0032] 圖5為CSSDL_HS登錄模塊；
[0033] 圖6為CSSDL_HS中的下載文件模塊；
[0034] 圖7為CSSDL_HS中的刪除文件模塊； 圖8為南京圖書館資源雲存儲系統中CSSDL_HS文件管理模塊的具體實施例。

【具體實施方式】
[0035] 為了實現基於混合結構的數字圖書館雲存儲方案CSSDL_HS，本發明利用了 Hadoop技術。下面結合附圖對本發明中基於混合結構的數字圖書館雲存儲方案的具體實施 方式，進行詳細說明，應理解這些實施僅用於說明本發明而不用於限制本發明的範圍，在閱 讀了本發明之後，本領域技術人員對本發明的各種等價形式的修改均落於本申請所附權利 要求所限定的範圍。
[0036] 如圖1，所述的數字圖書館雲存儲中的混合結構，主要包括：
[0037] 1)數字圖書館的用戶，該用戶包括了支持讀寫功能的數字圖書館的Web端用戶和 支持寫功能的數字圖書館的PC端用戶；
[0038] 2)雲存儲伺服器，用於提供基於Tomcat的數字圖書館的Web端用戶的可視化操作 界面，支持讀寫功能；
[0039] 3)應用伺服器，用於提供基於寫隊列的數字圖書館的PC端用戶實現寫功能； [0040] 4)混合結構中的核心控制模塊，用於在雲存儲伺服器和應用伺服器之間提供一個 交互的橋梁，從而實現對混合結構中的HBase和MySQL進行控制；
[0041] 5)混合結構中的HBase部分，即建立在HDFS基礎之上的列資料庫；
[0042] 6)混合結構中的HDFS部分，具體包括NameNode和DataNode ;
[0043] 7)混合結構中的MySQL部分，具體包括用戶元信息和文件元信息。
[0044] 如圖2,所述的基於混合結構的數字圖書館雲存儲系統的結構，包括五個功能模 塊：
[0045] I)CSSDL_HS登錄模塊：提供CSSDL_HS的新用戶註冊、註冊用戶登錄和CSSDL_HS 的用戶註銷，用戶按要求填入用戶名、密碼，進行登陸驗證；如果用戶信息驗證成功，則可以 登陸系統；否則進入等待狀態，等待用戶重現輸入；該模塊通過數字圖書館的用戶來進行 展現；
[0046] 2) CSSDL_HS用戶管理模塊：提供查看和修改CSSDL_HS用戶信息，依次通過數字圖 書館的用戶、數字圖書館的PC端用戶、應用伺服器、混合結構中的MySQL部分，並最終在混 合結構中的MySQL部分存儲用戶的元信息；
[0047] 3)CSSDL_HS文件管理模塊：提供CSSDL_HS文件的智能預處理、上傳文件、下載文 件、重命名文件和刪除文件；CSSDL_HS文件管理模塊是CSSDL_HS中的一個核心模塊，它首 先分別經過數字圖書館的PC端用戶和數字圖書館的Web端用戶把信息分別傳遞給權雲存 儲伺服器和應用伺服器，接著經過混合結構中的核心控制模塊，實現雲存儲伺服器和應用 伺服器之間的信息交互，其中數字圖書館的數據文件由混合結構中的HBase完成分布式文 件存儲，而數字圖書館的文件元信息由混合結構中的MySQL完成集中式存儲；
[0048] 上述CSSDL_HS文件管理模塊是基於Hadoop技術來實現的，以HDFS系統作為後 臺雲存儲框架。但是HDFS的架構是基於一組特定的結點構建的，文件被分塊（大小和數量 在由CSSDL_HS用戶在創建文件時決定）複製到多個DataNode中。數字圖書館用戶通過 NameNode控制所有文件操作，同時NameNode負責將文件分塊並分配到各個DataNode ;而具 體的數據存儲工作（即存儲劃分好的各個分塊）則由DataNode負責。雖然這種架構簡化 了 HDFS的整體結構，但由於所有文件不論大小均佔用一個塊存儲，使得系統所能處理的文 件數量受到NameNode (負責存儲文件元數據）的內存容量的限制，從而導致小文件存儲效 率較低，以至於目前的硬體能力無法滿足需求。
[0049] 因此，本發明在實現傳統數字圖書館雲存儲系統的功能的基礎上增加了一個判斷 上傳文件的大小的智能文件預處理模塊，若小於閾值則交給智能文件預處理模塊進行預處 理。若大於或者等於閾值直接上傳 HDFS系統。智能文件預處理模塊將多個小文件合併成大 文件並建立索引，以便進行快速存取和訪問。CSSDL_HS文件管理模塊中的智能預處理模塊， 它可以根據用戶設定的閾值智能地對文件進行預處理，本發明中的閾值1設定為16MB，閾 值2設定為64MB，如圖3所示，具體包括：
[0050] (I)PC端用戶上傳文件；
[0051] (2)文件類型判斷，當上傳文件大於或者等於閾值2,直接送入HDFS處理；
[0052] (3)當上傳文件小於閾值2並且大於或者等於閾值1，先送入HBASE，再送入HDFS 處理；
[0053] (4)當上傳文件小於閾值1時，送入小文件合併隊列。當該隊列中文件大小之和大 於閾值2時，採用MapFile技術進行文件合併，然後將合併之後的大文件送入HDFS處理；否 則返回小文件合併隊列。
[0054] 4) CSSDL_HS文件夾管理模塊：提供CSSDL_HS的新建文件夾、重命名文件夾和刪除 文件夾；當用戶註冊系統時，CSSDL_HS為該用戶新建一個文件夾，作為該用戶的根目錄，之 後用戶所有的文件或文件夾操作（新建、重命名和刪除），都在該根目錄下進行；通過數字 圖書館的用戶，完成MySQL的操作；
[0055] 5) CSSDL_HS伺服器管理模塊：用於提供查看CSSDL_HS伺服器信息，依次通過數字 圖書館的用戶、數字圖書館的PC端用戶，把信息分別傳遞給雲存儲伺服器，接著通過調用 Hadoop的JMX接口，實時獲取HDFS伺服器運行參數（使用JMX的Rest形式），這些參數經 加工漢化後，顯示到網頁上供CSSDL_HS管理員進行監控和系統維護。
[0056] 如圖4,描述了圖2所述的各個功能之間相關的關係。
[0057] 圖4還說明了 CSSDL_HS的管理員界面和普通用戶界面的區別，CSSDL_HS管理員 可以通過管理員界面進行所有操作：伺服器管理、用戶管理、用戶修改信息、文件夾管理和 文件管理的操作；而CSSDL_HS普通用戶僅可以進行用戶修改信息、文件夾管理和文件管理 的操作。
[0058] 圖4還說明了所述的CSSDL_HS文件管理模塊的具體實現內容，CSSDL_HS的普通 用戶可以進入文件管理模塊查看其所有文件和文件夾信息（包括文件名、大小、創建時間 等），並進行智能預處理、上傳文件、重命名文件、下載文件和刪除文件；而CSSDL_HS管理員 除以上操作外，還可以在CSSDL_HS用戶管理模塊查看所有CSSDL_HS用戶文件，點擊用戶名 將進入該CSSDL_HS用戶的文件管理界面。所述的上傳文件，具體的實現流程如下：系統首 先將文件上傳至本地緩存，然後由智能文件預處理模塊進行預處理，若文件大小大於或者 等於閾值則直接上傳至HDFS系統；若文件大小小於閾值則先將文件寫入合併隊列，當隊列 中文件總容量到達閾值時再打包上傳至HDFS系統；最後刪除本地緩存文件。所述的文件重 命名是指CSSDL_HS用戶可以在系統中對文件進行重命名。
[0059] 圖4所述的CSSDL_HS文件夾管理模塊，具體的實現流程如下：CSSDL_HS新用戶注 冊後系統會自動新建一個根目錄並記錄其ID，CSSDL_HS用戶的所有文件操作（包括新建、 重命名以及刪除文件夾）都將在該根目錄下進行。當CSSDL_HS用戶刪除文件夾時，系統會 在MySQL資料庫中遍歷所有屬於該文件夾的文件和文件夾並標記刪除。
[0060] 圖4所述的CSSDL_HS伺服器管理模塊，模塊具體的內容是：用於實時獲取HDFS服 務器運行參數（使用JMX的Rest形式），這些參數經加工漢化後，顯示到網頁上供CSSDL_ HS管理員進行監控和系統維護。
[0061] 如圖5,所述的CSSDL_HS登錄模塊，該模塊的工作流程如圖5所示，首次使用系統 的用戶填入必需的個人信息後即可註冊成為CSSDL_HS普通用戶，註冊後須等待CSSDL_HS 管理員審核信息，否則無法登錄。已註冊的CSSDL_HS用戶輸入用戶名和密碼，待登錄模塊 驗證成功後則可以登錄系統。否則需重新輸入信息。
[0062] 如圖6,所述的CSSDL_HS中的下載文件模塊，【具體實施方式】如下：系統首先會在本 地緩存查找該文件是否存在。如果文件存在則直接返回緩存中的文件。否則系統將從HDFS 伺服器下載該文件至本地緩存，再返回給CSSDL_HS用戶。
[0063] 如圖7,所述的CSSDL_HS中的刪除文件模塊，【具體實施方式】如下：CSSDL_HS用戶刪 除文件時，系統會在MySQL資料庫中標記該文件已被刪除，並由圖3所述的CSSDL_HS智能 文件預處理模塊進行預處理，若文件大小大於或者等於閾值則直接在HDFS系統中刪除該 文件。若文件大小小於閾值則暫不處理，待系統再次啟動時後臺清理程序會定期清理已經 被CSSDL_HS用戶刪除的小文件。
[0064] 下面我們以南京圖書館為例，進一步說明本專利所述的基於混合結構的數字圖書 館雲存儲方案的【具體實施方式】。
[0065] 作為江蘇省省級公共圖書館，南京圖書館館藏數字資源目前包括110萬種電子圖 書、46個商業資料庫以及自建特色數字資源共100TB。隨著古籍保護和民國文獻全文數字 化、自建特色資料庫和自主版權視頻資源的數位化，南京圖書館的數字資源呈現爆發式增 漲。
[0066] -般雲平臺的資源管理方法可以解決圖書館傳統存儲在容量擴展方面的弊病。但 是，由於數字圖書館中文件的類型包含當前所有的數字類型；且文件的大小，從幾個字節的 小文件到幾百GB大小的大文件不等。上述文件類型和文件大小方面的特殊性導致一般雲 平臺的資源管理方法不能高效運行。為此，我們根據所述的基於混合結構的數字圖書館雲 存儲方案，進行了相應的原型系統開發和實現。測試結果表明：本專利所述的混合結構是可 行和有效的；基於本專利所述的這種混合結構，本專利所述的五個功能模塊和智能文件預 處理模塊是可以實現的。原型系統的具體測試環境如下：
[0067] ①對應圖1中的NameNode為1#電腦，其配置如表1
[0068] 表I 1#電腦的配置
[0069]

【權利要求】
1. 一種基於混合結構的數字圖書館雲存儲系統，其特徵是；針對數字圖書館中存在的 多種不同類型和不同大小的文件，為數字圖書館文件的分布式存儲設計了基於化doop技 術的混合結構，該混合結構同時支持皿ase資料庫技術和傳統關係資料庫SQL Server技 術，所述混合結構包括W下部分： 1) 數字圖書館的用戶，該用戶包括了支持讀寫功能的數字圖書館的Web端用戶和支持 寫功能的數字圖書館的PC端用戶； 2) 雲存儲伺服器，用於提供基於Tomcat的數字圖書館的Web端用戶的可視化操作界 面，支持讀寫功能； 3) 應用伺服器，用於提供基於寫隊列的數字圖書館的PC端用戶實現寫功能； 4) 混合結構中的核屯、控制模塊，用於在雲存儲伺服器和應用伺服器之間提供一個信息 交互的橋梁，從而實現對混合結構中的皿ase和MyS化進行控制； 5) 混合結構中的皿ase部分，是建立在皿FS基礎之上的列資料庫； 6) 混合結構中的皿FS部分，具體包括NameNode和化taNode ; 7) 混合結構中的MyS化部分，具體包括用戶元信息和文件元信息； 基於上述混合結構的數字圖書館雲存儲系統，利用化doop技術，W皿FS集群作為後臺 雲存儲框架，構造了五個模塊： (1) CSSDL_HS登錄模塊；提供CSSDLJ1S的新用戶註冊、註冊用戶登錄和CSSDLJ1S的用 戶註銷，用戶按要求填入用戶名、密碼，進行登陸驗證；如果用戶信息驗證成功，則可W登陸 系統；否則進入等待狀態，等待用戶重現輸入；該模塊通過數字圖書館的用戶來進行展現； (2) CSSDLJ1S用戶管理模塊：提供查看和修改CSSDLJIS用戶信息，依次通過數字圖書 館的用戶、數字圖書館的PC端用戶、應用伺服器、混合結構中的MyS化部分，並最終在混合 結構中的MyS化部分存儲用戶的元信息； (3) CSSDLJ1S文件管理模塊：提供CSSDLJIS文件的智能預處理、上傳文件、下載文件、 重命名文件和刪除文件；CSSDLJIS文件管理模塊是CSSDLJIS中的一個核屯、模塊，它首先分 別經過數字圖書館的PC端用戶和數字圖書館的Web端用戶把信息分別傳遞給權雲存儲服 務器和應用伺服器，接著經過混合結構中的核屯、控制模塊，實現雲存儲伺服器和應用服務 器之間的信息交互，其中數字圖書館的數據文件由混合結構中的皿ase完成分布式文件存 儲，而數字圖書館的文件元信息由混合結構中的MyS化完成集中式存儲； (4) CSSDL_HS文件夾管理模塊；提供CSSDLJIS的新建文件夾、重命名文件夾和刪除文 件夾；當用戶註冊系統時，CSSDL_HS為該用戶新建一個文件夾，作為該用戶的根目錄，之後 用戶所有的文件或文件夾操作包括新建、重命名和刪除，都在該根目錄下進行；通過數字圖 書館的用戶，完成MySQL的操作； (5) CSSDLJ1S伺服器管理模塊；用於提供查看CSSDLJIS伺服器信息，依次通過數字 圖書館的用戶、數字圖書館的PC端用戶，把信息分別傳遞給雲存儲伺服器，接著通過調用 化doop的JMX接口，實時獲取皿FS伺服器運行參數，該些使用JMX的Rest形式的參數經加 工漢化後，顯示到網頁上供CSSDLJIS管理員進行監控和系統維護。
2. 根據權利要求1所述的所述的基於混合結構的數字圖書館雲存儲系統，其特徵是： CSSDLJIS文件管理模塊中所述的CSSDLJIS文件的智能預處理，是通過增設的一個判斷上 傳文件的大小的智能文件預處理模塊實現的，根據用戶設定的闊值智能地對文件進行預處 理，設定兩個闊值，闊值1為16MB，闊值2為64MB，智能文件預處理模塊將多個小文件合併 成大文件並建立索引，W便進行快速存取和訪問，具體如下： (1) PC端用戶上傳文件； (2) 文件類型判斷，當上傳文件大於或者等於闊值2,直接送入皿FS處理； (3) 當上傳文件小於闊值2並且大於或者等於闊值1，先送入HBASE，再送入皿FS處理； (4) 當上傳文件小於闊值1時，送入小文件合併隊列，當該隊列中文件大小之和大於闊 值2時，採用MapFile技術進行文件合併，然後將合併之後的大文件送入皿FS處理；否則返 回小文件合併隊列。
【文檔編號】H04L29/08GK104462185SQ201410539761
【公開日】2015年3月25日 申請日期:2014年10月13日 優先權日:2014年10月13日
【發明者】鄒志強, 顏斌, 姚毅, 趙培志 申請人:南京郵電大學