一種hadoop集群搭建磁碟亂序的解決方法

2023-09-21 13:10:55

專利名稱：一種hadoop集群搭建磁碟亂序的解決方法
技術領域：
本發明屬於雲計算技術領域，具體涉及一種hadoop集群搭建磁碟亂序的解決方法。
背景技術：
目前，hadoop基於其強勁優勢，得到了業界眾多公司的青睞和大力支持，已經在網際網路領域遍地開花。有公司用hadoop支持廣告系統和Web搜索的研究；有公司用hadoop支持其數據分析和機器學習；有公司用Hadoop進行搜索日誌的分析和網頁數據的挖掘工作；也有公司用Hadoop系統存儲並處理電子商務交易的相關數據。隨著計算機技術和通信技術的發展和融合，Hadoop的應用也會從網際網路領域向電信、電子商務、銀行、生物製藥等領域拓展。Hadoop框架中最核心的設計就是MapReduce和HDFS。Hadoop的架構如圖I所
/Jn οHadoop環境架設好後，每次重起機器，會出現磁碟盤符的亂序。比如，機器重起前掛載的順序是/hdfs/datal->sdal ；/hdfs/data2->sdbl;/hdfs/data3->sdcl;/hdfs/data4->sddl; ......機器重起後掛載的順序是/hdfs/datal->sddl ；/hdfs/data2->sdal;/hdfs/data3->sdbl;/hdfs/data4->sdal; ......從而導致DataNode無法起來。

發明內容
為了克服上述現有技術的不足，本發明提供一種hadoop集群搭建磁碟亂序的解決方法,通過UUID解決磁碟亂序問題，不會再出現重新NameNode格式化後，DataNode無法起動的現象。為了實現上述發明目的，本發明採取如下技術方案一種hadoop集群搭建磁碟亂序的解決方法，所述方法包括步驟I :查詢磁碟設備的UUID ；步驟2 :修改 /etc/fstab 文件；步驟3:將磁碟掛載。所述步驟I中，根據ls-la/dev/disk/by-uuid查詢磁碟設備的UUID。
所述步驟2中，修改/etc/fstab文件,通過VIM命令,在/etc/fstab文件的末尾加入UUID的相關信息，將每個磁碟的UUID與需要被掛載的相關目錄綁定。所述步驟3中，通過mount命令將磁碟掛載到相關的目錄。與現有技術相比，本發明的有益效果在於本發明提供一種hadoop集群搭建磁碟亂序的解決方法,通過UUID解決磁碟亂序問題，不會再出現重新NameNode格式化後，DataNode無法起動的現象，該方法簡單可靠，易執行。


圖I是Hadoop的架構圖；圖2是hadoop集群搭建磁碟亂序的解決方法流程圖。
具體實施例方式下面結合附圖對本發明作進一步詳細說明。如圖2，本發明提供一種hadoop集群搭建磁碟亂序的解決方法，所述方法包括步驟I :查詢磁碟設備的UUID號；步驟2 :修改 /etc/fstab 文件；步驟3:將磁碟掛載。所述步驟I中，根據ls-la/dev/disk/by-uuid查詢磁碟設備的UUID號。
如lrwxrwxrwx. I root root 10 Aug 15 11:07 27f8bc60-3c63-41e4-a3bc-fac625775238-〉· · /· · /sdallrwxrwxrwx. I root root 10 Aug 15 11:07 3210d886-cd42-439c-900f-010210fe385f->. · /· · /sdbllrwxrwxrwx I root root 10 Aug 15 11:07 fe6bd727-bdc6-4af9-b80c-7876ed8d557b->. . /· · /sdcllrwxrwxrwx. I root root 10 Aug 15 11:07 b868c920-427e-454f-8d3b-20b76b5ec207->. .1..1 sddl ......所述步驟2中，修改/etc/fstab文件,通過VIM命令,在/etc/fstab文件的末尾加入UUID的相關信息，將每個磁碟的UUID號與需要被掛載的相關目錄綁定。添加內容如下所示UUID=27f8bc60-3c63-41e4-a3bc-fac625775238/hdfs/datalext4defaults 11UUID=3210d886-cd42-439c-900f-010210fe385f/hdfs/data2ext4defaults 11UUID=fe6bd727-bdc6-4af9-b80c-7876ed8d557b/hdfs/data3ext4defaults 11UUID=b868c920-427e-454f-8d3b-20b76b5ec207/hdfs/data4ext4defaults II所述步驟3中，通過mount命令將磁碟掛載到相關的目錄。如mount/hdfs/datal將相應的磁碟掛載到目錄mount/hdf s/datalmount/hdfs/data2
mount/hdfs/data3mount/hdfs/data4在一個Hadoop集群中，通常存在著大量的伺服器，每一臺伺服器通常會有多塊硬
盤，內核分配盤符的順序是/dev/sda、/dev/sdb、/dev/sdc.......在系統啟動過程中，內
核會按照掃描到硬碟的順序分配盤符。在系統啟動後，熱插拔硬碟硬碟，系統會順序分配盤符。在同一個硬碟槽位，每次插入硬碟後，在系統中的盤符都可能出現前後不一致。盤符可能從/dev/sda，變成/dev/sdc。盤符的變化，將直接導致原目錄無法找到原相應的文件。在Hadoop的HDFS中，存儲了成千上萬的文件，一旦這種情況出現，將導致文件系統發生錯舌L。本方法能夠方便快捷的解決這一問題。磁碟被格式化後，其UUID將不會發生變化，通過UUID綁定，可以一勞永逸的解決盤符錯亂導致文件系統錯亂的問題。最後應當說明的是以上實施例僅用以說明本發明的技術方案而非對其限制，儘管參照上述實施例對本發明進行了詳細的說明，所屬領域的普通技術人員應當理解依然可以對本發明的具體實施方式
進行修改或者等同替換，而未脫離本發明精神和範圍的任何修改或者等同替換，其均應涵蓋在本發明的權利要求範圍當中。
權利要求
1.一種hadoop集群搭建磁碟亂序的解決方法，其特徵在於所述方法包括 步驟I :查詢磁碟設備的UUID號； 步驟2 :修改/etc/fstab文件； 步驟3 :將磁碟掛載。
2.根據權利要求I所述的hadoop集群搭建磁碟亂序的解決方法，其特徵在於所述步驟I中，根據ls-la/dev/disk/by-uuid查詢磁碟設備的UUID號。
3.根據權利要求I所述的hadoop集群搭建磁碟亂序的解決方法，其特徵在於所述步驟2中，修改/etc/fstab文件,通過VIM命令,在/etc/fstab文件的末尾加入UUID的相關信息，將每個磁碟的UUID號與需要被掛載的相關目錄綁定。
4.根據權利要求I所述的hadoop集群搭建磁碟亂序的解決方法，其特徵在於所述步驟3中，通過mount命令將磁碟掛載到相關的目錄。
全文摘要
本發明提供一種hadoop集群搭建磁碟亂序的解決方法，所述方法包括查詢磁碟設備的UUID號；修改/etc/fstab文件；將磁碟掛載。本發明通過UUID號解決磁碟亂序問題，不會再出現重新NameNode格式化後，DataNode無法起動的現象。
文檔編號G06F3/06GK102929561SQ20121038053
公開日2013年2月13日 申請日期2012年10月9日 優先權日2012年10月9日
發明者楊鑫 申請人:曙光信息產業(北京)有限公司