部署HDFS-創(chuàng)新互聯(lián)

HDFS存放副本時會優(yōu)先在同一個數(shù)據(jù)節(jié)點備份一份，然后在不同的虛擬機架上備份

目前創(chuàng)新互聯(lián)公司已為上千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁空間、網(wǎng)站托管、企業(yè)網(wǎng)站設(shè)計、商丘網(wǎng)站維護等服務，公司將堅持客戶導向、應用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

namenode的HA是靠主備方式保證的，自動切換時要用到zookeeper，手動切換可以通過命令，備節(jié)點可以在數(shù)據(jù)節(jié)點上，一套HDFS-HA最少需要3臺機子

安裝步驟：

#yum install java

#wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

#tar -zxvf hadoop-2

#mv hadoop-2.6.0 /usr/local/hadoop

ssh免密碼登錄，分發(fā)公鑰:

#ssh-keygen -t rsa

#ssh-copy-id -i /root/.ssh/id_rsa.pub '-p 22 [email protected]'

#vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64/jre 指定jdk目錄
export HADOOP_PID_DIR=${HADOOP_HOME}/pids
export HADOOP_SSH_OPTS="-p 1234"   如果非22的ssh端口，需要這行來指定端口

#vim /usr/local/hadoop/etc/hadoop/core-site.xml 編輯主節(jié)點主要參數(shù)

<configuration>
<property>
   <name>hadoop.tmp.dir</name>
   <value>file:/hdfs/tmp</value>指定上傳到hdfs數(shù)據(jù)臨時存放目錄，多硬盤可設(shè)多個來備份和提高效率
</property>
<property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.128.129:9000</value>      指定默認主的訪問方式
    </property>
</configuration>

#mkdir -p /hdfs/tmp

#vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml      編輯hdfs數(shù)據(jù)存放參數(shù)

<configuration>
<property>
    <name>dfs.replication</name>
    <value>2</value>                    數(shù)據(jù)備份數(shù)
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/hdfs/name</value>    name節(jié)點存放數(shù)據(jù)位置，多硬盤可設(shè)置多個來備份和提高效率
</property>
<property>
    <name>dfs.datannode.data.dir</name>
    <value>file:/hdfs/nodedata</value>    數(shù)據(jù)節(jié)點存數(shù)據(jù)位置，多硬盤可設(shè)多個來備份和提高效率
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>    指定備name節(jié)點ip
    <value>hdfs://備節(jié)點ip:50070</value>
</property>
    <name>dfs.webhdfs.enabled</name>     開啟網(wǎng)頁看結(jié)構(gòu)功能
    <value>true</value> 
</property>
<property>
   <name>dfs.permissions</name>        文件操作時禁止檢查權(quán)限
   <value>false</value>
</property>
</configuration>

#mkdir /hdfs/name

#mkdir /hdfs/nodedata

#vim /usr/local/hadoop/etc/hadoop/slaves 添加數(shù)據(jù)節(jié)點的ip或主機名

#export HADOOP_ROOT_LOGGER=DEBUG,console 為了解決本地庫報錯，設(shè)置前端顯示日志

#/usr/local/hadoop/bin/hadoop fs -ls 主要看看需要的GLIBC版本

#wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz

#tar -zxvf glibc-2.14

#mkdir glibc-build

#cd glibc-build

#../glibc-2.14/configur --prefix=/usr

#make && make install 最后出現(xiàn)的libc5啥的錯誤無視他

#shutdown -r 0 重啟系統(tǒng)生效

開始使用：

#/usr/local/hadoop/bin/hadoop namenode -format 格式化

#/usr/local/hadoop/sbin/start-dfs.sh    在namenode節(jié)點啟動HDFS  stop-dfs.sh 停止

訪問 http://ip:50070  看網(wǎng)頁狀態(tài)

監(jiān)控：

獲取HDFS狀態(tài)命令：

#/usr/local/hadoop/bin/hadoop dfsadmin -report

如果livenode是0的話就刪了所有節(jié)點的tmp、name、data文件夾里的東西，然后再格式化，啟動

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

名稱欄目：部署HDFS-創(chuàng)新互聯(lián)
URL標題：http://www.jbt999.com/article16/ddsedg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、網(wǎng)頁設(shè)計公司、網(wǎng)站營銷、做網(wǎng)站、網(wǎng)站改版、面包屑導航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)