Hadoop安裝文檔

題目：

Hadoop 安裝文檔

文檔信息 變更歷史

目 錄

文檔信息 . ............................................................................................................ 1

變更歷史 . ............................................................................................................ 1 1

環境準備 . ..................................................................................................... 4 1.1

準備安裝介質 ........................................................................................... 4 1.2

卸載OPEN-JAVA .................................................................................... 4 1.3

安裝SUN-JDK . ........................................................................................ 4 1.4

編輯HOSTS 文件 .................................................................................... 5 1.5

關閉SELINUX 安全驗證和IPTABLES . ................................................... 5 1.5.1

關閉SELINUX 安全驗證 ...................................................................... 5 1.5.2

關閉IPTABLES ................................................................................... 5 1.6

創建新用戶 . .............................................................................................. 5 1.6.1

創建用戶修改密碼 ................................................................................ 5 1.6.2

集羣間設置SSH 無密碼訪問 ................................................................ 6 2

安裝HADOOP ............................................................................................ 6 2.1

解壓 HADOOP TAR包 ........................................................................... 6 2.2

設置HADOOP 環境變量.......................................................................... 6 2.3

修改HADOOP 的配置文件 ...................................................................... 7 2.3.1

配置CONF/CORE-SITE.XML文件 . ..................................................... 7 2.3.2

配置CONF/MAPRED-SITE.XML文件................................................. 7 2.3.3

配置CONF/ HDFS-SITE.XML文件 ..................................................... 8 2.3.4 配置CONF/HADOOP-ENV.SH文件 . ................................................... 8

2.3.5

配置MASTERS 文件 ........................................................................... 8 2.3.6

配置SLAVES 文件 . .............................................................................. 9 2.4

啓動HADOOP . ........................................................................................ 9 2.4.1

格式化NAMENODE ............................................................................ 9 2.4.2

啓動HADOOP ..................................................................................... 9 2.4.3 查看WEB 頁面 .................................................................................. 10 3

安裝HBASE ............................................................................................. 10 3.1

解壓HBASE TAR包 ............................................................................. 10 3.2

設置HBASE 的環境變量 ....................................................................... 10 3.3

修改HBASE 的配置文件 ....................................................................... 11 3.3.1

配置CONF/HBASE-SITE.XML文件 ................................................. 11 3.3.2

配置HBASE-ENV.SH 文件 ................................................................ 11 3.3.3

配置REGIONSERVERS 文件 . ........................................................... 12 3.4

啓動HBASE .......................................................................................... 12 3.4.1 查看WEB 頁面 .................................................................................. 12 4

安裝HIVE . ................................................................................................. 12 4.1

解壓HIVE TAR包.................................................................................. 12 4.2

配置環境變量 ......................................................................................... 12 4.3 進入命令行 . ............................................................................................ 13 5 使用JPS 查看進程 .................................................................................... 14

1 環境準備

1.1 準備安裝介質

Hadoop 官網下載地址：

Hive 官網下載地址：

HBase 官網下載地址：

1.2 卸載open-java

查看系統自帶的已經安裝的java

$rpm -qa | grep java

java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

卸載自帶java

$rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

$rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

1.3 安裝Sun-jdk

$cd /usr

unzip Sun-JDK

$vim /etc/profile

export JAV A_HOME=/usr/jdk1.6

export PATH=$PATH:$JAV A_HOME/bin:$JAV A_HOME/jre/bin

export CLASSPATH=.:$JAV A_HOME/lib:$JAV A_HOME/jre/lib:$CLASSPATH $source /etc/profile

1.4 編輯hosts 文件

將集羣中所有伺服器的hostname 添加到hosts 文件中

$vi /etc/hosts

1.5 關閉selinux 安全驗證和iptables

1.5.1 關閉selinux 安全驗證

$vi /etc/sysconfig/selinux

修改SELINUX 變量爲disabled

SELINUX=disabled

使設置生效，不用重啓機器

$setenforce 0

1.5.2 關閉iptables

停止服務

$service iptables stop

關閉開機啓動

$chkconfig iptables off

1.6 創建新用戶

1.6.1 創建用戶修改密碼

$useradd hd

$passwd hd

1.6.2 集羣間設置ssh 無密碼訪問 $mkdir ~/.ssh

$chmod 700 ~/.ssh/

在集羣中所有伺服器上生成密鑰文件

$ cd ~/.ssh

$ ssh-keygen -t dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ chmod 600 ~/.ssh/authorized_keys

合併所有的authorized_keys文件，並同步到所有伺服器節點上。 2 安裝Hadoop

2.1 解壓 Hadoop tar包

$tar -xzf hadoop-1.1.0.tar.gz

2.2 設置Hadoop 環境變量

$vi /etc/profile

增加以下環境變量

export HADOOP_HOME=/home/hd/hadoop/hadoop-1.1.0

export PATH=$PATH:$HADOOP_HOME/bin

生效修改

$source /etc/profile

2.3 修改Hadoop 的配置文件

2.3.1 配置conf/core-site.xml文件

a) fs.default.name 是NameNode 的URI 。hdfs://主機名:埠/

b) hadoop.tmp.dir ：Hadoop 的默認臨時路徑，這個最好配置，如果在新增節點或者其他情

況下莫名其妙的DataNode 啓動不了，就刪除此文件中的tmp 目錄即可。不過如果刪除了NameNode 機器的此目錄，那麼就需要重新執行NameNode 格式化的命令。

2.3.2 配置conf/mapred-site.xml文件

2.3.3 配置conf/ hdfs-site.xml文件

a) dfs.name.dir 是NameNode 持久存儲名字空間及事務日誌的本地文件系統路徑。 當這個值

是一個逗號分割的目錄列表時，nametable 數據將會被複製到所有目錄中做冗餘備份。 b) dfs.data.dir 是DataNode 存放塊數據的本地文件系統路徑，逗號分割的列表。 當這個值是

逗號分割的目錄列表時，數據將被存儲在所有目錄下，不用於Namenode 的冗餘機制，Datanode 將輪詢地存儲數據，所以講Datanode 的不同路徑分布在不同的物理硬碟上將提升性能。

c) dfs.replication 是數據需要備份的數量，默認是3，如果此數大於集羣的機器數會出錯。 d) name1、name2、data1、data2目錄不能預先創建，hadoop 格式化時會自動創建。

2.3.4 配置conf/hadoop-env.sh文件

增加JA V A_HOME環境變量

2.3.5 配置masters 文件

配置SecondaryNameNode ，也可以配置成自己

$vi masters

其中namenode 是master 伺服器主機名

2.3.6 配置slaves 文件

$vi slaves

其中node1-8爲datanode 伺服器主機名

2.4 啓動Hadoop

2.4.1 格式化NameNode

$./bin/hadoop namenode –format

格式化成功後在hdfs-site.xml 中配置的/home/hd/hadoop/name1和/home/hd/hadoop/name2兩個目錄會自動生成。

2.4.2 啓動Hadoop

$./bin/start-all.sh

啓動成功後在hdfs-site.xml 中配置的/home/hd/hadoop/data1和/home/hd/hadoop/data2兩個目錄會自動生成。

2.4.3 查看WEB 頁面

NameNode -

JobTracker -

3 安裝HBase

3.1 解壓HBase tar包

$tar –xvf hbase-0.94.1.tar.gz

3.2 設置Hbase 的環境變量

$vi /etc/profile

增加以下環境變量

export HBASE_HOME=/home/hd/hbase/hbase-0.94.1

export PATH=$PATH:$HBASE_HOME/bin

生效修改

$source /etc/profile

3.3 修改HBase 的配置文件

3.3.1 配置conf/hbase-site.xml文件

a) hbase.rootdir 是Hbase 的根目錄位置url 地址需要跟Hadoop 設置的一致。該項不識別機器

IP ，只能使用hostname

b) hbase.cluster.distributed 是是否採用分布式模式。

c) hbase.zookeeper.quorum 是運行Zookeeper 節點的主機名，個數必須爲奇數。

3.3.2 配置hbase-env.sh 文件

a) HBASE_MANAGES_ZK是設置是否讓Hbase 管理Zookeeper

3.3.3 配置regionservers 文件

3.4 啓動Hbase

$./bin/stat-hbase.sh

3.4.1 查看WEB 頁面

HBase Master -

4 安裝Hive

4.1 解壓hive tar包

$tar –xvf hive-0.9.0.tar.gz

4.2 配置環境變量

$vi /etc/profile

export HIVE_HOME=/home/hd/hive/hive-0.9.0

export PATH=$PATH:$HIVE_HOME/bin

4.3 進入命令行

$./bin/hive

4.4 使用Mysql 管理Hive 元數據

4.4.1 配置Mysql

使用root 用戶登錄mysql

$mysql -u root –p

創建hive 用戶

create user hive;

create database hivedb;

給hive 用戶賦權限

grant all on *.* to 'hive'@'%' identified by 'hive';

4.4.2 配置

conf/hive-site.xml

5 使用JPS 查看進程

解答：