Hadoop分布式环境搭建总结(非生产：Rat Hat Linux 6.4 + Hadoop_1.2.1)

一．环境准备

1. VMware workstation 9

2. Red Hat linux 6.4版本 32bit

3. JDK版本 jdk-7u45-linux-i586

4. Hadoop jar包 1.2.1版本32位

5. 远程登录及ftp工具(自选)

备注：

hadoop安装包下载下载地址：hadoop.apache.org

目前最新版本已经更新到2.2.0 发布版本

二．部署安装步骤

整体分为：

（1） 系统安装

（2） JDK安装及创建SSH无密码访问通讯连接

（3） Hadoop解压安装配置

（4） 配置网络域名解析及关闭放火墙

2.1 安装系统。

安装好虚拟机后，安装linux系统，注意网络连接方式选择桥接，其他配置根据个人机器情况自行配置。完全分布式共需要准备3个虚拟机。

我设置的实验虚拟机内存为512M 硬盘为10G：

节点	节点IP	节点类型
Node01	10.55.15.89	NameNode
Node02	10.55.15.65	DataNode
Node03	10.55.15.91	DataNade

2.2 JDK安装及创建SSH无密码访问通讯连接

1. 首先为每台机安装JDK

使用root用户，执行rpm -ivh jdk-7u45-linux-i586.rpm

用安装结束后，使用java –version 检查是否安装好

2. SSH创建无密码访问：

a. 使用命令ssh-keygen -t rsa分别为三台节点机创建密钥：

此处，以其中一个节点为图例

中间过程一路回车就可以，无需填写任何东西

然后，打开隐藏目录.shh 查看密钥是否生成

b. 将共有密钥拷贝一份，重命名为authorized_keys

c. 将另外两台节点机的共有秒内容也拷贝到authorized_keys的内容中

d. 将文件 authorized_keys 拷贝到另外两台节点机 .shh 目录下

e. 配置hosts域名解析

f. 测试三台节点机的无密码访问联通性及自访问联通性

2.3 Hadoop解压安装及修改配置文件

将tar包解压，tar –xzvf hadoop-1.2.1.tar.gz

1. 修改core-site.xml

a.配置Namenode主机及端口号

b.配置制定临时文件夹路径，tmp文件夹要自行创建。

添加内容：

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://node01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/criss/hadoop/hadoop-1.2.1/tmp</value>

</property>

</configuration>

2. 修改hadoop-env.sh文件

修改JDK的路径

3. 修改hdfs-site.xml

节点机数量为2，value为2

添加如下内容：

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

4. 修改mapred-site.xml

配置job tracter监听端口监听端口

<property>

<name>mapred.job.tracker</name>

<value>node01:9001</value>

</property>

5. 修改master 和 slaves

修改master文件

添加namenode 主机名

修改slaves

添加datanode 主机名

6. 配置好的Hadoop文件夹整体拷贝到各个节点。

2.4闭防火墙

关闭每台机的防火墙：

/etc/init.d/iptables stop 关闭防火墙。
chkconfig iptables off 关闭开机启动。

三．测试启动Hadoop

执行命令可以在任意机器进行操作。

1. 初始化Namenode

Hadoop namenode –format

2． 初始化成功后启动

./start-all.sh 启动

验证Namenode主机进程是否启动成功:

验证Datanode节点机进程是否启动成功:

到此安装部署过程结束！

这是什么东东啊

支持一下

相当不错，感谢无私分享精神！

路过，学习下

谢谢楼主，共同发展

我抢、我抢、我抢沙发~