hadoop2.9安装指南

1、到hadoop官网下载最新的二进制版本。
2、把压缩包上传到你的linux服务器、解压缩、配置环境变量. ps:我这里用的是centos6.9,你也可以用别的linux,譬如ubuntu。
解压缩命令: tar -zxvf hadoop-2.9.0.tar.gz
文件夹重命名:mv hadoop-2.9.0 hadoop
配置环境变量:vim /etc/profile

export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
alias cdha='cd /home/hadoop'
export HADOOP_HOME=/home/hadoop

让更改生效:
source /etc/profile
这里我们设置了一个别名 cdha,可以快速转到hadoop 的目录。
(注意你需要事先已经安装好了java8哦!)
3、 修改hadoop配置文件
需要修改的配置文件都位于$HADOOP_HOME/etc/hadoop目录下。
1) vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131

注意这里一定要是java的绝对路径,不可以用$JAVA_HOME代替。
2)vim core-site.xml
这里写图片描述
3)vim hdfs-site.xml
这里写图片描述
4、配置文件修改说明:
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
5、配置完成后,执行以下语句格式化NameNode:
./bin/hdfs namenode –format
成功会看到如下提示:
这里写图片描述
6、接着执行以下命令开启 NameNode 和 DataNode 守护进程:
./sbin/start-dfs.sh
若ssh提示连接,输入yes即可
启动完成后,输入命令jps来判断是否启动成功.
若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”
成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
若有如下页面,恭喜安装成功 !
这里写图片描述

本站公众号
   欢迎关注本站公众号,获取更多程序园信息
开发小院