hadoop+Spark+hbase集群动态增加节点

分布式系统的一个优势就是动态可伸缩性,如果增删节点需要重启那肯定是不行的。后来研究了一下,发现的确是不需要重启集群,直接在新增的节点上分别启动以下进程即可。
以hadoop、spark和hbase为例:

一、hadoop增加datanode节点

因为1.x版本和2.x版本有比较大的差异,我这里是以2.7为例。
在namenode节点上,将hadoop-2.7复制到新节点上,并在新节点上删除data和logs目录中的文件。

1、增加hdfs数据节点datanode

在此节点上启动hdfs:

./sbin/hadoop-daemon.sh start datanode     # (后台模式)  
或
./bin/hdfs datanode                        # (控制台模式)

2、下次自动启动,

修改集群里机器的所有$HADOOP_HOME/etc/hadoop/slaves配置文件,添加新节点。

3、刷新节点信息:

./bin/hdfs dfsadmin -refreshNodes

4、查看hdfs节点状态:即有多少个节点

./bin/hdfs dfsadmin -report

5、启动后可以均衡数据,使用命令

./sbin/start-balancer.sh

如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低工作效率:
查看hdfs节点状态:

hdfsdfsadmin –report
1048576(=1Mb/s)
104857600(=100Mb/s)
hdfsdfsadmin -setBalancerBandwidth 104857600

#设置不同节点之间复制数据的带宽是受限的,默认是1MB/s

start-balancer.sh -threshold 1

#设置如果某个datanode的磁盘里使用率比平均水平高出1%,Blocks向其他低于平均水平的datanode中传送, 也就是每个节点使用率相差不超过1%。
或者:

start-balancer.sh
stop-balancer.sh

6、卸载节点

卸载节点一般不建议直接停掉,需要先将其排除在集群之外,

编辑配置文件:$HADOOP_HOME/etc/hadoop/hdfs-core.xml

<property>  
    <name>dfs.hosts</name> 
    <value>.../etc/hadoop/datanode-allow.list</value>  
</property> 
<property> 
    <name>dfs.hosts.exclude</name>  
    <value>.../etc/hadoop/datanode-deny.list</value>  
</property>

在datanode-deny.list中 加入要卸载的节点名称

刷新节点信息:

./bin/hdfs dfsdmin -refreshNodes         # 会看到节点变成Dead和Decommissioned状态

最后再停止节点:

./sbin/hadoop-daemon.sh stop datanode

7、增加NodeManager任务节点

####启动:

./sbin/yarn-daemon.sh start nodemanager    # (后台模式)  
或
./bin/yarn nodemanager                     # (控制台模式)

####停止:

./sbin/yarn-daemon.sh stop nodemanager

8、关闭namenode节点的安全模式

./bin/hadoop dfsadmin -safemode leave

二、spark新增worker节点

1、增加一个节点就是在该节点执行:

./sbin/start-slave.sh spark://<master>:7077

就完成了新节点的注册和加入集群。

2、新增节点启动验证

执行jps命令,slave可以看到Worker进程

3、查看Spark UI

看到Workers中有新增节点

4、停止节点:

./sbin/stop-slave.sh

之后在master的管理端会显示这个节点已经“死掉”了。然而这条信息会一直显示到重启master为止。

5、希望下次自动启动这个新节点,

把这个节点名称加入到$SPARK_HOME/conf/slaves文件里。

三、hbase新增RegionServer

1、启动HRegionServer进程

hbase-daemon.shstart regionserver

2、启动HquorumPeer进程

hbase-daemon.shstart zookeeper

3、查看集群状态

hbase shell中输入status

4、负载均衡:

hbase shell中输入:balance_switch true

相关文章
相关标签/搜索