storm集群部署

1、安装部署zookeeper集群:

详情见:http://blog.csdn.net/liuxiao723846/article/details/78035189

假设zookeeper集群安装到了centos1、centos2、centos3 这三台服务器上。

2、安装storm:

0.9之前的Storm版本需要单独安装ZeroMQ和JZMQ,0.9之后的版本不需要安装。我们安装的是0.9.6版本。

1)服务器准备:

A.centos1:storm的nimbus节点(相当于hadoop的jobtractor)

B.centos2:storm的supervisor节点

 将集群中机器的防火墙关掉;修改/etc/hosts文件,设置IP和主机名的映射关系。并且安装好jdk1.7,和python2.7,以及环境变量。

2)下载storm:(步骤2-4是在centos1服务器上进行的操作)

wget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz

解压:tar -xvzf apache-storm-0.9.6.tar.gz -C /usr/local

软连接:cd /usr/local   ln -s apache-storm-0.9.6/ storm

3)环境变量:

vim /etc/profile

export STORM_HOME=/usr/local/apache-storm-0.9.6/
export PATH=$PATH:$HBASE_HOME/bin:$STORM_HOME/bin

source /etc/profile

4)配置storm:

首先,启动zk;

vim STORM_HOME/conf/storm.yaml

########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "centos1"
     - "centos2"
     - "centos3"
 
 nimbus.host: "centos1"
 storm.local.dir: "/data/storm/data"
 supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703
注: 开头的空格以及冒号之后也有空

创建目录:mkdir -p /data/storm/data

5)将storm目录拷贝到其他集群:

scp -rp /usr/local/storm/ root@centos2:/usr/local/

然后登录到centos2,加软连接、配置环境变量


3、启动storm集群:

在centos1上运行(nimbus):storm nimbus &

在centos2上运行(supervisor)storm supervisor &

在centos1上运行(nimbus):storm ui & 

在centos1上运行(nimbus)storm logviewer &

1)执行jps确认是storm集群启动成功,看是否存在nimbus进程和supervisor进程,以及是否有core进程(对应ui启动成功),是否有logviewer进程。

2)在浏览器中输入运行了nimbus进程的机器ip地址,端口号为8080,可以看到storm集群信息。

本站公众号
   欢迎关注本站公众号,获取更多程序园信息
开发小院