Hue安装配置

  Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。很早以前就听说过Hue的便利与强大,一直没能亲自尝试使用,下面先通过官网给出的特性,通过翻译原文简单了解一下Hue所支持的功能特性集合:

默认基于轻量级sqlite数据库管理会话数据,用户认证和授权,可以自定义为MySQL、Postgresql,以及Oracle
基于文件浏览器(File Browser)访问HDFS
基于Hive编辑器来开发和运行Hive查询
支持基于Solr进行搜索的应用,并提供可视化的数据视图,以及仪表板(Dashboard)
支持基于Impala的应用进行交互式查询
支持Spark编辑器和仪表板(Dashboard)
支持Pig编辑器,并能够提交脚本任务
支持Oozie编辑器,可以通过仪表板提交和监控Workflow、Coordinator和Bundle
支持HBase浏览器,能够可视化数据、查询数据、修改HBase表
支持Metastore浏览器,可以访问Hive的元数据,以及HCatalog
支持Job浏览器,能够访问MapReduce Job(MR1/MR2-YARN)
支持Job设计器,能够创建MapReduce/Streaming/Java Job
支持Sqoop 2编辑器和仪表板(Dashboard)
支持ZooKeeper浏览器和编辑器

支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器


Hue安装步骤如下:

1、新增个Hue用户:

[root@vm2018 hue]# useradd hue
[root@vm2018 hue]# passwd hue
Changing password for user hue.
New password: 
BAD PASSWORD: The password is shorter than 8 characters
Retype new password: 
passwd: all authentication tokens updated successfully.
[root@vm2018 hue]# chown -R hue /home/svr/deploy/service/hue
2、首先使用yum工具来安装Hue相关的依赖软件:
网上看了需要安装的有很多
$ yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
$ yum install -y 'ant' 'asciidoc' 'cyrus-sasl-devel' 'cyrus-sasl-gssapi' 'gcc' 'gcc-c++' 'krb5-devel' 'libtidy' 'libxml2-devel' 'libxslt-devel' 'make' 'mvn' 'openldap-devel' 'python-devel' 'sqlite-devel'  'openssl-devel' 'gmp-devel'
$ yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptools python-simplejson sqlite-devel ant gmp-devel cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi libffi-devel openldap-devel
懒得去区分了,都执行一遍

3、然后,执行如下命令进行Hue软件包的下载构建
$ git clone https://github.com/cloudera/hue.git
$ cd hue
$ make apps
$ ....
备注:构建过程中可能会出现很多问题;


4、Hue的配置文件为hue/desktop/conf/pseudo-distributed.ini

修改其中的内容,与我们对应的Hadoop集群配置相对应。该配置文件根据整合不同的软件,将配置分成多个段,每个段下面还有子段,便于管理配置,如下所示(省略子段名称):

我们很容易根据需要来配置自己需要的内容。我们修改配置文件的情况,
如下表所示:
Hue配置段 Hue配置项 Hue配置值 说明
desktop default_hdfs_superuser root HDFS管理用户
desktop http_host 0.0.0.0 Hue Web Server所在主机/IP
desktop http_port 8000 Hue Web Server服务端口
desktop server_user hue 运行Hue Web Server的进程用户
desktop server_group hue 运行Hue Web Server的进程用户组
desktop default_user hue Hue管理员
hadoop/hdfs_clusters fs_defaultfs hdfs://hadoop6:8020 对应core-site.xml配置项fs.defaultFS
hadoop/hdfs_clusters hadoop_conf_dir /usr/local/hadoop/etc/hadoop Hadoop配置文件目录
hadoop/yarn_clusters resourcemanager_host hadoop6 对应yarn-site.xml配置项yarn.resourcemanager.hostname
hadoop/yarn_clusters resourcemanager_port 8032 ResourceManager服务端口号
hadoop/yarn_clusters resourcemanager_api_url http://hadoop6:8088 对应于yarn-site.xml配置项yarn.resourcemanager.webapp.address
hadoop/yarn_clusters proxy_api_url http://hadoop6:8888 对应yarn-site.xml配置项yarn.web-proxy.address
hadoop/yarn_clusters history_server_api_url http://hadoo6:19888 对应mapred-site.xml配置项mapreduce.jobhistory.webapp.address
beeswax hive_server_host 10.10.4.125 Hive所在节点主机名/IP
beeswax hive_server_port 10000 HiveServer2服务端口号
beeswax hive_conf_dir /usr/local/hive/conf Hive配置文件目录


5、启动Hue
$ build/env/bin/hue runserver
或者
$ build/env/bin/supervisor &

备注:如果用root启动不成功,就需要切换到hue用户去启动;

如下:

[root@vm2018 hue]# chown -R hue hue/
[root@vm2018 hue]# su hue
[hue@vm2018 hue]$ ls
app.reg  data     docs          LICENSE.txt  Makefile.sdk      Makefile.vars.priv  package.json       tools
apps     desktop  ext           logs         Makefile.tarball  maven               package-lock.json  VERSION
build    dist     Gruntfile.js  Makefile     Makefile.vars     NOTICE.txt          README.md          webpack.config.js
[hue@vm2018 hue]$ build/env/bin/supervisor
Hue服务启动成功后,可以直接通过浏览器打开连接http://ip:8000/,就可以登录。第一次打开,需要输入默认用户和口令,然后就可以登录进去,如下图所示:


备注:如果启动之后在外网访问不了,

则修改hue的http_host参数为0.0.0.0,

重启Hue即可;

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在,都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多程序园信息
开发小院