Hue(Hadoop User Experience)是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。
1 安装包
在安装前,请获取如下表所示的安装包:
安装包名称 | 下载地址 |
hue-3.11.0.tgz | http://gethue.com/downloads/hue-3.11.0.tgz |
2 安装准备
本节介绍HUE安装前的准备。
2.1 上传软件包
请执行如下命令上传并解压安装包。
- 将安装包hue-3.11.0.tgz上传到以下目录中
/var/www/html/HDP/centos7/2.6.4.0-91/hue /var/www/html/HDP-UTILS/hue
- 添加hue用户
groupadd hue useradd -m hue echo hue | passwd --stdin hue sed -i 'N;94a\hue ALL=NOPASSWD:ALL' /etc/sudoers
- 创建hue目录
mkdir -p /usr/local/hue chown -R hue:hue /usr/local/hue
2.2 安装HUE依赖包
通过yum安装HUE依赖包,如果其他节点也是用HUE,也需要安装一下依赖包。
yum install gcc gcc-c++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant cyrus-sasl-plain gmp-devel libffi-devel openldap-devel asciidoc libyaml-devel pycrypto saslwrapper-devel rsync python-psycopg2 krb5-devel python-simplejson openssl
2.3 HUE纳入Ambari的管理
在ambari主机节点上执行以下命令:
VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` rm -rf /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUE
2.4 在PostgreSQL添加hue信息
在ambari主机节点上执行以下命令:
#su postgers $psql create user hue with password 'Zetyun2018' ; create database hue with owner hue ; grant all privileges on database hue to hue ;
2.5 httpfs安装
yum install hadoop-httpfs systemctl start hadoop-httpfs
2.6 重启Ambari Server
在ambari主机节点上执行以下命令:
Systemctl resart ambari-server
2.7 Hue纳入Ambari的管理
在ambari主机节点上执行以下命令:
VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` rm -rf /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUE
3 HUE安装
本节介绍HUE安装后的检查事项及其步骤。
3.1 通过Ambari安装HUE
- Ambari安装HUE
重启Ambari Server服务后可通过,可通过web管理进行安装HUE。
然后选择“Next”可完成安装。
3.2 手动安装HUE
如果通过ambari安装失败,需要手动进行编译安装:
- Hue编译安装
tar -zxvf hue-3.11.0.tgz -C /usr/local cd /usr/local/hue3.11.0 cd /usr/local/hue3.11.0 PREFIX=/usr/local make install # 安装过程没有报错则说明安装成功,/usr/local/hue/build/env/bin/目录如下就表明安装成功。
- 初始化数据库
cd /usr/local/hue source build/env/bin/activate hue syncdb --noinput hue migrate
- 配置HUE
# 修改配置文件/usr/local/hue/desktop/conf/hue.ini [desktop] secret_key=beijing server_user=hue server_group=hue default_user=hue default_hdfs_superuser=hdfs app_blacklist=spark,zookeeper,search,impala,sqoop,rdbms,pig,oozie,hbase allowed_hosts=* [[database]] engine=postgresql_psycopg2 host=172.20.20.14 port=5432 user=hue password=hue name=hue schema=public [hadoop] [[hdfs_clusters]] [[[default]]] fs_defaultfs=hdfs://172.20.20.13:8020 webhdfs_url=http://172.20.20.13:50070/webhdfs/v1 [[yarn_clusters]] [[[default]]] resourcemanager_host=172.20.20.14 [beeswax] hive_server_host=172.20.20.14 hive_server_port=10000 [[database]] engine=postgresql_psycopg2 host=172.20.20.14 port=5432 user=hue password=hue name=hue schema=public
3.3hadoop配置
Hive配置
HDFS配置
HUE配置,开启需要的服务模块。
3.4 重启Ambari Server
在ambari主机节点上执行以下命令:
Systemctl resart ambari-server