4.1. CDH环境搭建文档¶

版本：cm5.13.3

4.1.1. 环境要求¶

内存分配

将3台虚拟机分配好内存

JDK

安装JDK配置环境变量

安装配置mysql

在cdh01上安装mysql，配置相应的用户权限。

关闭SELINUX

临时关闭：

setenforce 0

修改配置文件/etc/selinux/config（重启生效）

将SELINUX=enforcing 改为SELINUX=disabled

ssh免密登录

将cdh01，cdh02，cdh03，cdh04相互之间配置免密登陆。

下载第三方依赖

在三台节点（所有agent的节点）上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

创建CM用的数据库：

（1）集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（2）hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（3）oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（4）hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

4.1.2. CM安装部署¶

CM下载地址：http://archive.cloudera.com/cm5/cm/5/

离线库下载地址：http://archive.cloudera.com/cdh5/parcels

注：以下所有操作均使用root用户

4.1.2.1. ### 1. 解压cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz¶

[root@cdh01 module]# mkdir /opt/module/cloudera-manager

[root@cdh01 module]# tar -zxvf /opt/software/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz -C /opt/module/cloudera-manager/

4.1.2.2. ### 2. 创建用户cloudera-scm（所有节点）¶

[root@cdh01 cloudera-scm-server]# useradd –system –home=/opt/module/cloudera-manager/cm-5.13.3/run/cloudera-scm-server –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm

–system 创建一个系统账户

–home 指定用户登入时的主目录，替换系统默认值/home/<用户名>

–no-create-home 不要创建用户的主目录 –shell 用户的登录 shell 名 –comment 用户的描述信息

注意： Cloudera Manager默认用户为cloudera-scm，创建具有此名称的用户是最简单的方法。安装完成后，将自动使用此用户。

4.1.2.3. 3. 配置CM Agent¶

修改文件/opt/module/cloudera-manager/cm-5.13.3/etc/cloudera-scm-agent/ config.ini

[root@cdh01 cloudera-scm-agent]# vim /opt/module/cloudera-manager/cm-5.13.3/etc/cloudera-scm-agent/config.ini

server_host=cdh01

4.1.2.4. 4. 配置CM的数据库¶

拷贝mysql jar文件到目录 /usr/share/java/

[root@cdh01 share]# mkdir /usr/share/java/

[root@cdh01 cm-5.13.3]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

[root@cdh01 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

注意jar包名称要修改为mysql-connector-java.jar

在mysql中创建cm库

[root@cdh01 cm-5.13.3]# /opt/module/cloudera-manager/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hcdh01 -uroot -p000000 –scm-host cdh01 scm scm scm

-h：Database host

-u：Database username

-p：Database Password

–scm-host：SCM server’s hostname

4.1.2.5. 5. 分发cloudera-manager¶

[root@cdh01 module]# scp -r /opt/module/cloudera-manager/ cdh03:/opt/module/

[root@cdh01 module]# scp -r /opt/module/cloudera-manager/ cdh04:/opt/module/

4.1.2.6. 6. 创建Parcel-repo 目录¶

Servre 节点创建目录/opt/cloudera/parcel-repo

[root@cdh01 module]# mkdir -p /opt/cloudera/parcel-repo

[root@cdh01 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

拷贝下载文件到/opt/cloudera/parcel-repo

（1）CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel

（2）CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1:需改名为 CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha

（3）manifest.json

[root@cdh01 cm-5.13.3]# mv /opt/software/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1 /opt/software/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha
[root@cdh01 module]# cp /opt/software/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha /opt/cloudera/parcel-repo/
[root@cdh01 module]# cp /opt/software/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel /opt/cloudera/parcel-repo/
[root@cdh01 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/

在Agent 节点（cdh02，cdh03，cdh04）创建目录/opt/cloudera/parcels

[root@cdh02 module]# mkdir -p /opt/cloudera/parcels
[root@cdh02 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@cdh03 module]# mkdir -p /opt/cloudera/parcels
[root@cdh03 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@cdh04 module]# mkdir -p /opt/cloudera/parcels
[root@cdh04 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

4.1.2.7. 7. 分发Parcel-repo¶

[root@cdh01 opt]# scp -r /opt/cloudera/ cdh03:/opt/ [root@cdh01 opt]# scp -r /opt/cloudera/ cdh04:/opt/

4.1.2.8. 8. 启动和关闭CM Server&Agent 服务¶

服务节点：cdh01 [root@cdh01 init.d]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/ cloudera-scm-server start Starting cloudera-scm-server: [确定]

工作节点：cdh01cdh03cdh04 [root@cdh02 init.d]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent start 正在启动 cloudera-scm-agent： [确定]

[root@cdh03 module]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent start 正在启动 cloudera-scm-agent： [确定]

[root@cdh04 module]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent start 正在启动 cloudera-scm-agent： [确定]

注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。 [root@cdh01 init.d]# netstat -anp | grep 7180 tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java

查看被占用则表示安装成功了！！！访问http://cdh01:7180，（用户名、密码：admin）

关闭：服务节点：cdh01 [root@cdh01 init.d]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-server stop 停止 cloudera-scm-server： [确定]

工作节点：cdh02cdh03cdh04 [root@cdh01 init.d]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent: [确定]