CDH环境搭建文档 ================== 版本：cm5.13.3 环境要求 --------------------- 1. 内存分配 将3台虚拟机分配好内存 2. JDK 安装JDK配置环境变量 3. 安装配置mysql 在cdh01上安装mysql，配置相应的用户权限。 4. 关闭SELINUX (1) 临时关闭： setenforce 0 (2) 修改配置文件/etc/selinux/config（重启生效） 将SELINUX=enforcing 改为SELINUX=disabled 5. ssh免密登录 将cdh01，cdh02，cdh03，cdh04相互之间配置免密登陆。 6. 下载第三方依赖 在三台节点（所有agent的节点）上执行下载第三方依赖 yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl 7. 创建CM用的数据库： （1）集群监控数据库 create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; （2）hive数据库 create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; （3）oozie数据库 create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; （4）hue数据库 create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; CM安装部署 ---------------- CM下载地址：http://archive.cloudera.com/cm5/cm/5/ 离线库下载地址：http://archive.cloudera.com/cdh5/parcels 注：以下所有操作均使用root用户 ### 1. 解压cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ [root@cdh01 module]# mkdir /opt/module/cloudera-manager [root@cdh01 module]# tar -zxvf /opt/software/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz -C /opt/module/cloudera-manager/ ### 2. 创建用户cloudera-scm（所有节点） ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ [root@cdh01 cloudera-scm-server]# useradd --system --home=/opt/module/cloudera-manager/cm-5.13.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm --system 创建一个系统账户 --home 指定用户登入时的主目录，替换系统默认值/home/<用户名> --no-create-home 不要创建用户的主目录 --shell 用户的登录 shell 名 --comment 用户的描述信息 注意： Cloudera Manager默认用户为cloudera-scm，创建具有此名称的用户是最简单的方法。 安装完成后，将自动使用此用户。 3. 配置CM Agent ^^^^^^^^^^^^^^^^^^^^ 修改文件/opt/module/cloudera-manager/cm-5.13.3/etc/cloudera-scm-agent/ config.ini [root@cdh01 cloudera-scm-agent]# vim /opt/module/cloudera-manager/cm-5.13.3/etc/cloudera-scm-agent/config.ini server_host=cdh01 4. 配置CM的数据库 ^^^^^^^^^^^^^^^^^^^^ 1. 拷贝mysql jar文件到目录 /usr/share/java/ [root@cdh01 share]# mkdir /usr/share/java/ [root@cdh01 cm-5.13.3]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/ [root@cdh01 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar • 注意jar包名称要修改为mysql-connector-java.jar 2. 在mysql中创建cm库 [root@cdh01 cm-5.13.3]# /opt/module/cloudera-manager/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hcdh01 -uroot -p000000 --scm-host cdh01 scm scm scm -h：Database host -u：Database username -p：Database Password --scm-host：SCM server's hostname 5. 分发cloudera-manager ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ [root@cdh01 module]# scp -r /opt/module/cloudera-manager/ cdh03:/opt/module/ [root@cdh01 module]# scp -r /opt/module/cloudera-manager/ cdh04:/opt/module/ 6. 创建Parcel-repo 目录 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 1. Servre 节点创建目录/opt/cloudera/parcel-repo [root@cdh01 module]# mkdir -p /opt/cloudera/parcel-repo [root@cdh01 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo 2. 拷贝下载文件到/opt/cloudera/parcel-repo （1）CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel （2）CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1:需改名为 CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha （3）manifest.json .. code:: [root@cdh01 cm-5.13.3]# mv /opt/software/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1 /opt/software/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha [root@cdh01 module]# cp /opt/software/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha /opt/cloudera/parcel-repo/ [root@cdh01 module]# cp /opt/software/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel /opt/cloudera/parcel-repo/ [root@cdh01 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/ 3. 在Agent 节点（cdh02，cdh03，cdh04）创建目录/opt/cloudera/parcels .. code:: [root@cdh02 module]# mkdir -p /opt/cloudera/parcels [root@cdh02 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels [root@cdh03 module]# mkdir -p /opt/cloudera/parcels [root@cdh03 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels [root@cdh04 module]# mkdir -p /opt/cloudera/parcels [root@cdh04 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 7. 分发Parcel-repo ^^^^^^^^^^^^^^^^^^^^ [root@cdh01 opt]# scp -r /opt/cloudera/ cdh03:/opt/ [root@cdh01 opt]# scp -r /opt/cloudera/ cdh04:/opt/ 8. 启动和关闭CM Server&Agent 服务 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 服务节点：cdh01 [root@cdh01 init.d]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/ cloudera-scm-server start Starting cloudera-scm-server: [确定] 工作节点：cdh01\cdh03\cdh04 [root@cdh02 init.d]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent start 正在启动 cloudera-scm-agent： [确定] [root@cdh03 module]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent start 正在启动 cloudera-scm-agent： [确定] [root@cdh04 module]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent start 正在启动 cloudera-scm-agent： [确定] 注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。 [root@cdh01 init.d]# netstat -anp | grep 7180 tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java 查看被占用则表示安装成功了！！！ 访问http://cdh01:7180，（用户名、密码：admin） 关闭： 服务节点：cdh01 [root@cdh01 init.d]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-server stop 停止 cloudera-scm-server： [确定] 工作节点：cdh02\cdh03\cdh04 [root@cdh01 init.d]# /opt/module/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent stop Stopping cloudera-scm-agent: [确定]