4.9. 平台武研集群环境说明¶
## 1. docker 环境（192.168.3.195）
这是平台的常用环境，基于 docker 镜像运行，使用 docker-compose 进行管理。模拟分布式环境进行测试。
（说明：195 机器上的容器的镜像源全部来自于 192.168.3.196 机器的编译构建，所以如果有改动基础自建镜像的的需求，最好在 196 机器上重新编译，进行推送，然后在 195 机器上进行拉取更新。）
整个 195 机器的 docker 环境是在/root/igis 目录下： 目录脚本说明：
小技巧
1.与编译相关的脚本 build-java.sh //单独编译java目录下的后端微服务镜像（即整个igis平台的后端微服务） fe-build.sh //单独编译igis前端的镜像 microservice-build.sh //单独编译spark插件的镜像
2.与容器运行有关的脚本 run.sh //运行docker-compose.yml文件定义的容器 stop.sh //停止docke-compose.yml文件定义的容器 server_build_and_run.sh //对后端微服务进行编译并运行
3.与容器操作有关的脚本 goto_container.sh //进入某个特定容器（参数为容器id） toContainer.sh //进入某个特定容器（参数为spark、oozie、nm中的一个） logs_of_docker.sh //查询某个特定容器的日志信息（参数为容器id） clean_untaged_images.sh //删除无用的镜像 clean_container_logs.sh //清除容器的日志（我没试过，待确认）
4.其它 change-git-user.sh //修改git的提交用户信息 fe-test.sh //启动一个前端的测试容器 clean-branch.sh //清除分支信息的脚本（没试过，不确定。使用前请确认）
其它文件说明：
小技巧
docker-compose.yml //docker-compose的启动文件，用于管理docker容器 hadoop.env //docker-compose.yml文件的管理文件，用于定义hadoop的相关参数 version.Makefile //用于定义一些参数变量以及大数据组件的版本参数 Makefile //make的编译脚本，指定编译顺序 CHANGELOG //版本更新日志 README.md //使用说明文档
docker-compose.yml 文件特别说明
小技巧
docker-compose.yml用于统一管理文件中定义的所有容器。 在docker-compose.yml文件中，可以自定义容器。可以参考195上的docker-compose.yml文件。 在文件中可以定义容器名称，容器来源的镜像（image），容器重启方式（restart），容器文件映射（volumns），容器环境变量定义（environment），容器端口映射（ports），容器启动依赖（depends_on）等等。 有需要的话可以去查资料了解更多的docker-compose.yml文件的定义信息。
## 裸机环境 1（192.168.3.160-162）–这套环境需要清理
这套环境是当初为了模拟公司的测试环境（192.168.20.11-14），而进行的测试。里面的环境包括 hadoop，spark，kudu，flink。之后可以把这套环境给清理掉。
机器包括三台：
### 启动 hadoop 环境：
//启动集群
/opt/module/hadoop-2.8.5/sbin/start-all.sh
//停止集群
/opt/module/hadoop-2.8.5/sbin/stop-all.sh
注意：上面的启动方式比较方便，但是最好不要这么启动，建议使用以下的启动方式
（1）整体启动/停止 hdfs
start-dfs.sh
stop-dfs.sh
（2）整体启动/停止 yarn
start-yarn.sh
stop-yarn.sh
//查询服务状态
jps
### 启动 spark 环境
//启动spark环境
/opt/module/spark-2.3.2-bin-hadoop2.7/sbin/start-all.sh
//停止spark环境
/opt/module/spark-2.3.2-bin-hadoop2.7/sbin/stop-all.sh
//查询服务状态
jps
### 启动 flink 环境
//启动flink环境
/opt/module/flink-1.7.1/bin/start-cluster.bat
//停止flink环境
/opt/module/flink-1.7.1/bin/stop-cluster.bat
//查询服务状态
jps
### 启动 kudu 环境
//启动kudu主节点
systemctl start kudu-master
//启动kudu从节点
systemctl start kudu-tserver
//停止kudu主节点
systemctl stop kudu-master
//停止kudu从节点
systemctl stop kudu-tserver
//查询主节点服务状态
systemctl status kudu-master
//查询从节点服务状态
systemctl status kudu-tserver
## 裸机环境 2（主节点 194）
机器包括三台： | 机器 IP | host | cpu | 内存 | 组件和服务 | | — | — | — | — | — | | 192.168.3.194 | bigdata.master | 4 核 | 8g | hadoop（NameNode，ResourceManager，SecondaryNameNode），spark（Master），kudu（kudu-master，kudu-tserver） | | 192.168.3.197 | bigdata.slave1 | 4 核 | 16g | hadoop（NodeManager，DataNode），spark（Worker），kudu（kudu-tserver） | | 192.168.3.198 | bigdata.slave2 | 4 核 | 16g | hadoop（NodeManager，DataNode），spark（Worker），kudu（kudu-tserver） | 这套环境为裸机部署环境。只部署了 hadoop，spark，kudu 环境。 组件的安装在/opt 目录下。
### 启动 hadoop 环境：
//启动集群
/opt/hadoop-2.8.5/sbin/start-all.sh
//停止集群
/opt/hadoop-2.8.5/sbin/stop-all.sh
注意：上面的启动方式比较方便，但是最好不要这么启动，建议使用以下的启动方式
（1）整体启动/停止 hdfs
start-dfs.sh
stop-dfs.sh
（2）整体启动/停止 yarn
start-yarn.sh
stop-yarn.sh
//查询服务状态
jps
### 启动 spark 环境
//启动spark环境
/opt/spark-2.3.0-bin-hadoop2.7/sbin/start-all.sh
//停止spark环境
/opt/spark-2.3.0-bin-hadoop2.7/sbin/stop-all.sh
//查询服务状态
jps
### 启动 kudu 环境
//启动kudu主节点
systemctl start kudu-master
//启动kudu从节点
systemctl start kudu-tserver
//停止kudu主节点
systemctl stop kudu-master
//停止kudu从节点
systemctl stop kudu-tserver
//查询主节点服务状态
systemctl status kudu-master
//查询从节点服务状态
systemctl status kudu-tserver
## CDH 环境
这套环境是为了测试云南项目而临时测试搭建的 CDH 环境，目前还有一些问题。如果后期需要使用的话还需要修复找一下问题。并且后期 CDH 运维需要做的话，还是需要基于这套环境进行测试的。
## K8S 环境
因为 k8s 的环境搭建基本停滞，所以机器被别的环境所占用。本来的机器是四台，分别是：
192.168.3.150 192.168.3.160 192.168.3.161 192.168.3.162