广州总部集群环境说明
=============================

注意：广州总部的环境都需要使用vpn登陆
## 1. 演示环境

| 机器IP |  host  |  cpu  |  内存  |
| --- | --- | --- |  --- |
| 192.168.20.11 | node01 | 8核 | 16g |
| 192.168.20.12 | node02 | 8核 | 16g |
| 192.168.20.13 | node03 | 8核 | 16g |
| 192.168.20.14 | node04 | 8核 | 16g |

用户名：root  
密码：Southgis123*

### 安装说明
所有的大数据组件的安装包在/opt/software目录下  
所有的大数据的安装路径都是/opt/modelu目录下

注意：只有kudu除外，因为kudu是通过服务包的形式进行安装的。  
kudu的配置文件在/etc/kudu/conf目录下  
kudu的日志文件在/var/log/kudu目录下

### 启动hadoop环境：

.. code::

    //启动集群
    /opt/module/hadoop-3.0.0/sbin/start-all.sh
    //停止集群
    /opt/module/hadoop-3.0.0/sbin/stop-all.sh

    注意：上面的启动方式比较方便，但是最好不要这么启动，建议使用以下的启动方式
    （1）整体启动/停止 hdfs
    start-dfs.sh
    stop-dfs.sh
    （2）整体启动/停止 yarn
    start-yarn.sh
    stop-yarn.sh

    //查询服务状态
    jps

    另一点注意：  
    hadoop3.0之后，hdfs的ui端口变了。从50070变为了9870

### 启动spark环境

.. code::

    //启动spark环境
    /opt/module/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh
    //停止spark环境
    /opt/module/spark-2.4.0-bin-hadoop2.7/sbin/stop-all.sh

    //查询服务状态
    jps

### 启动kudu环境

.. code::

    //启动kudu主节点
    systemctl start kudu-master
    //启动kudu从节点
    systemctl start kudu-tserver

    //停止kudu主节点
    systemctl stop kudu-master
    //停止kudu从节点
    systemctl stop kudu-tserver

    //查询主节点服务状态
    systemctl status kudu-master
    //查询从节点服务状态
    systemctl status kudu-tserver

### 启动kudu环境

.. code::

    //启动kudu主节点
    systemctl start kudu-master
    //启动kudu从节点
    systemctl start kudu-tserver

    //停止kudu主节点
    systemctl stop kudu-master
    //停止kudu从节点
    systemctl stop kudu-tserver

    //查询主节点服务状态
    systemctl status kudu-master
    //查询从节点服务状态
    systemctl status kudu-tserver

### 启动presto环境
presto暂时是单机安装，安装在了192.168.20.12机器上

.. code::

    //启动presto服务
    bin/launcher run  前台启动
    bin/launcher start  后台运行
    //启动presto客户端
    ./presto --server localhost:8090 --catalog kudu --schema default

    //停止presto主节点
    bin/launcher stop
    或者直接杀死线程

## 1. CDH环境
CDH环境是总部人员安装，我们只在他们的基础上安装了kudu环境。  
如有需要，可以去CM主页面看信息：  

.. code::

    http://192.168.10.135:7180/cmf/home  
    admin  
    Southgis_  

| 机器IP |  host  |  cpu  |  内存  |
| --- | --- | --- |  --- |
| 192.168.10.170 | bd170 | 8核 | 64g |
| 192.168.10.171 | bd171 | 8核 | 64g |
| 192.168.10.172 | bd172 | 8核 | 64g |
| 192.168.10.173 | bd173 | 8核 | 64g |

用户名：root  
密码：Bigdata123