机器学习预置算法用户手册

本文档服务于iGIS时空大数据平台用户，主要用于帮助用户理解并使用平台预置的多种算法。

文档将详细介绍各算法的业务参数意义和算法原理，帮助用户在数据处理、建模过程中选择合适的算子。

目录

• 机器学习预置算法用户手册

  • 一. 源/目标

  • 二. 数据预处理

    • 采样与过滤

    • 数据合并

    • 其他预处理

    • 空间拓扑计算(待移至GIS-Tools)

  • 三. 特征工程

    • a) 特征变换

    • b) 特征重要性评估

    • c) 特征选择

    • d) 遥感影像特征提取(待移至GIS-Tools)

  • 四. 统计分析

  • 五. 机器学习

    • a) 二分类

    • b) 多分类

    • c) 聚类分析

    • d) 回归分析

    • 关联推荐

    • e) 模型评估

一. 源/目标

• 1. 读Kudu表
• 2. 写kudu表
• 3. 读Mysql
• 4. 读数据表
• 5. SQL工具

二. 数据预处理

采样与过滤

• 1. 随机采样
• 2. 加权采样
• 3. 分层采样
• 4. 过滤映射

数据合并

• 1. Join————SY
• 2. 合并列————SY
• 3. 合并行————SY

其他预处理

• 1. 类型转换
• 2. 增加序列号
• 3. 拆分
• 4. 缺失值填充
• 5. 归一化
• 6. 标准化
• 7. KVtoTable
• 8. TabletoKV

空间拓扑计算(待移至GIS-Tools)

• 1. # 相交
• 2. # 交集取反
• 3. # 联合
• 4. # 剪裁
• 5. # 擦除
• 6. # 面邻域
• 7. # 轨迹空间离群点

三. 特征工程

a) 特征变换

• 1. # 奇异值分解
• 2. 主成份分析 PCA
• 3. # 特征尺度变换
• 4. 特征异常平滑
• 5. 特征异常值检测
• 6. 特征离散

b) 特征重要性评估

• 1. 随机森林-特征重要性
• 2. # GBDT-特征重要性

c) 特征选择

• 1. 特征生成介绍
• 2. 特征编码
• 3. One-Hot独热编码

d) 遥感影像特征提取(待移至GIS-Tools)

• 1. # 几何特征
• 2. # 光谱特征
• 3. # 归一化植被指数(NDVI)
• 4. # 归一化水体指数(NDWI)
• 5. # 灰度共生矩阵
• 6. # Tamura纹理特征
• 7. 轨迹空间相似性
• 8. 轨迹时间相似性
• 9. 轨迹时空相似性

四. 统计分析

• 1. 数据视图
• 2. 协方差
• 3. 经验概率密度图
• 4. 全表统计
• 5. 卡方拟合性检验
• 6. 卡方独立性检验
• 7. 箱线图
• 8. 散点图–SY
• 9. 相关系数矩阵–SY
• 10. 双样本T检验
• 11. 单样本T检验
• 12. 正态检验
• 13. 洛伦兹曲线
• 14. 百分位–SY
• 15. 皮尔森系数
• 16. 直方图–SY
• 17. 离散值特征分析–SY

五. 机器学习

• 1. 预测

a) 二分类

• 1. 逻辑回归二分类
• 2. GBDT二分类
• 3. AdaBoost二分类
• 4. （线性）支持向量机
• 5. PS-SMART二分类

b) 多分类

• 1. K近邻–SY
• 2. 随机森林
• 3. AdaBoost多分类
• 4. 朴素贝叶斯–SY
• 5. 逻辑回归多分类
• 6. PS-SMART多分类

c) 聚类分析

• 1. K均值
• 2. DBSCAN—-SY

d) 回归分析

• 1. 线性回归—-SY
• 2. GBDT回归—-SY
• 3. AdaBoost回归
• 4. PS-SMART回归
• 5. PS线性回归

关联推荐

协同过滤

e) 模型评估

• 1. 二分类模型评估
• 2. 多分类模型评估
• 3. 回归模型评估
• 4. 聚类模型评估
• 5. 混淆矩阵