5. 特征异常值检测

缺前端控件截图

5.1. 功能说明

异常检测算法有: 1. 箱型图 2. Attribute Value Frequency

该算子的主要用途是计算数据集某些特征字段中的异常值,目前使用的算法为箱型图。

说明:特征异常监测,目前使用箱型图,由后端处理所有数据,按格式传给前端

https://echarts.baidu.com/examples/editor.html?c=boxplot-light-velocity

前端应该对用户说明,数值相差很大的列不应该使用箱型图一起展示,应该先归一化,避免显示不正常

5.2. 参数说明

参数名称

参数取值范围

默认值

参数描述

字段集合

字符串

“”

选择需要计算的列,如果不选则默认转换全部字段

检测函数

字符串

“箱型图”

检测函数,暂时仅支持箱型图

5.3. 参数

名称

类型

是否必传

备注

inputarg

array

Y

字段集合

inputarg.#.tbname1

string

Y

表名

inputarg.#.strategy

string

Y

检测方法,1-箱型图;2-Attribute Value Frequency

inputarg.#.columnArray

array

Y

字段名称集合

5.4. 返回

名称

类型

是否必传

备注

result

String

Y

所有输出的JSON,按节点类型解析

5.5. 算法入口及参数

名称

示例

备注

args[0]

tmptb2019062511473300088201

输入表名

args[1]

sepal_length,petal_width

需要检测的列

args[2]

hdfs://namenode:9000/ispatial/sysfile/tmp2019062605545200088301

结果存储地址

args[3]

1

检测方法

缺前端控件截图-包含节点控件效果展示

5.6. ## 算子参数配置

{
"operators": [   #算子配置数组(一次性可以上传多个算子)
        {
        "name": "characterabnormaldetection",
        "descritpion": "",
        "folder": "/特征工程/特征变换",
        "configs": {
        "properties": {
                "mainclass": "com.southgis.ispatial.ml.feature.CharacterAbnormalDetectionExample"
        },
        "params": {
                        "input_nodes": [
                        {
                                "key": "input1",
                                "desc": "输入数据表",
                                "type": "table"
                        }
                        ],
                        "input_form": [
                        {
                                "key": "strategy",
                                "label": "检测函数",
                                "placeholder": "必选项",
                                "type": "select",
                                                                "optionItems":[
                                        "箱型图"
                                ]
                        },
                        {
                                "key": "columnArray",
                                "label": "需要计算的字段",
                                "placeholder": "请输入数据字段,','分隔",
                                "type": "input"
                        }
                        ],
                        "output_nodes": [
                        {
                                "key": "output1",
                                "desc": "输出数据",
                                "type": "file"
                        }
                        ]
                },
                "preview": {
                "chart_type": "",
                "chart_option": {},
                "table_type": ""
                }
        }
        }
]
}

## 代码入口参数说明

参数键值

参数名称

参数取值范围

默认值

参数描述

input1

输入数据表

字符串

output1

输出数据

字符串

strategy

检测函数

字符串

“箱型图”

检测函数,暂时仅支持箱型图

columnArray

字段集合

字符串

“”

选择需要计算的列,如果不选则默认转换全部字段