跳转至

关键概念

数据探索:数据探索是以业务需求为根基,以数据监控为目标,使用数据可视化和数学统计技术,更加直观的探索数据的异常值、数据分布情况等。这个过程中包含预处理、特征值提取,以及对异常数据的预警规则三个过程。

预处理:针对不同任务和数据集属性,在进一步数据探索之前,对数据进行清理、转换和组织。确保数据为后续探索的各阶段做好准备。

特征值提取:根据不同的业务需求,针对不同任务和数据集属性,提取出需要重点监测的数据指标。

节点:为简易化编辑数据探索任务,将数据探索中涉及到过程抽象为单一的节点组件模块,包含预处理节点、特征提取节点、预警规则节点等。

滑动窗口:一种分段数据处理的方式,通过在整个数据上定义一个固定大小的窗口,每次只处理窗口内的一小段数据。窗口从数据的起点开始,沿着数据逐步“滑动”,每次提取一部分数据进行分析或计算。滑动窗口的目的是对局部数据进行特征值提取,例如计算均值、最大值、最小值或其他特征,进而分析整体数据的动态变化。

窗口大小:滑动窗口的范围,表示一次处理的数据量。例如,窗口大小为10表示一次处理连续的10个数据点。

滑动步长(Step Size):表示窗口在每次滑动时前进的距离,即窗口起始位置每次向前移动多少数据点。滑动步长控制了数据处理的频率和计算的精细程度。

预警规则:根据不同的业务需求,对提取出的特征值建立规则指标,如果超过制定指标,则触发预警。