数据探索¶
数据探索是 DFS 平台中用于数据分析、特征提取与异常识别的核心功能,通过可视化的任务编排方式,用户可以构建数据处理链路、配置探索方法和预警规则,并将探索流程发布为模板,实现后续同源同构数据的自动化分析与监测。
探索任务执行后,系统会生成新的探索数据集,可用于进一步分析验证、看板展示或业务决策。若配置了预警规则,系统将在模板执行过程中自动识别异常并生成预警事件,形成可持续运行的监测闭环。
关键概念
-
数据探索数据集:执行探索任务后生成的结果数据集,通常已包含处理逻辑和特征变量。
-
预警规则:用于定义数据异常的触发条件,包括阈值判断、趋势变化或多条件组合等。/ 启用预警规则后,系统将在模板执行过程中自动检测数据状态,一旦满足预设条件,即触发预警事件,为用户提供及时的风险提示。
提示:若未配置预警规则,系统仅执行数据探索流程,不进行异常检测与预警判断。
-
数据探索模板:预定义的探索逻辑和处理规则,便于复用,提高探索效率。
-
同源同构数据:来自同一数据源或采集通道(如同一设备、传感器、接口、集成系统,或同一个孪生场景生成的模拟记录),并且具有一致的数据结构、字段格式与语义定义的数据。
数据探索编辑面板¶
数据探索编辑面板提供可视化的数据处理编排能力,包括工具栏、节点栏、画布区域及辅助交互功能。
图 64 数据探索编辑面板
工具栏¶
图 65数据探索任务面板——工具栏
-
选择参数:用于通过参数标签和数据集标签选择原始数据。
-
执行:运行当前任务并生成数据处理后的结果。
-
保存:存储当前任务配置。
-
发布:发布数据探索模板,对同源同构型数据会自动执行对应的数据分析、预警检测逻辑。
节点栏¶
“节点栏”提供多种数据处理、分析、模型运算及输出节点,用户可根据业务需求和数据分析逻辑进行灵活编排。以下为各类节点的详细说明、适用场景及使用方法。
-
预处理方法节点:预处理节点用于对原始数据进行初步处理,以便更好地进行后续分析。
-
线性插值:
-
功能:通过假设数据在缺失点前后的变化是线性的,推算缺失数据。即沿着一条直线连接相邻已知数据点,填补空缺。
-
适用场景:处理时间序列数据中存在的小量缺失值,保证数据的连贯性和完整性。
-
-
数据降频:
-
功能:将原始高频数据转换为低频数据,例如将高频采样的数据降低为每秒一次。
-
适用场景:需要将过于频繁的数据简化为更易分析的低频数据。
-
-
数据填充-时间重采样:
-
功能:对低频数据进行重采样,将其转换为高频数据,适用于同时分析高频与低频数据的场景。
-
适用场景:当高频数据与低频数据混合使用时,使用此方法填充低频数据以与高频数据匹配。
-
-
自定义预处理方法:
-
功能:用户可以根据特定需求创建自定义的数据预处理逻辑。
-
适用场景:当标准预处理方法不能满足需求时,提供灵活的扩展性。
-
-
特征指提取方法节点:特征提取节点用于从数据中提取重要的统计特征,用于后续建模和分析。
-
提取最大值:提取数据中的最大值
-
提取四分位数:将数据排序并分成四等份,提取三个分割点(25%、50%、75%)的位置数值。
-
提取标准差:计算数据的标准差,反映数据的波动程度。
-
提取中位数:提取数据集的中位数(50%分位数)。
-
提取平均值:提取数据的平均值。
-
提取方差:计算数据集的方差,反映数据的分散程度。
-
提取最小值:提取最小值。
-
自定义特征值提取方法:根据特定需求编写自定义的特征提取规则。
-
预警规则节点:用于定义数据触发的预警条件。
-
规则预警:通过预设的判断逻辑(如阈值判断、区间范围或多条件组合)对数据进行持续监测。当数据满足设定的预警触发条件,并符合指定的逻辑判断方式(如“全部满足”或“任一满足”)时,系统将自动触发预警并生成对应信息。
-
运算节点:运算节点用于在数据处理过程中进行数学运算,通常用于构建计算模型或生成新的数据指标。
-
输出节点:输出节点用于将处理结果导出或传递到其他模块
-
预处理输出节点:将经过预处理的数据输出,以供后续分析使用。
画布(任务编排区域)¶
您可以在此区域进行数据探索任务配置,主要支持的功能如下:
-
添加节点:支持从左侧的节点栏拖动节点到画布上,创建任务的基本框架。
-
连接节点:通过拖动节点之间的连接线(箭头)来定义数据流向。箭头表示数据从一个节点流向另一个节点的顺序,确保任务按正确的顺序执行。
-
查看节点详情:
-
基础信息:例如处理方法的名称、类型、创建者、状态等信息。
-
相关代码:该节点关联的代码或脚本。
图 66查看节点详情
- 查看节点处理后的数据:在任务执行后,用户可以在画布上查看各个节点处理后的数据,帮助分析任务运行的结果。
图 67 查看执行结果
交互按钮¶
图 68交互按钮
-
帮助:查看快捷键。
-
清空画布:清空画布上的所有节点和连接,恢复为初始空白状态。
-
撤销:撤销上一步的操作,将画布恢复到上一个操作状态。
-
重做:重做已撤销的操作,将画布恢复到撤销前的状态。
-
缩小:缩小画布视图,使画布上的内容显示得更加宽广,方便查看全局。
-
放大:放大画布视图,使画布上的内容更加清晰,方便用户专注于某一部分。
-
重置:将画布视图恢复为默认设置,通常会将画布大小和显示比例恢复到初始状态。
-
适配:自动调整画布中的内容显示,使其适配当前的视窗或显示区域。
画布缩略图¶
画布右下角的缩略图提供了快速导航和视图调整功能,便于用户在复杂画布中定位和调整显示区域,以下是缩略图的主要功能及其使用方法:
缩放视窗:拉拽绿色视窗右下角的圆形缩放柄,可以扩大或缩小视窗,从而调整画布中的显示范围。
图 69 缩放视窗
移动视窗:通过拖拽绿色视窗本身或点击视窗外的空白区域,可以改变视窗的位置,从而调整画布中显示的具体内容区域。
图 70 移动视窗
数据探索流程¶
图 71 数据探索流程
上图展示了数据探索任务从配置、执行、模板发布,到自动运行与结果存储的完整流程。该流程支持预警规则的配置,若未启用预警,系统将仅执行数据处理逻辑而不进行异常检测。
探索流程适用于多种数据来源,包括:
-
外部业务系统接入平台上传的数据;
-
FactVerse Designer 生成并上传的模拟记录;
-
用户通过通用数据集手动上传的 .csv 文件。
在探索模板发布后,系统会根据模板配置对后续入库的同源同构数据自动执行探索逻辑,并在满足规则条件时触发预警,支持后续的详情查看与溯源分析。
发起数据探索¶
您可通过两种方式发起数据探索任务:
方式一:在“数据探索”页面新建任务¶
操作步骤
- 在“数据探索”页面,点击【新建】。
图 72 在数据探索页面发起
- 在弹出的窗口中填写任务信息。
图 73 新增数据探索
-
名称(必填):输入数据探索任务名称。
-
数据集(必填):选择要分析的数据集。
-
数据集时间范围(必填):通过开始时间和结束时间选择数据集的分析范围。
-
描述(选填):补充说明任务用途或背景。
-
点击【确认】,进入数据探索编辑面板进行任务配置。
方式二:在通用数据集页面直接发起¶
操作步骤
-
在“通用数据集”页面选择目标数据集,点击数据集名称或详情按钮进入数据查看页面。
-
点击“数据表”标签页中的【发起数据探索】按钮。
图 74 从数据集直接发起
-
在弹出的窗口中填写任务信息:
-
名称(必填):输入探索任务名称。
-
描述(选填):补充说明任务背景或目标。
图 75 填写数据探索信息
- 点击【确认】,进入数据探索编辑面板进行任务配置。
配置数据探索任务¶
在任务配置画布中,您可通过拖拽节点、连接数据流向的方式,构建数据处理流程,并根据需要设置预警规则。
操作步骤
-
打开编辑面板
-
新建数据探索 后,系统自动打开编辑面板。
-
也可在数据探索列表中点击名称或【编排规则】进入。
-
图 76 点击编排规则
- 选择原始数据
1) 点击【选择参数】,打开数据选择窗口。
2) 在弹出的窗口中,通过以下方式筛选所需数据:
-
参数:从数据集中选择所需的参数。
-
参数规则:通过设定参数的取值范围,进一步筛选并缩小范围,快速定位目标数据。
图 77 选择原始数据
3) 点击【确认】按钮,系统将在画布上添加一个“原始数据”节点。
图 78 原始数据节点
-
配置数据处理流程
-
拖拽处理节点至画布,并通过连线构建数据处理逻辑;
-
若需要特定算法,可提前在“探索方法管理”模块中自定义方法。
图 79选择数据处理方法
-
设置预警规则(可选)
1) 拖动【预警规则】节点至画布,并连接上游节点。
2) 配置规则条件:详见下一小节“预警规则配置说明”。
图 80设置预警规则
- 保存配置:点击 【保存】,存储当前数据探索配置。
预警规则配置说明¶
在探索流程中,您可以为关键参数、特征值或计算指标配置预警规则,系统将依据规则自动识别异常并生成预警记录。
支持功能:
-
多条件组合判断: 可添加多组规则;
-
逻辑方式切换: 支持“全部满足”或“任意满足”;
-
灵活触发机制: 提供多种触发频率设置;
-
结果提示自定义: 设置个性化提示语便于定位问题。
配置项说明
| 配置项 | 说明 |
|---|---|
| 预警规则名称 | 必填,用于标识该条预警逻辑。 |
| 预警级别 | 可选“高级 / 中级 / 低级”。 |
| 预警频率类型 | 定义预警的触发条件与频率:
|
| 逻辑方式 | 设置多个条件时的判断方式:
|
| 条件类型 | 用于定义触发预警的判断对象,可选择:
|
| 运算符 | 比较方式:>、≥、<、≤、=、≠、包含、不包含。 |
| 阈值 | 与条件配合使用的比较值,用于判断数据是否异常。例如:温度 > 70°C |
| 提示信息 | 设置触发预警后显示的提示内容,建议简洁明确,如:“温度过高,请检查设备”。 |
执行和验证¶
任务配置完成后,您可通过以下操作验证探索流程的正确性与数据处理结果:
- 执行任务:点击画布右上角的【执行】按钮,系统将根据画布中定义的数据处理逻辑,执行节点处理并生成数据分析结果。
执行过程可能涉及数据清洗、特征提取、模型运算等操作,依赖于画布中配置的节点。通过执行任务,分析师可以获得根据业务需求和逻辑处理后的数据结果,数据结果将自动保存到通用数据集中,供后续查看和分析。
-
数据验证:点击数据处理节点上的查看按钮
,打开展示该节点输出结果的数据图表和数据表。-
查看数据趋势、规律、异常值等,进而分析数据是否符合预期。
-
对比数据图表和数据表中的结果,检查是否符合预期的计算结果或分析结果。
-
通过与原始数据、外部数据源或者已知标准的对比,来验证数据处理的准确性。
-
-
优化数据处理:如果数据处理结果存在问题,分析师可以通过调整节点配置、重新运行任务等方式,进行修正和优化。
发布数据探索模板¶
当任务配置无误后,可点击【发布】,将当前流程保存为可复用模板。
-
模板一经发布,系统将对后续入库的同源同构数据自动应用探索逻辑;
-
若配置了预警规则,将在检测到异常时自动触发告警并记录至系统中。
查看与分析预警信息¶
对于已触发的预警,您可以在系统中查看详细预警信息,并支持关联回溯至探索流程以理解其产生原因。
图 81 预警信息页面
操作步骤
-
查找预警记录:在“预警信息”页面通过筛选条件定位目标预警;
-
查看详情:点击某条记录进入预警详情页,可查看以下信息:
-
预警时间、级别、提示信息等基础数据;
-
预警规则的配置条件与触发逻辑;
-
溯源分析:
1) 点击右下角【预警数据查看】图标
,查看触发该预警的数据明细。
图 82 预警数据查看
2) 点击右上角【预警溯源】按钮
,跳转至关联的数据探索任务面板。
图 83 预警溯源
图 84 预警关联的数据探索
3) 在画布中,找到触发该预警的规则预警节点,点击右上角【查看数据】图标
,打开图表分析页面,查看异常数据的走势与变化。
图 85 分析预警数据
4) 点击【查看预警信息】图标
,查看该规则对应的原始数据集。
图 86 预警数据集