跳转至

数据探索

数据探索是 DFS 平台中用于数据分析、特征提取与异常识别的核心功能,通过可视化的任务编排方式,用户可以构建数据处理链路、配置探索方法和预警规则,并将探索流程发布为模板,实现后续同源同构数据的自动化分析与监测。

探索任务执行后,系统会生成新的探索数据集,可用于进一步分析验证、看板展示或业务决策。若配置了预警规则,系统将在模板执行过程中自动识别异常并生成预警事件,形成可持续运行的监测闭环。

关键概念

  • 数据探索数据集:执行探索任务后生成的结果数据集,通常已包含处理逻辑和特征变量。

  • 预警规则:用于定义数据异常的触发条件,包括阈值判断、趋势变化或多条件组合等。/ 启用预警规则后,系统将在模板执行过程中自动检测数据状态,一旦满足预设条件,即触发预警事件,为用户提供及时的风险提示。

提示:若未配置预警规则,系统仅执行数据探索流程,不进行异常检测与预警判断。

  • 数据探索模板:预定义的探索逻辑和处理规则,便于复用,提高探索效率。

  • 同源同构数据:来自同一数据源或采集通道(如同一设备、传感器、接口、集成系统,或同一个孪生场景生成的模拟记录),并且具有一致的数据结构、字段格式与语义定义的数据。

数据探索编辑面板

数据探索编辑面板提供可视化的数据处理编排能力,包括工具栏、节点栏、画布区域及辅助交互功能。

A screenshot of a computer AI-generated content may be incorrect.

图 64 数据探索编辑面板

工具栏

图 65数据探索任务面板——工具栏

  • 选择参数:用于通过参数标签数据集标签选择原始数据。

  • 执行:运行当前任务并生成数据处理后的结果。

  • 保存:存储当前任务配置。

  • 发布:发布数据探索模板,对同源同构型数据会自动执行对应的数据分析、预警检测逻辑。

节点栏

“节点栏”提供多种数据处理、分析、模型运算及输出节点,用户可根据业务需求和数据分析逻辑进行灵活编排。以下为各类节点的详细说明、适用场景及使用方法。

  • 预处理方法节点:预处理节点用于对原始数据进行初步处理,以便更好地进行后续分析。

  • 线性插值

    • 功能:通过假设数据在缺失点前后的变化是线性的,推算缺失数据。即沿着一条直线连接相邻已知数据点,填补空缺。

    • 适用场景:处理时间序列数据中存在的小量缺失值,保证数据的连贯性和完整性。

  • 数据降频

    • 功能:将原始高频数据转换为低频数据,例如将高频采样的数据降低为每秒一次。

    • 适用场景:需要将过于频繁的数据简化为更易分析的低频数据。

  • 数据填充-时间重采样:

    • 功能:对低频数据进行重采样,将其转换为高频数据,适用于同时分析高频与低频数据的场景。

    • 适用场景:当高频数据与低频数据混合使用时,使用此方法填充低频数据以与高频数据匹配。

  • 自定义预处理方法

    • 功能:用户可以根据特定需求创建自定义的数据预处理逻辑。

    • 适用场景:当标准预处理方法不能满足需求时,提供灵活的扩展性。

  • 特征指提取方法节点:特征提取节点用于从数据中提取重要的统计特征,用于后续建模和分析。

  • 提取最大值:提取数据中的最大值

  • 提取四分位数:将数据排序并分成四等份,提取三个分割点(25%、50%、75%)的位置数值。

  • 提取标准差:计算数据的标准差,反映数据的波动程度。

  • 提取中位数:提取数据集的中位数(50%分位数)。

  • 提取平均值:提取数据的平均值。

  • 提取方差:计算数据集的方差,反映数据的分散程度。

  • 提取最小值:提取最小值。

  • 自定义特征值提取方法:根据特定需求编写自定义的特征提取规则。

  • 预警规则节点:用于定义数据触发的预警条件。

  • 规则预警:通过预设的判断逻辑(如阈值判断、区间范围或多条件组合)对数据进行持续监测。当数据满足设定的预警触发条件,并符合指定的逻辑判断方式(如“全部满足”或“任一满足”)时,系统将自动触发预警并生成对应信息。

  • 运算节点:运算节点用于在数据处理过程中进行数学运算,通常用于构建计算模型或生成新的数据指标。

  • 输出节点:输出节点用于将处理结果导出或传递到其他模块

  • 预处理输出节点:将经过预处理的数据输出,以供后续分析使用。

画布(任务编排区域)

您可以在此区域进行数据探索任务配置,主要支持的功能如下:

  • 添加节点:支持从左侧的节点栏拖动节点到画布上,创建任务的基本框架。

  • 连接节点:通过拖动节点之间的连接线(箭头)来定义数据流向。箭头表示数据从一个节点流向另一个节点的顺序,确保任务按正确的顺序执行。

  • 查看节点详情

  • 基础信息:例如处理方法的名称、类型、创建者、状态等信息。

  • 相关代码:该节点关联的代码或脚本。

A screenshot of a computer Description automatically generated

图 66查看节点详情

  • 查看节点处理后的数据:在任务执行后,用户可以在画布上查看各个节点处理后的数据,帮助分析任务运行的结果。
A screen shot of a graph AI-generated content may be incorrect.

图 67 查看执行结果

交互按钮

A screen shot of a phone AI-generated content may be incorrect.

图 68交互按钮

  • 帮助:查看快捷键。

  • 清空画布:清空画布上的所有节点和连接,恢复为初始空白状态。

  • 撤销:撤销上一步的操作,将画布恢复到上一个操作状态。

  • 重做:重做已撤销的操作,将画布恢复到撤销前的状态。

  • 缩小:缩小画布视图,使画布上的内容显示得更加宽广,方便查看全局。

  • 放大:放大画布视图,使画布上的内容更加清晰,方便用户专注于某一部分。

  • 重置:将画布视图恢复为默认设置,通常会将画布大小和显示比例恢复到初始状态。

  • 适配:自动调整画布中的内容显示,使其适配当前的视窗或显示区域。

画布缩略图

画布右下角的缩略图提供了快速导航和视图调整功能,便于用户在复杂画布中定位和调整显示区域,以下是缩略图的主要功能及其使用方法:

缩放视窗:拉拽绿色视窗右下角的圆形缩放柄,可以扩大或缩小视窗,从而调整画布中的显示范围。

A screenshot of a computer AI-generated content may be incorrect.

图 69 缩放视窗

移动视窗:通过拖拽绿色视窗本身或点击视窗外的空白区域,可以改变视窗的位置,从而调整画布中显示的具体内容区域。

A screenshot of a computer AI-generated content may be incorrect.

图 70 移动视窗

数据探索流程

图 71 数据探索流程

上图展示了数据探索任务从配置、执行、模板发布,到自动运行与结果存储的完整流程。该流程支持预警规则的配置,若未启用预警,系统将仅执行数据处理逻辑而不进行异常检测。

探索流程适用于多种数据来源,包括:

  • 外部业务系统接入平台上传的数据;

  • FactVerse Designer 生成并上传的模拟记录;

  • 用户通过通用数据集手动上传的 .csv 文件。

在探索模板发布后,系统会根据模板配置对后续入库的同源同构数据自动执行探索逻辑,并在满足规则条件时触发预警,支持后续的详情查看与溯源分析。

发起数据探索

您可通过两种方式发起数据探索任务:

方式一:在“数据探索”页面新建任务

操作步骤

  1. 在“数据探索”页面,点击【新建】。
A screenshot of a computer AI-generated content may be incorrect.

图 72 在数据探索页面发起

  1. 在弹出的窗口中填写任务信息。
A screenshot of a computer AI-generated content may be incorrect.

图 73 新增数据探索

  • 名称(必填):输入数据探索任务名称。

  • 数据集(必填):选择要分析的数据集。

  • 数据集时间范围(必填):通过开始时间和结束时间选择数据集的分析范围。

  • 描述(选填):补充说明任务用途或背景。

  • 点击【确认】,进入数据探索编辑面板进行任务配置。

方式二:在通用数据集页面直接发起

操作步骤

  1. 在“通用数据集”页面选择目标数据集,点击数据集名称或详情按钮进入数据查看页面。

  2. 点击“数据表”标签页中的【发起数据探索】按钮。

图 74 从数据集直接发起

  1. 在弹出的窗口中填写任务信息:

  2. 名称(必填):输入探索任务名称。

  3. 描述(选填):补充说明任务背景或目标。

A screenshot of a computer AI-generated content may be incorrect.

图 75 填写数据探索信息

  1. 点击【确认】,进入数据探索编辑面板进行任务配置。

配置数据探索任务

在任务配置画布中,您可通过拖拽节点、连接数据流向的方式,构建数据处理流程,并根据需要设置预警规则。

操作步骤

  1. 打开编辑面板

    • 新建数据探索 后,系统自动打开编辑面板。

    • 也可在数据探索列表中点击名称或【编排规则】进入。

A screenshot of a computer AI-generated content may be incorrect.

图 76 点击编排规则

  1. 选择原始数据

1) 点击【选择参数】,打开数据选择窗口。

2) 在弹出的窗口中,通过以下方式筛选所需数据:

  • 参数:从数据集中选择所需的参数。

  • 参数规则:通过设定参数的取值范围,进一步筛选并缩小范围,快速定位目标数据。

A screenshot of a computer AI-generated content may be incorrect.

图 77 选择原始数据

3) 点击【确认】按钮,系统将在画布上添加一个“原始数据”节点。

A screenshot of a computer AI-generated content may be incorrect.

图 78 原始数据节点

  1. 配置数据处理流程

  2. 拖拽处理节点至画布,并通过连线构建数据处理逻辑;

  3. 若需要特定算法,可提前在“探索方法管理”模块中自定义方法。

A screenshot of a computer AI-generated content may be incorrect.

图 79选择数据处理方法

  1. 设置预警规则(可选)

    1) 拖动【预警规则】节点至画布,并连接上游节点。

    2) 配置规则条件:详见下一小节“预警规则配置说明”。

A screenshot of a computer AI-generated content may be incorrect.

图 80设置预警规则

  1. 保存配置:点击 【保存】,存储当前数据探索配置。

预警规则配置说明

在探索流程中,您可以为关键参数、特征值或计算指标配置预警规则,系统将依据规则自动识别异常并生成预警记录。

支持功能:

  • 多条件组合判断: 可添加多组规则;

  • 逻辑方式切换: 支持“全部满足”或“任意满足”;

  • 灵活触发机制: 提供多种触发频率设置;

  • 结果提示自定义: 设置个性化提示语便于定位问题。

配置项说明

配置项 说明
预警规则名称 必填,用于标识该条预警逻辑。
预警级别 可选“高级 / 中级 / 低级”。
预警频率类型

定义预警的触发条件与频率:

  • 持续次数:同一异常连续出现指定次数触发预警;

  • 持续时间:异常状态持续时间达到设定阈值触发;

  • 累计次数:一定时间内累计出现异常次数达到阈值时触发。

逻辑方式

设置多个条件时的判断方式:

  • 以下全部满足:所有条件同时成立才触发预警;

  • 以下任一满足:只要任一条件成立即触发预警。

条件类型

用于定义触发预警的判断对象,可选择:

  • 参数:原始数据集中采集的基础字段,如温度、电流等;

  • 特征值:通过“特征提取”节点生成的统计指标,如最大值、均值、频率等;

  • 计算指标:通过“运算”节点生成的分析数据,如差值、比率等。

运算符 比较方式:>、≥、<、≤、=、≠、包含、不包含。
阈值 与条件配合使用的比较值,用于判断数据是否异常。例如:温度 > 70°C
提示信息 设置触发预警后显示的提示内容,建议简洁明确,如:“温度过高,请检查设备”。

执行和验证

任务配置完成后,您可通过以下操作验证探索流程的正确性与数据处理结果:

  1. 执行任务:点击画布右上角的【执行】按钮,系统将根据画布中定义的数据处理逻辑,执行节点处理并生成数据分析结果。

执行过程可能涉及数据清洗、特征提取、模型运算等操作,依赖于画布中配置的节点。通过执行任务,分析师可以获得根据业务需求和逻辑处理后的数据结果,数据结果将自动保存到通用数据集中,供后续查看和分析。

  1. 数据验证:点击数据处理节点上的查看按钮 A black and grey clipboard with text AI-generated content may be incorrect.,打开展示该节点输出结果的数据图表数据表

    • 查看数据趋势、规律、异常值等,进而分析数据是否符合预期。

    • 对比数据图表和数据表中的结果,检查是否符合预期的计算结果或分析结果。

    • 通过与原始数据、外部数据源或者已知标准的对比,来验证数据处理的准确性。

  2. 优化数据处理:如果数据处理结果存在问题,分析师可以通过调整节点配置、重新运行任务等方式,进行修正和优化。

发布数据探索模板

当任务配置无误后,可点击【发布】,将当前流程保存为可复用模板。

  • 模板一经发布,系统将对后续入库的同源同构数据自动应用探索逻辑;

  • 若配置了预警规则,将在检测到异常时自动触发告警并记录至系统中。

查看与分析预警信息

对于已触发的预警,您可以在系统中查看详细预警信息,并支持关联回溯至探索流程以理解其产生原因。

A screenshot of a computer AI-generated content may be incorrect.

图 81 预警信息页面

操作步骤

  1. 查找预警记录:在“预警信息”页面通过筛选条件定位目标预警;

  2. 查看详情:点击某条记录进入预警详情页,可查看以下信息:

  3. 预警时间、级别、提示信息等基础数据;

  4. 预警规则的配置条件与触发逻辑;

  5. 溯源分析

    1) 点击右下角【预警数据查看】图标A black and white icon of a paper AI-generated content may be incorrect.,查看触发该预警的数据明细。

图 82 预警数据查看

2) 点击右上角【预警溯源】按钮A black background with a black square AI-generated content may be incorrect.,跳转至关联的数据探索任务面板。

A screenshot of a computer AI-generated content may be incorrect.

图 83 预警溯源

图 84 预警关联的数据探索

3) 在画布中,找到触发该预警的规则预警节点,点击右上角【查看数据】图标 ,打开图表分析页面,查看异常数据的走势与变化。

图 85 分析预警数据

4) 点击【查看预警信息】图标 ,查看该规则对应的原始数据集。

A screenshot of a computer AI-generated content may be incorrect.

图 86 预警数据集