从 数据准备 中,您可以创建和运行序列(管道),以及创建功能转换(映射组)。
Pipeline 是一系列以链式方式应用于表格输出的技术转换。例如,您可以设置常用转换管道,以便为各种记录系统准备数据或从各种记录系统准备数据。
提示:如果您的流程使用一系列 通用的 表格转换和 文件实用程序 命令来更新记录系统中的数据,请创建管道 ,以便使用单个运行 管道 命令来
执行这些转换 。管道可以对 以下 内容应用转换:
- 修改数据布局,例如添加或删除列或调整其值
- 应用筛选器,根据特定条件从数据中删除行。
- 根据特定列对数据进行排序或应用求和。
- 根据定义的规则映射数据模型之间的关系
映射组 通过定义如何将代码/值从一个系统转换到另一个系统,来构建不同企业系统的数据模型之间的关系。它们在管道中作为转换步骤应用。
映射组支持一系列功能强大且易于使用的映射技术,可满足常见或复杂的需求。它们旨在供用户定义和更新数据,以转换和协调数据。映射组可以在多个管道之间共享。界面非常像 Excel,给人一种熟悉而友好的感觉。
要求
数据准备完全由组织级别控制,不识别单个工作区或其权限。
这意味着:
- 数据准备功能在组织内所有授权用户之间共享。
- 任何有权访问 Chain Builder 的用户也有权访问 Data Prep。
- 所有能够创建或编辑链的用户都将能够在数据准备中管理管道。
- 组织内的多个链和工作区可以使用单个数据准备管道。
步骤 1. 设置数据准备连接
要将管道的转换应用于链中的数据,您需要包含 数据准备 连接器的 运行管道 命令。如果您还没有设置数据准备连接,请设置 数据准备 连接。设置好 Data Prep 连接后,您可以从 Wdata Chains ] 打开 Data Prep 。
步骤 2. 上传示例文件
从 示例文件 在 数据准备中, 上传示例文件 ,这些文件代表要转换的表格数据,以帮助简化管道创建。
上传完成后,您可以使用示例文件执行以下操作:
- 快速定义管道交互的数据列和数据类型。
- 预览管道或映射转换如何影响数据
步骤 3. 创建映射转换组
要映射管道中数据模型之间的关系,可以包含映射转换。从 映射组 在 数据准备中, 创建映射组 以定义值之间的关系以及如何在映射转换中将值从一个系统转换到另一个系统。
提示:要在管道运行时为 映射转换设置值, 请为映射组设置运行时 变量
。创建映射组时, 您可以定义其规则 ,以根据精确匹配、简单模式或正则表达式转换值。
步骤 4. 设置管道
管道是应用于数据准备处理的数据的技术和功能转换的集合。
-
管道中定义的 技术转换 用于修改数据布局。添加或删除列、重新排列列或插入新列等活动都是技术转换的例子。
-
功能转换是 指在被集成系统的数据模型之间建立关系的过程。功能转换通常被称为映射,由数据准备映射小组管理。映射组作为转换步骤应用于管道中。
要定义要应用于表格数据的转换顺序, create pipelines from Pipelines in Data Prep。
创建管道时,您需要:
- 手动定义它要交互的列和数据类型,也可以基于示例文件或上传的分隔符文件进行定义。
- 设置管道运行时要按顺序应用的转换。
提示:要在管道运行时为转换设置 值, 请为管道设置运行时 变量
。步骤 5. 链式运行管道
要将转换应用于链中较早输出的表格数据,请使用 数据准备 连接器的 运行管道 命令。设置命令时,您需要:
- 选择要运行的流程和要转换的表格输出。
- 将表格文件的列映射到管道的列定义
- 为管道设置任何运行时变量值。