Visión general de Data Prep

Desde Data Prep , puede crear y ejecutar secuencias (pipelines), así como, crear transformaciones funcionales(mapping groups). 

Pipeline son una serie de transformaciones técnicas para aplicar a las salidas tabulares en cadenas. Por ejemplo, puede configurar canalizaciones de transformaciones comunes para preparar datos para o desde sus diversos sistemas de registro.

Sugerencia: Si sus cadenas utilizan una secuencia común de comandos Transformación tabular y Utilidades de archivos para actualizar los datos de sus sistemas de archivo, cree canalizaciones para realizar esas transformaciones con un solo comando Ejecutar canalización.

Un pipeline puede aplicar transformaciones a:

• Modificar el Diseño de los datos, por ejemplo para Agregar o Quitar Columnas o ajustar sus valores.
• Aplicar Filtros para Quitar Filas de los Datos en base a Criterios Específicos.
• Ordene los datos o aplique sumas basadas en columnas específicas
• Relaciones entre modelos de datos basadas en reglas definidas

Grupos de Mapeo construyen las relaciones entre los modelos de datos de diferentes sistemas empresariales definiendo cómo transformar los códigos/valores de un sistema a otro. Se aplican dentro de un Pipeline como una etapa de transformación.

Los Grupos de Mapeo admiten una serie de técnicas de mapeo potentes, pero sencillas de utilizar, y abordan requisitos comunes o complejos. Están diseñados para que los usuarios los definan y actualicen para transformar y armonizar los datos. Los Grupos de mapeo pueden compartirse en varias canalizaciones. La interfaz es muy similar a la de Excel, por lo que resulta familiar y acogedora.

Requisitos

Data Prep se controla totalmente a nivel de organización y no reconoce los espacios de trabajo individuales ni sus permisos.

Es decir:

• Data Prep se comparte entre todos los usuarios autorizados en su org.
• Cualquier usuario con acceso a Chain Builder también tiene acceso a Data Prep.
• Todos los usuarios que puedan crear o editar cadenas tendrán la posibilidad de gestionar canalizaciones en Data Prep.
• Una única canalización de preparación de datos puede utilizarse en varias cadenas y espacios de trabajo de una organización.
  
  

Etapa 1. Establezca una conexión Data Prep

Para aplicar las transformaciones de un pipeline a los datos de una cadena, se incluye el comando Run pipeline del conector Data Prep . Si aún no lo ha hecho, configure una conexión Data Prep. Con la conexión Data Prep establecida, puede abrir Data Prep desde Wdata Chains .

Etapa 2. Subiendo archivos de muestra

Desde Archivos de ejemplo attach_file en Data Prep, cargue archivos de ejemplo que representen los datos tabulares a transformar para facilitar la creación de pipelines.

Una vez cargado, puede utilizar un archivo de ejemplo para:

• Defina rápidamente las Columnas y Tipos de datos con los que interactúa una canalización.
• Vista previa del impacto de una transformación en los datos

Etapa 3. Crear Grupos para mapear transformaciones

Para asignar relaciones entre modelos de datos dentro de una canalización, puede incluir transformaciones de asignación. Desde Grupos de mapeo library_books en Data Prep, crear grupos de mapeo para definir las relaciones entre valores y cómo transformar valores de un sistema a otro dentro de una transformación de mapeo.

Sugerencia: Para establecer valores para una transformación de asignación cuando se ejecuta la canalización, configure variables de tiempo de ejecución para el grupo de asignación.

Al crear un grupo de asignación, puede definir sus reglas para transformar valores basándose en una coincidencia exacta, un patrón simple o una expresión regular.

Etapa 4. Establecer canalizaciones

Un Pipeline es el conjunto de transformaciones técnicas y funcionales que se aplican a los datos procesados por Data Prep.

• Las transformaciones técnicas definidas en un Pipeline se utilizan para modificar el diseño de los datos. Actividades como añadir o quitar columnas, reordenar columnas o insertar columnas nuevas son ejemplos de transformaciones técnicas.

• La transformación funcional es el proceso de construcción de una relación entre los modelos de datos de los sistemas que se están integrando. La transformación funcional suele denominarse mapeo y se gestiona mediante Grupos de Mapeo de Preparación de Datos. Los Grupos de Mapeo se aplican dentro de un Pipeline como una Etapa de Transformación.

Para definir la secuencia de transformaciones que se aplicarán a los datos tabulares, cree canalizaciones a partir de Canalizaciones en Preparación de datos.

Al crear una canalización:

• Defina las Columnas y los Tipos de datos con los que interactúa, ya sea manualmente o basándose en un fichero de muestra o en un fichero delimitado cargado.
• Configure las transformaciones a aplicar -en orden- cuando se ejecute el pipeline

Consejo: Para establecer valores para una transformación cuando se ejecuta la canalización, configure variables de tiempo de ejecución para la canalización.

Etapa 5. Ejecutar canalizaciones en cadena

Para aplicar las transformaciones a los datos tabulares de una salida anterior en una cadena, utilice el comando Ejecutar canalización del conector Data Prep. Cuando configures el mando:

• Seleccione el pipeline a ejecutar y la salida tabular a transformar
• Asignar las columnas del Archivo tabular a la definición de columnas del pipeline.
• Establece cualquier valor de variable en tiempo de ejecución para la tubería.