Da Data Prep , puoi creare ed eseguire sequenze (pipeline) e creare trasformazioni funzionali (mapping groups).
Le pipeline sono una serie di trasformazioni tecniche da applicare agli output tabellari in catene. Ad esempio, puoi creare delle pipeline di trasformazioni comuni per preparare i dati per o dai tuoi vari sistemi di record.
Suggerimento: Se le tue catene utilizzano una sequenza comune di comandi Trasformazione tabellare e Utilità file per aggiornare i dati dai tuoi sistemi di record, crea delle pipeline per eseguire queste trasformazioni con un singolo comando Esegui pipeline.
Una pipeline può applicare le trasformazioni a:
- Modificare il layout dei dati, ad esempio aggiungendo o rimuovendo colonne o regolandone i valori
- Applicare filtri per rimuovere le righe dai dati in base a criteri specifici
- Ordinare i dati o applicare sommatorie in base a colonne specifiche
- Mappare le relazioni tra i modelli di dati in base a regole definite
I gruppi di mappatura costruiscono le relazioni tra i modelli di dati di diversi sistemi aziendali definendo come trasformare i codici/valori da un sistema all'altro. Vengono applicati all'interno di una pipeline come fase di trasformazione.
I gruppi di mappatura supportano una serie di tecniche di mappatura potenti ma semplici da usare e rispondono a requisiti comuni o complessi. Sono progettati per essere definiti e aggiornati dagli utenti per trasformare e armonizzare i dati. I gruppi di mappatura possono essere condivisi tra più pipeline. L'interfaccia è molto simile a quella di Excel e offre un'atmosfera familiare e accogliente.
Requisiti
Data Prep è controllato interamente a livello di organizzazione e non riconosce gli spazi di lavoro individuali o i loro permessi.
Questo significa che:
- Data Prep è condiviso da tutti gli utenti autorizzati della tua organizzazione.
- Tutti gli utenti che hanno accesso a Chain Builder hanno accesso anche a Data Prep.
- Tutti gli utenti che possono creare o modificare le catene avranno la possibilità di gestire le pipeline in Data Prep.
- Una singola pipeline di Data Prep può essere utilizzata in più catene e spazi di lavoro all'interno di un'organizzazione.
Passo 1. Configurare una connessione Data Prep
Per applicare le trasformazioni di una pipeline ai dati di una catena, devi includere il comando Data Prep del connettore Run pipeline. Se non l'hai ancora fatto, imposta una connessione Data Prep . Con la connessione Data Prep impostata, puoi aprire Data Prep da Wdata Chains .
Passo 2. Carica i file di esempio
Da File di esempio in Data Prep, caricare file di esempio che rappresentano i dati tabellari da trasformare per facilitare la creazione della pipeline.
Una volta caricato, puoi utilizzare un file di esempio per:
- Definire rapidamente le colonne e i tipi di dati con cui una pipeline interagisce
- Anteprima dell'impatto di una pipeline o di una trasformazione di mappatura sui dati
Passo 3. Creare gruppi per le trasformazioni di mappatura
Per mappare le relazioni tra i modelli di dati all'interno di una pipeline, puoi includere le trasformazioni di mappatura. Da Gruppi di mappatura in Data Prep, creare gruppi di mappatura per definire le relazioni tra i valori e come trasformare i valori da un sistema all'altro all'interno di una trasformazione di mappatura.
Suggerimento: Per impostare i valori di una trasformazione di mappatura durante l'esecuzione della pipeline, imposta le variabili di runtime per il gruppo di mappatura.
Quando crei un gruppo di mappatura, puoi definire le sue regole per trasformare i valori in base a una corrispondenza esatta, un modello semplice o un'espressione regolare.
Passo 4. Impostare le pipeline
Una pipeline è un insieme di trasformazioni tecniche e funzionali che vengono applicate ai dati elaborati da Data Prep.
-
Le trasformazioni tecniche definite in una pipeline sono utilizzate per modificare il layout dei dati. Attività come l'aggiunta o la rimozione di colonne, il riordino di colonne o l'inserimento di nuove colonne sono tutti esempi di trasformazioni tecniche.
-
La trasformazione funzionale è il processo di creazione di una relazione tra i modelli di dati dei sistemi da integrare. La trasformazione funzionale viene spesso chiamata mappatura ed è gestita dai Gruppi di Mappatura Data Prep. I gruppi di mappatura vengono applicati all'interno di una pipeline come fase di trasformazione.
Per definire la sequenza di trasformazioni da applicare ai dati tabellari, crea le pipeline da Pipeline in Data Prep.
Quando crei una pipeline, puoi:
- Definire le colonne e i tipi di dati con cui interagire, manualmente o sulla base di un file campione o di un file delimitato caricato
- Imposta le trasformazioni da applicare nell'ordine in cui viene eseguita la pipeline
Suggerimento: Per impostare i valori di una trasformazione quando la pipeline viene eseguita, imposta le variabili di runtime per la pipeline.
Passo 5. Eseguire le pipeline nelle catene
Per applicare le trasformazioni ai dati tabellari di un output precedente in una catena, usa il comando Data Prep del connettore Run pipeline . Quando imposti il comando, devi:
- Seleziona la pipeline da eseguire e l'output tabellare da trasformare
- Mappare le colonne del file tabulare nella definizione di colonna della pipeline
- Imposta i valori delle variabili di runtime per la pipeline