Fra Data Prep kan du opprette og kjøre sekvenser (pipelines), samt opprette funksjonelle transformasjoner (mapping groups).
Pipeline er en serie tekniske transformasjoner som skal brukes på tabellutganger i kjeder. Du kan for eksempel sette opp pipelines med vanlige transformasjoner for å klargjøre data for eller fra de ulike registreringssystemene dine.
Tips: Hvis kjedene dine bruker en felles sekvens av Tabular Transformation og File Utilities kommandoer for å oppdatere data fra arkivsystemene dine, kan du opprette rørledninger for å utføre disse transformasjonene med en enkelt Run pipeline kommando.
En pipeline kan bruke transformasjoner til:
- Endre oppsettet av data, for eksempel for å legge til eller fjerne kolonner eller justere verdiene deres
- Bruk filtre for å fjerne rader fra dataene basert på bestemte kriterier
- Sorter dataene eller bruk summeringer basert på bestemte kolonner
- Kartlegge relasjoner mellom datamodeller basert på definerte regler
Mapping Groups bygger relasjonene mellom datamodeller i ulike forretningssystemer ved å definere hvordan koder/verdier skal transformeres fra ett system til et annet. De brukes i en pipeline som et transformasjonstrinn.
Mapping Groups støtter en rekke mappingteknikker som er kraftige, men likevel enkle å bruke, og som dekker vanlige eller komplekse behov. De er utformet for at brukerne skal kunne definere og oppdatere dem for å transformere og harmonisere data. Mapping Groups kan deles på tvers av flere rørledninger. Grensesnittet er svært Excel-aktig og gir en kjent og innbydende følelse.
Krav
Data Prep styres helt og holdent på organisasjonsnivå og gjenkjenner ikke individuelle arbeidsområder eller deres tillatelser.
Det betyr..:
- Data Prep deles mellom alle autoriserte brukere i organisasjonen.
- Alle brukere med tilgang til Chain Builder har også tilgang til Data Prep.
- Alle brukere som kan opprette eller redigere kjeder, vil ha muligheten til å administrere rørledninger i Data Prep.
- En enkelt Data Prep-pipeline kan brukes på tvers av flere kjeder og arbeidsområder i en organisasjon.
Trinn 1. Sett opp en Data Prep-tilkobling
Hvis du vil bruke en rørlednings transformasjoner på data i en kjede, inkluderer du kommandoen Run pipeline fra Data Prep. Hvis du ikke allerede har gjort det, sette opp en Data Prep tilkobling. Når tilkoblingen Data Prep er satt opp, kan du åpne Data Prep fra Wdata Chains .
Trinn 2. Last opp eksempelfiler
Fra Eksempel på filer i Data Prep, last opp eksempelfiler som representerer tabelldataene som skal transformeres for å gjøre det enklere å opprette pipelinen.
Når du har lastet opp, kan du bruke en eksempelfil til å:
- Definer raskt kolonnene og datatypene som en rørledning samhandler med
- Forhåndsvis hvordan en pipeline- eller mappingtransformasjon påvirker dataene
Trinn 3. Opprett grupper for kartlegging av transformasjoner
Du kan inkludere Mapping-transformasjoner for å kartlegge relasjoner mellom datamodeller i en pipeline. Fra Mapping groups i Data Prep, opprett mapping groups for å definere relasjonene mellom verdier og hvordan verdier skal transformeres fra ett system til et annet i en mappingtransformasjon.
Tips: Hvis du vil angi verdier for en tilordningstransformasjon når pipelinen kjører, kan du konfigurere kjøretidsvariabler for tilordningsgruppen.
Når du oppretter en mappingsgruppe, kan du definere regler for å transformere verdier basert på et eksakt treff, et enkelt mønster eller et regulært uttrykk.
Trinn 4. Sett opp rørledninger
En pipeline er en samling av tekniske og funksjonelle transformasjoner som brukes på data som behandles av Data Prep.
-
De tekniske transformasjonene som er definert i en Pipeline, brukes til å endre datalayouten. Aktiviteter som å legge til eller fjerne kolonner, endre rekkefølgen på kolonnene eller sette inn nye kolonner er alle eksempler på tekniske transformasjoner.
-
funksjonell transformasjon er prosessen med å bygge en relasjon mellom datamodellene til systemene som skal integreres. Funksjonell transformasjon kalles ofte mapping og administreres av Data Prep Mapping Groups. Mapping Groups brukes i en pipeline som et transformasjonstrinn.
For å definere rekkefølgen av transformasjoner som skal brukes på tabelldata, opprett pipelines fra Pipelines i Data Prep.
Når du oppretter en pipeline, gjør du det:
- Definer kolonnene og datatypene den samhandler med, enten manuelt eller basert på en eksempelfil eller en opplastet avgrenset fil
- Konfigurer transformasjonene som skal brukes - i riktig rekkefølge - når pipelinen kjører
Tips: Hvis du vil angi verdier for en transformasjon når pipelinen kjører, kan du konfigurere kjøretidsvariabler for pipelinen.
Trinn 5. Kjør rørledninger i kjeder
Hvis du vil bruke transformasjonene på tabelldata fra en utdata tidligere i en kjede, bruker du Data Prep connector's Run pipeline kommando. Når du konfigurerer kommandoen, gjør du det:
- Velg pipelinen som skal kjøres, og tabellutdataene som skal transformeres
- Tilordne tabellfilens kolonner til rørledningens kolonnedefinisjon
- Angi eventuelle verdier for kjøretidsvariabler for rørledningen