For å transformere tabelldata med Data Prep connectoren, må du først konfigurere sekvensen - eller pipeline- av transformasjoner som skal brukes. En pipeline gir en grafisk fremstilling av de definerte transformasjonene og gjør det mulig å forhåndsvise effekten av hver transformasjon.
Tips: Hvis kjedene dine bruker en felles sekvens av Tabular Transformation og File Utilities kommandoer for å oppdatere data fra arkivsystemene dine, kan du opprette rørledninger for å utføre disse transformasjonene med en enkelt Run pipeline kommando.
Krav
Data Prep styres helt og holdent på organisasjonsnivå og gjenkjenner ikke individuelle arbeidsområder eller deres tillatelser.
Det betyr..:
- Data Prep deles mellom alle autoriserte brukere i organisasjonen.
- Alle brukere med tilgang til Chain Builder har også tilgang til Data Prep.
- Alle brukere som kan opprette eller redigere kjeder, vil ha muligheten til å administrere rørledninger i Data Prep.
- En enkelt Data Prep-pipeline kan brukes på tvers av flere kjeder og arbeidsområder i en organisasjon.
Trinn 1. Opprett rørledningen
Tips: Før du oppretter rørledningen, kan du fra Eksempel på filer, laste opp en eksempelfil som representerer kolonnene og dataene som skal transformeres, slik at du enkelt kan definere rørledningens kolonner og få en forhåndsvisning av de anvendte transformasjonene.
- I Wdata klikker du på Kjeder og Data Prep.
Merk: For å få tilgang til Data Prep fra Wdata Chains, må du først sette opp en Data Prep -tilkobling.
- Fra Pipelines , under Active pipelines, opprett pipelinen:
- For den første rørledningen klikker du på Opprett en rørledning.
- Ellers klikker du på Ny rørledning (+) ved siden av søkefeltet.
- Skriv inn et navn og en beskrivelse for å identifisere rørledningen.
- Klikk på Opprett.
Trinn 2. Definer kolonnene
For å spesifisere feltene som rørledningen skal samhandle med, definerer du kolonnene i dataene som skal transformeres. Når du definerer en kolonne, angir du navnet på kolonnen samt type og format på dataene. For en kolonne med datatypen Number kan du for eksempel angi desimalplasser og tegnene som skal brukes som desimal- og tusendelsskilletegn.
Merk: Kolonnenavnene som er definert for rørledningen, kan avvike fra kolonnene i dataene som transformeres.
For å definere kolonnene i rørledningen kan du bruke kolonnedefinisjonen fra en opplastet eksempelfil eller en avgrenset fil som er lagret lokalt eller på nettverket. Du kan også definere kolonner manuelt.
For å gjøre det enklere å opprette en pipeline, anbefaler vi at du bruker en eksempelfil til å definere kolonnene:
Merk: Hvis du vil bruke en eksempelfil, må du først laste den opp til Eksempelfiler.
- Under Definer kolonner klikker du på Velg fra listen.
- Velg eksempelfilen med kolonnedefinisjonen som skal brukes, og klikk på OK.
Merk: Eksempelfilens kolonnedefinisjon vil erstatte alle kolonner som er definert for rørledningen.
- Gå gjennom kolonnedefinisjonen, og rediger kolonnenavnene etter behov.
- Klikk på Lagre.
For å definere kolonnene i rørledningen kan du laste opp en fil med samme kolonnedefinisjon.
Merk: Filen må være avgrenset og inneholde en overskriftsrad.
- Under Definer kolonner klikker du på Opprett fra fil.
- Bla til og velg filen med kolonnedefinisjonen som skal brukes, og klikk på OK.
Merk: Filens kolonnedefinisjon vil erstatte alle kolonner som er definert for rørledningen.
- Gå gjennom kolonnedefinisjonen, og rediger kolonnenavn og datatyper etter behov.
Merk: Sørg for å gå gjennom og oppdatere kolonnedefinisjonen. Pipelinen bruker kolonnenavn fra filens overskriftsrad og gjetter datatyper basert på dataene.
- Klikk på Lagre.
Slik definerer du en kolonne manuelt:
- Under Definer kolonner klikker du på Legg til kolonner.
- Velg kolonnens datatype.
- Skriv inn et navn og en beskrivelse for å identifisere kolonnen.
- Angi formatet på kolonnens data, basert på kolonnens type:
- For en String -kolonne kan du velge et spesielt format, for eksempel for universally unique identifiers (UUID-er), binære strenger, e-postadresser eller URI-nettadresser (Uniform Resource Identifier).
- For en kolonne Integer velger du tusendelsskilletegn.
- For en kolonne Number angir du antall desimaler og velger desimal- og tusendelsskilletegn.
- For en Dato, Tid, eller Datotid kolonne, velg dens string-from-time (strftime)-format.
Merk: En Binær -kolonne inneholder verdier som True eller False, eller 1 eller 0.
- Når du har definert alle kolonnene, klikker du på Lagre.
Trinn 3. Sett opp transformasjonene
- For å få en forhåndsvisning av virkningen av transformasjonene, fester en eksempelfil som viser kolonnene og dataene som skal transformeres av pipelinen.
- Klikk på Opprett transformasjon.
- Velg transformasjonen som skal brukes, og klikk på Neste.
- Konfigurer transformasjonen, og klikk på Lagre.
- Hvis du vil konfigurere flere transformasjoner, klikker du på Legg til transformasjon før eller etter den eksisterende transformasjonen, avhengig av når den skal skje.
Tips: Hvis du vil legge til en ny forekomst av en transformasjon som allerede finnes i pipelinen, klikker du på Kopier, og konfigurerer den nye forekomsten etter behov.
- Juster transformasjonene etter behov:
- Hvis du vil flytte en transformasjon i rørledningen, klikker du på Flytt fremover eller Flytt bakover.
- Hvis du vil fjerne en transformasjon fra rørledningen, klikker du på Delete.
Merk: Hvis du flytter eller sletter en transformasjon, må du justere alle transformasjoner som er avhengige av resultatet, etter behov.
Trinn 4. Publiser rørledningen
Når rørledningen er klar til bruk, klikker du på Publish.
Etter at du har publisert rørledningen, kan du bruke den med kommandoen Run pipeline i Data Prep connector for å bruke transformasjonene på tabelldata i en kjede.