Från Data Prep kan du skapa och köra sekvenser (pipelines) samt skapa funktionella omvandlingar (mapping groups).
Pipeline är en serie tekniska omvandlingar som ska tillämpas på tabellutdata i kedjor. Du kan till exempel skapa pipelines med vanliga transformationer för att förbereda data för eller från dina olika system för post.
Tips: Om dina kedjor använder en gemensam sekvens av Tabular Transformation och File Utilities kommandon för att uppdatera data från dina system för post, skapa pipelines för att utföra dessa omvandlingar med ett enda Kör pipeline kommando.
En pipeline kan tillämpa transformationer på:
- Ändra datalayouten, t.ex. genom att lägga till eller ta bort kolumner eller justera deras värden
- Tillämpa filter för att ta bort rader från data baserat på specifika kriterier
- Sortera data eller tillämpa summeringar baserat på specifika kolumner
- Kartlägga relationer mellan datamodeller baserat på definierade regler
Mapping Groups skapar relationer mellan datamodeller i olika företagssystem genom att definiera hur koder/värden ska omvandlas från ett system till ett annat. De tillämpas inom en pipeline som ett omvandlingssteg.
Mapping Groups har support för en rad olika mappningstekniker som är kraftfulla, men ändå enkla att använda, och som uppfyller vanliga eller komplexa krav. De är utformade så att användarna kan definiera och uppdatera dem för att omvandla och harmonisera data. Mappningsgrupper kan delas mellan flera pipelines. Gränssnittet är mycket Excel-liknande, vilket ger en bekant och välkomnande känsla.
Krav
Data Prep styrs helt på organisationsnivå och känner inte igen enskilda arbetsytor eller deras behörigheter.
Det betyder..:
- Data Prep aktieägs av alla auktoriserade användare i din organisation.
- Alla användare med åtkomst till Chain Builder har också åtkomst till Data Prep.
- Alla användare som kan skapa eller redigera kedjor kommer att ha möjlighet att hantera pipelines i Data Prep.
- En enda Data Prep-pipeline kan användas i flera kedjor och arbetsytor inom en organisation.
Steg 1. Upprätta en Data Prep-anslutning
För att tillämpa en pipelines transformationer på data i en kedja inkluderar du Data Prep connector's Run pipeline command. Om du inte redan har gjort det, skapa en Data Prep anslutning. När anslutningen Data Prep har upprättats kan du öppna Data Prep från Wdata Chains .
Steg 2. Ladda upp filer med prov
Från Sample files i Data Prep, ladda upp provfiler som representerar de tabelldata som ska omvandlas för att underlätta skapandet av pipeline.
När du har laddat upp kan du använda en provfil för att:
- Definiera snabbt vilka kolumner och typer av data som en pipeline interagerar med
- Förhandsgranskning av hur en pipeline- eller mappningstransformation påverkar data
Steg 3. Skapa grupper för kartläggning av omvandlingar
För att mappa relationer mellan datamodeller inom en pipeline kan du inkludera Mapping-transformationer. Från Mappningsgrupper i Data Prep, skapa mappningsgrupper för att definiera relationerna mellan värden och hur man omvandlar värden från ett system till ett annat inom en mappningstransformation.
Tips: Om du vill ange värden för en mappningstransformation när pipelinen körs ska du ställa in exekveringsvariabler för mappningsgruppen.
När du skapar en mappningsgrupp kan du definiera dess regler för att omvandla värden baserat på en exakt matchning, ett enkelt mönster eller ett reguljärt uttryck.
Steg 4. Sätt upp pipelines
En Pipeline är en samling av tekniska och funktionella omvandlingar som tillämpas på data som behandlas av Data Prep.
-
De tekniska omvandlingar som definieras i en Pipeline används för att ändra datalayouten. Aktiviteter som att lägga till eller ta bort kolumner, omorganisera kolumner eller infoga nya kolumner är alla exempel på tekniska omvandlingar.
-
Den funktionella omvandlingen är processen för att skapa en relation mellan datamodellerna för de system som integreras. Funktionell omvandling kallas ofta för mappning och hanteras av Data Prep Mapping Groups. Mappningsgrupper används i en pipeline som ett omvandlingssteg.
För att definiera sekvensen av omvandlingar som ska tillämpas på tabelldata, skapa pipelines från Pipelines i Data Prep.
När du skapar en pipeline gör du det:
- Definiera kolumnerna och typerna av data som den interagerar med, antingen manuellt eller baserat på en provfil eller en uppladdad avgränsad fil
- Ställ in de transformationer som ska tillämpas - i tur och ordning - när pipelinen körs
Tips: Om du vill ange värden för en transformation när pipelinen körs ska du ställa in exekveringsvariabler för pipelinen.
Steg 5. Kör pipelines i kedjor
Om du vill tillämpa omvandlingarna på tabelldata från en utdata tidigare i en kedja använder du Data Prep connector Run pipeline kommandot. När du ställer in kommandot, du:
- Välj den pipeline som ska köras och den tabellutdata som ska omvandlas
- Mappa tabellfilens kolumner till pipelines kolumndefinition
- Ange eventuella värden för variabler för exekvering för pipelinen