Vanaf Data Prep kunt u sequenties maken en uitvoeren (pipelines) en functionele transformaties maken (mapping groups).
Pipeline is een reeks technische transformaties om toe te passen op uitvoer in tabelvorm in ketens. U kunt bijvoorbeeld pijplijnen van veelvoorkomende transformaties opzetten om gegevens voor te bereiden voor of uit uw verschillende recordsystemen.
Tip: Als uw ketens een gemeenschappelijke opeenvolging van Tabular Transformation en File Utilities opdrachten gebruiken om gegevens van uw recordsystemen bij te werken, maak dan pijplijnen om die transformaties uit te voeren met één enkele Run pipeline opdracht.
Een pijplijn kan transformaties toepassen op:
- De lay-out van gegevens wijzigen, zoals kolommen toevoegen of verwijderen of de waarden ervan aanpassen
- Filters toepassen om rijen uit de gegevens te verwijderen op basis van specifieke criteria
- De gegevens sorteren of sommaties toepassen op basis van specifieke kolommen
- Breng relaties tussen datamodellen in kaart op basis van gedefinieerde regels
Mapping Groups bouwen de relaties tussen gegevensmodellen van verschillende bedrijfssystemen door te definiëren hoe de codes/waarden van het ene systeem naar het andere getransformeerd moeten worden. Ze worden toegepast binnen een Pipeline als een transformatiestap.
Mapping Groups ondersteunen een reeks mappingtechnieken die krachtig, maar toch eenvoudig te gebruiken zijn en aan veelvoorkomende of complexe vereisten voldoen. Ze zijn ontworpen voor gebruikers om te definiëren en bij te werken om gegevens te transformeren en te harmoniseren. Mappinggroepen kunnen over meerdere pijplijnen worden gedeeld. De interface is erg Excel-achtig en geeft een vertrouwd en uitnodigend gevoel.
Vereisten
Data Prep wordt volledig op org-niveau beheerd en herkent geen individuele workspaces of hun machtigingen.
Dit betekent:
- Data Prep wordt gedeeld door alle geautoriseerde gebruikers in uw org.
- Elke gebruiker met toegang tot Chain Builder heeft ook toegang tot Data Prep.
- Alle gebruikers die ketens kunnen maken of bewerken, zullen de mogelijkheid hebben om pijplijnen in Data Prep te beheren.
- Eén enkele Data Prep pipeline kan in meerdere ketens en workspaces binnen een organisatie worden gebruikt.
Stap 1. Een Data Prep-verbinding instellen
Om de transformaties van een pijplijn toe te passen op gegevens in een keten, neemt u de opdracht Run pipeline van de connector Data Prep op. Als u dit nog niet hebt gedaan, stel dan een Data Prep verbinding in. Als de verbinding Data Prep is ingesteld, kunt u Data Prep openen vanuit Wdata Chains .
Stap 2. Voorbeeldbestanden uploaden
Vanaf Voorbeeldbestanden in Data Prep, upload voorbeeldbestanden die de te transformeren gegevens in tabelvorm weergeven om het maken van een pijplijn te vergemakkelijken.
Eenmaal geüpload, kunt u een voorbeeldbestand gebruiken om:
- Definieer snel de kolommen en gegevenstypen waarmee een pijplijn interageert
- Een voorbeeld bekijken van hoe een pijplijn- of mappingtransformatie de gegevens beïnvloedt
Stap 3. Groepen aanmaken voor mapping-transformaties
Om relaties tussen gegevensmodellen binnen een pijplijn in kaart te brengen, kunt u Mapping transformaties opnemen. Van Mapping groups in Data Prep, maak mapping groups om de relaties tussen waarden te definiëren en hoe waarden van het ene systeem naar het andere getransformeerd moeten worden binnen een mappingtransformatie.
Tip: Om waarden in te stellen voor een mapping-transformatie wanneer de pijplijn wordt uitgevoerd, stelt u runtime-variabelen in voor de mapping-groep.
Wanneer u een mappinggroep aanmaakt, kunt u de regels ervan definiëren om waarden te transformeren op basis van een exacte overeenkomst, een eenvoudig patroon of een reguliere expressie.
Stap 4. Pijplijnen instellen
Een Pipeline is de verzameling technische en functionele transformaties die worden toegepast op gegevens die door Data Prep worden verwerkt.
-
De technische transformaties die in een Pipeline zijn gedefinieerd, worden gebruikt om de gegevenslay-out te wijzigen. Activiteiten zoals kolommen toevoegen of verwijderen, kolommen herschikken of nieuwe kolommen invoegen zijn allemaal voorbeelden van technische transformaties.
-
De functionele transformatie is het proces van het opbouwen van een relatie tussen de gegevensmodellen van de systemen die worden geïntegreerd. Functionele transformatie wordt vaak mapping genoemd en wordt beheerd door Data Prep Mapping Groups. Mappinggroepen worden toegepast binnen een pijplijn als een transformatiestap.
Om de opeenvolging van transformaties te definiëren die moeten worden toegepast op gegevens in tabelvorm, maakt u pijplijnen van Pijplijnen in Data Prep.
Wanneer u een pijplijn aanmaakt, doet u het volgende:
- Definieer de kolommen en gegevenstypen waarmee het interageert, handmatig of op basis van een voorbeeldbestand of een geüpload gedelimiteerd bestand
- Stel de transformaties in die in volgorde worden toegepast wanneer de pijplijn wordt uitgevoerd
Tip: Om waarden in te stellen voor een transformatie wanneer de pijplijn wordt uitgevoerd, stelt u runtimevariabelen in voor de pijplijn.
Stap 5. Pijplijnen in ketens uitvoeren
Om de transformaties toe te passen op tabelgegevens van een uitvoer eerder in een keten, gebruikt u de opdracht Run pipeline van de connector Data Prep. Wanneer u de opdracht instelt, kunt u:
- Selecteer de pijplijn die u wilt uitvoeren en de uitvoer in tabelvorm die u wilt transformeren
- Breng de kolommen van het tabelbestand over naar de kolomdefinitie van de pijplijn
- Stel alle runtime variabele waarden voor de pijplijn in