Een pipeline kan verschillende soorten transformaties toepassen, gebaseerd op hoe u de tabelgegevens wilt beïnvloeden. Elke Pipeline vereist minstens één (1) transformatie en kan een vrijwel onbeperkt aantal transformaties toegewezen krijgen.
Opmerking: Wanneer u een transformatie instelt die een vergelijkingsoperator gebruikt, zoals bevat, groter dan, is gelijk (=), of is niet gelijk (!=), drukt u op ENTER na de waarde.
Deze transformaties zijn gegroepeerd in vier (4) categorieën:
- Transformeer (Technische transformaties) - wijzig de gegevenslay-out van de payload.
- Filter - Verwijder rijen uit de gegevenslading op basis van een criterium/criteria.
- Gegevens - Sorteer gegevens op specifieke velden en pas sommatie toe om gegevenspunten af te leiden.
- Mapping (functionele transformaties) - relaties leggen tussen gegevensvelden.
Transformaties toevoegen aan een Pipeline is een zeer begeleid, maar niet voorschrijvend proces. Dit zorgt voor de ultieme flexibiliteit om aan uw transformatiebehoeften te voldoen
Opmerking: Voordat u transformaties aan uw Pipeline toevoegt, moet u een voorbeeldbestand vastzetten.
Vereisten
Data Prep wordt volledig op org-niveau beheerd en herkent geen individuele workspaces of hun machtigingen.
Dit betekent:
- Data Prep wordt gedeeld door alle geautoriseerde gebruikers in uw org.
- Elke gebruiker met toegang tot Chain Builder heeft ook toegang tot Data Prep.
- Alle gebruikers die ketens kunnen maken of bewerken, zullen de mogelijkheid hebben om pijplijnen in Data Prep te beheren.
- Eén enkele Data Prep pipeline kan in meerdere ketens en workspaces binnen een organisatie worden gebruikt.
Transformeer
Om de lay-out van de gegevens in tabelvorm te wijzigen, zoals kolommen toevoegen of verwijderen of hun waarden aanpassen, voegt u een Transform transformatie toe.
Opmerking: Wanneer u een kolom toevoegt, specificeert u de naam, het type en de opmaak van de waarden, en waar de kolom in de tabelgegevens moet verschijnen.
| Transformatie | Beschrijving |
|---|---|
| Kolom invoegen | Voegt een veld toe aan de dataset met een waarde in elke rij. Wanneer u deze transformatie instelt, moet u de statische of variabele waarde van de kolommen opgeven. |
| Rijnummers invoegen | Voegt een kolom met rijnummering toe aan de dataset. Wanneer u deze transformatie instelt, moet u het startnummer van de rijen opgeven. |
| Excel-formule | Voegt een kolom toe met het resultaat van een bewerking die is uitgevoerd op gespecificeerde kolommen, gebaseerd op een Microsoft Excel®-formule. Wanneer u deze transformatie instelt, moet u de uit te voeren formule opgeven. Wanneer u de formule schrijft, verwijst u naar de kolommen met hun kop, zoals SUM(amount1, amount 2). Opmerking: In tegenstelling tot Excel begint niet met een |
| Kolommen verwijderen | Verwijdert gespecificeerde kolommen uit de dataset |
| Kolommen samenvoegen | Voegt een kolom toe met de samengevoegde waarden van opgegeven kolommen, gescheiden door een opgegeven scheidingsteken |
| Naam wijzigen | Hernoemt opgegeven kolommen in de dataset |
| Kolom verschuiven | Herpositioneert een opgegeven kolom binnen de dataset |
| Veldwaarde splitsen | Splits de waarden van een kolom in meerdere kolommen op basis van een opgegeven scheidingsteken |
| Kolommen behouden | Verwijdert alle kolommen uit de dataset behalve de kolommen die zijn opgegeven |
| Klapbord | Verandert het teken van de waarden van een opgegeven kolom, zoals van positief naar negatief, of omgekeerd |
| Hoofdletters | Converteert de waarden van een opgegeven kolom naar alle HOOFDLETTERS |
| Kleine letters | Converteert de waarden van een opgegeven kolom naar allemaal kleine letters |
| Zoeken en vervangen | Vervangt alle exemplaren van een opgegeven tekstwaarde in de dataset door een opgegeven nieuwe waarde |
| Groep door | Aggregeert de dataset in unieke records op basis van gespecificeerde kolommen, vergelijkbaar met een GROUP BY SQL-instructie |
| Kolom kopiëren | Voegt een duplicaat van een opgegeven kolom toe |
| Afstand | Berekent het aantal bewerkingen (d.w.z. "afstand") dat nodig is om van de ene tekststring de andere te maken. Ook bekend als een Levenshtein afstandstransformatie. Elke tekenreeks is beperkt tot maximaal 1024 tekens; er wordt een maximale afstand van 100 berekend. |
Tip: Om rijen uit een dataset te verwijderen, gebruikt u een trefwoord - zoals Negeer- om de rijen aan te geven die u wilt verwijderen. Gebruik het trefwoord vervolgens als een Naar waarde in een Transformatie voor toewijzing en stel een Slim filter transformatie in met een OF voorwaarde om elk gemapt veld met dat trefwoord te verwijderen.
Filter
Om rijen uit de gegevens te verwijderen op basis van specifieke criteria, voegt u een Filter transformatie toe.
| Transformatie | Beschrijving |
|---|---|
| Exacte overeenkomst | Verwijdert alle rijen die niet exact overeenkomen met de opgegeven tekst |
| RegExp overeenkomst | Verwijdert alle rijen die niet overeenkomen met de opgegeven reguliere expressie (RegExp) |
| Rijen nemen | Verwijdert alle rijen op en na het opgegeven nummer. Bijvoorbeeld, 10: verwijdert de tiende rij en alle volgende rijen. |
| Slim filter | Verwijdert of bewaart records van een kolom op basis van opgegeven voorwaarden |
Gegevens
Om gegevens in tabelvorm te sorteren of sommaties toe te passen op basis van specifieke kolommen, voegt u een transformatie Data toe.
| Transformatie | Beschrijving |
|---|---|
| Sorteer | Sorteert de dataset op basis van opgegeven kolommen |
| Som als | Creëert een extra pijplijnuitvoer met de som van alle waarden in een opgegeven kolom |
In kaart brengen
Om de waarden van een kolom te transformeren op basis van regels die zijn gedefinieerd door een mappinggroep, voegt u een Mapping transformatie toe:
- Selecteer Mapping en klik op Volgende.
- Selecteer de mappinggroep met de regels die u wilt toepassen.
- Selecteer onder Overeenkomende kolommen welke kolommen van de pijplijn overeenkomen met die van de mappinggroep.
- Klik op Opslaan.
Als u meerdere Mapping transformaties op een kolom toepast, zorg er dan voor dat ze in de juiste volgorde binnen de pijplijn staan.
Tip: Wanneer een pijplijn een Mapping transformatie toepast, worden de waarden van de kolom inline getransformeerd. Om de waarden van een kolom tegelijkertijd voor en na de transformatie te bekijken, past u een transformatie Kopieer kolom toe om een duplicaat van de kolom vóór de transformatie Mapping toe te voegen. Om de "voor"-status van de waarden van de kopie aan te geven, voegt u een voorvoegsel toe aan de naam, zoals Src_ of UM_, voor respectievelijk Source of Unmapped. Om deze kolom later uit de dataset te verwijderen, past u een transformatie toe Group by of Remove columns.
Extra transformatiefuncties
Een transformatie toevoegen
U kunt extra transformaties aan een pijplijn toevoegen door op de groene plustekens rechts of links van een bestaande transformatie te klikken. Als u op het plusteken links of rechts van een bestaande transformatie klikt, wordt er respectievelijk een nieuwe transformatie voor of na toegevoegd.
Een transformatie kopiëren
Elke bestaande transformatie in de pijplijn kan gedupliceerd worden door op het kopieericoon onder de transformatie te klikken. Er wordt een kopie van de transformatie gemaakt en het transformatieformulier wordt geopend. Werk de transformatie-ingangen waar nodig bij en sla de gekopieerde transformatie op.
Een transformatie verwijderen
Elke transformatie in een pijplijn kan worden verwijderd door op het prullenbak-icoon onder de transformatie te klikken. Wanneer u wordt gevraagd om het verwijderen te bevestigen, typt u de gewenste tekst en klikt u vervolgens op de knop Verwijderen. Klik op de knop Terug op het bevestigingsformulier om de verwijdering te annuleren.
Wanneer u een transformatie verwijdert die een nieuwe kolom in de pijplijn creëert, wordt elke volgende transformatie die gebruik maakt van de kolom die door de nu verwijderde transformatie werd gecreëerd als ongeldig gemarkeerd en wordt het transformatie-icoon (blauwe cirkel) rood om aan te geven dat de transformatie niet langer geldig is.
Opmerking: Verwijderde transformaties kunnen niet hersteld worden.
Transformaties herschikken
De volgorde van de transformaties kan gewijzigd worden door op de pijlen naar links en rechts onder een specifieke transformatie te klikken. Door op de pijl naar links te klikken, wordt de transformatie verschoven zodat ze onmiddellijk vóór de vorige transformatie plaatsvindt. De pijl naar rechts verschuift de transformatie zodat deze plaatsvindt na de transformatie die eerder volgde.