Pour faciliter la création sur de pipelines ou de groupes de mappage, vous pouvez utiliser des fichiers d'échantillons pour indiquer une partie ou la totalité des données à transformer.
Note : Le fichier d'exemple n'est pas transformé par le pipeline ; il permet seulement de rationaliser la création du pipeline et d'avoir un aperçu de l'impact des transformations.
Exigences
Data Prep est entièrement contrôlé au niveau de l'organisation et ne reconnaît pas les espaces de travail individuels ni leurs autorisations.
Cela signifie que :
- Les données Prep sont partagées entre tous les utilisateurs autorisés de votre organisation.
- Tout utilisateur ayant accès à Chain Builder a également accès à Data Prep.
- Tous les utilisateurs qui peuvent créer ou modifier des chaînes auront la possibilité de gérer des pipelines dans Data Prep.
- Un seul pipeline de Data Prep peut être utilisé sur plusieurs chaînes et espaces de travail au sein d'une organisation.
Spécifications des fichiers d'échantillons
Pour être utilisé par un pipeline, le fichier d'échantillons doit :
- Jusqu'à 1 MB
- Inclure une ligne d'en-tête
- Inclure un délimiteur - virgule (,), tabulation, pipe (|) ou point-virgule (
- être consultable dans un éditeur de texte, tel que Notepad, Wordpad ou Textpad
- Disposer d'une présentation cohérente des données pour toutes les lignes
Conseil : Bien que les noms des en-têtes et l'ordre des colonnes du fichier échantillon ne doivent pas nécessairement correspondre aux données réelles transformées par le pipeline, alignez le fichier échantillon et les données réelles dans la mesure du possible afin d'éviter toute confusion et de faciliter la création du pipeline.
Par exemple :
PERIODE,ANNÉE,ENTITÉ,COMPTE,PRODUIT,MONTANT JAN,2O21,US,SALES,REGULAR-COLA,12500 JAN,2021,US,SALES,DIET-COLA,10000 JAN,2021,US,SALARIES,,3000
Remarque : Les colonnes définies par le fichier d'exemple peuvent contenir des valeurs nulles ou vides, comme le champ PRODUIT vide dans la quatrième ligne de l'exemple.
Télécharger des fichiers d'échantillons
Pour télécharger un fichier d'exemple :
- À partir de Wdata Chains, cliquez sur Data Prep.
Note : Pour accéder à Data Prep à partir de Wdata Chains, il faut d'abord configurer un connecteur Data Prep .
- À partir de Sample files , cliquez sur Add files ( ) à côté de la barre de recherche.
- Sous File upload, faites glisser ou naviguez jusqu'au fichier à télécharger.
- Sous Columns, examinez et ajustez la définition des colonnes du fichier si nécessaire.
- Cliquez sur Enregistrer.
Modifier la définition des colonnes d'un fichier d'exemple
Lorsque vous définissez une colonne de fichiers échantillons, sélectionnez le type de données qu'elle contient :
| Type de données | Description | Exemples de valeurs |
|---|---|---|
| Chaîne | Une séquence de caractères alphanumériques | Californie, 400010 |
| Entier | Un nombre entier, avec ou sans séparateur de milliers | 25, 37450 |
| Nombre | Un nombre comprenant une décimale, avec ou sans séparateur de milliers. | 15,75, 37865,95, 25 789,62 |
| Valeur booléenne | Une valeur vraie ou fausse | Vrai ou 1, Faux ou 0 |
| Date | Une date avec un jour, un mois et une année | 1/1/2021, 2021-01-01 |
| Heure | Un moment de la journée | 14:37, 09:52:10 |
| DateTime | Une date et un horodatage | 2021-01-01T18:26:33 |
Pour modifier la définition des colonnes d'un fichier échantillon :
- À partir de Sample files , cliquez sur la ligne du fichier.
- Cliquez sur Columns, puis ajustez le type de données et les détails si nécessaire.
- Cliquez sur Enregistrer.
Note: Pour modifier ou supprimer une colonne de votre fichier d'échantillons, utilisez l'onglet Pipelines .
En savoir plus sur la gestion des pipelines.
Épingler un fichier d'exemple à un pipeline
Pour avoir un aperçu des transformations qu'un pipeline applique aux données, épinglez un fichier d'exemple avec la même définition de colonne :
- À partir de Pipelines , ouvrez le pipeline.
- Dans l'onglet Files , cliquez sur Pin file pour le fichier d'exemple.
Remarque : Si nécessaire, cliquez sur Upload sample files pour télécharger le fichier échantillon sur Sample files.
- Mettez en correspondance les colonnes du fichier d'échantillons avec la définition des colonnes du pipeline.
Remarque : Le pipeline met automatiquement en correspondance les colonnes dont le nom et le type de données sont identiques. Vous ne pouvez mettre en correspondance que des colonnes ayant le même type de données.
- Cliquez sur Soumettre.
Épingler un fichier d'exemple à un groupe de mappage
Pour obtenir un aperçu des règles qu'un groupe de mappage applique à sa colonne primaire, épinglez un fichier d'exemple représentatif des données sur lesquelles il sera mappé :
- À partir de Mapping groups , ouvrez le groupe de mappage.
- Dans l'onglet Files , cliquez sur Pin file pour le fichier d'exemple.
- Sous Match columns, sélectionnez les colonnes du fichier qui correspondent aux colonnes du groupe de mappage.
Remarque : Vous ne pouvez mapper que des colonnes ayant le même type de données.
- Cliquez sur Soumettre.
Supprimer un fichier échantillon
Pour supprimer un fichier d'échantillons dont vous n'avez plus besoin de Fichiers d'échantillons , cliquez sur son Delete.