In questo Percorso Didattico Collegato, prenderemo un estratto di dati da un sistema ed eseguiremo una serie di trasformazioni per preparare il file di dati da caricare su un altro sistema.
| Obiettivo di apprendimento primario | Mettiamo in evidenza alcuni dei semplici ma potenti comandi del Connettore di trasformazione tabellare che possono essere utilizzati per rispondere alle esigenze di trasformazione più comuni |
| Prerequisiti | Configurare HTTP, Utilità file e le connessioni del connettore Trasformazione tabellare |
| Template catena di supporto | CLP | Trasformazioni tabellari |
Passo 1: Creare una catena
- Aggiungi una nuova catena
- Dai un nome alla catena: CLP | Trasformazioni tabellari
- Creare una variabile di catena
- Nome: cv-TT-SampleData
- Valore: https://cs-sftp-training-bucket.s3.amazonaws.com/cs-training/transformation-qs/sample.txt
- Salva la catena
Passo 2: Recuperare i dati da un sistema sorgente
Usa il connettore HTTP per illustrare come recuperare i dati da un'origine dati per la quale non esiste un connettore Workiva.
- Aggiungere un comando GET dal connettore HTTP al nodo Start
- Configura il comando come segue:
Passo 3: Aggiornare le intestazioni nel file di dati
Aggiorna le intestazioni del file in modo che corrispondano ai nomi dei campi del sistema in cui verrà caricato il file di dati al termine delle trasformazioni. Il comando Mappa intestazioni ci permette di aggiornare il nome del campo in base all'indice, consentendo al comando di essere più flessibile nel caso in cui il nome del campo cambi in futuro.
- Aggiungi un comando Mappa intestazioni dal Connettore di trasformazione tabellare alla catena
- Collega il nodo iniziale (HTTP - Ottieni dati del sistema sorgente) al comando Mappa intestazioni
- Modifica il comando:
- Dai un nome al comando: Mappa intestazioni
- Clicca sul parametro File di input. Il riquadro di selezione delle variabili si apre a sinistra. Nella sezione Comando, espandi il comando Ottieni - Dati del sistema sorgente e seleziona l'output Risposta
- Lascia vuoto il parametro File di output
- Seleziona la casella per visualizzare l'anteprima dei risultati
- Lascia il delimitatore come virgola poiché il file di dati del sistema di origine è delimitato da virgola
- Nel parametro Intestazioni di input, inserisci i numeri da zero (0) a sette (7) poiché il file ha otto campi e gli elenchi sono a base zero. Assicurati di premere il tasto Invio dopo aver digitato ogni numero!
- Seleziona la casella Usa gli indici. Questo indica al Comando che le intestazioni di input sono basate sulla posizione nel file piuttosto che sul nome effettivo della colonna.
- Nelle intestazioni di output, specifica il nome dei nuovi campi da creare. L'ordine è importante perché la prima voce dell'elenco sostituirà il nome dell'intestazione del primo campo del file di sistema di origine e così via per ciascuna delle voci rimanenti. Digita le seguenti intestazioni e premi il tasto Invio dopo ciascuna di esse:
- Prodotto
- Mercato
- Mese
- Scenario
- Vendite
- COGS
- Spese
- Reddito operativo
- Salva il comando
Passo 4: Spostare le colonne di dati nelle righe
Successivamente, aggiorna il file di dati per trasporre le colonne multiple di dati in righe per creare un'unica colonna di dati. Questa operazione si chiama "unpivot". L'operazione di unpivot allinea i dati nel formato previsto, una singola colonna contenente tutti i dati, del sistema a valle.
- Aggiungi un comando Unpivot dal connettore di trasformazione tabellare alla catena
- Collega il comando Mappa intestazioni al comando Unpivot
- Modifica il comando
- Dai un nome al comando: Unpivot - Sposta le misure sulle righe
- Seleziona il parametro Mappa output intestazioni per il parametro File input
- Mappa output intestazioni è ancora delimitato da virgole, quindi lasciamo il delimitatore come virgola
- Nel parametro Aggregazione, seleziona Somma. Quando si sceglie Somma, tutte le righe risultanti create dall'unpivot che sono uguali in tutte le colonne aggregheranno i valori dei dati in un unico punto.
- Nel parametro Etichetta nuova colonna, inserisci Misure. Questa è l'intestazione della nuova colonna che verrà creata e popolata con i valori dell'intestazione delle colonne che vengono svincolate.
- Nel parametro Etichetta colonna dati, inserisci Importo
- I campi Intestazioni dati, Nome colonna pivot di inizio, Nome colonna pivot di fine, Indice colonna pivot di inizio e Indice colonna pivot di fine sono utilizzati per eseguire l'operazione di pivot. Non è necessario specificare tutti questi parametri.
- Se si utilizza il parametro Intestazioni dati, i parametri rimanenti devono essere lasciati vuoti. Il parametro Intestazioni dati permette di specificare il nome delle colonne. Questo parametro è utile per i campi che non sono concomitanti o affiancati.
- I parametri Nome colonna di inizio/fine permettono di specificare il nome della prima e dell'ultima colonna (per un intervallo concomitante). Se si utilizzano questi parametri, il parametro Intestazioni dati e il parametro Indice colonna di inizio/fine devono essere lasciati vuoti. Se il nome colonna di fine viene lasciato vuoto, l'unpivot verrà eseguito per tutti i campi dopo (e compreso) il Nome colonna di inizio.
- I parametri Indice colonna di inizio/fine permettono di specificare la posizione della prima e dell'ultima colonna (per un intervallo concomitante). Se si utilizzano questi parametri, il parametro Intestazioni dati e il parametro Nome colonna di inizio/fine devono essere lasciati vuoti. Se l'Indice colonna di fine viene lasciato vuoto, l'unpivot verrà eseguito per tutti i campi dopo (e compreso) l'Indice colonna di inizio. In questo esercizio utilizziamo questi parametri.
- Nel campo Indice colonna pivot di inizio, inserisci 4. Questo indica al Comando di fare il pivot a partire dalla quinta colonna, dato che l'indice è basato su zero.
- Lascia vuoto l'Indice colonna pivot di fine.
- Seleziona l'opzione Anteprima dei risultati
- Salva il comando
Passo 5: Aggiornare lo scenario
Successivamente, cambia il nome dello scenario. Questo illustra una semplice trasformazione una tantum che si presta bene a Integration Studio. Le trasformazioni di rinominazione più estese o complesse sono notevolmente semplificate da Data Prep.
- Aggiungi un comando Trova e sostituisci dal Connettore di trasformazione tabellare alla catena
- Collega il comando Unpivot al comando Trova e sostituisci
- Modifica il comando:
- Dai un nome al comando: Trova e sostituisci - Bilancio con Piano
- Nel parametro File di input, seleziona l'output Risultato con pivot del comando Unpivot
- Lascia vuoto il parametro File di output
- Seleziona la casella per visualizzare l'anteprima dei risultati
- Il file unpivot è ancora delimitato da virgole, quindi specifica il delimitatore come virgola
- Troveremo il testo Budget e lo sostituiremo con il testo Piano. Nel parametro Trova modello, inserisci Budget.
- Nel parametro Trova valore modello corrispondente, seleziona Esatto
- Esatto significa che stiamo cercando l'intero testo specificato nei parametri Trova modello. Per cercare le sottostringhe o i caratteri jolly, dobbiamo utilizzare il tipo di modello Regular Expression (regex).
- Nel parametro Valore sostitutivo, inserisci Piano. Qualsiasi istanza del testo Budget verrà sostituita con il testo Piano.
- Il parametro Sostituisci solo corrispondenze non è applicabile alle corrispondenze esatte e può essere lasciato deselezionato in quanto è quello predefinito.
- Lascia l'opzione Differenza tra maiuscole/minuscole deselezionata. In questo modo l'operazione di Trova e Sostituisci è sensibile alle maiuscole e alle minuscole, per cui Budget sarà sostituito da Piano ma budget non lo sarà.
- La colonna Scenario con Trova modello (Budget) si trova nella quarta colonna. Nel parametro Colonne, inserisci un numero tre (3) poiché il parametro è a base zero.
- Salva il comando
Passo 6: Conserva solo i dati del piano New York
Successivamente, conserva solo il piano New York utilizzando il comando Filtro intelligente. Questo Filtro Intelligente ci permette di specificare delle condizioni basate sui dati che verranno utilizzate per mantenere o eliminare determinate righe dal set di dati.
- Aggiungi un comando Righe filtro intelligente dal connettore di trasformazione tabellare alla catena
- Collega il comando Righe filtro intelligente al comando Trova e sostituisci
- Modifica il comando:
- Dai un nome al comando: Righe filtro intelligente - Solo piano New York
- Nel parametro File di input, seleziona Output Trova e sostituisci dal comando Trova e sostituisci
- Lascia vuoto il parametro File di output
- Specifica la virgola come delimitatore
- Nella sezione Filtri, è possibile applicare i filtri Testo, Numero e Data. È possibile specificare più condizioni di filtro. Se si applicano filtri di tipo diverso (Testo, Numero, Data), l'Operatore in alto a sinistra deve essere specificato di conseguenza. Se si applicano più condizioni all'interno di un determinato tipo (ad esempio, Testo), è necessario specificare l'Operatore per quel tipo di filtro.
- In questo esercizio, applicheremo dei filtri basati sul testo in modo che l'Operatore globale possa essere And oppure Or.
- Se necessario, imposta l'Operatore Generale su AND
- Clicca sul pulsante Aggiungi nei filtri Testo
- Nel parametro Nome della colonna, inserire Scenario
- Lascia la casella Non differenziare maiuscole/minuscole deselezionata
- Dal menu a tendina Condizione, seleziona Uguale
- Nel parametro Confronta testo, inserisci Reale
- Lascia deselezionate le caselle di controllo Non e Taglia
- Questo filtro verrà utilizzato per rimuovere tutti i record in cui il campo Scenario contiene il valore Reale
- Clicca di nuovo sul pulsante Aggiungi nella sezione Filtri di testo
- Imposta l'operatore dei filtri di testo su OR
- Seleziona la combinazione OR per filtrare sia Reale sia New York
- Nella seconda condizione, specifica Mercato come Nome colonna
- Imposta Condizione su Uguale
- Specifica Testo di confronto come New York
- Infine, seleziona l'opzione Non
- Imposta l'operatore dei filtri di testo su OR
- Lascia selezionata l'opzione Anteprima del risultato
- Se necessario, imposta l'Operatore Generale su AND
- In questo esercizio, applicheremo dei filtri basati sul testo in modo che l'Operatore globale possa essere And oppure Or.
- L'opzione Inversa permette al Filtro Intelligente di mantenere (selezionata) o rimuovere (deselezionata) tutte le righe che corrispondono ai criteri del filtro. In questo esercizio, vogliamo rimuovere tutte le righe in cui lo Scenario è uguale a Reale o il Mercato non è uguale a New York. Per ottenere questo risultato, deseleziona l'opzione Inversa.
- Salva il comando
Passo 7: Aggiungere una colonna Anno
Infine, aggiungi una colonna supplementare al set di dati per indicare l'anno dei dati.
- Aggiungi un comando Inserisci colonna dal connettore di trasformazione tabellare alla catena
- Collega il comando Inserisci colonna al comando Righe filtro intelligente
- Modifica il comando e configuralo come segue:
| Nome | Inserisci colonna - Anno del piano |
| File di input | Output riga filtro intelligente |
| File di output | <leave blank> |
| Anteprima dei risultati | Selezionata |
| Delimitatore | Virgola |
| Testo intestazione | Anno |
| Valore dei dati | 2022 |
| Inserisci l'indice | 3 |
- Salva il comando
Passo 8: Prova l'esercizio
Ora che la Catena è completa, verifica il risultato.
- Pubblica la catena
- Clicca su Esegui e poi seleziona Esegui catena
- Una volta completata la catena, clicca sul nodo Inserisci colonna - Anno del piano
- Nella scheda Output, conferma che sono stati emessi 385 record
- Clicca sulla scheda Registri e conferma i dati come da immagine seguente
Scheda Output
Scheda Registri
Per saperne di più sulla trasformazione dei dati utilizzando le catene, consulta il sito Percorsi di formazione connessi - Introduzione alla trasformazione!