Cos’è la Data Orchestration, sfide nella Data Analisys
La Data Orchestration è il processo di spostamento dei dati in silos da più posizioni di archiviazione in un repository centralizzato in cui possono essere combinati, puliti e arricchiti per l’attivazione (ad esempio, la generazione di report).
L’orchestrazione dei dati aiuta ad automatizzare il flusso di dati tra strumenti e sistemi per garantire che le organizzazioni lavorino con informazioni complete, accurate e aggiornate.
Tempo di lettura stimato: 7 minuti
Le 3 fasi della Data Orchestration
1. Organizzare i dati provenienti da fonti diverse
Se ci sono dati provenienti da diverse fonti, che si tratti del CRM, dei feed dei social media o dei dati sugli eventi comportamentali. E questi dati sono probabilmente archiviati in vari strumenti e sistemi diversi in tutto lo stack tecnologico (come sistemi legacy, strumenti basati su cloud e data warehouse o lake).
Il primo passaggio nell’orchestrazione dei dati consiste nel raccogliere e organizzare i dati da tutte queste diverse origini e assicurarsi che siano formattati correttamente per la destinazione di destinazione. Il che ci porta a: trasformazione.
2. Trasforma i tuoi dati per una migliore analisi
I dati sono disponibili in vari formati diversi. Può essere strutturato, non strutturato o semi-strutturato oppure lo stesso evento potrebbe avere una convenzione di denominazione diversa tra due team interni. Ad esempio, un sistema potrebbe raccogliere e archiviare la data come 21 aprile 2022 e un altro potrebbe archiviarla nel formato numerico, 20220421.
Per dare un senso a tutti questi dati, le aziende spesso devono trasformarli in un formato standard. L’orchestrazione dei dati può aiutare a ridurre l’onere della riconciliazione manuale di tutti questi dati e dell’applicazione di trasformazioni in base ai criteri di governance dei dati e al piano di monitoraggio dell’organizzazione.
3. Attivazione dei dati
Una parte cruciale dell’orchestrazione dei dati è rendere i dati disponibili per l’attivazione. Ciò avviene quando i dati puliti e consolidati vengono inviati agli strumenti a valle per l’uso immediato (ad esempio, la creazione di un pubblico della campagna o l’aggiornamento di un dashboard di business intelligence).
Perchè fare Data Orchestration
L’orchestrazione dei dati è essenzialmente l’annullamento dei dati isolati e dei sistemi frammentati. Alluxio stima che la tecnologia dei dati subisca importanti cambiamenti ogni 3-8 anni. Ciò significa che un’azienda di 21 anni potrebbe essere passata attraverso 7 diversi sistemi di gestione dei dati sin dall’inizio.
L’orchestrazione dei dati aiuta anche a rispettare le leggi sulla privacy dei dati, a rimuovere i colli di bottiglia dei dati e a far rispettare la governance dei dati: solo tre (tra le tante) buone ragioni per implementarla.
1. Conformità alle leggi sulla privacy dei dati
Le leggi sulla privacy dei dati, come il GDPR e il CCPA, prevedono linee guida rigorose per la raccolta, l’utilizzo e l’archiviazione dei dati. Parte della conformità consiste nel dare ai consumatori la possibilità di rinunciare alla raccolta dei dati o di richiedere alla tua azienda di eliminare tutti i loro dati personali. Se non si ha una buona padronanza di dove vengono archiviati i dati e chi vi accede, potrebbe essere difficile soddisfare questa domanda.
Da quando è stato promulgato il GDPR, abbiamo assistito a milioni di richieste di cancellazione. È fondamentale avere una solida conoscenza dell’intero ciclo di vita dei dati per assicurarsi che nulla sfugga.
2. Rimozione dei colli di bottiglia dei dati
I colli di bottiglia sono una sfida continua senza la Data Orchestration. Supponiamo che tu sia un’azienda con più sistemi di storage che devi interrogare per ottenere informazioni. È probabile che la persona responsabile dell’interrogazione di questi sistemi abbia un sacco di richieste da vagliare, il che significa che può esserci un ritardo tra i team che hanno bisogno dei dati e quelli che li ricevono effettivamente, il che a sua volta può rendere obsolete le informazioni.
In un ambiente ben orchestrato, questo tipo di start-and-stop verrebbe eliminato. I tuoi dati verranno già consegnati agli strumenti a valle per l’attivazione (e quei dati saranno standardizzati, il che significa che puoi avere fiducia nella loro qualità).
3. Applicazione della governance dei dati
La governance dei dati è difficile quando i dati sono distribuiti su più sistemi. Le aziende non hanno una visione completa del ciclo di vita dei dati e l’incertezza su quali dati vengono archiviati (e dove) crea vulnerabilità, come non proteggere adeguatamente le informazioni di identificazione personale.
La Data Orchestration aiuta a rimediare a questo problema offrendo una maggiore trasparenza su come vengono gestiti i dati. Ciò consente alle aziende di bloccare in modo proattivo i dati non validi prima che raggiungano i database o influenzino la reportistica e di impostare le autorizzazioni per l’accesso ai dati.
Sfide comuni con la Data Orchestration
Ci sono diverse sfide che possono sorgere quando si tenta di implementare la Data Orchestration. Ecco i più comuni di cui essere a conoscenza e come evitarli.
Silos di dati
I silos di dati sono un evento comune, se non dannoso, tra le aziende. Man mano che gli stack tecnologici si evolvono e i diversi team possiedono aspetti diversi dell’esperienza del cliente, è fin troppo facile che i dati diventino isolati tra diversi strumenti e sistemi. Ma il risultato è una comprensione incompleta delle prestazioni dell’azienda, dai punti ciechi nel percorso del cliente alla sfiducia nell’accuratezza dell’analisi e della reportistica.
Le aziende avranno sempre dati che fluiscono da più punti di contatto in vari strumenti diversi. Ma abbattere i silos è essenziale se queste aziende vogliono ottenere valore dai loro dati.
Tendenze emergenti nella Data Orchestration
Negli ultimi anni, sono emerse alcune tendenze per quanto riguarda il modo in cui le aziende gestiscono il flusso e l’attivazione dei propri dati. Un esempio di ciò è l’elaborazione dei dati in tempo reale, ovvero quando i dati vengono elaborati entro millisecondi dalla generazione. I dati in tempo reale sono diventati fondamentali in tutti i settori, svolgendo un ruolo chiave nell’IoT (ad esempio, i sensori di prossimità nelle auto), nell’assistenza sanitaria, nella gestione della catena di approvvigionamento, nel rilevamento delle frodi e nella personalizzazione quasi istantanea. In particolare con i progressi nell’apprendimento automatico e nell’intelligenza artificiale, i dati in tempo reale consentono agli algoritmi e all’intelligenza artificiale di apprendere a un ritmo più rapido.
Un’altra tendenza è stata il passaggio a tecnologie basate su cloud. Mentre alcune aziende si sono spostate interamente sul cloud, altre potrebbero continuare ad avere un mix di sistemi on-premise e soluzioni basate su cloud.
Poi, c’è l’evoluzione del modo in cui il software è stato costruito e distribuito, che influisce sul modo in cui verrà eseguita l’orchestrazione dei dati.
Letture Correlate
Domande Frequenti
– Non incorporare la pulizia e la convalida dei dati
– Non testare i flussi di lavoro per garantire processi fluidi e ottimizzati
– Risposte ritardate a problemi come incoerenze dei dati, errori del server, colli di bottiglia
– Non avere documentazione chiara in atto per quanto riguarda la mappatura dei dati, la derivazione dei dati e un piano di monitoraggio
Per misurare il ROI dell’orchestrazione dei dati:
– Comprendere le prestazioni di base
– Avere in mente una serie chiara di obiettivi, KPI e obiettivi per l’orchestrazione dei dati
– Calcolare il costo totale della tecnologia utilizzata, insieme al tempo e alle risorse interne
– Misurare metriche importanti come tempo risparmiato, velocità nell’elaborazione e disponibilità dei dati, ecc.
BlogInnovazione.it