Predviđeno vrijeme čitanja: 7 minute
Ako postoje podaci koji dolaze iz različitih izvora, bilo da se radi o CRM-u, feedovima društvenih medija ili podacima o ponašanju. I ovi podaci se vjerovatno pohranjuju u različitim različitim alatima i sistemima u cijelom tehnološkom stogu (kao što su naslijeđeni sistemi, alati zasnovani na oblaku i skladište podataka o jezero).
Prvi korak u orkestraciji podataka je prikupljanje i organiziranje podataka iz svih ovih različitih izvora i osiguranje da su pravilno formatirani za ciljnu destinaciju. Što nas dovodi do: transformacije.
Podaci su dostupni u nekoliko različitih formata. Može biti strukturiran, nestrukturiran ili polustrukturiran, ili isti događaj može imati različitu konvenciju imenovanja između dva interna tima. Na primjer, jedan sistem može prikupiti i pohraniti datum kao 21. april 2022., a drugi ga može pohraniti u numeričkom formatu, 20220421.
Da bi sve ove podatke imale smisla, kompanije često moraju da ih transformišu u standardni format. Orkestracija podataka može pomoći u smanjenju tereta ručnog usklađivanja svih ovih podataka i primjene transformacija na osnovu politika upravljanja podacima i plana praćenja vaše organizacije.
Ključni dio orkestracije podataka je stavljanje podataka dostupnih za aktivaciju. To se događa kada se čisti, konsolidirani podaci šalju nizvodnim alatima za trenutnu upotrebu (na primjer, kreiranje publike kampanje ili ažuriranje kontrolne ploče poslovne inteligencije).
Orkestracija podataka je u suštini poništavanje izdvojenih podataka i fragmentiranih sistema. Alluxio cijeni da tehnologija podataka prolazi kroz velike promjene svakih 3-8 godina. To znači da je kompanija stara 21 godinu možda prošla kroz 7 različitih sistema upravljanja podacima od početka.
Orkestracija podataka vam također pomaže da se pridržavate zakona o privatnosti podataka, uklanjate uska grla u podacima i provodite upravljanje podacima – samo tri (među mnogima) dobra razloga da to implementirate.
Zakoni o privatnosti podataka, kao što su GDPR i CCPA, imaju stroge smjernice za prikupljanje, korištenje i pohranu podataka. Dio usklađenosti pruža potrošačima mogućnost da odustanu od prikupljanja podataka ili da zatraže da vaša kompanija izbriše sve njihove lične podatke. Ako ne znate gdje se vaši podaci pohranjuju i ko im pristupa, možda će biti teško ispuniti ovu potražnju.
Od kada je GDPR usvojen, vidjeli smo milione zahtjeva za brisanje. Od suštinske je važnosti imati čvrsto razumijevanje cjelokupnog životnog ciklusa dati kako bi se osiguralo da ništa ne pobjegne.
Uska grla su stalni izazov bez orkestracije podataka. Recimo da ste kompanija sa više sistema za skladištenje podataka za koje morate da tražite informacije. Osoba odgovorna za ispitivanje ovih sistema će vjerovatno imati mnogo zahtjeva za provjeru, što znači da može doći do kašnjenja između timova koje im treba podataka i onih koji postoje oni primaju efektivno, što zauzvrat može učiniti informacije zastarjelim.
U dobro orkestriranom okruženju, ova vrsta pokretanja i zaustavljanja bi bila eliminisana. Vaši podaci će već biti dostavljeni nizvodnim alatima za aktivaciju (i ti podaci će biti standardizirani, što znači da možete imati povjerenja u njihov kvalitet).
Upravljanje podacima je teško kada se podaci distribuiraju u više sistema. Kompanije nemaju potpuni uvid u životni ciklus podataka i nesigurnost o tome koji se podaci pohranjuju (npr. golub) stvara ranjivosti, kao što je neadekvatna zaštita ličnih podataka.
Data Orchestration pomaže u rješavanju ovog problema nudeći veću transparentnost načina na koji se upravlja podacima. Ovo omogućava kompanijama da proaktivno blokiraju nevažeće podatke prije nego što stignu u baze podataka ili utječu na izvješćivanje i postavljaju dozvole za pristup podacima.
Postoji nekoliko izazova koji se mogu pojaviti kada pokušavate implementirati Data Orchestration. Evo najčešćih kojih treba biti svjestan i kako ih izbjeći.
Silosi podataka su uobičajena, ako ne i štetna pojava među preduzećima. Kako se tehnološki nizovi razvijaju i različiti timovi posjeduju različite aspekte korisničkog iskustva, previše je lako da se podaci razdvoje u različitim alatima i sistemima. Ali rezultat je nepotpuno razumijevanje učinka kompanije, od slijepih tačaka na putovanju korisnika do nepovjerenja u tačnost analitike i izvještavanja.
Preduzeća će uvijek imati podatke koji teku iz više dodirnih tačaka u različite različite alate. Ali razbijanje silosa je od suštinskog značaja ako ove kompanije žele da dobiju vrednost od svojih podataka.
Posljednjih godina pojavili su se neki trendovi u pogledu načina na koji kompanije upravljaju protokom i aktiviranjem svojih podataka. Primjer za to je obrada podataka u realnom vremenu, kada se podaci obrađuju unutar milisekundi generiranja. Podaci u realnom vremenu postali su ključni u svim industrijama, igrajući ključnu uloguIoT (na primjer, senzori blizine u automobilima), zdravstvo, upravljanje lancem opskrbe, otkrivanje prijevara i skoro trenutna personalizacija. Posebno s napretkom u mašinskom učenju i umjetnoj inteligenciji, podaci u stvarnom vremenu omogućavaju algoritme ivještačka inteligencija da učim bržim tempom.
Drugi trend je prelazak na tehnologije zasnovane na oblak. Dok su se neke kompanije u potpunosti preselile u oblak, drugi mogu nastaviti da imaju mješavinu lokalnih sistema i rješenja zasnovanih na oblaku.
Zatim, postoji evolucija načina na koji je softver napravljen i implementiran, što utiče na to kako će se izvršiti orkestracija podataka.
– Ne uključuje čišćenje i validaciju podataka
– Ne testirati tokove rada kako bi se osigurali glatki i optimizirani procesi
– Odgođeni odgovori na probleme kao što su nedosljednosti podataka, greške servera, uska grla
– Ne postoji jasna dokumentacija u vezi sa mapiranjem podataka, linijom podataka i planom monitoringa
Da biste izmjerili ROI orkestracije podataka:
– Razumjeti osnovne performanse
– Imajte na umu jasan skup ciljeva, KPI-ja i ciljeva za orkestraciju podataka
– Izračunajte ukupne troškove korišćene tehnologije, zajedno sa vremenom i internim resursima
– Mjerite važne metrike kao što su ušteđeno vrijeme, brzina obrade i dostupnost podataka itd.
BlogInnovazione.it
Pomorski sektor je prava globalna ekonomska sila, koja je krenula ka tržištu od 150 milijardi...
Prošlog ponedjeljka Financial Times je objavio dogovor sa OpenAI. FT licencira svoje novinarstvo svjetske klase…
Milioni ljudi plaćaju usluge striminga, plaćajući mjesečne pretplate. Uvriježeno je mišljenje da vi…
Coveware od strane Veeam-a će nastaviti da pruža usluge odgovora na incidente u slučaju sajber iznude. Coveware će ponuditi mogućnosti forenzike i sanacije…
