Artikulo

Ano ang Data Orchestration, mga hamon sa Data Analysis

Ang Data Orchestration ay ang proseso ng paglipat ng siled data mula sa maraming lokasyon ng storage patungo sa isang sentralisadong repository kung saan maaari itong pagsamahin, linisin, at pagyamanin para sa pag-activate (hal., pag-uulat).

Nakakatulong ang orkestrasyon ng data na i-automate ang daloy ng data sa pagitan ng mga tool at system upang matiyak na gumagana ang mga organisasyon nang may kumpleto, tumpak, at napapanahon na impormasyon.

Tinatayang oras ng pagbabasa: 7 minuto

Ang 3 yugto ng Data Orchestration

1. Ayusin ang data mula sa iba't ibang mapagkukunan

Kung mayroong data na nagmumula sa iba't ibang source, ito man ay ang CRM, social media feed o data ng kaganapan sa pag-uugali. At malamang na nakaimbak ang data na ito sa iba't ibang tool at system sa buong stack ng teknolohiya (tulad ng mga legacy system, cloud-based na tool, at data bodega o dagat-dagatan).

Ang unang hakbang sa orkestrasyon ng data ay ang pagkolekta at pag-aayos ng data mula sa lahat ng iba't ibang pinagmumulan na ito at tiyaking na-format ito nang tama para sa target na destinasyon. Na nagdadala sa atin sa: pagbabago.

2. Baguhin ang iyong data para sa mas mahusay na pagsusuri

Ang data ay magagamit sa maraming iba't ibang mga format. Maaaring ito ay structured, unstructured, o semi-structured, o ang parehong event ay maaaring magkaroon ng magkaibang pagpapangalan sa pagitan ng dalawang internal na team. Halimbawa, maaaring kolektahin at iimbak ng isang system ang petsa bilang Abril 21, 2022, at maaaring iimbak ito ng isa pa sa numeric na format, 20220421.

Upang magkaroon ng kahulugan ang lahat ng data na ito, madalas na kailangan ng mga kumpanya na baguhin ito sa isang karaniwang format. Makakatulong ang pagsasaayos ng data na bawasan ang pasanin ng manu-manong pag-reconcile sa lahat ng data na ito at paglalapat ng mga pagbabagong batay sa mga patakaran sa pamamahala ng data at plano sa pagsubaybay ng iyong organisasyon.

3. Pag-activate ng data

Isang mahalagang bahagi ng pagsasaayos ng data ay ang paggawa ng data na magagamit para sa pag-activate. Nangyayari ito kapag ang malinis at pinagsama-samang data ay ipinadala sa mga downstream na tool para sa agarang paggamit (halimbawa, paggawa ng campaign audience o pag-update ng business intelligence dashboard).

Bakit ginagawa ang Data Orchestration

Ang orkestrasyon ng data ay mahalagang pag-undo ng siled data at mga pira-pirasong sistema. Pinahahalagahan ni Alluxio na ang teknolohiya ng data ay sumasailalim sa malalaking pagbabago bawat 3-8 taon. Nangangahulugan ito na ang isang 21 taong gulang na kumpanya ay maaaring dumaan sa 7 iba't ibang mga sistema ng pamamahala ng data mula nang mabuo.

Tinutulungan ka rin ng pagsasaayos ng data na sumunod sa mga batas sa privacy ng data, alisin ang mga bottleneck ng data, at ipatupad ang pamamahala ng data – tatlo lang (sa marami) magandang dahilan para ipatupad ito.

1. Pagsunod sa mga batas sa privacy ng data

Ang mga batas sa privacy ng data, gaya ng GDPR at CCPA, ay may mahigpit na mga alituntunin para sa pangongolekta, paggamit at storage ng data. Bahagi ng pagsunod ang pagbibigay sa mga consumer ng opsyong mag-opt out sa pangongolekta ng data o humiling na tanggalin ng iyong kumpanya ang lahat ng kanilang personal na data. Kung wala kang mahusay na pangangasiwa sa kung saan iniimbak ang iyong data at kung sino ang nag-a-access nito, maaaring mahirap matugunan ang pangangailangang ito.

Mula nang ipatupad ang GDPR, nakakita kami ng milyun-milyong kahilingan sa pagbura. Mahalagang magkaroon ng matatag na pag-unawa sa buong ikot ng buhay ng data para masiguradong walang makakatakas.

2. Pag-alis ng mga bottleneck ng data

Ang mga bottleneck ay isang patuloy na hamon nang walang Data Orchestration. Sabihin nating isa kang kumpanya na may maraming storage system na kailangan mong i-query para sa impormasyon. Ang taong responsable para sa pag-query sa mga system na ito ay malamang na magkaroon ng maraming kahilingan upang suriin, ibig sabihin, maaaring magkaroon ng pagkaantala sa pagitan ng mga koponan na kailangan nila ng mga datos at ng mga naroon natatanggap nila epektibo, na kung saan ay maaaring gawin ang impormasyon na hindi na ginagamit.

Sa isang well-orchestrate na kapaligiran, ang ganitong uri ng start-and-stop ay aalisin. Ihahatid na ang iyong data sa mga downstream na tool para sa pag-activate (at ang data na iyon ay magiging pamantayan, ibig sabihin, maaari kang magkaroon ng kumpiyansa sa kalidad nito).

newsletter ng pagbabago
Huwag palampasin ang pinakamahalagang balita sa pagbabago. Mag-sign up upang matanggap ang mga ito sa pamamagitan ng email.
3. Ilapat ang pamamahala ng data

Ang pamamahala ng data ay mahirap kapag ang data ay ipinamamahagi sa maraming system. Ang mga kumpanya ay walang kumpletong pagtingin sa lifecycle ng data at kawalan ng katiyakan tungkol sa kung anong data ang iniimbak (hal. kalapati) ay lumilikha ng mga kahinaan, tulad ng hindi sapat na pagprotekta sa impormasyong nagbibigay ng personal na pagkakakilanlan.

Tumutulong ang Data Orchestration na malutas ang problemang ito sa pamamagitan ng pagbibigay ng higit na transparency sa kung paano pinamamahalaan ang data. Nagbibigay-daan ito sa mga kumpanya na proactive na i-block ang di-wastong data bago ito makarating sa mga database o makaapekto sa pag-uulat at magtakda ng mga pahintulot para sa pag-access ng data.

Mga karaniwang hamon sa Data Orchestration

Mayroong ilang mga hamon na maaaring lumitaw kapag sinusubukang ipatupad ang Data Orchestration. Narito ang mga pinakakaraniwang dapat malaman at kung paano maiiwasan ang mga ito.

Mga silo ng data

Ang mga data silo ay isang pangkaraniwan, kung hindi man nakakapinsala, na nangyayari sa mga negosyo. Habang umuunlad ang mga stack ng teknolohiya at ang iba't ibang team ay nagmamay-ari ng iba't ibang aspeto ng karanasan ng customer, napakadali para sa data na maging tahimik sa iba't ibang tool at system. Ngunit ang resulta ay isang hindi kumpletong pag-unawa sa pagganap ng kumpanya, mula sa mga blind spot sa paglalakbay ng customer hanggang sa kawalan ng tiwala sa katumpakan ng analytics at pag-uulat.

Ang mga negosyo ay palaging may data na dumadaloy mula sa maraming touchpoint papunta sa iba't ibang tool. Ngunit ang pagsira sa mga silos ay mahalaga kung nais ng mga kumpanyang ito na makakuha ng halaga mula sa kanilang data.

    Mga umuusbong na uso saa Orkestrasyon ng Data

    Sa mga nakalipas na taon, lumitaw ang ilang uso tungkol sa kung paano pinamamahalaan ng mga kumpanya ang daloy at pag-activate ng kanilang data. Ang isang halimbawa nito ay ang real-time na pagpoproseso ng data, na kapag ang data ay naproseso sa loob ng milliseconds ng henerasyon. Ang real-time na data ay naging mahalaga sa lahat ng industriya, na gumaganap ng mahalagang papel saIoT (halimbawa, mga proximity sensor sa mga sasakyan), pangangalaga sa kalusugan, pamamahala ng supply chain, pagtuklas ng panloloko, at malapit-instant na pag-personalize. Lalo na sa mga pag-unlad sa machine learning at artificial intelligence, ang real-time na data ay nagbibigay-daan sa mga algorithm atartipisyal na katalinuhan upang matuto nang mas mabilis.

    Ang isa pang kalakaran ay ang pagbabago sa mga teknolohiyang nakabatay sa ulap. Habang ang ilang mga kumpanya ay ganap na lumipat sa ulap, ang iba ay maaaring patuloy na magkaroon ng halo ng mga on-premise system at cloud-based na solusyon.

    Pagkatapos, nariyan ang ebolusyon kung paano binuo at na-deploy ang software, na nakakaapekto sa kung paano isasagawa ang data orchestration. 

    Mga Kaugnay na Pagbasa

    Mga Madalas na Itanong

    Ano ang mga karaniwang pagkakamali na dapat iwasan kapag nagpapatupad ng orkestrasyon ng data?

    – Hindi isinasama ang paglilinis at pagpapatunay ng data
    – Hindi sinusubukan ang mga daloy ng trabaho upang matiyak ang maayos at na-optimize na mga proseso
    – Mga naantalang tugon sa mga isyu gaya ng mga hindi pagkakapare-pareho ng data, mga error sa server, mga bottleneck
    – Walang malinaw na dokumentasyon sa lugar tungkol sa pagmamapa ng data, linya ng data at isang plano sa pagsubaybay

    Paano sukatin ang ROI ng mga hakbangin sa pag-orchestration ng data?

    Para sukatin ang ROI ng data orchestration:
    - Unawain ang pangunahing pagganap
    – Magkaroon ng malinaw na hanay ng mga layunin, KPI at layunin sa isip para sa pagsasaayos ng data
    – Kalkulahin ang kabuuang halaga ng teknolohiyang ginamit, kasama ang oras at panloob na mga mapagkukunan
    – Sukatin ang mahahalagang sukatan gaya ng natipid na oras, bilis ng pagproseso at pagkakaroon ng data, atbp.

    BlogInnovazione.it

    newsletter ng pagbabago
    Huwag palampasin ang pinakamahalagang balita sa pagbabago. Mag-sign up upang matanggap ang mga ito sa pamamagitan ng email.

    Kamakailang Mga Artikulo

    Mga Online na Pagbabayad: Narito Kung Paano Ka Binabayaran ng Mga Serbisyo ng Streaming Magpakailanman

    Milyun-milyong tao ang nagbabayad para sa mga serbisyo ng streaming, na nagbabayad ng buwanang bayad sa subscription. Karaniwang opinyon na ikaw ay…

    Abril 29 2024

    Itinatampok ng Veeam ang pinakakomprehensibong suporta para sa ransomware, mula sa proteksyon hanggang sa pagtugon at pagbawi

    Ang Coveware ng Veeam ay patuloy na magbibigay ng mga serbisyo sa pagtugon sa insidente ng cyber extortion. Mag-aalok ang Coveware ng mga kakayahan sa forensics at remediation...

    Abril 23 2024

    Green and Digital Revolution: Kung Paano Binabago ng Predictive Maintenance ang Industriya ng Langis at Gas

    Binabago ng predictive maintenance ang sektor ng langis at gas, na may makabago at proactive na diskarte sa pamamahala ng halaman.…

    Abril 22 2024

    Itinaas ng UK antitrust regulator ang BigTech alarm sa GenAI

    Ang UK CMA ay naglabas ng babala tungkol sa gawi ng Big Tech sa merkado ng artificial intelligence. doon…

    Abril 18 2024