Perkiraan waktu membaca: 7 minuti
Jika ada data yang berasal dari sumber berbeda, baik itu CRM, feed media sosial, atau data peristiwa perilaku. Dan data ini kemungkinan besar disimpan di berbagai alat dan sistem berbeda di seluruh tumpukan teknologi (seperti sistem lama, alat berbasis cloud, dan data warehouse o danau).
Langkah pertama dalam orkestrasi data adalah mengumpulkan dan mengatur data dari semua sumber berbeda dan memastikan bahwa data tersebut diformat dengan benar untuk tujuan target. Yang membawa kita pada: transformasi.
Data tersedia dalam beberapa format berbeda. Ini mungkin terstruktur, tidak terstruktur, atau semi-terstruktur, atau acara yang sama mungkin memiliki konvensi penamaan yang berbeda antara dua tim internal. Misalnya, satu sistem mungkin mengumpulkan dan menyimpan tanggal sebagai 21 April 2022, dan sistem lain mungkin menyimpannya dalam format numerik, 20220421.
Untuk memahami semua data ini, perusahaan sering kali perlu mengubahnya ke dalam format standar. Orkestrasi data dapat membantu mengurangi beban rekonsiliasi semua data ini secara manual dan menerapkan transformasi berdasarkan kebijakan tata kelola data dan rencana pemantauan organisasi Anda.
Bagian penting dari orkestrasi data adalah menyediakan data untuk aktivasi. Hal ini terjadi ketika data yang bersih dan terkonsolidasi dikirim ke alat hilir untuk segera digunakan (misalnya, membuat audiens kampanye atau memperbarui dasbor intelijen bisnis).
Orkestrasi data pada dasarnya adalah penghancuran data yang terisolasi dan sistem yang terfragmentasi. Alluxio mengapresiasi bahwa teknologi data mengalami perubahan besar setiap 3-8 tahun. Artinya, sebuah perusahaan berusia 21 tahun mungkin telah melalui 7 sistem pengelolaan data yang berbeda sejak awal.
Orkestrasi data juga membantu Anda mematuhi undang-undang privasi data, menghilangkan hambatan data, dan menegakkan tata kelola data – hanya tiga (di antara banyak) alasan bagus untuk menerapkannya.
Undang-undang privasi data, seperti GDPR dan CCPA, memiliki pedoman ketat untuk pengumpulan, penggunaan, dan penyimpanan data. Bagian dari kepatuhan adalah memberi konsumen pilihan untuk tidak ikut pengumpulan data atau meminta perusahaan Anda menghapus semua data pribadi mereka. Jika Anda tidak memiliki pemahaman yang baik tentang di mana data Anda disimpan dan siapa yang mengaksesnya, mungkin akan sulit untuk memenuhi permintaan ini.
Sejak GDPR diberlakukan, kami telah melihat jutaan permintaan penghapusan. Penting untuk memiliki pemahaman yang kuat tentang keseluruhan siklus hidup memberikan untuk memastikan tidak ada yang lolos.
Kemacetan adalah tantangan yang berkelanjutan tanpa adanya Orkestrasi Data. Katakanlah Anda adalah perusahaan dengan beberapa sistem penyimpanan yang perlu Anda tanyakan informasinya. Orang yang bertanggung jawab untuk menanyakan sistem ini kemungkinan besar memiliki banyak permintaan yang harus disaring, yang berarti mungkin ada penundaan antar tim yang mereka butuhkan data dan orang-orang yang ada di sana mereka menerima secara efektif, yang pada gilirannya dapat membuat informasi tersebut menjadi usang.
Dalam lingkungan yang tertata dengan baik, start-and-stop seperti ini akan dihilangkan. Data Anda sudah dikirim ke alat hilir untuk aktivasi (dan data tersebut akan distandarisasi, artinya Anda dapat yakin dengan kualitasnya).
Tata kelola data sulit dilakukan ketika data didistribusikan ke berbagai sistem. Perusahaan tidak memiliki gambaran lengkap mengenai siklus hidup data dan ketidakpastian mengenai data apa yang disimpan (misalnya, merpati) menciptakan kerentanan, seperti tidak cukup melindungi informasi identitas pribadi.
Orkestrasi Data membantu mengatasi masalah ini dengan menawarkan transparansi yang lebih besar mengenai cara pengelolaan data. Hal ini memungkinkan perusahaan untuk secara proaktif memblokir data yang tidak valid sebelum mencapai database atau memengaruhi pelaporan dan menetapkan izin untuk akses data.
Ada beberapa tantangan yang mungkin muncul saat mencoba menerapkan Orkestrasi Data. Berikut adalah hal-hal yang paling umum untuk diwaspadai dan cara menghindarinya.
Penyimpanan data adalah hal yang umum, bahkan berbahaya, yang terjadi di kalangan bisnis. Seiring berkembangnya tumpukan teknologi dan tim yang berbeda memiliki aspek pengalaman pelanggan yang berbeda, data menjadi sangat mudah untuk dipisahkan di berbagai alat dan sistem. Namun akibatnya adalah pemahaman yang tidak lengkap mengenai kinerja perusahaan, mulai dari titik buta dalam perjalanan pelanggan hingga ketidakpercayaan terhadap keakuratan analisis dan pelaporan.
Bisnis akan selalu memiliki data yang mengalir dari berbagai titik kontak ke berbagai alat berbeda. Namun menghilangkan silo sangat penting jika perusahaan-perusahaan ini ingin mendapatkan manfaat dari data mereka.
Dalam beberapa tahun terakhir, beberapa tren muncul mengenai cara perusahaan mengelola aliran dan aktivasi data mereka. Contohnya adalah pemrosesan data real-time, yaitu ketika data diproses dalam milidetik setelah pembuatannya. Data real-time telah menjadi hal yang sangat penting di semua industri dan memainkan peran penting dalam hal iniIOT (misalnya, sensor jarak di mobil), layanan kesehatan, manajemen rantai pasokan, deteksi penipuan, dan personalisasi hampir seketika. Khususnya dengan kemajuan dalam pembelajaran mesin dan kecerdasan buatan, data real-time memungkinkan algoritma dankecerdasan buatan untuk belajar dengan lebih cepat.
Tren lainnya adalah peralihan ke teknologi berbasis awan. Sementara beberapa perusahaan telah pindah seluruhnya ke awan, perusahaan lain mungkin masih memiliki perpaduan sistem lokal dan solusi berbasis cloud.
Lalu, ada evolusi dalam cara perangkat lunak dibuat dan diterapkan, yang berdampak pada cara orkestrasi data dilakukan.
– Tidak menggabungkan pembersihan dan validasi data
– Tidak menguji alur kerja untuk memastikan proses lancar dan optimal
– Respons yang tertunda terhadap masalah seperti inkonsistensi data, kesalahan server, kemacetan
– Tidak memiliki dokumentasi yang jelas mengenai pemetaan data, silsilah data, dan rencana pemantauan
Untuk mengukur ROI orkestrasi data:
– Memahami kinerja dasar
– Miliki serangkaian sasaran, KPI, dan sasaran yang jelas untuk orkestrasi data
– Hitung total biaya teknologi yang digunakan, beserta waktu dan sumber daya internal
– Mengukur metrik penting seperti penghematan waktu, kecepatan pemrosesan dan ketersediaan data, dll.
BlogInnovazione.it
Mengembangkan keterampilan motorik halus melalui mewarnai mempersiapkan anak untuk keterampilan yang lebih kompleks seperti menulis. Mewarnai…
Sektor angkatan laut adalah kekuatan ekonomi global sejati, yang telah menuju pasar 150 miliar...
Senin lalu, Financial Times mengumumkan kesepakatan dengan OpenAI. FT melisensikan jurnalisme kelas dunianya…
Jutaan orang membayar layanan streaming, membayar biaya berlangganan bulanan. Sudah menjadi pendapat umum bahwa Anda…
