Apakah anda sudah pernah mendengar mengenai data silos? Jika ternyata organisasi Anda menderita data silos, maka data warehouse mungkin dapat menjadi solusi tim Anda dengan menggunakan data intengration atau ETL Tools.


mengatasi data silos dengan data warehouse



Lalu, apakah yang dimaksud dengan data silos ?

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi. Menghapus data silos dapat membantu Anda mendapatkan informasi yang tepat pada waktu yang tepat sehingga Anda dapat membuat keputusan yang baik. Dan, Anda dapat menghemat uang dengan mengurangi biaya penyimpanan untuk informasi duplikat.

Jadi data silos ini bisa terjadi karena adanya data yang sama pada organisasi / department yang berbeda, dimana masing-masing bagian tidak dapat melihat data yang sama tersebut yang tersimpan di bagian/department yang lainnya.

Sehingga bisa dikatakan masing-masing department tersebut tidak mengetahui kalau ternyata datanya sama dengan data yang ada di departemen yang lain.

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi.

Lalu bagaimana data Silos terjadi?

Sebagaimana  yang saya baca dari dzone.com, data silos dapat terjadi dikarenakan adanya tiga alasan umum berikut ini :
  1. Budaya Perusahaan
  2. Struktur Organisasi
  3. Teknologi


Kalau kita uraikan dari tiga masalah umum tersebut, maka dapat kita ketahui :

1.  Budaya perusahaan.

Seringkali banyak Departemen di suatu perusahaan yang memiliki data silos antara satu department dengan department yang  lain, terutama di perusahaan besar. 

Terkadang hal ini terjadi karena ada persaingan internal, tetapi seringkali hal itu terjadi karena satu departemen melihat dirinya terpisah dari yang lain dan tidak mempertimbangkan di mana informasi harus dibagi.

2.  Struktur organisasi

Selain dari sebuah organisasi yang secara khusus bekerja untuk mengintegrasikan Departemen yang berbeda, maka akan sangat mudah untuk membangun lapisan hirarki dan manajemen yang dapat menghalangi Departemen dari berbagi informasi.

Dengan adanya lapisan hirarki dan manajemen ini akhirnya menjadi penyebab sulitnya untuk mendapatkan data antara satu departemen dengan department yang lain. Dengan adanya kesulitan procedural hirarki ini akhirnya mengakibatkan masing-masing departemen sering menyimpan data yang sama.

3. Teknologi 

Hal ini bisa terjadi akibat tidak biasa bagi departemen yang berbeda untuk menggunakan teknologi yang berbeda, sehingga sulit bagi suatu Departemen untuk berbagi informasi umum dengan departemen yang lain. 

Misalnya, mungkin tim penjualan menggunakan Salesforce, namun tim pemasaran tidak memiliki tool ini. Akan tetapi, ada kemungkinan tool tersebut berisi informasi berharga yang seharusnya bisa digunakan oleh team pemasaran. 

Sebuah survei TI menunjukkan bahwa sebagian besar perusahaan memiliki antara 1-200 aplikasi yang berbeda untuk Departemen mereka. Anda bisa bayangkan, betapa beratnya untuk mendapatkan suatu informasi ketika anda memiliki begitu banyak aplikasi yang digunakan dan tentu saja dengan banyaknya sumber data yang berbeda dengan teknologi yang berbeda pula.


Mengapa Data Silos dapat Menjadi  Masalah?

Tentu saja data silos bisa mendatangkan masalah dengan paling tidak adanya 3 faktor berikut ini :


a. Ketidakmampuan untuk mendapatkan pandangan data yang komprehensif.

Jika data Anda ternyata silos, hubungan yang relevan antara data silos dapat dengan mudah dilewatkan. 

Sebagai contoh, misalnya, tim pemasaran memiliki data yang sangat baik di mana kampanye pemasaran menarik banyak perhatian di geografi tertentu, sedangkan tim penjualan memiliki informasi tentang penjualan di geografi yang sama. 

Bagaimana jika ternyata Anda bisa membawa informasi itu bersama-sama? Bayangkan betapa akan terlihat lebih jelas hubungan antara kampanye pemasaran dan penjualan yang dilakukan.


b. Sumber daya yang terbuang.

Pertimbangkan apa yang terjadi jika Anda memiliki database dengan informasi pelanggan untuk tim pemasaran dan ada satu lagi database informasi pelanggan untuk tim penjualan. 
Banyak data diduplikasi antara kedua Departemen ini. Akan banyak membutuhkan uang untuk menyimpan semua data ini, dan semakin banyak data seperti di atas, maka akan semakin sedikit organisasi yang dapat membelanjakan kebutuhan untuk persyaratan lain.


c. Data yang tidak konsisten

Dalam data silos, adalah umum untuk menyimpan informasi yang sama di tempat yang berbeda. Ketika ini terjadi, ada kemungkinan besar bahwa Anda akan memperkenalkan inkonsistensi data. 

Anda dapat memperbarui alamat pelanggan di satu tempat, sementara di tempat yang lain tidak/belum diganti. Atau, Anda mungkin memperkenalkan salah ketik dalam satu kumpulan informasi. 

Namun ketika data hanya berada di satu tempat, Anda akan memiliki kesempatan yang lebih baik untuk menjaga informasi yang benar sehingga validitas data akan terjamin..

Anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration.

Tantangan dalam berurusan dengan data silos

Sementara banyak perusahaan mengakui bahwa data Silos adalah masalah, mengatasi kondisi data silos ini dapat menjadi sebuah tantangan. Setelah Anda memiliki budaya yang berakar dari memisahkan data, itu adalah tantangan untuk mengubah pola pikir karyawan. 

Selain itu, mungkin sulit untuk membatalkan beberapa siloes karena cara kerja sistem diatur dengan berbagai izin dan hierarki. Sebagai contoh, izin sering diatur oleh grup, jadi setelah data silos untuk grup, sulit untuk kemudian mengubah semua izin yang diperlukan. 

Dan jika data yang silos di sistem yang berbeda (misalnya, data untuk grup operasi keamanan disimpan dalam database Oracle, tetapi informasi penjualan di Salesforce), lebih sulit untuk mengatasi data silos tersebut. 

Untuk menyederhanakan proses ini, sebagian besar perusahaan memindahkan datanya dari berbagai sistem ke dalam data warehouse. Data warehouse adalah repositori untuk semua data yang dikumpulkan oleh sistem operasional perusahaan. Data warehouse dioptimalkan untuk akses dan analisis dari pemrosesan transaksional, dan data warehouse tersebut  dirancang untuk membantu manajemen mendapatkan tampilan 360 mengenai data perusahaan mereka.


Cara memecah data Silos

Cara terbaik untuk menghapus data silos adalah dengan menggabungkan data Anda ke dalam data warehouse. Berikut adalah beberapa metode yang berbeda yang mungkin digunakan perusahaan untuk mendapatkan data ke dalam data warehouse:

- Scripting. 
Beberapa perusahaan menggunakan script (ditulis dalam SQL atau Python, dll) untuk menulis kode guna mengekstrak data dan memindahkannya ke lokasi pusat. Namun hal ini bisa memakan waktu namun, dan juga membutuhkan banyak keahlian.

- ETL Tools berbasis premis
ETL Tools (Extract, Transform, load) dapat mengambil banyak “rasa sakit” dari memindahkan data dengan mengotomatisasi proses. Mereka mengekstrak data dari sumber data, melakukan transformasi, dan kemudian memuat data ke data warehouse tujuan. Tools data integration ini biasanya di-host di situs perusahaan Anda.

Beberapa contoh ETL Toos on premis yang anda gunakan antara lain Pentaho Data Integration, Talend Studio

- ETL Tools berbasis Cloud
ETL Tools ini di-host di Cloud, di mana Anda dapat memanfaatkan keahlian dan infrastruktur dari vendor. Mereka biasanya digunakan ketika sebuah perusahaan memutuskan untuk memindahkan data silos ke cloud data warehouse.

Untuk ETL Tools berbasis cloud, anda bisa mencoba fivetran, blendo, stitch, snaplogic, atau matillion

Jadi, anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration. Baik tools data integration ini berbasis premis maupun tools data integration yang berbasis cloud.


Refference :
#datasilos, #datawarehouse, #datasilosadalah

dzone.com