Big Data DBA: data integration

Belajar Big Data Solusi Data Management Dengan Big Data

Articles by "data integration"

Apakah anda sudah pernah mendengar mengenai data silos? Jika ternyata organisasi Anda menderita data silos, maka data warehouse mungkin dapat menjadi solusi tim Anda dengan menggunakan data intengration atau ETL Tools.


mengatasi data silos dengan data warehouse



Lalu, apakah yang dimaksud dengan data silos ?

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi. Menghapus data silos dapat membantu Anda mendapatkan informasi yang tepat pada waktu yang tepat sehingga Anda dapat membuat keputusan yang baik. Dan, Anda dapat menghemat uang dengan mengurangi biaya penyimpanan untuk informasi duplikat.

Jadi data silos ini bisa terjadi karena adanya data yang sama pada organisasi / department yang berbeda, dimana masing-masing bagian tidak dapat melihat data yang sama tersebut yang tersimpan di bagian/department yang lainnya.

Sehingga bisa dikatakan masing-masing department tersebut tidak mengetahui kalau ternyata datanya sama dengan data yang ada di departemen yang lain.

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi.

Lalu bagaimana data Silos terjadi?

Sebagaimana  yang saya baca dari dzone.com, data silos dapat terjadi dikarenakan adanya tiga alasan umum berikut ini :
  1. Budaya Perusahaan
  2. Struktur Organisasi
  3. Teknologi


Kalau kita uraikan dari tiga masalah umum tersebut, maka dapat kita ketahui :

1.  Budaya perusahaan.

Seringkali banyak Departemen di suatu perusahaan yang memiliki data silos antara satu department dengan department yang  lain, terutama di perusahaan besar. 

Terkadang hal ini terjadi karena ada persaingan internal, tetapi seringkali hal itu terjadi karena satu departemen melihat dirinya terpisah dari yang lain dan tidak mempertimbangkan di mana informasi harus dibagi.

2.  Struktur organisasi

Selain dari sebuah organisasi yang secara khusus bekerja untuk mengintegrasikan Departemen yang berbeda, maka akan sangat mudah untuk membangun lapisan hirarki dan manajemen yang dapat menghalangi Departemen dari berbagi informasi.

Dengan adanya lapisan hirarki dan manajemen ini akhirnya menjadi penyebab sulitnya untuk mendapatkan data antara satu departemen dengan department yang lain. Dengan adanya kesulitan procedural hirarki ini akhirnya mengakibatkan masing-masing departemen sering menyimpan data yang sama.

3. Teknologi 

Hal ini bisa terjadi akibat tidak biasa bagi departemen yang berbeda untuk menggunakan teknologi yang berbeda, sehingga sulit bagi suatu Departemen untuk berbagi informasi umum dengan departemen yang lain. 

Misalnya, mungkin tim penjualan menggunakan Salesforce, namun tim pemasaran tidak memiliki tool ini. Akan tetapi, ada kemungkinan tool tersebut berisi informasi berharga yang seharusnya bisa digunakan oleh team pemasaran. 

Sebuah survei TI menunjukkan bahwa sebagian besar perusahaan memiliki antara 1-200 aplikasi yang berbeda untuk Departemen mereka. Anda bisa bayangkan, betapa beratnya untuk mendapatkan suatu informasi ketika anda memiliki begitu banyak aplikasi yang digunakan dan tentu saja dengan banyaknya sumber data yang berbeda dengan teknologi yang berbeda pula.


Mengapa Data Silos dapat Menjadi  Masalah?

Tentu saja data silos bisa mendatangkan masalah dengan paling tidak adanya 3 faktor berikut ini :


a. Ketidakmampuan untuk mendapatkan pandangan data yang komprehensif.

Jika data Anda ternyata silos, hubungan yang relevan antara data silos dapat dengan mudah dilewatkan. 

Sebagai contoh, misalnya, tim pemasaran memiliki data yang sangat baik di mana kampanye pemasaran menarik banyak perhatian di geografi tertentu, sedangkan tim penjualan memiliki informasi tentang penjualan di geografi yang sama. 

Bagaimana jika ternyata Anda bisa membawa informasi itu bersama-sama? Bayangkan betapa akan terlihat lebih jelas hubungan antara kampanye pemasaran dan penjualan yang dilakukan.


b. Sumber daya yang terbuang.

Pertimbangkan apa yang terjadi jika Anda memiliki database dengan informasi pelanggan untuk tim pemasaran dan ada satu lagi database informasi pelanggan untuk tim penjualan. 
Banyak data diduplikasi antara kedua Departemen ini. Akan banyak membutuhkan uang untuk menyimpan semua data ini, dan semakin banyak data seperti di atas, maka akan semakin sedikit organisasi yang dapat membelanjakan kebutuhan untuk persyaratan lain.


c. Data yang tidak konsisten

Dalam data silos, adalah umum untuk menyimpan informasi yang sama di tempat yang berbeda. Ketika ini terjadi, ada kemungkinan besar bahwa Anda akan memperkenalkan inkonsistensi data. 

Anda dapat memperbarui alamat pelanggan di satu tempat, sementara di tempat yang lain tidak/belum diganti. Atau, Anda mungkin memperkenalkan salah ketik dalam satu kumpulan informasi. 

Namun ketika data hanya berada di satu tempat, Anda akan memiliki kesempatan yang lebih baik untuk menjaga informasi yang benar sehingga validitas data akan terjamin..

Anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration.

Tantangan dalam berurusan dengan data silos

Sementara banyak perusahaan mengakui bahwa data Silos adalah masalah, mengatasi kondisi data silos ini dapat menjadi sebuah tantangan. Setelah Anda memiliki budaya yang berakar dari memisahkan data, itu adalah tantangan untuk mengubah pola pikir karyawan. 

Selain itu, mungkin sulit untuk membatalkan beberapa siloes karena cara kerja sistem diatur dengan berbagai izin dan hierarki. Sebagai contoh, izin sering diatur oleh grup, jadi setelah data silos untuk grup, sulit untuk kemudian mengubah semua izin yang diperlukan. 

Dan jika data yang silos di sistem yang berbeda (misalnya, data untuk grup operasi keamanan disimpan dalam database Oracle, tetapi informasi penjualan di Salesforce), lebih sulit untuk mengatasi data silos tersebut. 

Untuk menyederhanakan proses ini, sebagian besar perusahaan memindahkan datanya dari berbagai sistem ke dalam data warehouse. Data warehouse adalah repositori untuk semua data yang dikumpulkan oleh sistem operasional perusahaan. Data warehouse dioptimalkan untuk akses dan analisis dari pemrosesan transaksional, dan data warehouse tersebut  dirancang untuk membantu manajemen mendapatkan tampilan 360 mengenai data perusahaan mereka.


Cara memecah data Silos

Cara terbaik untuk menghapus data silos adalah dengan menggabungkan data Anda ke dalam data warehouse. Berikut adalah beberapa metode yang berbeda yang mungkin digunakan perusahaan untuk mendapatkan data ke dalam data warehouse:

- Scripting. 
Beberapa perusahaan menggunakan script (ditulis dalam SQL atau Python, dll) untuk menulis kode guna mengekstrak data dan memindahkannya ke lokasi pusat. Namun hal ini bisa memakan waktu namun, dan juga membutuhkan banyak keahlian.

- ETL Tools berbasis premis
ETL Tools (Extract, Transform, load) dapat mengambil banyak “rasa sakit” dari memindahkan data dengan mengotomatisasi proses. Mereka mengekstrak data dari sumber data, melakukan transformasi, dan kemudian memuat data ke data warehouse tujuan. Tools data integration ini biasanya di-host di situs perusahaan Anda.

Beberapa contoh ETL Toos on premis yang anda gunakan antara lain Pentaho Data Integration, Talend Studio

- ETL Tools berbasis Cloud
ETL Tools ini di-host di Cloud, di mana Anda dapat memanfaatkan keahlian dan infrastruktur dari vendor. Mereka biasanya digunakan ketika sebuah perusahaan memutuskan untuk memindahkan data silos ke cloud data warehouse.

Untuk ETL Tools berbasis cloud, anda bisa mencoba fivetran, blendo, stitch, snaplogic, atau matillion

Jadi, anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration. Baik tools data integration ini berbasis premis maupun tools data integration yang berbasis cloud.


Refference :
#datasilos, #datawarehouse, #datasilosadalah

dzone.com

Berdasarkan aturan secara umum, data integration tampaknya seperti topik yang cukup sederhana: kita hanya perlu untuk menggabungkan data yang berasal dari lebih satu sumber data.

Akan tetapi dalam prakteknya, ternyata data integration bisa menjadi sangat kompleks. Banyak vendor menawarkan array yang memusingkan menggunakan data integration tools yang berbeda dengan berbagai macam kemampuan. 

5 Type Data Integration Teratas Berdasarkan Jenis Kasus
Photo by Franki Chamaki on Unsplash

5 Type Data Integration Teratas Berdasarkan Jenis Kasus


Perusahaan harus memilih antara data integration tools lokal dan berbasis Internet, single-purpose tools dan platform data integration multi-fungsi, dan data integration tools yang berlicense atau data integration tools yang open source.

Dan untuk memilih data integration tools yang terbaik, maka kita harus memiliki strategi data integration, serta integrasi data menggunakan kasus-kasus yang masuk akal dari perspektif keuangan.

Tentu saja, kebutuhan setiap organisasi akan sedikit berbeda, tergantung pada industri mereka, produk, pelanggan, alur kerja dan faktor lainnya. Namun, banyak perusahaan menggunakan data integration untuk tujuan serupa.

“Kasus penggunaan data integration ini berkisar dari migrasi data untuk sinkronisasi data di beberapa sistem untuk menyediakan pemandangan holistik 360 derajat dari pelanggan.”


Berikut ini adalah lima dari data integration yang paling umum dengan menggunakan kasus-kasus yang berlaku di berbagai industri:

Migrasi data ke dalam data warehouse atau Hadoop

Saat ini, data analytics telah menjadi bagian integral dalam melakukan bisnis. Dalam setiap industri, organisasi menciptakan repositori big data yang mereka harapkan dapat untuk memberikan wawasan berharga.

5 Type Data Integration Teratas Berdasarkan Jenis Kasus
Photo by Balázs Kétyi on Unsplash

Pada kenyataannya, di NewVantage Partners Big Data Executive Survey 2018, ternyata 97.2 persen responden mengatakan bahwa organisasi mereka sudah berinisiatif untuk menggunakan big data atau kecerdasan buatan (AI).

Tentunya banyak tantangan yang dihadapi dalam mengembangkan bigdata. Apa saja tantangannya ? Anda bisa mencari tahu pada artikel berikut yang membahas tentang apa saja tantangan untuk mengolah big data.

Namun, sebelum organisasi dapat menjalankan laporan, melakukan analisis atau mendapatkan pengetahuan, mereka pertama kali perlu untuk mengumpulkan semua data mereka ke dalam satu tempat dan mengumpulkan data tersebut dalam format yang tepat untuk analisis.

Dan ternyata hal tersebut memerlukan data integration.

Jenis data integration akan tergantung pada jenis repositori data perusahaan dalam ketertarikannya pada penciptaan data tersebut. Banyak organisasi memiliki data warehouse yang mereka gunakan untuk tujuan business intelligence (BI).

Membuat data repository ini tentunya anda membutuhkan data integration tools yang dapat mengumpulkan data yang relevan dari berbagai aplikasi yang berbeda dan juga berbagai sistem yang berbeda pula.

Karena data warehouse menyimpan data dalam keadaan terstruktur, data mungkin perlu dibersihkan atau diubah sehingga dalam format yang sama dan serupa seperti data yang lainnya. 

Misalnya, beberapa aplikasi dapat menyimpan nomor telepon dengan tanda kurung, seperti (123)456-7890, sementara orang lain hanya menggunakan tanda hubung, seperti 123-456-7890. Sebelum sumber data tersebut yang akan disimpan di data warehouse, maka semua nomor telepon tersebut harus memiliki format yang sama.

Untuk itu, organisasi biasanya menggunakan jenis perangkat lunak data integration yang dikenal sebagai extract, transform, load atau disingkat dengan ETL.

Perusahaan telah menggunakan banyak tool ETL untuk tujuan ini selama beberapa dekade, dan ini adalah salah satu jenis perangkat lunak data integration yang paling akrab.

Hari ini, banyak perusahaan memiliki danau data (data lake) yang berada di dalam data warehouse mereka. Danau data yang menyimpan data terstruktur dan data semi-terstruktur yang berbeda dengan data terstruktur, dan mereka menyimpan semua data dalam keadaan mentah tanpa mengubahnya terlebih dahulu.

Danau data atau kita sebut saja data lake ini sering dijalankan di Hadoop yang merupkan software open source dan perangkat keras dengan standard industri, bukan kepemilikan teknologi, yang membuatnya ekonomis untuk menyimpan lebih banyak data dari sumber-sumber yang lebih banyak.

Untuk sebuah data lake, organisasi tidak perlu tool ETL, tetapi mereka perlu produk migrasi data yang dapat menarik data dari berbagai sumber yang berbeda.

Di antara unsur-unsur dalam kasus banyak data integration adalah data pergudangan, data profil dan pemodelan data.

Sinkronisasi data di beberapa sistem

Banyak perusahaan menemukan bahwa mereka memiliki beberapa sistem independen yang menyimpan data yang sama. Kadang-kadang hal ini terjadi sebagai akibat dari aktivitas merger dan akuisisi. 

5 Type Data Integration Teratas Berdasarkan Jenis Kasus

Misalnya, jika salah satu pengecer barang-barang olahraga merger dengan pengecer barang-barang olahraga lain, maka akan ada dua kemungkinan yaitu memiliki banyak pemasok, mitra dan pelanggan yang sama dan yang kedua memiliki informasi tentang semua entitas tersebut di databses mereka masing-masing. 

Namun, dua merek yang berbeda mungkin saja menjalankan database yang berbeda, dan informasi yang disimpan di database mereka mungkin tidak selalu sejalan. Sering terjadi banyak data yang sama berada di dalam database yang berbeda.

Di waktu yang lain, data ganda adalah hanya hasil dari siluet sistem. Sebagai contoh, perangkat lunak Keuangan mungkin berbeda dari perangkat lunak Departemen penerimaan.

Sementara kedua sistem mungkin menyimpan data yang sama yang berkaitan dengan rantai pasokan, sementara dua database mungkin saja sangat berbeda. 

Dan jika Departemen penerimaan melakukan update alamat untuk vendor tertentu, mereka mungkin lupa untuk memberitahukan departemen keuangan, yang menyebabkan di departemen keuangan akan masih memiliki alamat lama yang disimpan dalam sistem mereka.

Perusahaan dapat memilih untuk berurusan dengan situasi seperti ini dalam berbagai cara.

Misalnya, mereka mungkin mencoba untuk menggabungkan database dari kedua perusahaan untuk digabung, atau mereka mungkin mencoba untuk memindahkan departemen keuangan dan Departemen penerimaan ke software Enterprise Resource Planning (ERP) untuk menghilangkan data silo.

Namun, pada saat perusahaan besar mungkin dapat mengurangi jumlah database mereka dan aplikasi melalui konsolidasi, mereka biasanya masih menyisakan beberapa repositori data.

Untuk menyimpan semua database mereka supaya tetap up to date, mereka membutuhkan solusi yang bisa mensinkronkan record dalam berbagai sistem independen.

Hal ini biasanya memerlukan data integration tools dengan solusi data governance dan kemampuan master data management (MDM).

Mungkin produk MDM standalone atau platform data integration yang lengkap dapat menghapus duplikat, membakukan format, menyalin data dari satu sistem ke sistem yang lain (data propagasi) dan memberikan keseragaman view pada master data dalam sistem organisasi (data Federasi).

Menerima data dari pemasok, atau mitra

Selama ini berbagai perusahaan telah menggunakan komputer, perangkat-perangkat komputer tersebut dibutuhkan untuk mengirim dan menerima data dari pemasok dan mitra mereka. 

5 Type Data Integration Teratas Berdasarkan Jenis Kasus

Sebagai contoh, produsen mungkin perlu memindahkan daftar pengiriman, faktur informasi atau data umum produk. Atau rumah sakit mungkin perlu menerima catatan pasien dari independen dokter kantor dan laboratorium.

Di masa lalu, mitra mungkin hanya mengirimkan Fax untuk informasi yang relevan, dan perusahaan akan kembali melakukan input ke dalam sistem mereka. Tetapi metode ini memakan waktu dan rawan kesalahan.

Salah satu solusi yang paling awal untuk masalah ini adalah jenis data integration tools yang dikenal sebagai elektronik data interchange (EDI).

Pertama kali ditemukan pada tahun 1970, EDI masih digunakan sampai sekarang oleh banyak perusahaan, begitu banyak vendor menggabungkan EDI ke platform data integration mereka.

Namun, teknologi modern menawarkan beberapa alternatif untuk jenis EDI tradisional. Misalnya, beberapa perusahaan melakukan transfer data melalui Layanan Web yang bergantung pada file XML, sementara banyak orang lain membuat nya lebih ekstensif yaitu dengan menggunakan api (application programming interface). 

Dan beberapa perusahaan menggunakan beberapa metode yang berbeda untuk mentransfer data ke dan dari mitra perusahaan, di mana pada kasus data integration tools yang dapat mengelola berbagai jenis sambungan data menjadi demikian menarik.


Membuat Dashboard Penjualan atau Dashboard Pemasaran 

Dalam survei NewVantage 2018, 98,6 persen dari eksekutif yang disurvei mengatakan organisasi mereka sedang dalam proses menciptakan budaya data-driven.

5 Type Data Integration Teratas Berdasarkan Jenis Kasus

Sebagian besar dari usaha di sebagian besar perusahaan membuat penggunaan data analytics yang lebih besar dalam penjualan dan Departemen pemasaran.

Pada saat ini, banyak organisasi berinteraksi dengan pelanggan dengan mengambil tempat secara online.

Yang memberikan kelebihan pada perusahaan dalam hal kemampuan untuk mengukur upaya mereka dalam melakukan penjualan dan pemasaran, apakah mereka sedang menghitung tayangan iklan dan klik iklan, pelacakan berapa lama pelanggan menghabiskan di berbagai bagian dari situs web mereka atau benar-benar menjual produk mereka dan Layanan online lainnya.

Banyak organisasi yang menggunakan data ini untuk membuat dashboard yang memberitahu mereka mengenai informasi pemasaran dan penjualan tim, bagaimana usaha yang sudah mereka lakukan.

Sebagai contoh, sebuah dashboard pemasaran mungkin mampu untuk melacak dan mengarahkan hasil terkait dengan banyak faktor: 
  • Bounce Rates (tingkat pentalan)
  • Open Rates
  • Metrik konversi
  • Convertion Metrics
  • Lead Quality
  • Key Performance Indicator (KPI) yang penting bagi tim

Bila memungkinkan, data ini disajikan dalam format visual, seperti diagram atau grafik, sehingga pengguna dapat melihat tren baris dan sekilas data visual itu membuatnya masuk akal.

Untuk membuat dashboard ini, organisasi mungkin menggunakan platform data integration atau gabungan beberapa tool berbeda secara mandiri. Beberapa penjualan atau pemasaran perangkat lunak termasuk kemampuan untuk menciptakan sebuah dashboard. 

Atau organisasi dapat membuat dashboard mereka sendiri, mengubah sesuai kebutuhan yang menarik data dari beberapa sumber internal dan eksternal yang berbeda.

Aplikasi yang kemudian berjalan akan membutuhkan berbagai analytics yang diperlukan dan menciptakan visualisasi dan melakukan update data secara teratur.

Kasus penggunaan data integration ini jauh lebih kompleks daripada ETL atau sinkronisasi records, sehingga memerlukan perangkat lunak yang lebih kuat dan powerfull.

Memberikan Pandangan 360 Derajat kepada Pelanggan

Untuk banyak perusahaan, "holy grail" data integration adalah untuk menciptakan pandangan utuh 360 derajat dari setiap individu nasabah / customer.

5 Type Data Integration Teratas Berdasarkan Jenis Kasus

Idenya adalah bahwa setiap kali seorang penjual atau karyawan lain yang berinteraksi dengan pelanggan, dia akan memiliki satu panel kaca yang merangkum semua interaksi nasabah dengan perusahaan.

Kondisi seperti ini sering membutuhkan untuk menarik data pelanggan dari beberapa sistem perangkat lunak manajemen hubungan pelanggan (CRM), aplikasi ERP, dukungan teknis sistem pelacakan Tiket, pemasaran software, sistem e-commerce, dan aplikasi lainnya.

Hal tersebut akan mampu memberikan kemampuan pada user untuk menelusuri sejarah pelanggan, melihat persis apa yang sudah ia beli di masa lalu dan rincian panggilan, email atau obrolan dengan dukungan pelanggan.

Banyak dari dashboard 360 derajat pelanggan ini juga memanfaatkan pengayaan data. Karena hal inilah, mereka membawa data eksternal yang tidak disertakan dalam database Perseroan.

Sebagai contoh, untuk keperluan tersebut bisa saja menarik informasi dari rekening-rekening nasabah, akun media sosial publik atau memasukkan informasi yang tersedia dari broker data.

Banyak hari ini dashboard juga menggabungkan analisis prediktif, machine learning dan kecerdasan buatan (Artificial Intelligence / AI).

Sistem-sistem tersebut mungkin mampu menawarkan saran untuk apa yang mungkin pelanggan beli berikutnya, atau menawarkan bahwa pelanggan mungkin akan menemukan sesuatu hal yang sangat menarik. 

Dalam beberapa kasus, mereka bahkan dapat menggunakan sentimen analisis untuk mengukur keadaan emosi pelanggan dan membimbing anggota staf pada panggilan tersebut.

Kasus penggunaan data integration ini adalah yang paling rumit dari semua yang ada, dan itu memerlukan perangkat lunak data integration dan data analytic yang sangat maju.

Banyak perusahaan membuat investasi yang diperlukan, namun, dengan harapan untuk melihat drama perbaikan dalam penjualan dan layanan pelanggan.

Demikian lah top 5 studi kasus untuk data integration. Apakah anda terarik untuk menggeluti dunia data integration ini?

Dalam hal data integration ini kita tidak hanya akan membicarakan mengenai big data, namun lebih dari itu semua, karena pada akhirnya semua akan bermuara pada data management, bagaimana kemampuan kita dalam mengelola data yang ada.

Nantikan untuk bahasan-bahasan menarik lainnya seputar data management dan big data di bigdatadba.com, tidak hanya sekedar bicara data.



Refference :
#dataintegration, #dataintegrationtools, #dataintegrationplatform

MKRdezign

Contact Form

Name

Email *

Message *

Powered by Blogger.
Javascript DisablePlease Enable Javascript To See All Widget