2019 | Big Data DBA

Belajar Big Data Solusi Data Management Dengan Big Data

2019

Big Data vs Business Intelligence - System data analytic merupakan bagian terdepan dari sistem komputasi perusahaan modern. 

Sementara banyak orang mungkin merasa bahwa mereka tertinggal berada di belakang "wilayah dari seni tersebut" sebagaimana yang mereka baca, kebenarannya adalah proyek-proyek tersebut yang kita terapkan saat ini untuk perusahaan terkemuka dalam ilmu kehidupan, keuangan, Kesehatan, Layanan Internet, dan kedirgantaraan, mereka memiliki banyak kesamaan antara satu dengan yang lain, dan mungkin bahkan dengan lingkungan komputasi milik Anda.

Itulah kebenaran yang terjadi saat ini. Sementara itu, kita terus-menerus melihat Buzzwords di media teknologi, yang bekerja sebagai penulis perjuangan untuk membantu semua orang memahami apa yang terjadi di luar sana mengenai big data maupun business intelligence. 


Big Data vs Business Intelligence


Big data (BD) dan Business Intelligence (BI)  dapat berbicara mengenai banyak informasi namun masih banyak orang tidak jelas tentang apa yang dimaksud dengan big data ataupun business intelligence. Jadi, mari kita luruskan pemahaman terlebih dahulu dengan melihat tentang apa sebenarnya proyek-proyek tersebut, baik proyek tentang business intelligence system maupun proyek big data analisis. 

Proyek-proyek yang dikerjakan untuk siapa, masalah apa saja yang big data dan business intelligence pecahkan, kesamaan apa saja yang mereka miliki, dan bagaimana mereka bisa berbeda.

Apakah Sebenarnya Big Data itu dan Bagaimana Trend Big Data Ke Depan?

Seorang analis terkemuka di tim data Gartner, yang terkenal mendefinisikan big data adalah data yang memiliki volume, kecepatan, dan variasi (volume, velocity dan Variety / 3V).

big data - volume - velocity - variety
sumber : datasciencecentral.com

Saat ini data mentah yang tersedia untuk kita olah memiliki volume yang sudah tidak dapat diantisipasi, karena sumber big data tersebut berasal dari hampir setiap obyek dan tindakan di dalam suatu perusahaan yang dilacak dan dicatat

Sebagai gambaran, ada sebuah group rumah sakit ternama bagaimana mereka menggambarkan banyaknya data yang dihasilkan, dimana perangkat medis yang berjumlah 22.000 buah membuat atau mencatatkan log data sepanjang waktu.

Kita bisa membayangkan seberapa besar volume informasi yang didapatkan. Bagaimana cara kita memindahkan data-data tersebut, apakah membiarkan nya ataukah menyimpannya. Bagaimana orang bisa memahami hal ini.

Penambahan datanya pun terjadi secara stream tiada henti dari node data baru, datang dengan kecepatan tinggi dan terus menambahkan datanya terus menerus.

Di sadur dari situs fpcomplete diketahui bahwa pendiri analisis keuangan perusahaan OTAS yang saat ini menjadi seorang eksekutif liquidnet mengatakan banyak saham analis yang menggunakan system mereka untuk mengatur jutaan titik data baru yang muncul setiap hari dari beberapa pasar saham.

Kelihatannya cukup sulit bukan ? Kemudian anda menambahkan berbagai sumber big data yang relevan untuk membuat keputusan yang baik. Pekerjaan ini dapat berfokus pada pengorganisasian penelitian yang luas dan kolaborasi big data analytics yang bisa menghasilkan informasi untuk dimasukkan ke dalam keputusan utama untuk level management dan sebagainya.

Bagaimana Anda memilih tindakan ketika ternyata ada data penting dalam selusin format yang berbeda, pada berbagai server yang berbeda, di belakang berbagai API dan address yang berbeda-beda pula?

Big data adalah skenario yang paling "berhati-hati dengan apa yang anda inginkan". Apakah Anda ingin tahu apa yang sedang terjadi? 

Oke, sekarang apa yang akan Anda lakukan jika Anda tahu hampir segala sesuatu nya terjadi? Ini seperti membeli output harian dari tambang emas. Tanpa ada bantuan manusia, tanpa bantuan mesin besar, namun anda diharuskan dapat mengekstrak sebagian besar harta bernilai dari biji emas.

Lalu Apakah yang Dimaksud dengan Business Intelligence System?

Ide business intelligence ini sebenarnya mendahului komputer, tetapi dibuat jauh lebih penting dan lebih berguna dengan jumlah data yang besar (big data) yang kita miliki sekarang. Business Intelligence (BI) adalah sistem untuk membuat keputusan yang lebih baik melalui sistem pendukung keputusan yang lebih baik.

Sistem ini dapat sesederhana pelaporan dan charting Software, atau yang rumit seperti pembelajaran mesain / machine learning dan artificial intelligence / kecerdasan buatan. Dan business intelligence system ini bergantung pada aliran input data terorganisir yang bahkan tidak harus menjadi "besar" namun menjadi sangat berguna. Biasanya output ditampilkan dalam bentuk dashboard business intelligence.

dashboard business intelligence, big data analytics, big data analisis, business intelligence system
sumber : pinterest.com


Bahkan, banyak BI melibatkan kecerobohan dari kompleksitas data mentah, membawanya ke tool business intelligence yang dapat digunakan manusia seperti dashboard, metrik, dan deteksi pengecualian. Banyak sistem hierarki BI menyajikan pengambil keputusan dengan ringkasan situasi saat ini, dan fitur untuk menyaring atau menjelajahi data untuk mempelajari lebih lanjut tentang setiap bagian informasi dari data yang tersedia.

Dikutip dari fpcomplete juga, Seattle Cancer Care Alliance misalnya, menyediakan perawatan penyelamatan jiwa di beberapa lembaga terkemuka perawatan kanker. Dari awal, mereka memberikan perawatan yang luar biasa untuk banyak pasien besar. 

Tapi Bukankah itu akan lebih menarik untuk terus-menerus belajar dari hasil semua perawatan ini, untuk melihat mana terapi yang bekerja terbaik untuk jenis-jenis kasus yang ada dan kemudian menggunakan pengetahuan ini untuk memberikan kursus terbaik perawatan untuk setiap pasien pada masa depan?

Sementara analisis tipikal mungkin hanya melibatkan ribuan pasien secara total, hampir tidak cukup untuk terdengar seperti Big Data meskipun kaliber wawasan yang harus diberikan sangat tinggi.

Untuk contoh yang sangat berbeda, pertimbangkan proyek perusahaan manufaktur multi-miliar dolar. Seperti yang khas hari ini, mesin mahal besar mereka memiliki komputer di papan yang terus-menerus menghasilkan log ketika mereka bekerja. 

Tapi banyaknya data yang tergenerate ini hanya masuk ke tempat penyimpanan data, dengan tidak ada yang melihat sebagian besar log data tersebut. 

Apa yang mereka inginkan adalah untuk memahami penyebab utama kerusakan dan downtime, dan secara bertahap menghilangkan nya, melalui analisis offline untuk menemukan praktik terbaik untuk pemeliharaan, dan analisa singkat secara real-time untuk meningkatkan rencana operasi selama hari kerja akan membuat operator mereka berubah menjadi operator super yang dibantu komputer. 

Itulah business intellligence, mengubah data yang tersedia menjadi informasi untuk pengambilan keputusan yang lebih baik.

Bagaimana Saya Bisa Mendapatkan Keduanya baik Big Data maupun Business Intelligence?

Seperti yang mungkin sudah Anda duga, pendekatan Big Data dan Business Intelligence tidaklah bersaing. Big data dan business intelligence adalah Arcithecture IT yang bermain baik secara bersama-sama, dengan Business Intelligence sebagai bagian lapisan di atas Big data.

Berikut ini merupakan gambaran architecture business intelligence dengan penggunaan big data dan memanfaatkan penggabungan antara pentaho dan hadoop. Sehingga bisa dikatakan akan memberikan hasil berupa tool big data analytics (big data analisis).

architecture business intelligence dengan penggunaan big data, big data tools, aplikasi big data
sumber : pinterest.com


Kami menemukan bahwa sebagian besar perusahaan sudah memiliki organisasi TI yang baik di tempat mereka, dengan keterampilan untuk mengembangkan perangkat lunak baru ketika diperlukan, dan untuk mengintegrasikan tool komersial yang ada (COTS) bila tersedia. 

Masalahnya, sering tidak tersedia nya bangunan blok. Siapapun dapat memperoleh atau menulis program untuk memasukkan tabel data dan grafik, atau menghitung subtotal. Masalahnya adalah bagaimana menempatkan blok bangunan ini bersama-sama, dan terutama, bagaimana untuk meningkatkan solusi sepele untuk skala produksi yang besar.

Kita dapat memecah pekerjaan Big Data dan Business Intelligence menjadi tiga bagian yang dapat dilakukan yaitu: arsitektur aplikasi DevOps, DataOps, dan Cloud.

DevOps adalah istilah jargon lain dalam penggunaan system secara konstan. Ini berarti rekayasa yang terjadi setelah Anda menulis beberapa kode tapi sebelum pengguna akhir menerima hasil akhir di layar.

Devops adalah seperangkat alat dan praktik terbaik untuk penskalaan: dari analisis data yang berjalan
sumber : google


Devops adalah seperangkat alat dan praktik terbaik untuk penskalaan: dari analisis data yang berjalan satu kali, pada satu mesin pengguna, ke sistem yang berjalan sepanjang waktu, pada sistem berbasis cloud yang andal dan terukur serta aman, untuk mendukung semua orang yang membutuhkan jawabannya. 

Jika Anda masih menggunakan proses manual dan misterius bisa dibilang sebagai "IT Wizards" untuk meningkatkan analisis Anda dari laptop ke pusat data, Anda tidak akan mencapai skala Big data atau mencapai bentuk Business Intelligence. 

DevOps adalah seperangkat teknik dan teknologi yang telah terbukti digunakan untuk integrasi, penyebaran, scale-up, dan operasi berkesinambungan.

DataOps adalah konsep yang lebih baru yaitu merupakan "DevOps untuk data." Sama seperti berbagai tool yang bisa membersihkan dan meningkatkan aplikasi analitik Anda, seperangkat tool secara paralel dapat membersihkan dan meningkatkan data aktual Anda. 

DataOps mencakup pembersihan data, pembuatan skema, penyimpanan dan replikasi, warehouse dan repositori, manajemen metadata
sumber : medium.com


DataOps mencakup pembersihan data, pembuatan skema, penyimpanan dan replikasi, warehouse dan repositori, manajemen metadata, manajemen versi, penyediaan API yang seragam, keamanan dan pemantauan semua alat dan proses untuk mengubah "tumpukan" data menjadi "pabrik jawaban" yang mampu menanggapi permintaan yang masuk akal, dan terus menelan dan menggabungkan aliran data terbaru.

Arsitektur aplikasi Cloud berarti merancang sistem terdistribusi Anda baik itu server, aplikasi, alat, proses kerja, pekerjaan, dan aliran data ke dalam keseluruhan system yang masuk akal. 

Arsitektur aplikasi Cloud berarti merancang sistem terdistribusi
sumber : researchgate.net

Hari ini, hampir tidak ada yang harus merancang sebuah sistem TI baru besar dari awal. Jika perusahaan anda sebagian besar menulis kode perangkat lunak yang sama sekali baru dan memulai dari layar kosong, maka anda akan membuang-buang pekerjaan dan kehilangan waktu. 

Memahami praktik terbaik dan arsitektur TI yang ada, serta memilih komponen dari inventaris yang ada, biasanya akan membuat Anda berhemat 80% dari jalan menuju solusi yang baik. Reuse akan membuat semua perbedaan! Fitur cloud dan terdistribusi (distributed), arsitektur berorientasi layanan membuat membangun blok data dengan gaya pembangunan produktif dan cepat. 

Arsitektur yang tahan bug, dengan pemisahan tanggung jawab yang jelas, akan memungkinkan Anda untuk memecah sistem TI Anda menjadi beberapa bagian. Sebagian besar tidak perlu lagi ditulis dari awal dan masing-masing maintainable pada jadwalnya sendiri.

Apakah Big Data Ataupun Business Intelligence Realistis untuk Anda Harapkan ?

Kabar baiknya adalah bahwa Big data bukanlah proposisi secara keseluruhan, dan demikian juga dengan business intelligence. Anda dapat membuat kemajuan secara bertahap pada keduanya, yang persis seperti apa yang kita inginkan terhadap client untuk dilakukan.

Tahap 1 

Akan menjadikan Business Intelligence dengan porsi yang terbatas dari data Anda yang sudah dalam kondisi baik. Ini cukup mudah untuk membuat solusi TI baru (bukan berarti bahwa ini adalah aplikasi baru), karena solusi ini akan menggunakan kode yang sudah ada untuk banyak pekerjaan yang akan menjawab apa pun yang Anda rasakan dan menjadi pertanyaan anda terhadap data yang anda gunakan.

Anda mungkin saja sudah melakukan beberapa hal tersebut, bahkan tanpa menyebutnya sebagai business intelligence. Sebagian besar perusahaan tinggal di tahap 1 selama bertahun-tahun, tidak pernah benar-benar mendapatkan jawaban yang mereka inginkan terhadap data yang mereka miliki, tapi setidaknya menjawab beberapa pertanyaan penting dengan sistem tersebut.

Tahap 2 

Akan menjadi DevOps dasar; mengubah pekerjaan TI Anda menjadi pabrik TI, di mana setiap analisis yang bertujuan untuk " seseorang " dapat diubah menjadi analisis yang bertujuan untuk " semua orang, sepanjang waktu ", maintainably, direproduksi, andal, scalable, dan aman. 

Kemungkinan langkah di sini termasuk version control, integrasi terus-menerus, penyebaran berkelanjutan, pengujian otomatis, skalabilitas awan (cloud), pemantauan sistem, dan mungkin audit keamanan. Dengan banyak hal ini dilaksanakan, Anda akan melihat produktivitas BI Anda bekerja, dengan solusi online baru yang dilakukan secara teratur dan dapat diprediksi.

Tahap 3 

Akan menjadi dasar DataOps, diluncurkan ketika Anda dengan cepat menemukan bahwa pertanyaan yang Anda inginkan untuk dijawab memerlukan data yang "berada di suatu tempat" akan tetapi belum terorganisir. 

Anda dapat mengharapkan untuk melakukan inventarisasi dari banyak data formal dan informal, seperti apa format data tersebut, bagaimana data-data tersebut tiba, seberapa akurat mereka, dan bagaimana mereka diakses. 

Satu set sistem otomatis akan dibentuk untuk menyaring, mengoreksi, atau "membersihkan" data yang datang ini, dan kemudian membuatnya tersedia pada “kekuatan penuh”, biasanya berbasis cloud, server data terdistribusi. 

Satu set metadata atau "daftar isi" akan disiapkan untuk membantu tim Anda menemukan dan memanfaatkan sumber data yang diperlukan untuk menjawab kueri tertentu. Sumber data kemungkinan akan selalu menjadi Federasi, dengan tidak ada satu format untuk diterapkan pada semua, dan dengan perbedaan layanan pada process cloud. 

Dengan menerapkan DataOps, Anda dapat memperkirakan untuk menjelaskan pertanyaan yang masuk akal tentang "apa yang sebenarnya terjadi," dan jika data tersebut ada di suatu tempat, sistem yang menjawab pertanyaan Anda akan memungkinkan untuk bekerja.

Pada Akhirnya Perbedaan antara Big data dan Business Intelligence akan memudar

Pada akhirnya kita akan menemukan bahwa penguasaan aliran data lebih dan lebih terfokus untuk setiap industri untuk keperluan big data analytics. 

Apakah Anda berada dalam teknologi keuangan (FinTech), kedirgantaraan, ilmu hayati, atau perawatan kesehatan, dunia Anda cenderung terlihat lebih dan lebih seperti dunia layanan internet yang aman dan komputasi awan. Orang di setiap industri memberitahu kita bahwa ini adalah di mana mereka akan sampai dan mereka lakukan.

Sebagai otomatisasi yang meningkat, Big data akan menjadi norma, dan pada akhirnya kita akan segera hanya menyebutnya sebagai data. Sama seperti DevOps menjadi norma untuk kelompok TI yang inovatif, maka akan ada juga yang namanya DataOps. 

Departemen TI akan lebih dan lebih menyerupai dua sisi "ritsleting," dengan adanya peningkatan dalam hal input data maka akan semakin meningkatkan input perangkat lunak, menjadi semakin meningkatkan solusi online yang berjalan di data center mereka dan di cloud.

Ini akan menjadi jalan panjang trend big data dan business intelligence, tapi secara realistis kita dapat berharap untuk masa depan di mana setiap pertanyaan yang Anda miliki tentang operasi Anda, pelanggan Anda, pasien Anda, penelitian Anda, dapat dijawab dengan data nyata yang handal, direproduksi, dan tersedia sepanjang waktu.

Mungkin anda juga menyukai artikel berikut ini :
Bagaimana Mungkin Big Data Bisa Merubah Dunia
Infrastruktur Big Data Itu Sebenarnya Seperti Apa
Top Tools Open Source untuk Big Data



Refference :
fpcomplete.com
#bigdataadalah
#bigdataanalyticsadalah
#bigdataanalisis
#businessintelligenceadalah
#businessintelligencesystemadalah

Mudah Mengetahui Apa yang Dimaksud Dengan Data Management - Dengan menggunakan solusi business intelligence (BI) dengan maksimal mungkin saja merupakan kunci untuk tetap bisa kompetitif dalam industri yang berbasiskan data. Namun, apakah organisasi Anda memiliki rencana managemen data yang diperlukan untuk berkembang di pasar global ?

mudah mengetahui apa yang dimaksud dengan data management
background by flickr

Apa sebenarnya yang dimaksud dengan data management (managemen data) ? Kenapa managemen data sangat penting untuk keberlanjutan bisnis suatu perusahaan?

Managemen Data mengacu pada praktek profesional dalam membangun dan memelihara kerangka kerja atau framework untuk mendapatkan, menyimpan, menambang (data mining), dan mengarsipkan Data integral ke bisnis modern. Managemen Data adalah tulang punggung yang menghubungkan semua segmen pada siklus hidup informasi.
Managemen data bekerja secara bersimbiosis dengan management process, memastikan bahwa tindakan yang diambil oleh tim merupakan hasil yang diinformasikan oleh data yang paling bersih dan merupakan data terbaru yang tersedia hari ini. Ini berarti process managemen data ini mampu melacak perubahan dan tren secara real-time. 

Lalu apa bedanya managemen data dengan managemen database ?


Managemen Data VS Managemen Database


Ada perbedaan antara manajemen data (tentang bagaimana menggunakan data) dan manajemen database (tentang bagaimana menjaga tool yang berjalan). Hal ini bisa juga dianalogikan dengan mobil Anda dan mekanik mobil Anda. 

Sebagai pemilik mobil, Anda tahu bagaimana menggunakannya, dan bagaimana untuk mendapatkan nilai pada kecepatan maksimum yang bisa dilakukan dengan menggunakan mobil tersebut. Anda jugalah yang bisa memutuskan apakah akan berkendara untuk bekerja atau menggunakan transportasi umum. Anda jugalah yang mengetahui apakah akan mengubah arah mobil Anda ke kanan atau kiri untuk sampai ke tujuan Anda.

Di sisi lain, mekanik Anda akan lebih mengetahui bagaimana untuk menjaga mobil Anda berjalan dengan konfigurasi yang paling efisien. Mekanik akan melakukan konfigurasi dan penyetelan dengan perubahan minyak, busi, ikat pinggang, dll, tetapi tidak selalu tahu kegunaan terbaik dari mobil Anda, berdasarkan kebutuhan Anda (pastinya dia memang tidak perlu tahu mobil anda digunakan untuk apa).

Begitu juga dengan database ketika datang untuk menjalankan database, Anda harus memiliki seseorang yang mampu untuk mengelola data (driver) serta seseorang yang bisa mengelola database (mekanik). Ini bukan berarti bahwa hanya satu orang tidak bisa melakukan kedua pekerjaan, tetapi mereka memerlukan keahlian yang berbeda.

Manajer data yang baik memahami bisnis dan misi Perusahaan. Dia memahami jenis program dan layanan yang disediakan Perusahaan, dan bagaimana program dan layanan ini digunakan oleh anggota.  

Yang paling penting, dia mengerti bagaimana data Perusahaan dapat digunakan untuk secara efektif meningkatkan pemasaran dan kegiatan komunikasi, mengidentifikasi peluang baru, dan bagaimana data ini dapat digunakan untuk memajukan misi Perusahaan. Dengan kata lain, manajer data memahami bagaimana menggunakan data untuk mendapatkan informasi yang sesuai dengan kebutuhan management.

Sementara itu, manajer database adalah seorang mekanik. Dia membantu Perusahaan memahami tool dan teknologi yang tersedia untuk membuat database dan teknologi terkait menjadi lebih efektif. Misal perusahaan anda menggunakan database oracle 11g atau database oracle 12c, maka manager database perlu tool untuk melakukan administrasi database oracle tersebut.

Dia tahu cara yang paling efisien untuk mengekstrak data dari database, bagaimana sistem yang berbeda harus diintegrasikan, dan apa proses terbaik untuk mengelola data dalam database. Manajer database harus memahami misi organisasi, tetapi tidak harus tahu di mana Anda akan melakukan pekerjaan yang paling efektif.

Keahlian ini unik, dan menemukan satu individu yang memiliki kemampuan keduanya mungkin saja terjadi, tetapi tidak biasa. Idealnya, Anda akan memiliki dua orang staff untuk menangani setiap fungsi. 

Jadi pertanyaan alaminya adalah: jika saya hanya bisa memiliki salah satu dari kemampuan tersebut, maka manakah yang harus saya miliki? Jawabannya, saya pikir, mudah. 

Apakah Anda memerlukan driver, atau mekanik? Jika Anda memiliki mobil model akhir, kebutuhan Anda untuk mekanik tentunya menjadi tidak begitu penting karena masih sangat langka dan tentunya mobil anda masih bisa dikatakan belum memerlukan sentuhan keahlian mekanik. 

Dengan demikian, jika Anda memiliki cukup baik sistem manajemen Perusahaan yang dibangun, Anda tidak perlu manajer database, tetapi jika Anda akan mendapatkan ada banyak data, maka Anda perlu driver.

Di bawah ini kita akan melihat lebih dalam pada praktek, manfaat dan tantangan managemen data, dan praktik terbaik untuk membantu organisasi Anda dalam mendapatkan sebagian besar informasi dari solusi business intelligence..


7 Jenis Managemen Data 

Ahli data management umumnya berfokus pada spesialisasi dalam satu bidang. Sementara itu ada beberapa spesialisasi bidang dalam managemen data. Kita coba untuk membahas 7 jenis management data, meskipun menurut DAMA BOK (Body of Knowledge) ada lebih banyak lagi jenis managemen data. Dalam tulisan yang lain akan kita coba bahas mengenai DAMA BOK (Data Management Body of Knowledge).

Spesialisasi bidang managemen data ini antara lain adalah sebagai berikut : 

1. Master Data Management 

Master Data Management (MDM) adalah proses untuk memastikan organisasi selalu bekerja sama dan membuat keputusan berdasarkan satu versi informasi terkini yang dipercaya sudah valid dan benar. 

MDM mendapatkan data dari semua sumber yang Anda miliki dan menyajikannya sebagai satu sumber saja yang dapat diandalkan secara konstan, serta mampu melakukan repropagasi data ke dalam sistem yang berbeda, maka dari itu tentunya dibutuhkan tool yang tepat untuk mendapatkan data dari berbagai sumber, dikarenakan tentunya akan banyak perbedaan format dan type data dari beragamnya sumber data yang akan diambil.

2. Data Processing

Server data tidak mengembangkan kebijakan pengelolaan informasi, tetapi sebaliknya mengerahkan dan memberlakukan pengelolaan informasi di seluruh perusahaan. Sesuai namanya, ada yang namanya data steward yang bertugas mengawasi kebijakan pengumpulan dan pergerakan data, memastikan praktik managemen data telah diterapkan dan aturan telah diberlakukan.

3. Data Quality Management

Jika Data Steward adalah semacam digital Sheriff, manajer data quality mungkin bisa kita anggap sebagai petugas pengadilan nya. Manajemen kualitas bertanggung jawab untuk menyisir data yang dikumpulkan untuk masalah mendasar seperti adanya duplikasi informasi, versi yang tidak konsisten, dan banyak lagi. Data Quality Management mendukung sistem manajemen data sesuai dengan rule dan ketetapan nya..

4. Data Security

Salah satu aspek terpenting dari manajemen data saat ini adalah keamanan. Meskipun praktik yang muncul seperti DevSecOps menggabungkan pertimbangan keamanan di setiap tingkat pengembangan aplikasi dan pertukaran data, spesialis keamanan masih dibutuhkan untuk bertugas dengan manajemen enkripsi, mencegah akses yang tidak sah, menjaga terhadap gerakan atau penghapusan yang tidak disengaja, dan kesalahan-kesalahan yang bisa terjadi di garis depan lainnya.

5. Data Governance 

Tata kelola data (data governance) menetapkan hukum untuk status informasi perusahaan. Kerangka kerja data governance adalah seperti Konstitusi yang secara jelas menguraikan kebijakan untuk asupan, aliran, dan perlindungan informasi kelembagaan. Data governance mengawasi jaringan stewards mereka, quality management professional, tim keamanan, dan aspek lain dari sisi operasi dalam meraih kebijakan tata kelola yang melayani pendekatan Master Data Management.

6. Big Data Management

Big data adalah istilah yang digunakan untuk menggambarkan pengumpulan, analisis, dan menggunakan sejumlah besar informasi digital untuk meningkatkan operasi.

Dalam istilah yang luas, bidang managemen data yang satu ini mengkhususkan diri pada inputan, integritas, dan penyimpanan gelombang data mentah yang berfokus pada manajemen lain untuk digunakan dalam meningkatkan operasi dan keamanan, serta menampilkan informasi dalam business intelligence.

Mau tahu lebih jelas tentang apa itu big data? Langsung saja anda baca mengenai apa itu big data sebenar nya.

Untuk mengolah big data memiliki tantangan tersendiri. Apa saja tantangan yang dihadapi dalam mengolah big data? Anda bisa mencari tahu apa saja tantangan untuk mengolag big data.

7. Data Warehouse 

Informasi adalah seperti halnya blok bangunan bisnis modern. Banyaknya informasi tentunya akan memberikan tantangan yang jelas: apa yang kita lakukan dengan semua blok bangunan data ini? Manajemen data warehouse menyediakan dan mengawasi infrastruktur berbasis fisik dan/atau Cloud untuk menggabungkan data mentah dan menganalisisnya secara mendalam untuk menghasilkan wawasan bisnis.

Kebutuhan unik organisasi apa pun yang mempraktikkan manajemen data mungkin memerlukan perpaduan beberapa atau semua pendekatan ini. Keakraban dengan bidang manajemen data yang menyediakan pengelola dengan latar belakang yang mereka butuhkan untuk membangun solusi yang disesuaikan untuk lingkungan mereka.

Manfaat Managemen Data

Manajemen data membantu organisasi mengidentifikasi dan menyelesaikan titik permasalahan yang ada di internal dan memberikan pengalaman pelanggan / user yang lebih baik.

Pertama, manajemen data menyediakan bisnis dengan cara mengukur jumlah data dalam melakukan proses data. 

Segudang interaksi bisnis apa pun terjadi di latar belakang - antara infrastruktur jaringan, aplikasi perangkat lunak, api, protokol keamanan, dan banyak lagi - dan masing-masing menyajikan potensi kesalahan (atau bom waktu) untuk operasi jika terjadi kesalahan. 

Manajemen data memberikan gambaran besar kepada manajer tentang bisnis, yang membantu dengan perspektif dan perencanaan.

Setelah melalui managemen data, maka data tersebut dapat ditambang untuk dijadikan informasi emas: untuk hal ini dalam bentuk informasi pada business intelligence. Hal ini membantu organisasi dalam berbagai cara, termasuk di dalamnya adalah :

  • Iklan cerdas yang menargetkan pelanggan sesuai dengan minat dan interaksi mereka.
  • Keamanan holistik yang melindungi informasi penting.
  • Keselarasan dengan standar kepatuhan yang relevan, menghemat waktu dan uang.
  • Machine learning yang tumbuh lebih sadar lingkungan seiring berjalannya waktu, menggerakkan perbaikan otomatis dan berkesinambungan.
  • Mengurangi biaya operasi melalui pemanfaatan data. Hanya penyimpanan yang diperlukan dan daya komputasi yang diperlukan untuk kinerja yang optimal.


Konsumen dan pembeli mendapatkan keuntungan dari manajemen data yang baik juga. Dengan mempelajari preferensi dan kebiasaan berbelanja mereka, bisnis dapat menawarkan kepada pelanggan akses yang lebih cepat ke informasi yang mereka inginkan. 

Pelanggan dan prospek dapat menikmati pengalaman belanja yang disesuaikan, dan percaya bahwa informasi pribadi dan pembayaran disimpan dengan aman, membuat proses pembelian menjadi mudah.

Hari ini, pengecer tingkat atas seperti Office Depot memanfaatkan manajemen data ke dalam siklus penjualan yang mengukur belanja, membeli, dan mengatur pengiriman dalam hitungan detik, memuaskan permintaan pelanggan dan melakukan proses near real-time. Semua itu didukung oleh manajemen data yang baik.

Dalam dunia e-commerce pemanfaatan managemen data juga sangat tinggi, contohnya seperti tokopedia, bukalapak, shopee, dll. Dimana di dalam system tersebut anda bisa mengukur belanja, membeli, melakukan pembayaran dan mengatur pengiriman dalam hitungan menit dengan cukup dilakukan dari smartphone anda.

Tantangan Manajemen Data

Semua manfaat managemen data tersebut tentunya tidak datang begitu saja tanpa adanya tantangan dan kesulitan. Ibaratnya tidak mungkin anda ada di atas bukit tanpa anda memanjatnya. Lanskap teknologi informasi yang terus bertambah dan bergulir senantiasa berubah, dan Manajer data akan menghadapi banyak tantangan di sepanjang jalan.


Ada empat tantangan utama pada manajemen data yaitu untuk mengantisipasi:

Jumlah data (setidaknya untuk sementara) yang luar biasa. Sulit untuk melebih-lebihkan volume data yang harus berada di bawah manajemen dalam bisnis modern, jadi, ketika mengembangkan sistem dan proses, bersiaplah untuk berpikir besar. Sangat besar. 

Layanan pihak ketiga dapat digunakan khusus untuk mengintegrasikan data besar atau menyediakan berbagai patform untuk mendukung managemen data di perusahaan anda .

Banyak data silo antar organisasi. Tim pengembangan dapat bekerja dari satu set data, tim penjualan dari data yang lain, tim operasi juga ternyata bekerja berdasarkan data yang lain, dan sebagainya. 

Padahal informasi yang disampaikan di setiap organisasi tersebut sama. Sementara, manajemen data modern bergantung pada akses ke semua informasi ini untuk mengembangkan kecerdasan bisnis modern. 

Layanan platform data real-time membantu streaming dan berbagi informasi yang sudah bersih antar-tim dari satu sumber data yang terpercaya.

Perjalanan dari data yang tidak terstruktur menjadi data yang terstruktur bisa saja terdapat kendala dan rintangan serta “jurang yang curam”. Data sering dikirimkan ke dalam organisasi dengan cara yang tidak terstruktur. 

Sebelum dapat digunakan untuk menghasilkan kecerdasan Bisnis, persiapan data yang harus dilakukan: data harus diatur, de-redundant, dan jika tidak ' dibersihkan. ' 

Manajer data sering kali bergantung pada kemitraan pihak ketiga untuk membantu proses ini, menggunakan tool yang dirancang untuk environment internal, Cloud, atau hibrid. Tool yang bisa anda gunakan antara lain ada Pentaho Data Integration, Talend Data Integration, atau tool yang berbayar.

Bagaimana cara kita mengelola budaya sangat penting dan berpengaruh dalam mengelola data. Semua proses dan sistem di dunia hanya menghasilkan sedikit yang baik dan bagus, jika orang tidak mengetahui bagaimana cara mengelola data mungkin sama juga pentingnya dengan untuk apa data tersebut digunakan. 

Dengan membuat anggota tim menyadari manfaat manajemen data (dan potensi perangkap dari mengabaikan proses dalam managemen data), maka disinilah pentingnya manajer data terlibat dalam anggota tim sebagai bagian penting dari proses informasi itu sendiri.

Tantangan ini dan juga tantangan-tangan lainnya berdiri antara berbisnis dengan cara lama dan memanfaatkan kekuatan data untuk kecerdasan bisnis. 

Tetapi dengan perencanaan yang tepat, praktek, dan mitra, teknologi seperti percepatan machine learning dapat mengubah titik-sudut wawasan bisnis yang lebih mendalam dan pengalaman pelanggan yang lebih baik


3 Praktik Terbaik Dalam Manajemen Data

Meskipun kebutuhan data spesifik bersifat unik untuk setiap organisasi, menyiapkan kerangka kerja akan memperlancar jalur untuk pengelolaan data yang lebih mudah dan efektif. Praktik terbaik seperti di bawah ini adalah kunci untuk strategi managemen data yang sukses.

1. Buatlah Sebuah Rencana

Mengembangkan dan menulis rencana manajemen data (DMP/Data Management Planning). Bagan dokumen ini memperkirakan penggunaan data, panduan aksesibilitas, pendekatan pengarsipan, kepemilikan, dan lainnya. Sebuah DMP berfungsi baik sebagai referensi dan catatan hidup, dan akan direvisi sebagai perubahan kondisi.

Selain itu, DMP menyajikan strategi organisasi menyeluruh untuk manajemen data kepada investor, auditor, dan pihak yang terlibat lainnya, yang merupakan wawasan penting tentang kesiapan perusahaan untuk memasuki pasar modern.

DMP terbaik mendefinisikan rincian granular, termasuk:

  • Format file pilihan
  • Konvensi penamaan
  • Parameter akses untuk berbagai pemangku kepentingan
  • Proses pencadangan/backup dan pengarsipan
  • Mitra yang ditetapkan dan syarat dan layanan yang mereka sediakan
  • Dokumentasi menyeluruh
  • Ada layanan online yang dapat membantu membuat DMP dengan menyediakan panduan langkah demi langkah untuk membuat rencana dari template.


2. Simpan Data Anda

Di antara rincian granular yang disebutkan di atas, pendekatan penyimpanan data yang solid adalah pusat manajemen data yang baik. Ini dimulai dengan menentukan apakah kebutuhan penyimpanan Anda paling sesuai dengan data warehouse atau data Lake (atau keduanya), dan apakah data perusahaan berada di lokasi internal atau di Cloud.

Kemudian, garis besar yang konsisten, dan ditegakkan, persetujuan untuk penamaan file, folder, direktori, pengguna, dan banyak lagi. Ini adalah bagian mendasar dari manajemen data, karena parameter ini akan menentukan cara menyimpan semua data di masa mendatang, dan inkonsistensi data akan menghasilkan kesalahan dan kecerdasan yang tidak lengkap.

Keamanan dan pencadangan
Data yang tidak aman berbahaya, sehingga keamanan harus diperhatikan pada setiap lapisan. Beberapa organisasi berada di bawah beban peraturan khusus seperti HIPPA, CIPA, GDPR, dan lain-lain, yang menambahkan persyaratan keamanan tambahan seperti audit periodik.

Ketika keamanan gagal, rencana cadangan dapat menjadi perbedaan antara kehidupan dan kematian bisnis. Model tradisional menyerukan tiga salinan dari semua data penting: asli, salinan lokal disimpan, dan salinan terpencil. Namun model awan yang muncul termasuk duplikasi data terdesentralisasi, dengan lebih banyak opsi pencadangan yang tersedia dengan biaya penyimpanan dan transfer yang semakin terjangkau.

Dokumentasi adalah kuncinya
Jika penting, maka dokumentasikan. Jika terjadi perpecahan di dalam tim dan mereka lari ke Jamaika, teliti, dokumentasi yang dapat dibaca menguraikan keamanan dan prosedur backup memberikan tim berikutnya kesempatan untuk melanjutkan pertempuran tepat dimana mereka meninggalkannya.

Tanpa adanya dokumentasi, pengetahuan akan tinggal secara eksklusif dan hanya dipegang oleh tim awal, yang mungkin atau tidak mungkin menjadi bagian dari pendekatan manajemen data jangka panjang.

Penyimpanan data berubah secepat teknologi yang menuntut, sehingga setiap pendekatan harus fleksibel dan memiliki pendekatan pengarsipan yang wajar untuk menjaga biaya tetap terkendali.

3. Bagikan Data Anda

Setelah semua rencana diletakkan untuk menyimpan, mengamankan, dan mendokumentasikan data Anda, Anda harus memulai proses berbagi dengan orang yang tepat.

Beberapa pertanyaan penting untuk dijawab sebelum orang lain mengakses informasi yang berpotensi penting:
  • Siapa pemilik datanya?
  • Bisakah itu disalin?
  • Apakah semua orang yang berkontribusi terhadap data itu setuju untuk berbagi dengan orang lain?
  • Siapa yang dapat mengaksesnya dan pada waktu apa?
  • Apakah ada hak cipta, rahasia perusahaan, hak milik intelektual, atau informasi terlarang lainnya dalam kumpulan data?
  • Apa lagi yang diungkapkan oleh data organisasi tentang dirinya sendiri?


Dengan jawaban pertanyaan-pertanyaan tersebut dan pertanyaan lainnya dijawab, saatnya untuk menemukan tempat dan sarana untuk berbagi data. Tempat berbagai data tersebut bisa disebut repositori, peran ini semakin diisi oleh perangkat lunak dan infrastruktur sebagai model layanan yang baik digunakan untuk manajemen big data.

Perangkat Lunak Manajemen Data-AS-a-Service

Platform manajemen dan integrasi data terdepan di industri seperti talend dan pentaho misalnya menyediakan cara terpadu untuk bergerak dan mengelola semua operasi data, mulai dari pembuatan kode hingga penyimpanan Arsip. 

Dengan memvisualisasikan tugas coding yang kompleks, bekerja dari template yang mudah digunakan, mengelola pertimbangan kepatuhan, dan banyak lagi, kecepatan perangkat lunak manajemen data dan menyederhanakan yang rumit, dan membawa seluruh gambar organisasi ke lampu pada satu panel kaca.

Dengan 24/7 uptime, keandalan industri terkemuka, dan kurva belajar yang lebih sederhana, Layanan seperti talend memberikan Manajer data, kontrol yang lebih besar untuk biaya lebih sedikit-dalam waktu dan dolar nyata-daripada pendekatan yang dibangun sepenuhnya di rumah.

Memulai Dengan Manajemen Data

Data besar memiliki implikasi untuk bisnis di hampir setiap industri. Karena terus menjadi lebih dan lebih penting untuk pembuatan keputusan real-time-menjaga organisasi kompetitif dan pelanggan terlibat-mengelola semua data yang menjadi lebih dan lebih penting juga.

Untuk mengatasi tantangan tersebut, maka anda bisa menggunakan tool yang gratisan sampai dengan tool yang berbayar dengan harga yang selangit, seperti SAP atau SAS misalnya. 

Untuk mempelajari lebih lanjut tentang bagaimana tool-tool ini dapat membantu dengan tantangan manajemen data dan managemen big data pada environment perusahaan anda dan mulai memberikan kecerdasan bisnis penting, cobalah untuk mulai meng explore tool-tool tersebut.

Khusus untuk menegemen data dengan menggunakan tool open source atau gratisan, anda bisa melakukan explorasi tool talend dan juga tool pentaho.

Anda maih bingung dan bahkan tidak tahu apa yang mesti dilakukan? Ikuti terus tulisan-tulisan mengenai data management, tool pentaho dan tool talend yang Insha Allah akan kami release di blog big data dba ini.

So, mudah-mudahan bacaan ini bisa membantu anda untuk memahami apa itu managemen data, dan bagaimana melakukan managemen data. Apa saja bidang-bidang pekerjaan yang dilakukan pada mangemen data, dan tool apa saja yang bisa kita gunakan untuk menyelesaikan permasalahan seputar managemen data.

Jika tulisan ini bermanfaat untuk anda, silahkan anda share tulisan ini sebanyak-banyaknya. Jika ada yang ingin didiskusikan dan menurut anda perlunya tambahan-tambahan dalam artikel ini, anda bisa mengisikan komentar di kotak komentar yang ada di bawah artikel ini.


#managemendata, #managemendatabase, #dataminingadalah, #customerrelationshipmanagementadalah, #pengertiandatabasemanagementsystem

Refference :
talend[dot]com

Apakah anda sudah pernah mendengar mengenai data silos? Jika ternyata organisasi Anda menderita data silos, maka data warehouse mungkin dapat menjadi solusi tim Anda dengan menggunakan data intengration atau ETL Tools.


mengatasi data silos dengan data warehouse



Lalu, apakah yang dimaksud dengan data silos ?

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi. Menghapus data silos dapat membantu Anda mendapatkan informasi yang tepat pada waktu yang tepat sehingga Anda dapat membuat keputusan yang baik. Dan, Anda dapat menghemat uang dengan mengurangi biaya penyimpanan untuk informasi duplikat.

Jadi data silos ini bisa terjadi karena adanya data yang sama pada organisasi / department yang berbeda, dimana masing-masing bagian tidak dapat melihat data yang sama tersebut yang tersimpan di bagian/department yang lainnya.

Sehingga bisa dikatakan masing-masing department tersebut tidak mengetahui kalau ternyata datanya sama dengan data yang ada di departemen yang lain.

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi.

Lalu bagaimana data Silos terjadi?

Sebagaimana  yang saya baca dari dzone.com, data silos dapat terjadi dikarenakan adanya tiga alasan umum berikut ini :
  1. Budaya Perusahaan
  2. Struktur Organisasi
  3. Teknologi


Kalau kita uraikan dari tiga masalah umum tersebut, maka dapat kita ketahui :

1.  Budaya perusahaan.

Seringkali banyak Departemen di suatu perusahaan yang memiliki data silos antara satu department dengan department yang  lain, terutama di perusahaan besar. 

Terkadang hal ini terjadi karena ada persaingan internal, tetapi seringkali hal itu terjadi karena satu departemen melihat dirinya terpisah dari yang lain dan tidak mempertimbangkan di mana informasi harus dibagi.

2.  Struktur organisasi

Selain dari sebuah organisasi yang secara khusus bekerja untuk mengintegrasikan Departemen yang berbeda, maka akan sangat mudah untuk membangun lapisan hirarki dan manajemen yang dapat menghalangi Departemen dari berbagi informasi.

Dengan adanya lapisan hirarki dan manajemen ini akhirnya menjadi penyebab sulitnya untuk mendapatkan data antara satu departemen dengan department yang lain. Dengan adanya kesulitan procedural hirarki ini akhirnya mengakibatkan masing-masing departemen sering menyimpan data yang sama.

3. Teknologi 

Hal ini bisa terjadi akibat tidak biasa bagi departemen yang berbeda untuk menggunakan teknologi yang berbeda, sehingga sulit bagi suatu Departemen untuk berbagi informasi umum dengan departemen yang lain. 

Misalnya, mungkin tim penjualan menggunakan Salesforce, namun tim pemasaran tidak memiliki tool ini. Akan tetapi, ada kemungkinan tool tersebut berisi informasi berharga yang seharusnya bisa digunakan oleh team pemasaran. 

Sebuah survei TI menunjukkan bahwa sebagian besar perusahaan memiliki antara 1-200 aplikasi yang berbeda untuk Departemen mereka. Anda bisa bayangkan, betapa beratnya untuk mendapatkan suatu informasi ketika anda memiliki begitu banyak aplikasi yang digunakan dan tentu saja dengan banyaknya sumber data yang berbeda dengan teknologi yang berbeda pula.


Mengapa Data Silos dapat Menjadi  Masalah?

Tentu saja data silos bisa mendatangkan masalah dengan paling tidak adanya 3 faktor berikut ini :


a. Ketidakmampuan untuk mendapatkan pandangan data yang komprehensif.

Jika data Anda ternyata silos, hubungan yang relevan antara data silos dapat dengan mudah dilewatkan. 

Sebagai contoh, misalnya, tim pemasaran memiliki data yang sangat baik di mana kampanye pemasaran menarik banyak perhatian di geografi tertentu, sedangkan tim penjualan memiliki informasi tentang penjualan di geografi yang sama. 

Bagaimana jika ternyata Anda bisa membawa informasi itu bersama-sama? Bayangkan betapa akan terlihat lebih jelas hubungan antara kampanye pemasaran dan penjualan yang dilakukan.


b. Sumber daya yang terbuang.

Pertimbangkan apa yang terjadi jika Anda memiliki database dengan informasi pelanggan untuk tim pemasaran dan ada satu lagi database informasi pelanggan untuk tim penjualan. 
Banyak data diduplikasi antara kedua Departemen ini. Akan banyak membutuhkan uang untuk menyimpan semua data ini, dan semakin banyak data seperti di atas, maka akan semakin sedikit organisasi yang dapat membelanjakan kebutuhan untuk persyaratan lain.


c. Data yang tidak konsisten

Dalam data silos, adalah umum untuk menyimpan informasi yang sama di tempat yang berbeda. Ketika ini terjadi, ada kemungkinan besar bahwa Anda akan memperkenalkan inkonsistensi data. 

Anda dapat memperbarui alamat pelanggan di satu tempat, sementara di tempat yang lain tidak/belum diganti. Atau, Anda mungkin memperkenalkan salah ketik dalam satu kumpulan informasi. 

Namun ketika data hanya berada di satu tempat, Anda akan memiliki kesempatan yang lebih baik untuk menjaga informasi yang benar sehingga validitas data akan terjamin..

Anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration.

Tantangan dalam berurusan dengan data silos

Sementara banyak perusahaan mengakui bahwa data Silos adalah masalah, mengatasi kondisi data silos ini dapat menjadi sebuah tantangan. Setelah Anda memiliki budaya yang berakar dari memisahkan data, itu adalah tantangan untuk mengubah pola pikir karyawan. 

Selain itu, mungkin sulit untuk membatalkan beberapa siloes karena cara kerja sistem diatur dengan berbagai izin dan hierarki. Sebagai contoh, izin sering diatur oleh grup, jadi setelah data silos untuk grup, sulit untuk kemudian mengubah semua izin yang diperlukan. 

Dan jika data yang silos di sistem yang berbeda (misalnya, data untuk grup operasi keamanan disimpan dalam database Oracle, tetapi informasi penjualan di Salesforce), lebih sulit untuk mengatasi data silos tersebut. 

Untuk menyederhanakan proses ini, sebagian besar perusahaan memindahkan datanya dari berbagai sistem ke dalam data warehouse. Data warehouse adalah repositori untuk semua data yang dikumpulkan oleh sistem operasional perusahaan. Data warehouse dioptimalkan untuk akses dan analisis dari pemrosesan transaksional, dan data warehouse tersebut  dirancang untuk membantu manajemen mendapatkan tampilan 360 mengenai data perusahaan mereka.


Cara memecah data Silos

Cara terbaik untuk menghapus data silos adalah dengan menggabungkan data Anda ke dalam data warehouse. Berikut adalah beberapa metode yang berbeda yang mungkin digunakan perusahaan untuk mendapatkan data ke dalam data warehouse:

- Scripting. 
Beberapa perusahaan menggunakan script (ditulis dalam SQL atau Python, dll) untuk menulis kode guna mengekstrak data dan memindahkannya ke lokasi pusat. Namun hal ini bisa memakan waktu namun, dan juga membutuhkan banyak keahlian.

- ETL Tools berbasis premis
ETL Tools (Extract, Transform, load) dapat mengambil banyak “rasa sakit” dari memindahkan data dengan mengotomatisasi proses. Mereka mengekstrak data dari sumber data, melakukan transformasi, dan kemudian memuat data ke data warehouse tujuan. Tools data integration ini biasanya di-host di situs perusahaan Anda.

Beberapa contoh ETL Toos on premis yang anda gunakan antara lain Pentaho Data Integration, Talend Studio

- ETL Tools berbasis Cloud
ETL Tools ini di-host di Cloud, di mana Anda dapat memanfaatkan keahlian dan infrastruktur dari vendor. Mereka biasanya digunakan ketika sebuah perusahaan memutuskan untuk memindahkan data silos ke cloud data warehouse.

Untuk ETL Tools berbasis cloud, anda bisa mencoba fivetran, blendo, stitch, snaplogic, atau matillion

Jadi, anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration. Baik tools data integration ini berbasis premis maupun tools data integration yang berbasis cloud.


Refference :
#datasilos, #datawarehouse, #datasilosadalah

dzone.com

Infrastruktur Big Data itu Seperti Apa - Big Data DBA. Saat mengulas Big Data tentu kita bakal tersadar pada keperluan infrastruktur untuk menyokong teknologi Big Data itu. Dalam infrastruktur teknologi Big Data sendiri mempunyai karakteristik yang tidak sama dengan traditional data, yakni : 

Infrastruktur Big Data itu Seperti Apa










Infrastruktur Big Data itu Seperti Apa

#1.  Sekilas Sejarah Tentang Big Data

Awal mulanya th. 1970-2000 data yang di bangun merupakan data dengan jenis terstruktur serta adalah relational database seperti MySQL, oracle, dan sebagainya. Lantas pada th. 1995 selanjutnya mulai di bangun satu business intelligence yang memakai structured serta relational database dengan sistem seperti cognos, pentaho dan sebagainya. Pada 2010 sampai saat ini di bangun satu sistem yang mempunyai maksud 3V (volume, velocity, varity) atau 4V (ditambah value), serta dengan berbagai teknologinya seperti map reduce, high performance computers cluster dan sebagainya. 

Berarti kegunaan Big Data adalah sisi dari intelijen usaha, Big Data bisa dipakai untuk membuat satu usaha yang mempunyai intelijen manfaat mensupport pengambilan keputusan. Tetapi dalam hal semacam ini ada banyak hal yang tidak sama dari sisi volume yang tidak cuma jumlah data yang banyak, tetapi perkembangan data yang sangatlah cepat hingga dalam rentang waktu yang pendek data bisa bertumbuh dengan amat cepat serta besar (velocity), serta data yang ada mempunyai variasi yang sangatlah banyak (variety) tentu dalam big data sendiri terlebih dalam pembentukan data warehouse telah banyak dikerjakan ekstraksi transform load (ETL) untuk menanggulanggi varietas dari data itu hingga data bisa jadi standard baik dibikin bersih dari beragam noise juga dikerjakan transformasi hingga data tambah lebih sesuai dengan sistem usaha yang ada atau yang tengah jalan untuk organisasi spesifik. 

Business Intelligence yang didalamnya ada pemakaian big data juga memerlukan satu teknologi yang bisa mensupport sistem usaha yang ada di dalam intelijen usaha tersebut, hingga bisa jalan sesuai sama yang diinginkan. Hingga butuh di bangun satu infrastruktur yang pas serta bisa menangani keperluan big data yakni satu diantaranya yaitu sistem pemrosesan data yang amat cepat meskipun diwaktu yang sama data memiliki ukuran besar serta tumbuh dengan cepat. 

Sebagai permasalahan serta tantangan yaitu akusisi data, recording data, ekstraksi, cleaning, anotasi, integrasi, agregasi, representasi, analisa, jenising, interpretasi, serta visualisasi. Big data sendiri mempunyai aplikasi serta fungsi untuk beragam bagian seperti yang telah dijelaskan di atas pada awal mula artikel ini. 

#2. Macam Teknologi Big Data

Ada dua teknologi dalam infrastruktur dalam Big data yakni : 

  1. High Performance Computing Cluster (HPCC) atau bisa dikatakan sebagai Data Analytics Supercomputer (DAS) 
  2. Hadoop Basis (Map Reduced-Based Basis) 

Dari ke-2 pendekatan teknologi itu ada ketidaksamaan yang cukup penting (dari sisi manfaat) serta ada kemiripan dalam sistem yang jalan didalamnya. Kemiripan dari dua teknologi itu yaitu keduanya sama memakai kurang lebih satu computer dalam melakukan sistem penarikan info maupun pemrosesan beragam info atau bahkan juga bisa tampak keduanya memakai rancangan cluster pada arsitektur teknologi yang dipakai. Pada intinya keduanya juga bisa diintegrasikan dengan baik manfaatnya sama-sama mensupport keduanya. 

High Performance Computing Clusters (HPCC) itu sendiri pada intinya dibangun sebagai satu super computer yang terbagi dalam kurang lebih satu computer dengan spesifikasi spesifik (umumnya sama) untuk sama-sama menolong, menyokong, atau membagi pekerjaan keduanya hingga berbarengan bisa lakukan processing pada satu data, terlebih dalam soal pencarian data. Sistem besar yang umumnya jalan sendiri yaitu seperti, Ekstrak, Transform, serta Load, lantas kemudian dikerjakan analisa untuk memperoleh info yang lebih sesuai sama kebuthan usaha organisasi itu. 

Infrastruktur Big Data itu Seperti Apa

Sedang Hadoop Berbasis sendiri adalah satu project teknologi yang di kembangkan oleh apache dalam mengelola data besar hingga tambah lebih efisien serta efektif. Dalam hadoop sendiri terbagi dalam beragam komponen, bahkan juga sampai hadoop sendiri mempunyai distributed file sistem sendiri yang disebut dengan (HDFS). Keunggulan dari dari HDFS itu sendiri yaitu : 


  • Fault tolerance, serta di-deploy untuk low biaya hardware 
  • Write Once, Read many, adalah koherensi simpel, serta ditambah lagi frame-work yang di bangun dalam hadoop saat kita bakal memakai hadoop, memakai teknologi java. 
  • Memindahkan komputasi/sistem lebih cepat dari memindahkan data. 
  • Serupa Google File Sistem, namun HDFS membagi file jadi block dalam cluster node yang terdistribusi. 
  • Core component : master vs slave, name node vs data node, job tracker vs task tracker. 

#3.  Arsitektur Hadoop dan Integrasi antara HPCC dan Hadoop

Berikut ini adalah gambaran dari hadoop Basis : 

Infrastruktur Big Data itu Seperti Apa


Dibawah ini merupakan satu diantara arsitektur integrasi pada HPCC serta Hadoop basis : 

Infrastruktur Big Data itu Seperti Apa


Pada saat itu ada ketidaksamaan System manajemen Basis Data, yang pada intinya basis data mempunyai korelasi antar data yag umumnya kita sebut dengan data yang telah terstruktur atau terorganisasi, serta piranti sistem manajemen basis datanya yang disebut piranti lunak yang bisa dipakai untuk mengelola basis data seperti MySQL, Oracle, PostgreSQL dan sebagainya. Ketika ini ada keperluan lain dari manajemen basis data karenanya ada big data atau jadi System Manajemen Big Data. Berikut yaitu pemicu mengapa ada keperluan Manajemen Big Data itu : 

#4.  DBMS Konvensional Tidak Cukup Untuk Big Data

Tak seluruhnya masalah pemrosesan data bisa dikerjakan lewat cara paling baik memakai traditional relational DBMS. 

DBMS konvensional kurang untuk big data lantaran :
  • Kecepatan akses (gosip volume) 
  • Kesederhanaan set up 
  • Keperluan representasi struktu/skema yang lebih longgar (gosip variety) 
  • Keperluan pengelolaan data yang tidak sama (ACID tak seutuhnya dibutuhkan), missal connectedness. 
  • Keperluan arsitektur terdistribusi (scale out). 


    Hingga di bangun beragam piranti lunak yang bisa menangani keperluan itu tetapi masingmasing teknologi mempunyai karakteristik dalam sistem pemrosesan yang tidak sama, tersebut misalnya : 

    Column Oriented

    • Big table (google), Hbase, Cassandra (Facebook)

    Document Oriented

    • CouchDB, MongoDB

    Graph-Oriented

    • Neo4j, Virtuoso

    Key-value Oriented

    • DynamoDB (Amazon), Riak



      #5.  Perbedaan DBMS Untuk Big Data

      Dari sebagian contoh DBMS di atas itu tampak bahwa ada ketidaksamaan mendasar pada masing DBMS untuk big data itu yaitu pada tujuan dari masing-masing database management sistem. Umumnya sistem untuk manajemen basis data untuk Big Data yang dipakai yaitu NoSQL yang pada awalanya ditujukan oleh beberapa komune yg tidak suka pada pemakaikan SQL juga sebagai “tidak memakai SQL” tetapi saat ini lantaran kesadaran ternyta kita tak bias seutuhnya terlepas pada SQL itu, dirubah jadi “Not Only SQL” (NoSQL). NoSql itu adalah DBMS yang dijelaskan pada awal mulanya (4 point diatas). NoSQL mempunyai ketidaksamaan yaitu database yg tidak berelasi, lantaran tak ada keperluan connectedness yang telah dijelaskan pada awal mulanya, serta umumnya berbentuk terdistribusi serta scale out (dengan cara horizontal). Tidak ada skema spesial hingga lebih longgar pada skema, serta pemakaikan Application Programming Interface yang lebih simpel dalam pemakaian manipulasi atau processing data. Juga mengaplikasikan perinsip BASE, buka ACID. 

      Yang paling populer sendiri untuk teknologi NoSQL itu yaitu Hadoop dengan map reducenya yang pada versus 1.0 serta 2.0 nya mempunyai ketidaksamaan yang cukup penting terlebih dalam jenis frameworknya, yang ke-2 yaitu Document Oriented yang mempunyai rencana hirarki dalam dokumen satu data, serta umumnya dokumen di enkapsulasi serta encoding dalam format standard XML, JSON, YAML, dan sebagainya. Sedang Graph oriented adalah DBMS yang memrepresentasikan jenis data graph, yang menunjukkan keterhubungan antar tiap-tiap data. 

      Dalam sistem mining (datamining) karenanya ada big data itu sendiri cukup menguntungkan lantaran datamining memerlukan data yang banyak hingga membuahkan jenis yang tambah lebih general tetapi mempunyai akurasi yang tinggi. Tetapi karenanya ada big data itu sendiri datamining diwajibkan terima tantangan bagaimanakah lakukan datamining dengan taraf yang sangatlah besar serta terdistribusi dengan juga variety data yang sangatlah variatif. 



      Hingga diinginkan dengan pemakaian infrastruktur teknologi dari Big Data yang pas manfaatnya dan bisa mensupport sistem usaha yang ada jadi tambah lebih baik terlebih dalam sistem pengambilan info, knowledge serta wisdom manfaat mensupport dalam pengambil keputusan disuatu organisasi spesifik baik ini keuntungan / profit ataupun non-profit, baik ini swasta ataupun pemerintah.

      Berdasarkan aturan secara umum, data integration tampaknya seperti topik yang cukup sederhana: kita hanya perlu untuk menggabungkan data yang berasal dari lebih satu sumber data.

      Akan tetapi dalam prakteknya, ternyata data integration bisa menjadi sangat kompleks. Banyak vendor menawarkan array yang memusingkan menggunakan data integration tools yang berbeda dengan berbagai macam kemampuan. 

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus
      Photo by Franki Chamaki on Unsplash

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus


      Perusahaan harus memilih antara data integration tools lokal dan berbasis Internet, single-purpose tools dan platform data integration multi-fungsi, dan data integration tools yang berlicense atau data integration tools yang open source.

      Dan untuk memilih data integration tools yang terbaik, maka kita harus memiliki strategi data integration, serta integrasi data menggunakan kasus-kasus yang masuk akal dari perspektif keuangan.

      Tentu saja, kebutuhan setiap organisasi akan sedikit berbeda, tergantung pada industri mereka, produk, pelanggan, alur kerja dan faktor lainnya. Namun, banyak perusahaan menggunakan data integration untuk tujuan serupa.

      “Kasus penggunaan data integration ini berkisar dari migrasi data untuk sinkronisasi data di beberapa sistem untuk menyediakan pemandangan holistik 360 derajat dari pelanggan.”


      Berikut ini adalah lima dari data integration yang paling umum dengan menggunakan kasus-kasus yang berlaku di berbagai industri:

      Migrasi data ke dalam data warehouse atau Hadoop

      Saat ini, data analytics telah menjadi bagian integral dalam melakukan bisnis. Dalam setiap industri, organisasi menciptakan repositori big data yang mereka harapkan dapat untuk memberikan wawasan berharga.

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus
      Photo by Balázs Kétyi on Unsplash

      Pada kenyataannya, di NewVantage Partners Big Data Executive Survey 2018, ternyata 97.2 persen responden mengatakan bahwa organisasi mereka sudah berinisiatif untuk menggunakan big data atau kecerdasan buatan (AI).

      Tentunya banyak tantangan yang dihadapi dalam mengembangkan bigdata. Apa saja tantangannya ? Anda bisa mencari tahu pada artikel berikut yang membahas tentang apa saja tantangan untuk mengolah big data.

      Namun, sebelum organisasi dapat menjalankan laporan, melakukan analisis atau mendapatkan pengetahuan, mereka pertama kali perlu untuk mengumpulkan semua data mereka ke dalam satu tempat dan mengumpulkan data tersebut dalam format yang tepat untuk analisis.

      Dan ternyata hal tersebut memerlukan data integration.

      Jenis data integration akan tergantung pada jenis repositori data perusahaan dalam ketertarikannya pada penciptaan data tersebut. Banyak organisasi memiliki data warehouse yang mereka gunakan untuk tujuan business intelligence (BI).

      Membuat data repository ini tentunya anda membutuhkan data integration tools yang dapat mengumpulkan data yang relevan dari berbagai aplikasi yang berbeda dan juga berbagai sistem yang berbeda pula.

      Karena data warehouse menyimpan data dalam keadaan terstruktur, data mungkin perlu dibersihkan atau diubah sehingga dalam format yang sama dan serupa seperti data yang lainnya. 

      Misalnya, beberapa aplikasi dapat menyimpan nomor telepon dengan tanda kurung, seperti (123)456-7890, sementara orang lain hanya menggunakan tanda hubung, seperti 123-456-7890. Sebelum sumber data tersebut yang akan disimpan di data warehouse, maka semua nomor telepon tersebut harus memiliki format yang sama.

      Untuk itu, organisasi biasanya menggunakan jenis perangkat lunak data integration yang dikenal sebagai extract, transform, load atau disingkat dengan ETL.

      Perusahaan telah menggunakan banyak tool ETL untuk tujuan ini selama beberapa dekade, dan ini adalah salah satu jenis perangkat lunak data integration yang paling akrab.

      Hari ini, banyak perusahaan memiliki danau data (data lake) yang berada di dalam data warehouse mereka. Danau data yang menyimpan data terstruktur dan data semi-terstruktur yang berbeda dengan data terstruktur, dan mereka menyimpan semua data dalam keadaan mentah tanpa mengubahnya terlebih dahulu.

      Danau data atau kita sebut saja data lake ini sering dijalankan di Hadoop yang merupkan software open source dan perangkat keras dengan standard industri, bukan kepemilikan teknologi, yang membuatnya ekonomis untuk menyimpan lebih banyak data dari sumber-sumber yang lebih banyak.

      Untuk sebuah data lake, organisasi tidak perlu tool ETL, tetapi mereka perlu produk migrasi data yang dapat menarik data dari berbagai sumber yang berbeda.

      Di antara unsur-unsur dalam kasus banyak data integration adalah data pergudangan, data profil dan pemodelan data.

      Sinkronisasi data di beberapa sistem

      Banyak perusahaan menemukan bahwa mereka memiliki beberapa sistem independen yang menyimpan data yang sama. Kadang-kadang hal ini terjadi sebagai akibat dari aktivitas merger dan akuisisi. 

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus

      Misalnya, jika salah satu pengecer barang-barang olahraga merger dengan pengecer barang-barang olahraga lain, maka akan ada dua kemungkinan yaitu memiliki banyak pemasok, mitra dan pelanggan yang sama dan yang kedua memiliki informasi tentang semua entitas tersebut di databses mereka masing-masing. 

      Namun, dua merek yang berbeda mungkin saja menjalankan database yang berbeda, dan informasi yang disimpan di database mereka mungkin tidak selalu sejalan. Sering terjadi banyak data yang sama berada di dalam database yang berbeda.

      Di waktu yang lain, data ganda adalah hanya hasil dari siluet sistem. Sebagai contoh, perangkat lunak Keuangan mungkin berbeda dari perangkat lunak Departemen penerimaan.

      Sementara kedua sistem mungkin menyimpan data yang sama yang berkaitan dengan rantai pasokan, sementara dua database mungkin saja sangat berbeda. 

      Dan jika Departemen penerimaan melakukan update alamat untuk vendor tertentu, mereka mungkin lupa untuk memberitahukan departemen keuangan, yang menyebabkan di departemen keuangan akan masih memiliki alamat lama yang disimpan dalam sistem mereka.

      Perusahaan dapat memilih untuk berurusan dengan situasi seperti ini dalam berbagai cara.

      Misalnya, mereka mungkin mencoba untuk menggabungkan database dari kedua perusahaan untuk digabung, atau mereka mungkin mencoba untuk memindahkan departemen keuangan dan Departemen penerimaan ke software Enterprise Resource Planning (ERP) untuk menghilangkan data silo.

      Namun, pada saat perusahaan besar mungkin dapat mengurangi jumlah database mereka dan aplikasi melalui konsolidasi, mereka biasanya masih menyisakan beberapa repositori data.

      Untuk menyimpan semua database mereka supaya tetap up to date, mereka membutuhkan solusi yang bisa mensinkronkan record dalam berbagai sistem independen.

      Hal ini biasanya memerlukan data integration tools dengan solusi data governance dan kemampuan master data management (MDM).

      Mungkin produk MDM standalone atau platform data integration yang lengkap dapat menghapus duplikat, membakukan format, menyalin data dari satu sistem ke sistem yang lain (data propagasi) dan memberikan keseragaman view pada master data dalam sistem organisasi (data Federasi).

      Menerima data dari pemasok, atau mitra

      Selama ini berbagai perusahaan telah menggunakan komputer, perangkat-perangkat komputer tersebut dibutuhkan untuk mengirim dan menerima data dari pemasok dan mitra mereka. 

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus

      Sebagai contoh, produsen mungkin perlu memindahkan daftar pengiriman, faktur informasi atau data umum produk. Atau rumah sakit mungkin perlu menerima catatan pasien dari independen dokter kantor dan laboratorium.

      Di masa lalu, mitra mungkin hanya mengirimkan Fax untuk informasi yang relevan, dan perusahaan akan kembali melakukan input ke dalam sistem mereka. Tetapi metode ini memakan waktu dan rawan kesalahan.

      Salah satu solusi yang paling awal untuk masalah ini adalah jenis data integration tools yang dikenal sebagai elektronik data interchange (EDI).

      Pertama kali ditemukan pada tahun 1970, EDI masih digunakan sampai sekarang oleh banyak perusahaan, begitu banyak vendor menggabungkan EDI ke platform data integration mereka.

      Namun, teknologi modern menawarkan beberapa alternatif untuk jenis EDI tradisional. Misalnya, beberapa perusahaan melakukan transfer data melalui Layanan Web yang bergantung pada file XML, sementara banyak orang lain membuat nya lebih ekstensif yaitu dengan menggunakan api (application programming interface). 

      Dan beberapa perusahaan menggunakan beberapa metode yang berbeda untuk mentransfer data ke dan dari mitra perusahaan, di mana pada kasus data integration tools yang dapat mengelola berbagai jenis sambungan data menjadi demikian menarik.


      Membuat Dashboard Penjualan atau Dashboard Pemasaran 

      Dalam survei NewVantage 2018, 98,6 persen dari eksekutif yang disurvei mengatakan organisasi mereka sedang dalam proses menciptakan budaya data-driven.

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus

      Sebagian besar dari usaha di sebagian besar perusahaan membuat penggunaan data analytics yang lebih besar dalam penjualan dan Departemen pemasaran.

      Pada saat ini, banyak organisasi berinteraksi dengan pelanggan dengan mengambil tempat secara online.

      Yang memberikan kelebihan pada perusahaan dalam hal kemampuan untuk mengukur upaya mereka dalam melakukan penjualan dan pemasaran, apakah mereka sedang menghitung tayangan iklan dan klik iklan, pelacakan berapa lama pelanggan menghabiskan di berbagai bagian dari situs web mereka atau benar-benar menjual produk mereka dan Layanan online lainnya.

      Banyak organisasi yang menggunakan data ini untuk membuat dashboard yang memberitahu mereka mengenai informasi pemasaran dan penjualan tim, bagaimana usaha yang sudah mereka lakukan.

      Sebagai contoh, sebuah dashboard pemasaran mungkin mampu untuk melacak dan mengarahkan hasil terkait dengan banyak faktor: 
      • Bounce Rates (tingkat pentalan)
      • Open Rates
      • Metrik konversi
      • Convertion Metrics
      • Lead Quality
      • Key Performance Indicator (KPI) yang penting bagi tim

      Bila memungkinkan, data ini disajikan dalam format visual, seperti diagram atau grafik, sehingga pengguna dapat melihat tren baris dan sekilas data visual itu membuatnya masuk akal.

      Untuk membuat dashboard ini, organisasi mungkin menggunakan platform data integration atau gabungan beberapa tool berbeda secara mandiri. Beberapa penjualan atau pemasaran perangkat lunak termasuk kemampuan untuk menciptakan sebuah dashboard. 

      Atau organisasi dapat membuat dashboard mereka sendiri, mengubah sesuai kebutuhan yang menarik data dari beberapa sumber internal dan eksternal yang berbeda.

      Aplikasi yang kemudian berjalan akan membutuhkan berbagai analytics yang diperlukan dan menciptakan visualisasi dan melakukan update data secara teratur.

      Kasus penggunaan data integration ini jauh lebih kompleks daripada ETL atau sinkronisasi records, sehingga memerlukan perangkat lunak yang lebih kuat dan powerfull.

      Memberikan Pandangan 360 Derajat kepada Pelanggan

      Untuk banyak perusahaan, "holy grail" data integration adalah untuk menciptakan pandangan utuh 360 derajat dari setiap individu nasabah / customer.

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus

      Idenya adalah bahwa setiap kali seorang penjual atau karyawan lain yang berinteraksi dengan pelanggan, dia akan memiliki satu panel kaca yang merangkum semua interaksi nasabah dengan perusahaan.

      Kondisi seperti ini sering membutuhkan untuk menarik data pelanggan dari beberapa sistem perangkat lunak manajemen hubungan pelanggan (CRM), aplikasi ERP, dukungan teknis sistem pelacakan Tiket, pemasaran software, sistem e-commerce, dan aplikasi lainnya.

      Hal tersebut akan mampu memberikan kemampuan pada user untuk menelusuri sejarah pelanggan, melihat persis apa yang sudah ia beli di masa lalu dan rincian panggilan, email atau obrolan dengan dukungan pelanggan.

      Banyak dari dashboard 360 derajat pelanggan ini juga memanfaatkan pengayaan data. Karena hal inilah, mereka membawa data eksternal yang tidak disertakan dalam database Perseroan.

      Sebagai contoh, untuk keperluan tersebut bisa saja menarik informasi dari rekening-rekening nasabah, akun media sosial publik atau memasukkan informasi yang tersedia dari broker data.

      Banyak hari ini dashboard juga menggabungkan analisis prediktif, machine learning dan kecerdasan buatan (Artificial Intelligence / AI).

      Sistem-sistem tersebut mungkin mampu menawarkan saran untuk apa yang mungkin pelanggan beli berikutnya, atau menawarkan bahwa pelanggan mungkin akan menemukan sesuatu hal yang sangat menarik. 

      Dalam beberapa kasus, mereka bahkan dapat menggunakan sentimen analisis untuk mengukur keadaan emosi pelanggan dan membimbing anggota staf pada panggilan tersebut.

      Kasus penggunaan data integration ini adalah yang paling rumit dari semua yang ada, dan itu memerlukan perangkat lunak data integration dan data analytic yang sangat maju.

      Banyak perusahaan membuat investasi yang diperlukan, namun, dengan harapan untuk melihat drama perbaikan dalam penjualan dan layanan pelanggan.

      Demikian lah top 5 studi kasus untuk data integration. Apakah anda terarik untuk menggeluti dunia data integration ini?

      Dalam hal data integration ini kita tidak hanya akan membicarakan mengenai big data, namun lebih dari itu semua, karena pada akhirnya semua akan bermuara pada data management, bagaimana kemampuan kita dalam mengelola data yang ada.

      Nantikan untuk bahasan-bahasan menarik lainnya seputar data management dan big data di bigdatadba.com, tidak hanya sekedar bicara data.



      Refference :
      #dataintegration, #dataintegrationtools, #dataintegrationplatform

      MKRdezign

      Contact Form

      Name

      Email *

      Message *

      Powered by Blogger.
      Javascript DisablePlease Enable Javascript To See All Widget