Big Data DBA: Big Data

Belajar Big Data Solusi Data Management Dengan Big Data

Articles by "Big Data"

Big Data vs Business Intelligence - System data analytic merupakan bagian terdepan dari sistem komputasi perusahaan modern. 

Sementara banyak orang mungkin merasa bahwa mereka tertinggal berada di belakang "wilayah dari seni tersebut" sebagaimana yang mereka baca, kebenarannya adalah proyek-proyek tersebut yang kita terapkan saat ini untuk perusahaan terkemuka dalam ilmu kehidupan, keuangan, Kesehatan, Layanan Internet, dan kedirgantaraan, mereka memiliki banyak kesamaan antara satu dengan yang lain, dan mungkin bahkan dengan lingkungan komputasi milik Anda.

Itulah kebenaran yang terjadi saat ini. Sementara itu, kita terus-menerus melihat Buzzwords di media teknologi, yang bekerja sebagai penulis perjuangan untuk membantu semua orang memahami apa yang terjadi di luar sana mengenai big data maupun business intelligence. 


Big Data vs Business Intelligence


Big data (BD) dan Business Intelligence (BI)  dapat berbicara mengenai banyak informasi namun masih banyak orang tidak jelas tentang apa yang dimaksud dengan big data ataupun business intelligence. Jadi, mari kita luruskan pemahaman terlebih dahulu dengan melihat tentang apa sebenarnya proyek-proyek tersebut, baik proyek tentang business intelligence system maupun proyek big data analisis. 

Proyek-proyek yang dikerjakan untuk siapa, masalah apa saja yang big data dan business intelligence pecahkan, kesamaan apa saja yang mereka miliki, dan bagaimana mereka bisa berbeda.

Apakah Sebenarnya Big Data itu dan Bagaimana Trend Big Data Ke Depan?

Seorang analis terkemuka di tim data Gartner, yang terkenal mendefinisikan big data adalah data yang memiliki volume, kecepatan, dan variasi (volume, velocity dan Variety / 3V).

big data - volume - velocity - variety
sumber : datasciencecentral.com

Saat ini data mentah yang tersedia untuk kita olah memiliki volume yang sudah tidak dapat diantisipasi, karena sumber big data tersebut berasal dari hampir setiap obyek dan tindakan di dalam suatu perusahaan yang dilacak dan dicatat

Sebagai gambaran, ada sebuah group rumah sakit ternama bagaimana mereka menggambarkan banyaknya data yang dihasilkan, dimana perangkat medis yang berjumlah 22.000 buah membuat atau mencatatkan log data sepanjang waktu.

Kita bisa membayangkan seberapa besar volume informasi yang didapatkan. Bagaimana cara kita memindahkan data-data tersebut, apakah membiarkan nya ataukah menyimpannya. Bagaimana orang bisa memahami hal ini.

Penambahan datanya pun terjadi secara stream tiada henti dari node data baru, datang dengan kecepatan tinggi dan terus menambahkan datanya terus menerus.

Di sadur dari situs fpcomplete diketahui bahwa pendiri analisis keuangan perusahaan OTAS yang saat ini menjadi seorang eksekutif liquidnet mengatakan banyak saham analis yang menggunakan system mereka untuk mengatur jutaan titik data baru yang muncul setiap hari dari beberapa pasar saham.

Kelihatannya cukup sulit bukan ? Kemudian anda menambahkan berbagai sumber big data yang relevan untuk membuat keputusan yang baik. Pekerjaan ini dapat berfokus pada pengorganisasian penelitian yang luas dan kolaborasi big data analytics yang bisa menghasilkan informasi untuk dimasukkan ke dalam keputusan utama untuk level management dan sebagainya.

Bagaimana Anda memilih tindakan ketika ternyata ada data penting dalam selusin format yang berbeda, pada berbagai server yang berbeda, di belakang berbagai API dan address yang berbeda-beda pula?

Big data adalah skenario yang paling "berhati-hati dengan apa yang anda inginkan". Apakah Anda ingin tahu apa yang sedang terjadi? 

Oke, sekarang apa yang akan Anda lakukan jika Anda tahu hampir segala sesuatu nya terjadi? Ini seperti membeli output harian dari tambang emas. Tanpa ada bantuan manusia, tanpa bantuan mesin besar, namun anda diharuskan dapat mengekstrak sebagian besar harta bernilai dari biji emas.

Lalu Apakah yang Dimaksud dengan Business Intelligence System?

Ide business intelligence ini sebenarnya mendahului komputer, tetapi dibuat jauh lebih penting dan lebih berguna dengan jumlah data yang besar (big data) yang kita miliki sekarang. Business Intelligence (BI) adalah sistem untuk membuat keputusan yang lebih baik melalui sistem pendukung keputusan yang lebih baik.

Sistem ini dapat sesederhana pelaporan dan charting Software, atau yang rumit seperti pembelajaran mesain / machine learning dan artificial intelligence / kecerdasan buatan. Dan business intelligence system ini bergantung pada aliran input data terorganisir yang bahkan tidak harus menjadi "besar" namun menjadi sangat berguna. Biasanya output ditampilkan dalam bentuk dashboard business intelligence.

dashboard business intelligence, big data analytics, big data analisis, business intelligence system
sumber : pinterest.com


Bahkan, banyak BI melibatkan kecerobohan dari kompleksitas data mentah, membawanya ke tool business intelligence yang dapat digunakan manusia seperti dashboard, metrik, dan deteksi pengecualian. Banyak sistem hierarki BI menyajikan pengambil keputusan dengan ringkasan situasi saat ini, dan fitur untuk menyaring atau menjelajahi data untuk mempelajari lebih lanjut tentang setiap bagian informasi dari data yang tersedia.

Dikutip dari fpcomplete juga, Seattle Cancer Care Alliance misalnya, menyediakan perawatan penyelamatan jiwa di beberapa lembaga terkemuka perawatan kanker. Dari awal, mereka memberikan perawatan yang luar biasa untuk banyak pasien besar. 

Tapi Bukankah itu akan lebih menarik untuk terus-menerus belajar dari hasil semua perawatan ini, untuk melihat mana terapi yang bekerja terbaik untuk jenis-jenis kasus yang ada dan kemudian menggunakan pengetahuan ini untuk memberikan kursus terbaik perawatan untuk setiap pasien pada masa depan?

Sementara analisis tipikal mungkin hanya melibatkan ribuan pasien secara total, hampir tidak cukup untuk terdengar seperti Big Data meskipun kaliber wawasan yang harus diberikan sangat tinggi.

Untuk contoh yang sangat berbeda, pertimbangkan proyek perusahaan manufaktur multi-miliar dolar. Seperti yang khas hari ini, mesin mahal besar mereka memiliki komputer di papan yang terus-menerus menghasilkan log ketika mereka bekerja. 

Tapi banyaknya data yang tergenerate ini hanya masuk ke tempat penyimpanan data, dengan tidak ada yang melihat sebagian besar log data tersebut. 

Apa yang mereka inginkan adalah untuk memahami penyebab utama kerusakan dan downtime, dan secara bertahap menghilangkan nya, melalui analisis offline untuk menemukan praktik terbaik untuk pemeliharaan, dan analisa singkat secara real-time untuk meningkatkan rencana operasi selama hari kerja akan membuat operator mereka berubah menjadi operator super yang dibantu komputer. 

Itulah business intellligence, mengubah data yang tersedia menjadi informasi untuk pengambilan keputusan yang lebih baik.

Bagaimana Saya Bisa Mendapatkan Keduanya baik Big Data maupun Business Intelligence?

Seperti yang mungkin sudah Anda duga, pendekatan Big Data dan Business Intelligence tidaklah bersaing. Big data dan business intelligence adalah Arcithecture IT yang bermain baik secara bersama-sama, dengan Business Intelligence sebagai bagian lapisan di atas Big data.

Berikut ini merupakan gambaran architecture business intelligence dengan penggunaan big data dan memanfaatkan penggabungan antara pentaho dan hadoop. Sehingga bisa dikatakan akan memberikan hasil berupa tool big data analytics (big data analisis).

architecture business intelligence dengan penggunaan big data, big data tools, aplikasi big data
sumber : pinterest.com


Kami menemukan bahwa sebagian besar perusahaan sudah memiliki organisasi TI yang baik di tempat mereka, dengan keterampilan untuk mengembangkan perangkat lunak baru ketika diperlukan, dan untuk mengintegrasikan tool komersial yang ada (COTS) bila tersedia. 

Masalahnya, sering tidak tersedia nya bangunan blok. Siapapun dapat memperoleh atau menulis program untuk memasukkan tabel data dan grafik, atau menghitung subtotal. Masalahnya adalah bagaimana menempatkan blok bangunan ini bersama-sama, dan terutama, bagaimana untuk meningkatkan solusi sepele untuk skala produksi yang besar.

Kita dapat memecah pekerjaan Big Data dan Business Intelligence menjadi tiga bagian yang dapat dilakukan yaitu: arsitektur aplikasi DevOps, DataOps, dan Cloud.

DevOps adalah istilah jargon lain dalam penggunaan system secara konstan. Ini berarti rekayasa yang terjadi setelah Anda menulis beberapa kode tapi sebelum pengguna akhir menerima hasil akhir di layar.

Devops adalah seperangkat alat dan praktik terbaik untuk penskalaan: dari analisis data yang berjalan
sumber : google


Devops adalah seperangkat alat dan praktik terbaik untuk penskalaan: dari analisis data yang berjalan satu kali, pada satu mesin pengguna, ke sistem yang berjalan sepanjang waktu, pada sistem berbasis cloud yang andal dan terukur serta aman, untuk mendukung semua orang yang membutuhkan jawabannya. 

Jika Anda masih menggunakan proses manual dan misterius bisa dibilang sebagai "IT Wizards" untuk meningkatkan analisis Anda dari laptop ke pusat data, Anda tidak akan mencapai skala Big data atau mencapai bentuk Business Intelligence. 

DevOps adalah seperangkat teknik dan teknologi yang telah terbukti digunakan untuk integrasi, penyebaran, scale-up, dan operasi berkesinambungan.

DataOps adalah konsep yang lebih baru yaitu merupakan "DevOps untuk data." Sama seperti berbagai tool yang bisa membersihkan dan meningkatkan aplikasi analitik Anda, seperangkat tool secara paralel dapat membersihkan dan meningkatkan data aktual Anda. 

DataOps mencakup pembersihan data, pembuatan skema, penyimpanan dan replikasi, warehouse dan repositori, manajemen metadata
sumber : medium.com


DataOps mencakup pembersihan data, pembuatan skema, penyimpanan dan replikasi, warehouse dan repositori, manajemen metadata, manajemen versi, penyediaan API yang seragam, keamanan dan pemantauan semua alat dan proses untuk mengubah "tumpukan" data menjadi "pabrik jawaban" yang mampu menanggapi permintaan yang masuk akal, dan terus menelan dan menggabungkan aliran data terbaru.

Arsitektur aplikasi Cloud berarti merancang sistem terdistribusi Anda baik itu server, aplikasi, alat, proses kerja, pekerjaan, dan aliran data ke dalam keseluruhan system yang masuk akal. 

Arsitektur aplikasi Cloud berarti merancang sistem terdistribusi
sumber : researchgate.net

Hari ini, hampir tidak ada yang harus merancang sebuah sistem TI baru besar dari awal. Jika perusahaan anda sebagian besar menulis kode perangkat lunak yang sama sekali baru dan memulai dari layar kosong, maka anda akan membuang-buang pekerjaan dan kehilangan waktu. 

Memahami praktik terbaik dan arsitektur TI yang ada, serta memilih komponen dari inventaris yang ada, biasanya akan membuat Anda berhemat 80% dari jalan menuju solusi yang baik. Reuse akan membuat semua perbedaan! Fitur cloud dan terdistribusi (distributed), arsitektur berorientasi layanan membuat membangun blok data dengan gaya pembangunan produktif dan cepat. 

Arsitektur yang tahan bug, dengan pemisahan tanggung jawab yang jelas, akan memungkinkan Anda untuk memecah sistem TI Anda menjadi beberapa bagian. Sebagian besar tidak perlu lagi ditulis dari awal dan masing-masing maintainable pada jadwalnya sendiri.

Apakah Big Data Ataupun Business Intelligence Realistis untuk Anda Harapkan ?

Kabar baiknya adalah bahwa Big data bukanlah proposisi secara keseluruhan, dan demikian juga dengan business intelligence. Anda dapat membuat kemajuan secara bertahap pada keduanya, yang persis seperti apa yang kita inginkan terhadap client untuk dilakukan.

Tahap 1 

Akan menjadikan Business Intelligence dengan porsi yang terbatas dari data Anda yang sudah dalam kondisi baik. Ini cukup mudah untuk membuat solusi TI baru (bukan berarti bahwa ini adalah aplikasi baru), karena solusi ini akan menggunakan kode yang sudah ada untuk banyak pekerjaan yang akan menjawab apa pun yang Anda rasakan dan menjadi pertanyaan anda terhadap data yang anda gunakan.

Anda mungkin saja sudah melakukan beberapa hal tersebut, bahkan tanpa menyebutnya sebagai business intelligence. Sebagian besar perusahaan tinggal di tahap 1 selama bertahun-tahun, tidak pernah benar-benar mendapatkan jawaban yang mereka inginkan terhadap data yang mereka miliki, tapi setidaknya menjawab beberapa pertanyaan penting dengan sistem tersebut.

Tahap 2 

Akan menjadi DevOps dasar; mengubah pekerjaan TI Anda menjadi pabrik TI, di mana setiap analisis yang bertujuan untuk " seseorang " dapat diubah menjadi analisis yang bertujuan untuk " semua orang, sepanjang waktu ", maintainably, direproduksi, andal, scalable, dan aman. 

Kemungkinan langkah di sini termasuk version control, integrasi terus-menerus, penyebaran berkelanjutan, pengujian otomatis, skalabilitas awan (cloud), pemantauan sistem, dan mungkin audit keamanan. Dengan banyak hal ini dilaksanakan, Anda akan melihat produktivitas BI Anda bekerja, dengan solusi online baru yang dilakukan secara teratur dan dapat diprediksi.

Tahap 3 

Akan menjadi dasar DataOps, diluncurkan ketika Anda dengan cepat menemukan bahwa pertanyaan yang Anda inginkan untuk dijawab memerlukan data yang "berada di suatu tempat" akan tetapi belum terorganisir. 

Anda dapat mengharapkan untuk melakukan inventarisasi dari banyak data formal dan informal, seperti apa format data tersebut, bagaimana data-data tersebut tiba, seberapa akurat mereka, dan bagaimana mereka diakses. 

Satu set sistem otomatis akan dibentuk untuk menyaring, mengoreksi, atau "membersihkan" data yang datang ini, dan kemudian membuatnya tersedia pada “kekuatan penuh”, biasanya berbasis cloud, server data terdistribusi. 

Satu set metadata atau "daftar isi" akan disiapkan untuk membantu tim Anda menemukan dan memanfaatkan sumber data yang diperlukan untuk menjawab kueri tertentu. Sumber data kemungkinan akan selalu menjadi Federasi, dengan tidak ada satu format untuk diterapkan pada semua, dan dengan perbedaan layanan pada process cloud. 

Dengan menerapkan DataOps, Anda dapat memperkirakan untuk menjelaskan pertanyaan yang masuk akal tentang "apa yang sebenarnya terjadi," dan jika data tersebut ada di suatu tempat, sistem yang menjawab pertanyaan Anda akan memungkinkan untuk bekerja.

Pada Akhirnya Perbedaan antara Big data dan Business Intelligence akan memudar

Pada akhirnya kita akan menemukan bahwa penguasaan aliran data lebih dan lebih terfokus untuk setiap industri untuk keperluan big data analytics. 

Apakah Anda berada dalam teknologi keuangan (FinTech), kedirgantaraan, ilmu hayati, atau perawatan kesehatan, dunia Anda cenderung terlihat lebih dan lebih seperti dunia layanan internet yang aman dan komputasi awan. Orang di setiap industri memberitahu kita bahwa ini adalah di mana mereka akan sampai dan mereka lakukan.

Sebagai otomatisasi yang meningkat, Big data akan menjadi norma, dan pada akhirnya kita akan segera hanya menyebutnya sebagai data. Sama seperti DevOps menjadi norma untuk kelompok TI yang inovatif, maka akan ada juga yang namanya DataOps. 

Departemen TI akan lebih dan lebih menyerupai dua sisi "ritsleting," dengan adanya peningkatan dalam hal input data maka akan semakin meningkatkan input perangkat lunak, menjadi semakin meningkatkan solusi online yang berjalan di data center mereka dan di cloud.

Ini akan menjadi jalan panjang trend big data dan business intelligence, tapi secara realistis kita dapat berharap untuk masa depan di mana setiap pertanyaan yang Anda miliki tentang operasi Anda, pelanggan Anda, pasien Anda, penelitian Anda, dapat dijawab dengan data nyata yang handal, direproduksi, dan tersedia sepanjang waktu.

Mungkin anda juga menyukai artikel berikut ini :
Bagaimana Mungkin Big Data Bisa Merubah Dunia
Infrastruktur Big Data Itu Sebenarnya Seperti Apa
Top Tools Open Source untuk Big Data



Refference :
fpcomplete.com
#bigdataadalah
#bigdataanalyticsadalah
#bigdataanalisis
#businessintelligenceadalah
#businessintelligencesystemadalah

Apakah anda sudah pernah mendengar mengenai data silos? Jika ternyata organisasi Anda menderita data silos, maka data warehouse mungkin dapat menjadi solusi tim Anda dengan menggunakan data intengration atau ETL Tools.


mengatasi data silos dengan data warehouse



Lalu, apakah yang dimaksud dengan data silos ?

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi. Menghapus data silos dapat membantu Anda mendapatkan informasi yang tepat pada waktu yang tepat sehingga Anda dapat membuat keputusan yang baik. Dan, Anda dapat menghemat uang dengan mengurangi biaya penyimpanan untuk informasi duplikat.

Jadi data silos ini bisa terjadi karena adanya data yang sama pada organisasi / department yang berbeda, dimana masing-masing bagian tidak dapat melihat data yang sama tersebut yang tersimpan di bagian/department yang lainnya.

Sehingga bisa dikatakan masing-masing department tersebut tidak mengetahui kalau ternyata datanya sama dengan data yang ada di departemen yang lain.

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi.

Lalu bagaimana data Silos terjadi?

Sebagaimana  yang saya baca dari dzone.com, data silos dapat terjadi dikarenakan adanya tiga alasan umum berikut ini :
  1. Budaya Perusahaan
  2. Struktur Organisasi
  3. Teknologi


Kalau kita uraikan dari tiga masalah umum tersebut, maka dapat kita ketahui :

1.  Budaya perusahaan.

Seringkali banyak Departemen di suatu perusahaan yang memiliki data silos antara satu department dengan department yang  lain, terutama di perusahaan besar. 

Terkadang hal ini terjadi karena ada persaingan internal, tetapi seringkali hal itu terjadi karena satu departemen melihat dirinya terpisah dari yang lain dan tidak mempertimbangkan di mana informasi harus dibagi.

2.  Struktur organisasi

Selain dari sebuah organisasi yang secara khusus bekerja untuk mengintegrasikan Departemen yang berbeda, maka akan sangat mudah untuk membangun lapisan hirarki dan manajemen yang dapat menghalangi Departemen dari berbagi informasi.

Dengan adanya lapisan hirarki dan manajemen ini akhirnya menjadi penyebab sulitnya untuk mendapatkan data antara satu departemen dengan department yang lain. Dengan adanya kesulitan procedural hirarki ini akhirnya mengakibatkan masing-masing departemen sering menyimpan data yang sama.

3. Teknologi 

Hal ini bisa terjadi akibat tidak biasa bagi departemen yang berbeda untuk menggunakan teknologi yang berbeda, sehingga sulit bagi suatu Departemen untuk berbagi informasi umum dengan departemen yang lain. 

Misalnya, mungkin tim penjualan menggunakan Salesforce, namun tim pemasaran tidak memiliki tool ini. Akan tetapi, ada kemungkinan tool tersebut berisi informasi berharga yang seharusnya bisa digunakan oleh team pemasaran. 

Sebuah survei TI menunjukkan bahwa sebagian besar perusahaan memiliki antara 1-200 aplikasi yang berbeda untuk Departemen mereka. Anda bisa bayangkan, betapa beratnya untuk mendapatkan suatu informasi ketika anda memiliki begitu banyak aplikasi yang digunakan dan tentu saja dengan banyaknya sumber data yang berbeda dengan teknologi yang berbeda pula.


Mengapa Data Silos dapat Menjadi  Masalah?

Tentu saja data silos bisa mendatangkan masalah dengan paling tidak adanya 3 faktor berikut ini :


a. Ketidakmampuan untuk mendapatkan pandangan data yang komprehensif.

Jika data Anda ternyata silos, hubungan yang relevan antara data silos dapat dengan mudah dilewatkan. 

Sebagai contoh, misalnya, tim pemasaran memiliki data yang sangat baik di mana kampanye pemasaran menarik banyak perhatian di geografi tertentu, sedangkan tim penjualan memiliki informasi tentang penjualan di geografi yang sama. 

Bagaimana jika ternyata Anda bisa membawa informasi itu bersama-sama? Bayangkan betapa akan terlihat lebih jelas hubungan antara kampanye pemasaran dan penjualan yang dilakukan.


b. Sumber daya yang terbuang.

Pertimbangkan apa yang terjadi jika Anda memiliki database dengan informasi pelanggan untuk tim pemasaran dan ada satu lagi database informasi pelanggan untuk tim penjualan. 
Banyak data diduplikasi antara kedua Departemen ini. Akan banyak membutuhkan uang untuk menyimpan semua data ini, dan semakin banyak data seperti di atas, maka akan semakin sedikit organisasi yang dapat membelanjakan kebutuhan untuk persyaratan lain.


c. Data yang tidak konsisten

Dalam data silos, adalah umum untuk menyimpan informasi yang sama di tempat yang berbeda. Ketika ini terjadi, ada kemungkinan besar bahwa Anda akan memperkenalkan inkonsistensi data. 

Anda dapat memperbarui alamat pelanggan di satu tempat, sementara di tempat yang lain tidak/belum diganti. Atau, Anda mungkin memperkenalkan salah ketik dalam satu kumpulan informasi. 

Namun ketika data hanya berada di satu tempat, Anda akan memiliki kesempatan yang lebih baik untuk menjaga informasi yang benar sehingga validitas data akan terjamin..

Anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration.

Tantangan dalam berurusan dengan data silos

Sementara banyak perusahaan mengakui bahwa data Silos adalah masalah, mengatasi kondisi data silos ini dapat menjadi sebuah tantangan. Setelah Anda memiliki budaya yang berakar dari memisahkan data, itu adalah tantangan untuk mengubah pola pikir karyawan. 

Selain itu, mungkin sulit untuk membatalkan beberapa siloes karena cara kerja sistem diatur dengan berbagai izin dan hierarki. Sebagai contoh, izin sering diatur oleh grup, jadi setelah data silos untuk grup, sulit untuk kemudian mengubah semua izin yang diperlukan. 

Dan jika data yang silos di sistem yang berbeda (misalnya, data untuk grup operasi keamanan disimpan dalam database Oracle, tetapi informasi penjualan di Salesforce), lebih sulit untuk mengatasi data silos tersebut. 

Untuk menyederhanakan proses ini, sebagian besar perusahaan memindahkan datanya dari berbagai sistem ke dalam data warehouse. Data warehouse adalah repositori untuk semua data yang dikumpulkan oleh sistem operasional perusahaan. Data warehouse dioptimalkan untuk akses dan analisis dari pemrosesan transaksional, dan data warehouse tersebut  dirancang untuk membantu manajemen mendapatkan tampilan 360 mengenai data perusahaan mereka.


Cara memecah data Silos

Cara terbaik untuk menghapus data silos adalah dengan menggabungkan data Anda ke dalam data warehouse. Berikut adalah beberapa metode yang berbeda yang mungkin digunakan perusahaan untuk mendapatkan data ke dalam data warehouse:

- Scripting. 
Beberapa perusahaan menggunakan script (ditulis dalam SQL atau Python, dll) untuk menulis kode guna mengekstrak data dan memindahkannya ke lokasi pusat. Namun hal ini bisa memakan waktu namun, dan juga membutuhkan banyak keahlian.

- ETL Tools berbasis premis
ETL Tools (Extract, Transform, load) dapat mengambil banyak “rasa sakit” dari memindahkan data dengan mengotomatisasi proses. Mereka mengekstrak data dari sumber data, melakukan transformasi, dan kemudian memuat data ke data warehouse tujuan. Tools data integration ini biasanya di-host di situs perusahaan Anda.

Beberapa contoh ETL Toos on premis yang anda gunakan antara lain Pentaho Data Integration, Talend Studio

- ETL Tools berbasis Cloud
ETL Tools ini di-host di Cloud, di mana Anda dapat memanfaatkan keahlian dan infrastruktur dari vendor. Mereka biasanya digunakan ketika sebuah perusahaan memutuskan untuk memindahkan data silos ke cloud data warehouse.

Untuk ETL Tools berbasis cloud, anda bisa mencoba fivetran, blendo, stitch, snaplogic, atau matillion

Jadi, anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration. Baik tools data integration ini berbasis premis maupun tools data integration yang berbasis cloud.


Refference :
#datasilos, #datawarehouse, #datasilosadalah

dzone.com

Infrastruktur Big Data itu Seperti Apa - Big Data DBA. Saat mengulas Big Data tentu kita bakal tersadar pada keperluan infrastruktur untuk menyokong teknologi Big Data itu. Dalam infrastruktur teknologi Big Data sendiri mempunyai karakteristik yang tidak sama dengan traditional data, yakni : 

Infrastruktur Big Data itu Seperti Apa










Infrastruktur Big Data itu Seperti Apa

#1.  Sekilas Sejarah Tentang Big Data

Awal mulanya th. 1970-2000 data yang di bangun merupakan data dengan jenis terstruktur serta adalah relational database seperti MySQL, oracle, dan sebagainya. Lantas pada th. 1995 selanjutnya mulai di bangun satu business intelligence yang memakai structured serta relational database dengan sistem seperti cognos, pentaho dan sebagainya. Pada 2010 sampai saat ini di bangun satu sistem yang mempunyai maksud 3V (volume, velocity, varity) atau 4V (ditambah value), serta dengan berbagai teknologinya seperti map reduce, high performance computers cluster dan sebagainya. 

Berarti kegunaan Big Data adalah sisi dari intelijen usaha, Big Data bisa dipakai untuk membuat satu usaha yang mempunyai intelijen manfaat mensupport pengambilan keputusan. Tetapi dalam hal semacam ini ada banyak hal yang tidak sama dari sisi volume yang tidak cuma jumlah data yang banyak, tetapi perkembangan data yang sangatlah cepat hingga dalam rentang waktu yang pendek data bisa bertumbuh dengan amat cepat serta besar (velocity), serta data yang ada mempunyai variasi yang sangatlah banyak (variety) tentu dalam big data sendiri terlebih dalam pembentukan data warehouse telah banyak dikerjakan ekstraksi transform load (ETL) untuk menanggulanggi varietas dari data itu hingga data bisa jadi standard baik dibikin bersih dari beragam noise juga dikerjakan transformasi hingga data tambah lebih sesuai dengan sistem usaha yang ada atau yang tengah jalan untuk organisasi spesifik. 

Business Intelligence yang didalamnya ada pemakaian big data juga memerlukan satu teknologi yang bisa mensupport sistem usaha yang ada di dalam intelijen usaha tersebut, hingga bisa jalan sesuai sama yang diinginkan. Hingga butuh di bangun satu infrastruktur yang pas serta bisa menangani keperluan big data yakni satu diantaranya yaitu sistem pemrosesan data yang amat cepat meskipun diwaktu yang sama data memiliki ukuran besar serta tumbuh dengan cepat. 

Sebagai permasalahan serta tantangan yaitu akusisi data, recording data, ekstraksi, cleaning, anotasi, integrasi, agregasi, representasi, analisa, jenising, interpretasi, serta visualisasi. Big data sendiri mempunyai aplikasi serta fungsi untuk beragam bagian seperti yang telah dijelaskan di atas pada awal mula artikel ini. 

#2. Macam Teknologi Big Data

Ada dua teknologi dalam infrastruktur dalam Big data yakni : 

  1. High Performance Computing Cluster (HPCC) atau bisa dikatakan sebagai Data Analytics Supercomputer (DAS) 
  2. Hadoop Basis (Map Reduced-Based Basis) 

Dari ke-2 pendekatan teknologi itu ada ketidaksamaan yang cukup penting (dari sisi manfaat) serta ada kemiripan dalam sistem yang jalan didalamnya. Kemiripan dari dua teknologi itu yaitu keduanya sama memakai kurang lebih satu computer dalam melakukan sistem penarikan info maupun pemrosesan beragam info atau bahkan juga bisa tampak keduanya memakai rancangan cluster pada arsitektur teknologi yang dipakai. Pada intinya keduanya juga bisa diintegrasikan dengan baik manfaatnya sama-sama mensupport keduanya. 

High Performance Computing Clusters (HPCC) itu sendiri pada intinya dibangun sebagai satu super computer yang terbagi dalam kurang lebih satu computer dengan spesifikasi spesifik (umumnya sama) untuk sama-sama menolong, menyokong, atau membagi pekerjaan keduanya hingga berbarengan bisa lakukan processing pada satu data, terlebih dalam soal pencarian data. Sistem besar yang umumnya jalan sendiri yaitu seperti, Ekstrak, Transform, serta Load, lantas kemudian dikerjakan analisa untuk memperoleh info yang lebih sesuai sama kebuthan usaha organisasi itu. 

Infrastruktur Big Data itu Seperti Apa

Sedang Hadoop Berbasis sendiri adalah satu project teknologi yang di kembangkan oleh apache dalam mengelola data besar hingga tambah lebih efisien serta efektif. Dalam hadoop sendiri terbagi dalam beragam komponen, bahkan juga sampai hadoop sendiri mempunyai distributed file sistem sendiri yang disebut dengan (HDFS). Keunggulan dari dari HDFS itu sendiri yaitu : 


  • Fault tolerance, serta di-deploy untuk low biaya hardware 
  • Write Once, Read many, adalah koherensi simpel, serta ditambah lagi frame-work yang di bangun dalam hadoop saat kita bakal memakai hadoop, memakai teknologi java. 
  • Memindahkan komputasi/sistem lebih cepat dari memindahkan data. 
  • Serupa Google File Sistem, namun HDFS membagi file jadi block dalam cluster node yang terdistribusi. 
  • Core component : master vs slave, name node vs data node, job tracker vs task tracker. 

#3.  Arsitektur Hadoop dan Integrasi antara HPCC dan Hadoop

Berikut ini adalah gambaran dari hadoop Basis : 

Infrastruktur Big Data itu Seperti Apa


Dibawah ini merupakan satu diantara arsitektur integrasi pada HPCC serta Hadoop basis : 

Infrastruktur Big Data itu Seperti Apa


Pada saat itu ada ketidaksamaan System manajemen Basis Data, yang pada intinya basis data mempunyai korelasi antar data yag umumnya kita sebut dengan data yang telah terstruktur atau terorganisasi, serta piranti sistem manajemen basis datanya yang disebut piranti lunak yang bisa dipakai untuk mengelola basis data seperti MySQL, Oracle, PostgreSQL dan sebagainya. Ketika ini ada keperluan lain dari manajemen basis data karenanya ada big data atau jadi System Manajemen Big Data. Berikut yaitu pemicu mengapa ada keperluan Manajemen Big Data itu : 

#4.  DBMS Konvensional Tidak Cukup Untuk Big Data

Tak seluruhnya masalah pemrosesan data bisa dikerjakan lewat cara paling baik memakai traditional relational DBMS. 

DBMS konvensional kurang untuk big data lantaran :
  • Kecepatan akses (gosip volume) 
  • Kesederhanaan set up 
  • Keperluan representasi struktu/skema yang lebih longgar (gosip variety) 
  • Keperluan pengelolaan data yang tidak sama (ACID tak seutuhnya dibutuhkan), missal connectedness. 
  • Keperluan arsitektur terdistribusi (scale out). 


    Hingga di bangun beragam piranti lunak yang bisa menangani keperluan itu tetapi masingmasing teknologi mempunyai karakteristik dalam sistem pemrosesan yang tidak sama, tersebut misalnya : 

    Column Oriented

    • Big table (google), Hbase, Cassandra (Facebook)

    Document Oriented

    • CouchDB, MongoDB

    Graph-Oriented

    • Neo4j, Virtuoso

    Key-value Oriented

    • DynamoDB (Amazon), Riak



      #5.  Perbedaan DBMS Untuk Big Data

      Dari sebagian contoh DBMS di atas itu tampak bahwa ada ketidaksamaan mendasar pada masing DBMS untuk big data itu yaitu pada tujuan dari masing-masing database management sistem. Umumnya sistem untuk manajemen basis data untuk Big Data yang dipakai yaitu NoSQL yang pada awalanya ditujukan oleh beberapa komune yg tidak suka pada pemakaikan SQL juga sebagai “tidak memakai SQL” tetapi saat ini lantaran kesadaran ternyta kita tak bias seutuhnya terlepas pada SQL itu, dirubah jadi “Not Only SQL” (NoSQL). NoSql itu adalah DBMS yang dijelaskan pada awal mulanya (4 point diatas). NoSQL mempunyai ketidaksamaan yaitu database yg tidak berelasi, lantaran tak ada keperluan connectedness yang telah dijelaskan pada awal mulanya, serta umumnya berbentuk terdistribusi serta scale out (dengan cara horizontal). Tidak ada skema spesial hingga lebih longgar pada skema, serta pemakaikan Application Programming Interface yang lebih simpel dalam pemakaian manipulasi atau processing data. Juga mengaplikasikan perinsip BASE, buka ACID. 

      Yang paling populer sendiri untuk teknologi NoSQL itu yaitu Hadoop dengan map reducenya yang pada versus 1.0 serta 2.0 nya mempunyai ketidaksamaan yang cukup penting terlebih dalam jenis frameworknya, yang ke-2 yaitu Document Oriented yang mempunyai rencana hirarki dalam dokumen satu data, serta umumnya dokumen di enkapsulasi serta encoding dalam format standard XML, JSON, YAML, dan sebagainya. Sedang Graph oriented adalah DBMS yang memrepresentasikan jenis data graph, yang menunjukkan keterhubungan antar tiap-tiap data. 

      Dalam sistem mining (datamining) karenanya ada big data itu sendiri cukup menguntungkan lantaran datamining memerlukan data yang banyak hingga membuahkan jenis yang tambah lebih general tetapi mempunyai akurasi yang tinggi. Tetapi karenanya ada big data itu sendiri datamining diwajibkan terima tantangan bagaimanakah lakukan datamining dengan taraf yang sangatlah besar serta terdistribusi dengan juga variety data yang sangatlah variatif. 



      Hingga diinginkan dengan pemakaian infrastruktur teknologi dari Big Data yang pas manfaatnya dan bisa mensupport sistem usaha yang ada jadi tambah lebih baik terlebih dalam sistem pengambilan info, knowledge serta wisdom manfaat mensupport dalam pengambil keputusan disuatu organisasi spesifik baik ini keuntungan / profit ataupun non-profit, baik ini swasta ataupun pemerintah.


      Tantangan Pengolahan Big Data – Big Data DBA. Tantangan big data sangat banyak: Proyek big data telah menjadi bagian normal dalam berbisnis - namun bukan berarti big data itu mudah.

      Big Data-Apa saja Tantangan Untuk Mengolahnya


      Menurut NewVantage Partners Big Data Executive Survey 2017, 95 persen pemimpin bisnis Fortune 1000 yang disurvei mengatakan bahwa perusahaan mereka telah melakukan proyek big data dalam lima tahun terakhir. Namun, kurang dari setengah (48,4 persen) yang mengatakan bahwa inisiatif big data mereka telah mencapai hasil yang terukur.

      Laporan pada bulan Oktober 2016 dari Gartner menemukan bahwa organisasi terjebak pada tahap percontohan inisiatif big data mereka. "Hanya 15 persen dari bisnis yang melaporkan penggelaran proyek big data mereka ke produksi, yang secara efektif tidak berubah dari tahun lalu (14 persen)," kata firma tersebut.

      Jelas, organisasi menghadapi beberapa tantangan utama dalam mengimplementasikan strategi big data mereka. Kenyataannya, Riset Data & Analytics IDG Enterprise menemukan bahwa 90 persen dari mereka yang disurvei melaporkan mengalami tantangan yang berkaitan dengan proyek big data mereka.

      [success title="Tantangan Pengolahan Big Data" icon="check-circle"] Jadi apa tantangannya? Dan yang lebih penting, apa yang bisa dilakukan organisasi untuk mengatasi tantangan dalam mengolah big data? [/success]

      Data apakah yang besar yang dinamakan Big Data ?

      Sebelum kita menyelidiki tantangan data yang paling umum, pertama-tama kita harus mendefinisikan "big data". Tidak ada jumlah gigabyte atau terabyte atau petabyte yang memisahkan "big data" dari "data berukuran rata-rata". Data storage terus berkembang, jadi sepertinya data seperti sekarang mungkin tampak seperti jumlah normal dalam satu atau dua tahun. Selain itu, setiap organisasi berbeda, sehingga jumlah data yang tampaknya menantang untuk sebuah toko ritel kecil mungkin tidak terlalu mirip dengan perusahaan jasa keuangan besar.

      Sebagai gantinya, kebanyakan ahli mendefinisikan big data dari tiga sisi Vs. Anda memiliki data yang besar jika data store Anda memiliki karakteristik sebagai berikut:

      Volume: Big data adalah kumpulan data yang begitu besar sehingga organisasi yang memilikinya menghadapi tantangan terkait dengan penyimpanan atau pemrosesannya. Kenyataannya, tren seperti e-niaga, mobilitas, media sosial dan Internet Hal (IoT) menghasilkan begitu banyak informasi, sehingga hampir setiap organisasi mungkin memenuhi kriteria ini.

      Velocity: Jika organisasi Anda menghasilkan data baru dengan kecepatan tinggi dan perlu merespons secara real time, Anda memiliki kecepatan yang terkait dengan big data. Sebagian besar organisasi yang terlibat dalam e-niaga, media sosial atau IoT memenuhi kriteria ini untuk big data.

      Variety: Jika data Anda berada dalam berbagai format, ragamnya memiliki data yang besar. Misalnya, penyimpanan data yang besar biasanya mencakup pesan email, dokumen pengolah kata, gambar, video dan presentasi, serta data yang berada dalam sistem pengelolaan basis data relasional yang terstruktur (RDBMSes).


      Ketiga karakteristik ini menyebabkan banyak tantangan yang dihadapi organisasi dalam inisiatif big data mereka. Beberapa tantangan big data yang paling umum adalah sebagai berikut:

      1. Berurusan dengan pertumbuhan data

      Tantangan yang paling jelas terkait dengan big data hanyalah menyimpan dan menganalisis semua informasi itu. Dalam laporan Digital Universe-nya, IDC memperkirakan bahwa jumlah informasi yang tersimpan dalam sistem TI di dunia dua kali lipat setiap dua tahun sekali. Pada 2020, jumlah totalnya akan cukup untuk mengisi setumpuk tablet yang mencapai dari bumi hingga bulan 6,6 kali. Dan perusahaan memiliki tanggung jawab atau tanggung jawab sekitar 85 persen dari informasi tersebut.

      Sebagian besar data itu tidak terstruktur, artinya tidak berada dalam database. Dokumen, foto, audio, video dan data tidak terstruktur lainnya sulit dicari dan dianalisis.

      Tidak mengherankan jika laporan IDG menemukan, "Mengelola data tidak terstruktur tumbuh sebagai tantangan - meningkat dari 31 persen di tahun 2015 menjadi 45 persen pada tahun 2016."

      Untuk mengatasi pertumbuhan data, organisasi beralih ke sejumlah teknologi yang berbeda. Ketika infrastruktur penyimpanan, konvergensi dan hyperconverged dan perangkat lunak yang didefinisikan penyimpanan dapat memudahkan perusahaan untuk mengukur perangkat keras mereka. Dan teknologi seperti kompresi, deduplikasi dan tiering dapat mengurangi jumlah ruang dan biaya yang berkaitan dengan penyimpanan data yang besar.

      Di sisi manajemen dan analisis, perusahaan menggunakan alat seperti database NoSQL, Hadoop, Spark, perangkat lunak analisis big data, aplikasi intelijen bisnis, kecerdasan buatan dan pembelajaran mesin untuk membantu mereka menyisir data store besar mereka untuk menemukan wawasan yang dibutuhkan perusahaan mereka.


      2. Menghasilkan wawasan pada waktu yang tepat

      Tentu saja, organisasi tidak hanya ingin menyimpan big data mereka - mereka ingin menggunakan big data tersebut untuk mencapai tujuan bisnis. Menurut survei NewVantage Partners, tujuan yang paling umum dikaitkan dengan proyek big data adalah sebagai berikut:

      • Mengurangi biaya melalui efisiensi biaya operasional
      • Menetapkan budaya berbasis data
      • Menciptakan jalan baru untuk inovasi dan gangguan
      • Mempercepat kecepatan dengan kemampuan dan layanan baru dikerahkan
      • Meluncurkan penawaran produk dan layanan baru


      Semua tujuan tersebut dapat membantu organisasi menjadi lebih kompetitif - tetapi hanya jika mereka dapat mengekstrak wawasan dari big data mereka dan kemudian bertindak sesuai wawasan tersebut dengan cepat. Survei Data dan Analytics Global PwC 2016 menemukan, "Semua orang ingin pengambilan keputusan menjadi lebih cepat, terutama di bidang perbankan, asuransi, dan perawatan kesehatan."

      Untuk mencapai kecepatan itu, beberapa organisasi mencari generasi baru alat ETL dan analisis yang secara dramatis mengurangi waktu yang dibutuhkan untuk menghasilkan laporan. Mereka berinvestasi dalam perangkat lunak dengan kemampuan analisis real-time yang memungkinkan mereka merespons perkembangan di pasar secara langsung.


      3. Merekrut dan mempertahankan bakat data yang besar

      Tetapi untuk mengembangkan, mengelola dan menjalankan aplikasi yang menghasilkan wawasan, organisasi membutuhkan profesional dengan keterampilan data yang besar. Hal itu mendorong permintaan ahli big data - dan gaji data yang besar telah meningkat secara dramatis.

      Panduan Gaji Gaji Robert Tahun 2017 melaporkan bahwa insinyur big data menghasilkan rata-rata antara $ 135.000 dan $ 196.000, sementara gaji ilmuwan data berkisar antara $ 116.000 sampai $ 163, 500. Bahkan, analis business intelligence dibayar dengan sangat baik, menghasilkan $ 118.000 sampai $ 138.750 per tahun.

      Untuk mengatasi kekurangan bakat, organisasi memiliki beberapa pilihan. Pertama, banyak yang meningkatkan anggaran dan upaya rekrutmen dan retensi mereka. Kedua, mereka menawarkan lebih banyak kesempatan pelatihan kepada anggota staf mereka saat ini dalam upaya mengembangkan talenta yang mereka butuhkan dari dalam. Ketiga, banyak organisasi mencari teknologi. Mereka membeli solusi analisis dengan kemampuan belajar mandiri dan / atau mesin. Dirancang untuk digunakan oleh para profesional tanpa gelar sains data, alat ini dapat membantu organisasi mencapai sasaran big data mereka walaupun mereka tidak memiliki banyak pakar big data mengenai staf.

      4. Mengintegrasikan sumber data yang berbeda

      Varietas yang terkait dengan big data mengarah pada tantangan dalam integrasi data. Big data berasal dari banyak tempat yang berbeda - aplikasi perusahaan, aliran media sosial, sistem email, dokumen buatan karyawan, dll. Menggabungkan semua data dan rekonsiliasi sehingga dapat digunakan untuk membuat laporan dapat menjadi sangat sulit. Vendor menawarkan berbagai perangkat ETL dan integrasi data yang dirancang untuk mempermudah proses pembuatannya, namun banyak perusahaan mengatakan bahwa mereka belum menyelesaikan masalah integrasi data.

      Sebagai tanggapan, banyak perusahaan beralih ke solusi teknologi baru. Dalam laporan IDG, 89 persen dari mereka yang disurvei mengatakan bahwa perusahaan mereka berencana untuk berinvestasi pada alat data baru yang besar dalam 12 sampai 18 bulan mendatang. Ketika ditanya jenis alat yang akan mereka beli, maka mereka memberitahukan sebagai teknologi integrasi.

      Demikianlah tantangan dalam mengelola big data, terutama untuk big data Indonesia dengan data yang besar dan beragam. Selanjutnya kita bisa belajar big data dengan membaca dan mempelajari artikel-artikel :


      “Serial Tutorial Big Data, Belajar Big Data Bersama Dengan Mudah”



      Apabila artikel ini cukup bermanfaat bagi anda, silahkan anda share artikel ini kepada kolega dan rekan-rekan anda. Sampai jumpa dalam artikel-artikel dan tulisan-tulisan belajar tutorial big data Indonesia selanjutnya.


      Refference :
      big data, big data adalah, big data Indonesia, belajar big data, tutorial big data, manfaat big data, karakteristik big data

      Peluang Big Data Indonesia – Big Data Administrator.  Tahun 2016 merupakan tahun yang penting untuk big data, termasuk juga dengan big data Indonesia. Dengan organisasi penyimpanan, pengolahan, dan penggalian nilai dari segala bentuk dan ukuran data yang lebih besar. Pada tahun 2017, sistem yang mendukung volume data yang besar baik data terstruktur dan data yang tidak terstruktur akan terus meningkat. permintaan pasar akan platform yang membantu penjaga Data mengatur dan mengamankan big data sementara memberdayakan pengguna akhir untuk menganalisis data tersebut. Sistem ini akan mature untuk beroperasi dengan baik dalam sistem TI perusahaan dalam system standar maupun system enterprise.

      Sebagaimana dikutip dan disadur dari tableau, bahwa setidaknya ada 10 peluang perkembangan big data di dunia. Demkian juga paling tidak yang terjadi dengan perkembangan big data Indonesia. Ke sepuluh peluang tersebut antara lain :



      1.  Big Data Menjadi Lebih Cepat dan Mudah Dilakukan Pendekatan

      Peluang Big Data Indonesia


      Pilihan memperluas system untuk mempercepat Hadoop.

      Tentu, Anda dapat melakukan penggunaan machine learning dan melakukan analisis sentimen pada Hadoop, tapi pertanyaan pertama orang yang sering bertanya adalah: Seberapa cepat kah SQL interaktif? SQL, setelah semua yang dilakukan, adalah saluran untuk pengguna bisnis yang ingin menggunakan data Hadoop supaya lebih cepat, dashboard KPI lebih berulang serta analisis eksplorasi.

      Hal ini diperlukan untuk kecepatan yang telah memicu adopsi database lebih cepat seperti Exasol dan MemSQL, penyimpanan yang berbasiskan Hadoop seperti Kudu, dan teknologi yang memungkinkan query lebih cepat. Menggunakan mesin SQL di atas Hadoop (Apache Impala, Hive LLAP, Presto, Phoenix, dan bor) dan teknologi OLAP di atas Hadoop (AtScale, Jethro Data, dan Kyvos Insights), akselerator permintaan ini lebih lanjut mengaburkan garis antara datawarehouse tradisional dan dunia big data.



      2.  Big Data tidak lagi Hanya Hadoop

      Peluang Big Data Indonesia

      Tool yang dibangun untuk Hadoop menjadi Usang

      Dalam tahun-tahun sebelumnya, kami melihat beberapa teknologi meningkat dengan gelombang big data yang memenuhi kebutuhan analisis pada Hadoop. Tapi perusahaan yang memiliki kompleksitas data, lingkungan yang heterogen tidak lagi ingin mengadopsi jalur akses BI siled hanya untuk satu sumber data (Hadoop). Jawaban atas pertanyaan mereka dikubur dalam berbagai sumber mulai dari sistem catatan warehouse cloud, data terstruktur dan tidak terstruktur dari keduanya yaitu Hadoop dan sumber-sumber non-Hadoop. (Kebetulan, bahkan database relasional menjadi siap dengan big data. SQL Server 2016, misalnya, baru-baru ini menambahkan dukungan JSON).

      Pada tahun 2017, pelanggan akan menuntut analisis pada semua data. Platform yang berbasis data- dan sumber-agnostik akan berkembang sementara mereka yang tujuan pembangunan untuk Hadoop dan gagal untuk menyebarkan seluruh kasus penggunaan akan terpuruk di pinggir jalan perkembangan big data. Keluarnya Platfora berfungsi sebagai indikator awal dari kecenderungan ini





      3.  Organisasi pengembangan danau data dari mendapatkan-menjadikannya untuk mendorong value

      Peluang Big Data Indonesia


      Sebuah danau data seperti waduk buatan manusia.

      Pertama bendungan Anda berakhir (membangun cluster), maka Anda membiarkannya terisi dengan air (data). Setelah Anda menetapkan danau, Anda mulai menggunakan air (data) untuk berbagai keperluan seperti pembangkit listrik, minum, dan menciptakan segala keperluan (analisis prediktif, ML, keamanan cyber, dll).

      Sampai sekarang, hydrating danau telah menjadi tujuan itu sendiri. Pada tahun 2017, yang akan berubah yaitu sebagai pembenaran bisnis untuk Hadoop semakin kencang. Organisasi akan menuntut penggunaan berulang dan lincah dari danau data untuk mendapatkan jawaban yang cepat. Mereka akan hati-hati mempertimbangkan hasil bisnis sebelum berinvestasi pada personil(SDM), data, dan infrastruktur. Ini akan mendorong kemitraan yang lebih kuat antara bisnis dan TI. Dan platform self-service akan mendapatkan pengakuan lebih sebagai tool untuk memanfaatkan aset big data ini.



      4.  Arsitektur Yang Semakin Matang untuk menolak satu ukuran yang cocok untuk semua Framework

      Peluang Big Data Indonesia

      Hadoop tidak lagi hanya sebuah platform batch-processing untuk kasus penggunaan data ilmiah.

      Hal ini telah menjadi mesin multi-tujuan untuk analisis ad hoc. Penggunaan tool Ini bahkan digunakan untuk pelaporan operasional pada hari-hari dengan beban kerja-jenis tradisional yang ditangani oleh data warehouse

      Pada tahun 2017, organisasi akan merespon kebutuhan-kebutuhan hybrid dengan mengejar menggunakan kasus-spesifik pada desain arsitektur. Mereka akan meneliti sejumlah faktor termasuk pengguna personal, pertanyaan, volume, frekuensi akses, kecepatan data, dan tingkat agregasi sebelum melakukan strategi data. arsitektur-referensi yang modern ini akan menjadi suatu kebutuhan. Mereka akan menggabungkan alat self-service yang terbaik pada data-prep, Hadoop Core, dan platform analisis pengguna akhir dengan cara yang dapat berulang sebagai tahapan evolusi pada kebutuhan tersebut. Fleksibilitas arsitektur ini pada akhirnya akan mendorong pilihan teknologi.



      5.  Ragam Data, bukan volume atau kecepatan, mendorong investasi pada Big Data

      Peluang Big Data Indonesia


      Gartner mendefinisikan big data sebagai tiga Vs:

      volume yang tinggi (Volume), kecepatan yang tinggi (velocity), dan berbagai aset informasi tinggi (variety). Sementara ketiga Vs tersebut berkembang, variety menjadi pendorong terbesar tunggal terhadap investasi pada big data, seperti yang terlihat dalam hasil survei terbaru oleh New Vantage Partners. Tren ini akan terus tumbuh terhadap perusahaan yang berusaha untuk mengintegrasikan lebih banyak sumber dan fokus pada "ekor panjang" dari big data. Dari schema-free JSON untuk jenis type bersarang di dalam database lain (relasional dan NoSQL), data non-flat (Avro, Parquet, XML), format data yang tumbuh berlipat dan konektor data menjadi penting. Pada tahun 2017, platform analisis akan dievaluasi berdasarkan kemampuan mereka untuk menyediakan konektivitas langsung untuk sumber-sumber data yang berbeda atau memiliki variasi data yang banyak.



      6.  Spark dan Pembelajaran Mesin Yang Menjalankan Big Data

      Peluang Big Data Indonesia


      Apache Spark, dibuat untuk komponen ekosistem Hadoop, sekarang menjadi platform big data pilihan bagi perusahaan.

      Dalam sebuah survei dari data architect, manajer TI, dan analis BI, hampir 70% dari responden telah menyukai Spark lebih dari MapReduce yang merupakan tool incumbent, yang merupakan batch-oriented dan tidak mampu menyesuaikan dirinya untuk aplikasi interaktif atau real-time stream processing.

      Kemampuan besar menghitung pada big data yang ada pada high platform menampilkan perhitungan intensif dari machine learning, AI, dan algoritma grafik. Microsoft Azure ML khususnya telah diambil  sebagai platform awal yang bersahabat dan integrasi yang mudah dengan platform Microsoft yang ada. Membuka ML kepada massa akan mengarah pada penciptaan model yang lebih dan memiiki ukuran petabyte dalam menghasilkan aplikasi data. Sebagai machine learning dan sistem pintar, semua mata akan tertuju pada penyedia software swalayan untuk melihat bagaimana mereka membuat data ini didekati dan digunakan oleh pengguna akhir.



      7.  Konvergensi IOT, Awan / Cloud, dan Big Data Menciptakan Peluang Baru Untuk Analisis Swalayan

      Peluang Big Data Indonesia

      Tampaknya bahwa segala sesuatu di 2017 akan memiliki sensor yang mengirimkan informasi kembali ke induk atau aplikasi asal tersebut.

      IOT menghasilkan volume big data terstruktur dan tidak terstruktur, dan meningkatnya pangsa big data ini untuk digunakan pada layanan cloud. Data yang ada bisa head terogen dan tersimpan di beberapa sistem relasional dan non-relasional, dari cluster Hadoop ke database NoSQL. Sementara inovasi dalam penyimpanan dan managed services telah mempercepat proses capture, mengakses dan memahami data itu sendiri masih merupakan tantangan terakhir yang signifikan. Akibatnya, tumbuhnya permintaan untuk tool analisis yang smooth dalam menghubungkan dan menggabungkan berbagai sumber data yang ada di cloud. Tool tersebut memungkinkan perusahaan untuk mengeksplorasi dan memvisualisasikan jenis data yang disimpan di mana saja, membantu mereka menemukan peluang yang tersembunyi dalam investasi IOT mereka.



      8.  Mempersiapkan Data Self-Service menjadi Mainstream Sebagai Pengguna Akhir Yang Mulai untuk membentuk Big Data

      Peluang Big Data Indonesia

      Membuat data Hadoop dapat diakses oleh pengguna bisnis adalah salah satu tantangan terbesar di zaman kita.

      Munculnya self-service analytics platform telah meningkatkan perjalanan perkembangan big data Indonesia ini. Tapi pengguna bisnis ingin mengurangi waktu dan kompleksitas ketika mempersiapkan data untuk analisis, yang paling penting adalah ketika berhadapan dengan berbagai jenis data dan format data ataupun metadata.

      Tool self-service untuk perparasi data Agile tidak hanya memungkinkan data Hadoop akan disiapkan pada sumbernya tetapi juga membuat data yang tersedia sebagai snapshot untuk eksplorasi lebih cepat dan lebih mudah. Kita telah melihat sejumlah inovasi dalam hal ini dari perusahaan yang berfokus pada persiapan Data pengguna akhir untuk big data seperti Alteryx, Trifacta, dan Paxata. Tool seperti ini menurunkan hambatan masuk untuk pengadopsi Hadoop lebih telat dan lamban dan akan terus untuk mendapatkan traksi di tahun 2017.





      9.  Big Data Bertumbuh: Hadoop Menambah Standar Perusahaan

      Peluang Big Data Indonesia


      Kita dapat melihat tren yang berkembang dari Hadoop menjadi bagian inti dari lanskap perusahaan IT.

      Dan pada tahun 2017, kita akan melihat lebih banyak investasi dalam komponen keamanan dan pemerintahan di sekitar sistem perusahaan. Apache Sentry menyediakan sistem untuk fine-grained, otorisasi berbasis peran data dan metadata disimpan di cluster Hadoop. Apache Atlas, dibuat sebagai bagian dari inisiatif organisasi data, memberdayakan organisasi untuk menerapkan klasifikasi data yang konsisten di seluruh ekosistem data. Apache Ranger memberikan administrasi keamanan terpusat untuk Hadoop.

      Pelanggan mulai mengharapkan jenis kemampuan dari platform RDBMS kelas perusahaan mereka. Kemampuan ini bergerak ke garis depan munculnya teknologi big data, sehingga belum mampu menghilangkan penghalang lain untuk adopsi perusahaan.



      10.  Rise of katalog metadata Membantu Orang Menemukan Big Data Analisis dengan Baik

      Peluang Big Data Indonesia


      Untuk waktu yang lama, perusahaan membuang data karena mereka memiliki terlalu banyak data untuk diproses.

      Dengan Hadoop, mereka dapat memproses banyak data, namun data tersebut umumnya tidak terorganisir dalam cara yang dapat ditemukan

      katalog metadata dapat membantu pengguna menemukan dan memahami data layal yang relevan dalam menganalisis menggunakan alat self-service. Gap yang membutuhkan pelanggan ini sedang diisi oleh perusahaan seperti Alation dan Waterline yang menggunakan machine learning untuk mengotomatisasi pekerjaan dalam menemukan data dalam Hadoop. Katalog file tersebut menggunakan tag, mengungkap hubungan antara aset data, dan bahkan memberikan saran permintaan melalui UIS yang dicari. Hal ini membantu baik konsumen dan pelayan data untuk mengurangi waktu yang dibutuhkan untuk percaya, menemukan, dan akurasi query data. Pada tahun 2017, kita akan melihat lebih banyak kesadaran dan permintaan untuk penemuan self-service, yang akan tumbuh sebagai perpanjangan alami dari analisis swalayan pada perkembangan big data Indonesia.

      Apakah anda dan saya telah siap untuk menyambut era big data Indonesia? Hanya diri kita masing2 yang bisa menjawab tantangan tersebut. Untuk diskusi dan belajar bersama mengenai big data, kita bisa membaca big data tutorial yang akan tayang di blog big data administrator.



      Reff :

      big data Indonesia, big data tutorial, contoh aplikasi big data, konferensi big data indonesia 2016, idbigdata, belajar big data, makalah big data, apa itu big data, solusi 247, data science Indonesia

      MKRdezign

      Contact Form

      Name

      Email *

      Message *

      Powered by Blogger.
      Javascript DisablePlease Enable Javascript To See All Widget