Big Data-Apa saja Tantangan Untuk Mengolahnya
Tantangan big data sangat banyak - Proyek big data telah menjadi bagian normal dalam berbisnis
Tantangan Pengolahan Big Data – Big Data DBA. Tantangan big data sangat banyak: Proyek big data telah menjadi bagian normal dalam berbisnis - namun bukan berarti big data itu mudah.
Menurut NewVantage Partners Big Data Executive Survey 2017, 95 persen pemimpin bisnis Fortune 1000 yang disurvei mengatakan bahwa perusahaan mereka telah melakukan proyek big data dalam lima tahun terakhir. Namun, kurang dari setengah (48,4 persen) yang mengatakan bahwa inisiatif big data mereka telah mencapai hasil yang terukur.
Laporan pada bulan Oktober 2016 dari Gartner menemukan bahwa organisasi terjebak pada tahap percontohan inisiatif big data mereka. "Hanya 15 persen dari bisnis yang melaporkan penggelaran proyek big data mereka ke produksi, yang secara efektif tidak berubah dari tahun lalu (14 persen)," kata firma tersebut.
Jelas, organisasi menghadapi beberapa tantangan utama dalam mengimplementasikan strategi big data mereka. Kenyataannya, Riset Data & Analytics IDG Enterprise menemukan bahwa 90 persen dari mereka yang disurvei melaporkan mengalami tantangan yang berkaitan dengan proyek big data mereka.
Data apakah yang besar yang dinamakan Big Data ?
Sebelum kita menyelidiki tantangan data yang paling umum, pertama-tama kita harus mendefinisikan "big data". Tidak ada jumlah gigabyte atau terabyte atau petabyte yang memisahkan "big data" dari "data berukuran rata-rata". Data storage terus berkembang, jadi sepertinya data seperti sekarang mungkin tampak seperti jumlah normal dalam satu atau dua tahun. Selain itu, setiap organisasi berbeda, sehingga jumlah data yang tampaknya menantang untuk sebuah toko ritel kecil mungkin tidak terlalu mirip dengan perusahaan jasa keuangan besar.
Sebagai gantinya, kebanyakan ahli mendefinisikan big data dari tiga sisi Vs. Anda memiliki data yang besar jika data store Anda memiliki karakteristik sebagai berikut:
Volume: Big data adalah kumpulan data yang begitu besar sehingga organisasi yang memilikinya menghadapi tantangan terkait dengan penyimpanan atau pemrosesannya. Kenyataannya, tren seperti e-niaga, mobilitas, media sosial dan Internet Hal (IoT) menghasilkan begitu banyak informasi, sehingga hampir setiap organisasi mungkin memenuhi kriteria ini.
Velocity: Jika organisasi Anda menghasilkan data baru dengan kecepatan tinggi dan perlu merespons secara real time, Anda memiliki kecepatan yang terkait dengan big data. Sebagian besar organisasi yang terlibat dalam e-niaga, media sosial atau IoT memenuhi kriteria ini untuk big data.
Variety: Jika data Anda berada dalam berbagai format, ragamnya memiliki data yang besar. Misalnya, penyimpanan data yang besar biasanya mencakup pesan email, dokumen pengolah kata, gambar, video dan presentasi, serta data yang berada dalam sistem pengelolaan basis data relasional yang terstruktur (RDBMSes).
Ketiga karakteristik ini menyebabkan banyak tantangan yang dihadapi organisasi dalam inisiatif big data mereka. Beberapa tantangan big data yang paling umum adalah sebagai berikut:
1. Berurusan dengan pertumbuhan data
Tantangan yang paling jelas terkait dengan big data hanyalah menyimpan dan menganalisis semua informasi itu. Dalam laporan Digital Universe-nya, IDC memperkirakan bahwa jumlah informasi yang tersimpan dalam sistem TI di dunia dua kali lipat setiap dua tahun sekali. Pada 2020, jumlah totalnya akan cukup untuk mengisi setumpuk tablet yang mencapai dari bumi hingga bulan 6,6 kali. Dan perusahaan memiliki tanggung jawab atau tanggung jawab sekitar 85 persen dari informasi tersebut.
Sebagian besar data itu tidak terstruktur, artinya tidak berada dalam database. Dokumen, foto, audio, video dan data tidak terstruktur lainnya sulit dicari dan dianalisis.
Tidak mengherankan jika laporan IDG menemukan, "Mengelola data tidak terstruktur tumbuh sebagai tantangan - meningkat dari 31 persen di tahun 2015 menjadi 45 persen pada tahun 2016."
Untuk mengatasi pertumbuhan data, organisasi beralih ke sejumlah teknologi yang berbeda. Ketika infrastruktur penyimpanan, konvergensi dan hyperconverged dan perangkat lunak yang didefinisikan penyimpanan dapat memudahkan perusahaan untuk mengukur perangkat keras mereka. Dan teknologi seperti kompresi, deduplikasi dan tiering dapat mengurangi jumlah ruang dan biaya yang berkaitan dengan penyimpanan data yang besar.
Di sisi manajemen dan analisis, perusahaan menggunakan alat seperti database NoSQL, Hadoop, Spark, perangkat lunak analisis big data, aplikasi intelijen bisnis, kecerdasan buatan dan pembelajaran mesin untuk membantu mereka menyisir data store besar mereka untuk menemukan wawasan yang dibutuhkan perusahaan mereka.
2. Menghasilkan wawasan pada waktu yang tepat
Tentu saja, organisasi tidak hanya ingin menyimpan big data mereka - mereka ingin menggunakan big data tersebut untuk mencapai tujuan bisnis. Menurut survei NewVantage Partners, tujuan yang paling umum dikaitkan dengan proyek big data adalah sebagai berikut:
- Mengurangi biaya melalui efisiensi biaya operasional
- Menetapkan budaya berbasis data
- Menciptakan jalan baru untuk inovasi dan gangguan
- Mempercepat kecepatan dengan kemampuan dan layanan baru dikerahkan
- Meluncurkan penawaran produk dan layanan baru
Semua tujuan tersebut dapat membantu organisasi menjadi lebih kompetitif - tetapi hanya jika mereka dapat mengekstrak wawasan dari big data mereka dan kemudian bertindak sesuai wawasan tersebut dengan cepat. Survei Data dan Analytics Global PwC 2016 menemukan, "Semua orang ingin pengambilan keputusan menjadi lebih cepat, terutama di bidang perbankan, asuransi, dan perawatan kesehatan."
Untuk mencapai kecepatan itu, beberapa organisasi mencari generasi baru alat ETL dan analisis yang secara dramatis mengurangi waktu yang dibutuhkan untuk menghasilkan laporan. Mereka berinvestasi dalam perangkat lunak dengan kemampuan analisis real-time yang memungkinkan mereka merespons perkembangan di pasar secara langsung.
3. Merekrut dan mempertahankan bakat data yang besar
Tetapi untuk mengembangkan, mengelola dan menjalankan aplikasi yang menghasilkan wawasan, organisasi membutuhkan profesional dengan keterampilan data yang besar. Hal itu mendorong permintaan ahli big data - dan gaji data yang besar telah meningkat secara dramatis.
Panduan Gaji Gaji Robert Tahun 2017 melaporkan bahwa insinyur big data menghasilkan rata-rata antara $ 135.000 dan $ 196.000, sementara gaji ilmuwan data berkisar antara $ 116.000 sampai $ 163, 500. Bahkan, analis business intelligence dibayar dengan sangat baik, menghasilkan $ 118.000 sampai $ 138.750 per tahun.
Untuk mengatasi kekurangan bakat, organisasi memiliki beberapa pilihan. Pertama, banyak yang meningkatkan anggaran dan upaya rekrutmen dan retensi mereka. Kedua, mereka menawarkan lebih banyak kesempatan pelatihan kepada anggota staf mereka saat ini dalam upaya mengembangkan talenta yang mereka butuhkan dari dalam. Ketiga, banyak organisasi mencari teknologi. Mereka membeli solusi analisis dengan kemampuan belajar mandiri dan / atau mesin. Dirancang untuk digunakan oleh para profesional tanpa gelar sains data, alat ini dapat membantu organisasi mencapai sasaran big data mereka walaupun mereka tidak memiliki banyak pakar big data mengenai staf.
4. Mengintegrasikan sumber data yang berbeda
Varietas yang terkait dengan big data mengarah pada tantangan dalam integrasi data. Big data berasal dari banyak tempat yang berbeda - aplikasi perusahaan, aliran media sosial, sistem email, dokumen buatan karyawan, dll. Menggabungkan semua data dan rekonsiliasi sehingga dapat digunakan untuk membuat laporan dapat menjadi sangat sulit. Vendor menawarkan berbagai perangkat ETL dan integrasi data yang dirancang untuk mempermudah proses pembuatannya, namun banyak perusahaan mengatakan bahwa mereka belum menyelesaikan masalah integrasi data.
Sebagai tanggapan, banyak perusahaan beralih ke solusi teknologi baru. Dalam laporan IDG, 89 persen dari mereka yang disurvei mengatakan bahwa perusahaan mereka berencana untuk berinvestasi pada alat data baru yang besar dalam 12 sampai 18 bulan mendatang. Ketika ditanya jenis alat yang akan mereka beli, maka mereka memberitahukan sebagai teknologi integrasi.
Demikianlah tantangan dalam mengelola big data, terutama untuk big data Indonesia dengan data yang besar dan beragam. Selanjutnya kita bisa belajar big data dengan membaca dan mempelajari artikel-artikel :
“Serial Tutorial Big Data, Belajar Big Data Bersama Dengan Mudah”
Apabila artikel ini cukup bermanfaat bagi anda, silahkan anda share artikel ini kepada kolega dan rekan-rekan anda. Sampai jumpa dalam artikel-artikel dan tulisan-tulisan belajar tutorial big data Indonesia selanjutnya.
Refference :
big data, big data adalah, big data Indonesia, belajar big data, tutorial big data, manfaat big data, karakteristik big data