Index Big Data Tutorial Belajar Big Data di Big Data DBA | Big Data DBA

Belajar Big Data Solusi Data Management Dengan Big Data

Index Big Data Tutorial Belajar Big Data di Big Data DBA


Panduan Tutorial Big Data - Big Data DBA.  Apakah anda ingin belajar big data sebagai mana saya memiliki keinginan belajar big data juga. Dengan adanya tutorial belajar big data bersama-sama secara online ini, semoga bisa memberikan bahan referensi pembelajaran big data yang cukup memadai untuk kita semua. Big Data DBA mencoba untuk menyajikan panduan tutorial belajar Big Data. Mulai dari konsep big data sampai dengan implementasi big data beserta dengan contoh-contoh big data untuk memudahkan kita saat mengikuti tutorial belajar big data ini.

Pada halaman ini pembelajaran tutorial big data ini akan kita bagi menjadi point-point yang tertera di bawah ini :


Panduan Tutorial Big Data

1. Pengantar Big Data dan Hadoop
2. HDFS (Hadoop Distributed File System)
3. Map Reduce
4. Apache HIVE
5. Apache PIG
6. Apache Sqoop
7. Apache Flume
8. Apache Hbase




1. Pengantar Big Data dan Hadoop

  • Apakah Big Data itu ?
  • Apa Saja tantangan untuk mengolah big data?
  • Teknologi apa yang mendukung big data?
  • 3V dari BigData dan Pertumbuhan Data.
  • Apa itu Hadoop?
  • Mengapa Hadoop dan use case nya?
  • Sejarah Hadoop
  • Ekosistem yang berbeda dari Hadoop.
  • Keuntungan dan Kerugian dari Hadoop
  • Kasus Penggunaan Hadoop dalam kehidupan nyata


2. HDFS (Hadoop Distributed File System)

  • Arsitektur HDFS
  • Fitur HDFS
  • Mana saja yang cocok dengan HDFS dan mana yang tidak sesuai?
  • HDFS Daemon dan fungsinya
  • Nama Node dan fungsinya
  • Data Node dan fungsinya
  • Secondary Name Node dan fungsinya
  • Penyimpanan Data di HDFS
  • Pendahuluan tentang Block
  • Replikasi data
  • Mengakses HDFS
  • CLI (Command Line Interface) dan perintah admin
  • Pendekatan Berbasis Java
  • Administrasi Hadoop
  • File Konfigurasi Hadoop
  • Mengkonfigurasi Domain Hadoop
  • Konfigurasi Hadoop yang Utama
  • Konfigurasi Hadoop Tingkat Lanjut
  • Penjadwalan
  • RackAwareness
  • Utilitas Administrasi Cluster
  • Rebalancing HDFS DATA
  • Menyalin data dalam jumlah besar dari HDFS
  • Berkas FSImage dan Edit.log secara teoritis dan praktis.



3. Map Reduce

  • Arsitektur Map Reduce

  1. JobTracker, TaskTracker dan fungsinya
  2. Alur eksekusi kerja
  3. Mengkonfigurasi lingkungan pengembangan menggunakan Eclipse / Text Editor
  4. Model Pemrograman Map Reduce
  5. Cara menulis map reduce job basic
  6. Menjalankan Map Reduce job dalam mode lokal dan mode terdistribusi
  7. Tipe Data yang berbeda di Map Reduce
  8. Cara menggunakan Formatters dan Output Formatatters di Map Reduce job
  9. Memasukkan formatters dan Membaca Record yang terkait beserta dengan contohnya
  10. Format Input Teks
  11. Format Masukan Nilai Kunci Teks
  12. Sequence File Input Formatter
  13. Bagaimana menulis Custom Input Formatters dan Record Readers
  14. Output formatters dan Record Recorders yang terkait dengan contoh
  15. Format Output Teks
  16. Sequence File Output Formatter
  17. Bagaimana menulis Custom Output Formatters dan Record Writers-nya
  18. Bagaimana menulis Combiner, Partitioner dan penggunaannya
  19. Pentingnya Cache Terdistribusi
  20. Penghitung Penting dan cara menggunakan Penghitung


  • Pemrograman Map Reduce Advance
  • Joins – Map Side and Reduce Side

  1. Penggunaan Sortasi / pengurutan Sekunder
  2. Pentingnya Writable and Writable Comparable Api's
  3. Bagaimana menulis Map Reduce Key dan Value
  4. Penggunaan teknik kompresi
  5. Snappy, LZO dan Zip
  6. Cara debug Map Reduce Job di Lokal dan Pseudo Mode.
  7. Pengantar Map Reduce Streaming dan Pipe dengan contoh
  8. Pengajuan job
  9. Inisialisasi job
  10. Task Assignment
  11. Eksekusi Task
  12. Progress dan status bar
  13. Penyelesaian Job
  14. Kegagalan
  15. Kegagalan Task
  16. Kegagalan Tasktracker
  17. Kegagalan JobTracker
  18. Penjadwalan Jobs
  19. Acak & Urutkan secara mendalam
  20. Menyelam ke Pengacakan dan Pengurutan
  21. Input Splits Lanjutan
  22. Mendalami Konsep Buffer
  23. Mendalami Konfigurasi Tuning
  24. Medalami Eksekusi Tugas
  25. Tugas Tugas Lingkungan
  26. Eksekusi spekulatif
  27. Output Committers
  28. Tugas JVM Reuse
  29. Multiple Inputs & Multiple Outputs
  30. Membangun Counter
  31. Mendalami Penghitung - Penghitung Waktu & Penghitung yang Ditetapkan Pengguna
  32. Operasi Sql menggunakan Java MapReduce
  33. Pengantar YARN (Map Reduce generasi berikut nya)


4. Apache HIVE

  • Pendahuluan Hive
  • Arsitektur Hive
  • Hive Driver
  • Hive Compiler
  • Semantic Analyzer
  • Hive Integration dengan Hadoop
  • Hive Query Language (Hive QL)
  • SQL VS Hive QL
  • Instalasi dan Konfigurasi Hive
  • Hive, Map-Reduce dan Local-Mode
  • Operasional Hive DLL dan DML 
  • Service Hive
  • CLI
  • Desain Schema
  • View
  • Indeks
  • Hiveserver
  • Metastore

  1. Konfigurasi Metastore Embedded
  2. Konfigurasi metastore eksternal
  3. Transformasi di Hive
  4. UDF di Hive
  5. Bagaimana cara menulis query Hive sederhana
  6. Usage
  7. Tuning
  8. Hive dengan Integrasi HBASE
  9. Perlunya menambahkan beberapa R & D lagi yang dilakukan sendiri



5. Apache PIG

  • Pengantar Apache Pig
  • Map Reduce di Apache Pig
  • SQL Vs Apache Pig
  • Tipe data berbeda pada Apache Pig
  • Mode Eksekusi pada Apache Pig
  • Mode lokal
  • Map Reduce Mode
  • Mekanisme Eksekusi
  • Grunt Shell
  • Script
  • Embedded
  • Transformasi pada Apache Pig
  • Cara menulis scrip apache pig sederhana
  • UDF dalam Apache Pig
  • Apache Pig dengan Integrasi HBASE
  • Perlu menambahkan beberapa R & D lagi yang dilakukan sendiri


6. Apache Sqoop

  • Pengantar Sqoop
  • Client MySQL dan Instalasi Server
  • Cara terhubung ke Relational Database menggunakan Sqoop
  • Perintah Sqoop dan Contoh pada perintah Import and Export.
  • Mentransfer Seluruh Table
  • Menentukan Direktori Target
  • Mengimpor hanya subset data
  • Melindungi kata sandi anda
  • Menggunakan format file selain CSV
  • Mengompresi Data yang Diimpor
  • Mempercepat Transfer
  • Overriding Type Mapping
  • Mengontrol Paralelisme
  • Mengkodekan Nilai Null
  • Mengimpor semua tabel Anda
  • Impor Tambahan
  • Mengimpor hanya data baru
  • Mengimpor Incrementing data yang tidak sesuai
  • Menjaga nilai impor terakhir
  • Menyimpan Password di Metastore
  • Argumen utama untuk pekerjaan yang tersimpan
  • Berbagi MetaStore antara klien sqoop
  • Mengimpor data dari dua tabel
  • Menggunakan Custom Boundary Queries
  • Mengganti Nama Pekerjaan Sqoop
  • Mengimpor Query dengan kolom duplikat
  • Mentransfer data dari Hadoop
  • Memasukkan Data dalam Batch
  • Mengekspor dengan Semua atau Tidak Semantik
  • Memperbarui Kumpulan Data yang Ada
  • Memperbarui atau Memasukkan pada saat bersamaan
  • Menggunakan Stored Procedures
  • Mengekspor ke dalam subkumpulan kolom
  • Mengkodekan Nilai Null
  • Mengkodekan Nilai Null Secara Berbeda
  • Mengekspor Data Rusak


7. Apache Flume

  • Pengantar flume
  • Penggunaan agen flume


8. Apache Hbase

  • Pengenalan hbase
  • Dasar-Dasar Hbase
  • Keluarga kolom
  • Pemindaian
  • Instalasi hbase
  • Arsitektur Hbase
  • Penyimpanan
  • WriteAhead Log
  • Log Terstruktur MergeTrees
  • Integrasi Mapreduce
  • Mapreduce lebih dari Hbase
  • Penggunaan Hbase
  • Desain key
  • Filter Bloom
  • Versi
  • Filter
  • Hbase Client
  • REST
  • Thrift
  • Hive
  • UI Berbasis Web
  • Hbase Admin
  • Definisi skema
  • Operasi dasar CRUD
  • Apache OOZIE
  • Pengantar Oozie
  • Melaksanakan workflow job


Anda terarik untuk mendapatkan ebook dalam format PDF dari pembahasan big data di atas ? Anda bisa memesan ebook nya dengan meninggalkan pesan di kotak pesan. Bagi anda yang ingin melakukan donasi terhadap blog big data dba ini, anda bisa melakukan donasi dengan cara yang akan kami sampaikan di beberapa waktu yang akan datang.

Post a Comment

New comments are not allowed.

MKRdezign

Contact Form

Name

Email *

Message *

Powered by Blogger.
Javascript DisablePlease Enable Javascript To See All Widget