Index Big Data Tutorial Belajar Big Data di Big Data DBA

Panduan Tutorial Big Data - Big Data DBA. Apakah anda ingin belajar big data sebagai mana saya memiliki keinginan belajar big data juga. Dengan adanya tutorial belajar big data bersama-sama secara online ini, semoga bisa memberikan bahan referensi pembelajaran big data yang cukup memadai untuk kita semua. Big Data DBA mencoba untuk menyajikan panduan tutorial belajar Big Data. Mulai dari konsep big data sampai dengan implementasi big data beserta dengan contoh-contoh big data untuk memudahkan kita saat mengikuti tutorial belajar big data ini.

Pada halaman ini pembelajaran tutorial big data ini akan kita bagi menjadi point-point yang tertera di bawah ini :

Panduan Tutorial Big Data

1. Pengantar Big Data dan Hadoop
2. HDFS (Hadoop Distributed File System)
3. Map Reduce
4. Apache HIVE
5. Apache PIG
6. Apache Sqoop
7. Apache Flume
8. Apache Hbase

1. Pengantar Big Data dan Hadoop

Apakah Big Data itu ?
Apa Saja tantangan untuk mengolah big data?
Teknologi apa yang mendukung big data?
3V dari BigData dan Pertumbuhan Data.
Apa itu Hadoop?
Mengapa Hadoop dan use case nya?
Sejarah Hadoop
Ekosistem yang berbeda dari Hadoop.
Keuntungan dan Kerugian dari Hadoop
Kasus Penggunaan Hadoop dalam kehidupan nyata

2. HDFS (Hadoop Distributed File System)

Arsitektur HDFS
Fitur HDFS
Mana saja yang cocok dengan HDFS dan mana yang tidak sesuai?
HDFS Daemon dan fungsinya
Nama Node dan fungsinya
Data Node dan fungsinya
Secondary Name Node dan fungsinya
Penyimpanan Data di HDFS
Pendahuluan tentang Block
Replikasi data
Mengakses HDFS
CLI (Command Line Interface) dan perintah admin
Pendekatan Berbasis Java
Administrasi Hadoop
File Konfigurasi Hadoop
Mengkonfigurasi Domain Hadoop
Konfigurasi Hadoop yang Utama
Konfigurasi Hadoop Tingkat Lanjut
Penjadwalan
RackAwareness
Utilitas Administrasi Cluster
Rebalancing HDFS DATA
Menyalin data dalam jumlah besar dari HDFS
Berkas FSImage dan Edit.log secara teoritis dan praktis.

3. Map Reduce

Arsitektur Map Reduce

 JobTracker, TaskTracker dan fungsinya
 Alur eksekusi kerja
 Mengkonfigurasi lingkungan pengembangan menggunakan Eclipse / Text Editor
 Model Pemrograman Map Reduce
 Cara menulis map reduce job basic
 Menjalankan Map Reduce job dalam mode lokal dan mode terdistribusi
 Tipe Data yang berbeda di Map Reduce
 Cara menggunakan Formatters dan Output Formatatters di Map Reduce job
 Memasukkan formatters dan Membaca Record yang terkait beserta dengan contohnya
 Format Input Teks
 Format Masukan Nilai Kunci Teks
 Sequence File Input Formatter
 Bagaimana menulis Custom Input Formatters dan Record Readers
 Output formatters dan Record Recorders yang terkait dengan contoh
 Format Output Teks
 Sequence File Output Formatter
 Bagaimana menulis Custom Output Formatters dan Record Writers-nya
 Bagaimana menulis Combiner, Partitioner dan penggunaannya
 Pentingnya Cache Terdistribusi
 Penghitung Penting dan cara menggunakan Penghitung

Pemrograman Map Reduce Advance
Joins – Map Side and Reduce Side

 Penggunaan Sortasi / pengurutan Sekunder
 Pentingnya Writable and Writable Comparable Api's
 Bagaimana menulis Map Reduce Key dan Value
 Penggunaan teknik kompresi
 Snappy, LZO dan Zip
 Cara debug Map Reduce Job di Lokal dan Pseudo Mode.
 Pengantar Map Reduce Streaming dan Pipe dengan contoh
 Pengajuan job
 Inisialisasi job
 Task Assignment
 Eksekusi Task
 Progress dan status bar
 Penyelesaian Job
 Kegagalan
 Kegagalan Task
 Kegagalan Tasktracker
 Kegagalan JobTracker
 Penjadwalan Jobs
 Acak & Urutkan secara mendalam
 Menyelam ke Pengacakan dan Pengurutan
 Input Splits Lanjutan
 Mendalami Konsep Buffer
 Mendalami Konfigurasi Tuning
 Medalami Eksekusi Tugas
 Tugas Tugas Lingkungan
 Eksekusi spekulatif
 Output Committers
 Tugas JVM Reuse
 Multiple Inputs & Multiple Outputs
 Membangun Counter
 Mendalami Penghitung - Penghitung Waktu & Penghitung yang Ditetapkan Pengguna
 Operasi Sql menggunakan Java MapReduce
 Pengantar YARN (Map Reduce generasi berikut nya)

4. Apache HIVE

Pendahuluan Hive
Arsitektur Hive
Hive Driver
Hive Compiler
Semantic Analyzer
Hive Integration dengan Hadoop
Hive Query Language (Hive QL)
SQL VS Hive QL
Instalasi dan Konfigurasi Hive
Hive, Map-Reduce dan Local-Mode
Operasional Hive DLL dan DML
Service Hive
CLI
Desain Schema
View
Indeks
Hiveserver
Metastore

 Konfigurasi Metastore Embedded
 Konfigurasi metastore eksternal
 Transformasi di Hive
 UDF di Hive
 Bagaimana cara menulis query Hive sederhana
 Usage
 Tuning
 Hive dengan Integrasi HBASE
 Perlunya menambahkan beberapa R & D lagi yang dilakukan sendiri

5. Apache PIG

Pengantar Apache Pig
Map Reduce di Apache Pig
SQL Vs Apache Pig
Tipe data berbeda pada Apache Pig
Mode Eksekusi pada Apache Pig
Mode lokal
Map Reduce Mode
Mekanisme Eksekusi
Grunt Shell
Script
Embedded
Transformasi pada Apache Pig
Cara menulis scrip apache pig sederhana
UDF dalam Apache Pig
Apache Pig dengan Integrasi HBASE
Perlu menambahkan beberapa R & D lagi yang dilakukan sendiri

6. Apache Sqoop

Pengantar Sqoop
Client MySQL dan Instalasi Server
Cara terhubung ke Relational Database menggunakan Sqoop
Perintah Sqoop dan Contoh pada perintah Import and Export.
Mentransfer Seluruh Table
Menentukan Direktori Target
Mengimpor hanya subset data
Melindungi kata sandi anda
Menggunakan format file selain CSV
Mengompresi Data yang Diimpor
Mempercepat Transfer
Overriding Type Mapping
Mengontrol Paralelisme
Mengkodekan Nilai Null
Mengimpor semua tabel Anda
Impor Tambahan
Mengimpor hanya data baru
Mengimpor Incrementing data yang tidak sesuai
Menjaga nilai impor terakhir
Menyimpan Password di Metastore
Argumen utama untuk pekerjaan yang tersimpan
Berbagi MetaStore antara klien sqoop
Mengimpor data dari dua tabel
Menggunakan Custom Boundary Queries
Mengganti Nama Pekerjaan Sqoop
Mengimpor Query dengan kolom duplikat
Mentransfer data dari Hadoop
Memasukkan Data dalam Batch
Mengekspor dengan Semua atau Tidak Semantik
Memperbarui Kumpulan Data yang Ada
Memperbarui atau Memasukkan pada saat bersamaan
Menggunakan Stored Procedures
Mengekspor ke dalam subkumpulan kolom
Mengkodekan Nilai Null
Mengkodekan Nilai Null Secara Berbeda
Mengekspor Data Rusak

7. Apache Flume

Pengantar flume
Penggunaan agen flume

8. Apache Hbase

Pengenalan hbase
Dasar-Dasar Hbase
Keluarga kolom
Pemindaian
Instalasi hbase
Arsitektur Hbase
Penyimpanan
WriteAhead Log
Log Terstruktur MergeTrees
Integrasi Mapreduce
Mapreduce lebih dari Hbase
Penggunaan Hbase
Desain key
Filter Bloom
Versi
Filter
Hbase Client
REST
Thrift
Hive
UI Berbasis Web
Hbase Admin
Definisi skema
Operasi dasar CRUD
Apache OOZIE
Pengantar Oozie
Melaksanakan workflow job

Anda terarik untuk mendapatkan ebook dalam format PDF dari pembahasan big data di atas ? Anda bisa memesan ebook nya dengan meninggalkan pesan di kotak pesan. Bagi anda yang ingin melakukan donasi terhadap blog big data dba ini, anda bisa melakukan donasi dengan cara yang akan kami sampaikan di beberapa waktu yang akan datang.