2017 | Big Data DBA

Belajar Big Data Solusi Data Management Dengan Big Data

2017

Tutorial Oracle Database Administrator – Big Data DBA. Database atau biasa disingkat hanya dengan DB merupakan koleksi informasi terorganisir dan terstruktur yang dapat diakses, diperbarui, dan dianalisis dengan efisien. Kode VB sederhana, C, excel atau notepad tidak dapat mengelola sejumlah besar pengguna dan file. Juga untuk kemudahan ekstraksi, backup dan pemulihan data tidak mungkin dengan pendekatan ini. Untuk mengatasi keterbatasan ini Oracle telah datang dengan produknya yang fenomenal yaitu database Oracle atau Oracle RDBMS.


Tutorial Oracle Database Administrator


Lalu Apa itu Oracle DBA?


Ini adalah sistem manajemen basis data relasional. Tujuan utama dari hal ini adalah untuk menyimpan, mengelola dan mengambil informasi secara efisien untuk memberikan kinerja yang tinggi. Hal ini juga disebut sebagai RDBMS atau hanya Oracle.

Oracle terdiri dari berbagai mekanisme perangkat lunak untuk mencapai concurrency data yang maksimal, kinerja tinggi untuk produktivitas maksimal bagi banyak pengguna di lingkungan database.


Beberapa fitur utama dari Oracle DBA adalah:

  1. Administrasi database bukanlah tugas satu orang, namun ditangani oleh sekelompok spesialis di bidangnya yaitu bidang database
  2. Database Oracle merupakan Database pertama yang sesuai untuk komputasi grid perusahaan
  3. Database Oracle Bekerja pada arsitektur berbasis grid.


Di Oracle, ada tiga kategori dasar file fisik yang digunakan untuk menyimpan informasi. Adapun file-file tersebut adalah :

File data    :   Berisi data yang dibutuhkan untuk memulai mesin database
File kontrol    :  Gudang metadata database yang digunakan oleh mesin Oracle
Redo log file    :  Digunakan untuk menyimpan perubahan yang dilakukan pada database
Parameter file :  Sebagai pengingat konfigurasi di mesin tempat server database Oracle dijalankan


Untuk Belajar Database Oracle DBA, diperlukan pemahaman tentang terminologi dasar yang digunakan di dalamnya.

Terminologi Dasar Oracle Database 


Instance - Ini didefinisikan sebagai latar belakang proses dan struktur memori yang digunakan untuk mengambil data dari database.

Proses - Juga disebut sebagai tugas atau pekerjaan, contohnya adalah request yang sedang berjalan. Ada dua jenis proses dalam sistem database Oracle yaitu proses Oracle dan proses User. Tidak perlu menggunakan perintah sistem operasi untuk berinteraksi dengan database.

Buffer Cache - Ini adalah komponen SGA yang berfungsi seperti penyangga untuk menyimpan data yang disesuaikan atau dipertanyakan. Buffer cache menyimpan data terbaru atau sering digunakan dalam memori sehingga bisa meningkatkan kinerja. Semua proses pengguna yang terhubung ke database berbagi akses diarahkan ke sana.

Shared Pool – Bagian ini bertugas menangkap informasi untuk dibagikan dengan pengguna. Sebagai contoh: stored Procedure, pernyataan SQL dll dapat di-cache untuk usabilitas dan akses cepat.

Redo Log Buffer - Bagian ini menyimpan log perubahan yang dibuat dalam database. File redo log berjalan dalam gerakan melingkar dan selalu ditimpa. Jadi, untuk menjaga pemulihan database agar lebih lama, mereka diarsipkan ke dalam archieve log. Oleh karena itu, redo log membantu mengembalikan instance ketika terjadi kegagalan sistem. Hal ini akan meningkatkan kinerja dan fungsi sistem database.

Large Pool - Ini adalah area opsional yang menawarkan alokasi memori untuk proses besar, seperti operasi restore database dan backup Oracle.

Lock - Untuk mengendalikan akses simultan ke sumber data, lock digunakan.
Basis data terdiri dari struktur logis dan fisik. Karena struktur ini terpisah, pengelolaan penyimpanan data secara fisik tidak mempengaruhi akses terhadap struktur logis.

Informasi diatas diperlukan untuk mendapatkan pemahaman dasar tentang database. Kita telah mencoba untuk mencakup semua parameter penting dan istilah yang digunakan di Oracle.


Dari pembahasan di atas sekarang diketahui bahwa:

Proses Oracle adalah proses server yang melakukan, berkomunikasi dan bekerja untuk proses pengguna. Proses server ini menangani permintaan dari proses pengguna yang terkoneksi. Mereka berkomunikasi dengan proses pengguna dan memanggil proses lain untuk melakukan permintaan. Katakanlah, jika pengguna ingin mengakses data yang belum ada di SGA, ia memanggil sebuah proses untuk membacanya dari disk.

Proses latar belakang adalah proses yang melakukan kerja pemeliharaan untuk server Oracle.
Sampai di sini, mungkin anda makin penasaran dengan prinsip kerja Oracle Database dan juga bagaimana cara melakukan pengaturan Database Oracle yang di lakukan oleh Oracle DBA.

Untuk mengetahui dan memahami apa saja yang dilakukan oleh seorang Oracle Database Administrator (Oracle DBA), maka point-point pembelajaran berikut ini patut untuk kita simak dan kita fahami.

Wah susah dong belajarnya, kalo sendirian.. Sama, saya juga demikian, karena itu sambil belajar saya coba juga untuk dituliskan di situs blog big data dba ini. Sehingga dengan menuliskan apa yang kita pelajari, akan semakin nempel di ingatan kita semua ilmu yang sudah kita dapatkan.

Ok, langsung saja. Ini dia point-point penting bagi seorang Database Administrator Oracle untuk dipelajari.


Isi point-point yang Harus diketahui Database Administrator Oracle


1. Pengantar Database Oracle


  • Ikhtisar Arsitektur Grid dari Database Oracle
  • Perbedaan antara cluster dan grid
  • Tanggung Jawab Administrator Database

2. Membuat Database Oracle


  • Persiapan Lingkungan instalasi Oracle Database 11g
  • Persiapan Lingkungan instalasi Oracle Database 12c
  • Melakukan Instalasi Oracle 11g
  • Melakukan Instalasi Oracle 12c
  • Membuat Database Oracle 11g / 10g menggunakan perintah SQL
  • Membuat Oracle Container Database di 12c menggunakan DBCA
  • Membuat Oracle Container Database di 12c menggunakan perintah SQL

3. Mengelola Container Database Oracle 12c 


  • Membuat Account Pengguna dan Menghubungkan ke Oracle 12c Container and Pluggable Database

4. Mengelola Database Pluggable di Oracle Database 12c


  • Membuat Database Pluggable dari Seed
  • Melakukan Cloning Database Pluggable yang Ada
  • Cabut dan pasang (unplug dan plug) database dari satu CDB ke CDB lainnya

5. Mengelola Tablespaces Dan Datafiles


  • Membuat tablespace baru
  • Bigfile Tablespaces (Diperkenalkan di Oracle Ver 10g)
  • Memperluas Ukuran tablespace
  • Bagaimana untuk mengurangi ukuran tablespace?
  • Mengumpulkan Tablespaces
  • Menentukan tablespace Offline atau Online
  • Membuat Tablespace Read only.
  • Mengganti Nama Tabel
  • Menghapus Tablespaces
  • Melihat Informasi tentang Tabel dan Datafile
  • Merelokasi atau Mengganti Nama Data
  • Mengganti nama atau Merelokasi Datafiles milik Tablespace Tunggal
  • Prosedur untuk Mengganti Nama dan Merelokasi Datafiles di Beberapa Tabelspace

6. Tablespace Sementara


  • Meningkatkan atau Mengurangi ukuran tablespace sementara
  • Mengelompokkan tablespace
  • Membuat Grup Tablespace Sementara
  • Menetapkan Grup Tablespace sebagai Default Tablespace Sementara

7. Mendiagnosis Dan Memperbaiki Masalah Tablespace yang Terkelola secara Lokal (Local Managed)


  • Skenario 1: Memperbaiki Bitmap Saat Alokasi Blokir Ditandai sebagai Free (Tanpa Tumpang Tindih)
  • Skenario 2: Menghapus Segmen yang Terkorupsi
  • Skenario 3: Memperbaiki Bitmap Bila Tumpang Tindih (overlap) Dilaporkan
  • Skenario 4: Memperbaiki Korupsi Media Blok Bitmap
  • Skenario 5: Migrasi dari Dictionary-Managed ke Tablespace yang Dikelola secara Lokal

8. Mengangkut Tablespaces


  • Prosedur untuk mengangkut tablespace
  • Contoh Tablespace Transporting (Pengangkutan Tablespace)

9. Mengelola REDO LOG FILE


  • Menambahkan Redo Logfile Group Baru
  • Menambahkan Anggota ke grup yang ada
  • Menghapus Anggota Redo Log dari sebuah kelompok / Group
  • Menghapus Logfile Group
  • Mengubah ukuran Logfiles
  • Mengganti nama atau Relokasi Log file
  • Membersihkan REDO LOG File
  • Melihat Informasi Tentang Log file

10. Mengelola File Kontrol


  • File Kontrol Multiplexing
  • Mengubah Nama Database
  • Membuat File Kontrol Baru

11. Kloning Database Oracle


12. Mengelola TABLESPACE UNDO


  • Beralih ke Manajemen Otomatis Undo Space
  • Menghitung Kebutuhan Ruang Untuk Penyimpanan Undo
  • Mengubah Tablespace UNDO
  • Menghapus sebuah Undo Tablespace
  • Menonaktifkan Undo Tablespaces
  • Melihat Informasi tentang Undo Tablespace

13. SQL Loader


  • STUDI KASUS (Memuat Data dari MS-ACCESS ke Oracle)
  • STUDI KASUS (Memuat Data dari file Fixed Length ke Oracle)
  • STUDI KASUS (Memuat Data dari MySQL ke Oracle)
  • Memuat Data ke dalam Beberapa Table dengan menggunakan kondisi WHEN
  • Conventional Path Load and Direct Path Load
  • Jalur Langsung (Direct Path)
  • Pembatasan Penggunaan Beban Jalur Langsung (Direct Path Load)

14. Ekspor Dan Impor


  • Melakukan Ekspor dan Impor
  • Parameter Baris Perintah pada tool Ekspor
  • Contoh Mengekspor Full Database
  • Contoh Mengekspor Schema
  • Mengekspor Tabel Individu
  • Mengekspor Gambar Konsisten yang ada di tabel

15. Menggunakan Utilitas Impor


  • Contoh Mengimpor Tabel Individu
  • Contoh, Mengimpor Tabel satu akun Pengguna ke akun Pengguna lain
  • Contoh Mengimpor Tabel Menggunakan Pencocokan Pola (Pattern Matching)

16. Migrasi Database di berbagai platform yang berbeda


17. DATA PUMP Utility


  • Menggunakan Utilitas Ekspor Data Pump
  • Contoh Mengekspor Full Database 
  • Contoh Mengekspor Schema
  • Mengekspor Tabel Individu dengan menggunakan Data Pump Export
  • Mengeluarkan dan Memasukkan Object selama Ekspor
  • Menggunakan Query untuk Memfilter Baris selama Export
  • Menangguhkan dan Melanjutkan Pekerjaan Ekspor (Melampirkan dan Melampirkan Kembali ke Pekerjaan / Job)

18. Data Pump Import Utility


  • Mengimpor File Dump Full
  • Mengimpor Object dari Satu Schema ke Schema lain
  • Memuat Object dari satu Tablespace ke Tablespace lainnya
  • Menghasilkan File SQL yang berisi perintah DDL menggunakan Data Pump Import
  • Mengimpor object hanya Schema Khusus / Schema Schema Tertentu
  • Mengimpor Hanya Tabel Khusus / Table Table Tertentu
  • Menjalankan Utilitas Impor dalam Mode Interaktif

19. Fitur Flash Back


  • Permintaan Flashback
  • Menggunakan Query Versi Flashback
  • Menggunakan Flashback Table untuk mengembalikan Tabel ke Waktu Yang telah Lampau
  • Menghapus Objects dari Recycle Bin
  • Flashback Drop dari Beberapa Objek Dengan Nama Asli yang Sama
  • Database Flashback: Alternatif untuk Pemulihan Point-In-Time
  • Mengaktifkan Flash Back Database
  • Untuk berapa ukuran kita harus mengatur area pemulihan flash
  • Seberapa jauh anda bisa melakukan flashback database
  • Contoh: Flashing Back Database ke titik waktu Tertentu

20. Archieve Data Kilas Balik (Oracle Total Recall)


  • Pengantar
  • Membuat tablespace Archieve Data Flashback
  • Membuat Archieve Data Flashback
  • Melakukan Query data historis

21. Log Miner


  • Konfigurasi LogMiner
  • Pilihan Kamus LogMiner
  • Menggunakan Katalog Online
  • Mengekstrak Kamus LogMiner ke Redo Log Files
  • Mengekstrak Kamus LogMiner ke File Flat
  • Redo Log File Options
  • Contoh: Menemukan Semua Modifikasi di Berkas Log Redo yang Sedang Berjalan
  • Contoh: Menambang File Log Redo dalam Rentang Waktu yang Diberikan


22. Backup dan Restore


  • Membuka Database dalam Mode Archivelog
  • Membawa Database lagi dalam mode NoArchiveLog
  • Mengambil Backup Offline (DINGIN)
  • Mengambil Backup Online (HOT)
  • Memulihkan dari Hilangnya Datafile
  • Saat Database berjalan di Noarchivelog Mode
  • Saat Database berjalan di Mode Archivelog
  • Memulihkan dari hilangnya File Kontrol

23. Recovery Manager (RMAN)


  • Melakukan Backup Offline menggunakan RMAN
  • Memulihkan Database yang berjalan dalam mode NOARCHIVELOG menggunakan RMAN
  • Melakukan Online Backup menggunakan RMAN
  • Melakukan backup tablespace atau datafiles tertentu dengan menggunakan RMAN
  • Cara melakukan Image Backup di RMAN
  • Melakukan Incremental Backup menggunakan RMAN
  • Secara bertahap memperbarui salinan cadangan untuk pemulihan cepat
  • Lihat informasi tentang backup RMAN
  • Mengkonfigurasi kebijakan Retention di Oracle RMAN
  • Konfigurasikan berbagai Pilihan di RMAN
  • Mempertahankan RMAN Repository
  • Memulihkan dari hilangnya datafiles menggunakan RMAN (mode Archivelog)
  • Memulihkan dari hilangnya datafile dengan mengubah lokasinya
  • Melakukan Pemulihan Bencana menggunakan RMAN


Demikianlah Kumpulan Tutorial Oracle Database Administrator. Semoga artikel ini bermanfaat untuk anda. Bila anda merasa artikel ini cukup bermanfaat bagi anda, silahkan anda bagikan artikel ini pada rekan-rekan dan pembaca-pembaca yang lain.

Data Integration dan Business Analytic - Big Data DBA. Pentaho merupakan kumpulan alat bantu / tool yang digunakan untuk menyelesaikan permasalah di sisi data warehouse ataupun lebih keren nya sering dikatakan sebagai BI (Business Intelligence). Salah satu tool nya yang terkenal dan paling banyak digunakan untuk membantu membangun data warehouse adalah Pentaho Data Integration. Dalam perkembangan nya, saat ini pentaho telah diakusisi sepenuhnya oleh kelompok teknologi raksasa Hitachi.



Pentaho 8, Pentaho Data Integration, Pentaho BI
Pentaho 8

Dari konferensi para pengguna pentaho di ajang PentahoWorld 2017, Hitachi Vantara, anak perusahaan Hitachi Ltd., di hari yang sama meluncurkan perangkat lunak integrasi data dan platform analisis Pentaho (Pentaho Data Integration dan Pentaho BA) generasi berikutnya yaitu Pentaho 8.0.  Dengan adanya peningkatan versi ini antara lain,  di pentaho 8.0 memberikan dukungan untuk Spark dan Kafka untuk memperbaiki data dan pengolahan arus, ditambah lagi dengan kemampuan untuk mencocokkan sumber daya komputasi dengan permintaan bisnis secara real time dengan mudah. Rilis baru ini dirancang untuk membantu pelanggan Hitachi mendapatkan nilai yang lebih besar dari data yang mereka miliki untuk mendapatkan keunggulan kompetitif dan mempercepat perjalanan transformasi digital mereka.
Menurut perusahaan riset independen IDC, data dunia akan tumbuh menjadi 163 zettabyte pada tahun 2025 - 10 kali lebih besar dari jumlah data yang dihasilkan pada tahun 2016. Perusahaan ini juga memperkirakan bahwa lebih dari seperempat data tersebut merupakan data real-time, dengan data IoT akan menghasilkan lebih dari 95 persennya.

Dengan rilis Pentaho 8.0, Hitachi Vantara membantu user dan customer untuk lebih mempersiapkan bisnis mereka untuk mengatasi kebanjiran data real-time ini dengan mengoptimalkan dan memodernisasi jaringan analisis data mereka dan meningkatkan produktivitas yang ada di tim mereka. Perangkat tambahan baru ke platform Pentaho 8.0 memungkinkan pengguna untuk:


1.  Meningkatkan Konektivitas ke Sumber Data Streaming: Dengan data yang bergerak lebih cepat, sangat penting untuk memprosesnya saat terjadi dan segera bereaksi jika diperlukan. Kemampuan baru di Pentaho 8.0 meliputi:


  • Pengolahan data stream dengan Spark: Pentaho 8.0 sekarang sepenuhnya memungkinkan pemrosesan dan pemrosesan data streaming menggunakan mesin asli atau Spark. Ini menambah integrasi Spark yang ada dengan lapisan eksekusi adaptif SQL, MLlib dan Pentaho.

  • Terhubung ke Kafka Streams: Kafka adalah sistem messaging populer / berlangganan yang sangat populer yang menangani volume data besar yang umum terjadi pada data besar dan lingkungan IoT saat ini. Pentaho 8.0 sekarang memungkinkan pemrosesan real-time dengan langkah-langkah khusus yang menghubungkan Pentaho Data Integration (PDI) ke Kafka.

2. Keamanan data yang besar dengan Knox: Membangun keamanan tingkat perusahaan yang ada dengan Cloudera dan Hortonworks, Pentaho 8.0 sekarang menambahkan dukungan untuk Knox Gateway yang digunakan untuk mengotentikasi pengguna ke layanan Hadoop.

3. Mengoptimalkan Sumber Daya Pemrosesan: Setiap organisasi telah membatasi sumber pengolahan data yang ingin digunakan secara cerdas, menjamin ketersediaan data yang besar bahkan ketika permintaan sumber daya komputasi tinggi. Untuk mendukung hal ini, Pentaho 8.0 menyediakan:


  • Simpul pekerja / node untuk meningkatkan beban kerja perusahaan: Manajer TI sekarang dapat dengan mudah membuka node tambahan dan menyebarkan beban kerja simultan di semua sumber komputasi yang ada agar sesuai dengan kapasitas dan sesuai dengan permintaan. Pencocokan ini memberikan elastisitas dan portabilitas antara lingkungan cloud dan lingkungan lokal sehingga menghasilkan pemrosesan yang lebih cepat dan efisien bagi pengguna akhir.

  • Penyempurnaan eksekusi adaptif: Pertama kali diperkenalkan di Pentaho 7.1, eksekusi adaptif Pentaho memungkinkan pengguna mencocokkan beban kerja dengan mesin pemrosesan yang paling tepat, tanpa harus menulis ulang logika integrasi data apa pun. Sekarang, Pentaho 8.0 membuat eksekusi adaptif lebih mudah diatur, mudah digunakan dan aman. Fungsinya juga sekarang tersedia di Hortonworks.

  • Dukungan asli untuk Avro dan Parket: Pentaho 8.0 memudahkan untuk membaca dan menulis ke format file data dan format populer ini dengan Spark dengan menggunakan alat pengeditan visual Pentaho.

  • Boost Team Produktivitas: Pentaho 8.0 juga hadir dengan beberapa fitur baru untuk membantu meningkatkan produktivitas di seluruh jaringan data. Ini termasuk filter granular untuk menyiapkan data, meningkatkan kegunaan repositori dan audit aplikasi yang lebih mudah.

"Di jalan menuju transformasi digital, perusahaan harus sepenuhnya memanfaatkan semua data yang tersedia untuk mereka. Ini memerlukan data silo data tradisional dan mengintegrasikan teknologi operasional dan informasi mereka untuk membangun jaringan data analisis modern yang dapat mengakomodasi data data yang lebih besar dan terbuka, "kata Donna Prlich, chief product officer untuk perangkat lunak Pentaho di Hitachi Vantara. "Pentaho 8.0 menyediakan fitur untuk skala perusahaan dan pemrosesan yang lebih cepat untuk mengantisipasi tantangan data masa depan untuk lebih mendukung pelanggan Hitachi dalam perjalanan digital mereka."

Perangkat Pentaho 8.0 dari Hitachi Vantara sudah mulai tersedia pada bulan November 2017

MENINGKATKAN KONEKTIVITAS DI PENTAHO UNTUK MENURUNKAN BESARAN SUMBER DATA


Untuk tetap berada di depan pertumbuhan volume data dan kecepatan data eksponensial, Pentaho 8.0 membawa kecepatan dan kelincahan ke setiap tahap data pipe, mulai dari konsumsi pesan real-time sampai pemrosesan data streaming. Kini, pengguna bisa mendapatkan nilai dari data lebih cepat tanpa mengorbankan integritas data.

Stream Processing with Spark: Dengan kemampuan eksekusi adaptifnya, Pentaho 8.0 sepenuhnya memungkinkan penggunaan data real-time dari Kafka menggunakan Spark Streaming, tanpa kerja ulang. Pengolahan arus data dengan Spark menambah orkestrasi Spark Pentaho yang ada dan integrasi dengan SQL, MLlib.

Menghubungkan Pentaho ke stream Kafka: Pentaho 8.0 memungkinkan pemrosesan, pemantauan dan agregasi secara real-time dengan langkah-langkah khusus yang menghubungkan Pentaho Data Integration (PDI) ke Kafka, yang memungkinkan pengembang untuk dengan mudah mengatasi berbagai kasus penggunaan yang memerlukan pemrosesan secara real-time.

Keamanan Data Besar dengan Knox: Membangun keamanan tingkat perusahaan yang ada untuk Cloudera dan Hortonworks, Pentaho 8.0 sekarang mendukung Apache Knox Gateway yang menyederhanakan manajemen keamanan Hadoop.



MENGOPTIMALKAN PENTAHO SUITE SEBAGAI SUMBER DAYA PENGOLAHAN DATA


Dengan permintaan pemrosesan data yang terus meningkat, manajer TI menghadapi tantangan untuk memaksimalkan sumber daya komputasi yang ada. Pentaho 8.0 menyediakan kemampuan untuk secara langsung menangani kebutuhan ini dengan sumber pemrosesan real-time dan terukur.

Simpul pekerja untuk meningkatkan beban kerja perusahaan: Manajer TI dapat dengan mudah membuka simpul tambahan dan menyebarkan beban kerja simultan ke sumber perhitungan yang ada agar sesuai dengan kapasitas dan sesuai dengan permintaan. Ini memberikan elastisitas dan portabilitas antara cloud dan lingkungan lokal sehingga menghasilkan pemrosesan yang lebih cepat dan efisien bagi pengguna akhir.

Penyempurnaan eksekusi adaptif: Eksekusi adaptif Pentaho memungkinkan pengguna mencocokkan beban kerja dengan mesin pemrosesan yang paling tepat, tanpa harus menulis ulang logika integrasi data apa pun. Pentaho 8.0 membuat eksekusi adaptif lebih mudah diatur dan digunakan dengan keamanan yang ditingkatkan. Fungsinya sekarang tersedia di Hortonworks.

Dukungan asli untuk Avro dan Parket: Rilis ini mempermudah membaca dan menulis ke format file data dan format populer ini dengan Spark dengan menggunakan alat pengeditan visual Pentaho.


Tingkatkan Produktifitas TIM Anda DALAM PIPELINE DATA


Seiring teknologi yang menjadi lebih kuat, produktivitas tim Anda juga harusnya demikian. Namun, teknologi yang terus berubah menyulitkan organisasi untuk berporos dengan kelincahan. Pentaho 8.0 menawarkan seperangkat fitur yang lebih baik bagi pengalaman penggunaan di tim Anda, termasuk proses persiapan data yang lebih halus, akses konten Pentaho lebih cepat, dan tata kelola yang disederhanakan.

Lebih baik, Pengambilan Data Lebih Cepat: Rilis ini menangani persiapan data secara langsung, memungkinkan TI menerapkan filter untuk menemukan data duplikat, data yang hilang, dan outlier. TI dapat dengan mudah mempublikasikan sumber data awal dan skema agar bisnis memvalidasi lebih cepat dan pada akhirnya memberikan data berkualitas tinggi ke bisnis dengan lebih cepat.

Peningkatan Pengalaman Pengguna Repositori: Pentaho 8.0 membawa akses lebih cepat ke konten platform dan memberikan pengalaman pengguna yang konsisten di PDI.

Aplikasi yang Lebih Mudah di Audit: Pentaho 8.0 memudahkan penerapan aplikasi audit sekarang karena laporan Opsmart bekerja dengan database populer, termasuk Oracle, SQL Server, dan MySQL.

Apakah tempat kerja anda tertarik untuk menerapkan product Pentaho Vantara ini ? 


Referensi :
solutionsreview.com
www.pentaho.com

Mengenal Database Oracle 18c – Big Data DBA.  Pada postingan kita kali ini, kita akan melihat-lihat terlebih dahulu mengenai database terbaru dan digadang-gadang menjadi database masa depan dari perusahaan ternama Oracle. Sebagaimana yang telah diumumkan oleh Larry Ellison di ajang OOW 2017 tentang database masa depan yang merupakan perubahan besar dalam dunia teknologi Oracle. Dalam dunia otomasi, kita telah melihat perubahan besar dari kehidupan sehari-hari menjadi kehidupan profesional. Ada kemajuan besar di setiap area kehidupan. Perjalanan database Oracle dimulai dari Oracle v2: hingga ke versi terbaru saat ini yaitu pada versi oracle 12c.


ORACLE DATABASE 18C

Sebagaimana pemberitaan akhir-akhir ini, kita akan melihat database oracle berikutnya yaitu pada oracle 18c. Sebagian besar biaya perusahaan untuk melakukan tuning kinerja / performance dan maintenance database, karena kinerja bisnis yang buruk harus mengalami banyak masalah seperti kehilangan bisnis, beban kerja, dll, hal-hal penting semacam ini tetap diingat saat merancang database Oracle 18c yang sekarang menjadi product fenomenal Oracle. Database oracle 18c ini juga disebut sebagai database otonomi awan (Cloud Autonomic Database). Database oracle 18c menawarkan otomasi total berdasarkan machine learning dan menghilangkan tenaga kerja manusia, kesalahan manusia, dan juga tuning yang dilakukan manual.





Pada database oracle versi 18c ini memiliki banyak fitur baru yang lebih memilih tidak adanya tenaga kerja manusia. Jadi bisa dibilang pada oracle database 18c, tenanga manusia sudah dihilangkan. Tidak adanya tenaga kerja manusia berarti telah memangkas setengah biaya, tidak ada kesalahan manusia berarti 100x dapat diandalkan. Sehingga tujuan akhir yang akan dicapai adalah “self-driving database”.

Tidak adanya tenaga kerja manusia pada database oracle 18c meliputi otomasi dalam instalasi, patching, upgrade, dan juga tuning database oracle yaitu dengan cara menggunakan teknik robot dengan bantuan machine learning.

Teknologi Database Oracle yang sudah sangat membumi ini mengotomatisasi manajemen untuk menghadirkan availability, performance, dan security yang belum pernah ada sebelumnya dan tentu saja dengan biaya yang jauh lebih rendah. Untuk penggunaan bisnis, Database Oracle 18c akan tersedia pada bulan Desember 2017.

Sebagaimana yang sudah diketahui pada versi database oracle yang sebelumnya, database oracle ini memiliki perkembangan yang sangat pesat. Namun kita juga harus tahu bahwa pada setiap versi database oracle yang baru menyebabkan ada fitur yang hilang atau ditambahkan dari database yang sebelumnya. Ada beberapa alas an mengapa kita bisa mengatakan bahwa oracle merevolusi database cloud menjadi database self-driving pertama di dunia.


1. Self – Driving


Teknologi tumbuh begitu cepat sehingga kita bisa melihat banyak peralatan yang dapat berjalan secara otomatis, atau sering disebut dengan istilah self-driving. Sekarang hal tersebut terjadi di Database Oracle 18c. Kecerdasan self-recovering berfungsi untuk secara otomatis mendeteksi dan menerapkan pengerjaan korektif untuk memastikan akses tanpa henti ke data Anda. Database otonom baru ini mudah digunakan. Membuat data warehouse menjadi lebih sederhana. Pengguna cukup menentukan tabel, memuat data, dan kemudian menjalankan beban kerja mereka dalam hitungan detik-tidak ada penyetelan manual yang dibutuhkan.


2. Penurunan Biaya


Tidak ada bisnis yang ingin menghabiskan banyak uang sederas air mengalir. Setiap bisnis baik skala kecil maupun skala besar memainkan peran penting bagi mereka. Semua jenis industri menghabiskan banyak uang untuk departemen TI supaya dapat bertahan dalam persaingan yang besar. Dengan menggunakan database oracle 18c dapat menghilangkan downtime yang mahal karena konfigurasi manual dan rawan kesalahan dengan cara melakukan manajemen adaptif termasuk aplikasi patch, pembaruan, dan peningkatan self-driving. Self-tuning menggunakan machine learning adaptif, yang secara otomatis mengaktifkan casing kolumnar, indeks penyimpanan, kompresi, dan prioritas sumber daya untuk memberikan sumber daya yang dibutuhkan untuk pekerjaan aktual yang dilakukan pada beban kerja, dan juga untuk menghindari over-provisioning yang mahal.


3. Dapat diandalkan


Oracle database 18c memiliki kemampuan memulihkan diri secara otomatis, mendeteksi dan menerapkan tindakan perbaikan untuk memastikan akses tanpa henti ke data Anda. Oracle Autonomous Database Cloud secara otomatis akan mengimplementasikan Oracle Real Application Clusters (RAC) dan cross-region Oracle Active Data Guard untuk memastikan ketersediaan data secara terus menerus. Kita tidak dapat menentukan / menemukan waktu downtime untuk pemeliharaan, update, upgrade, atau penambahan kapasitas komputasi dan penyimpanan.

Sebagian besar Database Administrator oracle saat ini merasa was was dalam menghadapi “Autonomous Database Service Suite” yang akan membuat para DBA menjadi tanpa pekerjaan alias menganggur. Namun pada kenyataan nya tidak lah demikian, karena sebenarnya ada beberapa jenis layanan database di cloud yang butuh untuk ditangani tenaga2 mantan DBA nantinya .. 

a. Oracle Database Cloud Service
b. Oracle Bare Metal Cloud Database Service
c. Oracle Database Exadata Cloud Service
d. Oracle Database Exadata Cloud Machine
e. Oracle Database Express Cloud Service

Sekarang, kita akan melihat beberapa hal penting tentang Database Otonomi pada database oracle 18c yang mungkin sebagian besar orang tidak tahu.

Oracle self driving database (Autonomous Database) akan tersedia mulai Oracle18c namun masih ada periode oracle support yang sangat besar untuk versi database oracle 12c R1 / R2. 12c R1 sampai 4 tahun lebih apabila kita hitung dari tahun ini, artinya kita membicarakan support oracle database 12C R1 sampai dengan lebih kurang tahun 2021.

Oracle support untuk versi database oracle 12c R2 sampai dengan April 2025 dan kemungkinan masih bias diperpanjang. Seperti yang kita ketahui bahwa para pengguna database oracle biasanya tidak bergerak begitu cepat untuk menggunakan rilis database oracle berikutnya sampai dengan mereka benar-benar membutuhkannya atau sampai masa support mendekati habis masa berlakunya. Jadi, Oracle database 18c adalah rilis yang akan digunakan untuk pelanggan yang benar-benar membutuhkannya atau oleh pelanggan yang menginginkan teknologi yang sangat up to date.

Sampai saat ini database self-driving Oracle dirancang untuk dijalankan di Exadata, seperti yang kita ketahui Exadata adalah sistem Engineering yang sangat kuat namun tidak murah .. jadi .. sebagian besar pelanggan pasti nya tidak akan menggunakan di Exadata, apalagi untuk pengguna di negara-negara berkembang. Artinya, Exadata memiliki biaya tinggi untuk menjadi perangkat keras biasa bagi sebagian besar perusahaan di seluruh dunia.

Sampai dengan pamaparan hal ini, maka tentunya tidak ada yg perlu ditakutkan bagi para DBA. Kenapa? Karena Database Oracle self-driving 18c belum akan menjadi mekanisme regular terhadap database perusahaan anda.

Jika anda tertarik untuk nantinya menggunakan database oracle 18c ini, maka anda perlu menyimak lebih banyak pemaparan berikut ini. Atau jika anda tertarik dengan big data tanpa harus mengetahui seluk beluk oracle database, maka anda juga bisa mulai cari tahu mengenai apa itu big data, serta bagaimana sebenarnya arsitektur big data.




Oracle database 18c bukanlah settingan untuk Service Database Otonomi.


Setelan Layanan Database Otonomi adalah jenis layanan yang tersedia sampai sekarang hanya untuk Oracle Public Cloud.

Setelan Layanan Database Otonomi akan berjalan hanya di Exadata (Sampai dengan saat ini, bias saja berubah lagi ke depannya).

Jadi sebenarnya Oracle Database 18c hanya release database oracle lainnya ?

Kesimpulannya adalah bahwa "Oracle 18c" akan berdampak kecil untuk database "reguler" On-premise dan layanan database yang terkait dengan "self driving".


Anda masih penasaran dengan Database “Self-Driving” ini ?


Mari kita analisa semua itu. Bagaimana bisa semua hal itu dilakukan saat ini dengan "Oracle 
Database Cloud Service (DBCS) biasa" dan bagaimana kita berpikir Oracle akan melakukannya.  Kita berbicara tentang "Bagaimana Oracle akan melakukan hal itu semua dikarenakan debut Autonomous Datawarehouse Database Cloud akan dilakukan di bulan Desember 2017”.

Penerapan Patch. 

Saat ini, jika Anda ingin menerapkan Patch, anda menggunakan DBCS hanya untuk masuk ke console, untuk melihat di layar jika ada patch yang tersedia untuk database itu dan anda hanya perlu melakukan beberapa klik untuk mengaplikasikannya .. Jadi sederhana.

Jadi .. kalua dipikir tidak "begitu sulit" bagi Oracle Corp, untuk mengganti klik menjadi proses otomatis.

Ada beberapa patch yang memerlukan penghentian database dikarenakan mereka mengubah biner, dll. Yah .. paling mungkin Oracle sudah punya mekanisme untuk menerapkan patch tanpa harus menghentikan database dan mereka telah memutuskan untuk menggunakannya sekarang .. jika kita bayangkan bagaimana cara kerja database di dalam menjalankan kalimat berurutan .. dll. setiap kalimat .. operasi .. dll semua ini bisa dikoordinasikan sehingga patch mempengaruhi entah bagaimana "posting" kalimat .. dll. Fakta menerapkan patch dengan sendirinya bukanlah hal yang besar mengingat tingkat perkembangan produk Oracle selama bertahun-tahun .. Jadi .. patch yang diaplikasikan dengan sendirinya hanyalah sebuah langkah maju yang berhubungan dengan tingkat otomasi.


Upgrade

Sampai sekarang ketika Anda bekerja dengan DBCS, satu-satunya cara untuk mengupgrade database yang sudah bekerja di cloud adalah menciptakan service lain yang akan mempunyai node komputasi lain dan kemudian kita menerapkan prosedur reguler untuk mengupgrade database tersebut. Namun, kita harus ingat bahwa Oracle telah bekerja sangat keras dalam membangun mekanisme yang sangat maju untuk mengelola PDB. Saat ini kita bisa mengkloning PDB secara hot-plug, kita bisa memindahkan PDB dari satu kontainer ke wadah lain yang sedang aktif .. pada dasarnya sangat mirip dengan mekanisme yang ditanamkan untuk memindahkan datafile secara online .. jadi .. teknologi ini sudah sangat matang dilakukan oleh Software Oracle untuk kali ini .. Jadi .. Upgrade database pasti merupakan prosedur yang sama untuk apa yang dilakukan dengan PDB, definisi boot CDB-nya memiliki binari dari versi yang sesuai dan kita hanya memindahkan data. Maka bisa kita tarik kesimpulan itulah mekanisme perangkat lunak Oracle database yang akan digunakan untuk meng-upgrade database secara “hot”. Jadi .. jika kita menyadari dengan semua pemaparan di atas .. semua ini hanyalah teknologi yang kita gunakan dengan rilis saat ini .. Perbedaan dalam database otonom adalah mereka menerapkan prosedur ini dengan database lengkap berdasarkan layanan baru ini.


Melakukan Tuning Itu Sendiri

Lebih mudah dijelaskan .. ketika anda men setting query menggunakan teknik adaptif .. dll. Semua ini bisa terjadi / dilakukan dengan database yang sedang berjalan .. membangun kembali indeks secara online .. dll. Harusnya selaras operasinya saat ini bisa dilakukan secara online. .. tidak begitu sulit untuk memiliki mesin AI (Artificial Intelligence) yang mengumpulkan data dan mengambil beberapa keputusan berdasarkan tes internal .. statistik .. dll. jadi .. tingkat otomasi / otonom baru ini hanya apa yang kita miliki namun dilakukan secara otomatis.


Apakah anda tertarik untuk melanjutkan pembahasan oracle database 18c ini? atau anda ingin melihat langsung pemaparan dari Larry Ellison ? anda bisa menyimak video youtube di bawah ini :




Mari kita bicara mengenai apa saja yang biasa dilakukan saat melakukan tuning :


Penerapan Patch: 

Dilakukan dari waktu ke waktu .. meskipun tidak terlalu sering .. jadi .. tidak banyak perubahan yang harus di lakukan saat kita melakukan pekerjaan ini.

Upgrade:

Apalagi untuk upgrade database oracle.. sangat jarang kapan kita mengaplikasikan upgrade ke database .. jadi .. tidak banyak perubahan yang harus di lakukan ketika kita melakukan pekerjaan ini.

Tuning itu sendiri:

Banyak perusahaan konsultan menggunakan banyak waktu dalam pengaturan secara konstan ke database karena berbagai alasan, sangat umum beberapa objek, beberapa perintah, beberapa kode, dll yang ditambahkan, dihapus, dirubah dalam database dan tentu saja variasi bagian ini akan berpengaruh dalam performa database oracle. Hal ini bisa berdampak relatif tinggi pada biaya banyak perusahaan, karena pengaturan database secara konstan menyiratkan biaya tinggi yang berkelanjutan. Tentu .. kita harus melihat seberapa bagus mesin bisa melakukan ini. Kita harus ingat bahwa saat ini sudah tersedia "Tuning Advisor" dan mereka tidak sempurna, terkadang kita menerapkan beberapa rekomendasi dan kinerja beberapa eksekusi perintah. Yang bisa menjadi kondisi terburuk adalah faktor "Tuning itu sendiri", bener bener bener bener bener bener bener bener bener bener ya. Jika hasilnya sangat bagus dan nyaman, pastinya faktor ini akan mengurangi banyak biaya bagi perusahaan dan tentu saja akan mempengaruhi cara DBA atau yang bertugas melakukan setting database.

Jadi .. ada satu hal penting untuk dipikirkan .. apakah memang pada oracle database enterprise anda sangat penting untuk menjalankan semua tuning ini. Tentunya dengan sendirinya tanpa adanya seseorang yang bisa memantau apa yang sedang dilakukan database, apakah ini suatu kelebihan atau justru menjadi bom waktu untuk DBA  ..?

Kita akan jujur .. pekerjaan yang kita lakukan dengan database kritis tidak akan mungkin memberi kepercayaan 100% pada perangkat lunak mesin untuk menyesuaikan diri dengan permintaan tanpa kendali atau pengawasan manusia. Tentu saja, memang ada beberapa database yang berada dalam kendali  beberapa tingkat kepentingan, atau keadaan yang sesuai dengan model itu yang memang harus disetel 100% tanpa pengawasan tapi bukan kasus biasa.

Dalam penyesuaian process autonomous database DBA akan memilih elemen apa yang bisa disetel secara otomatis dan yang mana dari mereka akan tetap terkendali dengan dBA. Pada akhirnya .. DBA akan selalu dibutuhkan . Pada kondisi ini DBA akan memiliki lebih banyak fasilitas untuk melakukan pekerjaan  mereka lebih mudah, tapi kenyataan berpikir untuk benar-benar mengganti manusia adalah sesuatu yang sulit terjadi meski mesin bisa mengambil keputusan yang benar.

Mari kita jelaskan contoh sederhana, Oracle Data Guard memiliki pilihan untuk FAILOVER secara otomatis dalam beberapa keadaan, tapi untuk beberapa kemungkinan kesalahan manusia bisa saja terjadi dan database bisa failover saat manusia tidak menginginkannya, jadi sebagian besar perusahaan masih enggan untuk menggunakan FSF (Fast Start Failover), Ini adalah mekanisme yang bekerja dengan sempurna  secara teknis namun memberikan kontrol total terhadap perangkat lunak untuk menerapkan sesuatu yang penting pada data adalah sesuatu yang sebagian besar tidak boleh ditanamkan oleh perusahaan.

Secara umum dapat kita katakana bahwa database otonom akan mengurangi ribuan jam kerja untuk DBA tetapi tidak akan mewakili secara praktis dan nyata untuk melakukan penghapusan kehadiran manusia.


Jadi, database otonom menjanjikan hal berikut:


Mengurangi waktu administrasi


  • Sedikit waktu untuk infrastruktur
  • Sedikit waktu untuk menambal, mengupgrade
  • Sedikit waktu untuk memastikan ketersediaan
  • Sedikit waktu untuk menyetel

Lebih banyak waktu untuk Inovasi


  • Lebih banyak waktu pada desain database
  • Lebih banyak waktu pada analisis data
  • Lebih banyak waktu pada kebijakan data
  • dan sangat penting .. Lebih banyak waktu untuk mengamankan data

Jadi .. dengan database oracle berada di Cloud, DBA harus memperkuat kemampuan mereka dalam hal database security


Sekarang mari kita beralih ke titik analisis yang lain ..

Masa depan DBA terkait dengan Oracle Database Cloud


17 tahun yang lalu .. cukup sederhana untuk merancang arsitektur database. Anda hanya harus memutuskan untuk memasukkan database Anda ke dalam:

  • Server ..
  • Atau di Mainframe
  • Atau bahkan di mesin desktop biasa dalam beberapa kasus ..

Sekarang, ketika DBA akan memutuskan tempat untuk mengajukan database, DBA harus memikirkan banyak pilihan .. seperti:

  • Server ..
  • Mesin Virtual
  • Sistem Rekayasa seperti "Exadata"
  • dan lainnya ..

DBA dan management harus memutuskan apakah arsitektur yang akan ditanamkan:

  • "On-Prem" sebagai pilihan reguler
  • Cloud di pusat data kita sendiri (Private Cloud)
  • Hybrid Cloud
  • Public Cloud, sekarang Cloud publik memiliki lebih banyak pilihan dengan database otonom di Oracle18c – dll


Dan untuk analisa selanjutnya ..


Dahulu mungkin begitu sederhana untuk merancang arsitektur database, namun sekarang tidak seperti itu. Sekarang kita memiliki banyak pilihan, dengan masing-masing dengan pro dan kontra nya sendiri sendiri. Pada dasarnya akan ada banyak pilihan.

Jadi .. pertanyaannya adalah .. Siapa yang akan bertugas mendesain semua ini ..?

Manajer Umum? jelas tidak .. ini akan dirancang oleh Arsitek Basis Data .. (DBAs)

Sekarang DBA akan diminta lebih banyak untuk memahami bisnis daripada sekedar mekanisme menjaga database agar tetap sehat dan berjalan.

Sebelumnya biaya Server .. service .. dll .. bukan hal utama dengan apa yang harus hadapi oleh DBA.. mereka fokus hanya dalam menjaga agar database berjalan dan menginstallnya. Sekarang berbeda, untuk database di Cloud, misalnya menyiratkan keputusan tentang jenis layanan apa yang akan digunakan dan dalam mode apa .. "Metered , Non-Metered “. Faktor-faktor tersebut berdampak langsung pada ekonomi perusahaan dan modus operasi database ini, jadi .. sekarang DBA lebih terkait dengan bisnis rule.

Beberapa tahun yang lalu dari menit pertama Oracle Corp mengumumkan perilisan "Oracle Cloud", tingkat keahlian lain untuk DBA lahir, mengubah bisnis ini semakin kompleks.

Maka bisa dipastikan DBA tidak akan dipecat. Sekarang peran DBA lebih penting lagi. Peran DBA hanya bergeser untuk lebih berperan sebagai arsitek.


Siapa yang harus khawatir karena semua perubahan ini ..?


Jenis DBA (Database Administrator) operasional yang bertugas atau atau petugas yang hanya melakukan tugas sederhana seperti:


  • Memeriksa Backups.
  • Memeriksa penyimpanan.
  • Membuat beberapa laporan.
  • Memasang Patch.
  • Memasang softwares.
  • Menciptakan lingkungan yang selalu baru bagi pengembang.

Semua tugas mudah dan sederhana .. telah dihapus dengan penambahan otomasi di Oracle Releases terbaru

Misalnya, sekarang pada saat membuat Oracle Database Cloud Service, ada banyak elemen yang tercipta secara otomatis termasuk:


  • Pembuatan node (Host)
  • Instalasi Perangkat Lunak
  • dan lain sebagainya.

Jadi .. hanya dengan contoh sederhana ini .. Anda bisa menyadari bahwa pada saat bekerja dengan Oracle Database Cloud Service Anda tidak perlu menginstal softwares lagi ..

Jika Anda ingin membuat konfigurasi RAC dalam menggunakan Oracle Database Cloud Service hanyalah beberapa klik mudah dan Anda bisa juga melakukan konfigurasi RAC-DG yang kompleks.
Era tugas rutin dan membosankan semakin jauh, jadi jika Anda seorang DBA yang bertugas atas tugas sederhana semacam itu, maka jawabannya adalah iya, anda perlu khawatir dengan masa depan anda.

Bertolak belakang dengan kesimpulan di atas, jika Anda seorang DBA yang bertugas menanamkan arsitektur MAA. Database Cloud, Exadata, dll. Maka anda perlu berbahagia, pentingnya peran anda sekarang akan semakin besar.


Jadi sekarang kita coba kembali ke pusat pembicaraan kita

Anda bisa membayangkan apa yang akan menjadi visi seseorang yang memulai karir sebagai DBA dengan semua pilihan yang ada di pasaran saat ini. Seseorang yang hampir tidak belajar SQL dan "Create table ", dll. Ketika pasar sedang berbicara tentang database otonom, Ini perbandingan antara motor 100cc dan motor 1000cc, sesuatu seperti itu.


Jadi apa yang kita dapatkan dari semua ini tentang penggunaan database oracle 18c ?


#1. DBA dengan jenis tugas pemeliharaan rutin bisa dihapus dari peran atau pekerjaan mereka jika mereka tidak berevolusi untuk fokus pada semua generasi baru yang terkait dengan Database Cloud ini.

#2. DBA yang mendapat hak istimewa untuk bekerja dengan Oracle Database selama era keemasan database "On-prem", sekarang mereka berada pada saat yang tepat untuk tumbuh sejajar dengan sesuatu yang mendefinisikan "sebelum" dan "setelah " masa tersebut. Dari itu Sekarang DBA akan memiliki kesempatan untuk beralih ke peran yang lebih strategis dalam organisasi mereka dan berdasarkan pada itu pendapatan "gaji, komisi, dll" akan semakin tinggi, sekarang anda akan dilibatkan dalam keputusan penting bagi perusahaan.

#3. Maaf untuk DBA yang baru masuk di dunia database seperti ini, perjalanan yang harus Anda jalankan lebih sulit dari sebelumnya jika anda ingin mendapatkan level teratas di area ini karena hari demi hari semakin banyak pilihan.


Kesimpulan yang bisa didapatkan :


1. Jika Anda adalah tipe DBA # 1 sesuai dengan deskripsi sebelumnya, mungkin Anda memiliki beberapa pilihan berkembang menjadi # 2, atau jika Anda memutuskan untuk tetap berada dalam peran yang sama, pembayaran Anda bisa kurang dari waktu ke waktu atau bahkan peran Anda secara perlahan bisa lenyap.

2. Jika Anda tipe DBA # 2, teruskan di jalur anda ini, dan peran Anda akan semakin penting di bidang ini, oleh karena itu nilai bayaran Anda akan memiliki probabilitas tinggi untuk ditingkatkan. Satu hal lagi, sebagian besar DBA tidak akan sampai menjadi Cloud Architect karena ini memerlukan waktu belajar, meneliti, melakukan pengujian, dll. Jadi .. berbanggalah jika anda mencapainya dan bisa memanfaatkannya di dalam organisasi anda saat ini ataupun pada pekerjaan anda di masa depan.

3. Jika Anda adalah tipe DBA # 3, jangan menyerah. Jangan melihat perjalanannya terlalu lama seperti sebelumnya, teruslah belajar dan Anda akan mendapatkan level sebagai pesaing bagus di pasar.


Kita harus mengatakan bahwa teknologi membentuk sebuah langkah menuju perubahan besar yang baik untuk semua teknisi. Kita mendapatkan hal baru untuk dipelajari dan meningkatkan kemampuan teknis kita, perang industri melawan biaya dan downtime akan dipecahkan dan pelanggan adalah raja pasar di sana. Juga beberapa keuntungan bagi pelanggan akan menghemat waktu adalah perubahan positif yang sangat besar bagi mereka. Karena adanya perubahan, kita tidak bisa menjangkau sisi negatif seperti dalam sejarah komputer kita bisa melihat permintaan Computer tidak mengurangi pekerjaan dan peluang lain di sisi lain sudah bisa menyelesaikan banyak permasalahan. Hanya saja dengan terjadinya perubahan baru, maka kita harus siap untuk keterampilan baru.


Refference :
http://oracle-help.com
http://www.zdnet.com
https://community.oracle.com

Peluang Big Data Indonesia – Big Data Administrator.  Tahun 2016 merupakan tahun yang penting untuk big data, termasuk juga dengan big data Indonesia. Dengan organisasi penyimpanan, pengolahan, dan penggalian nilai dari segala bentuk dan ukuran data yang lebih besar. Pada tahun 2017, sistem yang mendukung volume data yang besar baik data terstruktur dan data yang tidak terstruktur akan terus meningkat. permintaan pasar akan platform yang membantu penjaga Data mengatur dan mengamankan big data sementara memberdayakan pengguna akhir untuk menganalisis data tersebut. Sistem ini akan mature untuk beroperasi dengan baik dalam sistem TI perusahaan dalam system standar maupun system enterprise.

Sebagaimana dikutip dan disadur dari tableau, bahwa setidaknya ada 10 peluang perkembangan big data di dunia. Demkian juga paling tidak yang terjadi dengan perkembangan big data Indonesia. Ke sepuluh peluang tersebut antara lain :



1.  Big Data Menjadi Lebih Cepat dan Mudah Dilakukan Pendekatan

Peluang Big Data Indonesia


Pilihan memperluas system untuk mempercepat Hadoop.

Tentu, Anda dapat melakukan penggunaan machine learning dan melakukan analisis sentimen pada Hadoop, tapi pertanyaan pertama orang yang sering bertanya adalah: Seberapa cepat kah SQL interaktif? SQL, setelah semua yang dilakukan, adalah saluran untuk pengguna bisnis yang ingin menggunakan data Hadoop supaya lebih cepat, dashboard KPI lebih berulang serta analisis eksplorasi.

Hal ini diperlukan untuk kecepatan yang telah memicu adopsi database lebih cepat seperti Exasol dan MemSQL, penyimpanan yang berbasiskan Hadoop seperti Kudu, dan teknologi yang memungkinkan query lebih cepat. Menggunakan mesin SQL di atas Hadoop (Apache Impala, Hive LLAP, Presto, Phoenix, dan bor) dan teknologi OLAP di atas Hadoop (AtScale, Jethro Data, dan Kyvos Insights), akselerator permintaan ini lebih lanjut mengaburkan garis antara datawarehouse tradisional dan dunia big data.



2.  Big Data tidak lagi Hanya Hadoop

Peluang Big Data Indonesia

Tool yang dibangun untuk Hadoop menjadi Usang

Dalam tahun-tahun sebelumnya, kami melihat beberapa teknologi meningkat dengan gelombang big data yang memenuhi kebutuhan analisis pada Hadoop. Tapi perusahaan yang memiliki kompleksitas data, lingkungan yang heterogen tidak lagi ingin mengadopsi jalur akses BI siled hanya untuk satu sumber data (Hadoop). Jawaban atas pertanyaan mereka dikubur dalam berbagai sumber mulai dari sistem catatan warehouse cloud, data terstruktur dan tidak terstruktur dari keduanya yaitu Hadoop dan sumber-sumber non-Hadoop. (Kebetulan, bahkan database relasional menjadi siap dengan big data. SQL Server 2016, misalnya, baru-baru ini menambahkan dukungan JSON).

Pada tahun 2017, pelanggan akan menuntut analisis pada semua data. Platform yang berbasis data- dan sumber-agnostik akan berkembang sementara mereka yang tujuan pembangunan untuk Hadoop dan gagal untuk menyebarkan seluruh kasus penggunaan akan terpuruk di pinggir jalan perkembangan big data. Keluarnya Platfora berfungsi sebagai indikator awal dari kecenderungan ini





3.  Organisasi pengembangan danau data dari mendapatkan-menjadikannya untuk mendorong value

Peluang Big Data Indonesia


Sebuah danau data seperti waduk buatan manusia.

Pertama bendungan Anda berakhir (membangun cluster), maka Anda membiarkannya terisi dengan air (data). Setelah Anda menetapkan danau, Anda mulai menggunakan air (data) untuk berbagai keperluan seperti pembangkit listrik, minum, dan menciptakan segala keperluan (analisis prediktif, ML, keamanan cyber, dll).

Sampai sekarang, hydrating danau telah menjadi tujuan itu sendiri. Pada tahun 2017, yang akan berubah yaitu sebagai pembenaran bisnis untuk Hadoop semakin kencang. Organisasi akan menuntut penggunaan berulang dan lincah dari danau data untuk mendapatkan jawaban yang cepat. Mereka akan hati-hati mempertimbangkan hasil bisnis sebelum berinvestasi pada personil(SDM), data, dan infrastruktur. Ini akan mendorong kemitraan yang lebih kuat antara bisnis dan TI. Dan platform self-service akan mendapatkan pengakuan lebih sebagai tool untuk memanfaatkan aset big data ini.



4.  Arsitektur Yang Semakin Matang untuk menolak satu ukuran yang cocok untuk semua Framework

Peluang Big Data Indonesia

Hadoop tidak lagi hanya sebuah platform batch-processing untuk kasus penggunaan data ilmiah.

Hal ini telah menjadi mesin multi-tujuan untuk analisis ad hoc. Penggunaan tool Ini bahkan digunakan untuk pelaporan operasional pada hari-hari dengan beban kerja-jenis tradisional yang ditangani oleh data warehouse

Pada tahun 2017, organisasi akan merespon kebutuhan-kebutuhan hybrid dengan mengejar menggunakan kasus-spesifik pada desain arsitektur. Mereka akan meneliti sejumlah faktor termasuk pengguna personal, pertanyaan, volume, frekuensi akses, kecepatan data, dan tingkat agregasi sebelum melakukan strategi data. arsitektur-referensi yang modern ini akan menjadi suatu kebutuhan. Mereka akan menggabungkan alat self-service yang terbaik pada data-prep, Hadoop Core, dan platform analisis pengguna akhir dengan cara yang dapat berulang sebagai tahapan evolusi pada kebutuhan tersebut. Fleksibilitas arsitektur ini pada akhirnya akan mendorong pilihan teknologi.



5.  Ragam Data, bukan volume atau kecepatan, mendorong investasi pada Big Data

Peluang Big Data Indonesia


Gartner mendefinisikan big data sebagai tiga Vs:

volume yang tinggi (Volume), kecepatan yang tinggi (velocity), dan berbagai aset informasi tinggi (variety). Sementara ketiga Vs tersebut berkembang, variety menjadi pendorong terbesar tunggal terhadap investasi pada big data, seperti yang terlihat dalam hasil survei terbaru oleh New Vantage Partners. Tren ini akan terus tumbuh terhadap perusahaan yang berusaha untuk mengintegrasikan lebih banyak sumber dan fokus pada "ekor panjang" dari big data. Dari schema-free JSON untuk jenis type bersarang di dalam database lain (relasional dan NoSQL), data non-flat (Avro, Parquet, XML), format data yang tumbuh berlipat dan konektor data menjadi penting. Pada tahun 2017, platform analisis akan dievaluasi berdasarkan kemampuan mereka untuk menyediakan konektivitas langsung untuk sumber-sumber data yang berbeda atau memiliki variasi data yang banyak.



6.  Spark dan Pembelajaran Mesin Yang Menjalankan Big Data

Peluang Big Data Indonesia


Apache Spark, dibuat untuk komponen ekosistem Hadoop, sekarang menjadi platform big data pilihan bagi perusahaan.

Dalam sebuah survei dari data architect, manajer TI, dan analis BI, hampir 70% dari responden telah menyukai Spark lebih dari MapReduce yang merupakan tool incumbent, yang merupakan batch-oriented dan tidak mampu menyesuaikan dirinya untuk aplikasi interaktif atau real-time stream processing.

Kemampuan besar menghitung pada big data yang ada pada high platform menampilkan perhitungan intensif dari machine learning, AI, dan algoritma grafik. Microsoft Azure ML khususnya telah diambil  sebagai platform awal yang bersahabat dan integrasi yang mudah dengan platform Microsoft yang ada. Membuka ML kepada massa akan mengarah pada penciptaan model yang lebih dan memiiki ukuran petabyte dalam menghasilkan aplikasi data. Sebagai machine learning dan sistem pintar, semua mata akan tertuju pada penyedia software swalayan untuk melihat bagaimana mereka membuat data ini didekati dan digunakan oleh pengguna akhir.



7.  Konvergensi IOT, Awan / Cloud, dan Big Data Menciptakan Peluang Baru Untuk Analisis Swalayan

Peluang Big Data Indonesia

Tampaknya bahwa segala sesuatu di 2017 akan memiliki sensor yang mengirimkan informasi kembali ke induk atau aplikasi asal tersebut.

IOT menghasilkan volume big data terstruktur dan tidak terstruktur, dan meningkatnya pangsa big data ini untuk digunakan pada layanan cloud. Data yang ada bisa head terogen dan tersimpan di beberapa sistem relasional dan non-relasional, dari cluster Hadoop ke database NoSQL. Sementara inovasi dalam penyimpanan dan managed services telah mempercepat proses capture, mengakses dan memahami data itu sendiri masih merupakan tantangan terakhir yang signifikan. Akibatnya, tumbuhnya permintaan untuk tool analisis yang smooth dalam menghubungkan dan menggabungkan berbagai sumber data yang ada di cloud. Tool tersebut memungkinkan perusahaan untuk mengeksplorasi dan memvisualisasikan jenis data yang disimpan di mana saja, membantu mereka menemukan peluang yang tersembunyi dalam investasi IOT mereka.



8.  Mempersiapkan Data Self-Service menjadi Mainstream Sebagai Pengguna Akhir Yang Mulai untuk membentuk Big Data

Peluang Big Data Indonesia

Membuat data Hadoop dapat diakses oleh pengguna bisnis adalah salah satu tantangan terbesar di zaman kita.

Munculnya self-service analytics platform telah meningkatkan perjalanan perkembangan big data Indonesia ini. Tapi pengguna bisnis ingin mengurangi waktu dan kompleksitas ketika mempersiapkan data untuk analisis, yang paling penting adalah ketika berhadapan dengan berbagai jenis data dan format data ataupun metadata.

Tool self-service untuk perparasi data Agile tidak hanya memungkinkan data Hadoop akan disiapkan pada sumbernya tetapi juga membuat data yang tersedia sebagai snapshot untuk eksplorasi lebih cepat dan lebih mudah. Kita telah melihat sejumlah inovasi dalam hal ini dari perusahaan yang berfokus pada persiapan Data pengguna akhir untuk big data seperti Alteryx, Trifacta, dan Paxata. Tool seperti ini menurunkan hambatan masuk untuk pengadopsi Hadoop lebih telat dan lamban dan akan terus untuk mendapatkan traksi di tahun 2017.





9.  Big Data Bertumbuh: Hadoop Menambah Standar Perusahaan

Peluang Big Data Indonesia


Kita dapat melihat tren yang berkembang dari Hadoop menjadi bagian inti dari lanskap perusahaan IT.

Dan pada tahun 2017, kita akan melihat lebih banyak investasi dalam komponen keamanan dan pemerintahan di sekitar sistem perusahaan. Apache Sentry menyediakan sistem untuk fine-grained, otorisasi berbasis peran data dan metadata disimpan di cluster Hadoop. Apache Atlas, dibuat sebagai bagian dari inisiatif organisasi data, memberdayakan organisasi untuk menerapkan klasifikasi data yang konsisten di seluruh ekosistem data. Apache Ranger memberikan administrasi keamanan terpusat untuk Hadoop.

Pelanggan mulai mengharapkan jenis kemampuan dari platform RDBMS kelas perusahaan mereka. Kemampuan ini bergerak ke garis depan munculnya teknologi big data, sehingga belum mampu menghilangkan penghalang lain untuk adopsi perusahaan.



10.  Rise of katalog metadata Membantu Orang Menemukan Big Data Analisis dengan Baik

Peluang Big Data Indonesia


Untuk waktu yang lama, perusahaan membuang data karena mereka memiliki terlalu banyak data untuk diproses.

Dengan Hadoop, mereka dapat memproses banyak data, namun data tersebut umumnya tidak terorganisir dalam cara yang dapat ditemukan

katalog metadata dapat membantu pengguna menemukan dan memahami data layal yang relevan dalam menganalisis menggunakan alat self-service. Gap yang membutuhkan pelanggan ini sedang diisi oleh perusahaan seperti Alation dan Waterline yang menggunakan machine learning untuk mengotomatisasi pekerjaan dalam menemukan data dalam Hadoop. Katalog file tersebut menggunakan tag, mengungkap hubungan antara aset data, dan bahkan memberikan saran permintaan melalui UIS yang dicari. Hal ini membantu baik konsumen dan pelayan data untuk mengurangi waktu yang dibutuhkan untuk percaya, menemukan, dan akurasi query data. Pada tahun 2017, kita akan melihat lebih banyak kesadaran dan permintaan untuk penemuan self-service, yang akan tumbuh sebagai perpanjangan alami dari analisis swalayan pada perkembangan big data Indonesia.

Apakah anda dan saya telah siap untuk menyambut era big data Indonesia? Hanya diri kita masing2 yang bisa menjawab tantangan tersebut. Untuk diskusi dan belajar bersama mengenai big data, kita bisa membaca big data tutorial yang akan tayang di blog big data administrator.



Reff :

big data Indonesia, big data tutorial, contoh aplikasi big data, konferensi big data indonesia 2016, idbigdata, belajar big data, makalah big data, apa itu big data, solusi 247, data science Indonesia

MKRdezign

Contact Form

Name

Email *

Message *

Powered by Blogger.
Javascript DisablePlease Enable Javascript To See All Widget