Big Data DBA: News

Belajar Big Data Solusi Data Management Dengan Big Data

Articles by "News"

Big Data vs Business Intelligence - System data analytic merupakan bagian terdepan dari sistem komputasi perusahaan modern. 

Sementara banyak orang mungkin merasa bahwa mereka tertinggal berada di belakang "wilayah dari seni tersebut" sebagaimana yang mereka baca, kebenarannya adalah proyek-proyek tersebut yang kita terapkan saat ini untuk perusahaan terkemuka dalam ilmu kehidupan, keuangan, Kesehatan, Layanan Internet, dan kedirgantaraan, mereka memiliki banyak kesamaan antara satu dengan yang lain, dan mungkin bahkan dengan lingkungan komputasi milik Anda.

Itulah kebenaran yang terjadi saat ini. Sementara itu, kita terus-menerus melihat Buzzwords di media teknologi, yang bekerja sebagai penulis perjuangan untuk membantu semua orang memahami apa yang terjadi di luar sana mengenai big data maupun business intelligence. 


Big Data vs Business Intelligence


Big data (BD) dan Business Intelligence (BI)  dapat berbicara mengenai banyak informasi namun masih banyak orang tidak jelas tentang apa yang dimaksud dengan big data ataupun business intelligence. Jadi, mari kita luruskan pemahaman terlebih dahulu dengan melihat tentang apa sebenarnya proyek-proyek tersebut, baik proyek tentang business intelligence system maupun proyek big data analisis. 

Proyek-proyek yang dikerjakan untuk siapa, masalah apa saja yang big data dan business intelligence pecahkan, kesamaan apa saja yang mereka miliki, dan bagaimana mereka bisa berbeda.

Apakah Sebenarnya Big Data itu dan Bagaimana Trend Big Data Ke Depan?

Seorang analis terkemuka di tim data Gartner, yang terkenal mendefinisikan big data adalah data yang memiliki volume, kecepatan, dan variasi (volume, velocity dan Variety / 3V).

big data - volume - velocity - variety
sumber : datasciencecentral.com

Saat ini data mentah yang tersedia untuk kita olah memiliki volume yang sudah tidak dapat diantisipasi, karena sumber big data tersebut berasal dari hampir setiap obyek dan tindakan di dalam suatu perusahaan yang dilacak dan dicatat

Sebagai gambaran, ada sebuah group rumah sakit ternama bagaimana mereka menggambarkan banyaknya data yang dihasilkan, dimana perangkat medis yang berjumlah 22.000 buah membuat atau mencatatkan log data sepanjang waktu.

Kita bisa membayangkan seberapa besar volume informasi yang didapatkan. Bagaimana cara kita memindahkan data-data tersebut, apakah membiarkan nya ataukah menyimpannya. Bagaimana orang bisa memahami hal ini.

Penambahan datanya pun terjadi secara stream tiada henti dari node data baru, datang dengan kecepatan tinggi dan terus menambahkan datanya terus menerus.

Di sadur dari situs fpcomplete diketahui bahwa pendiri analisis keuangan perusahaan OTAS yang saat ini menjadi seorang eksekutif liquidnet mengatakan banyak saham analis yang menggunakan system mereka untuk mengatur jutaan titik data baru yang muncul setiap hari dari beberapa pasar saham.

Kelihatannya cukup sulit bukan ? Kemudian anda menambahkan berbagai sumber big data yang relevan untuk membuat keputusan yang baik. Pekerjaan ini dapat berfokus pada pengorganisasian penelitian yang luas dan kolaborasi big data analytics yang bisa menghasilkan informasi untuk dimasukkan ke dalam keputusan utama untuk level management dan sebagainya.

Bagaimana Anda memilih tindakan ketika ternyata ada data penting dalam selusin format yang berbeda, pada berbagai server yang berbeda, di belakang berbagai API dan address yang berbeda-beda pula?

Big data adalah skenario yang paling "berhati-hati dengan apa yang anda inginkan". Apakah Anda ingin tahu apa yang sedang terjadi? 

Oke, sekarang apa yang akan Anda lakukan jika Anda tahu hampir segala sesuatu nya terjadi? Ini seperti membeli output harian dari tambang emas. Tanpa ada bantuan manusia, tanpa bantuan mesin besar, namun anda diharuskan dapat mengekstrak sebagian besar harta bernilai dari biji emas.

Lalu Apakah yang Dimaksud dengan Business Intelligence System?

Ide business intelligence ini sebenarnya mendahului komputer, tetapi dibuat jauh lebih penting dan lebih berguna dengan jumlah data yang besar (big data) yang kita miliki sekarang. Business Intelligence (BI) adalah sistem untuk membuat keputusan yang lebih baik melalui sistem pendukung keputusan yang lebih baik.

Sistem ini dapat sesederhana pelaporan dan charting Software, atau yang rumit seperti pembelajaran mesain / machine learning dan artificial intelligence / kecerdasan buatan. Dan business intelligence system ini bergantung pada aliran input data terorganisir yang bahkan tidak harus menjadi "besar" namun menjadi sangat berguna. Biasanya output ditampilkan dalam bentuk dashboard business intelligence.

dashboard business intelligence, big data analytics, big data analisis, business intelligence system
sumber : pinterest.com


Bahkan, banyak BI melibatkan kecerobohan dari kompleksitas data mentah, membawanya ke tool business intelligence yang dapat digunakan manusia seperti dashboard, metrik, dan deteksi pengecualian. Banyak sistem hierarki BI menyajikan pengambil keputusan dengan ringkasan situasi saat ini, dan fitur untuk menyaring atau menjelajahi data untuk mempelajari lebih lanjut tentang setiap bagian informasi dari data yang tersedia.

Dikutip dari fpcomplete juga, Seattle Cancer Care Alliance misalnya, menyediakan perawatan penyelamatan jiwa di beberapa lembaga terkemuka perawatan kanker. Dari awal, mereka memberikan perawatan yang luar biasa untuk banyak pasien besar. 

Tapi Bukankah itu akan lebih menarik untuk terus-menerus belajar dari hasil semua perawatan ini, untuk melihat mana terapi yang bekerja terbaik untuk jenis-jenis kasus yang ada dan kemudian menggunakan pengetahuan ini untuk memberikan kursus terbaik perawatan untuk setiap pasien pada masa depan?

Sementara analisis tipikal mungkin hanya melibatkan ribuan pasien secara total, hampir tidak cukup untuk terdengar seperti Big Data meskipun kaliber wawasan yang harus diberikan sangat tinggi.

Untuk contoh yang sangat berbeda, pertimbangkan proyek perusahaan manufaktur multi-miliar dolar. Seperti yang khas hari ini, mesin mahal besar mereka memiliki komputer di papan yang terus-menerus menghasilkan log ketika mereka bekerja. 

Tapi banyaknya data yang tergenerate ini hanya masuk ke tempat penyimpanan data, dengan tidak ada yang melihat sebagian besar log data tersebut. 

Apa yang mereka inginkan adalah untuk memahami penyebab utama kerusakan dan downtime, dan secara bertahap menghilangkan nya, melalui analisis offline untuk menemukan praktik terbaik untuk pemeliharaan, dan analisa singkat secara real-time untuk meningkatkan rencana operasi selama hari kerja akan membuat operator mereka berubah menjadi operator super yang dibantu komputer. 

Itulah business intellligence, mengubah data yang tersedia menjadi informasi untuk pengambilan keputusan yang lebih baik.

Bagaimana Saya Bisa Mendapatkan Keduanya baik Big Data maupun Business Intelligence?

Seperti yang mungkin sudah Anda duga, pendekatan Big Data dan Business Intelligence tidaklah bersaing. Big data dan business intelligence adalah Arcithecture IT yang bermain baik secara bersama-sama, dengan Business Intelligence sebagai bagian lapisan di atas Big data.

Berikut ini merupakan gambaran architecture business intelligence dengan penggunaan big data dan memanfaatkan penggabungan antara pentaho dan hadoop. Sehingga bisa dikatakan akan memberikan hasil berupa tool big data analytics (big data analisis).

architecture business intelligence dengan penggunaan big data, big data tools, aplikasi big data
sumber : pinterest.com


Kami menemukan bahwa sebagian besar perusahaan sudah memiliki organisasi TI yang baik di tempat mereka, dengan keterampilan untuk mengembangkan perangkat lunak baru ketika diperlukan, dan untuk mengintegrasikan tool komersial yang ada (COTS) bila tersedia. 

Masalahnya, sering tidak tersedia nya bangunan blok. Siapapun dapat memperoleh atau menulis program untuk memasukkan tabel data dan grafik, atau menghitung subtotal. Masalahnya adalah bagaimana menempatkan blok bangunan ini bersama-sama, dan terutama, bagaimana untuk meningkatkan solusi sepele untuk skala produksi yang besar.

Kita dapat memecah pekerjaan Big Data dan Business Intelligence menjadi tiga bagian yang dapat dilakukan yaitu: arsitektur aplikasi DevOps, DataOps, dan Cloud.

DevOps adalah istilah jargon lain dalam penggunaan system secara konstan. Ini berarti rekayasa yang terjadi setelah Anda menulis beberapa kode tapi sebelum pengguna akhir menerima hasil akhir di layar.

Devops adalah seperangkat alat dan praktik terbaik untuk penskalaan: dari analisis data yang berjalan
sumber : google


Devops adalah seperangkat alat dan praktik terbaik untuk penskalaan: dari analisis data yang berjalan satu kali, pada satu mesin pengguna, ke sistem yang berjalan sepanjang waktu, pada sistem berbasis cloud yang andal dan terukur serta aman, untuk mendukung semua orang yang membutuhkan jawabannya. 

Jika Anda masih menggunakan proses manual dan misterius bisa dibilang sebagai "IT Wizards" untuk meningkatkan analisis Anda dari laptop ke pusat data, Anda tidak akan mencapai skala Big data atau mencapai bentuk Business Intelligence. 

DevOps adalah seperangkat teknik dan teknologi yang telah terbukti digunakan untuk integrasi, penyebaran, scale-up, dan operasi berkesinambungan.

DataOps adalah konsep yang lebih baru yaitu merupakan "DevOps untuk data." Sama seperti berbagai tool yang bisa membersihkan dan meningkatkan aplikasi analitik Anda, seperangkat tool secara paralel dapat membersihkan dan meningkatkan data aktual Anda. 

DataOps mencakup pembersihan data, pembuatan skema, penyimpanan dan replikasi, warehouse dan repositori, manajemen metadata
sumber : medium.com


DataOps mencakup pembersihan data, pembuatan skema, penyimpanan dan replikasi, warehouse dan repositori, manajemen metadata, manajemen versi, penyediaan API yang seragam, keamanan dan pemantauan semua alat dan proses untuk mengubah "tumpukan" data menjadi "pabrik jawaban" yang mampu menanggapi permintaan yang masuk akal, dan terus menelan dan menggabungkan aliran data terbaru.

Arsitektur aplikasi Cloud berarti merancang sistem terdistribusi Anda baik itu server, aplikasi, alat, proses kerja, pekerjaan, dan aliran data ke dalam keseluruhan system yang masuk akal. 

Arsitektur aplikasi Cloud berarti merancang sistem terdistribusi
sumber : researchgate.net

Hari ini, hampir tidak ada yang harus merancang sebuah sistem TI baru besar dari awal. Jika perusahaan anda sebagian besar menulis kode perangkat lunak yang sama sekali baru dan memulai dari layar kosong, maka anda akan membuang-buang pekerjaan dan kehilangan waktu. 

Memahami praktik terbaik dan arsitektur TI yang ada, serta memilih komponen dari inventaris yang ada, biasanya akan membuat Anda berhemat 80% dari jalan menuju solusi yang baik. Reuse akan membuat semua perbedaan! Fitur cloud dan terdistribusi (distributed), arsitektur berorientasi layanan membuat membangun blok data dengan gaya pembangunan produktif dan cepat. 

Arsitektur yang tahan bug, dengan pemisahan tanggung jawab yang jelas, akan memungkinkan Anda untuk memecah sistem TI Anda menjadi beberapa bagian. Sebagian besar tidak perlu lagi ditulis dari awal dan masing-masing maintainable pada jadwalnya sendiri.

Apakah Big Data Ataupun Business Intelligence Realistis untuk Anda Harapkan ?

Kabar baiknya adalah bahwa Big data bukanlah proposisi secara keseluruhan, dan demikian juga dengan business intelligence. Anda dapat membuat kemajuan secara bertahap pada keduanya, yang persis seperti apa yang kita inginkan terhadap client untuk dilakukan.

Tahap 1 

Akan menjadikan Business Intelligence dengan porsi yang terbatas dari data Anda yang sudah dalam kondisi baik. Ini cukup mudah untuk membuat solusi TI baru (bukan berarti bahwa ini adalah aplikasi baru), karena solusi ini akan menggunakan kode yang sudah ada untuk banyak pekerjaan yang akan menjawab apa pun yang Anda rasakan dan menjadi pertanyaan anda terhadap data yang anda gunakan.

Anda mungkin saja sudah melakukan beberapa hal tersebut, bahkan tanpa menyebutnya sebagai business intelligence. Sebagian besar perusahaan tinggal di tahap 1 selama bertahun-tahun, tidak pernah benar-benar mendapatkan jawaban yang mereka inginkan terhadap data yang mereka miliki, tapi setidaknya menjawab beberapa pertanyaan penting dengan sistem tersebut.

Tahap 2 

Akan menjadi DevOps dasar; mengubah pekerjaan TI Anda menjadi pabrik TI, di mana setiap analisis yang bertujuan untuk " seseorang " dapat diubah menjadi analisis yang bertujuan untuk " semua orang, sepanjang waktu ", maintainably, direproduksi, andal, scalable, dan aman. 

Kemungkinan langkah di sini termasuk version control, integrasi terus-menerus, penyebaran berkelanjutan, pengujian otomatis, skalabilitas awan (cloud), pemantauan sistem, dan mungkin audit keamanan. Dengan banyak hal ini dilaksanakan, Anda akan melihat produktivitas BI Anda bekerja, dengan solusi online baru yang dilakukan secara teratur dan dapat diprediksi.

Tahap 3 

Akan menjadi dasar DataOps, diluncurkan ketika Anda dengan cepat menemukan bahwa pertanyaan yang Anda inginkan untuk dijawab memerlukan data yang "berada di suatu tempat" akan tetapi belum terorganisir. 

Anda dapat mengharapkan untuk melakukan inventarisasi dari banyak data formal dan informal, seperti apa format data tersebut, bagaimana data-data tersebut tiba, seberapa akurat mereka, dan bagaimana mereka diakses. 

Satu set sistem otomatis akan dibentuk untuk menyaring, mengoreksi, atau "membersihkan" data yang datang ini, dan kemudian membuatnya tersedia pada “kekuatan penuh”, biasanya berbasis cloud, server data terdistribusi. 

Satu set metadata atau "daftar isi" akan disiapkan untuk membantu tim Anda menemukan dan memanfaatkan sumber data yang diperlukan untuk menjawab kueri tertentu. Sumber data kemungkinan akan selalu menjadi Federasi, dengan tidak ada satu format untuk diterapkan pada semua, dan dengan perbedaan layanan pada process cloud. 

Dengan menerapkan DataOps, Anda dapat memperkirakan untuk menjelaskan pertanyaan yang masuk akal tentang "apa yang sebenarnya terjadi," dan jika data tersebut ada di suatu tempat, sistem yang menjawab pertanyaan Anda akan memungkinkan untuk bekerja.

Pada Akhirnya Perbedaan antara Big data dan Business Intelligence akan memudar

Pada akhirnya kita akan menemukan bahwa penguasaan aliran data lebih dan lebih terfokus untuk setiap industri untuk keperluan big data analytics. 

Apakah Anda berada dalam teknologi keuangan (FinTech), kedirgantaraan, ilmu hayati, atau perawatan kesehatan, dunia Anda cenderung terlihat lebih dan lebih seperti dunia layanan internet yang aman dan komputasi awan. Orang di setiap industri memberitahu kita bahwa ini adalah di mana mereka akan sampai dan mereka lakukan.

Sebagai otomatisasi yang meningkat, Big data akan menjadi norma, dan pada akhirnya kita akan segera hanya menyebutnya sebagai data. Sama seperti DevOps menjadi norma untuk kelompok TI yang inovatif, maka akan ada juga yang namanya DataOps. 

Departemen TI akan lebih dan lebih menyerupai dua sisi "ritsleting," dengan adanya peningkatan dalam hal input data maka akan semakin meningkatkan input perangkat lunak, menjadi semakin meningkatkan solusi online yang berjalan di data center mereka dan di cloud.

Ini akan menjadi jalan panjang trend big data dan business intelligence, tapi secara realistis kita dapat berharap untuk masa depan di mana setiap pertanyaan yang Anda miliki tentang operasi Anda, pelanggan Anda, pasien Anda, penelitian Anda, dapat dijawab dengan data nyata yang handal, direproduksi, dan tersedia sepanjang waktu.

Mungkin anda juga menyukai artikel berikut ini :
Bagaimana Mungkin Big Data Bisa Merubah Dunia
Infrastruktur Big Data Itu Sebenarnya Seperti Apa
Top Tools Open Source untuk Big Data



Refference :
fpcomplete.com
#bigdataadalah
#bigdataanalyticsadalah
#bigdataanalisis
#businessintelligenceadalah
#businessintelligencesystemadalah

Berdasarkan aturan secara umum, data integration tampaknya seperti topik yang cukup sederhana: kita hanya perlu untuk menggabungkan data yang berasal dari lebih satu sumber data.

Akan tetapi dalam prakteknya, ternyata data integration bisa menjadi sangat kompleks. Banyak vendor menawarkan array yang memusingkan menggunakan data integration tools yang berbeda dengan berbagai macam kemampuan. 

5 Type Data Integration Teratas Berdasarkan Jenis Kasus
Photo by Franki Chamaki on Unsplash

5 Type Data Integration Teratas Berdasarkan Jenis Kasus


Perusahaan harus memilih antara data integration tools lokal dan berbasis Internet, single-purpose tools dan platform data integration multi-fungsi, dan data integration tools yang berlicense atau data integration tools yang open source.

Dan untuk memilih data integration tools yang terbaik, maka kita harus memiliki strategi data integration, serta integrasi data menggunakan kasus-kasus yang masuk akal dari perspektif keuangan.

Tentu saja, kebutuhan setiap organisasi akan sedikit berbeda, tergantung pada industri mereka, produk, pelanggan, alur kerja dan faktor lainnya. Namun, banyak perusahaan menggunakan data integration untuk tujuan serupa.

“Kasus penggunaan data integration ini berkisar dari migrasi data untuk sinkronisasi data di beberapa sistem untuk menyediakan pemandangan holistik 360 derajat dari pelanggan.”


Berikut ini adalah lima dari data integration yang paling umum dengan menggunakan kasus-kasus yang berlaku di berbagai industri:

Migrasi data ke dalam data warehouse atau Hadoop

Saat ini, data analytics telah menjadi bagian integral dalam melakukan bisnis. Dalam setiap industri, organisasi menciptakan repositori big data yang mereka harapkan dapat untuk memberikan wawasan berharga.

5 Type Data Integration Teratas Berdasarkan Jenis Kasus
Photo by Balázs Kétyi on Unsplash

Pada kenyataannya, di NewVantage Partners Big Data Executive Survey 2018, ternyata 97.2 persen responden mengatakan bahwa organisasi mereka sudah berinisiatif untuk menggunakan big data atau kecerdasan buatan (AI).

Tentunya banyak tantangan yang dihadapi dalam mengembangkan bigdata. Apa saja tantangannya ? Anda bisa mencari tahu pada artikel berikut yang membahas tentang apa saja tantangan untuk mengolah big data.

Namun, sebelum organisasi dapat menjalankan laporan, melakukan analisis atau mendapatkan pengetahuan, mereka pertama kali perlu untuk mengumpulkan semua data mereka ke dalam satu tempat dan mengumpulkan data tersebut dalam format yang tepat untuk analisis.

Dan ternyata hal tersebut memerlukan data integration.

Jenis data integration akan tergantung pada jenis repositori data perusahaan dalam ketertarikannya pada penciptaan data tersebut. Banyak organisasi memiliki data warehouse yang mereka gunakan untuk tujuan business intelligence (BI).

Membuat data repository ini tentunya anda membutuhkan data integration tools yang dapat mengumpulkan data yang relevan dari berbagai aplikasi yang berbeda dan juga berbagai sistem yang berbeda pula.

Karena data warehouse menyimpan data dalam keadaan terstruktur, data mungkin perlu dibersihkan atau diubah sehingga dalam format yang sama dan serupa seperti data yang lainnya. 

Misalnya, beberapa aplikasi dapat menyimpan nomor telepon dengan tanda kurung, seperti (123)456-7890, sementara orang lain hanya menggunakan tanda hubung, seperti 123-456-7890. Sebelum sumber data tersebut yang akan disimpan di data warehouse, maka semua nomor telepon tersebut harus memiliki format yang sama.

Untuk itu, organisasi biasanya menggunakan jenis perangkat lunak data integration yang dikenal sebagai extract, transform, load atau disingkat dengan ETL.

Perusahaan telah menggunakan banyak tool ETL untuk tujuan ini selama beberapa dekade, dan ini adalah salah satu jenis perangkat lunak data integration yang paling akrab.

Hari ini, banyak perusahaan memiliki danau data (data lake) yang berada di dalam data warehouse mereka. Danau data yang menyimpan data terstruktur dan data semi-terstruktur yang berbeda dengan data terstruktur, dan mereka menyimpan semua data dalam keadaan mentah tanpa mengubahnya terlebih dahulu.

Danau data atau kita sebut saja data lake ini sering dijalankan di Hadoop yang merupkan software open source dan perangkat keras dengan standard industri, bukan kepemilikan teknologi, yang membuatnya ekonomis untuk menyimpan lebih banyak data dari sumber-sumber yang lebih banyak.

Untuk sebuah data lake, organisasi tidak perlu tool ETL, tetapi mereka perlu produk migrasi data yang dapat menarik data dari berbagai sumber yang berbeda.

Di antara unsur-unsur dalam kasus banyak data integration adalah data pergudangan, data profil dan pemodelan data.

Sinkronisasi data di beberapa sistem

Banyak perusahaan menemukan bahwa mereka memiliki beberapa sistem independen yang menyimpan data yang sama. Kadang-kadang hal ini terjadi sebagai akibat dari aktivitas merger dan akuisisi. 

5 Type Data Integration Teratas Berdasarkan Jenis Kasus

Misalnya, jika salah satu pengecer barang-barang olahraga merger dengan pengecer barang-barang olahraga lain, maka akan ada dua kemungkinan yaitu memiliki banyak pemasok, mitra dan pelanggan yang sama dan yang kedua memiliki informasi tentang semua entitas tersebut di databses mereka masing-masing. 

Namun, dua merek yang berbeda mungkin saja menjalankan database yang berbeda, dan informasi yang disimpan di database mereka mungkin tidak selalu sejalan. Sering terjadi banyak data yang sama berada di dalam database yang berbeda.

Di waktu yang lain, data ganda adalah hanya hasil dari siluet sistem. Sebagai contoh, perangkat lunak Keuangan mungkin berbeda dari perangkat lunak Departemen penerimaan.

Sementara kedua sistem mungkin menyimpan data yang sama yang berkaitan dengan rantai pasokan, sementara dua database mungkin saja sangat berbeda. 

Dan jika Departemen penerimaan melakukan update alamat untuk vendor tertentu, mereka mungkin lupa untuk memberitahukan departemen keuangan, yang menyebabkan di departemen keuangan akan masih memiliki alamat lama yang disimpan dalam sistem mereka.

Perusahaan dapat memilih untuk berurusan dengan situasi seperti ini dalam berbagai cara.

Misalnya, mereka mungkin mencoba untuk menggabungkan database dari kedua perusahaan untuk digabung, atau mereka mungkin mencoba untuk memindahkan departemen keuangan dan Departemen penerimaan ke software Enterprise Resource Planning (ERP) untuk menghilangkan data silo.

Namun, pada saat perusahaan besar mungkin dapat mengurangi jumlah database mereka dan aplikasi melalui konsolidasi, mereka biasanya masih menyisakan beberapa repositori data.

Untuk menyimpan semua database mereka supaya tetap up to date, mereka membutuhkan solusi yang bisa mensinkronkan record dalam berbagai sistem independen.

Hal ini biasanya memerlukan data integration tools dengan solusi data governance dan kemampuan master data management (MDM).

Mungkin produk MDM standalone atau platform data integration yang lengkap dapat menghapus duplikat, membakukan format, menyalin data dari satu sistem ke sistem yang lain (data propagasi) dan memberikan keseragaman view pada master data dalam sistem organisasi (data Federasi).

Menerima data dari pemasok, atau mitra

Selama ini berbagai perusahaan telah menggunakan komputer, perangkat-perangkat komputer tersebut dibutuhkan untuk mengirim dan menerima data dari pemasok dan mitra mereka. 

5 Type Data Integration Teratas Berdasarkan Jenis Kasus

Sebagai contoh, produsen mungkin perlu memindahkan daftar pengiriman, faktur informasi atau data umum produk. Atau rumah sakit mungkin perlu menerima catatan pasien dari independen dokter kantor dan laboratorium.

Di masa lalu, mitra mungkin hanya mengirimkan Fax untuk informasi yang relevan, dan perusahaan akan kembali melakukan input ke dalam sistem mereka. Tetapi metode ini memakan waktu dan rawan kesalahan.

Salah satu solusi yang paling awal untuk masalah ini adalah jenis data integration tools yang dikenal sebagai elektronik data interchange (EDI).

Pertama kali ditemukan pada tahun 1970, EDI masih digunakan sampai sekarang oleh banyak perusahaan, begitu banyak vendor menggabungkan EDI ke platform data integration mereka.

Namun, teknologi modern menawarkan beberapa alternatif untuk jenis EDI tradisional. Misalnya, beberapa perusahaan melakukan transfer data melalui Layanan Web yang bergantung pada file XML, sementara banyak orang lain membuat nya lebih ekstensif yaitu dengan menggunakan api (application programming interface). 

Dan beberapa perusahaan menggunakan beberapa metode yang berbeda untuk mentransfer data ke dan dari mitra perusahaan, di mana pada kasus data integration tools yang dapat mengelola berbagai jenis sambungan data menjadi demikian menarik.


Membuat Dashboard Penjualan atau Dashboard Pemasaran 

Dalam survei NewVantage 2018, 98,6 persen dari eksekutif yang disurvei mengatakan organisasi mereka sedang dalam proses menciptakan budaya data-driven.

5 Type Data Integration Teratas Berdasarkan Jenis Kasus

Sebagian besar dari usaha di sebagian besar perusahaan membuat penggunaan data analytics yang lebih besar dalam penjualan dan Departemen pemasaran.

Pada saat ini, banyak organisasi berinteraksi dengan pelanggan dengan mengambil tempat secara online.

Yang memberikan kelebihan pada perusahaan dalam hal kemampuan untuk mengukur upaya mereka dalam melakukan penjualan dan pemasaran, apakah mereka sedang menghitung tayangan iklan dan klik iklan, pelacakan berapa lama pelanggan menghabiskan di berbagai bagian dari situs web mereka atau benar-benar menjual produk mereka dan Layanan online lainnya.

Banyak organisasi yang menggunakan data ini untuk membuat dashboard yang memberitahu mereka mengenai informasi pemasaran dan penjualan tim, bagaimana usaha yang sudah mereka lakukan.

Sebagai contoh, sebuah dashboard pemasaran mungkin mampu untuk melacak dan mengarahkan hasil terkait dengan banyak faktor: 
  • Bounce Rates (tingkat pentalan)
  • Open Rates
  • Metrik konversi
  • Convertion Metrics
  • Lead Quality
  • Key Performance Indicator (KPI) yang penting bagi tim

Bila memungkinkan, data ini disajikan dalam format visual, seperti diagram atau grafik, sehingga pengguna dapat melihat tren baris dan sekilas data visual itu membuatnya masuk akal.

Untuk membuat dashboard ini, organisasi mungkin menggunakan platform data integration atau gabungan beberapa tool berbeda secara mandiri. Beberapa penjualan atau pemasaran perangkat lunak termasuk kemampuan untuk menciptakan sebuah dashboard. 

Atau organisasi dapat membuat dashboard mereka sendiri, mengubah sesuai kebutuhan yang menarik data dari beberapa sumber internal dan eksternal yang berbeda.

Aplikasi yang kemudian berjalan akan membutuhkan berbagai analytics yang diperlukan dan menciptakan visualisasi dan melakukan update data secara teratur.

Kasus penggunaan data integration ini jauh lebih kompleks daripada ETL atau sinkronisasi records, sehingga memerlukan perangkat lunak yang lebih kuat dan powerfull.

Memberikan Pandangan 360 Derajat kepada Pelanggan

Untuk banyak perusahaan, "holy grail" data integration adalah untuk menciptakan pandangan utuh 360 derajat dari setiap individu nasabah / customer.

5 Type Data Integration Teratas Berdasarkan Jenis Kasus

Idenya adalah bahwa setiap kali seorang penjual atau karyawan lain yang berinteraksi dengan pelanggan, dia akan memiliki satu panel kaca yang merangkum semua interaksi nasabah dengan perusahaan.

Kondisi seperti ini sering membutuhkan untuk menarik data pelanggan dari beberapa sistem perangkat lunak manajemen hubungan pelanggan (CRM), aplikasi ERP, dukungan teknis sistem pelacakan Tiket, pemasaran software, sistem e-commerce, dan aplikasi lainnya.

Hal tersebut akan mampu memberikan kemampuan pada user untuk menelusuri sejarah pelanggan, melihat persis apa yang sudah ia beli di masa lalu dan rincian panggilan, email atau obrolan dengan dukungan pelanggan.

Banyak dari dashboard 360 derajat pelanggan ini juga memanfaatkan pengayaan data. Karena hal inilah, mereka membawa data eksternal yang tidak disertakan dalam database Perseroan.

Sebagai contoh, untuk keperluan tersebut bisa saja menarik informasi dari rekening-rekening nasabah, akun media sosial publik atau memasukkan informasi yang tersedia dari broker data.

Banyak hari ini dashboard juga menggabungkan analisis prediktif, machine learning dan kecerdasan buatan (Artificial Intelligence / AI).

Sistem-sistem tersebut mungkin mampu menawarkan saran untuk apa yang mungkin pelanggan beli berikutnya, atau menawarkan bahwa pelanggan mungkin akan menemukan sesuatu hal yang sangat menarik. 

Dalam beberapa kasus, mereka bahkan dapat menggunakan sentimen analisis untuk mengukur keadaan emosi pelanggan dan membimbing anggota staf pada panggilan tersebut.

Kasus penggunaan data integration ini adalah yang paling rumit dari semua yang ada, dan itu memerlukan perangkat lunak data integration dan data analytic yang sangat maju.

Banyak perusahaan membuat investasi yang diperlukan, namun, dengan harapan untuk melihat drama perbaikan dalam penjualan dan layanan pelanggan.

Demikian lah top 5 studi kasus untuk data integration. Apakah anda terarik untuk menggeluti dunia data integration ini?

Dalam hal data integration ini kita tidak hanya akan membicarakan mengenai big data, namun lebih dari itu semua, karena pada akhirnya semua akan bermuara pada data management, bagaimana kemampuan kita dalam mengelola data yang ada.

Nantikan untuk bahasan-bahasan menarik lainnya seputar data management dan big data di bigdatadba.com, tidak hanya sekedar bicara data.



Refference :
#dataintegration, #dataintegrationtools, #dataintegrationplatform

Industri yang berkaitan dengan machine learning dan data scientist dibanjiri dengan bahasa pemrograman yang tak terhitung banyaknya yang bertujuan untuk memilah-milah kompleksitas bisnis dan membawa inovasi teknologi. 

Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist 2018

Setiap tahun ada bahasa pemrograman, framework dan teknologi yang muncul, tetapi hanya sedikit yang bertahan dalam ujian waktu. Tahun ini juga kita bisa melihat bahasa pemrograman seperti Q# yang merupakan besutan Microsoft membuat kemajuan, yang difokuskan pada pengembangan aplikasi berbasis komputasi kuantum.

Dengan perkembangan yang semakin meningkat, penting bagi developer untuk terus mempelajari keterampilan bahasa pemrograman baru agar tetap relevan. Tetapi jika Anda seorang pemula yang ingin memilih bahasa pemrograman terbaik untuk ditambahkan dalam keahlian Anda, tugas itu akan semakin sulit. 
Mengingat fakta bahwa bisa saja setiap proyek dapat menuntut serangkaian tools dan fungsi yang berbeda, itu membuat jalan untuk memilih bahasa pemrograman yang tepat untuk dipelajari menjadi berat.

BigDataDBA membawa daftar 10+ bahasa pemrograman yang dapat Anda pilih di tahun 2018 (List bahasa pemrograman ini tanpa maksud pengurutan dari yang terendah/terjelek atau tertinggi/terbaik) untuk digunakan dalam pengembangan machine learnig dan data scientist, yang telah dikuratori berdasarkan popularitas di antara perekrut, jumlah lowongan pekerjaan, bayaran yang ditawarkannya, dan yang lainnya.
Informasi ini disadur dan dirangkum dari kdnuggets dot com dalam tulisan machine learning data visualization  deep learning tools.



1. Bahasa Pemrograman Python

Bahasa pemrograman python merupakan salah satu bahasa pemrograman yang paling populer, baik dalam hal pembayaran (salary) yang ditawarkan dan popularitas di antara perekrut yang mencari tenaga kerja dengan keterampilan Python. 

Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

Dengan peningkatan teknologi seperti machine learning, artificial intelligence (kecerdasan buatan) dan analitik prediktif (predictive analytic), kebutuhan akan tenaga kerja profesional dengan pengetahuan menyeluruh tentang keterampilan bahasa pemrograman Python sangat diminati. 

Terlepas dari tujuan umumnya digunakan untuk pengembangan web, bahasa pemrograman python banyak digunakan dalam komputasi ilmiah, data mining, dan kebutuhan lainnya.


2. Bahasa Pemrograman Java

Java adalah bahasa pemrograman komputer yang memiliki tujuan umum yang konkuren, berbasis class, berorientasi objek, [15] dan secara khusus dirancang untuk memiliki dependensi implementasi sesedikit mungkin. (Wikipedia)

Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

Ini dimaksudkan agar pengembang aplikasi "cukup menulis sekali, bisa dijalankan di mana saja"  yang berarti bahwa kode Java yang dikompilasi dapat berjalan di semua platform yang mendukung Java tanpa perlu kompilasi ulang. 

Mobil self-driving, perangkat lunak pendeteksi wajah, dan speaker yang dikendalikan suara semuanya dibangun di atas teknologi dan machine learning framework- dan ini hanyalah gelombang pertama. 

Selama dekade berikutnya, generasi produk baru akan mengubah dunia kita, memulai pendekatan baru untuk pengembangan perangkat lunak dan aplikasi serta produk yang kita buat dan gunakan.

Sebagai pengembang Java, Anda tentunya ingin maju dari kurva ini, saat ini juga - ketika perusahaan teknologi mulai serius berinvestasi dalam machine learning. Apa yang Anda pelajari hari ini, Anda dapat membangun selama lima tahun ke depan, tetapi Anda harus memulai dari suatu tempat dengan tepat ..

3. Bahasa Pemrograman R

R adalah bahasa pemrograman dan environment untuk komputasi statistik dan grafik. Ini adalah proyek GNU yang mirip dengan bahasa S dan lingkungan yang dikembangkan di Bell Laboratories (sebelumnya AT&T, sekarang Lucent Technologies) oleh John Chambers dan rekannya. R dapat dianggap sebagai implementasi yang berbeda dari S. Ada beberapa perbedaan penting, tetapi banyak kode yang ditulis untuk S berjalan tanpa ada perubahan di bawah R.

Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

R menyediakan berbagai macam statistik (pemodelan linier dan nonlinier, uji statistik klasik, analisis deret waktu, klasifikasi, pengelompokan, dan lain sebagainya) dan teknik grafis, dan tentu saja sangat bisa diperluas. 

Bahasa S sering menjadi wahana pilihan untuk penelitian dalam metodologi statistik, dan R menyediakan rute Open Source untuk berpartisipasi dalam aktivitas itu.

Salah satu kekuatan R adalah kemudahan menghasilkan plot kualitas publikasi yang dirancang dengan baik, termasuk simbol dan formula matematika apabila diperlukan. Perhatian besar telah diberikan untuk pilihan desain minor dalam hal grafik, tetapi pengguna tetap memegang kendali penuh.

R tersedia sebagai Perangkat Lunak Open Source di bawah ketentuan Lisensi Publik Umum GNU Yayasan Perangkat Lunak Free dalam bentuk kode sumber. Ini mengkompilasi dan berjalan pada berbagai platform UNIX dan sistem serupa (termasuk FreeBSD dan Linux), Windows dan MacOS.


4. Bahasa Pemrograman Julia

Komputasi ilmiah secara tradisional membutuhkan kinerja tertinggi, namun para pakar domain sebagian besar telah pindah ke bahasa yang lebih lambat untuk pekerjaan sehari-hari mereka. 

Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

Dengan munculnya bahasa pemrograman yang dipercaya ada banyak alasan bagus untuk memilih bahasa dinamis untuk aplikasi ini, tentu saja tidak berharap penggunaannya berkurang. 

Untungnya, desain bahasa pemrograman modern dan teknik penyusunannya memungkinkan untuk sebagian besar menghilangkan pelambatan kinerja dan menyediakan environment tunggal yang cukup produktif untuk pembuatan prototipe dan cukup efisien untuk menyebarkan aplikasi yang memiliki kinerja secara intensif. 

Bahasa pemrograman Julia mengisi peran ini: Bahasa pemrograman Julia adalah bahasa dinamis yang fleksibel, sesuai untuk komputasi ilmiah dan numerik, dengan kinerja yang sebanding dengan bahasa tradisional yang diketik secara statis.

Karena kompiler Julia berbeda dari penerjemah yang digunakan untuk bahasa seperti Python atau R, Anda mungkin mendapati bahwa kinerja Julia pada awalnya tidak intuitif. 

Jika Anda menemukan ada sesuatu yang lambat, sangat disarankan bagi anda untuk membaca bagian Tips Kinerja sebelum mencoba yang lain. Setelah Anda memahami cara kerja Julia, cukup mudah untuk menulis kode yang hampir secepat C.

Julia memiliki fitur pengetikan opsional, pengiriman ganda, dan kinerja yang baik, dicapai dengan menggunakan inferensi tipe dan kompilasi just-in-time (JIT), diimplementasikan menggunakan LLVM. Ini adalah multi-paradigma, menggabungkan fitur pemrograman imperatif, fungsional, dan berorientasi objek. 

Julia memberikan kemudahan dan ekspresi untuk komputasi numerik tingkat tinggi, dengan cara yang sama seperti bahasa R, MATLAB, dan Python, tetapi juga mendukung pemrograman umum. Untuk mencapai hal ini, Julia membangun garis keturunan dari bahasa pemrograman matematika, tetapi juga meminjam banyak dari bahasa dinamis yang populer, termasuk Lisp, Perl, Python, Lua, dan Ruby.

Keberangkatan Julia yang paling signifikan dari bahasa dinamis yang khas adalah:

Bahasa inti nya sangat sedikit; Julia Base dan library standar ditulis dalam Julia itu sendiri, termasuk operasi primitif seperti bilangan bulat aritmatika

Bahasa yang kaya tipe untuk membangun dan mendeskripsikan objek, yang juga dapat secara opsional digunakan untuk membuat deklarasi tipe

Kemampuan untuk mendefinisikan perilaku fungsi di banyak kombinasi tipe argumen melalui pengiriman ganda

Pembuatan kode khusus otomatis dan efisien untuk berbagai jenis argumen

Performa bagus, mendekati bahasa yang dikompilasi secara statis seperti C

Meskipun seseorang kadang-kadang berbicara tentang bahasa dinamis sebagai "tanpa ketik", jelas tidak: dikarenakan setiap objek, apakah primitif atau yang ditentukan pengguna, dipastikan memiliki tipe. 

Kurangnya deklarasi tipe dalam kebanyakan bahasa dinamis, bagaimanapun, berarti seseorang tidak dapat menginstruksikan kompiler tentang tipe nilai, dan seringkali tidak dapat secara eksplisit berbicara tentang tipe sama sekali. 

Dalam bahasa statis, di sisi lain, ketika seseorang memberi anotasi tipe untuk kompiler, tipe hanya ada pada waktu kompilasi dan tidak dapat dimanipulasi atau diekspresikan pada saat run time. 

Di Julia, type sendiri adalah objek run-time, dan juga dapat digunakan untuk menyampaikan informasi kepada kompiler.

Sementara programmer biasa tidak perlu secara eksplisit menggunakan jenis atau pengiriman ganda, karena sudah memiliki fitur pemersatu inti Julia: fungsi didefinisikan pada kombinasi yang berbeda dari jenis argumen, dan diterapkan dengan mengirimkan ke definisi pencocokan paling spesifik. 

Model ini sangat cocok untuk pemrograman matematika, di mana tidak wajar untuk argumen pertama untuk "memiliki" operasi seperti dalam pengiriman berorientasi objek tradisional. Operator hanyalah fungsi dengan notasi khusus untuk memperluas penambahan tipe data baru yang ditentukan pengguna, Anda mendefinisikan metode baru untuk fungsi +. Kode yang ada kemudian berlaku untuk tipe data baru.

Sebagian karena inferensi tipe run-time (ditambah dengan anotasi tipe opsional), dan sebagian karena fokus yang kuat pada kinerja sejak dimulainya proyek, efisiensi komputasi bahasa pemrograman Julia melebihi bahasa dinamis lainnya, dan bahkan bahasa pemrograman saingan yang dikompilasi secara statis. 

Untuk masalah numerik dalam skala besar, kecepatan selalu akan menjadi sangat penting: jumlah data yang sedang diproses dengan mudah mengikuti Hukum Moore selama beberapa dekade terakhir.

Bahasa pemrograman Julia bertujuan untuk menciptakan kombinasi yang belum pernah terjadi sebelumnya dari kemudahan penggunaan, kekuatan, dan efisiensi dalam satu bahasa pemroragraman komputer. 

Selain hal di atas, beberapa keunggulan Julia dibandingkan sistem yang sebanding meliputi:
  • Sumber gratis dan open (berlisensi MIT)
  • Jenis yang ditentukan pengguna sama cepat dan kompaknya dengan built-in
  • Tidak perlu membuat vektor kode untuk kinerja; kode yang dikhususkan secara cepat
  • Dirancang untuk paralelisme dan perhitungan terdistribusi
  • “Green” Threading  yang ringan (coroutine)
  • Sistem tipe yang tidak mengganggu namun kuat
  • Konversi dan promosi yang elegan dan dapat diperluas untuk jenis numerik dan lainnya
  • Dukungan efisien untuk Unicode, serta tidak terbatas pada UTF-8
  • Dapat memanggil fungsi C secara langsung (tidak diperlukan pembungkus atau API khusus)
  • Kemampuan mirip shell yang kuat untuk mengelola proses lainnya
  • Macro seperti tiger dan fasilitas pemrograman meta lainnya

5. Bahasa Pemrograman SAS

Pemrograman SAS didasarkan pada dua blok bangunan:

Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

Step DATA: Step DATA membuat kumpulan data SAS dan kemudian meneruskan data ke langkah PROC
Step PROC: Step PROC memproses data

Program SAS harus mengikuti aturan yang disebutkan di bawah ini:
  • Hampir setiap kode akan dimulai dengan Step DATA atau PROC
  • Setiap baris kode SAS berakhir dengan titik koma
  • Kode SAS berakhir dengan kata kunci RUN atau QUIT
  • Kode SAS tidak peka huruf besar-kecil (case sensitive)
  • Anda dapat menulis kode melintasi baris yang berbeda atau Anda dapat menulis beberapa pernyataan dalam satu baris

Sekarang kita telah melihat beberapa terminologi dasar, mari kita lihat contoh bahasa pemrograman SAS dengan kode dasar ini:

DATA Employee_Info;
entry Emp_ID Emp_Name $ Emp_Vertical $;
datalines;
101 Mak SQL
102 Rama SAS
103 Priya Java
104 Karthik Excel
105 Mandeep SAS
;
run;

Dalam kode di atas, kita membuat kumpulan data yang disebut sebagai Employee_Info. Employee_Info memiliki tiga variabel, satu variabel numerik sebagai Emp_Id dan dua variabel karakter sebagai Emp_Name dan Emp_Verticals. Perintah run menampilkan kumpulan data di Jendela Output.


Itulah 5 bahasa pemrograman yang banyak digunakan untuk menyelesaikan permasalahan seputar machine learning dan data scientist.

Harusnya dalam artikel ini ada 10+ bahasa pemrograman yang digunakan untuk case machine learning dan data scientist. 

Dikarenakan nulisnya udah kepanjangan, maka saya sambung di bagian ke 2 untuk lanjutan artikel bahasa pemrograman yang banyak digunakan untuk machine learning dan data sientist ini. Nantikan dan terus stay tune di blog big data dba.


Bagian ke-2 :

10+ Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist 2018 Bag 2


Reff :

Data Integration dan Business Analytic - Big Data DBA. Pentaho merupakan kumpulan alat bantu / tool yang digunakan untuk menyelesaikan permasalah di sisi data warehouse ataupun lebih keren nya sering dikatakan sebagai BI (Business Intelligence). Salah satu tool nya yang terkenal dan paling banyak digunakan untuk membantu membangun data warehouse adalah Pentaho Data Integration. Dalam perkembangan nya, saat ini pentaho telah diakusisi sepenuhnya oleh kelompok teknologi raksasa Hitachi.



Pentaho 8, Pentaho Data Integration, Pentaho BI
Pentaho 8

Dari konferensi para pengguna pentaho di ajang PentahoWorld 2017, Hitachi Vantara, anak perusahaan Hitachi Ltd., di hari yang sama meluncurkan perangkat lunak integrasi data dan platform analisis Pentaho (Pentaho Data Integration dan Pentaho BA) generasi berikutnya yaitu Pentaho 8.0.  Dengan adanya peningkatan versi ini antara lain,  di pentaho 8.0 memberikan dukungan untuk Spark dan Kafka untuk memperbaiki data dan pengolahan arus, ditambah lagi dengan kemampuan untuk mencocokkan sumber daya komputasi dengan permintaan bisnis secara real time dengan mudah. Rilis baru ini dirancang untuk membantu pelanggan Hitachi mendapatkan nilai yang lebih besar dari data yang mereka miliki untuk mendapatkan keunggulan kompetitif dan mempercepat perjalanan transformasi digital mereka.
Menurut perusahaan riset independen IDC, data dunia akan tumbuh menjadi 163 zettabyte pada tahun 2025 - 10 kali lebih besar dari jumlah data yang dihasilkan pada tahun 2016. Perusahaan ini juga memperkirakan bahwa lebih dari seperempat data tersebut merupakan data real-time, dengan data IoT akan menghasilkan lebih dari 95 persennya.

Dengan rilis Pentaho 8.0, Hitachi Vantara membantu user dan customer untuk lebih mempersiapkan bisnis mereka untuk mengatasi kebanjiran data real-time ini dengan mengoptimalkan dan memodernisasi jaringan analisis data mereka dan meningkatkan produktivitas yang ada di tim mereka. Perangkat tambahan baru ke platform Pentaho 8.0 memungkinkan pengguna untuk:


1.  Meningkatkan Konektivitas ke Sumber Data Streaming: Dengan data yang bergerak lebih cepat, sangat penting untuk memprosesnya saat terjadi dan segera bereaksi jika diperlukan. Kemampuan baru di Pentaho 8.0 meliputi:


  • Pengolahan data stream dengan Spark: Pentaho 8.0 sekarang sepenuhnya memungkinkan pemrosesan dan pemrosesan data streaming menggunakan mesin asli atau Spark. Ini menambah integrasi Spark yang ada dengan lapisan eksekusi adaptif SQL, MLlib dan Pentaho.

  • Terhubung ke Kafka Streams: Kafka adalah sistem messaging populer / berlangganan yang sangat populer yang menangani volume data besar yang umum terjadi pada data besar dan lingkungan IoT saat ini. Pentaho 8.0 sekarang memungkinkan pemrosesan real-time dengan langkah-langkah khusus yang menghubungkan Pentaho Data Integration (PDI) ke Kafka.

2. Keamanan data yang besar dengan Knox: Membangun keamanan tingkat perusahaan yang ada dengan Cloudera dan Hortonworks, Pentaho 8.0 sekarang menambahkan dukungan untuk Knox Gateway yang digunakan untuk mengotentikasi pengguna ke layanan Hadoop.

3. Mengoptimalkan Sumber Daya Pemrosesan: Setiap organisasi telah membatasi sumber pengolahan data yang ingin digunakan secara cerdas, menjamin ketersediaan data yang besar bahkan ketika permintaan sumber daya komputasi tinggi. Untuk mendukung hal ini, Pentaho 8.0 menyediakan:


  • Simpul pekerja / node untuk meningkatkan beban kerja perusahaan: Manajer TI sekarang dapat dengan mudah membuka node tambahan dan menyebarkan beban kerja simultan di semua sumber komputasi yang ada agar sesuai dengan kapasitas dan sesuai dengan permintaan. Pencocokan ini memberikan elastisitas dan portabilitas antara lingkungan cloud dan lingkungan lokal sehingga menghasilkan pemrosesan yang lebih cepat dan efisien bagi pengguna akhir.

  • Penyempurnaan eksekusi adaptif: Pertama kali diperkenalkan di Pentaho 7.1, eksekusi adaptif Pentaho memungkinkan pengguna mencocokkan beban kerja dengan mesin pemrosesan yang paling tepat, tanpa harus menulis ulang logika integrasi data apa pun. Sekarang, Pentaho 8.0 membuat eksekusi adaptif lebih mudah diatur, mudah digunakan dan aman. Fungsinya juga sekarang tersedia di Hortonworks.

  • Dukungan asli untuk Avro dan Parket: Pentaho 8.0 memudahkan untuk membaca dan menulis ke format file data dan format populer ini dengan Spark dengan menggunakan alat pengeditan visual Pentaho.

  • Boost Team Produktivitas: Pentaho 8.0 juga hadir dengan beberapa fitur baru untuk membantu meningkatkan produktivitas di seluruh jaringan data. Ini termasuk filter granular untuk menyiapkan data, meningkatkan kegunaan repositori dan audit aplikasi yang lebih mudah.

"Di jalan menuju transformasi digital, perusahaan harus sepenuhnya memanfaatkan semua data yang tersedia untuk mereka. Ini memerlukan data silo data tradisional dan mengintegrasikan teknologi operasional dan informasi mereka untuk membangun jaringan data analisis modern yang dapat mengakomodasi data data yang lebih besar dan terbuka, "kata Donna Prlich, chief product officer untuk perangkat lunak Pentaho di Hitachi Vantara. "Pentaho 8.0 menyediakan fitur untuk skala perusahaan dan pemrosesan yang lebih cepat untuk mengantisipasi tantangan data masa depan untuk lebih mendukung pelanggan Hitachi dalam perjalanan digital mereka."

Perangkat Pentaho 8.0 dari Hitachi Vantara sudah mulai tersedia pada bulan November 2017

MENINGKATKAN KONEKTIVITAS DI PENTAHO UNTUK MENURUNKAN BESARAN SUMBER DATA


Untuk tetap berada di depan pertumbuhan volume data dan kecepatan data eksponensial, Pentaho 8.0 membawa kecepatan dan kelincahan ke setiap tahap data pipe, mulai dari konsumsi pesan real-time sampai pemrosesan data streaming. Kini, pengguna bisa mendapatkan nilai dari data lebih cepat tanpa mengorbankan integritas data.

Stream Processing with Spark: Dengan kemampuan eksekusi adaptifnya, Pentaho 8.0 sepenuhnya memungkinkan penggunaan data real-time dari Kafka menggunakan Spark Streaming, tanpa kerja ulang. Pengolahan arus data dengan Spark menambah orkestrasi Spark Pentaho yang ada dan integrasi dengan SQL, MLlib.

Menghubungkan Pentaho ke stream Kafka: Pentaho 8.0 memungkinkan pemrosesan, pemantauan dan agregasi secara real-time dengan langkah-langkah khusus yang menghubungkan Pentaho Data Integration (PDI) ke Kafka, yang memungkinkan pengembang untuk dengan mudah mengatasi berbagai kasus penggunaan yang memerlukan pemrosesan secara real-time.

Keamanan Data Besar dengan Knox: Membangun keamanan tingkat perusahaan yang ada untuk Cloudera dan Hortonworks, Pentaho 8.0 sekarang mendukung Apache Knox Gateway yang menyederhanakan manajemen keamanan Hadoop.



MENGOPTIMALKAN PENTAHO SUITE SEBAGAI SUMBER DAYA PENGOLAHAN DATA


Dengan permintaan pemrosesan data yang terus meningkat, manajer TI menghadapi tantangan untuk memaksimalkan sumber daya komputasi yang ada. Pentaho 8.0 menyediakan kemampuan untuk secara langsung menangani kebutuhan ini dengan sumber pemrosesan real-time dan terukur.

Simpul pekerja untuk meningkatkan beban kerja perusahaan: Manajer TI dapat dengan mudah membuka simpul tambahan dan menyebarkan beban kerja simultan ke sumber perhitungan yang ada agar sesuai dengan kapasitas dan sesuai dengan permintaan. Ini memberikan elastisitas dan portabilitas antara cloud dan lingkungan lokal sehingga menghasilkan pemrosesan yang lebih cepat dan efisien bagi pengguna akhir.

Penyempurnaan eksekusi adaptif: Eksekusi adaptif Pentaho memungkinkan pengguna mencocokkan beban kerja dengan mesin pemrosesan yang paling tepat, tanpa harus menulis ulang logika integrasi data apa pun. Pentaho 8.0 membuat eksekusi adaptif lebih mudah diatur dan digunakan dengan keamanan yang ditingkatkan. Fungsinya sekarang tersedia di Hortonworks.

Dukungan asli untuk Avro dan Parket: Rilis ini mempermudah membaca dan menulis ke format file data dan format populer ini dengan Spark dengan menggunakan alat pengeditan visual Pentaho.


Tingkatkan Produktifitas TIM Anda DALAM PIPELINE DATA


Seiring teknologi yang menjadi lebih kuat, produktivitas tim Anda juga harusnya demikian. Namun, teknologi yang terus berubah menyulitkan organisasi untuk berporos dengan kelincahan. Pentaho 8.0 menawarkan seperangkat fitur yang lebih baik bagi pengalaman penggunaan di tim Anda, termasuk proses persiapan data yang lebih halus, akses konten Pentaho lebih cepat, dan tata kelola yang disederhanakan.

Lebih baik, Pengambilan Data Lebih Cepat: Rilis ini menangani persiapan data secara langsung, memungkinkan TI menerapkan filter untuk menemukan data duplikat, data yang hilang, dan outlier. TI dapat dengan mudah mempublikasikan sumber data awal dan skema agar bisnis memvalidasi lebih cepat dan pada akhirnya memberikan data berkualitas tinggi ke bisnis dengan lebih cepat.

Peningkatan Pengalaman Pengguna Repositori: Pentaho 8.0 membawa akses lebih cepat ke konten platform dan memberikan pengalaman pengguna yang konsisten di PDI.

Aplikasi yang Lebih Mudah di Audit: Pentaho 8.0 memudahkan penerapan aplikasi audit sekarang karena laporan Opsmart bekerja dengan database populer, termasuk Oracle, SQL Server, dan MySQL.

Apakah tempat kerja anda tertarik untuk menerapkan product Pentaho Vantara ini ? 


Referensi :
solutionsreview.com
www.pentaho.com

Mengenal Database Oracle 18c – Big Data DBA.  Pada postingan kita kali ini, kita akan melihat-lihat terlebih dahulu mengenai database terbaru dan digadang-gadang menjadi database masa depan dari perusahaan ternama Oracle. Sebagaimana yang telah diumumkan oleh Larry Ellison di ajang OOW 2017 tentang database masa depan yang merupakan perubahan besar dalam dunia teknologi Oracle. Dalam dunia otomasi, kita telah melihat perubahan besar dari kehidupan sehari-hari menjadi kehidupan profesional. Ada kemajuan besar di setiap area kehidupan. Perjalanan database Oracle dimulai dari Oracle v2: hingga ke versi terbaru saat ini yaitu pada versi oracle 12c.


ORACLE DATABASE 18C

Sebagaimana pemberitaan akhir-akhir ini, kita akan melihat database oracle berikutnya yaitu pada oracle 18c. Sebagian besar biaya perusahaan untuk melakukan tuning kinerja / performance dan maintenance database, karena kinerja bisnis yang buruk harus mengalami banyak masalah seperti kehilangan bisnis, beban kerja, dll, hal-hal penting semacam ini tetap diingat saat merancang database Oracle 18c yang sekarang menjadi product fenomenal Oracle. Database oracle 18c ini juga disebut sebagai database otonomi awan (Cloud Autonomic Database). Database oracle 18c menawarkan otomasi total berdasarkan machine learning dan menghilangkan tenaga kerja manusia, kesalahan manusia, dan juga tuning yang dilakukan manual.





Pada database oracle versi 18c ini memiliki banyak fitur baru yang lebih memilih tidak adanya tenaga kerja manusia. Jadi bisa dibilang pada oracle database 18c, tenanga manusia sudah dihilangkan. Tidak adanya tenaga kerja manusia berarti telah memangkas setengah biaya, tidak ada kesalahan manusia berarti 100x dapat diandalkan. Sehingga tujuan akhir yang akan dicapai adalah “self-driving database”.

Tidak adanya tenaga kerja manusia pada database oracle 18c meliputi otomasi dalam instalasi, patching, upgrade, dan juga tuning database oracle yaitu dengan cara menggunakan teknik robot dengan bantuan machine learning.

Teknologi Database Oracle yang sudah sangat membumi ini mengotomatisasi manajemen untuk menghadirkan availability, performance, dan security yang belum pernah ada sebelumnya dan tentu saja dengan biaya yang jauh lebih rendah. Untuk penggunaan bisnis, Database Oracle 18c akan tersedia pada bulan Desember 2017.

Sebagaimana yang sudah diketahui pada versi database oracle yang sebelumnya, database oracle ini memiliki perkembangan yang sangat pesat. Namun kita juga harus tahu bahwa pada setiap versi database oracle yang baru menyebabkan ada fitur yang hilang atau ditambahkan dari database yang sebelumnya. Ada beberapa alas an mengapa kita bisa mengatakan bahwa oracle merevolusi database cloud menjadi database self-driving pertama di dunia.


1. Self – Driving


Teknologi tumbuh begitu cepat sehingga kita bisa melihat banyak peralatan yang dapat berjalan secara otomatis, atau sering disebut dengan istilah self-driving. Sekarang hal tersebut terjadi di Database Oracle 18c. Kecerdasan self-recovering berfungsi untuk secara otomatis mendeteksi dan menerapkan pengerjaan korektif untuk memastikan akses tanpa henti ke data Anda. Database otonom baru ini mudah digunakan. Membuat data warehouse menjadi lebih sederhana. Pengguna cukup menentukan tabel, memuat data, dan kemudian menjalankan beban kerja mereka dalam hitungan detik-tidak ada penyetelan manual yang dibutuhkan.


2. Penurunan Biaya


Tidak ada bisnis yang ingin menghabiskan banyak uang sederas air mengalir. Setiap bisnis baik skala kecil maupun skala besar memainkan peran penting bagi mereka. Semua jenis industri menghabiskan banyak uang untuk departemen TI supaya dapat bertahan dalam persaingan yang besar. Dengan menggunakan database oracle 18c dapat menghilangkan downtime yang mahal karena konfigurasi manual dan rawan kesalahan dengan cara melakukan manajemen adaptif termasuk aplikasi patch, pembaruan, dan peningkatan self-driving. Self-tuning menggunakan machine learning adaptif, yang secara otomatis mengaktifkan casing kolumnar, indeks penyimpanan, kompresi, dan prioritas sumber daya untuk memberikan sumber daya yang dibutuhkan untuk pekerjaan aktual yang dilakukan pada beban kerja, dan juga untuk menghindari over-provisioning yang mahal.


3. Dapat diandalkan


Oracle database 18c memiliki kemampuan memulihkan diri secara otomatis, mendeteksi dan menerapkan tindakan perbaikan untuk memastikan akses tanpa henti ke data Anda. Oracle Autonomous Database Cloud secara otomatis akan mengimplementasikan Oracle Real Application Clusters (RAC) dan cross-region Oracle Active Data Guard untuk memastikan ketersediaan data secara terus menerus. Kita tidak dapat menentukan / menemukan waktu downtime untuk pemeliharaan, update, upgrade, atau penambahan kapasitas komputasi dan penyimpanan.

Sebagian besar Database Administrator oracle saat ini merasa was was dalam menghadapi “Autonomous Database Service Suite” yang akan membuat para DBA menjadi tanpa pekerjaan alias menganggur. Namun pada kenyataan nya tidak lah demikian, karena sebenarnya ada beberapa jenis layanan database di cloud yang butuh untuk ditangani tenaga2 mantan DBA nantinya .. 

a. Oracle Database Cloud Service
b. Oracle Bare Metal Cloud Database Service
c. Oracle Database Exadata Cloud Service
d. Oracle Database Exadata Cloud Machine
e. Oracle Database Express Cloud Service

Sekarang, kita akan melihat beberapa hal penting tentang Database Otonomi pada database oracle 18c yang mungkin sebagian besar orang tidak tahu.

Oracle self driving database (Autonomous Database) akan tersedia mulai Oracle18c namun masih ada periode oracle support yang sangat besar untuk versi database oracle 12c R1 / R2. 12c R1 sampai 4 tahun lebih apabila kita hitung dari tahun ini, artinya kita membicarakan support oracle database 12C R1 sampai dengan lebih kurang tahun 2021.

Oracle support untuk versi database oracle 12c R2 sampai dengan April 2025 dan kemungkinan masih bias diperpanjang. Seperti yang kita ketahui bahwa para pengguna database oracle biasanya tidak bergerak begitu cepat untuk menggunakan rilis database oracle berikutnya sampai dengan mereka benar-benar membutuhkannya atau sampai masa support mendekati habis masa berlakunya. Jadi, Oracle database 18c adalah rilis yang akan digunakan untuk pelanggan yang benar-benar membutuhkannya atau oleh pelanggan yang menginginkan teknologi yang sangat up to date.

Sampai saat ini database self-driving Oracle dirancang untuk dijalankan di Exadata, seperti yang kita ketahui Exadata adalah sistem Engineering yang sangat kuat namun tidak murah .. jadi .. sebagian besar pelanggan pasti nya tidak akan menggunakan di Exadata, apalagi untuk pengguna di negara-negara berkembang. Artinya, Exadata memiliki biaya tinggi untuk menjadi perangkat keras biasa bagi sebagian besar perusahaan di seluruh dunia.

Sampai dengan pamaparan hal ini, maka tentunya tidak ada yg perlu ditakutkan bagi para DBA. Kenapa? Karena Database Oracle self-driving 18c belum akan menjadi mekanisme regular terhadap database perusahaan anda.

Jika anda tertarik untuk nantinya menggunakan database oracle 18c ini, maka anda perlu menyimak lebih banyak pemaparan berikut ini. Atau jika anda tertarik dengan big data tanpa harus mengetahui seluk beluk oracle database, maka anda juga bisa mulai cari tahu mengenai apa itu big data, serta bagaimana sebenarnya arsitektur big data.




Oracle database 18c bukanlah settingan untuk Service Database Otonomi.


Setelan Layanan Database Otonomi adalah jenis layanan yang tersedia sampai sekarang hanya untuk Oracle Public Cloud.

Setelan Layanan Database Otonomi akan berjalan hanya di Exadata (Sampai dengan saat ini, bias saja berubah lagi ke depannya).

Jadi sebenarnya Oracle Database 18c hanya release database oracle lainnya ?

Kesimpulannya adalah bahwa "Oracle 18c" akan berdampak kecil untuk database "reguler" On-premise dan layanan database yang terkait dengan "self driving".


Anda masih penasaran dengan Database “Self-Driving” ini ?


Mari kita analisa semua itu. Bagaimana bisa semua hal itu dilakukan saat ini dengan "Oracle 
Database Cloud Service (DBCS) biasa" dan bagaimana kita berpikir Oracle akan melakukannya.  Kita berbicara tentang "Bagaimana Oracle akan melakukan hal itu semua dikarenakan debut Autonomous Datawarehouse Database Cloud akan dilakukan di bulan Desember 2017”.

Penerapan Patch. 

Saat ini, jika Anda ingin menerapkan Patch, anda menggunakan DBCS hanya untuk masuk ke console, untuk melihat di layar jika ada patch yang tersedia untuk database itu dan anda hanya perlu melakukan beberapa klik untuk mengaplikasikannya .. Jadi sederhana.

Jadi .. kalua dipikir tidak "begitu sulit" bagi Oracle Corp, untuk mengganti klik menjadi proses otomatis.

Ada beberapa patch yang memerlukan penghentian database dikarenakan mereka mengubah biner, dll. Yah .. paling mungkin Oracle sudah punya mekanisme untuk menerapkan patch tanpa harus menghentikan database dan mereka telah memutuskan untuk menggunakannya sekarang .. jika kita bayangkan bagaimana cara kerja database di dalam menjalankan kalimat berurutan .. dll. setiap kalimat .. operasi .. dll semua ini bisa dikoordinasikan sehingga patch mempengaruhi entah bagaimana "posting" kalimat .. dll. Fakta menerapkan patch dengan sendirinya bukanlah hal yang besar mengingat tingkat perkembangan produk Oracle selama bertahun-tahun .. Jadi .. patch yang diaplikasikan dengan sendirinya hanyalah sebuah langkah maju yang berhubungan dengan tingkat otomasi.


Upgrade

Sampai sekarang ketika Anda bekerja dengan DBCS, satu-satunya cara untuk mengupgrade database yang sudah bekerja di cloud adalah menciptakan service lain yang akan mempunyai node komputasi lain dan kemudian kita menerapkan prosedur reguler untuk mengupgrade database tersebut. Namun, kita harus ingat bahwa Oracle telah bekerja sangat keras dalam membangun mekanisme yang sangat maju untuk mengelola PDB. Saat ini kita bisa mengkloning PDB secara hot-plug, kita bisa memindahkan PDB dari satu kontainer ke wadah lain yang sedang aktif .. pada dasarnya sangat mirip dengan mekanisme yang ditanamkan untuk memindahkan datafile secara online .. jadi .. teknologi ini sudah sangat matang dilakukan oleh Software Oracle untuk kali ini .. Jadi .. Upgrade database pasti merupakan prosedur yang sama untuk apa yang dilakukan dengan PDB, definisi boot CDB-nya memiliki binari dari versi yang sesuai dan kita hanya memindahkan data. Maka bisa kita tarik kesimpulan itulah mekanisme perangkat lunak Oracle database yang akan digunakan untuk meng-upgrade database secara “hot”. Jadi .. jika kita menyadari dengan semua pemaparan di atas .. semua ini hanyalah teknologi yang kita gunakan dengan rilis saat ini .. Perbedaan dalam database otonom adalah mereka menerapkan prosedur ini dengan database lengkap berdasarkan layanan baru ini.


Melakukan Tuning Itu Sendiri

Lebih mudah dijelaskan .. ketika anda men setting query menggunakan teknik adaptif .. dll. Semua ini bisa terjadi / dilakukan dengan database yang sedang berjalan .. membangun kembali indeks secara online .. dll. Harusnya selaras operasinya saat ini bisa dilakukan secara online. .. tidak begitu sulit untuk memiliki mesin AI (Artificial Intelligence) yang mengumpulkan data dan mengambil beberapa keputusan berdasarkan tes internal .. statistik .. dll. jadi .. tingkat otomasi / otonom baru ini hanya apa yang kita miliki namun dilakukan secara otomatis.


Apakah anda tertarik untuk melanjutkan pembahasan oracle database 18c ini? atau anda ingin melihat langsung pemaparan dari Larry Ellison ? anda bisa menyimak video youtube di bawah ini :




Mari kita bicara mengenai apa saja yang biasa dilakukan saat melakukan tuning :


Penerapan Patch: 

Dilakukan dari waktu ke waktu .. meskipun tidak terlalu sering .. jadi .. tidak banyak perubahan yang harus di lakukan saat kita melakukan pekerjaan ini.

Upgrade:

Apalagi untuk upgrade database oracle.. sangat jarang kapan kita mengaplikasikan upgrade ke database .. jadi .. tidak banyak perubahan yang harus di lakukan ketika kita melakukan pekerjaan ini.

Tuning itu sendiri:

Banyak perusahaan konsultan menggunakan banyak waktu dalam pengaturan secara konstan ke database karena berbagai alasan, sangat umum beberapa objek, beberapa perintah, beberapa kode, dll yang ditambahkan, dihapus, dirubah dalam database dan tentu saja variasi bagian ini akan berpengaruh dalam performa database oracle. Hal ini bisa berdampak relatif tinggi pada biaya banyak perusahaan, karena pengaturan database secara konstan menyiratkan biaya tinggi yang berkelanjutan. Tentu .. kita harus melihat seberapa bagus mesin bisa melakukan ini. Kita harus ingat bahwa saat ini sudah tersedia "Tuning Advisor" dan mereka tidak sempurna, terkadang kita menerapkan beberapa rekomendasi dan kinerja beberapa eksekusi perintah. Yang bisa menjadi kondisi terburuk adalah faktor "Tuning itu sendiri", bener bener bener bener bener bener bener bener bener bener ya. Jika hasilnya sangat bagus dan nyaman, pastinya faktor ini akan mengurangi banyak biaya bagi perusahaan dan tentu saja akan mempengaruhi cara DBA atau yang bertugas melakukan setting database.

Jadi .. ada satu hal penting untuk dipikirkan .. apakah memang pada oracle database enterprise anda sangat penting untuk menjalankan semua tuning ini. Tentunya dengan sendirinya tanpa adanya seseorang yang bisa memantau apa yang sedang dilakukan database, apakah ini suatu kelebihan atau justru menjadi bom waktu untuk DBA  ..?

Kita akan jujur .. pekerjaan yang kita lakukan dengan database kritis tidak akan mungkin memberi kepercayaan 100% pada perangkat lunak mesin untuk menyesuaikan diri dengan permintaan tanpa kendali atau pengawasan manusia. Tentu saja, memang ada beberapa database yang berada dalam kendali  beberapa tingkat kepentingan, atau keadaan yang sesuai dengan model itu yang memang harus disetel 100% tanpa pengawasan tapi bukan kasus biasa.

Dalam penyesuaian process autonomous database DBA akan memilih elemen apa yang bisa disetel secara otomatis dan yang mana dari mereka akan tetap terkendali dengan dBA. Pada akhirnya .. DBA akan selalu dibutuhkan . Pada kondisi ini DBA akan memiliki lebih banyak fasilitas untuk melakukan pekerjaan  mereka lebih mudah, tapi kenyataan berpikir untuk benar-benar mengganti manusia adalah sesuatu yang sulit terjadi meski mesin bisa mengambil keputusan yang benar.

Mari kita jelaskan contoh sederhana, Oracle Data Guard memiliki pilihan untuk FAILOVER secara otomatis dalam beberapa keadaan, tapi untuk beberapa kemungkinan kesalahan manusia bisa saja terjadi dan database bisa failover saat manusia tidak menginginkannya, jadi sebagian besar perusahaan masih enggan untuk menggunakan FSF (Fast Start Failover), Ini adalah mekanisme yang bekerja dengan sempurna  secara teknis namun memberikan kontrol total terhadap perangkat lunak untuk menerapkan sesuatu yang penting pada data adalah sesuatu yang sebagian besar tidak boleh ditanamkan oleh perusahaan.

Secara umum dapat kita katakana bahwa database otonom akan mengurangi ribuan jam kerja untuk DBA tetapi tidak akan mewakili secara praktis dan nyata untuk melakukan penghapusan kehadiran manusia.


Jadi, database otonom menjanjikan hal berikut:


Mengurangi waktu administrasi


  • Sedikit waktu untuk infrastruktur
  • Sedikit waktu untuk menambal, mengupgrade
  • Sedikit waktu untuk memastikan ketersediaan
  • Sedikit waktu untuk menyetel

Lebih banyak waktu untuk Inovasi


  • Lebih banyak waktu pada desain database
  • Lebih banyak waktu pada analisis data
  • Lebih banyak waktu pada kebijakan data
  • dan sangat penting .. Lebih banyak waktu untuk mengamankan data

Jadi .. dengan database oracle berada di Cloud, DBA harus memperkuat kemampuan mereka dalam hal database security


Sekarang mari kita beralih ke titik analisis yang lain ..

Masa depan DBA terkait dengan Oracle Database Cloud


17 tahun yang lalu .. cukup sederhana untuk merancang arsitektur database. Anda hanya harus memutuskan untuk memasukkan database Anda ke dalam:

  • Server ..
  • Atau di Mainframe
  • Atau bahkan di mesin desktop biasa dalam beberapa kasus ..

Sekarang, ketika DBA akan memutuskan tempat untuk mengajukan database, DBA harus memikirkan banyak pilihan .. seperti:

  • Server ..
  • Mesin Virtual
  • Sistem Rekayasa seperti "Exadata"
  • dan lainnya ..

DBA dan management harus memutuskan apakah arsitektur yang akan ditanamkan:

  • "On-Prem" sebagai pilihan reguler
  • Cloud di pusat data kita sendiri (Private Cloud)
  • Hybrid Cloud
  • Public Cloud, sekarang Cloud publik memiliki lebih banyak pilihan dengan database otonom di Oracle18c – dll


Dan untuk analisa selanjutnya ..


Dahulu mungkin begitu sederhana untuk merancang arsitektur database, namun sekarang tidak seperti itu. Sekarang kita memiliki banyak pilihan, dengan masing-masing dengan pro dan kontra nya sendiri sendiri. Pada dasarnya akan ada banyak pilihan.

Jadi .. pertanyaannya adalah .. Siapa yang akan bertugas mendesain semua ini ..?

Manajer Umum? jelas tidak .. ini akan dirancang oleh Arsitek Basis Data .. (DBAs)

Sekarang DBA akan diminta lebih banyak untuk memahami bisnis daripada sekedar mekanisme menjaga database agar tetap sehat dan berjalan.

Sebelumnya biaya Server .. service .. dll .. bukan hal utama dengan apa yang harus hadapi oleh DBA.. mereka fokus hanya dalam menjaga agar database berjalan dan menginstallnya. Sekarang berbeda, untuk database di Cloud, misalnya menyiratkan keputusan tentang jenis layanan apa yang akan digunakan dan dalam mode apa .. "Metered , Non-Metered “. Faktor-faktor tersebut berdampak langsung pada ekonomi perusahaan dan modus operasi database ini, jadi .. sekarang DBA lebih terkait dengan bisnis rule.

Beberapa tahun yang lalu dari menit pertama Oracle Corp mengumumkan perilisan "Oracle Cloud", tingkat keahlian lain untuk DBA lahir, mengubah bisnis ini semakin kompleks.

Maka bisa dipastikan DBA tidak akan dipecat. Sekarang peran DBA lebih penting lagi. Peran DBA hanya bergeser untuk lebih berperan sebagai arsitek.


Siapa yang harus khawatir karena semua perubahan ini ..?


Jenis DBA (Database Administrator) operasional yang bertugas atau atau petugas yang hanya melakukan tugas sederhana seperti:


  • Memeriksa Backups.
  • Memeriksa penyimpanan.
  • Membuat beberapa laporan.
  • Memasang Patch.
  • Memasang softwares.
  • Menciptakan lingkungan yang selalu baru bagi pengembang.

Semua tugas mudah dan sederhana .. telah dihapus dengan penambahan otomasi di Oracle Releases terbaru

Misalnya, sekarang pada saat membuat Oracle Database Cloud Service, ada banyak elemen yang tercipta secara otomatis termasuk:


  • Pembuatan node (Host)
  • Instalasi Perangkat Lunak
  • dan lain sebagainya.

Jadi .. hanya dengan contoh sederhana ini .. Anda bisa menyadari bahwa pada saat bekerja dengan Oracle Database Cloud Service Anda tidak perlu menginstal softwares lagi ..

Jika Anda ingin membuat konfigurasi RAC dalam menggunakan Oracle Database Cloud Service hanyalah beberapa klik mudah dan Anda bisa juga melakukan konfigurasi RAC-DG yang kompleks.
Era tugas rutin dan membosankan semakin jauh, jadi jika Anda seorang DBA yang bertugas atas tugas sederhana semacam itu, maka jawabannya adalah iya, anda perlu khawatir dengan masa depan anda.

Bertolak belakang dengan kesimpulan di atas, jika Anda seorang DBA yang bertugas menanamkan arsitektur MAA. Database Cloud, Exadata, dll. Maka anda perlu berbahagia, pentingnya peran anda sekarang akan semakin besar.


Jadi sekarang kita coba kembali ke pusat pembicaraan kita

Anda bisa membayangkan apa yang akan menjadi visi seseorang yang memulai karir sebagai DBA dengan semua pilihan yang ada di pasaran saat ini. Seseorang yang hampir tidak belajar SQL dan "Create table ", dll. Ketika pasar sedang berbicara tentang database otonom, Ini perbandingan antara motor 100cc dan motor 1000cc, sesuatu seperti itu.


Jadi apa yang kita dapatkan dari semua ini tentang penggunaan database oracle 18c ?


#1. DBA dengan jenis tugas pemeliharaan rutin bisa dihapus dari peran atau pekerjaan mereka jika mereka tidak berevolusi untuk fokus pada semua generasi baru yang terkait dengan Database Cloud ini.

#2. DBA yang mendapat hak istimewa untuk bekerja dengan Oracle Database selama era keemasan database "On-prem", sekarang mereka berada pada saat yang tepat untuk tumbuh sejajar dengan sesuatu yang mendefinisikan "sebelum" dan "setelah " masa tersebut. Dari itu Sekarang DBA akan memiliki kesempatan untuk beralih ke peran yang lebih strategis dalam organisasi mereka dan berdasarkan pada itu pendapatan "gaji, komisi, dll" akan semakin tinggi, sekarang anda akan dilibatkan dalam keputusan penting bagi perusahaan.

#3. Maaf untuk DBA yang baru masuk di dunia database seperti ini, perjalanan yang harus Anda jalankan lebih sulit dari sebelumnya jika anda ingin mendapatkan level teratas di area ini karena hari demi hari semakin banyak pilihan.


Kesimpulan yang bisa didapatkan :


1. Jika Anda adalah tipe DBA # 1 sesuai dengan deskripsi sebelumnya, mungkin Anda memiliki beberapa pilihan berkembang menjadi # 2, atau jika Anda memutuskan untuk tetap berada dalam peran yang sama, pembayaran Anda bisa kurang dari waktu ke waktu atau bahkan peran Anda secara perlahan bisa lenyap.

2. Jika Anda tipe DBA # 2, teruskan di jalur anda ini, dan peran Anda akan semakin penting di bidang ini, oleh karena itu nilai bayaran Anda akan memiliki probabilitas tinggi untuk ditingkatkan. Satu hal lagi, sebagian besar DBA tidak akan sampai menjadi Cloud Architect karena ini memerlukan waktu belajar, meneliti, melakukan pengujian, dll. Jadi .. berbanggalah jika anda mencapainya dan bisa memanfaatkannya di dalam organisasi anda saat ini ataupun pada pekerjaan anda di masa depan.

3. Jika Anda adalah tipe DBA # 3, jangan menyerah. Jangan melihat perjalanannya terlalu lama seperti sebelumnya, teruslah belajar dan Anda akan mendapatkan level sebagai pesaing bagus di pasar.


Kita harus mengatakan bahwa teknologi membentuk sebuah langkah menuju perubahan besar yang baik untuk semua teknisi. Kita mendapatkan hal baru untuk dipelajari dan meningkatkan kemampuan teknis kita, perang industri melawan biaya dan downtime akan dipecahkan dan pelanggan adalah raja pasar di sana. Juga beberapa keuntungan bagi pelanggan akan menghemat waktu adalah perubahan positif yang sangat besar bagi mereka. Karena adanya perubahan, kita tidak bisa menjangkau sisi negatif seperti dalam sejarah komputer kita bisa melihat permintaan Computer tidak mengurangi pekerjaan dan peluang lain di sisi lain sudah bisa menyelesaikan banyak permasalahan. Hanya saja dengan terjadinya perubahan baru, maka kita harus siap untuk keterampilan baru.


Refference :
http://oracle-help.com
http://www.zdnet.com
https://community.oracle.com

MKRdezign

Contact Form

Name

Email *

Message *

Powered by Blogger.
Javascript DisablePlease Enable Javascript To See All Widget