Big Data DBA

Big Data DBA

Belajar Big Data Solusi Data Management Dengan Big Data

Latest Post

Apakah anda sudah pernah mendengar mengenai data silos? Jika ternyata organisasi Anda menderita data silos, maka data warehouse mungkin dapat menjadi solusi tim Anda dengan menggunakan data intengration atau ETL Tools.


mengatasi data silos dengan data warehouse



Lalu, apakah yang dimaksud dengan data silos ?

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi. Menghapus data silos dapat membantu Anda mendapatkan informasi yang tepat pada waktu yang tepat sehingga Anda dapat membuat keputusan yang baik. Dan, Anda dapat menghemat uang dengan mengurangi biaya penyimpanan untuk informasi duplikat.

Jadi data silos ini bisa terjadi karena adanya data yang sama pada organisasi / department yang berbeda, dimana masing-masing bagian tidak dapat melihat data yang sama tersebut yang tersimpan di bagian/department yang lainnya.

Sehingga bisa dikatakan masing-masing department tersebut tidak mengetahui kalau ternyata datanya sama dengan data yang ada di departemen yang lain.

Data Silos adalah kumpulan informasi dalam sebuah organisasi yang terisolasi dari dan tidak dapat diakses oleh bagian lain dari organisasi.

Lalu bagaimana data Silos terjadi?

Sebagaimana  yang saya baca dari dzone.com, data silos dapat terjadi dikarenakan adanya tiga alasan umum berikut ini :
  1. Budaya Perusahaan
  2. Struktur Organisasi
  3. Teknologi


Kalau kita uraikan dari tiga masalah umum tersebut, maka dapat kita ketahui :

1.  Budaya perusahaan.

Seringkali banyak Departemen di suatu perusahaan yang memiliki data silos antara satu department dengan department yang  lain, terutama di perusahaan besar. 

Terkadang hal ini terjadi karena ada persaingan internal, tetapi seringkali hal itu terjadi karena satu departemen melihat dirinya terpisah dari yang lain dan tidak mempertimbangkan di mana informasi harus dibagi.

2.  Struktur organisasi

Selain dari sebuah organisasi yang secara khusus bekerja untuk mengintegrasikan Departemen yang berbeda, maka akan sangat mudah untuk membangun lapisan hirarki dan manajemen yang dapat menghalangi Departemen dari berbagi informasi.

Dengan adanya lapisan hirarki dan manajemen ini akhirnya menjadi penyebab sulitnya untuk mendapatkan data antara satu departemen dengan department yang lain. Dengan adanya kesulitan procedural hirarki ini akhirnya mengakibatkan masing-masing departemen sering menyimpan data yang sama.

3. Teknologi 

Hal ini bisa terjadi akibat tidak biasa bagi departemen yang berbeda untuk menggunakan teknologi yang berbeda, sehingga sulit bagi suatu Departemen untuk berbagi informasi umum dengan departemen yang lain. 

Misalnya, mungkin tim penjualan menggunakan Salesforce, namun tim pemasaran tidak memiliki tool ini. Akan tetapi, ada kemungkinan tool tersebut berisi informasi berharga yang seharusnya bisa digunakan oleh team pemasaran. 

Sebuah survei TI menunjukkan bahwa sebagian besar perusahaan memiliki antara 1-200 aplikasi yang berbeda untuk Departemen mereka. Anda bisa bayangkan, betapa beratnya untuk mendapatkan suatu informasi ketika anda memiliki begitu banyak aplikasi yang digunakan dan tentu saja dengan banyaknya sumber data yang berbeda dengan teknologi yang berbeda pula.


Mengapa Data Silos dapat Menjadi  Masalah?

Tentu saja data silos bisa mendatangkan masalah dengan paling tidak adanya 3 faktor berikut ini :


a. Ketidakmampuan untuk mendapatkan pandangan data yang komprehensif.

Jika data Anda ternyata silos, hubungan yang relevan antara data silos dapat dengan mudah dilewatkan. 

Sebagai contoh, misalnya, tim pemasaran memiliki data yang sangat baik di mana kampanye pemasaran menarik banyak perhatian di geografi tertentu, sedangkan tim penjualan memiliki informasi tentang penjualan di geografi yang sama. 

Bagaimana jika ternyata Anda bisa membawa informasi itu bersama-sama? Bayangkan betapa akan terlihat lebih jelas hubungan antara kampanye pemasaran dan penjualan yang dilakukan.


b. Sumber daya yang terbuang.

Pertimbangkan apa yang terjadi jika Anda memiliki database dengan informasi pelanggan untuk tim pemasaran dan ada satu lagi database informasi pelanggan untuk tim penjualan. 
Banyak data diduplikasi antara kedua Departemen ini. Akan banyak membutuhkan uang untuk menyimpan semua data ini, dan semakin banyak data seperti di atas, maka akan semakin sedikit organisasi yang dapat membelanjakan kebutuhan untuk persyaratan lain.


c. Data yang tidak konsisten

Dalam data silos, adalah umum untuk menyimpan informasi yang sama di tempat yang berbeda. Ketika ini terjadi, ada kemungkinan besar bahwa Anda akan memperkenalkan inkonsistensi data. 

Anda dapat memperbarui alamat pelanggan di satu tempat, sementara di tempat yang lain tidak/belum diganti. Atau, Anda mungkin memperkenalkan salah ketik dalam satu kumpulan informasi. 

Namun ketika data hanya berada di satu tempat, Anda akan memiliki kesempatan yang lebih baik untuk menjaga informasi yang benar sehingga validitas data akan terjamin..

Anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration.

Tantangan dalam berurusan dengan data silos

Sementara banyak perusahaan mengakui bahwa data Silos adalah masalah, mengatasi kondisi data silos ini dapat menjadi sebuah tantangan. Setelah Anda memiliki budaya yang berakar dari memisahkan data, itu adalah tantangan untuk mengubah pola pikir karyawan. 

Selain itu, mungkin sulit untuk membatalkan beberapa siloes karena cara kerja sistem diatur dengan berbagai izin dan hierarki. Sebagai contoh, izin sering diatur oleh grup, jadi setelah data silos untuk grup, sulit untuk kemudian mengubah semua izin yang diperlukan. 

Dan jika data yang silos di sistem yang berbeda (misalnya, data untuk grup operasi keamanan disimpan dalam database Oracle, tetapi informasi penjualan di Salesforce), lebih sulit untuk mengatasi data silos tersebut. 

Untuk menyederhanakan proses ini, sebagian besar perusahaan memindahkan datanya dari berbagai sistem ke dalam data warehouse. Data warehouse adalah repositori untuk semua data yang dikumpulkan oleh sistem operasional perusahaan. Data warehouse dioptimalkan untuk akses dan analisis dari pemrosesan transaksional, dan data warehouse tersebut  dirancang untuk membantu manajemen mendapatkan tampilan 360 mengenai data perusahaan mereka.


Cara memecah data Silos

Cara terbaik untuk menghapus data silos adalah dengan menggabungkan data Anda ke dalam data warehouse. Berikut adalah beberapa metode yang berbeda yang mungkin digunakan perusahaan untuk mendapatkan data ke dalam data warehouse:

- Scripting. 
Beberapa perusahaan menggunakan script (ditulis dalam SQL atau Python, dll) untuk menulis kode guna mengekstrak data dan memindahkannya ke lokasi pusat. Namun hal ini bisa memakan waktu namun, dan juga membutuhkan banyak keahlian.

- ETL Tools berbasis premis
ETL Tools (Extract, Transform, load) dapat mengambil banyak “rasa sakit” dari memindahkan data dengan mengotomatisasi proses. Mereka mengekstrak data dari sumber data, melakukan transformasi, dan kemudian memuat data ke data warehouse tujuan. Tools data integration ini biasanya di-host di situs perusahaan Anda.

Beberapa contoh ETL Toos on premis yang anda gunakan antara lain Pentaho Data Integration, Talend Studio

- ETL Tools berbasis Cloud
ETL Tools ini di-host di Cloud, di mana Anda dapat memanfaatkan keahlian dan infrastruktur dari vendor. Mereka biasanya digunakan ketika sebuah perusahaan memutuskan untuk memindahkan data silos ke cloud data warehouse.

Untuk ETL Tools berbasis cloud, anda bisa mencoba fivetran, blendo, stitch, snaplogic, atau matillion

Jadi, anda dapat menghindari atau meminimalisasi kondisi data silos dengan memanfaatkan data warehouse dengan cara melakukan integrasi semua sumber data yang ada di data warehouse yang dilakukan oleh tools data integration. Baik tools data integration ini berbasis premis maupun tools data integration yang berbasis cloud.


Refference :
#datasilos, #datawarehouse, #datasilosadalah

dzone.com

Infrastruktur Big Data itu Seperti Apa - Big Data DBA. Saat mengulas Big Data tentu kita bakal tersadar pada keperluan infrastruktur untuk menyokong teknologi Big Data itu. Dalam infrastruktur teknologi Big Data sendiri mempunyai karakteristik yang tidak sama dengan traditional data, yakni : 

Infrastruktur Big Data itu Seperti Apa










Infrastruktur Big Data itu Seperti Apa

#1.  Sekilas Sejarah Tentang Big Data

Awal mulanya th. 1970-2000 data yang di bangun merupakan data dengan jenis terstruktur serta adalah relational database seperti MySQL, oracle, dan sebagainya. Lantas pada th. 1995 selanjutnya mulai di bangun satu business intelligence yang memakai structured serta relational database dengan sistem seperti cognos, pentaho dan sebagainya. Pada 2010 sampai saat ini di bangun satu sistem yang mempunyai maksud 3V (volume, velocity, varity) atau 4V (ditambah value), serta dengan berbagai teknologinya seperti map reduce, high performance computers cluster dan sebagainya. 

Berarti kegunaan Big Data adalah sisi dari intelijen usaha, Big Data bisa dipakai untuk membuat satu usaha yang mempunyai intelijen manfaat mensupport pengambilan keputusan. Tetapi dalam hal semacam ini ada banyak hal yang tidak sama dari sisi volume yang tidak cuma jumlah data yang banyak, tetapi perkembangan data yang sangatlah cepat hingga dalam rentang waktu yang pendek data bisa bertumbuh dengan amat cepat serta besar (velocity), serta data yang ada mempunyai variasi yang sangatlah banyak (variety) tentu dalam big data sendiri terlebih dalam pembentukan data warehouse telah banyak dikerjakan ekstraksi transform load (ETL) untuk menanggulanggi varietas dari data itu hingga data bisa jadi standard baik dibikin bersih dari beragam noise juga dikerjakan transformasi hingga data tambah lebih sesuai dengan sistem usaha yang ada atau yang tengah jalan untuk organisasi spesifik. 

Business Intelligence yang didalamnya ada pemakaian big data juga memerlukan satu teknologi yang bisa mensupport sistem usaha yang ada di dalam intelijen usaha tersebut, hingga bisa jalan sesuai sama yang diinginkan. Hingga butuh di bangun satu infrastruktur yang pas serta bisa menangani keperluan big data yakni satu diantaranya yaitu sistem pemrosesan data yang amat cepat meskipun diwaktu yang sama data memiliki ukuran besar serta tumbuh dengan cepat. 

Sebagai permasalahan serta tantangan yaitu akusisi data, recording data, ekstraksi, cleaning, anotasi, integrasi, agregasi, representasi, analisa, jenising, interpretasi, serta visualisasi. Big data sendiri mempunyai aplikasi serta fungsi untuk beragam bagian seperti yang telah dijelaskan di atas pada awal mula artikel ini. 

#2. Macam Teknologi Big Data

Ada dua teknologi dalam infrastruktur dalam Big data yakni : 

  1. High Performance Computing Cluster (HPCC) atau bisa dikatakan sebagai Data Analytics Supercomputer (DAS) 
  2. Hadoop Basis (Map Reduced-Based Basis) 

Dari ke-2 pendekatan teknologi itu ada ketidaksamaan yang cukup penting (dari sisi manfaat) serta ada kemiripan dalam sistem yang jalan didalamnya. Kemiripan dari dua teknologi itu yaitu keduanya sama memakai kurang lebih satu computer dalam melakukan sistem penarikan info maupun pemrosesan beragam info atau bahkan juga bisa tampak keduanya memakai rancangan cluster pada arsitektur teknologi yang dipakai. Pada intinya keduanya juga bisa diintegrasikan dengan baik manfaatnya sama-sama mensupport keduanya. 

High Performance Computing Clusters (HPCC) itu sendiri pada intinya dibangun sebagai satu super computer yang terbagi dalam kurang lebih satu computer dengan spesifikasi spesifik (umumnya sama) untuk sama-sama menolong, menyokong, atau membagi pekerjaan keduanya hingga berbarengan bisa lakukan processing pada satu data, terlebih dalam soal pencarian data. Sistem besar yang umumnya jalan sendiri yaitu seperti, Ekstrak, Transform, serta Load, lantas kemudian dikerjakan analisa untuk memperoleh info yang lebih sesuai sama kebuthan usaha organisasi itu. 

Infrastruktur Big Data itu Seperti Apa

Sedang Hadoop Berbasis sendiri adalah satu project teknologi yang di kembangkan oleh apache dalam mengelola data besar hingga tambah lebih efisien serta efektif. Dalam hadoop sendiri terbagi dalam beragam komponen, bahkan juga sampai hadoop sendiri mempunyai distributed file sistem sendiri yang disebut dengan (HDFS). Keunggulan dari dari HDFS itu sendiri yaitu : 


  • Fault tolerance, serta di-deploy untuk low biaya hardware 
  • Write Once, Read many, adalah koherensi simpel, serta ditambah lagi frame-work yang di bangun dalam hadoop saat kita bakal memakai hadoop, memakai teknologi java. 
  • Memindahkan komputasi/sistem lebih cepat dari memindahkan data. 
  • Serupa Google File Sistem, namun HDFS membagi file jadi block dalam cluster node yang terdistribusi. 
  • Core component : master vs slave, name node vs data node, job tracker vs task tracker. 

#3.  Arsitektur Hadoop dan Integrasi antara HPCC dan Hadoop

Berikut ini adalah gambaran dari hadoop Basis : 

Infrastruktur Big Data itu Seperti Apa


Dibawah ini merupakan satu diantara arsitektur integrasi pada HPCC serta Hadoop basis : 

Infrastruktur Big Data itu Seperti Apa


Pada saat itu ada ketidaksamaan System manajemen Basis Data, yang pada intinya basis data mempunyai korelasi antar data yag umumnya kita sebut dengan data yang telah terstruktur atau terorganisasi, serta piranti sistem manajemen basis datanya yang disebut piranti lunak yang bisa dipakai untuk mengelola basis data seperti MySQL, Oracle, PostgreSQL dan sebagainya. Ketika ini ada keperluan lain dari manajemen basis data karenanya ada big data atau jadi System Manajemen Big Data. Berikut yaitu pemicu mengapa ada keperluan Manajemen Big Data itu : 

#4.  DBMS Konvensional Tidak Cukup Untuk Big Data

Tak seluruhnya masalah pemrosesan data bisa dikerjakan lewat cara paling baik memakai traditional relational DBMS. 

DBMS konvensional kurang untuk big data lantaran :
  • Kecepatan akses (gosip volume) 
  • Kesederhanaan set up 
  • Keperluan representasi struktu/skema yang lebih longgar (gosip variety) 
  • Keperluan pengelolaan data yang tidak sama (ACID tak seutuhnya dibutuhkan), missal connectedness. 
  • Keperluan arsitektur terdistribusi (scale out). 


    Hingga di bangun beragam piranti lunak yang bisa menangani keperluan itu tetapi masingmasing teknologi mempunyai karakteristik dalam sistem pemrosesan yang tidak sama, tersebut misalnya : 

    Column Oriented

    • Big table (google), Hbase, Cassandra (Facebook)

    Document Oriented

    • CouchDB, MongoDB

    Graph-Oriented

    • Neo4j, Virtuoso

    Key-value Oriented

    • DynamoDB (Amazon), Riak



      #5.  Perbedaan DBMS Untuk Big Data

      Dari sebagian contoh DBMS di atas itu tampak bahwa ada ketidaksamaan mendasar pada masing DBMS untuk big data itu yaitu pada tujuan dari masing-masing database management sistem. Umumnya sistem untuk manajemen basis data untuk Big Data yang dipakai yaitu NoSQL yang pada awalanya ditujukan oleh beberapa komune yg tidak suka pada pemakaikan SQL juga sebagai “tidak memakai SQL” tetapi saat ini lantaran kesadaran ternyta kita tak bias seutuhnya terlepas pada SQL itu, dirubah jadi “Not Only SQL” (NoSQL). NoSql itu adalah DBMS yang dijelaskan pada awal mulanya (4 point diatas). NoSQL mempunyai ketidaksamaan yaitu database yg tidak berelasi, lantaran tak ada keperluan connectedness yang telah dijelaskan pada awal mulanya, serta umumnya berbentuk terdistribusi serta scale out (dengan cara horizontal). Tidak ada skema spesial hingga lebih longgar pada skema, serta pemakaikan Application Programming Interface yang lebih simpel dalam pemakaian manipulasi atau processing data. Juga mengaplikasikan perinsip BASE, buka ACID. 

      Yang paling populer sendiri untuk teknologi NoSQL itu yaitu Hadoop dengan map reducenya yang pada versus 1.0 serta 2.0 nya mempunyai ketidaksamaan yang cukup penting terlebih dalam jenis frameworknya, yang ke-2 yaitu Document Oriented yang mempunyai rencana hirarki dalam dokumen satu data, serta umumnya dokumen di enkapsulasi serta encoding dalam format standard XML, JSON, YAML, dan sebagainya. Sedang Graph oriented adalah DBMS yang memrepresentasikan jenis data graph, yang menunjukkan keterhubungan antar tiap-tiap data. 

      Dalam sistem mining (datamining) karenanya ada big data itu sendiri cukup menguntungkan lantaran datamining memerlukan data yang banyak hingga membuahkan jenis yang tambah lebih general tetapi mempunyai akurasi yang tinggi. Tetapi karenanya ada big data itu sendiri datamining diwajibkan terima tantangan bagaimanakah lakukan datamining dengan taraf yang sangatlah besar serta terdistribusi dengan juga variety data yang sangatlah variatif. 



      Hingga diinginkan dengan pemakaian infrastruktur teknologi dari Big Data yang pas manfaatnya dan bisa mensupport sistem usaha yang ada jadi tambah lebih baik terlebih dalam sistem pengambilan info, knowledge serta wisdom manfaat mensupport dalam pengambil keputusan disuatu organisasi spesifik baik ini keuntungan / profit ataupun non-profit, baik ini swasta ataupun pemerintah.

      Berdasarkan aturan secara umum, data integration tampaknya seperti topik yang cukup sederhana: kita hanya perlu untuk menggabungkan data yang berasal dari lebih satu sumber data.

      Akan tetapi dalam prakteknya, ternyata data integration bisa menjadi sangat kompleks. Banyak vendor menawarkan array yang memusingkan menggunakan data integration tools yang berbeda dengan berbagai macam kemampuan. 

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus
      Photo by Franki Chamaki on Unsplash

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus


      Perusahaan harus memilih antara data integration tools lokal dan berbasis Internet, single-purpose tools dan platform data integration multi-fungsi, dan data integration tools yang berlicense atau data integration tools yang open source.

      Dan untuk memilih data integration tools yang terbaik, maka kita harus memiliki strategi data integration, serta integrasi data menggunakan kasus-kasus yang masuk akal dari perspektif keuangan.

      Tentu saja, kebutuhan setiap organisasi akan sedikit berbeda, tergantung pada industri mereka, produk, pelanggan, alur kerja dan faktor lainnya. Namun, banyak perusahaan menggunakan data integration untuk tujuan serupa.

      “Kasus penggunaan data integration ini berkisar dari migrasi data untuk sinkronisasi data di beberapa sistem untuk menyediakan pemandangan holistik 360 derajat dari pelanggan.”


      Berikut ini adalah lima dari data integration yang paling umum dengan menggunakan kasus-kasus yang berlaku di berbagai industri:

      Migrasi data ke dalam data warehouse atau Hadoop

      Saat ini, data analytics telah menjadi bagian integral dalam melakukan bisnis. Dalam setiap industri, organisasi menciptakan repositori big data yang mereka harapkan dapat untuk memberikan wawasan berharga.

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus
      Photo by Balázs Kétyi on Unsplash

      Pada kenyataannya, di NewVantage Partners Big Data Executive Survey 2018, ternyata 97.2 persen responden mengatakan bahwa organisasi mereka sudah berinisiatif untuk menggunakan big data atau kecerdasan buatan (AI).

      Tentunya banyak tantangan yang dihadapi dalam mengembangkan bigdata. Apa saja tantangannya ? Anda bisa mencari tahu pada artikel berikut yang membahas tentang apa saja tantangan untuk mengolah big data.

      Namun, sebelum organisasi dapat menjalankan laporan, melakukan analisis atau mendapatkan pengetahuan, mereka pertama kali perlu untuk mengumpulkan semua data mereka ke dalam satu tempat dan mengumpulkan data tersebut dalam format yang tepat untuk analisis.

      Dan ternyata hal tersebut memerlukan data integration.

      Jenis data integration akan tergantung pada jenis repositori data perusahaan dalam ketertarikannya pada penciptaan data tersebut. Banyak organisasi memiliki data warehouse yang mereka gunakan untuk tujuan business intelligence (BI).

      Membuat data repository ini tentunya anda membutuhkan data integration tools yang dapat mengumpulkan data yang relevan dari berbagai aplikasi yang berbeda dan juga berbagai sistem yang berbeda pula.

      Karena data warehouse menyimpan data dalam keadaan terstruktur, data mungkin perlu dibersihkan atau diubah sehingga dalam format yang sama dan serupa seperti data yang lainnya. 

      Misalnya, beberapa aplikasi dapat menyimpan nomor telepon dengan tanda kurung, seperti (123)456-7890, sementara orang lain hanya menggunakan tanda hubung, seperti 123-456-7890. Sebelum sumber data tersebut yang akan disimpan di data warehouse, maka semua nomor telepon tersebut harus memiliki format yang sama.

      Untuk itu, organisasi biasanya menggunakan jenis perangkat lunak data integration yang dikenal sebagai extract, transform, load atau disingkat dengan ETL.

      Perusahaan telah menggunakan banyak tool ETL untuk tujuan ini selama beberapa dekade, dan ini adalah salah satu jenis perangkat lunak data integration yang paling akrab.

      Hari ini, banyak perusahaan memiliki danau data (data lake) yang berada di dalam data warehouse mereka. Danau data yang menyimpan data terstruktur dan data semi-terstruktur yang berbeda dengan data terstruktur, dan mereka menyimpan semua data dalam keadaan mentah tanpa mengubahnya terlebih dahulu.

      Danau data atau kita sebut saja data lake ini sering dijalankan di Hadoop yang merupkan software open source dan perangkat keras dengan standard industri, bukan kepemilikan teknologi, yang membuatnya ekonomis untuk menyimpan lebih banyak data dari sumber-sumber yang lebih banyak.

      Untuk sebuah data lake, organisasi tidak perlu tool ETL, tetapi mereka perlu produk migrasi data yang dapat menarik data dari berbagai sumber yang berbeda.

      Di antara unsur-unsur dalam kasus banyak data integration adalah data pergudangan, data profil dan pemodelan data.

      Sinkronisasi data di beberapa sistem

      Banyak perusahaan menemukan bahwa mereka memiliki beberapa sistem independen yang menyimpan data yang sama. Kadang-kadang hal ini terjadi sebagai akibat dari aktivitas merger dan akuisisi. 

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus

      Misalnya, jika salah satu pengecer barang-barang olahraga merger dengan pengecer barang-barang olahraga lain, maka akan ada dua kemungkinan yaitu memiliki banyak pemasok, mitra dan pelanggan yang sama dan yang kedua memiliki informasi tentang semua entitas tersebut di databses mereka masing-masing. 

      Namun, dua merek yang berbeda mungkin saja menjalankan database yang berbeda, dan informasi yang disimpan di database mereka mungkin tidak selalu sejalan. Sering terjadi banyak data yang sama berada di dalam database yang berbeda.

      Di waktu yang lain, data ganda adalah hanya hasil dari siluet sistem. Sebagai contoh, perangkat lunak Keuangan mungkin berbeda dari perangkat lunak Departemen penerimaan.

      Sementara kedua sistem mungkin menyimpan data yang sama yang berkaitan dengan rantai pasokan, sementara dua database mungkin saja sangat berbeda. 

      Dan jika Departemen penerimaan melakukan update alamat untuk vendor tertentu, mereka mungkin lupa untuk memberitahukan departemen keuangan, yang menyebabkan di departemen keuangan akan masih memiliki alamat lama yang disimpan dalam sistem mereka.

      Perusahaan dapat memilih untuk berurusan dengan situasi seperti ini dalam berbagai cara.

      Misalnya, mereka mungkin mencoba untuk menggabungkan database dari kedua perusahaan untuk digabung, atau mereka mungkin mencoba untuk memindahkan departemen keuangan dan Departemen penerimaan ke software Enterprise Resource Planning (ERP) untuk menghilangkan data silo.

      Namun, pada saat perusahaan besar mungkin dapat mengurangi jumlah database mereka dan aplikasi melalui konsolidasi, mereka biasanya masih menyisakan beberapa repositori data.

      Untuk menyimpan semua database mereka supaya tetap up to date, mereka membutuhkan solusi yang bisa mensinkronkan record dalam berbagai sistem independen.

      Hal ini biasanya memerlukan data integration tools dengan solusi data governance dan kemampuan master data management (MDM).

      Mungkin produk MDM standalone atau platform data integration yang lengkap dapat menghapus duplikat, membakukan format, menyalin data dari satu sistem ke sistem yang lain (data propagasi) dan memberikan keseragaman view pada master data dalam sistem organisasi (data Federasi).

      Menerima data dari pemasok, atau mitra

      Selama ini berbagai perusahaan telah menggunakan komputer, perangkat-perangkat komputer tersebut dibutuhkan untuk mengirim dan menerima data dari pemasok dan mitra mereka. 

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus

      Sebagai contoh, produsen mungkin perlu memindahkan daftar pengiriman, faktur informasi atau data umum produk. Atau rumah sakit mungkin perlu menerima catatan pasien dari independen dokter kantor dan laboratorium.

      Di masa lalu, mitra mungkin hanya mengirimkan Fax untuk informasi yang relevan, dan perusahaan akan kembali melakukan input ke dalam sistem mereka. Tetapi metode ini memakan waktu dan rawan kesalahan.

      Salah satu solusi yang paling awal untuk masalah ini adalah jenis data integration tools yang dikenal sebagai elektronik data interchange (EDI).

      Pertama kali ditemukan pada tahun 1970, EDI masih digunakan sampai sekarang oleh banyak perusahaan, begitu banyak vendor menggabungkan EDI ke platform data integration mereka.

      Namun, teknologi modern menawarkan beberapa alternatif untuk jenis EDI tradisional. Misalnya, beberapa perusahaan melakukan transfer data melalui Layanan Web yang bergantung pada file XML, sementara banyak orang lain membuat nya lebih ekstensif yaitu dengan menggunakan api (application programming interface). 

      Dan beberapa perusahaan menggunakan beberapa metode yang berbeda untuk mentransfer data ke dan dari mitra perusahaan, di mana pada kasus data integration tools yang dapat mengelola berbagai jenis sambungan data menjadi demikian menarik.


      Membuat Dashboard Penjualan atau Dashboard Pemasaran 

      Dalam survei NewVantage 2018, 98,6 persen dari eksekutif yang disurvei mengatakan organisasi mereka sedang dalam proses menciptakan budaya data-driven.

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus

      Sebagian besar dari usaha di sebagian besar perusahaan membuat penggunaan data analytics yang lebih besar dalam penjualan dan Departemen pemasaran.

      Pada saat ini, banyak organisasi berinteraksi dengan pelanggan dengan mengambil tempat secara online.

      Yang memberikan kelebihan pada perusahaan dalam hal kemampuan untuk mengukur upaya mereka dalam melakukan penjualan dan pemasaran, apakah mereka sedang menghitung tayangan iklan dan klik iklan, pelacakan berapa lama pelanggan menghabiskan di berbagai bagian dari situs web mereka atau benar-benar menjual produk mereka dan Layanan online lainnya.

      Banyak organisasi yang menggunakan data ini untuk membuat dashboard yang memberitahu mereka mengenai informasi pemasaran dan penjualan tim, bagaimana usaha yang sudah mereka lakukan.

      Sebagai contoh, sebuah dashboard pemasaran mungkin mampu untuk melacak dan mengarahkan hasil terkait dengan banyak faktor: 
      • Bounce Rates (tingkat pentalan)
      • Open Rates
      • Metrik konversi
      • Convertion Metrics
      • Lead Quality
      • Key Performance Indicator (KPI) yang penting bagi tim

      Bila memungkinkan, data ini disajikan dalam format visual, seperti diagram atau grafik, sehingga pengguna dapat melihat tren baris dan sekilas data visual itu membuatnya masuk akal.

      Untuk membuat dashboard ini, organisasi mungkin menggunakan platform data integration atau gabungan beberapa tool berbeda secara mandiri. Beberapa penjualan atau pemasaran perangkat lunak termasuk kemampuan untuk menciptakan sebuah dashboard. 

      Atau organisasi dapat membuat dashboard mereka sendiri, mengubah sesuai kebutuhan yang menarik data dari beberapa sumber internal dan eksternal yang berbeda.

      Aplikasi yang kemudian berjalan akan membutuhkan berbagai analytics yang diperlukan dan menciptakan visualisasi dan melakukan update data secara teratur.

      Kasus penggunaan data integration ini jauh lebih kompleks daripada ETL atau sinkronisasi records, sehingga memerlukan perangkat lunak yang lebih kuat dan powerfull.

      Memberikan Pandangan 360 Derajat kepada Pelanggan

      Untuk banyak perusahaan, "holy grail" data integration adalah untuk menciptakan pandangan utuh 360 derajat dari setiap individu nasabah / customer.

      5 Type Data Integration Teratas Berdasarkan Jenis Kasus

      Idenya adalah bahwa setiap kali seorang penjual atau karyawan lain yang berinteraksi dengan pelanggan, dia akan memiliki satu panel kaca yang merangkum semua interaksi nasabah dengan perusahaan.

      Kondisi seperti ini sering membutuhkan untuk menarik data pelanggan dari beberapa sistem perangkat lunak manajemen hubungan pelanggan (CRM), aplikasi ERP, dukungan teknis sistem pelacakan Tiket, pemasaran software, sistem e-commerce, dan aplikasi lainnya.

      Hal tersebut akan mampu memberikan kemampuan pada user untuk menelusuri sejarah pelanggan, melihat persis apa yang sudah ia beli di masa lalu dan rincian panggilan, email atau obrolan dengan dukungan pelanggan.

      Banyak dari dashboard 360 derajat pelanggan ini juga memanfaatkan pengayaan data. Karena hal inilah, mereka membawa data eksternal yang tidak disertakan dalam database Perseroan.

      Sebagai contoh, untuk keperluan tersebut bisa saja menarik informasi dari rekening-rekening nasabah, akun media sosial publik atau memasukkan informasi yang tersedia dari broker data.

      Banyak hari ini dashboard juga menggabungkan analisis prediktif, machine learning dan kecerdasan buatan (Artificial Intelligence / AI).

      Sistem-sistem tersebut mungkin mampu menawarkan saran untuk apa yang mungkin pelanggan beli berikutnya, atau menawarkan bahwa pelanggan mungkin akan menemukan sesuatu hal yang sangat menarik. 

      Dalam beberapa kasus, mereka bahkan dapat menggunakan sentimen analisis untuk mengukur keadaan emosi pelanggan dan membimbing anggota staf pada panggilan tersebut.

      Kasus penggunaan data integration ini adalah yang paling rumit dari semua yang ada, dan itu memerlukan perangkat lunak data integration dan data analytic yang sangat maju.

      Banyak perusahaan membuat investasi yang diperlukan, namun, dengan harapan untuk melihat drama perbaikan dalam penjualan dan layanan pelanggan.

      Demikian lah top 5 studi kasus untuk data integration. Apakah anda terarik untuk menggeluti dunia data integration ini?

      Dalam hal data integration ini kita tidak hanya akan membicarakan mengenai big data, namun lebih dari itu semua, karena pada akhirnya semua akan bermuara pada data management, bagaimana kemampuan kita dalam mengelola data yang ada.

      Nantikan untuk bahasan-bahasan menarik lainnya seputar data management dan big data di bigdatadba.com, tidak hanya sekedar bicara data.



      Refference :
      #dataintegration, #dataintegrationtools, #dataintegrationplatform

      Bahasa pemrograman untuk machine learning dan data scientist menjadi jenis bahasa pemrograman yang akan banyak di cari dan digunakan pada tahun ini. Maka tidak heran jika banyak yang mencari literatur mengenai macam macam bahasa pemrograman apa saja yang bisa digunakan untuk machine learning dan data scientist, serta bahasa pemrograman mana yang paling banyak diminati.

      Berikut ini merupakan daftar lanjutan mengenai bahasa pemrograman paling dicari untuk machine learning dan data scientist. 

      Bahasa pemrograman untuk machine learning dan data scientist

      Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist


      Jika pada artikel di bagian pertama ada 5 daftar bahasa pemrograman, maka pada bagian kedua ini akan kita ketahui sebanyak 7 bahasa pemrograman lainnya yang bisa digunakan untuk membantu anda untuk menyelesaikan permasalahan seputar machine learning dan data scientist.



      6. Bahasa Pemrograman SQL

      belajar bahasa pemrograman SQL untuk machine learning dan data scientist


      SQL (Structured Query Language) adalah bahasa komputer yang bertujuan untuk menyimpan, memanipulasi, dan meminta data yang disimpan dalam database relasional. Inkarnasi pertama SQL muncul pada tahun 1974, ketika sebuah kelompok di IBM mengembangkan prototipe pertama dari basis data relasional. Database relasional komersial pertama dirilis oleh Relational Software (kemudian menjadi Oracle).

      Ada standar untuk SQL. Namun, SQL yang dapat digunakan pada masing-masing RDBMS utama saat ini ada dalam berbagai rasa. Ini disebabkan oleh dua alasan: 1) standar perintah SQL cukup rumit, dan tidak praktis untuk menerapkan seluruh standar, dan 2) setiap vendor basis data membutuhkan cara untuk membedakan produknya dari yang lain. 


      7. Bahasa Pemrograman Mathlab

      belajar bahasa pemrograman mathlab untuk machine learning dan data scientist


      MATLAB adalah bahasa pemrograman dengan ke khasan nya sendirinya.

      Namun, berbagai bagian MATLAB dan lingkungan pengembangan yang terkait dengan nya ditulis dalam bahasa pemrograman C (kerangka inti), bahasa pemrograman C ++ (Kita ketahui bahwa bagian komputasi Paralel ditulis dalam C ++, mungkin bisa jadi bagian yang lainnya juga demikian) dan bahasa pemrograman Java (sebagian besar untuk antarmuka) ).

      Secara historis, MATLAB ditulis dalam bahasa FORTRAN, dan warisan ini masih memanifestasikan dirinya dalam beberapa cara hingga saat ini (pengindeksan dimulai dari 1 merupakan contoh utama nya).

      MATLAB juga dapat memanggil fungsi yang ditulis dalam sejumlah besar bahasa lain - selain yang telah disebutkan di atas, MATLAB dapat menjalankan kode yang ditulis dalam bahasa pemrograman C #, Python dan Perl - Saya pikir ada juga dukungan untuk berinteraksi dengan Mathematica juga.

      Namun, MATLAB adalah bahasa pemrograman dengan bahasanya sendiri, dan diperlakukan demikian.



      8. Bahasa Pemrograman SCALA

      belajar bahasa pemrograman SCALA untuk machine learning dan data scientist


      Scala memulai kehidupannya pada tahun 2003, diciptakan oleh Martin Odersky dan kelompok penelitiannya di EPFL, di sebelah Danau Jenewa dan Pegunungan Alpen, di Lausanne, Swiss. Scala telah berkembang menjadi bahasa pemrograman open source yang matang, digunakan oleh ratusan ribu pengembang, dan dikembangkan serta dikelola oleh sejumlah orang di seluruh dunia.

      Scala menggabungkan pemrograman berorientasi objek (OOP) dan fungsional dalam satu bahasa tingkat tinggi yang ringkas. Jenis statis dari bahasa pemrograman Scala membantu menghindari bug dalam aplikasi yang kompleks, dan runtime JVM dan JavaScript memungkinkan Anda membangun sistem berkinerja tinggi dengan akses mudah ke ekosistem library yang sangat besar.



      9. Bahasa Pemrograman C

      belajar bahasa pemrograman C untuk machine learning dan data scientist


      C adalah bahasa pemrograman yang memiliki tujuan umum yang kuat. Cepat, portabel, dan tersedia di semua platform.

      Jika Anda baru dalam dunia pemrograman, maka bahasa pemrograman C adalah pilihan yang baik untuk memulai perjalanan karir pemrograman Anda.

      Ini adalah panduan komprehensif tentang cara memulai dalam bahasa pemrograman C, mengapa Anda harus mempelajarinya dan bagaimana Anda bisa mempelajarinya.



      10. Bahasa Pemrograman F#

      belajar bahasa pemrograman F# untuk machine learning dan data scientist


      F # berjalan di Linux, Mac OS X, Android, iOS, Windows, GPU, dan browser. Bahasa pemrograman F# Ini gratis untuk digunakan dan open source di bawah lisensi yang disetujui OSI.

      F # digunakan dalam berbagai bidang aplikasi dan didukung oleh komunitas terbuka yang aktif dan perusahaan industri terkemuka yang menyediakan alat profesional.

      Misi F # Software Foundation adalah untuk mempromosikan dan memajukan bahasa pemrograman F #, termasuk komunitas programmer F # yang beragam dan dalam skala internasional.



      11. Bahasa Pemrograman C++

      belajar bahasa pemrograman C++ untuk machine learning dan data scientist


      C ++ merupakan bahasa pemrograman dengan peringkat ke-4 dalam popularitas menurut spektrum IEEE peringkat Top Bahasa Pemrograman 2016. Belajar bahasa pemrograman C ++ adalah investasi yang bijaksana untuk semua programmer.

      Panduan ini menjawab semua pertanyaan Anda yang terkait dengan C ++ tentang apa itu, kapan itu digunakan, mengapa itu digunakan dan bagaimana cara Anda memulainya.

      “C ++ adalah bahasa pemrograman tingkat menengah untuk keperluan umum yang diketik secara statis, bentuk bebas, dikompilasi, multi-paradigma, tingkat menengah.”

      Dalam istilah sederhana, C ++ adalah bahasa pemrograman yang canggih, efisien dan bertujuan umum yang berdasarkan pada bahasa pemrograman C. Bahasa pemrograman Ini dikembangkan oleh Bjarne Stroustrup pada tahun 1979.

      Banyak sistem operasi saat ini, driver sistem, browser, dan game menggunakan C ++ sebagai bahasa intinya. Ini menjadikan C ++ salah satu bahasa paling populer saat ini.

      Karena ini adalah versi bahasa pemrograman C yang disempurnakan / diperluas, C dan C ++ sering dilambangkan sebagai C / C ++.


      12. Bahasa Pemrograman Javascript

      belajar bahasa pemrograman javascript untuk machine learning dan data scientist


      JavaScript adalah salah satu bahasa pemrograman paling populer di dunia. Alasan untuk ini cukup sederhana karena perannya sebagai bahasa scripting dari world wide web. Saat ini, setiap komputer pribadi di dunia memiliki penerjemah JavaScript yang terpasang di sana.

      JavaScript sangat sering disalahtafsirkan dan dikacaukan sebagai Java, karena kesamaan namanya. Namun, JavaScript tidak diartikan Java. Java diartikan Java dan JavaScript adalah bahasa yang berbeda.

      Demikian macam macam bahasa pemrograman yang sering digunakan untuk menyelesaikan permasalahan seputar machine learning dan data scientist.

      Manakah bahasa pemrograman yang membangkitkan minat anda untuk mempelajarinya ? Yang manapun bahasa perograman yang anda sukai, kesemua bahasa pemrograman tersebut tidak lah menjadi “the best” jika anda tidak menguasai logika dan algorithma dalam pemrograman.



      Refference :
      #bahasapemrograman, #belajarbahasapemrograman, #contohbahasapemrograman, #machinelearning, #machinelearningadalah, #datascientist, #macammacambahasapemrograman, #jenisbahasapemrograman

      quora[dot]com

      Industri yang berkaitan dengan machine learning dan data scientist dibanjiri dengan bahasa pemrograman yang tak terhitung banyaknya yang bertujuan untuk memilah-milah kompleksitas bisnis dan membawa inovasi teknologi. 

      Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

      Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist 2018

      Setiap tahun ada bahasa pemrograman, framework dan teknologi yang muncul, tetapi hanya sedikit yang bertahan dalam ujian waktu. Tahun ini juga kita bisa melihat bahasa pemrograman seperti Q# yang merupakan besutan Microsoft membuat kemajuan, yang difokuskan pada pengembangan aplikasi berbasis komputasi kuantum.

      Dengan perkembangan yang semakin meningkat, penting bagi developer untuk terus mempelajari keterampilan bahasa pemrograman baru agar tetap relevan. Tetapi jika Anda seorang pemula yang ingin memilih bahasa pemrograman terbaik untuk ditambahkan dalam keahlian Anda, tugas itu akan semakin sulit. 
      Mengingat fakta bahwa bisa saja setiap proyek dapat menuntut serangkaian tools dan fungsi yang berbeda, itu membuat jalan untuk memilih bahasa pemrograman yang tepat untuk dipelajari menjadi berat.

      BigDataDBA membawa daftar 10+ bahasa pemrograman yang dapat Anda pilih di tahun 2018 (List bahasa pemrograman ini tanpa maksud pengurutan dari yang terendah/terjelek atau tertinggi/terbaik) untuk digunakan dalam pengembangan machine learnig dan data scientist, yang telah dikuratori berdasarkan popularitas di antara perekrut, jumlah lowongan pekerjaan, bayaran yang ditawarkannya, dan yang lainnya.
      Informasi ini disadur dan dirangkum dari kdnuggets dot com dalam tulisan machine learning data visualization  deep learning tools.



      1. Bahasa Pemrograman Python

      Bahasa pemrograman python merupakan salah satu bahasa pemrograman yang paling populer, baik dalam hal pembayaran (salary) yang ditawarkan dan popularitas di antara perekrut yang mencari tenaga kerja dengan keterampilan Python. 

      Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

      Dengan peningkatan teknologi seperti machine learning, artificial intelligence (kecerdasan buatan) dan analitik prediktif (predictive analytic), kebutuhan akan tenaga kerja profesional dengan pengetahuan menyeluruh tentang keterampilan bahasa pemrograman Python sangat diminati. 

      Terlepas dari tujuan umumnya digunakan untuk pengembangan web, bahasa pemrograman python banyak digunakan dalam komputasi ilmiah, data mining, dan kebutuhan lainnya.


      2. Bahasa Pemrograman Java

      Java adalah bahasa pemrograman komputer yang memiliki tujuan umum yang konkuren, berbasis class, berorientasi objek, [15] dan secara khusus dirancang untuk memiliki dependensi implementasi sesedikit mungkin. (Wikipedia)

      Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

      Ini dimaksudkan agar pengembang aplikasi "cukup menulis sekali, bisa dijalankan di mana saja"  yang berarti bahwa kode Java yang dikompilasi dapat berjalan di semua platform yang mendukung Java tanpa perlu kompilasi ulang. 

      Mobil self-driving, perangkat lunak pendeteksi wajah, dan speaker yang dikendalikan suara semuanya dibangun di atas teknologi dan machine learning framework- dan ini hanyalah gelombang pertama. 

      Selama dekade berikutnya, generasi produk baru akan mengubah dunia kita, memulai pendekatan baru untuk pengembangan perangkat lunak dan aplikasi serta produk yang kita buat dan gunakan.

      Sebagai pengembang Java, Anda tentunya ingin maju dari kurva ini, saat ini juga - ketika perusahaan teknologi mulai serius berinvestasi dalam machine learning. Apa yang Anda pelajari hari ini, Anda dapat membangun selama lima tahun ke depan, tetapi Anda harus memulai dari suatu tempat dengan tepat ..

      3. Bahasa Pemrograman R

      R adalah bahasa pemrograman dan environment untuk komputasi statistik dan grafik. Ini adalah proyek GNU yang mirip dengan bahasa S dan lingkungan yang dikembangkan di Bell Laboratories (sebelumnya AT&T, sekarang Lucent Technologies) oleh John Chambers dan rekannya. R dapat dianggap sebagai implementasi yang berbeda dari S. Ada beberapa perbedaan penting, tetapi banyak kode yang ditulis untuk S berjalan tanpa ada perubahan di bawah R.

      Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

      R menyediakan berbagai macam statistik (pemodelan linier dan nonlinier, uji statistik klasik, analisis deret waktu, klasifikasi, pengelompokan, dan lain sebagainya) dan teknik grafis, dan tentu saja sangat bisa diperluas. 

      Bahasa S sering menjadi wahana pilihan untuk penelitian dalam metodologi statistik, dan R menyediakan rute Open Source untuk berpartisipasi dalam aktivitas itu.

      Salah satu kekuatan R adalah kemudahan menghasilkan plot kualitas publikasi yang dirancang dengan baik, termasuk simbol dan formula matematika apabila diperlukan. Perhatian besar telah diberikan untuk pilihan desain minor dalam hal grafik, tetapi pengguna tetap memegang kendali penuh.

      R tersedia sebagai Perangkat Lunak Open Source di bawah ketentuan Lisensi Publik Umum GNU Yayasan Perangkat Lunak Free dalam bentuk kode sumber. Ini mengkompilasi dan berjalan pada berbagai platform UNIX dan sistem serupa (termasuk FreeBSD dan Linux), Windows dan MacOS.


      4. Bahasa Pemrograman Julia

      Komputasi ilmiah secara tradisional membutuhkan kinerja tertinggi, namun para pakar domain sebagian besar telah pindah ke bahasa yang lebih lambat untuk pekerjaan sehari-hari mereka. 

      Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

      Dengan munculnya bahasa pemrograman yang dipercaya ada banyak alasan bagus untuk memilih bahasa dinamis untuk aplikasi ini, tentu saja tidak berharap penggunaannya berkurang. 

      Untungnya, desain bahasa pemrograman modern dan teknik penyusunannya memungkinkan untuk sebagian besar menghilangkan pelambatan kinerja dan menyediakan environment tunggal yang cukup produktif untuk pembuatan prototipe dan cukup efisien untuk menyebarkan aplikasi yang memiliki kinerja secara intensif. 

      Bahasa pemrograman Julia mengisi peran ini: Bahasa pemrograman Julia adalah bahasa dinamis yang fleksibel, sesuai untuk komputasi ilmiah dan numerik, dengan kinerja yang sebanding dengan bahasa tradisional yang diketik secara statis.

      Karena kompiler Julia berbeda dari penerjemah yang digunakan untuk bahasa seperti Python atau R, Anda mungkin mendapati bahwa kinerja Julia pada awalnya tidak intuitif. 

      Jika Anda menemukan ada sesuatu yang lambat, sangat disarankan bagi anda untuk membaca bagian Tips Kinerja sebelum mencoba yang lain. Setelah Anda memahami cara kerja Julia, cukup mudah untuk menulis kode yang hampir secepat C.

      Julia memiliki fitur pengetikan opsional, pengiriman ganda, dan kinerja yang baik, dicapai dengan menggunakan inferensi tipe dan kompilasi just-in-time (JIT), diimplementasikan menggunakan LLVM. Ini adalah multi-paradigma, menggabungkan fitur pemrograman imperatif, fungsional, dan berorientasi objek. 

      Julia memberikan kemudahan dan ekspresi untuk komputasi numerik tingkat tinggi, dengan cara yang sama seperti bahasa R, MATLAB, dan Python, tetapi juga mendukung pemrograman umum. Untuk mencapai hal ini, Julia membangun garis keturunan dari bahasa pemrograman matematika, tetapi juga meminjam banyak dari bahasa dinamis yang populer, termasuk Lisp, Perl, Python, Lua, dan Ruby.

      Keberangkatan Julia yang paling signifikan dari bahasa dinamis yang khas adalah:

      Bahasa inti nya sangat sedikit; Julia Base dan library standar ditulis dalam Julia itu sendiri, termasuk operasi primitif seperti bilangan bulat aritmatika

      Bahasa yang kaya tipe untuk membangun dan mendeskripsikan objek, yang juga dapat secara opsional digunakan untuk membuat deklarasi tipe

      Kemampuan untuk mendefinisikan perilaku fungsi di banyak kombinasi tipe argumen melalui pengiriman ganda

      Pembuatan kode khusus otomatis dan efisien untuk berbagai jenis argumen

      Performa bagus, mendekati bahasa yang dikompilasi secara statis seperti C

      Meskipun seseorang kadang-kadang berbicara tentang bahasa dinamis sebagai "tanpa ketik", jelas tidak: dikarenakan setiap objek, apakah primitif atau yang ditentukan pengguna, dipastikan memiliki tipe. 

      Kurangnya deklarasi tipe dalam kebanyakan bahasa dinamis, bagaimanapun, berarti seseorang tidak dapat menginstruksikan kompiler tentang tipe nilai, dan seringkali tidak dapat secara eksplisit berbicara tentang tipe sama sekali. 

      Dalam bahasa statis, di sisi lain, ketika seseorang memberi anotasi tipe untuk kompiler, tipe hanya ada pada waktu kompilasi dan tidak dapat dimanipulasi atau diekspresikan pada saat run time. 

      Di Julia, type sendiri adalah objek run-time, dan juga dapat digunakan untuk menyampaikan informasi kepada kompiler.

      Sementara programmer biasa tidak perlu secara eksplisit menggunakan jenis atau pengiriman ganda, karena sudah memiliki fitur pemersatu inti Julia: fungsi didefinisikan pada kombinasi yang berbeda dari jenis argumen, dan diterapkan dengan mengirimkan ke definisi pencocokan paling spesifik. 

      Model ini sangat cocok untuk pemrograman matematika, di mana tidak wajar untuk argumen pertama untuk "memiliki" operasi seperti dalam pengiriman berorientasi objek tradisional. Operator hanyalah fungsi dengan notasi khusus untuk memperluas penambahan tipe data baru yang ditentukan pengguna, Anda mendefinisikan metode baru untuk fungsi +. Kode yang ada kemudian berlaku untuk tipe data baru.

      Sebagian karena inferensi tipe run-time (ditambah dengan anotasi tipe opsional), dan sebagian karena fokus yang kuat pada kinerja sejak dimulainya proyek, efisiensi komputasi bahasa pemrograman Julia melebihi bahasa dinamis lainnya, dan bahkan bahasa pemrograman saingan yang dikompilasi secara statis. 

      Untuk masalah numerik dalam skala besar, kecepatan selalu akan menjadi sangat penting: jumlah data yang sedang diproses dengan mudah mengikuti Hukum Moore selama beberapa dekade terakhir.

      Bahasa pemrograman Julia bertujuan untuk menciptakan kombinasi yang belum pernah terjadi sebelumnya dari kemudahan penggunaan, kekuatan, dan efisiensi dalam satu bahasa pemroragraman komputer. 

      Selain hal di atas, beberapa keunggulan Julia dibandingkan sistem yang sebanding meliputi:
      • Sumber gratis dan open (berlisensi MIT)
      • Jenis yang ditentukan pengguna sama cepat dan kompaknya dengan built-in
      • Tidak perlu membuat vektor kode untuk kinerja; kode yang dikhususkan secara cepat
      • Dirancang untuk paralelisme dan perhitungan terdistribusi
      • “Green” Threading  yang ringan (coroutine)
      • Sistem tipe yang tidak mengganggu namun kuat
      • Konversi dan promosi yang elegan dan dapat diperluas untuk jenis numerik dan lainnya
      • Dukungan efisien untuk Unicode, serta tidak terbatas pada UTF-8
      • Dapat memanggil fungsi C secara langsung (tidak diperlukan pembungkus atau API khusus)
      • Kemampuan mirip shell yang kuat untuk mengelola proses lainnya
      • Macro seperti tiger dan fasilitas pemrograman meta lainnya

      5. Bahasa Pemrograman SAS

      Pemrograman SAS didasarkan pada dua blok bangunan:

      Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist

      Step DATA: Step DATA membuat kumpulan data SAS dan kemudian meneruskan data ke langkah PROC
      Step PROC: Step PROC memproses data

      Program SAS harus mengikuti aturan yang disebutkan di bawah ini:
      • Hampir setiap kode akan dimulai dengan Step DATA atau PROC
      • Setiap baris kode SAS berakhir dengan titik koma
      • Kode SAS berakhir dengan kata kunci RUN atau QUIT
      • Kode SAS tidak peka huruf besar-kecil (case sensitive)
      • Anda dapat menulis kode melintasi baris yang berbeda atau Anda dapat menulis beberapa pernyataan dalam satu baris

      Sekarang kita telah melihat beberapa terminologi dasar, mari kita lihat contoh bahasa pemrograman SAS dengan kode dasar ini:

      DATA Employee_Info;
      entry Emp_ID Emp_Name $ Emp_Vertical $;
      datalines;
      101 Mak SQL
      102 Rama SAS
      103 Priya Java
      104 Karthik Excel
      105 Mandeep SAS
      ;
      run;

      Dalam kode di atas, kita membuat kumpulan data yang disebut sebagai Employee_Info. Employee_Info memiliki tiga variabel, satu variabel numerik sebagai Emp_Id dan dua variabel karakter sebagai Emp_Name dan Emp_Verticals. Perintah run menampilkan kumpulan data di Jendela Output.


      Itulah 5 bahasa pemrograman yang banyak digunakan untuk menyelesaikan permasalahan seputar machine learning dan data scientist.

      Harusnya dalam artikel ini ada 10+ bahasa pemrograman yang digunakan untuk case machine learning dan data scientist. 

      Dikarenakan nulisnya udah kepanjangan, maka saya sambung di bagian ke 2 untuk lanjutan artikel bahasa pemrograman yang banyak digunakan untuk machine learning dan data sientist ini. Nantikan dan terus stay tune di blog big data dba.


      Bagian ke-2 :

      10+ Bahasa Pemrograman Paling di Cari Untuk Machine Learning dan Data Scientist 2018 Bag 2


      Reff :

      MKRdezign

      Contact Form

      Name

      Email *

      Message *

      Powered by Blogger.
      Javascript DisablePlease Enable Javascript To See All Widget