ETL - Pentaho, Backup Data

Extract, transform, and load (ETL), adalah proses penarikan data atau penggabungan data dari sumber data A ke tempat penyimpanan atau repository lain, kira-kira seperti itu pengertinaya.

Software ini digunakan untuk membuat pemetaan pengiriman data yang akan di kumpulkan menjadi satu, bisa juga digunakan untuk membackup database,

disini akan jelaskan contoh pembuatan skema backup database dan pembuatan scheduler dengan software ini.

download dulu software nya di link ini.

mysql konektor.==> jika koneksi ke mysql download ini dan masukkan ke folder lib

Software ini tidak dalam bentuk installan, jadi hanya di extrak saja foldernya.

Setelah di download dan di extrak buka Spoon.bat

akan muncul loading seperti ini, tunggu saja sampai terbuka aplikasinya

tampilan awal :

yang akan kita buat skema nya seperti ini

transformation : ini adalah prosees dimana kita mendefinisikan tabel yang akan di backup ke database mana
job : job ini adalah kumpulan query backup tabel yang akan di jalankan saat dibuat task scheduler

Pertama klik File->new->transformation

kemudian setelah terbuka lembar baru, cari table di kolom sebelah kiri, dan di icon bertuliskan "Tabel Input" geser ke kanan :

untuk mengkonfigurasi tabel input klik dua kali di icon table input yang sudah ada dii kolom kanan:

nah ssetelah buat koneksi baru dengan klik new buat setting database nya :

.isi sesuai keperluan, disini saya pakai Mysql, setelah selesai setting klik oke,

setelah itu isikan query di kolom sql, jika bisa di preview berarti sudah berhasil terkoneksi :

jika berhasil di preview maka klik oke, sampai situ pembacaan tabel yang akan di backup selesai.

Selanjutanya bikin tabel / database tujuan :

.konfigurasikan tabel output : yaitu lokasi server & database tujuan yang akan digunakan untuk menampung data yang akan di backup, klik new:
di tabel ini pastikan database tujuanya berbeda dan target table terisi, opsi truncate table ini untuk menghindari duplicate jika akan mengcopy ulang semua data di tabel asal, sehingga tidak terjadi konflik di PK atau duplicate data

.konfigurasikan database yang digunakan untuk backup

klik test, jika berhasil maka akan muncul pesan yang menandakan koneksi sukses.

sekarang kita punya dua icon di layar yang sudah di konfigurasi

klik 1x pada tabel input dan klik icon yang diberi tanda panah dibawah

klik dan tahan untuk menghubungkan dengan tabel output

simpan transofrmation ini di hardisk, sampai saat ini pembuatan transformation / aksi backup yang akan dijalankan selesai, selanjutnya buat hal yang sama / lebih dari 1 transfoormation dengan tabel yang berbeda.

setelah selesai kita buat Jobs nya, jika transformation adalah detail yang akan di kerjakan (misal: data tabel A dalam db AA akan di kirim ke tabel B di db BB), jobs adalah perintah untuk menjalankan pekerjaan tsb.

Klik File > new > job