proses ETL

ETL (Extract, Transform dan beban) adalah proses dalam data pergudangan bertanggung jawab untuk menarik data dari sistem sumber dan menempatkannya ke dalam data warehouse. ETL melibatkan tugas-tugas berikut:

- Penggalian data dari sistem sumber (SAP, ERP, sistem oprational lainnya), data dari sistem sumber yang berbeda diubah menjadi satu format data warehouse konsolidasi yang siap untuk diproses transformasi.

- Mengubah data mungkin melibatkan tugas-tugas berikut:
   menerapkan aturan bisnis (disebut derivasi, misalnya, menghitung langkah-langkah baru dan dimensi),
   membersihkan (misalnya, pemetaan NULL ke 0 atau "Laki-laki" untuk "M" dan "Wanita" untuk "F" dll),
   penyaringan (misalnya, memilih hanya kolom tertentu untuk memuat),
   membelah kolom menjadi beberapa kolom dan sebaliknya,
   bergabung bersama data dari berbagai sumber (misalnya, lookup, menggabungkan),
   mentransposisi baris dan kolom,
   menerapkan segala jenis sederhana atau kompleks validasi data (misalnya, jika pertama 3 kolom dalam satu baris kosong kemudian menolak baris dari pengolahan)

- Memuat data ke dalam data warehouse atau data repositori aplikasi pelaporan lainnya