Masuk /
Daftar
Data Engineer merupakan seorang yang bertanggung jawab dalam merancang, mengembangkan dan memelihara data infrastructures dan platforms, dimana data infrastructures meliputi database, big data repositories dan pipeline untuk mengirim dan memindahkan data ke sistem data. Tugas utama dari Data Engineer yaitu mengumpulkan, mengolah dan merubah data mentah menjadi informasi yang dapat digunakan oleh data scientist.
Mengekstrak, mengubah dan memuat sistem untuk memindahkan data dari database ke dalam repository (gudang data)
Membuat otomatisasi dan scripting yang bertujuan untuk mengefisiensikan tugas yang berulang
Mengelola data sesuai dengan kebutuhan dan kebijakan keamanan perusahaan
Membuat metode validasi data dan alat analisis data yang baru
Bekerja sama dengan team yang relevan dalam memahami tujuan perusahaan
Membangun, menguji dan memelihara database pipeline architectures
Mengembangkan algoritma untuk mengubah data menjadi informasi yang berguna
Mengumpulkan data yang sesuai dengan kebutuhan
Beberapa yang sering digunakan
Biasanya dibutuhkan saat lamar kerja
Memiliki pengetahuan dasar tentang Machine Learning
Memiliki kemampuan dalam mengelola penyimpanan big data dan cloud computing
Memiliki pemahaman dalam cara kerja relational dan non-relational database
Memiliki kemampuan dalam mengolah data SQL, NoSQL dan dapat menggunakan tools seperti Hadoop, MongoDB, Kafka dan lain-lain
Memiliki kemampuan dalam menguasai bahasa pemrograman seperti Java, Python, R dan lain-lain
Source: Glassdoor
Memulai karir sebagai Data Engineer
(1,315)
HandBook Last updated at 12-07-2021 16:05
.png)