Overview

Data Engineer merupakan seorang yang bertanggung jawab dalam merancang, mengembangkan dan memelihara data infrastructures dan platforms, dimana data infrastructures meliputi database, big data repositories dan pipeline untuk mengirim dan memindahkan data ke sistem data. Tugas utama dari Data Engineer yaitu mengumpulkan, mengolah dan merubah data mentah menjadi informasi yang dapat digunakan oleh data scientist.

Responsibilities

Mengekstrak, mengubah dan memuat sistem untuk memindahkan data dari database ke dalam repository (gudang data)

Membuat otomatisasi dan scripting yang bertujuan untuk mengefisiensikan tugas yang berulang

Mengelola data sesuai dengan kebutuhan dan kebijakan keamanan perusahaan

Membuat metode validasi data dan alat analisis data yang baru

Bekerja sama dengan team yang relevan dalam memahami tujuan perusahaan

Membangun, menguji dan memelihara database pipeline architectures

Mengembangkan algoritma untuk mengubah data menjadi informasi yang berguna

Mengumpulkan data yang sesuai dengan kebutuhan

Most Used Tools

Beberapa yang sering digunakan

Python

Software Gratis

MongoDB

Software Gratis

Xplenty

Software Berbayar

Apache Spark

Software Gratis

Amazon Anthena

Software Berbayar

Amazon Redshift

Software Berbayar

Required Skills

Biasanya dibutuhkan saat lamar kerja

Memiliki pengetahuan dasar tentang Machine Learning

Memiliki kemampuan dalam mengelola penyimpanan big data dan cloud computing

Memiliki pemahaman dalam cara kerja relational dan non-relational database

Memiliki kemampuan dalam mengolah data SQL, NoSQL dan dapat menggunakan tools seperti Hadoop, MongoDB, Kafka dan lain-lain

Memiliki kemampuan dalam menguasai bahasa pemrograman seperti Java, Python, R dan lain-lain

Average Salary

Rp 161jt /tahun

Source: Glassdoor

Our Courses

Memulai karir sebagai Data Engineer

HandBook Last updated at 12-07-2021 16:05