¿Como convertirse en Data Engineer? - ACTUALIZACION 2023

Dentro de las últimas tendencias en IT, encontramos la ingeniería de datos, y muchos de ustedes se acercan para preguntarme qué tecnologías deben dominar para entrar en este mundo. Asique, a continuación, vamos a ver tecnologías cruciales y necesarias para todo Data Engineer, de todos los niveles (junior, semisenior, senior) en 2023.

Qué es la ingeniería de datos

La ingeniería de datos hace referencia a la carga, transformación y mantenimiento de los procesos que manejan grandes cantidades de data.

Tecnologías básicas para introducirse

- Lenguaje de programación (preferentemente Python, pero también se valora Scala y Java)

- SQL y NoSQL

Con estas dos/tres, podes llegar muy lejos si recién arrancas. Agregamos otras que vas a tener que ir aprendiendo en el camino:

- Conocimientos de data warehouse y data lakes, como Apache Hive y HDFS.

- Herramientas para data pipelines como Apache Airflow, Apache NiFi.

- Entornos de trabajo de sistemas distribuidos, como Apache Hadoop.

Tecnologías para semisenior / senior

- Apache Spark para procesar queries en SQL a gran escala, lo podes integrar a tu código Python (Pyspark) o Scala.

- Cloud (AWS o GCP, acá vamos a ejemplificar con AWS) y sus respectivas herramientas para Storage (S3), computación (Lambda), análisis de datos (Redshift o Athena) y catálogo de datos (AWS Glue).

In God we trust, all others must bring data.

Si se te ocurre alguna otra tecnología que no esté en esta publicación, ¡podes agregarla en los comentarios!