Ingeniero/a de Datos | Big Data & Cloud

Over de functie

Wij zoeken een Data Engineer met een passie voor Big Data en cloud‑architecturen. Je werkt volledig remote aan een technologisch project waarbij je oplossingen ontwerpt, bouwt en optimaliseert op AWS‑ en Azure‑omgevingen.

Belangrijkste verantwoordelijkheden

• Ontwerpen, ontwikkelen en onderhouden van ETL/ELT‑pipelines.
• Verwerken van grote datasets met Apache Spark en PySpark.
• Opzetten en beheren van Data Lake‑ en Lakehouse‑architecturen.
• Modeleren en transformeren van data.
• Meewerken aan data‑governance, kwaliteit, catalogus en lineage initiatieven.
• Analyseren en verbeteren van processen, systemen en technologieën.
• Uitvoeren van testing, troubleshooting en correctieve maatregelen.
• Deelnemen aan DataOps/DevOps‑praktijken.
• Werken met cloud‑services van AWS en Azure.

Gewenst profiel

• Minimaal 4 jaar relevante werkervaring.
• Ervaring als Data Engineer of Big Data Engineer.
• Uitgebreide kennis van Python en geavanceerde SQL.
• Ervaring met Apache Spark/PySpark en ETL/ELT‑processen.
• Bekendheid met Data Lake‑ en Lakehouse‑architecturen.
• Ervaring met AWS‑ en/of Azure‑platformen.

Vereiste vaardigheden

• Python
• SQL (gevorderd)
• Apache Spark / PySpark
• ETL/ELT‑pipelines
• Data Lake / Lakehouse
• AWS: S3, Glue, Athena, Redshift, Lambda, Step Functions, Kinesis/MSK, CloudWatch, IAM
• Azure: ADLS, Data Factory, Synapse Analytics, Databricks, Azure Functions, Event Hub, Azure Monitor
• Kafka, Kinesis, Event Hub
• Parquet, JSON, Avro
• Git, CI/CD, Azure DevOps, GitHub Actions
• Terraform, Docker, Kubernetes
• Data Catalog, Data Lineage, Data Quality, Glue Catalog, Microsoft Purview