Wat ga je doen?
Wij zijn een start-up met veel potentieel en staan nog maar aan het begin. Je hebt impact binnen een bedrijf dat heel snel kan groeien. Als Data Engineer ben je verantwoordelijk voor het ontwerpen, bouwen en onderhouden van de infrastructuur die nodig is voor de opslag en verwerking van onze data. Andere taken die relevant zijn voor de data engineer zijn:
- Helpen bij het ontwerpen van onze datapijplijnen om te schalen (momenteel verwerken we meer dan 10 miljoen sessies per dag)
- Ik werk aan tickets met betrekking tot het verbeteren en toevoegen van gegevenspijplijnen.
- Verbetering van onze gedistribueerde clusteropstelling binnen Databricks
- Verbeteren en schrijven van PySpark-code om onze huidige codebase te verbeteren,
- Creëren van een raamwerk voor datavalidatie en kwaliteitscontroles
- Het maken van unittests en datakwaliteitscontroles voor datapijplijnen
- Bugs oplossen.
- Hulp bij het ontwerpen en schalen van databases die veel worden gebruikt in de applicatie
- Voor deze rol zijn we vooral op zoek naar iemand die (meer) ervaring heeft met PySpark en hoe je gedistribueerde clusters in Databricks opzet.
Wat breng je mee?
- Wonen in Nederland
- Je brengt 2-5 jaar relevante werkervaring mee als data engineer
- En heb 2-5 jaar ervaring met python en panda's;
- Je hebt ervaring met het maken en ontwerpen van schaalbare datapijplijnen (>2 jaar)
- Je hebt ervaring met (Py)Spark (> 1,5 jaar)
- Je hebt ervaring met clusteropstelling (distributed spark clusters-opstelling)
- Je hebt ervaring met DataBricks en/of Delta Lake
- Je bent kritisch, oplossingsgericht en hebt goede projectmanagementvaardigheden;
- Je bent een teamspeler die goed kan communiceren en jezelf kan motiveren;
- Je spreekt vloeiend Engels;
Wat krijg je?
- 25 vakanties met een oprecht vakantiebeleid;
- Een Macbook;
- Op je verjaardag heb je een vrije dag;
- Werken in hartje Amsterdam Centrum (hybride);
- Je staat aan de start van een veelbelovende start-up met veel vrijheid, verantwoordelijkheid en ruimte voor eigen ideeën.
- Ruimte en tijd voor training & ontwikkeling;
- Met onvergetelijke teamuitjes.