Ønsker du at modtage opgaver som denne på mail?
Vær blandt de første til at få besked, når vi har nye freelance konsulentopgaver. Det tager kun et minut at tilmelde dig.
Tilmeld dig her
Beskrivelse
For kunde i Københavns søger vi en Data Engineer til et større offentligt projekt der er i gang. Opgaven består i etablering af Azure Data Factory-pipelines til hjemtagelse af data fra specifikke kildesystemer hvor man kommer til blandt andet at arbejde med at:
Benytte Programmets Apache Spark-baserede løsning til at:
- Indlæse og parse rådata i forskellige formater
- Opsætte skemavalideringer, duplikeringsregler og tekniske datastandardiseringer
- Skrive tests og afprøve dataonboarding-løsningerne
- Udvikle i isolerede projektrum på programmet (med adgang til kildesystemerne)
- Produktionslægge via Git pull requests
- Overvåge/drifte de udviklede og produktionslagte ingest og standardiseringsløsninger i projektets levetid
- Dokumentere de udviklede ingest og standardiseringsløsninger
- Overdrage til driftsorganisation
Arbejdssted: København
Omfang: Fuldtid
Opstart: ASAP
Varighed: Ultimo 2023 (Mulighed for forlængelse)
Sprog: Dansk
Kvalifikationer
Programmet er Azure-baseret og i arbejdet med dataonboarding til platformen benyttes særligt teknologierne:
– Data Factory
– Data Lake
– Spark (pyspark)
– Jupyter Notebooks
– Visual Studio Code
– Visual Studio
– Git
– JSON, JSON-schema, CSV
– Parquet
– DeltaTable
Har du de rette kompetencer og er du interesseret?
Send dit opdaterede CV på dansk med det samme til Lhagelquist@avenida.dk
