Data Engineer

Depuis plusieurs années, l’AFSCA s’efforce de devenir une organisation pleinement orientée données et s’appuie sur un entrepôt de données central pour la production de ses rapports et de ses analyses.
Dans un contexte d’évolution rapide des technologies et des besoins métier, l’AFSCA entame à présent la modernisation de cette plateforme en la migrant vers le cloud Microsoft Azure. Cette transition s’accompagne de l’adoption de nouveaux outils performants, notamment Microsoft Fabric (ETL) et Power BI.

Pour nous aider dans ce challenge nous recherchons deux

Data Engineer Microsoft Fabric.

• Concevoir et développer les flux ETL dans Microsoft Fabric (Dataflows Gen2, Notebooks PySpark, Pipelines) sur Azure Cloud
• Mettre en place des modèles de données orientés BI en suivant la méthodologie Kimball / snowflake
• Développer les tables de faits, dimensions et agrégats dans le Data Warehouse en respectant les priorités et le planning
• Assurer la qualité, la fiabilité, le monitoring et la performance des traitements et des flux
• Gérer le monitoring, la traçabilité, les alertes des flux et les rejets.
• Automatiser les déploiements avec CI/CD (Azure Dev Ops ou Git Hub)
• Travailler en étroite collaboration avec l’équipe ICT pour assurer la cohérence des systèmes et des solutions
• Se connecter à différentes sources (Oracle, SQL Server, XML, Flat files, ...), comprendre leur structure et optimiser les extractions
• Respecter les standards techniques définis : nommage, sécurité, gouvernance, monitoring, CI/CD
• Respecter les guidelines et les procédures internes tant au niveau technique qu’organisationnel
• Documenter les traitements et les flux

• Bases de données sources : excellente maîtrise d’Oracle et SQL Server (connexion, extraction, optimisation des requêtes)
• SQL : niveau avancé
• PySpark : traitements distribués pour gros volumes de données
• Concepts de datawarehouse
• Modélisation Kimball :
  Star Schema & Snowflake, Slowly Changing Dimensions (SCD)
• ETL/ELT : bonnes pratiques de séquencement et de monitoring
• Sécurité et gouvernance des données sur Azure
• La connaissance de Sparx Enterprise Architect pour la documentation et la modélisation est un atout
• La connaissance d’Informatica Powercenter (ou la volonté de l’apprendre) est un plus

• Bachelor en Computer Science ou expérience équivalente
• Expérience de minimum 5 ans en Data Engineering, dont au moins 3 ans en Fabric sur Azure Cloud
• Maîtrise avérée de la méthodologie Kimball pour le BI
• Expérience confirmée avec des bases de données Oracle et SQL Server
• Capacité à optimiser les performances et à documenter les processus
• Capacité à travailler en équipe en respectant la gouvernance et les procédures internes
• FR/NL avec bonne connaissance passive de l’autre langue (obligatoire)