Data Engineer Hadoop / Pyspark

Contexte de la mission

Le consultant travaillera en étroite collaboration avec les équipes de production applicative et DevOps afin de mettre en œuvre les évolutions techniques de la plateforme.

Missions principales

• Mettre en œuvre de nouvelles ingestions de données.
• Réaliser les traitements de Data Preparation / transformation.
• Développer, maintenir et faire évoluer les pipelines de données en PySpark.
• Réaliser du Shell Scripting sous Unix/Linux.
• Collaborer avec l’équipe DevOps pour les demandes d’évolution de la plateforme.
• Participer au maintien en conditions opérationnelles et à l’évolution des traitements Data.
• Rédiger les spécifications techniques et documenter les solutions mises en œuvre.

Compétences indispensables

• Très bonne maîtrise attendue :
  • Hadoop
  • Python / PySpark
  • Hive
  • SQL
  • Shell Scripting Unix/Linux
• Environnement/outils :
  • Git
  • Jenkins
  • Jira
• Méthodologie Agile / Scrum
• Anglais professionnel indispensable, à l’écrit comme à l’oral

Compétences appréciées / différenciantes

Une expérience sur les technologies suivantes constituera un plus :

• Indexima
• Alteryx
• Altair
• GCP
• BigQuery
• Bibliothèques Python orientées API

Profil recherché

• Data Engineer disposant idéalement de 3 à 6 ans d’expérience.
• Très opérationnel sur l’écosystème Hadoop / PySpark.
• Véritable appétence pour le développement et le traitement de volumes importants de données.
• Autonomie, dynamisme, force de proposition et curiosité technique.
• Capacité d’analyse et de résolution de problèmes.
• Excellent relationnel et aptitude à travailler en équipe dans un environnement international.

Entreprise

Bénin Digital est une Entreprise de Services du Numérique (ESN) spécialisée dans la digitalisation des processus métiers. Active dans divers secteurs tels que l’industrie, la Banque et assurance, la Grande distribution & e-commerce ainsi que les Médias & communication, l’entreprise accompagne ses clients en Afrique et en Europe avec des consultants hautement qualifiés.