- Développement d’applications (spark/scala) d’ingestion et de mapping des données en temps réel (GCP platform : Dataproc, Pubsub, Big Query, Spanner, GCS, Cloud Functions) - Mise en place de templates de jobs spark normalisés en utilisant des frameworks de gestion de config (Typesafe config) et d’injection de dépendances (ServiceLoader) - Ordonnancement de l’exécution des jobs spark en running sous Yarn avec l’outil Composer - Tuning des Jobs Spark dans la production (Spark Web UI Metrics)

- Développement de pipelines ETL avec Hadoop/Spark (Distribution Hortonworks HDP 2.6) - Implémentation des jobs Spark en Scala avec la toolchain : Maven, Eclipse, Git, Jenkins - Configuration et packaging des traitements dans un environnement Hadoop : YARN/OOZIE/HIVE - Rédaction des spécifications techniques détaillées /Documentation des développements réalisés

- Déploiement de workflows pour le traitement de données de types séries temporelles en se basant sur les technologies du BIG Data (Distribution Hortonworks HDP 2.5) : Import des données (flight data records) sous HDFS/HIVE - Analyse des tables HIVE avec le moteur de calcul distribué SPARK : API DATAFRAME/SQL/Built-in UDFs - Développement d’applications PySpark pour la détection des différents patterns - Utilisation du gestionnaire de Ressources Yarn Pour l’exécution des jobs Sparks