Expert en ingénierie des données

La numérisation et la mémorisation des activités des individus en tant que citoyens, employés, ou clients ont permis l'éclosion d'une nouvelle ère centrée autour de la notion de données. Selon l'IDC (International Data Corporation), l'univers du digital ne devrait cesser de s'accroître. Sa vitesse de croissance estimée devrait lui permettre de doubler tous les deux ans. Dans ce contexte, les entreprises font face à une grande quantité de données pouvant provenir de leur propre système d'information, mais aussi de multiples sources ouvertes suivant la mouvance de l'Open data et du Big data. L’exploration des données offre potentiellement une forte valeur ajoutée pour les entreprises (notamment dans l'amélioration de leur performance et de leur compétitivité) mais cette plus-value ne peut être extraite sans des compétences techniques qui requièrent des certifications spécifiques à cet effet. La capacité de porter des projets orientés autour de la donnée est devenue une priorité pour 26% des directions métiers en France (IDC 2019). À titre d'exemple, une bonne maîtrise des processus et des pipelines de gestion des données clients pour le stockage, la collecte, le traitement, l'analyse, la restitution des données et surtout la prise de décision est un élément crucial pour la stratégie d'entreprise.

D’autre part le marché du cloud public connait une croissance très importante, depuis quelques années. Les solutions cloud (SaaS, ‘Software as a Service’,PaaS‘PlatformasaService’, IaaS ‘Infrastructureas aservice’) apportent des avantages incontestables pour accélérer latransformation digitaledes entreprises (exemples : modèle de tarification flexible (Pas As You Go), Go-To-Market rapid, unescalabiliténaturelle). Fort de ce constat, les entreprises sont de plus en plus à la recherche de compétences cloud et la connaissance et la maitrise de services proposés par les fournisseurs de cloud les plus connus (MicrosoftAzure, Google Cloud Platform, Amazon Web Services) deviennent plus que jamais importantes.

Le métier d’ Expert en ingénierie des données : l’Expert en ingénierie des données organise, en tant que développeur informatique, la collecte et la mise à disposition des données en lien avec les équipes métiers. Il est aussi en charge d’industrialiser et mettre en production des traitements sur les données en lien avec les équipes métiers et les équipes qui les analysent. Le métier d’Expert en ingénierie des données se retrouve sur l’ensemble du cycle de vie de la donnée. Il doit répondre à des besoins hétérogènes, tout en garantissant une uniformité et une cohérence à l’intérieur de l’entreprise.Ses principales missions sont:

• Analyser le besoin et concevoir l'infrastructure de traitement :

L’Expert en ingénierie des données analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l'architecture technique nécessaire aux traitements des algorithmes conçus avec le Data Scientiste (ex. : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l'équipe de traitement des données avec le Data Scientiste et contribue tout au long du traitement des données.

• Déployer et maintenir la solution sur son cycle de vie :

Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de "pipelines" de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex. : variations de volumes ou d'usages) et prépare l'architecture de la plateforme à y répondre techniquement.

• Intégrer les technologies du Big Data dans son activité :

Il maîtrise les diverses technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka…) ainsi que les langages (JavaScript, Scala, Python...), des systèmes d'exploitation et des solutions de base de données (SQL, NO SQL).

Les évolutions et besoins du marché :L’émergence du Big Data a fait évoluer les besoins en compétences de manière importante. L’étude de Data Transition Numérique sur Les 7 métiers porteurs du Big Data en 2019-2020, définit le Data engineer comme lepremier acteur du processus de traitement de la donnée. Son travail intervient en amont de celui du Data scientiste, directement après que l’infrastructure technique ait été mise en œuvre par les architectes et les administrateurs. Métier émergent en tension sur le recrutement, selon l’OPIIEC (Observatoire des métiers du numérique, de l’ingénierie, du conseil et de l’évènement), 1193 offres d’emploi sur un an ont été publiés, avec une augmentation de plus de 5% par an. Le site Linkedin.com proposait décembre 2021 plus de 3000 offres juste sur le mot clé «Data engineer». Et cette tendance est confirmée par l’APECpour qui “ les entreprises ont besoin de mobiliser des compétences spécifiques pour collecter les données, les stocker, les modéliser ou encore les protéger” : depuis 2017, le nombre d’emploi de “Data engineer” sur le site de l’APEC a ainsi augmenté de 76%. Notons que même si les profils de Data Engineer sont de plus en plus recherchés, leurs missions ne sont pas toujours très claires. Maillons incontournables dans la chaine de la donnée permettant l’accès à une Data propre et valorisable, ce sont des profils clefs dont les fonctions peuvent beaucoup varier : de la collecte des données à la maintenance des data bases et des Framework, en passant par la construction de pipelines de données.

Les entreprises qui recrutent des Data Engineer: toutes les entreprises qui disposent de données (donnée clients, RH, activités, produits, etc.) recrutent de Data engineers. Le rôle de ces derniers est de créer et de développer les outils, les infrastructures, les architectures et les services pour collecter, transformer et traiter les données. Sans les ingénieurs data, les spécialistes et les analystes de données ne peuvent pas accomplir leurs tâches. Le besoin de recrutement est pressant dans tous les secteurs: santé, télécommunication, business, transport, énergie, finance, assurance, numérique etc.

• Santé (Sanofi, la sécurité sociale, Ameli, Bioserentity, etc.)
• Energie (Engie, EDF, etc.)
• Télécommunication (Bouygues, Orange, SFR, etc.)
• Transport (SNCF, RATP, etc. )
• E-commerce (La Redoute, C- discount, vente privée, etc.)
• Finance (BNP, BPCE, Société Générale, etc.)
• Assurance (Axa, La Mutuelle Générale, Allianz, Directe Assurance, etc.)
• Numérique
• Intelligence artificielle (Axi technologies)
• Telecom (Bouygues)
• Banque (CGI)

Compétences recherchées:

• Un langage de programmation (Python, R, JavaScript, Java, Scala, Go, Rust, etc.)
• L’architecture Lambda (bonus: architecture Kappa)
• Stream processing (Kafka, Spark, Flume)
• Maîtrise des différentes techniques d’ETL et de la gestion de gros volumes
• Bases de données distribuées
• Mathématiques / statistiques
• Frameworks Big Data
• Maîtrise de SQL et des bases de données NoSQL
• Cloud computing

Dans ce contextela certification d'«Expert en ingénierie des données» d’EFREI Paris s'appuie surle programme du Mastère Data Engineering de l’école.L'originalité de cette certification repose sur son interdisciplinarité centrée autour de la gestion des données en couplant cela avec les compétences du cloud les plus recherchées. Il s'agit donc de couvrir un ensemble de fondamentaux techniques, mais aussi et surtout de former les candidats aux multiples enjeux associés aux données. Ces enjeux devant être connus et appréhendés par les décideurs de demain concernent la maîtrise de la chaîne de la collecte, l’analyse, la protection et la gestion du stockage de données, mais aussi l'utilisation de ces données pour en extraire de la valeur ajoutée grâce à l’utilisation de l’intelligence artificielle. Lacertification intègre donc les problématiques associées à la gestion des données sur le cloud dans toute leur complexité et leur multidisciplinarité. Ainsi, les aspects d’ingénierie associés aux données seront le socle de cette certification, mais en complément les problématiques liées à l'administration des données, à l'économétrie, au marketing analytique, à la prise de décision, aux contraintes juridiques auront un rôle tout aussi crucial.