CGI

Développeur / Concepteur BigData H/F E&U

  • CDI
  • PARIS (75)

Vous souhaitez en savoir + sur CGI ?

Découvrez leur culture d'entreprise et leurs engagements !

Vous souhaitez en savoir + sur CGI ?

Découvrez leur culture d'entreprise et leurs engagements ! Voir le profil

Descriptif du poste

Développeur / Concepteur BigData H/F E&U

Description de poste
Contexte du poste :

Dans une équipe de 4/6 personnes pilotée par le client (CP technique), le profil intégrera le projet de migration de l'architecture logicielle Hadoop vers la version TDP : nouvelle distribution Hadoop basée sur la Trunk Data Platform (tosit.io) qui est en cours.

Le développeur-concepteur assure la conception technique logicielle des solutions.
Il s’appuie également sur les équipes d’exploitation (infogérées) et les équipes d’administration
relatives aux technologies manipulées, ainsi que la cellule d’architecture référente.
Par son activité de veille technologique, il identifie et préconise les technologies qui
seront les plus pertinentes pour gérer le volume et les flux de données, en veillant aux aspects
de scalabilité et de résilience des éléments pour rendre évolutive la solution.

Le profil devra démontrer
• Sa connaissance d’Hadoop au sens général (nouvelles normes sur Hadoop, update, fichiers parqués)
• Sa maitrise Python et de Spark
• Sa maîtrise du DEVOPS (et des bonnes pratiques qui vont avec)
• Sa bonne connaissance de la veille technologique et des protocoles d’échanges de fichiers et messages
• Son savoir-faire dans le travail avec plusieurs équipes car il faudra prendre en main les échanges avec plusieurs équipes (internes, infogérant etc)



Fonctions et responsabilités
Le contexte technique est le suivant :

• Pour l’ingestion de données, le client développe ses propres scripts (Python version > 3.6, spark > V2) et exploite les logs générés par ces scripts d’ingestion via la suite Elastic Search pour la supervision des services et des flux.
• Certains exécutables réalisés en langage java pourront être réutilisés par les programmes python pour les transformations complexes
• Les protocoles d’échanges permettant la réception des données (flux de fichiers, messages, …) sont les suivants : FTP, ODBC/JDBC, http(s), SMTP/POP3. Ces échanges reposent :
o Sur une plateforme Kafka Confluent
o Un framework d’échanges (EAI, FTM)
o Des flux point à point (FTP)
o Les API REST offertes par les applications opérationnelles ou externes au client
• Les fichiers sont de type : Structurés : csv, tables oracle, parquet. Ils peuvent inclure des formats complexes (array, struct, etc…) ; spécifiques ( grib2, netcdf), Semi-structurés (fichiers textes avec séparateurs, .xml, .avro) ; Non structurés (images, binaires, fichiers plats…)
• Stockage fichier : Stockage (NAS) ; Stockage base de données (Oracle, Mysql) ; Stockage Big Data : distribution Cloudera au sein de l’Appliance Oracle Big Data (version 5.12 actuellement) puis TDP en cours de déploiement
• Outils de Data Visualisation (Qlik), de Data Science (R, Python), de Data Virtualisation (Dremio)
• Composants digitaux : plateforme d’API, web encapsulation de publications dans un portail
• Environnements Linux (Redhat, CentOS) virtualisés
• Plateforme d’intégration continue : l’ensemble des développements réalisés sont intégrés aux outils de la plateforme (Git, Nexus, Sonar, Jenkins)
Outils de documentation et de pilotage (Confluence, JIRA)
• Tests : pytest (python tests unitaires) et XRay (référentiel des tests)



Qualités requises pour réussir dans ce rôle
Expertises

• Python 3.6 + dont spark 2+ : spark SQL, Spark Streaming compris
• Framework API REST python

Très bonnes connaissances

• Protocoles d’échanges de fichiers et de messages
• Git
• Jenkins ou Gitlab CI/CD, Sonar)
• Ansible (et langage Yaml), docker (dockerfile et docker-compose).


Qualités humaines:

• Rigueur
• Autonomie
• Esprit d’analyse
• Méthodique



Allier savoir et faire

Alors que la technologie s’inscrit au cœur de la transformation numérique de nos clients, nous savons que les individus sont au cœur du succès en affaires.

Lorsque vous rejoignez CGI, vous devenez un conseiller de confiance, collaborant avec vos collègues et clients pour proposer des idées exploitables qui produisent des résultats concrets et durables. Nous appelons nos employés "membres" parce qu’ils sont actionnaires et propriétaires de CGI. Ils ont du plaisir à travailler et à grandir ensemble pour bâtir une entreprise dont nous sommes fiers. C’est notre rêve depuis 1976. Il nous a menés là où nous sommes aujourd’hui – l’une des plus importantes entreprises indépendantes de conseil en technologie de l’information (TI) et en management au monde.

Chez CGI, nous reconnaissons la richesse que la diversité nous apporte. Nous aspirons à créer une culture à laquelle nous appartenons tous et collaborons avec nos clients pour créer des communautés plus inclusives. En tant qu’employeur qui prône l’égalité des chances pour tous, nous voulons donner à tous nos membres les moyens de réussir et de s’épanouir. Si vous avez besoin d’un accompagnement spécifique durant le processus de recrutement et d’intégration, veuillez nous en informer. Nous serons heureux de vous aider.

Prêt à faire partie d’une entreprise qui est gage d’excellence? Rejoignez CGI – où vos idées et vos actions changent la donne.



Profil recherché

Informations complémentaires

  • Ansible
  • API Technlogies
  • Jenkins
  • Python

Les avantages de l'entreprise

  • Télétravail : possibilité de télétravailler jusqu’à 3 jours/semaine.
  • Transports : prise en charge à 100%.
  • Tickets restaurants : en complément de votre salaire.
  • ​Epargne salariale et actionnariat : participation aux bénéfices, plan épargne d'entreprise, régime d’achat d’actions.
Je postule

CGI

  • IT / Digital /
  • Big Data

Développeur / Concepteur BigData H/F E&U
  • CDI
  • PARIS (75)
Je postule