888 Emplois pour Ingénieur En Données - France

About the job Big Data & Cloud Data Engineer Position Overview

We are seeking a Big Data & Cloud Data Engineer to design, implement, and manage large-scale data processing systems using big data technologies (Hadoop, Spark, Kafka) and cloud-based data ecosystems (Azure, GCP, AWS), enabling advanced analytics and real-time data processing capabilities across our enterprise.

• Design and implement Hadoop ecosystems including HDFS, YARN, and distributed computing frameworks
• Develop real-time and batch processing applications using Apache Spark (Scala, Python, Java)
• Configure Apache Kafka for event streaming, data ingestion, and real-time data pipelines
• Implement data processing workflows using Apache Airflow, Oozie, and workflow orchestration tools
• Build NoSQL database solutions using HBase, Cassandra, and MongoDB for high-volume data storage
• Design multi-cloud data architectures using Azure Data Factory, AWS Glue, and Google Cloud Dataflow
• Implement data lakes and lakehouses using Azure Data Lake, AWS S3, and Google Cloud Storage
• Configure cloud-native data warehouses including Snowflake, BigQuery, and Azure Synapse Analytics
• Build serverless data processing solutions using AWS Lambda, Azure Functions, and Google Cloud Functions
• Implement containerized data applications using Docker, Kubernetes, and cloud container services
• Develop ETL/ELT pipelines for structured and unstructured data processing
• Create real-time streaming analytics using Kafka Streams, Apache Storm, and cloud streaming services
• Implement data quality frameworks, monitoring, and alerting for production data pipelines
• Build automated data ingestion from various sources including APIs, databases, and file systems
• Design data partitioning, compression, and optimization strategies for performance

• Manage cluster provisioning, scaling, and resource optimization across big data platforms
• Monitor system performance, troubleshoot issues, and implement capacity planning strategies
• Configure security frameworks including Kerberos, Ranger, and cloud IAM services
• Implement backup, disaster recovery, and high availability solutions
• Optimize query performance and implement data governance policies

Technical Skills

• 5+ years experience with big data technologies (Hadoop, Spark, Kafka, Hive, HBase)
• Strong programming skills in Python, Scala, Java, and SQL for data processing
• Expert knowledge of at least one major cloud platform (Azure, AWS, GCP) and data services
• Experience with containerization (Docker, Kubernetes) and infrastructure as code (Terraform, CloudFormation)
• Proficiency in stream processing frameworks and real-time analytics architectures
• Knowledge of data modeling, schema design, and database optimization techniques
• Experience with data pipeline orchestration and workflow management tools
• Strong understanding of distributed systems, parallel processing, and scalability patterns
• Knowledge of data formats (Parquet, Avro, ORC) and serialization frameworks
• Experience with version control, CI/CD pipelines, and DevOps practices for data platforms

• Bachelor's degree in Computer Science, Data Engineering, or related field
• Cloud certifications (Azure Data Engineer, AWS Data Analytics, Google Cloud Data Engineer)
• Experience with machine learning platforms and MLOps frameworks
• Background in data governance, data cataloging, and metadata management
• Knowledge of emerging technologies (Delta Lake, Apache Iceberg, dbt)

Join to apply for the Big Data Engineer (H/F/NB) role at Keyrus

Continue with Google Continue with Google

1 month ago Be among the first 25 applicants

Join to apply for the Big Data Engineer (H/F/NB) role at Keyrus

• Digital Experience
  
  
• Framework : Spark
• Data Warehousing : Snowflake ou DataBricks

• Data Intelligence
  
  

• Digital Experience
  
  

• Conseil en Management & Transformation
  
  

• Mettre en œuvre divers outils de développement, de test, d'automatisation et d'infrastructure informatique.
• Définir et paramétrer les processus de développement, de test, de publication, de mise à jour et de support pour les opérations DevOps.
• Avoir les compétences techniques pour examiner, vérifier et valider le code logiciel développé dans le cadre du projet.
• Surveiller les processus tout au long du cycle de vie pour leur adhésion et mettre à jour ou créer de nouveaux processus pour l'amélioration et la minimisation du gaspillage.
• Encourager et créer des processus automatisés dans la mesure du possible.
• Identifier et déployer des mesures de cybersécurité en effectuant en permanence une évaluation des vulnérabilités et une gestion des risques.
• S'efforcer d'améliorer continuellement et de construire une intégration continue, un développement continu et un pipeline de déploiement constant (CI/CD Pipeline)
• Gestion des rapports périodiques sur les progrès à la direction et au client.
  
  

• Langage : Scala, Java, Python, SQL
• Framework : Spark
• BDD : Relationnelles et non relationnelles, SQL, Mongodb, CoucheBase, ElasticSearch, BigQuery.
• Data Warehousing : Snowflake ou DataBricks
• Cloud : GCP Big Data, AWS Glue, et Azure Data Factory
• OPS : Ansible, Git, Jenkins, Docker, Kubernetes ou encore Azure DEVOPS
  
  

• Vous avez 5 ans d'expérience.
• Vous parlez anglais couramment.
  
  

• Seniority level Mid-Senior level

• Employment type Full-time

• Job function Engineering and Information Technology

Referrals increase your chances of interviewing at Keyrus by 2x

Get notified about new Big Data Developer jobs in Levallois-Perret, Île-de-France, France .

Boulogne-Billancourt, Île-de-France, France 2 weeks ago

Villejuif, Île-de-France, France 2 weeks ago

We’re unlocking community knowledge in a new way. Experts add insights directly into each article, started with the help of AI.

Join to apply for the Senior Big Data Engineer (Scala + Spark) role at Grid Dynamics

2 months ago Be among the first 25 applicants

Join to apply for the Senior Big Data Engineer (Scala + Spark) role at Grid Dynamics

Get AI-powered advice on this job and more exclusive features.

Our customer is one of the world’s largest technology companies based in Silicon Valley with operations all over the world. In this project, we are working on the bleeding edge of Big Data technology to develop a high-performance data analytics platform, which handles petabytes datasets.

We are looking for an experienced Big Data Engineer.

Responsibilities

• Design, develop, and maintain robust data pipelines using: Scala, Spark, HDFS, Gradle, Kubernetes and Airflow
• Implement scalable and efficient data workflows to support data ingestion, processing, and analysis.
• Develop and maintain continuous reporting systems and dashboards to provide real-time insights.
• Collaborate with cross-functional teams to understand data requirements and deliver data solutions.
• Optimize and tune data processing systems for performance and reliability.
• Ensure data quality and integrity throughout the data lifecycle.
• Troubleshoot and resolve data processing and pipeline issues.
• Stay up-to-date with industry trends and emerging technologies to drive innovation in data engineering.
  
  

• Bachelor's or Master's degree in Computer Science, Engineering, or a related field.
• Proven experience as a Data Engineer or in a similar role.
• Strong proficiency in Spark, HDFS, Airflow
• Solid programming skills in Java and/or Scala.
• Experience with data pipeline architecture and implementation.
• Expertise in building and maintaining continuous reporting systems and dashboards.
• Familiarity with data warehousing concepts and technologies.
• Strong problem-solving skills and attention to detail.
• Excellent communication and collaboration skills.
• Ability to work independently and in a remote team environment.
  
  

• Opportunity to work on bleeding-edge projects
• Work with a highly motivated and dedicated team
• Competitive salary
• Flexible schedule
• Professional development opportunities
  
  

• Seniority level Mid-Senior level

• Employment type Full-time

• Job function Engineering and Information Technology
• Industries IT Services and IT Consulting

Referrals increase your chances of interviewing at Grid Dynamics by 2x

We’re unlocking community knowledge in a new way. Experts add insights directly into each article, started with the help of AI.

Qui sommes-nous ? Une success story dans la Data et le Digital !

Notre mission ? Des projets à forte valeur ajoutée pour accroître la performance et la compétitivité des entreprises, faciliter et accélérer leur transformation.
Notre expertise depuis plus de 25 ans ? Le conseil et l'intégration de solutions innovantes autour de trois domaines :

• Data Intelligence
• Digital Experience
• Conseil en Management & Transformation

Nous sommes plus de 3000 talents sur plus de 20 pays et 4 continents. Notre ADN ? Innover et entreprendre.

Le job :

Les principales missions qui vous seront confiées seront les suivantes:

• Mettre en œuvre divers outils de développement, de test, d'automatisation et d'infrastructure informatique.
• Définir et paramétrer les processus de développement, de test, de publication, de mise à jour et de support pour les opérations DevOps.
• Avoir les compétences techniques pour examiner, vérifier et valider le code logiciel développé dans le cadre du projet.
• Surveiller les processus tout au long du cycle de vie pour leur adhésion et mettre à jour ou créer de nouveaux processus pour l'amélioration et la minimisation du gaspillage.
• Encourager et créer des processus automatisés dans la mesure du possible.
• Identifier et déployer des mesures de cybersécurité en effectuant en permanence une évaluation des vulnérabilités et une gestion des risques.
• S'efforcer d'améliorer continuellement et de construire une intégration continue, un développement continu et un pipeline de déploiement constant (CI/CD Pipeline).
• Gestion des rapports périodiques sur les progrès à la direction et au client.

Le profil :

• Vous avez 5 ans d'expérience.
• Vous parlez anglais couramment.

Pourquoi nous rejoindre ?

Pour intégrer une communauté d’experts curieux et passionnés et évoluer dans un environnement multiculturel, formateur et favorisant la mobilité internationale.
Parce que vous êtes #DataGeek, #DigitalAddict, #InnovationLover !

#KeyrusRocks #YouRock
Keyrus est une entreprise où il fait bon vivre et travailler !

Consultant Data Engineer / Big Data (F/H)

Remote type: Hybride | Locations: Nantes, France | Time type: Full time | Posted on: Posted 30+ Days Ago | Job requisition id: JR

Contribuez aux grandes transformations des entreprises et des acteurs publics en alliant innovation technologique et expertise métier, au service de nos clients et de la société pour les faire avancer durablement.

Au-delà de la RSE, nous avons développé notre propre approche, RESET, qui englobe l’ensemble de nos engagements en matière de responsabilité économique, sociale, environnementale et technologique, tant au sein de notre collectif que chez nos clients.

Onepoint, est une entreprise inclusive, handi accueillante, avec une politique de diversité affirmée et certifiée B Corp.

Pour accompagner notre croissance au sein du Hub Data & IA, nous recrutons un Consultant Data Engineer / Big Data (F/H) (minimum 3 ans d'expérience après diplôme) .

Vous intervenez sur les missions suivantes :

1. Choisir et implémenter les solutions de stockage et les modèles de données adéquats ;
2. Extraire/Charger les données sources, puis les uniformiser/structurer et les transformer ;
3. Exposer ces données (API, Web services, etc.) ;
4. Planifier/Orchestrer ces traitements et mettre en place des solutions de monitoring ;
5. Industrialiser selon les pratiques CI/CD ;

Vous êtes diplômé·e d'une Grande École d'Ingénieur généraliste, informatique ou d’un Master spécialisé en Big Data, et avez une expérience minimum de 3 ans dans ce domaine .

Vous maîtrisez le français et l’anglais, vous êtes autonome et proactif, vous êtes force de proposition.

Côté technique, vous avez des compétences sur :

• L’écosystème Hadoop : Spark, HDFS, Hive, HBase, etc.

• Les distributions Cloudera (Hortonworks), MapR

• SQL, Scala, Java, Python, etc.

• Les services Data des principaux fournisseurs Cloud (AWS, Azure, GCP, etc.)

• Airflow, Luigi, etc.

• Kafka, RabbitMQ, etc.

• ElasticSearch (et la suite ELK), Cassandra, MongoDB, Neo4J, etc.

• Docker, Kubernetes, etc.

Créée en 2002 par David Layani, Onepoint est devenu en un peu plus de 20 ans l’un des acteurs majeurs du conseil et de la tech. Notre collectif compte aujourd’hui plus de 3500 talents en France (Aix-en-Provence, Bordeaux, Lyon, Nantes, Paris, Rennes, Strasbourg et Toulouse) et dans le monde (Australie, Belgique, Canada, Malaisie, Maroc et Singapour). Notre chiffre d’affaires a été multiplié par dix en 10 ans, atteignant plus de 500 millions d’euros, et ambitionne le milliard d’euros d’ici 4 ans.

Pour accompagner l’évolution de tous nos talents, nous proposons deux axes d’évolution complémentaires leur permettant de s’épanouir et de bénéficier des mêmes avantages : le business management et l’expertise.

Avec plus de 200 formations à son catalogue, notre école permet à nos talents de se former tout au long de leur vie professionnelle, en articulant travail et apprentissage.

Nos espaces de travail sont situés au cœur des territoires, au plus près de nos talents, pour concilier projet de vie et projet professionnel.

Notre écosystème permet de pratiquer de nombreuses activités loisirs et sportives (musique, photo, e-sport, yoga, etc.) avec un cadre de travail flexible grâce à une charte de télétravail, et de prendre soin de tous (cabinet médical en libre accès, groupes de travail dédiés aux enjeux « égalité et pluralité » …).

• 1er échange RH avec Aurélie Butault, Chargée de Recrutement.
• 1er entretien technique avec un collègue opérationnel sur Teams ou dans nos locaux.
• Entretien avec un.e Leader et/ou Commercial.e dans nos locaux pour une projection de carrière et visite des locaux.
• Clôture du processus de recrutement.

Découvrez notre ADN à travers cette vidéo : Nous sommes Onepoint

Remote type: Hybride | Locations: Nantes, France | Time type: Full time | Posted on: Posted 30+ Days Ago

Remote type: Hybride | Locations: Nantes, France | Time type: Full time | Posted on: Posted 30+ Days Ago