Contexte de la mission
Dans le cadre de projets innovants liés à l’Intelligence Artificielle et au traitement des données, vous interviendrez en tant que Développeur Data Science / NLP / RAG / LLM. Votre mission consistera à concevoir, développer et déployer des solutions avancées en traitement du langage naturel (NLP), Retrieval-Augmented Generation (RAG) et Large Language Models (LLM).
Vous serez impliqué dans des projets variés, tels que :
- Le développement de pipelines de données pour alimenter des modèles d’IA.
- La conception de systèmes RAG pour améliorer la précision des réponses générées par l’IA.
- L’intégration et l’optimisation de LLM pour des applications métiers (chatbots, analyse de texte, génération de contenu, etc.).
- La collaboration avec des équipes pluridisciplinaires (Data Engineers, DevOps, experts métiers).
Missions principales
Développement de pipelines de données et d’infrastructures IA
- Concevoir et maintenir des pipelines ETL/ELT pour collecter, nettoyer et transformer des données.
- Automatiser les processus de traitement de données à grande échelle.
- Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité).
Modélisation et traitement du langage naturel (NLP)
- Développer des modèles de NLP pour des tâches spécifiques (classification, extraction d’entités, traduction automatique, etc.).
- Fine-tuner des modèles de langage pré-entraînés (BERT, T5, etc.).
- Évaluer et améliorer la qualité des modèles NLP.
Conception et optimisation de systèmes RAG
- Implémenter des architectures Retrieval-Augmented Generation pour enrichir les réponses des LLM avec des données externes.
- Intégrer des bases de connaissances vectorielles (Pinecone, Weaviate, FAISS).
- Optimiser la pertinence et la rapidité des systèmes RAG.
Intégration et déploiement de LLM
- Déployer et optimiser des Large Language Models (LLM) pour des applications métiers.
- Adapter les LLM à des cas d’usage spécifiques (chatbots, génération de texte, analyse de sentiments, etc.).
- Travailler sur l’efficacité énergétique et la scalabilité des modèles.
Collaboration et industrialisation
- Collaborer avec les équipes DevOps pour déployer les solutions en production (Docker, Kubernetes, CI/CD).
- Participer à la mise en place de tests automatisés pour valider les performances des modèles.
- Documenter les processus, les architectures et les résultats.
Veille technologique et innovation
- Suivre les avancées en NLP, RAG et LLM (recherches académiques, nouvelles bibliothèques, etc.).
- Proposer des solutions innovantes pour améliorer les systèmes existants.
- Participer à des ateliers ou formations pour monter en compétences.
Environnement & méthodologies
- Langages et frameworks :
- Python (obligatoire), TensorFlow, PyTorch, Hugging Face (Transformers), LangChain, LlamaIndex.
- Bibliothèques NLP : NLTK, spaCy, scikit-learn.
- Outils :
- Data Engineering : Apache Spark, Apache Airflow, Kafka.
- DevOps/MLOps : Docker, Kubernetes, Git, CI/CD, MLflow.
- Bases de données : SQL (PostgreSQL, MySQL), NoSQL (MongoDB), bases vectorielles (Pinecone, Weaviate, FAISS).
- Cloud : AWS (SageMaker, Bedrock), Azure (OpenAI, Cognitive Services), GCP (Vertex AI).
- Méthodologies : Agile (Scrum, Kanban), MLOps, DevOps.
Profil recherché
- Formation : Bac+5 en informatique ou école d’ingénieur.
- Expérience : 2 à 5 ans en développement Python avec une spécialisation en Data Science, NLP, RAG ou LLM (projets concrets requis).
- Compétences techniques :
- Maîtrise de Python et des bibliothèques associées (TensorFlow, PyTorch, Hugging Face, LangChain, LlamaIndex).
- Expérience en NLP (traitement de texte, fine-tuning de modèles).
- Connaissance des architectures RAG et des outils associés (bases vectorielles, recherche sémantique).
- Expérience avec les LLM (déploiement, optimisation, évaluation).
- Connaissance des outils Data Engineering (Spark, Airflow) et des bonnes pratiques DevOps/MLOps.
- Expérience avec les environnements cloud (AWS, Azure, GCP).