👋 Bienvenue à tous nos nouveaux lecteurs !

Si vous êtes nouveau ici, ThreatLink explore chaque mois comment les attaques modernes exploitent des technologies comme les LLMs, les risques cyber liés aux tiers et les dépendances dans la chaîne d’approvisionnement. Vous pouvez consulter tous nos articles précédents ici (Ex : violation chez Uber et fatigue MFA, XZ Utils : infiltration de l’open source par ingénierie sociale).

Merci de soutenir cette newsletter mensuelle en la partageant avec vos collègues

Étienne

Cet article inaugure une série consacrée à la montée de nouveaux fournisseurs de modèles de langage (LLMs) et aux risques émergents qu’ils entraînent.

Pour les équipes de cybersécurité, comprendre comment ces modèles sont construits est fondamental. Avant même d’évaluer les risques — qu’il s’agisse d’abus du modèle, de fuite de données ou de manipulations adverses — il est essentiel de saisir les principes qui façonnent les capacités et les limites d’un LLM. Comprendre les systèmes sous-jacents permet un meilleur raisonnement en matière de modélisation des menaces, de stratégie de détection et de gouvernance.

Notre point de départ : comprendre comment ces modèles sont construits, et pourquoi DeepSeek pourrait redéfinir l’économie du développement des LLMs.

🔑 Points clés :

• Les LLMs sont construits à travers un pipeline multi-étapes bien défini : pré-entraînement, réglage par instruction, et réglage par préférence.

• DeepSeek innove à plusieurs niveaux — notamment en réduisant les coûts, en augmentant l’efficacité de l’alignement, et en mettant l’accent sur le raisonnement.

• DeepSeek a open-sourcé non seulement ses modèles, mais aussi sa méthodologie d’entraînement — un signal fort de transparence qui le distingue de nombreux concurrents.

• Les services LLM hébergés — que ce soit ceux de DeepSeek (en ligne), xAI (Grok) ou d’autres — reposent sur des pré-invites cachées et des couches de filtrage qui soulèvent de véritables questions de gouvernance des données.Ces plateformes peuvent être influencées par des facteurs géopolitiques ou des personnalités individuelles :

  • Dans le cas de DeepSeek, les opérations sont soumis à la régulation de l’État chinois.

  • Dans le cas de xAI, les décisions d’alignement et de modération peuvent être influencées par les opinions personnelles d’Elon Musk.

Comment fonctionnent les LLMs : un processus en couches

Les modèles modernes de type LLM suivent un pipeline de développement structuré en trois étapes :

1. Pré-entraînement

Un réseau de neurones massif est entraîné sur un vaste corpus de texte afin de prédire le mot suivant dans une phrase. Cela forme un modèle probabiliste de langage — la capacité de base du LLM.

2. Réglage par instruction (Instruction Fine-Tuning)

Le modèle pré-entraîné est ensuite affiné à l’aide de paires structurées de questions-réponses ou de tâches spécifiques (ex. : « Explique cet algorithme »). Cela apprend au modèle à suivre des instructions humaines.

Pour les modèles open source comme LLaMA ou Mistral, les modèles sont souvent publiés à ce stade, généralement avec le suffixe “Instruct” :

https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503

3. Réglage par préférence (Preference Fine-Tuning)

C’est à ce stade que le modèle commence à donner l’impression d’être intelligent.

Des annotateurs humains classent les réponses du modèle, puis un modèle de récompense est entraîné à partir de ces classements. Ce modèle est utilisé pour aligner les réponses du LLM avec les préférences humaines.

Ce fut l’élément décisif qui a rendu ChatGPT bien plus fiable que ses prédécesseurs.

Sans cette phase, les modèles ont beaucoup plus de chances de dérailler — comme on l’a vu avec Galactica de Meta, lancé juste deux semaines avant ChatGPT-3, et retiré rapidement après que des trolls l’ont exploité pour générer de la désinformation.

DeepSeek suit cette même architecture générale — mais avec quelques différences clés.

Le reste de l'article est sur ma NL ThreatLink ici