Apprentissage semi-supervisé

Algorithmes et mises à jour en apprentissage semi-supervisé : concept, techniques et applications SEO

Introduction

L'apprentissage semi-supervisé est une approche d'apprentissage automatique qui combine des données étiquetées et des données non étiquetées pour entraîner un modèle de manière plus efficace et plus économique en ressources. Il se situe à mi-chemin entre l'apprentissage supervisé, qui repose exclusivement sur des exemples annotés, et l'apprentissage non supervisé, qui exploite uniquement des données sans étiquettes.

Dans la pratique, l'apprentissage semi-supervisé utilise en général une petite quantité de données étiquetées et une grande quantité de données non étiquetées. Cette configuration reflète la réalité de nombreux projets : produire des annotations manuelles est coûteux et chronophage, alors que collecter de grandes masses de données brutes (logs, pages web, requêtes, clics, images, textes) est beaucoup plus simple.

Cette famille de méthodes est devenue particulièrement pertinente dans des domaines où la donnée est abondante mais l’annotation experte est rare : traitement automatique du langage naturel, vision par ordinateur, détection d’anomalies, mais aussi SEO et analyse de contenu. Dans le contexte du référencement naturel, l’apprentissage semi-supervisé peut aider à :

• mieux comprendre l’intention des utilisateurs à partir de requêtes partiellement étiquetées ;
• classer automatiquement de grandes bases de contenus (articles, fiches produits, pages locales) ;
• détecter des contenus de faible qualité ou dupliqués ;
• segmenter les pages selon des thématiques, niveaux de qualité ou types d’intention (informationnelle, transactionnelle, navigationnelle).

Dans cet article, nous détaillons les concepts clés de l’apprentissage semi-supervisé, ses principaux algorithmes et mécanismes de mise à jour (dont le Mean Teacher, l’EMA et le pseudo-labelling), les bonnes pratiques pour l’intégrer dans une stratégie SEO, ainsi que des outils et une FAQ pour éclairer les points les plus fréquents.

Concepts clés de l’apprentissage semi-supervisé

Pour tirer parti de l’apprentissage semi-supervisé, il est nécessaire de maîtriser plusieurs notions fondamentales qui structurent la plupart des approches modernes.

Données étiquetées vs données non étiquetées

On distingue généralement deux types de données :

• Données étiquetées : chaque exemple d’entrée (phrase, page web, image, requête, etc.) est associé à une étiquette ou un label représentant la sortie attendue (catégorie, score, intention, sentiment, probabilité de conversion, etc.).
• Données non étiquetées : seules les entrées sont disponibles, sans sortie associée. Ces données sont nombreuses, peu coûteuses à collecter, mais exploitables plus difficilement par les approches purement supervisées.

Dans un cadre semi-supervisé, une petite partie du jeu de données est annotée manuellement (par exemple quelques milliers de pages classées par intention SEO), tandis que le reste – souvent des dizaines de milliers voire des millions d’exemples – reste non étiqueté. L’algorithme va s’appuyer sur la structure globale de ces données brutes pour propager l’information apportée par les rares exemples annotés.

Hypothèses fondamentales : régularité, clustering et manifold

L’apprentissage semi-supervisé repose sur plusieurs hypothèses classiques sur la distribution des données :

• Hypothèse de régularité : les points de données proches dans l’espace des caractéristiques (features) ont tendance à partager la même étiquette. Deux pages ayant un contenu très similaire et des signaux de comportement utilisateur proches devraient en général appartenir à la même catégorie.
• Hypothèse de clustering : les données se répartissent en groupes (clusters) relativement denses, et une même classe correspond le plus souvent à un cluster ou à un ensemble de clusters liés. Cette hypothèse est cruciale pour les méthodes de graphes ou de regroupement.
• Hypothèse de manifold (variété) : les données vivent sur une variété de dimension plus faible que l’espace d’origine. En d’autres termes, la structure importante des données se trouve sur une « surface » subjacente de plus faible dimension, que l’on peut exploiter pour régulariser l’apprentissage.

Ces hypothèses ne sont pas toujours vérifiées parfaitement dans la réalité, mais elles guident la conception des algorithmes et expliquent pourquoi la combinaison de quelques labels avec beaucoup de données non étiquetées peut améliorer les performances.

Self-training (auto-apprentissage)

Le self-training est une des méthodes historiques les plus simples :

• on commence par entraîner un modèle de base supervisé uniquement sur les données étiquetées ;
• on utilise ensuite ce modèle pour prédire des étiquettes sur les données non étiquetées ;
• on sélectionne les exemples sur lesquels le modèle est le plus confiant (par exemple probabilité de classe maximale supérieure à un seuil) ;
• on ajoute ces exemples avec leurs étiquettes prédites au jeu de données annotées ;
• on réentraîne le modèle et on répète le processus.

Ce schéma itératif permet au modèle de s’améliorer progressivement en exploitant de plus en plus d’exemples, au prix cependant d’un risque de propagation d’erreurs si des pseudo-étiquettes initialement incorrectes sont intégrées sans contrôle.

Pseudo-labelling

Le pseudo-labelling (ou pseudo-étiquetage) est une variante structurée du self-training largement utilisée en apprentissage profond :

• un modèle (« professeur » ou modèle courant) génère des pseudo-labels sur les données non étiquetées ;
• ces pseudo-labels sont utilisés comme si c’étaient de vraies étiquettes pour entraîner le même modèle ou un modèle « élève » ;
• un seuil de confiance (par exemple 0,9) est souvent appliqué pour ne retenir que les prédictions les plus sûres ;
• un poids peut être appliqué à la perte (loss) associée aux pseudo-labels pour limiter l’impact des erreurs.

Dans les tâches liées au SEO, le pseudo-labelling peut servir à attribuer automatiquement des catégories, types d’intention ou niveaux de qualité à des milliers de pages, en ne recourant qu’à une petite base initiale d’exemples annotés par des experts SEO.

Co-training

Le co-training (apprentissage coopératif) exploite plusieurs « vues » différentes de la même donnée. Le principe est le suivant :

• on dispose de deux (ou plus) ensembles de caractéristiques supposés complémentaires, par exemple pour une page web : le contenu textuel d’un côté, les signaux comportementaux (taux de clic, temps passé) de l’autre ;
• on entraîne un premier modèle sur la première vue et un second modèle sur la deuxième vue, en utilisant les mêmes données étiquetées ;
• chaque modèle produit ensuite des pseudo-labels sur les données non étiquetées, mais seulement sur les exemples où il est très confiant ;
• ces nouveaux exemples pseudo-annotés sont échangés entre modèles, chacun enrichissant le jeu de données étiquetées de l’autre vue ;
• le processus est répété jusqu’à stabilisation.

Le co-training est particulièrement intéressant en SEO lorsque l’on peut découper l’information en plusieurs canaux indépendants : contenu textuel, ancre de liens entrants, signaux utilisateurs, métadonnées structurées, etc.

Régularisation de cohérence

De nombreux algorithmes modernes d’apprentissage semi-supervisé reposent sur la régularisation de cohérence : l’idée est que pour une donnée donnée, le modèle devrait produire des prédictions stables lorsqu’on applique de petites perturbations à l’entrée ou au modèle (bruit, augmentation de données, dropout, etc.).

Concrètement, on encourage le modèle à :

• donner des prédictions similaires pour une page web originale et pour la même page légèrement modifiée (ordre des paragraphes, légères reformulations, changements mineurs) ;
• rester cohérent malgré des perturbations au niveau des caractéristiques (ajout de bruit, masquage de mots, changements de structure).

Cette régularisation est au cœur de méthodes comme Π-model, Temporal Ensembling, Mean Teacher ou encore des approches plus récentes de type consistency-based SSL.

Algorithmes et mécanismes de mise à jour en apprentissage semi-supervisé

Au-delà des grands principes, l’apprentissage semi-supervisé moderne s’appuie sur un ensemble d’algorithmes concrets et de mécanismes de mise à jour bien définis, largement utilisés dans la recherche et l’industrie.

Mean Teacher et mise à jour EMA

Le Mean Teacher est un cadre d’apprentissage semi-supervisé dans lequel on maintient deux modèles :

• un modèle élève (student), directement entraîné par rétropropagation ;
• un modèle enseignant (teacher), mis à jour comme une moyenne exponentielle glissante (EMA, pour Exponential Moving Average) des paramètres de l’élève.

À chaque itération d’entraînement, les poids du modèle enseignant sont mis à jour selon une formule de type :

θ_teacher ← α · θ_teacher + (1 − α) · θ_student

où α est un coefficient de lissage proche de 1 (par exemple 0,99 ou 0,999), et θ désigne les paramètres du réseau neuronal. Le modèle enseignant est ainsi une moyenne temporelle du modèle élève, ce qui le rend généralement plus stable et moins bruité.

Le principe d’apprentissage est le suivant :

• pour les données étiquetées, le modèle élève est entraîné de manière classique à minimiser une perte supervisée (par exemple entropie croisée) ;
• pour les données non étiquetées, on présente au modèle élève et au modèle enseignant des versions légèrement augmentées de la même entrée (bruit, transformations) ; le modèle élève est pénalisé s’il ne produit pas des prédictions proches de celles de l’enseignant.

Ce mécanisme de consistance entre élève et enseignant améliore sensiblement les performances sur de nombreux benchmarks, tout en étant particulièrement adapté aux tâches où la quantité de données non étiquetées est très importante, comme l’analyse de logs ou de contenus SEO à grande échelle.

Entraînement par pseudo-labels avec seuils adaptatifs

Les algorithmes de pseudo-labelling les plus récents intègrent souvent :

• des seuils de confiance adaptatifs, qui varient au cours de l’entraînement ; par exemple, on commence avec un seuil très élevé, puis on le réduit légèrement lorsque le modèle gagne en précision ;
• des facteurs de pondération qui contrôlent l’importance relative de la perte semi-supervisée par rapport à la perte supervisée ;
• des stratégies de sélection d’exemples, telles que ne pseudo-étiqueter que les exemples qui appartiennent clairement à des clusters bien définis.

Dans un scénario SEO, cette logique permet d’utiliser au départ des pseudo-labels très conservateurs (par exemple uniquement les pages pour lesquelles le modèle attribue une probabilité > 0,95 à une intention donnée), puis d’élargir progressivement le périmètre à mesure que le modèle devient plus fiable.

Méthodes basées sur les graphes

Les méthodes semi-supervisées basées sur les graphes représentent les données comme un ensemble de nœuds reliés par des arêtes pondérées reflétant une notion de similarité (cosinus, distance euclidienne, proximité sémantique, liens de navigation, etc.).

Dans ce cadre :

• les nœuds correspondant aux exemples étiquetés portent des étiquettes initiales ;
• les étiquettes se propagent ensuite aux nœuds non étiquetés via le graphe, par des algorithmes de diffusion (label propagation, label spreading, random walks) ;
• le résultat est une attribution de labels à l’ensemble des nœuds, souvent cohérente avec la structure globale des données.

Pour le SEO, on peut construire un graphe où les pages sont des nœuds, connectés par :

• les liens internes et externes ;
• la similarité de contenu (embeddings sémantiques) ;
• la proximité dans les chemins de navigation (breadcrumbs, architecture de site).

On peut alors propager des labels de type « catégorie sémantique », « importance SEO », « type de page » (blog, fiche produit, page catégorie) depuis quelques pages annotées vers l’ensemble du site.

Auto-encodeurs et pré-entraînement non supervisé

Une autre famille d’approches consiste à :

• utiliser un auto-encodeur ou un autre modèle non supervisé pour apprendre une représentation compacte des données (embeddings) à partir de données majoritairement non étiquetées ;
• figer ou affiner ensuite cette représentation dans un modèle supervisé entraîné sur les quelques données étiquetées disponibles.

Cette stratégie est particulièrement efficace pour des données textuelles riches, comme des contenus éditoriaux ou des corpus de pages SEO, où l’apprentissage de représentations sémantiques de haute qualité nécessite un grand volume de textes mais peu ou pas d’annotations initiales.

Autres approches semi-supervisées pertinentes pour le SEO

Parmi les autres techniques utiles, on peut citer :

• Apprentissage transductif : on s’intéresse uniquement à prédire les labels d’un ensemble fixe de données non étiquetées (par exemple toutes les pages actuelles d’un site), sans chercher à généraliser à de nouvelles données. Cela permet d’utiliser des méthodes très spécifiques au jeu de données étudié.
• Apprentissage actif couplé au semi-supervisé : le modèle propose à un expert SEO d’annoter uniquement les exemples les plus informatifs (incertains, atypiques, représentatifs), ce qui réduit encore le coût d’annotation.
• Régularisation d’entropie : l’algorithme est pénalisé lorsqu’il produit des prédictions trop incertaines sur les données non étiquetées, ce qui encourage des frontières de décision qui passent dans les « zones vides » entre clusters.

Bonnes pratiques pour appliquer l’apprentissage semi-supervisé au SEO

Intégrer l’apprentissage semi-supervisé dans une stratégie SEO demande de combiner rigueur méthodologique et bonne compréhension des objectifs business. Les bonnes pratiques ci-dessous facilitent la mise en œuvre et limitent les risques.

1. Définir clairement les objectifs SEO

Avant de choisir un algorithme, il est essentiel de préciser ce que l’on cherche à optimiser :

• classification des pages par intention de recherche (informationnelle, transactionnelle, navigationnelle, locale) ;
• détection des contenus obsolètes ou de faible qualité ;
• regroupement thématique de pages pour structurer des silos sémantiques ou des hubs de contenu ;
• priorisation des pages à optimiser en fonction de leur potentiel SEO (volume de recherche, position, CTR, conversion).

Des objectifs clairs orientent le choix du type de modèle (classifieur, détecteur d’anomalies, modèle de ranking) et la manière de combiner données étiquetées et non étiquetées.

2. Qualité des données étiquetées

L’apprentissage semi-supervisé ne compense pas une mauvaise qualité d’annotations. Au contraire, il peut amplifier les erreurs initiales. Il est donc crucial de :

• définir des guides d’annotation détaillés (définition précise des labels, exemples positifs et négatifs, cas frontières) ;
• faire annoter un premier échantillon par plusieurs experts SEO et mesurer l’accord inter-annotateurs ;
• réviser et corriger les désaccords avant d’entraîner le modèle ;
• prévoir un petit jeu de validation étiqueté pour évaluer objectivement les modèles.

3. Exploiter la structure et le contenu HTML

Le HTML d’une page est une source d’information riche pour les modèles semi-supervisés :

• titres

  ,

  , balises