Guide

Comment les labos d'IA choisissent les sites web qui entrent dans leurs corpus d'entraînement

Fondateur d'Epovest 7 août 2026

Posez à un assistant IA une question sur votre marché : une partie de sa réponse vient de sa mémoire, c'est-à-dire de ce que le modèle a absorbé pendant son entraînement. Cette mémoire a été bâtie sur un corpus, le corpus a été bâti sur le web, et votre site a passé la sélection ou ne l'a pas passée. L'enjeu est concret : quand votre couverture est mince, le modèle répond avec ce que son corpus contient, y compris le dossier de votre homonyme.

Cette sélection n'a rien d'éditorial. Personne, dans un labo d'IA, ne lit des sites web pour décider que le vôtre mérite sa place. C'est un pipeline : un crawl, une pile de filtres, une passe de déduplication, des contrats, une politique d'échantillonnage. Et il est remarquablement bien documenté, parce que les labos publient la façon dont leurs corpus se construisent même quand ils gardent les corpus eux-mêmes privés. Ce guide remonte ce pipeline étage par étage : ce que chacun garde, ce qu'il jette, et ce que cela implique pour votre façon de publier.

L'entraînement est l'une des deux portes d'entrée d'une réponse. L'autre est la lecture en direct : des pages consultées au moment où la question est posée, selon d'autres règles et à un rythme bien plus rapide. Nous avons mesuré à quel point les deux portes se comportent différemment. Ce guide traite de la porte mémoire.

Un point de départ partagé : le crawl public

La plupart des corpus d'entraînement documentés ne partent pas d'un crawl maison. Ils partent de Common Crawl, une fondation à but non lucratif qui parcourt le web depuis 2008 et publie environ chaque mois un instantané frais de plusieurs milliards de pages. C4, le corpus derrière les modèles T5 de Google, est un instantané Common Crawl filtré. La part web décrite dans l'article d'OpenAI de 2020, « Language Models are Few-Shot Learners », est du Common Crawl filtré. De même pour RefinedWeb (le corpus derrière Falcon), Dolma (Allen Institute for AI) et FineWeb (Hugging Face), qui filtre 96 instantanés collectés entre 2013 et 2024.

Trois propriétés de ce point de départ méritent d'être connues :

Le robot de Common Crawl s'appelle CCBot, et il respecte robots.txt. L'admettre est la porte la plus large que vous contrôlez ; le bloquer vous retire de l'amont de la plupart des corpus ouverts.
Les URL sont choisies selon la façon dont le web pointe vers elles. Common Crawl classe les domaines par centralité harmonique, une mesure du graphe de liens : les domaines vers lesquels pointent des pages de référence sont parcourus plus largement et plus profondément. Un site vers lequel rien ne pointe reste au bord du crawl ; chaque référence gagnée achète donc aussi de la profondeur de crawl.
Le crawl récupère le HTML et n'exécute pas les scripts. Un texte qui n'apparaît qu'après exécution du JavaScript n'existe pas pour le corpus. Le HTML rendu côté serveur est le prix d'entrée.

Les crawlers propres aux labos, et les interrupteurs que vous tenez

Au-dessus du crawl partagé, les labos font tourner leurs propres robots, nommés. Chacun est documenté, et chacun répond à sa propre ligne dans robots.txt :

Opérateur	User-agent	Ce qu'il alimente
OpenAI	GPTBot	Les corpus d'entraînement
OpenAI	OAI-SearchBot, ChatGPT-User	L'index de recherche et la navigation en direct, pas l'entraînement
Anthropic	ClaudeBot	Les corpus d'entraînement
Anthropic	Claude-SearchBot, Claude-User	La recherche et les consultations demandées par l'utilisateur
Google	Googlebot, gouverné par le jeton Google-Extended	Google-Extended contrôle l'usage d'entraînement IA ; le crawl lui-même reste Googlebot
Apple	Applebot, avec le jeton Applebot-Extended	Le jeton contrôle l'usage d'entraînement IA
Meta	meta-externalagent	Les corpus d'entraînement
Common Crawl	CCBot	Les instantanés publics que la plupart des corpus ouverts filtrent

Deux détails comptent plus que la liste. D'abord, l'entraînement et la réponse sont deux interrupteurs séparés : bloquer GPTBot tient vos pages futures hors des corpus d'entraînement et ne touche pas à ce qu'OAI-SearchBot peut lire au moment de répondre, et réciproquement. Un site peut rester hors entraînement et demeurer pleinement lisible en direct, ou l'inverse. La décision se prend par usage, jamais par entreprise. Ensuite, robots.txt est déclaratif : les robots ci-dessus documentent qu'ils le respectent, et la gestion de bots au niveau du CDN est la couche d'application pour tout le reste.

Ces interrupteurs vivent désormais dans un espace commun qui se resserre. « Consent in Crisis » (Data Provenance Initiative, 2024) a mesuré qu'en une seule année, les restrictions robots.txt en sont venues à couvrir environ un quart des jetons issus des domaines les plus représentés dans les corpus d'entraînement courants. Cloudflare a livré en 2024 un blocage des crawlers IA en un clic, puis en a fait en juillet 2025 le réglage par défaut pour ses nouveaux clients. Chaque éditeur qui se ferme augmente le poids relatif de chaque page qui reste lisible : vérifier ce que votre propre infrastructure bloque par défaut n'est plus une hygiène facultative.

Ce que les filtres jettent en premier

Un crawl brut est surtout du bruit, et les premiers étages qui l'écrèment sont mécaniques.

L'extraction du contenu principal vient d'abord. Des pipelines comme RefinedWeb et FineWeb passent un extracteur (typiquement trafilatura) qui garde le bloc de texte principal d'une page et jette la navigation, les en-têtes, les pieds de page, les colonnes latérales, les bandeaux de cookies et les listes de liens. Ce qui vit dans ces zones n'atteint jamais le moindre jugement ultérieur. Une page dont la substance tient dans son corps principal survit à l'extraction ; une page qui n'est que du mobilier autour d'un paragraphe maigre ne laisse rien derrière elle.

Viennent ensuite les heuristiques de ligne et de document. C4, publié avec les travaux T5 de Google en 2019, jetait toute ligne ne se terminant pas par une ponctuation finale, toute page de moins de trois phrases, et toute page contenant « lorem ipsum » ou une accolade. Les règles de Gopher (DeepMind, 2021), reprises par FineWeb, jettent les documents de moins de 50 mots ou de plus de 100 000, ceux dont la longueur moyenne de mot sort de 3 à 10 caractères, ceux dont plus de 90 % des lignes commencent par une puce, et ceux où manquent les mots outils les plus courants. Une étape d'identification de langue route chaque document, et un corpus retient un ensemble défini de langues.

Rien de tout cela ne mesure le sens. Cela mesure si une page contient de la vraie prose : des phrases complètes, de la ponctuation, des paragraphes qui ont de la matière. Un texte assemblé en fragments autour de mots-clés échoue à ces tests par construction.

Les classifieurs de qualité : ce que « une bonne page » veut dire pour eux

Les pages qui survivent à la mécanique sont ensuite notées par un classifieur, et les labos disent sur quoi leurs classifieurs ont été entraînés :

L'article d'OpenAI de 2020 filtrait le crawl avec un classifieur entraîné sur WebText, des pages que des utilisateurs de Reddit avaient mises en lien avec un karma minimal, comme classe positive.
L'article LLaMA (Meta, 2023) gardait les pages ressemblant à celles utilisées comme références par les articles de Wikipédia.
FineWeb-Edu (2024) note les pages de 0 à 5 pour leur valeur éducative, avec des annotations produites par un grand modèle de langage, et garde environ le dixième supérieur d'un corpus déjà filtré.

Des labos différents, un même motif : la classe positive est toujours une version de « pages que des humains ont jugées dignes d'être citées ». Un classifieur de qualité est un substitut entraîné de la citabilité. Les pages qui expliquent, définissent, datent et sourcent leurs affirmations sont notées comme leurs exemples d'entraînement ; les pages assemblées pour les moteurs de recherche tombent du mauvais côté d'une frontière tracée à travers des exemples des deux. C'est ici que votre dossier hors site reboucle sur la sélection de corpus : être mis en lien depuis le genre de pages que les classifieurs prennent pour vérité terrain, c'est exactement ce que construisent les corroborations.

La déduplication récompense l'original

Tout pipeline documenté déduplique, exactement (documents identiques) et approximativement (quasi identiques, typiquement via MinHash). L'article RefinedWeb rapporte que la déduplication seule retire environ la moitié de ce que les filtres avaient déjà accepté ; filtrage et déduplication réunis écartent la grande majorité du crawl brut.

Quand plusieurs pages portent le même texte, une seule survit. Pour un éditeur, la conséquence est nette : le texte syndiqué, copié ou gabarisé ne s'accumule pas. Une description reproduite sur vingt portails entre une fois dans le corpus, et pas nécessairement sous la forme de votre page. Le texte qui n'existe nulle part ailleurs est le seul qui vous soit fiablement attribué dans le corpus.

La porte des contrats : le contenu sous licence

Depuis 2023, une seconde porte existe, qui saute le pipeline entièrement : la licence. Parmi les accords annoncés publiquement : Associated Press avec OpenAI (juillet 2023), Axel Springer (décembre 2023), Reddit avec Google (février 2024), Le Monde et Prisa Media (mars 2024), le Financial Times (avril 2024), News Corp, Reddit et Stack Overflow avec OpenAI (mai 2024). Les archives sous licence arrivent complètes, propres et attribuées, sans passer le moindre filtre.

Cette porte est celle des grandes archives, et son effet touche tout le monde : du texte édité professionnellement entre désormais en masse dans les corpus, si bien que la frontière que les classifieurs tracent pour le web ouvert se calibre sur une matière de plus en plus éditée. Le web ouvert qui reste dedans est celui qui se lit comme s'il avait été édité.

Être dedans n'est pas la fin : poids, répétition, date de coupe

Un corpus n'est pas lu uniformément pendant l'entraînement. L'article d'OpenAI de 2020 détaille ses poids d'échantillonnage : les ensembles les plus soignés ont été vus plus de trois fois au fil de l'entraînement, quand le crawl filtré était échantillonné moins d'une fois. Les corpus s'étalent aussi sur des années d'instantanés (FineWeb en filtre onze ans), si bien qu'une page qui a existé à une URL stable à travers de nombreux crawls mensuels apparaît simplement plus souvent qu'une page publiée le trimestre dernier. Et chaque modèle a sa date de coupe : ce que vous publiez après attend le corpus suivant. Ce décalage est une raison de plus pour laquelle la porte de la lecture en direct compte autant que la porte mémoire : les pages qu'un moteur consulte au moment de répondre portent ce que votre dossier n'a pas encore appris au modèle.

Ce que cela change dans votre façon de publier

Chaque habitude ci-dessous est un étage du pipeline, converti en pratique :

Servez votre texte en HTML rendu côté serveur. Les crawls n'exécutent pas vos scripts.
Décidez robots.txt par crawler et par usage, entraînement contre réponse en direct, et auditez ce que votre CDN ou votre pare-feu bloque par défaut : depuis 2025, l'illisibilité est l'état par défaut d'une part croissante du web.
Écrivez de la prose. Des phrases complètes, une ponctuation finale, des paragraphes substantiels : les filtres heuristiques comptent exactement cela, ligne par ligne.
Mettez la substance dans le bloc de contenu principal. L'extraction jette menus, pieds de page et colonnes latérales avant tout jugement de qualité.
Soyez l'original. La déduplication garde une seule copie d'un texte donné ; les pages qui n'existent nulle part ailleurs sont les seules qui vous soient fiablement créditées.
Gagnez des références. Les classifieurs de qualité ont été entraînés sur des pages que des humains avaient mises en lien ; les mentions gagnées sur les pages auxquelles assistants et corpus font déjà confiance sont la moitié hors site de la sélection.
Publiez tôt et gardez des URL stables. La présence à travers les instantanés se cumule ; un dossier jeune ou mince laisse le modèle répondre avec celui d'un autre.

Ce que le corpus a retenu de vous s'observe de l'extérieur : c'est ce que les assistants disent quand ils répondent de mémoire. Tracking mesure exactement cela, question par question, moteur par moteur, et notre guide du GEO situe la porte mémoire dans la discipline entière.