Wie KI-Labore die Websites auswählen, die in ihre Trainingskorpora eingehen

Stellen Sie einem KI-Assistenten eine Frage zu Ihrem Markt: Ein Teil der Antwort kommt aus dem Gedächtnis, also aus dem, was das Modell während des Trainings aufgenommen hat. Dieses Gedächtnis wurde aus einem Korpus gebaut, der Korpus wurde aus dem Web gebaut, und Ihre Website hat die Auswahl bestanden oder nicht. Der Einsatz ist konkret: Ist Ihre Abdeckung dünn, antwortet das Modell mit dem, was sein Korpus eben enthält, einschließlich der Akte Ihres Namensvetters.

Die Auswahl ist nicht redaktionell. Niemand in einem KI-Labor liest Websites und entscheidet, dass Ihre einen Platz verdient. Es ist eine Pipeline: ein Crawl, ein Stapel Filter, ein Deduplizierungslauf, eine Reihe von Verträgen, eine Sampling-Politik. Und sie ist ungewöhnlich gut dokumentiert, denn die Labore veröffentlichen, wie ihre Korpora gebaut werden, selbst wenn sie die Korpora selbst privat halten. Dieser Leitfaden geht die Pipeline Stufe für Stufe durch: was jede behält, was sie verwirft, und was das für Ihre Art zu publizieren bedeutet.

Das Training ist eine von zwei Türen in eine Antwort. Die andere ist das Live-Lesen: Seiten, die in dem Moment abgerufen werden, in dem die Frage gestellt wird, nach anderen Regeln und in einem viel schnelleren Takt. Wir haben gemessen, wie unterschiedlich sich die beiden Türen verhalten. Dieser Leitfaden handelt von der Gedächtnistür.

Ein gemeinsamer Ausgangspunkt: der öffentliche Crawl

Die meisten dokumentierten Trainingskorpora beginnen nicht mit einem eigenen Crawl des Labors. Sie beginnen mit Common Crawl, einer gemeinnützigen Organisation, die das Web seit 2008 durchläuft und ungefähr jeden Monat einen frischen Schnappschuss von mehreren Milliarden Seiten veröffentlicht. C4, der Korpus hinter Googles T5-Modellen, ist ein gefilterter Common-Crawl-Schnappschuss. Der Web-Anteil aus OpenAIs Aufsatz von 2020, „Language Models are Few-Shot Learners", ist gefiltertes Common Crawl. Ebenso RefinedWeb (der Korpus hinter Falcon), Dolma (Allen Institute for AI) und FineWeb (Hugging Face), das 96 zwischen 2013 und 2024 gesammelte Schnappschüsse filtert.

Drei Eigenschaften dieses Ausgangspunkts sollte man kennen:

• Der Bot von Common Crawl heißt CCBot und respektiert robots.txt. Ihn zuzulassen ist die breiteste einzelne Tür, die Sie kontrollieren; ihn zu blockieren nimmt Sie aus dem Oberlauf der meisten offenen Korpora.
• URLs werden danach gewählt, wie das Web auf sie zeigt. Common Crawl ordnet Domains nach harmonischer Zentralität, einem Maß im Linkgraphen: Domains, auf die Referenzseiten verlinken, werden breiter und tiefer gecrawlt. Eine Website, auf die nichts verlinkt, sitzt am dünnen Rand des Crawls; jede gewonnene Referenz kauft also auch Crawl-Tiefe.
• Der Crawl holt HTML und führt keine Skripte aus. Text, der erst nach dem JavaScript-Lauf erscheint, existiert für den Korpus nicht. Serverseitig gerendertes HTML ist der Eintrittspreis.

Die eigenen Crawler der Labore, und die Schalter in Ihrer Hand

Über dem gemeinsamen Crawl betreiben die Labore eigene, benannte Crawler. Jeder ist dokumentiert, und jeder reagiert auf seine eigene Zeile in robots.txt:

Zwei Details zählen mehr als die Liste. Erstens: Training und Antworten sind getrennte Schalter. GPTBot zu blockieren hält Ihre künftigen Seiten aus Trainingskorpora heraus und berührt nicht, was OAI-SearchBot beim Antworten lesen kann, und umgekehrt. Eine Website kann dem Training fernbleiben und live voll lesbar bleiben, oder das Gegenteil. Die Entscheidung fällt pro Nutzung, nie pro Unternehmen. Zweitens: robots.txt ist deklarativ. Die Crawler oben dokumentieren, dass sie es respektieren, und Bot-Management im CDN ist die Durchsetzungsschicht für alles andere.

Diese Schalter leben inzwischen in einem schrumpfenden Gemeingut. „Consent in Crisis" (Data Provenance Initiative, 2024) hat gemessen, dass robots.txt-Beschränkungen innerhalb eines einzigen Jahres rund ein Viertel der Tokens aus den Domains abdeckten, die in gängigen Trainingskorpora am stärksten vertreten sind. Cloudflare lieferte 2024 eine Ein-Klick-Blockade für KI-Crawler und machte die Blockade im Juli 2025 zur Voreinstellung für Neukunden. Jeder Herausgeber, der sich schließt, erhöht das relative Gewicht jeder Seite, die lesbar bleibt: zu prüfen, was die eigene Infrastruktur standardmäßig blockiert, ist keine optionale Hygiene mehr.

Was die Filter zuerst verwerfen

Ein roher Crawl ist vor allem Rauschen, und die ersten Stufen, die ihn ausdünnen, sind mechanisch.

Zuerst kommt die Extraktion des Hauptinhalts. Pipelines wie RefinedWeb und FineWeb lassen einen Extraktor laufen (typischerweise trafilatura), der den Haupttextblock einer Seite behält und Navigation, Kopfzeilen, Fußzeilen, Seitenspalten, Cookie-Banner und Linklisten verwirft. Was in diesen Zonen lebt, erreicht nie ein späteres Urteil. Eine Seite, deren Substanz im Hauptkörper sitzt, überlebt die Extraktion; eine Seite, die vor allem Mobiliar um einen dünnen Absatz ist, lässt nichts zurück.

Dann kommen Zeilen- und Dokumentheuristiken. C4, 2019 mit Googles T5-Arbeiten veröffentlicht, verwarf jede Zeile ohne schließendes Satzzeichen, jede Seite mit weniger als drei Sätzen und jede Seite, die „lorem ipsum" oder eine geschweifte Klammer enthielt. Die Gopher-Regeln (DeepMind, 2021), von FineWeb übernommen, verwerfen Dokumente unter 50 oder über 100 000 Wörtern, Dokumente, deren mittlere Wortlänge aus dem Bereich von 3 bis 10 Zeichen fällt, Dokumente, in denen über 90 % der Zeilen mit einem Aufzählungszeichen beginnen, und Dokumente, in denen die häufigsten Funktionswörter fehlen. Ein Schritt zur Spracherkennung sortiert jedes Dokument, und ein Korpus behält einen definierten Satz von Sprachen.

Nichts davon misst Bedeutung. Es misst, ob eine Seite echte Prosa enthält: vollständige Sätze, Zeichensetzung, Absätze mit Substanz. Text, der als Fragmente um Schlüsselwörter herum montiert ist, fällt durch diese Tests per Konstruktion.

Die Qualitätsklassifikatoren: was „eine gute Seite" für sie bedeutet

Die Seiten, die die Mechanik überleben, werden anschließend von einem Klassifikator bewertet, und die Labore legen offen, worauf ihre Klassifikatoren trainiert wurden:

• OpenAIs Aufsatz von 2020 filterte den Crawl mit einem Klassifikator, trainiert auf WebText: Seiten, die Reddit-Nutzer mit einem Mindest-Karma verlinkt hatten, als positiver Klasse.
• Der LLaMA-Aufsatz (Meta, 2023) behielt Seiten, die jenen ähneln, die von Wikipedia-Artikeln als Referenzen genutzt werden.
• FineWeb-Edu (2024) bewertet Seiten von 0 bis 5 nach Bildungswert, mit Annotationen aus einem großen Sprachmodell, und behält ungefähr das oberste Zehntel eines bereits gefilterten Korpus.

Verschiedene Labore, ein Muster: Die positive Klasse ist immer eine Version von „Seiten, die Menschen für zitierwürdig hielten". Ein Qualitätsklassifikator ist ein trainierter Stellvertreter für Referenzwürdigkeit. Seiten, die erklären, definieren, datieren und ihre Aussagen belegen, werden bewertet wie ihre Trainingsbeispiele; für Suchmaschinen montierte Seiten landen auf der falschen Seite einer Grenze, die durch Beispiele beider Sorten gezogen wurde. Hier fließt Ihre Akte außerhalb der eigenen Website zurück in die Korpusauswahl: von der Art Seiten verlinkt zu werden, die Klassifikatoren als Referenz behandeln, ist genau das, was Bestätigungen aufbauen.

Die Deduplizierung belohnt das Original

Jede dokumentierte Pipeline dedupliziert, exakt (identische Dokumente) und unscharf (nahezu identische, typischerweise über MinHash). Der RefinedWeb-Aufsatz berichtet, dass die Deduplizierung allein rund die Hälfte dessen entfernt, was die Filter bereits angenommen hatten; Filterung und Deduplizierung zusammen verwerfen die große Mehrheit des rohen Crawls.

Tragen mehrere Seiten denselben Text, überlebt eine. Für einen Herausgeber ist die Konsequenz klar: Syndizierter, kopierter oder schablonierter Text akkumuliert nicht. Eine Beschreibung, die auf zwanzig Portalen wiederholt wird, geht einmal in den Korpus ein, und nicht unbedingt als Ihre Seite. Text, der nirgendwo sonst existiert, ist der einzige, der im Korpus verlässlich Ihrer ist.

Die Vertragstür: lizenzierte Inhalte

Seit 2023 existiert eine zweite Tür, die die Pipeline vollständig überspringt: die Lizenz. Öffentlich angekündigte Vereinbarungen umfassen Associated Press mit OpenAI (Juli 2023), Axel Springer (Dezember 2023), Reddit mit Google (Februar 2024), Le Monde und Prisa Media (März 2024), die Financial Times (April 2024), News Corp, Reddit und Stack Overflow mit OpenAI (Mai 2024). Lizenzierte Archive kommen vollständig, sauber und zugeschrieben an, ohne einen einzigen Filter zu passieren.

Diese Tür gehört den großen Archiven, und ihre Wirkung erreicht alle: Professionell redigierter Text geht jetzt in Masse in die Korpora ein, sodass die Grenze, die die Klassifikatoren für das offene Web ziehen, an zunehmend redigiertem Material kalibriert wird. Das offene Web, das drin bleibt, ist das, das sich liest, als wäre es redigiert worden.

Drin sein ist nicht das Ende: Gewicht, Wiederholung, Stichtag

Ein Korpus wird während des Trainings nicht gleichmäßig gelesen. OpenAIs Aufsatz von 2020 legt seine Sampling-Gewichte offen: Die am stärksten kuratierten Datensätze wurden über das Training mehr als dreimal gesehen, während der gefilterte Crawl weniger als einmal gesampelt wurde. Korpora erstrecken sich zudem über Jahre von Schnappschüssen (FineWeb filtert elf Jahre davon), sodass eine Seite, die über viele monatliche Crawls hinweg an einer stabilen URL existiert hat, schlicht öfter vorkommt als eine im letzten Quartal veröffentlichte. Und jedes Modell hat seinen Stichtag: Was Sie danach veröffentlichen, wartet auf den nächsten Korpus. Diese Verzögerung ist ein Grund mehr, warum die Tür des Live-Lesens so viel zählt wie die Gedächtnistür: Die Seiten, die ein Motor beim Antworten abruft, tragen das, was Ihre Akte dem Modell noch nicht beigebracht hat.

Was das an Ihrer Art zu publizieren ändert

Jede Gewohnheit unten ist eine Stufe der Pipeline, in Praxis übersetzt:

1. Liefern Sie Ihren Text als serverseitig gerendertes HTML aus. Die Crawls führen Ihre Skripte nicht aus.
2. Entscheiden Sie robots.txt pro Crawler und pro Nutzung, Training gegen Live-Antwort, und prüfen Sie, was Ihr CDN oder Ihre Firewall standardmäßig blockiert: Seit 2025 ist Unlesbarkeit der Ausgangszustand eines wachsenden Teils des Webs.
3. Schreiben Sie Prosa. Vollständige Sätze, schließende Zeichensetzung, substanzielle Absätze: Die heuristischen Filter zählen genau das, Zeile für Zeile.
4. Legen Sie die Substanz in den Hauptinhaltsblock. Die Extraktion verwirft Menüs, Fußzeilen und Seitenspalten, bevor irgendein Qualitätsurteil stattfindet.
5. Seien Sie das Original. Die Deduplizierung behält eine einzige Kopie eines gegebenen Textes; Seiten, die nirgendwo sonst existieren, sind die einzigen, die Ihnen verlässlich zugerechnet werden.
6. Verdienen Sie Referenzen. Die Qualitätsklassifikatoren wurden auf Seiten trainiert, die Menschen verlinkt hatten; Nennungen auf den Seiten, denen Assistenten und Korpora bereits vertrauen, sind die Hälfte der Auswahl, die außerhalb Ihrer Website stattfindet.
7. Publizieren Sie früh und halten Sie URLs stabil. Präsenz über Schnappschüsse hinweg summiert sich; eine junge oder dünne Akte lässt das Modell mit der eines anderen antworten.

Was der Korpus über Sie behalten hat, lässt sich von außen beobachten: Es ist das, was die Assistenten sagen, wenn sie aus dem Gedächtnis antworten. Tracking misst genau das, Frage für Frage, Motor für Motor, und unser GEO-Leitfaden ordnet die Gedächtnistür in die ganze Disziplin ein.

Quellen

• Common Crawl und die CCBot-Dokumentation
• „Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer" (Google, 2019), das C4 beschreibt
• „Language Models are Few-Shot Learners" (OpenAI, 2020)
• „Scaling Language Models: Methods, Analysis & Insights from Training Gopher" (DeepMind, 2021)
• „LLaMA: Open and Efficient Foundation Language Models" (Meta, 2023)
• „The RefinedWeb Dataset for Falcon LLM" (TII, 2023)
• „The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale" (Hugging Face, 2024)
• „Dolma: an Open Corpus of Three Trillion Tokens" (Allen Institute for AI, 2024)
• „Consent in Crisis: The Rapid Decline of the AI Data Commons" (Data Provenance Initiative, 2024)
• Die Bot-Dokumentation von OpenAI
• Die Crawler-Dokumentation von Google, einschließlich Google-Extended
• Die Crawler-Dokumentation von Anthropic