Guia

Como os laboratórios de IA escolhem os sites que entram em seus corpora de treinamento

Fundador do Epovest 7 de ago. de 2026

Faça a um assistente de IA uma pergunta sobre seu mercado: uma parte da resposta vem da memória, ou seja, do que o modelo absorveu durante o treinamento. Essa memória foi construída sobre um corpus, o corpus foi construído sobre a web, e seu site passou pela seleção ou não passou. O que está em jogo é concreto: quando sua cobertura é escassa, o modelo responde com o que o corpus dele contém, inclusive o histórico de seu homônimo.

A seleção não é editorial. Ninguém em um laboratório de IA lê sites e decide que seu site merece um lugar. É um pipeline: um rastreamento, uma pilha de filtros, uma passada de deduplicação, um conjunto de contratos, uma política de amostragem. E ele é incomumente bem documentado, porque os laboratórios publicam como seus corpora são construídos mesmo quando mantêm privados os corpora em si. Este guia percorre esse pipeline etapa por etapa: o que cada uma conserva, o que descarta, e o que isso implica para sua maneira de publicar.

O treinamento é uma das duas portas de entrada de uma resposta. A outra é a leitura ao vivo: páginas consultadas no momento em que a pergunta é feita, com outras regras e em um ritmo muito mais rápido. Medimos como as duas portas se comportam de maneira diferente. Este guia trata da porta da memória.

Um ponto de partida compartilhado: o rastreamento público

A maioria dos corpora de treinamento documentados não começa com um rastreamento próprio do laboratório. Começa com o Common Crawl, uma organização sem fins lucrativos que percorre a web desde 2008 e publica aproximadamente a cada mês um instantâneo fresco de vários bilhões de páginas. C4, o corpus por trás dos modelos T5 do Google, é um instantâneo do Common Crawl filtrado. A parte web descrita no artigo da OpenAI de 2020, "Language Models are Few-Shot Learners", é Common Crawl filtrado. Também o são RefinedWeb (o corpus por trás do Falcon), Dolma (Allen Institute for AI) e FineWeb (Hugging Face), que filtra 96 instantâneos coletados entre 2013 e 2024.

Três propriedades desse ponto de partida merecem ser conhecidas:

O robô do Common Crawl se chama CCBot e respeita o robots.txt. Admitir esse robô é a porta mais larga que você controla; bloqueá-lo tira você da origem da maioria dos corpora abertos.
As URLs são escolhidas conforme a web aponta para elas. O Common Crawl classifica os domínios por centralidade harmônica, uma medida do grafo de links: domínios para os quais páginas de referência apontam são percorridos de forma mais ampla e mais profunda. Um site para o qual nada aponta fica na borda fina do rastreamento, então cada referência conquistada compra também profundidade de rastreamento.
O rastreamento recupera o HTML e não executa scripts. Um texto que só aparece depois que o JavaScript roda não existe para o corpus. HTML renderizado no servidor é o preço de entrada.

Os rastreadores próprios dos laboratórios, e os interruptores que você segura

Sobre o rastreamento compartilhado, os laboratórios operam robôs próprios, nomeados. Cada um é documentado, e cada um responde à própria linha no robots.txt:

Operador	User-agent	O que alimenta
OpenAI	GPTBot	Os corpora de treinamento
OpenAI	OAI-SearchBot, ChatGPT-User	O índice de busca e a navegação ao vivo, não o treinamento
Anthropic	ClaudeBot	Os corpora de treinamento
Anthropic	Claude-SearchBot, Claude-User	A busca e as consultas pedidas pelo usuário
Google	Googlebot, governado pelo token Google-Extended	Google-Extended controla o uso para treinamento de IA; o rastreamento em si continua sendo o Googlebot
Apple	Applebot, com o token Applebot-Extended	O token controla o uso para treinamento de IA
Meta	meta-externalagent	Os corpora de treinamento
Common Crawl	CCBot	Os instantâneos públicos que a maioria dos corpora abertos filtra

Dois detalhes importam mais que a lista. Primeiro, treinar e responder são interruptores separados: bloquear o GPTBot mantém suas páginas futuras fora dos corpora de treinamento e não toca no que o OAI-SearchBot pode ler na hora de responder, e vice-versa. Um site pode ficar fora do treinamento e continuar plenamente legível ao vivo, ou o contrário. A decisão se toma por uso, nunca por empresa. Segundo, o robots.txt é declarativo: os robôs acima documentam que o respeitam, e a gestão de bots no CDN é a camada de aplicação para todo o resto.

Esses interruptores vivem agora em um espaço comum que encolhe. "Consent in Crisis" (Data Provenance Initiative, 2024) mediu que, em um único ano, as restrições de robots.txt passaram a cobrir cerca de um quarto dos tokens vindos dos domínios mais representados nos corpora de treinamento correntes. A Cloudflare lançou em 2024 um bloqueio de rastreadores de IA em um clique, e em julho de 2025 fez do bloqueio o padrão para seus novos clientes. Cada editor que se fecha aumenta o peso relativo de cada página que continua legível: verificar o que sua própria infraestrutura bloqueia por padrão deixou de ser uma higiene opcional.

O que os filtros descartam primeiro

Um rastreamento bruto é sobretudo ruído, e as primeiras etapas que o afinam são mecânicas.

A extração do conteúdo principal vem primeiro. Pipelines como RefinedWeb e FineWeb rodam um extrator (tipicamente o trafilatura) que conserva o bloco de texto principal de uma página e descarta navegação, cabeçalhos, rodapés, colunas laterais, avisos de cookies e listas de links. O que vive nessas zonas nunca chega a julgamento algum. Uma página cuja substância está no corpo principal sobrevive à extração; uma página que é sobretudo mobília em volta de um parágrafo magro não deixa nada para trás.

Depois vêm as heurísticas de linha e de documento. C4, publicado com os trabalhos T5 do Google em 2019, descartava toda linha que não terminasse em pontuação final, toda página com menos de três frases, e toda página contendo "lorem ipsum" ou uma chave tipográfica. As regras do Gopher (DeepMind, 2021), retomadas pelo FineWeb, descartam documentos com menos de 50 palavras ou mais de 100 000, aqueles cujo comprimento médio de palavra sai da faixa de 3 a 10 caracteres, aqueles em que mais de 90 % das linhas começam com um marcador, e aqueles em que faltam as palavras funcionais mais comuns. Uma etapa de identificação de idioma direciona cada documento, e um corpus retém um conjunto definido de idiomas.

Nada disso mede o sentido. Mede se uma página contém prosa de verdade: frases completas, pontuação, parágrafos com substância. Um texto montado em fragmentos em volta de palavras-chave falha nesses testes por construção.

Os classificadores de qualidade: o que "uma boa página" significa para eles

As páginas que sobrevivem à mecânica são então pontuadas por um classificador, e os laboratórios dizem sobre o que seus classificadores foram treinados:

O artigo da OpenAI de 2020 filtrava o rastreamento com um classificador treinado sobre WebText, páginas que usuários do Reddit tinham linkado com um karma mínimo, como classe positiva.
O artigo LLaMA (Meta, 2023) conservava as páginas parecidas com aquelas usadas como referências pelos artigos da Wikipédia.
O FineWeb-Edu (2024) pontua as páginas de 0 a 5 pelo valor educativo, com anotações produzidas por um grande modelo de linguagem, e conserva aproximadamente o décimo superior de um corpus já filtrado.

Laboratórios diferentes, um mesmo padrão: a classe positiva é sempre alguma versão de "páginas que humanos consideraram dignas de citação". Um classificador de qualidade é um substituto treinado da citabilidade. Páginas que explicam, definem, datam e documentam suas afirmações pontuam como seus exemplos de treinamento; páginas montadas para buscadores caem do lado errado de uma fronteira traçada com exemplos das duas. É aqui que seu histórico fora do site volta a entrar na seleção do corpus: ser linkado pelo tipo de página que os classificadores tratam como verdade de referência é exatamente o que as corroborações constroem.

A deduplicação premia o original

Todo pipeline documentado deduplica, de forma exata (documentos idênticos) e aproximada (quase idênticos, tipicamente via MinHash). O artigo do RefinedWeb relata que a deduplicação sozinha remove cerca da metade do que os filtros já tinham aceitado; filtragem e deduplicação juntas descartam a grande maioria do rastreamento bruto.

Quando várias páginas carregam o mesmo texto, uma sobrevive. Para um editor, a consequência é clara: texto sindicado, copiado ou de modelo não se acumula. Uma descrição reproduzida em vinte portais entra uma vez no corpus, e não necessariamente como sua página. O texto que não existe em nenhum outro lugar é o único que, dentro do corpus, é confiavelmente seu.

A porta dos contratos: o conteúdo sob licença

Desde 2023 existe uma segunda porta que pula o pipeline por inteiro: a licença. Entre os acordos anunciados publicamente: Associated Press com a OpenAI (julho de 2023), Axel Springer (dezembro de 2023), Reddit com o Google (fevereiro de 2024), Le Monde e Prisa Media (março de 2024), o Financial Times (abril de 2024), News Corp, Reddit e Stack Overflow com a OpenAI (maio de 2024). Arquivos sob licença chegam completos, limpos e atribuídos, sem passar por um único filtro.

Essa porta pertence aos grandes arquivos, e o efeito dela alcança todo mundo: texto editado profissionalmente entra agora em massa nos corpora, de modo que a fronteira que os classificadores traçam para a web aberta se calibra contra um material cada vez mais editado. A web aberta que permanece dentro é a que se lê como se tivesse passado por uma redação.

Estar dentro não é o fim: peso, repetição, data de corte

Um corpus não é lido uniformemente durante o treinamento. O artigo da OpenAI de 2020 detalha seus pesos de amostragem: os conjuntos mais curados foram vistos mais de três vezes ao longo do treinamento, enquanto o rastreamento filtrado era amostrado menos de uma vez. Os corpora também se estendem por anos de instantâneos (o FineWeb filtra onze anos deles), de modo que uma página que existiu em uma URL estável através de muitos rastreamentos mensais simplesmente aparece mais vezes que uma página publicada no trimestre passado. E cada modelo tem sua data de corte: o que você publica depois espera o próximo corpus. Essa defasagem é mais uma razão pela qual a porta da leitura ao vivo importa tanto quanto a porta da memória: as páginas que um motor consulta ao responder carregam o que seu histórico ainda não ensinou ao modelo.

O que isso muda em sua maneira de publicar

Cada hábito abaixo é uma etapa do pipeline convertida em prática:

Sirva seu texto como HTML renderizado no servidor. Os rastreamentos não executam seus scripts.
Decida o robots.txt por rastreador e por uso, treinamento contra resposta ao vivo, e audite o que seu CDN ou firewall bloqueia por padrão: desde 2025, ilegível é o estado padrão de uma parte crescente da web.
Escreva prosa. Frases completas, pontuação final, parágrafos substanciais: os filtros heurísticos contam exatamente isso, linha por linha.
Ponha a substância no bloco de conteúdo principal. A extração descarta menus, rodapés e colunas laterais antes de qualquer julgamento de qualidade.
Seja o original. A deduplicação conserva uma única cópia de um texto dado; páginas que não existem em outro lugar são as únicas confiavelmente creditadas a você.
Conquiste referências. Os classificadores de qualidade foram treinados sobre páginas que humanos tinham linkado; menções conquistadas nas páginas em que assistentes e corpora já confiam são a metade da seleção que acontece fora de seu site.
Publique cedo e mantenha URLs estáveis. A presença através dos instantâneos se acumula; um histórico jovem ou escasso deixa o modelo respondendo com o de outro.

O que o corpus reteve sobre você se observa de fora: é o que os assistentes dizem quando respondem de memória. O Tracking mede exatamente isso, pergunta por pergunta, motor por motor, e nosso guia de GEO situa a porta da memória dentro da disciplina inteira.