Cuatro empresas de IA acordaron un único grupo en robots.txt que dice "no entrenes con esto". Vale solo para entrenamiento, ninguna lo aplica del todo todavía y, en Google, puede arrastrar las citas en Gemini.
El 30 de octubre de 2026, Google, Microsoft, OpenAI y Anthropic dijeron que respetarán un mismo grupo en robots.txt, User-agent: __usage_ai-training, como pedido para que el contenido del sitio no se use para entrenar modelos de IA. La línea habla de entrenamiento y de nada más. No saca al sitio de la búsqueda de Google ni de Bing, no es una orden para que ningún robot deje de rastrear y, por ahora, ninguna de las cuatro empresas la aplica por completo.
Cambia varias reglas por una. Hasta ahora, quien no quería ver su contenido en un entrenamiento tenía que nombrar a cada empresa: GPTBot para OpenAI, ClaudeBot para Anthropic, Google-Extended para Google. Con el token común, la preferencia se escribe una sola vez.
El borrador que define el token llama entrenamiento al uso del contenido para modificar los parámetros de un modelo generativo. Los modelos que solo clasifican, ordenan o puntúan quedan afuera. El texto aclara además que el token expresa una preferencia, no una orden de rastreo: el robot puede seguir descargando páginas siempre que no entrene con ellas.
Cada una tiene su fecha. Según lo que publicaron el 30 de octubre de 2026:
El documento también pide cautela. Es un borrador individual en el IETF, firmado por Kevin Kelley, de Anthropic, y discutido en el grupo de trabajo sobre preferencias de IA. No es un estándar. Si nadie lo renueva, vence el 3 de mayo de 2027.
Un grupo User-agent: * no equivale al token nuevo, y el borrador lo dice de forma expresa. El robots.txt que ya bloquea todo para todos sigue frenando el rastreo, pero no registra ninguna preferencia sobre entrenamiento por el canal común. Para que exista, el nombre __usage_ai-training tiene que estar escrito en el archivo.
Al revés, la confusión es parecida. Poner el token en el archivo no impide que GPTBot o ClaudeBot rastreen. Las reglas por nombre de robot siguen funcionando igual que antes, junto a la nueva.
Confundir el robot que recolecta para entrenar con el que busca para responder es el error más caro de este tema, y la línea nueva solo habla del primero. Bloquear al que entrena es una decisión sobre el uso del contenido. En cambio, bloquear al que responde saca al sitio justo de donde el cliente quiere ser citado.
Google explicó cómo va a leer el token: si el sitio rechaza el entrenamiento con la línea común y no dice nada sobre Google-Extended, cuenta como si hubiera bloqueado Google-Extended. Pero, según la documentación actual, ese mismo nombre también controla el uso del contenido para fundamentar respuestas en la app de Gemini y en Vertex AI. Quien rechaza el entrenamiento por el atajo puede desaparecer, de paso, de las respuestas de Gemini que citan fuentes.
El anuncio recuerda que los sitios que habilitan Google-Extended de forma explícita siguen apareciendo en esas respuestas, porque la regla escrita por nombre gana sobre la interpretación. El costo es que habilitar ese nombre también habilita el entrenamiento de Gemini: hoy las dos cosas van juntas. Nuestra lectura es que esta decisión se toma por escrito con el cliente, no se hereda de un atajo. Google prometió novedades durante 2027, así que es una regla que vamos a volver a leer.
Microsoft aprovechó el anuncio para separar entrenamiento de grounding, que es el uso del contenido para armar una respuesta con cita. El entrenamiento acepta el token en robots.txt o una marca por página, en meta tag o en la cabecera X-Robots-Tag. El grounding solo se configura por página, con tres opciones: permitir, rechazar o permitir solo los productos de la propia Microsoft, como Copilot.
Hay dos plazos para quien usa NoArchive o NoCache con la idea de dejar al cliente fuera de la IA de Microsoft. Desde el 15 de diciembre de 2026, Bing Webmaster Tools acepta una preferencia temporal de grounding. Después del 1 de marzo de 2027, esas dos etiquetas dejan de contar como rechazo de entrenamiento o de grounding. Según Microsoft, nada de esto cambia la posición en la búsqueda tradicional de Bing.
En Silent Puma, la sección Robots de IA de cada ejecución muestra lo que robots.txt les dice a GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended y otros, con los que leen para entrenar separados de los que leen para responder. Muestra, no juzga: bloquear a propósito es decisión del cliente. El token nuevo todavía no está en esa lista, así que por ahora se revisa abriendo el archivo.
3000 páginas al mes en el plan Basic, sin tarjeta.