OpenAI, Google, Microsoft y Anthropic anunciaron el 30-31 de octubre un acuerdo histórico para implementar una señal común de opt-out en robots.txt que permitirá a los sitios web prohibir en un solo paso el uso de su contenido para entrenar inteligencia artificial. El estándar, impulsado por Kevin Kelley de Anthropic en el IETF, simplifica un proceso que hasta ahora requería reglas separadas para cada empresa.

Microsoft implementará el nuevo token __usage_ai-training a partir del 1 de febrero de 2027, mientras que Google lo hará durante 2027. La señal permite a los editores bloquear entrenamientos de IA sin afectar la indexación en buscadores como Bing o Google Search. OpenAI anunció que lo integrará en los próximos meses, y Anthropic ya lo respalda.

Meta, en tanto, aplazó su cambio al 20 de noviembre, generando un desfase temporal en la adopción del estándar. El acuerdo llega tras un pulso judicial y comunicacional en torno al scraping y los derechos de autor, con críticas de medios y organizaciones de noticias que exigen un opt-out universal. El nuevo token no establece acuerdos de licencia ni pago, pero sí reduce la visibilidad del contenido en experiencias generadas por IA si se bloquea el grounding.

La señal funciona mediante robots.txt con un grupo User-Agent: __usage_ai-training Disallow: /. Los sitios pueden permitir excepciones específicas, como /press-kit/. La propuesta es un paso práctico hacia un estándar transversal, aunque el IETF aún no la ha avalado formalmente. Mientras tanto, las empresas mantienen sus controles propios —Google-Extended, GPTBot, etc.— que seguirán vigentes junto al nuevo mecanismo.

---

Fuentes: OpenAI, Google Search Central Blog, The Verge, The Next Web, Engadget