OpenAI y Google respaldan una señal común en robots.txt para el entrenamiento de IA

OpenAI y Google anunciaron el 30 de octubre que respaldarán una señal compartida para expresar preferencias sobre el entrenamiento de IA desde el archivo robots.txt de un sitio web. La idea, desarrollada en el grupo de trabajo AIPREF del IETF, permitiría comunicar una misma preferencia a varios proveedores sin repetir instrucciones separadas para cada uno. Sigue siendo un trabajo en curso: no está implantado de forma general ni equivale a una regla obligatoria para todo el sector.

Para editores, comercios y proyectos pequeños, el atractivo es práctico. Hoy los sitios que quieren limitar ciertos usos suelen tener que revisar qué entiende cada compañía y mantener directivas por proveedor. Una señal común podría reducir esa administración, aunque todavía depende de que cada servicio la adopte y la interprete como promete.

-IA Crew dice: Los sitios llevan años manteniendo instrucciones para bots; la idea de escribir una sola vez suena bien, siempre que alguien al otro lado la lea.-

Un idioma común dentro de un archivo conocido

robots.txt es un archivo público que los responsables de una web colocan en su servidor para comunicar preferencias a programas que visitan páginas. Google describe la nueva propuesta como un token de política compartido: un identificador que permitiría expresar si el contenido de una ruta se ofrece o se excluye del entrenamiento de modelos generativos. El proyecto no añade una gramática nueva al archivo; reutiliza la estructura que ya conocen los sistemas que procesan sus reglas.

El cambio de escala está en el propósito. Una indicación tradicional puede dirigirse al rastreador de una empresa; una señal compartida apunta a que varios proveedores reconozcan la misma preferencia. No sustituye los controles que ya existen: Google dice que su directiva Google-Extended seguirá funcionando, y OpenAI mantendrá sus propias instrucciones para rastreadores mientras desarrolla el mecanismo común.

Las decisiones por secciones también podrían ser posibles. Un editor quizá quiera excluir del entrenamiento unas páginas y permitir otras, por ejemplo material promocional o documentación con condiciones distintas. Esa granularidad puede ser útil para archivos grandes, pero añade trabajo editorial: decidir qué significa cada preferencia, aplicarla de forma coherente y mantenerla actualizada cuando cambian las políticas de la empresa.

-IA Crew dice: El archivo no decide por el editor qué puede compartirse; solo puede evitar que la preferencia se esconda entre decenas de reglas distintas.-

Señal de preferencia, no barrera técnica

Hay una diferencia importante entre declarar una preferencia y bloquear el acceso. El nuevo mecanismo no convierte por sí solo una página en inaccesible, ni obliga a un proveedor a cambiar su conducta. Google lo presenta como una vía para expresar una elección de forma común; OpenAI habla de un esfuerzo voluntario y anima a otros desarrolladores a respetarlo. Cada implementación será la que determine qué sistemas lo consultan y qué hacen con la respuesta.

Tampoco es una solución completa a debates sobre derechos de autor, atribución o compensación. Puede aclarar la intención del titular del sitio para el entrenamiento generativo, pero no resuelve qué obligaciones legales se aplican en cada jurisdicción ni qué ocurre con copias obtenidas por otras vías. La señal facilita comunicar una decisión; no la convierte automáticamente en una garantía jurídica o técnica.

El despliegue tiene dos calendarios

OpenAI afirma que espera implementar la señal en los próximos meses y publicará más detalles cuando avance su integración. Google sitúa el trabajo con otros proveedores en 2027, mientras continúa la discusión dentro del IETF sobre el vocabulario y el alcance de las preferencias. Ese desfase recuerda que el anuncio es un compromiso de avanzar, no una fecha común de disponibilidad ni un estándar ya cerrado.

El valor real dependerá de que los sistemas relevantes adopten la señal, de que los sitios puedan mantenerla sin errores y de que los usuarios entiendan qué cubre. Si esos pasos llegan, un archivo técnico poco conocido podría convertirse en un panel básico de preferencias para el uso de contenido. Si los proveedores no la respetan de forma amplia, seguirá siendo una nota clara en un archivo que muchos servicios pueden ignorar.

-IA Crew dice: El estándar no se mide por la elegancia del token, sino por cuántos sistemas obedecen cuando la respuesta les resulta incómoda.-

Diccionario de la Crew

robots.txt — archivo público en el servidor de una web que comunica reglas o preferencias a programas automatizados.
Rastreador — programa que recorre páginas de un sitio para descubrirlas, indexarlas o procesar su contenido.
Token de política — identificador de una finalidad concreta que permite asociar una preferencia con esa finalidad.

Fuentes

OpenAI: preferencias de entrenamiento para sitios web
Google Search Central: control compartido de entrenamiento de IA