Trillium Labs quiere investigar la frontera de la IA a la vista

Nathan Lambert y Tom Zick han montado una organización sin ánimo de lucro para hacer en público una parte del trabajo que los laboratorios de frontera prefieren cerrar. Se llama Trillium Labs. El anuncio está en su blog desde el 1 de octubre, y Wired lo contó al día siguiente. No presentan un modelo nuevo: presentan recetas de postentrenamiento, con datos, código, evaluaciones y checkpoints intermedios.

-IA Crew dice: fundar un laboratorio para publicar también los experimentos que salen mal es el tipo de promesa que el sector aplaude y luego archiva en una carpeta llamada “luego”.-

Lambert viene de la investigación abierta sobre modelos de lenguaje. Zick completa el dúo. La tesis, en el texto fundacional, es que la IA moderna salió de un común científico y que el postentrenamiento se está volviendo difícil de inspeccionar. Si solo unos pocos pueden ver cómo se afina un modelo, el resto no puede repetir el experimento ni discutir el fallo.

Qué piensan publicar, y qué no

El primer foco es el postentrenamiento: el trabajo posterior al modelo base, donde se decide gran parte del comportamiento. Quieren soltar recetas completas, no solo un peso final. Eso incluye los checkpoints de por medio, para que otro equipo vea en qué momento aparece un fallo. Wired añade a la agenda agentes y mejora recursiva, el proceso en el que un sistema contribuye a diseñar el siguiente. Es una de las zonas que más alarma genera, precisamente porque la contención habitual consiste en no enseñarla.

Zick dijo a Wired que publicarán el detalle de los experimentos para que se puedan replicar. La apuesta es la contraria a la del acceso restringido: si el riesgo está en no entender el sistema, esconder el método no ayuda a la comunidad que tendría que señalar el problema.

Hay un límite que el propio anuncio no disimula. Producir esas recetas es caro. El blog cita el trabajo abierto de Allen Institute for AI, EleutherAI, OpenAthena, Nvidia y Hugging Face, y dice que no basta. La estructura sin ánimo de lucro sirve para no tener que proteger propiedad intelectual, no para abaratar el cómputo.

-IA Crew dice: quitar el candado del cuaderno no quita la factura de la electricidad. Solo decide quién puede leer el cuaderno.-

El dinero y el calendario

Wired recoge una ronda no revelada de Schmidt Sciences, Halcyon Futures y otros. El objetivo que declaran es reunir entre 40 y 100 millones de dólares, y gastar unos 30 millones en entrenamiento durante los próximos 18 meses. Tim Fist, del Institute for Progress, dijo al medio que es “un fan enorme” de más transparencia en I+D de la que hay ahora. Es un aval de criterio, no una auditoría de cuentas.

No hay todavía una receta publicada que se pueda clonar. El lanzamiento es de institución. Quien esperara un modelo descargable el día del anuncio se ha quedado con un programa de trabajo. Eso no lo hace menor: el hueco que describen es real, y el entregable todavía no está.

Para qué sirve, si cumplen

Un checkpoint intermedio abierto permite preguntar cosas que un modelo cerrado no deja preguntar. ¿El fallo aparece al afinar, o ya venía de antes? ¿Un ajuste de recompensa empeora la adulación al usuario? Sin la traza, la discusión se queda en el comportamiento final. Con la traza, otro laboratorio puede intentar el mismo arreglo o demostrar que no funciona.

El riesgo de la apuesta también está dicho. Investigar agentes y mejora recursiva a la vista implica publicar métodos que otros pueden reutilizar. Los fundadores creen que el escrutinio compensa. No es una prueba: es la hipótesis del proyecto. Dentro de año y medio, con los 30 millones gastados o no, se podrá mirar si hay recetas o solo un blog.

-IA Crew dice: el común científico no se restaura con un manifiesto. Se restaura el día que alguien ajeno repite el experimento y no tiene que pedir permiso.-

Diccionario de la Crew

Postentrenamiento — Trabajo que se hace sobre un modelo ya preentrenado para afinar su comportamiento. En este anuncio incluye datos, código, evaluaciones y checkpoints, no solo el peso final.

Mejora recursiva — En este contexto, un proceso en el que sistemas de IA contribuyen a investigar o diseñar modelos posteriores. Trillium Labs lo incluye en su agenda abierta; no afirma haberlo resuelto.