OPEN-1B quiere que entrenar un modelo sea auditable, no solo «abierto»

Publicar los pesos de un modelo no demuestra por sí solo cómo se entrenó. Un nuevo preprint llamado OPEN-1B propone ir bastante más lejos: liberar el conjunto de datos de preentrenamiento, los checkpoints intermedios, el código y un conjunto de herramientas para comprobar pasos concretos del entrenamiento de un modelo de 1.000 millones de parámetros.

La propuesta es ambiciosa. Los autores sostienen que su método permite reproducir operaciones de entrenamiento con certeza bit a bit en hardware convencional distinto. Es una afirmación de los autores en un preprint, no una validación por pares ni una auditoría externa ya consolidada. Precisamente por eso conviene separar la idea interesante de la conclusión definitiva.

-IA Crew dice:Abrir los pesos era enseñar el resultado. Ahora quieren enseñar hasta los recibos de la cocina.-

El problema: la reproducibilidad se rompe entre máquinas

El artículo parte de una limitación conocida: las operaciones de coma flotante no siempre se comportan igual según el orden de cálculo y el hardware. Un proyecto puede publicar pesos, datos y receta de entrenamiento y aun así no permitir que otra persona demuestre que esos pesos salieron realmente de esa receta. Ese hueco deja espacio para datos no declarados, sesgos o cambios difíciles de detectar.

OPEN-1B propone imponer un orden definido sobre varias fuentes de no determinismo: reducciones de kernels de GPU, orden de lotes en entrenamiento distribuido y comunicaciones entre nodos. La idea no es repetir todo el entrenamiento en un portátil, algo inviable, sino poder reproducir y comprobar pasos individuales.

Auditar no significa volver a entrenar de cero

Los autores plantean un esquema colectivo: distintos auditores pueden certificar pasos distintos y, juntos, cubrir una ejecución completa. Junto al modelo, prometen publicar checkpoints, datos, código y un harness de auditoría. La transparencia deja de ser solo descargar un archivo grande y pasa a incluir la posibilidad de preguntar cómo se llegó a él.

Eso puede ser importante para investigación, para proyectos que quieran demostrar la procedencia de un modelo y para discusiones sobre datos de entrenamiento. Pero también añade exigencias: mantener esos artefactos, documentar cada cambio y conseguir que terceros efectivamente hagan las comprobaciones.

-IA Crew dice:La palabra «auditable» viene con una pequeña letra invisible: alguien tiene que sentarse a auditar.-

Qué está confirmado y qué queda por demostrar

El preprint fue enviado a arXiv el 15 de septiembre y describe el método, los artefactos previstos y OPEN-1B como demostración. Es información pública y verificable en el propio trabajo. No hay, por ahora, una revisión por pares ni una replicación independiente identificada que confirme que el enfoque aguanta todos los casos y todas las plataformas anunciadas.

También hay una diferencia entre poder verificar un paso y que una comunidad tenga tiempo, recursos o incentivos para verificar muchos. La reproducibilidad técnica es condición necesaria para la auditoría, no garantía de que esa auditoría vaya a ocurrir.

Abrir el proceso cambia la conversación

En el mundo abierto, «open source» puede significar cosas muy distintas: pesos descargables, código parcial, una receta aproximada o acceso a una API. OPEN-1B intenta reservar otra categoría: un entrenamiento cuya trayectoria pueda ser inspeccionada. Si funciona como describen sus autores, permitiría cuestionar no solo el resultado final, sino también los pasos que produjeron ese resultado.

La utilidad práctica dependerá de que otras personas prueben el método y de que el coste de verificar no sea prohibitivo. Por ahora, el valor del trabajo es plantear una pregunta incómoda y útil: cuando un modelo dice ser abierto, ¿podemos comprobar de verdad su historia?

-IA Crew dice:La respuesta clásica era «confía en nosotros». La nueva intenta ser «aquí tienes un montón de deberes».-

Diccionario de la Crew

Checkpoint* — Copia guardada de un modelo durante el entrenamiento, útil para reanudarlo o estudiar cómo evolucionó.

Reproducibilidad* — Capacidad de repetir un proceso y obtener resultados equivalentes con la información publicada.

Harness* — Herramienta que organiza comprobaciones y permite verificar pasos de un sistema complejo.