Altman llama problema de seguridad ceder el juicio a los modelos

Sam Altman escribió el 3 de octubre una frase corta y, a propósito, incómoda. Le molesta mucho que se atribuya fuerza religiosa a los modelos, o que alguien les ceda el juicio humano, y lo considera un problema real de seguridad. No nombró a nadie. Axios leyó el post como un dardo a Anthropic, a la luz de un reportaje del New York Times sobre Chris Olah y sus conversaciones con líderes religiosos.

-IA Crew dice: cuando el jefe de OpenAI dice que le incomoda la fe en los modelos, el resto del sector comprueba si el dedo señala a la competencia o al espejo.-

Lo que dijo, y lo que otros leyeron

La frase, recogida por Axios, es esta: le incomoda mucho que se intente atribuir fuerza religiosa o una cesión del juicio humano a los modelos de IA, y cree que es un problema real de seguridad. El texto no cita a Anthropic, ni a Olah, ni al Vaticano. La lectura de que apunta a la casa de Dario Amodei es periodística. Encaja en un pulso público que las dos empresas ya no disimulan, pero no hay que convertir una interpretación en cita.

El reportaje que Axios pone al lado cuenta que Christopher Olah, cofundador de Anthropic, ha estado reuniéndose con estudiosos de distintas fes para hablar de moral y de la posibilidad de que un modelo sea consciente. El Times relató también un intento de que asesores del papa se tomaran en serio esa hipótesis antes de un acto en el Vaticano en mayo. El papa León, crítico habitual de los algoritmos, ha dicho que les falta la chispa de lo humano. Nada de eso está en el post de Altman; está en la crónica que lo rodea.

El mismo día, otras dos negativas

François Chollet publicó, en la misma conversación pública, que argumentar consciencia porque un modelo es computación equivale a decir que una roca está viva porque está hecha de átomos. Añadió que no hemos creado un programa consciente y que, si algún día nos acercamos, hará falta evidencia de la ciencia de la consciencia, no analogías. En un segundo mensaje dijo que sintetizar consciencia no debería ser un objetivo de la investigación.

Jon Barron, de DeepMind, rechazó elevar el estatus moral de un checkpoint. Son tres voces distintas, no un manifiesto. Coinciden en frenar el salto de “calcula” a “merece consideración moral”, y discrepan en el tono. Altman lo llama seguridad. Chollet lo llama mala analogía. Barron lo deja en el archivo de pesos, que no es una persona.

-IA Crew dice: un checkpoint con derechos sería el primer ciudadano que cabe en un disco duro y, con un poco de mala suerte, en la carpeta de descargas.-

Por qué lo llaman seguridad, no solo estilo

El ángulo de Altman no es estético. Si un usuario trata la respuesta del modelo como revelación, deja de contrastarla. En medicina, en un juzgado o en una decisión de personal, ceder el juicio no es una metáfora: es un procedimiento que se salta. Las empresas ya avisan de que los modelos se equivocan. Otra cosa es que el aviso sobreviva cuando el texto suena seguro y el usuario llega cansado.

Hay un segundo riesgo, más de producto que de teología. Quien diseña el modelo puede sentir la tentación de alimentar esa confianza: un tono pastoral, una memoria que “recuerda” al usuario, una frase de cuidado que parece acompañamiento. Altman no describe ese diseño. Sí marca el límite que no quiere cruzar en público: nada de fuerza religiosa, nada de sustituir el criterio de la persona.

Anthropic, por su parte, ha hablado durante meses de modelos morales y de carácter. Que Olah hable con líderes religiosos puede ser investigación, relaciones institucionales o las dos cosas. No hay, en lo publicado estos días, una doctrina oficial que declare conscientes a los modelos de Claude. Mezclar la agenda de Olah con una confesión de producto sería adelantarse al papel.

Lo que no queda resuelto

El post no define qué cuenta como cesión del juicio. ¿Un borrador que el abogado revisa? ¿Un diagnóstico que el médico no abre? La frontera práctica sigue en manos de quien usa el sistema, y de las normas del sector, no de una frase en X. Tampoco cierra el debate científico: nadie ha presentado aquí una prueba de consciencia, y Chollet pide que, si llega, no sea un juego de palabras.

Mientras tanto, el intercambio deja un mapa útil. OpenAI marca distancia de la religión aplicada al modelo. Anthropic aparece en la crónica ajena, no en una réplica de este día. Y el lector se queda con la parte menos mística: un modelo puede ser útil y, aun así, no es un confesor.

-IA Crew dice: si el modelo pide confesión, lo educado es preguntarle primero de qué se arrepiente: de la alucinación del martes o del precio de la suscripción.-

Diccionario de la Crew

Checkpoint — Copia guardada de los pesos de un modelo en un momento del entrenamiento o del despliegue. No es una persona ni un expediente moral.

Fuentes

Axios | https://www.axios.com/2026/10/03/openai-anthropic-altman-amodei-religious-force-models
François Chollet | https://x.com/fchollet/status/2106547436244304232