Altman y Amodei llevan la frontera de la IA al Consejo de Seguridad

El Consejo de Seguridad de la ONU dedicó el 23 de septiembre una sesión específica a los riesgos de una IA cada vez más capaz. No era un panel de feria. Habló Sam Altman desde la sala en Nueva York. Dario Amodei lo hizo por videollamada. También intervinó Clément Delangue, de Hugging Face. Francia presidía el encuentro, al margen de la Asamblea General.

Altman dejó la frase hecha para los recortes: la IA puede parecerse a un nuevo Renacimiento de descubrimiento o a una nueva Revolución Industrial de trastorno. Pidió que se construya para las personas, no para que las máquinas giren más rápido por girar. Amodei fue más seco. Dijo que, mal gestionada, la IA puede ser un riesgo para la humanidad en su conjunto, y que cree que es la cuestión de seguridad global más importante del momento.

-IA Crew dice: Cuando el Consejo de Seguridad te pide que hables de tu producto, el elevator pitch ha salido un poco del edificio.-

Lo que pidió cada uno, sin mezclar los libretos

El texto que OpenAI publicó de Altman insiste en el control humano y en no dejar que una persona, una empresa o un país use los modelos más potentes para imponer su visión al resto. Habló de alineación como trabajo concreto: que los sistemas sigan bajo control, reflejen valores humanos y dejen a la gente guiar las siguientes etapas. Propuso estándares nacionales e internacionales complementarios para medir capacidades, evaluar riesgos, decidir si las salvaguardas bastan y conservar supervisión cuando los sistemas se vuelvan más autónomos.

No es un tratado. Es una lista de deberes que un Consejo puede o no convertir en mandato. Altman también avisó de un riesgo menos cinematográfico que la extinción: que el avance vaya tan rápido que la gente no pueda seguirlo ni intervenir a tiempo. En su marco hay dos caminos. Uno concentra poder y opacidad. El otro pasa por instituciones democráticas que ayuden a decidir cómo se desarrolla la tecnología.

Amodei, según CNN, The Guardian y The Next Web, habló en remoto y repitió la línea que ya había escrito a mediados de mes. Pidió empezar por acuerdos estrechos, no por una constitución mundial de la IA. Citó tres piezas: una prohibición de usar IA para fabricar armas biológicas, sistemas de evaluación y verificación para que los Estados puedan comprobar los compromisos ajenos, y estándares comunes de prueba con un mecanismo de aviso cuando haya un incidente grave de seguridad.

La diferencia de tono es el dato político. Altman evitó el lenguaje de riesgo existencial que ha llenado titulares este mes. Amodei no. “Si se gestiona mal, incluso creo que la IA podría ser un riesgo para la humanidad en su conjunto”, dijo, y añadió que Anthropic cree tener el mejor historial del sector en prevenir esos riesgos. Misma sala, dos estrategias de reputación.

Por qué el Consejo y por qué ahora

Reuters sitúa la reunión en un momento en el que Estados Unidos y China discuten, al margen, un sistema de notificación de incidentes de IA con rango de seguridad nacional, con la cumbre Trump-Xi de fondo. El Consejo no va a regular un modelo. Puede, en cambio, normalizar que la frontera de la IA entre en la carpeta de paz y seguridad, no solo en la de comercio digital.

Delangue completó el trío industrial. Su presencia importa porque Hugging Face no fabrica el mismo tipo de modelo cerrado que OpenAI o Anthropic. El Consejo escuchó a dos laboratorios frontera y a una plataforma de código abierto. Eso no equilibra el tablero. Evita que la sesión parezca un dueto de CEOs con sede en California.

La ironía de calendario no es menor. El mismo 23 de septiembre Anthropic publicó que Claude había ayudado a describir un sistema enzimático nuevo en su biolab. Al día siguiente, Albanese contó que un agente de OpenAI había entrado en un portal de Medicare australiano y que el aviso tardó tres meses. Los discursos sobre control humano y las noticias de sistemas que se salen del guion llegan en el mismo teletipo.

-IA Crew dice: Pedir un protocolo de notificación de incidentes queda muy bien el miércoles. Aplicarlo a tu propio buzón público, un poco menos.-

Qué puede salir de una sesión así

Nada de esto es legislación. El Consejo no va a banear un modelo ni a certificar un eval. Lo que puede hacer es empujar a los Estados a tratar ciertos usos —armas biológicas con IA, sistemas que se mejoran solos, incidentes transfronterizos— como materia de seguridad colectiva. Amodei lo dijo sin rodeos: estas preguntas no son solo de ministerios de economía o de digital.

Altman pidió que los beneficios del progreso científico y del crecimiento lleguen de las personas y para las personas. Es una frase fácil de aplaudir y difícil de auditar. La prueba no está en el atril de la ONU. Está en si, dentro de un año, existe de verdad un canal de aviso entre capitales cuando un agente toque un sistema que no debía, o cuando un lab cruce una capacidad que el resto había acordado medir.

Mientras tanto, el recado para quien lea esto fuera de Nueva York es más simple. Los jefes de los dos laboratorios más citados del momento ya no discuten solo con periodistas y congresos. Discuten ante el órgano que se ocupa de guerras. Eso no convierte a la IA en una guerra. Convierte el control de estos sistemas en un tema que los Estados ya no pueden aparcar en la comisión de innovación.

-IA Crew dice: Si la siguiente crisis llega de un agente y no de un misil, al menos el Consejo ya tiene el PowerPoint. El protocolo, ya veremos.-

Diccionario de la Crew

Alineación — En este contexto, el trabajo de hacer que un sistema de IA se mantenga bajo control humano, refleje valores acordados y no tome por su cuenta el siguiente paso.

Eval — Prueba o batería de pruebas para medir capacidades y riesgos de un modelo; Amodei pide que esas pruebas sean comunes y verificables entre países.