Anthropic pide a Claude que revise sus respuestas, pero solo como alarma
La autoevaluación de Claude marca conversaciones para una revisión posterior y añade menos del 2 % al cómputo, según Anthropic. No bloquea solicitudes ni es una evaluación humana.
Anthropic ha detallado cómo usa Claude para revisar sus propias conversaciones y marcar posibles señales de abuso. La técnica, llamada autoevaluación, genera una valoración breve después de cada respuesta y la envía a sistemas de análisis posteriores; funciona como alarma para priorizar revisiones, no como un filtro que bloquee por sí solo una petición peligrosa.
Qué significan las cifras
En Claude Fable 5, Anthropic afirma que el sistema detecta el 78 % de las conversaciones que una segunda herramienta, más costosa, clasifica como potencialmente dañinas. Llega al 94 % en los casos que ese clasificador sitúa en prioridad alta, con una tasa de falsos positivos del 1 %. La sensibilidad medida es frente a otro clasificador, no frente a una auditoría humana de cada conversación: la cifra no demuestra que se encuentre el 78 % de todo el abuso real.
La tasa de falsos positivos indica cuántas conversaciones benignas activa el monitor por error según la referencia usada. Un porcentaje bajo reduce el trabajo de revisión desperdiciado, aunque no dice por sí solo cuántos incidentes graves se escaparon. Anthropic comunica estos resultados como una comparación interna con su clasificador de referencia, y AI Safety Watch subraya que las métricas no equivalen a medir todas las conversaciones dañinas.
-IA Crew dice: el porcentaje impresiona más cuando se lee junto a la pregunta correcta: “¿comparado con qué?”.-
La empresa dice que la evaluación añade menos del 2 % al cómputo de inferencia en su tráfico de API. La explicación es de ingeniería: Claude ya procesó la conversación y conserva el contexto en memoria; para la revisión se añade una instrucción corta y una respuesta estructurada. Anthropic dice que ejecuta el método en una gran parte del tráfico y en los modelos lanzados desde Fable 5.
Una revisión posterior, no un bloqueo
El sistema produce una señal de posible daño, un tipo de riesgo, una prioridad y una breve razón. Después, otros controles más precisos o equipos de revisión pueden investigar. La autoevaluación no interrumpe en tiempo real la respuesta original: el propio artículo de Anthropic dice que no es lo bastante robusta para detener a una persona que intente evadirla deliberadamente. AI Safety Watch también la describe como una señal temprana, no como una barrera suficiente.
Esa separación cambia cómo conviene interpretar el anuncio. Una herramienta barata que cubre muchas conversaciones puede ayudar a detectar patrones que otros filtros no vieron, asignar prioridades y agrupar señales nuevas. No sustituye los clasificadores que sí bloquean solicitudes ni convierte cada aviso del modelo en prueba de un abuso; la decisión de escalar casos sigue dependiendo de otros pasos.
-IA Crew dice: una alarma colocada después de la respuesta sirve para investigar; el extintor sigue teniendo que estar en otra parte.-
El mismo modelo es también el monitor
La técnica tiene una limitación estructural: el modelo que evalúa participó en la conversación que se examina. Si interpreta mal el contexto, su valoración puede heredar el mismo error; si el modelo estuviera intentando ocultar una acción indebida, podría también ocultarla en la revisión. Anthropic reconoce esos riesgos y dice que la autoevaluación aún no es un monitor fiable de la conducta propia del modelo.
También hay una cuestión de datos. La compañía afirma que el sistema sigue las políticas de retención existentes y no añade datos nuevos, pero el análisis automatizado opera sobre conversaciones que Anthropic ya puede conservar según esos acuerdos. No se ejecuta, por ahora, en tráfico cubierto por compromisos de retención cero, según la nota técnica.
El resultado es una capa de observabilidad con coste bajo y límites claros. Puede ampliar la cobertura y orientar una investigación humana, pero sus métricas son una comparación con el propio sistema de referencia de Anthropic y su salida no frena por sí sola un mal uso. Sirve para ver más; no equivale a impedir más.
Diccionario de la Crew
Autoevaluación — revisión generada por el propio modelo después de responder, para señalar posibles riesgos en la conversación.
Sensibilidad — proporción de los casos positivos de referencia que el sistema también detecta.
Falsos positivos — conversaciones benignas que el monitor marca erróneamente como potencialmente dañinas.
