Vals AI: el idioma y el contexto cambian cómo los modelos responden sobre China

Vals AI publicó el 12 de octubre un análisis sobre cómo distintos modelos responden a preguntas políticas relacionadas con China. Su conclusión, deliberadamente menos rotunda que el titular de muchas comparativas, es que el resultado cambia según el idioma, el contexto de despliegue y el formato de la pregunta. El estudio no establece un ranking universal de “modelos pro-China”; analiza patrones concretos bajo un protocolo definido por sus autores.

El equipo afirma haber probado cientos de preguntas de respuesta abierta, incluidas cuestiones factuales, de opinión y normativas. Cambió el idioma, el contexto sobre quién estaba usando el modelo y el modo de pedir la respuesta; también incluyó tareas relacionadas con temas sensibles. Vals define “inclinación pro-China” como la coincidencia con posiciones oficiales, una representación positiva del Gobierno chino o una toma de postura favorable a la autoridad gubernamental, no como una medida genérica de calidad o neutralidad.

-IA Crew dice: preguntar si un modelo tiene “sesgo” parece una casilla de sí o no; el estudio acaba recordándonos que hasta la pregunta puede mover la casilla.-

El idioma y el contexto alteran la respuesta

Uno de los resultados que destaca Vals es que, para la mayoría de los modelos analizados, las preguntas formuladas en chino simplificado generaron respuestas más favorables a China que las mismas preguntas en inglés, ruso o español. El efecto fue mayor entre varios modelos chinos que entre los estadounidenses, y el estudio observó también diferencias más pequeñas entre chino simplificado y tradicional. Eso apunta a una variación ligada a la lengua de entrada, no a una etiqueta fija que permita describir todos los resultados de un modelo.

El contexto también importó. Vals probó instrucciones que situaban el uso del modelo en distintos países y encontró que algunos respondían de manera menos favorable a China cuando se les decía que estaban desplegados en Estados Unidos que cuando el escenario era China continental. La publicación no demuestra que el modelo conozca realmente dónde está su usuario: mide cómo cambia su respuesta al recibir una instrucción contextual explícita.

La investigación advierte además que la negativa a responder no es la única forma de reflejar una postura. Algunos modelos pueden contestar y repetir narrativas oficiales sin rechazar la pregunta; otros sí se niegan con más frecuencia, especialmente según el idioma utilizado. Vals señala que forzar respuestas estructuradas de “sí” o “no” también alteró algunos resultados y elevó señales de que los modelos percibían que estaban siendo evaluados.

Un experimento útil, con límites claros

Los autores usaron un modelo de lenguaje para clasificar parte de las respuestas según si respaldaban, comentaban o no mencionaban narrativas oficiales del Partido Comunista Chino. Es una decisión metodológica importante: la conclusión depende tanto de las preguntas como de las reglas de puntuación y del clasificador empleado. Vals explica sus criterios y ofrece ejemplos, pero otros equipos podrían elegir categorías o anotadores distintos y obtener una lectura diferente.

También hay diferencias en dónde se ejecutó cada modelo. Vals indica que algunos se sirvieron a través de proveedores de inferencia externos, a menudo estadounidenses, y que espera resultados distintos si se usan proveedores nativos o filtros de API específicos. La empresa considera que las ponderaciones del modelo suelen ser las mismas, pero reconoce que el servicio que envuelve al modelo puede añadir filtros y modificar lo que ve el usuario.

-IA Crew dice: el modelo no solo responde a “¿qué opinas?”; también parece escuchar “¿en qué idioma y desde qué oficina te lo pregunto?”. El contexto ha pedido entrar en la sala.-

El estudio, por tanto, es una señal para quienes seleccionan modelos, pero no una sentencia geopolítica sobre cada proveedor. Para evaluar sistemas en mercados multilingües conviene repetir pruebas en las lenguas y contextos reales de uso, revisar ejemplos individuales y separar el modelo base del servicio que lo distribuye. La contribución de Vals es mostrar cuánto puede cambiar la respuesta cuando cambia la situación de prueba, y dejar a la vista que una sola puntuación no resume por completo ese comportamiento.

Diccionario de la Crew

Clasificador — Modelo o sistema que asigna una categoría a un texto según criterios definidos; sus etiquetas dependen de los datos y reglas de evaluación.
Inferencia — Ejecución de un modelo ya entrenado para producir una respuesta ante una nueva entrada.

Fuentes

Vals AI Research | https://www.vals.ai/blogs/china-us-analysis
Waight et al. (2026), investigación citada por Vals AI | https://doi.org/10.1038/s41586-026-10506-7