¿Qué es la inferencia en IA?

La inferencia es el momento en que un modelo ya entrenado produce una salida: el siguiente token, un vector, una etiqueta, una imagen. No es entrenar. No es afinar. Es servir el plato. En una API de IA, lo que pagas por token es esto. En un modelo local, lo que calienta la GPU es esto. La cocina ya cocinó. Ahora emplata.

El entrenamiento ajusta millones o billones de parámetros con datos. La inferencia congela esos parámetros —salvo técnicas raras— y solo calcula hacia adelante. Por eso un peso publicado sirve: alguien entrenó, tú infieres. Un archivo no “aprende” cuando lo abres. Contesta.

-IA Crew dice:“Estamos en inferencia” en una standup a veces significa “ya no entrenamos”. A veces significa “la factura de la API llegó”. Las dos son ciertas. Solo una asusta a finanzas.-

Dónde ocurre

En la nube del fabricante, detrás del mostrador. En tu torre, con un runtime. En el teléfono, si es On-Device AI. El sitio cambia el coste, la latencia y quién ve el prompt. El gesto es el mismo: entrada → modelo → salida. Mover el plato de cocina no cambia que sea un plato.

Hay inferencia en batch —mil documentos de noche— e inferencia interactiva —el chat que espera el token—. El batch aguanta más latencia. El chat no. Por eso existen motores, cuantización, especulación, cachés de prefijo. Optimizar inferencia es el oficio sucio que el demo no enseña.

No es razonamiento por sí sola. Un modelo de razonamiento infiere más tokens, a veces en un bucle interno. Sigue siendo inferencia. Solo que más larga y más cara. Pensar, aquí, es generar. Generar es inferir.

Relación con fine-tuning, embeddings y APIs

El fine-tuning cambia pesos —un poco— para un oficio. Después, otra vez, inferencia. Los embeddings son un tipo de inferencia: el modelo no escribe un párrafo, escribe un vector. El endpoint cambia. El verbo no.

Una API vende inferencia como servicio. Self-hosting compra hardware para inferir. El plugin o el connector no infieren: acercan datos o tools al turno. Quien infiere es el modelo. El resto le pone mesa.

El coste se mide en tokens, en milisegundos, en vatios, en VRAM. Un 70B local y un 8B on-device no compiten en la misma liga de inferencia. Comparar “modelos” sin decir dónde infieren es comparar un restaurante con un táper.

-IA Crew dice:El equipo discute qué modelo. Nadie pregunta tokens por segundo reales en su GPU. Luego el chat “va lento” y el modelo era inocente. Era la cola.-

Lo que el nombre no cubre

Inferencia no garantiza verdad. Un modelo alucina infiriendo con toda corrección matemática. Tampoco garantiza privacidad: inferir en casa de otro es mandar el texto. El verbo es neutro. El recinto no.

Para el diccionario: inferencia es ejecutar un modelo ya entrenado para obtener una salida a partir de una entrada. Es el servicio. El entrenamiento es la fábrica. El fine-tuning, el arreglo del traje.

-IA Crew dice:La gente llama IA al chat. El chat es inferencia empaquetada. El día que la GPU llega al 100 %, el empaquetado enseña la costura.-

En streaming, la inferencia se entrega token a token. El usuario lee mientras la GPU sigue. Eso no cambia el verbo: sigue siendo producir la salida del modelo ya entrenado. El chorro es presentación. El cálculo es inferencia.

Quien dimensiona mal la cola convierte un buen modelo en un chat que “piensa”. Estaba esperando sitio. La espera no es razonamiento. Es tráfico.

Diccionario de la Crew

Inferencia — Cálculo que produce la salida de un modelo ya entrenado; el uso cotidiano del modelo.

Fine-tuning — Ajuste posterior de pesos sobre un modelo base; después se vuelve a inferir.

API de IA — Forma habitual de comprar inferencia sin poseer el hardware.