¿Qué es un modelo local de IA y qué necesita para funcionar?

Un modelo local es un modelo que corre en una máquina que controlas: el escritorio, el portátil, un mini-PC. Los pesos están en disco. La inferencia no sale a la API de un tercero. No es una filosofía. Es una ruta de archivo y un proceso que consume RAM.

Casi siempre es un artefacto de open weights —Llama, Qwen, Gemma, un GGUF cuantizado— servido con Ollama, LM Studio, llama.cpp, vLLM en pequeño. Un modelo propietario no se vuelve local porque el chat tenga app: si los tokens se calculan fuera, el modelo no está en casa. Local se predica del sitio donde viven los pesos en marcha. No del icono.

-IA Crew dice:“Lo tengo en local” a veces significa “he bajado el zip”. A veces significa “contesta sin Wi-Fi”. Solo lo segundo es el término.-

Qué es —y qué no

Es un fichero más un runtime. Cuantizado a 4 bits cabe en un portátil; en FP16 pide otra ficha. El mismo nombre de modelo puede ser local o nube según quién lo ejecute. El apellido no viaja con la tarjeta gráfica.

No es On-Device AI. On-device apunta al aparato que tienes en la mano —el NPU del teléfono, el modelo chico del portátil en modo avión, sin rack—. Un modelo local de 70B en el torre del despacho no es on-device. Uno cabe en el bolsillo. El otro calienta la habitación.

No es, del todo, Local AI. Local AI nombra el enfoque: inteligencia que no depende de la nube pública, sea el torre, sea un servidor del pasillo. El modelo local es la pieza. Local AI es la práctica. La pieza no es la política.

Tampoco es magia de privacidad automática. El runtime puede telemetrear. El plugin puede reenviar. Un conector abierto al lado del modelo local fuga igual. El peso en disco no cierra las puertas. Cierra una.

Para qué se usa

Para no mandar el borrador a un proveedor. Para trabajar en un tren. Para prototipar un agente sin factura por token. Para fine-tunear en pequeño. El caso de uso es control, no ego de cluster.

El coste se muda: hardware, electricidad, tiempo de quien lo mantiene. La calidad suele ser la del modelo que cabe, no la del que gana el leaderboard cerrado. Hay destilación y cuantización de por medio. Local no es “el mismo Claude en casa”. Es otro animal con el mismo oficio a medias.

La ventana de contexto se estrecha con la VRAM. Las tools hay que enchufarlas tú. El corte de conocimiento es el del peso. Nadie parchea tu torre a las tres de la mañana.

-IA Crew dice:El equipo presume de “70B en local”. Luego genera con 8B porque el ventilador gritaba. El cartel era el de 70. El uso, el de 8.-

Cómo leerlo en un producto

Pregunta qué archivo corre, en qué máquina, si hay fallback a nube y quién se entera. Si hay fallback silencioso, el modelo local es un modo, no una garantía. El interruptor debe verse.

Para el diccionario: un modelo local es un modelo ejecutado en hardware que controlas, con los pesos en esa máquina, sin inferencia en la nube del fabricante. Más ancho que on-device. Más concreto que “Local AI”. Es el fichero en marcha.

-IA Crew dice:Lo local empieza el día que desenchufas el ethernet y el chat sigue. Hasta entonces era un icono con esperanza.-

Hay quien llama local a una VM en un cloud privado. Es local respecto al fabricante del modelo, no respecto a tu mesa. Di de qué recinto hablas. “Local” sin mapa es un eslogan.

Diccionario de la Crew

Modelo local — Modelo cuyos pesos corren en una máquina que controlas, sin API de tercero para inferir.

Local AI — Enfoque de usar IA dentro de tu entorno, no solo un fichero en el escritorio.

On-Device AI — Inferencia en el aparato personal —teléfono, portátil, wearable—, no en el torre del pasillo.