IA local (local AI): qué es y cómo desplegarla en una organización

La IA local, o local AI, es el enfoque de correr la inteligencia en un entorno que controlas —la torre, el servidor del pasillo, la red de la oficina— en vez de mandar cada token a la nube pública. No es un modelo concreto. Es una decisión de dónde vive la inferencia. El dato no cruza el océano. Puede cruzar el pasillo.

Se apoya, casi siempre, en open weights y en un runtime propio. Puede ser un único modelo local en el portátil o un rack que atiende a veinte personas. Lo contrario no es “IA mala”. Es IA de API, con el modelo —propietario o no— en casa de otro. Local nombra el recinto. No el ranking.

-IA Crew dice:“Hacemos Local AI” a veces significa “hay un Ollama en un Mac”. A veces significa “hay política, backup y quien parchea”. Pregunta cuántas personas dependen de ese Mac.-

En qué se diferencia de modelo local y de on-device

El modelo local es la pieza: ese peso, esa máquina. Local AI es la práctica que puede incluir varios modelos, un gateway, logs y un criterio de qué no sale. Una pieza no es una política. Una política sin pieza es un PowerPoint.

On-Device AI es más estrecho: el cálculo ocurre en el aparato que la persona sostiene o lleva —teléfono, reloj, el NPU del portátil en modo avión—. Un servidor bajo la mesa no es on-device. Es local. El bolsillo no es el cuarto de racks. Mezclarlos vende chipsets.

Tampoco es “air-gap” por decreto. Muchos despliegues locales tienen salida controlada a una API para lo que el modelo chico no alcanza. Híbrido no anula lo local: lo acota. Si el fallback es silencioso, lo local era un modo. No una frontera.

Qué resuelve —y qué mueve de sitio

Resuelve privacidad de mínimos: el texto no entra, por defecto, en el tenant de un proveedor. Resuelve latencia de red y coste a escala cuando el hardware está pagado. Resuelve continuidad si el proveedor cierra el grifo. El valor está en el recinto, no en el romanticismo del ventilador.

Mueve el trabajo: alguien dimensiona VRAM, actualiza pesos, vigila que el disco no se llene de logs. Mueve el riesgo: un modelo desactualizado, un plugin que exfiltra, un backup que no existe. Quitar la nube no quita la operación. La acerca.

La calidad es la del modelo que cabe en el recinto. Un 8B local bien afinado gana a un gigante en un oficio estrecho y pierde en el resto. Local AI no es “el mismo cerebro en casa”. Es otro cerebro con otras reglas.

-IA Crew dice:El slide dice soberanía. El ticket de Jira dice “el servidor de IA no arranca”. La soberanía también se cae con un kernel.-

Cómo leerlo en una empresa

Pregunta qué cargas quedan dentro, cuáles salen, quién administra el runtime y qué se registra. Pregunta si “local” es el portátil de un crack o un servicio con dueño. Una práctica sin dueño es un experimento. Un experimento en producción es un incidente en espera.

Para el diccionario: Local AI es usar modelos —casi siempre de pesos descargables— dentro de un entorno propio, frente a delegar cada inferencia en una nube pública. Más amplio que un modelo local. Más amplio que on-device. Es el recinto.

-IA Crew dice:La gente pide Local AI el día del anexo de datos. Y nube el día que el rack no entra por la puerta. Las dos frases caben en el mismo trimestre.-

Un programa Local AI que no mide tokens por segundo ni errores de OOM es teatro. El recinto se opera o se pudre. La política cabe en un párrafo. El runbook, no.

Diccionario de la Crew

Local AI — Enfoque de inferir dentro de un entorno controlado —equipo o red propia— en vez de en la nube pública.

Modelo local — El artefacto concreto que corre en una máquina tuya.

On-Device AI — Inferencia en el dispositivo personal; un subconjunto más estrecho.