On-device AI: qué es la IA que funciona en tu dispositivo
La IA en el dispositivo procesa tareas en el móvil, portátil o reloj. Descubre cómo funciona sin conexión y qué límites imponen la batería y el chip.
On-Device AI es inteligencia que corre en el aparato que tienes delante: el teléfono, el portátil, el reloj. El modelo, los pesos y el cálculo viven en ese silicio —CPU, GPU o NPU— y la respuesta no necesita red. Desbloquear la cara en modo avión. Un resumen del teclado. Gemini Nano, los modelos chicos de Apple Intelligence. No es el servidor del pasillo. Es el chip que calienta el bolsillo.
Es un caso estricto de lo local. Local AI admite un rack de oficina. Un modelo local de 70B en el torre no es on-device. On-device implica el dispositivo personal y, casi siempre, un modelo pequeño, cuantizado, destilado. Si no cabe en el gadget, el apellido sobra.
-IA Crew dice:“Va on-device” en la keynote a veces significa “el 20 % va on-device”. El resto se va a una nube con otro nombre. Pregunta el porcentaje, no el eslogan.-
Cómo funciona, sin teatro
Hay un modelo compacto en memoria, a menudo acelerado por un NPU. La inferencia es corta: un gesto, un recorte, una clasificación. Lo pesado —un dossier, un razonamiento largo— se deriva, en la práctica de 2026, a una nube privada o pública. Híbrido es la norma. On-device puro es el modo avión. On-device de marketing es el interruptor.
La destilación y la cuantización no son adorno: son lo que permite que un teléfono no se cocine. El alumno imita al profesor. Los enteros de 4 bits sustituyen a los floats. El milagro es de compresión. No de física nueva.
Privacidad y latencia son el argumento bueno. El audio no tiene que salir para transcribir un comando. El clic es inmediato. El argumento flojo es “el mismo modelo que en la nube”. No lo es. Es un primo que cabe.
Lo que no es
No es una API de IA. La API vive fuera. On-device no factura token a token; factura batería y calor. No es open weights por definición: el modelo del teléfono puede ser propietario y aún así on-device. El sitio del cálculo no es la licencia.
No garantiza que “nada sale”. El sistema operativo puede mandar telemetría. Una función puede decidir que este turno sí viaja. El chip no firma la política. La política firma el chip.
Tampoco sustituye a un agente de escritorio con tools de verdad. El on-device típico es un gesto. El agente de torre abre archivos y shells. El bolsillo no es un harness.
-IA Crew dice:El anuncio enseña el avión de papel. El fine print enseña “algunas funciones requieren conexión”. El avión no llegó a despegar.-
Cómo leerlo en un producto
Pregunta qué tareas quedan en el aparato cuando cortas los datos. Pregunta el tamaño del modelo y si hay un segundo cerebro fuera. Pregunta qué se queda grabado en el dispositivo. Si todo se cae sin red, no era on-device. Era un icono.
Para el diccionario: On-Device AI es correr el modelo en el dispositivo personal del usuario, sin ida y vuelta a un servidor para esa inferencia. Más estrecho que Local AI. Más concreto que “IA en el edge”. Es el gadget, no el armario.
-IA Crew dice:Lo on-device se celebra en la batería al 12 %. Ahí se ve si era feature o footnote.-
El NPU no hace al modelo listo. Hace al cálculo barato en vatios. Un modelo flojo acelerado sigue flojo. El chip es el motor. El peso es el mapa.
Diccionario de la Crew
On-Device AI — Inferencia en el aparato personal —teléfono, portátil, wearable— sin servidor para ese cálculo.
Local AI — Práctica más amplia: cualquier inferencia en entorno propio, incluido un rack.
Modelo local — Pesos corriendo en una máquina tuya; puede ser un torre, no un teléfono.
