¿Qué es un token en IA?

¿Qué es un token en IA?

Cuando le preguntas a una IA algo como "¿Qué tiempo hace mañana?", el modelo no lee esas palabras tal como las escribes. Antes las convierte en tokens, pequeñas unidades de texto que son la verdadera moneda de entrada del sistema. Un token puede representar una palabra entera ("manzana"), una parte de una palabra, un signo de puntuación o incluso un carácter. La división exacta depende del tokenizer utilizado, así que una misma palabra puede dividirse de forma diferente según el modelo.

-IA Crew dice: O sea que cuando le pides algo a ChatGPT, no le estás enviando texto, le estás mandando un listado de trozos de texto. Como si en vez de cartas escribieras en bloques de Lego.

Cuántos caben de golpe

La cifra que suele importar es la ventana de contexto: cuántos tokens puede manejar el modelo de golpe durante una ejecución. Según el modelo, una ventana de contexto puede ir desde decenas de miles hasta cientos de miles o incluso millones de tokens. Como referencia, distintos modelos comerciales han ofrecido ventanas desde 128.000 hasta más de un millón de tokens. Pero contexto no es lo mismo que memoria: la ventana de contexto no es memoria a largo plazo. Es la cantidad de información que el modelo puede manejar activamente durante una ejecución. Aplicaciones como ChatGPT o algunos agentes pueden mantener conversaciones, resumir contenido anterior o recuperar recuerdos y documentos, pero esos sistemas gestionan qué información vuelve a entrar en el contexto del modelo.

-IA Crew dice: La ventana de contexto es como la memoria RAM de tu ordenador mientras trabajas: cuanto más grande, más cosas puedes tener abiertas a la vez. Pero cuando apagas el equipo, se borra todo salvo que hayas guardado explícitamente lo importante.

El precio de cada pregunta

Los tokens también determinan el coste. Los proveedores cobran por tokens de entrada y de salida. No es mucho para una conversación corta, pero si automatizas procesos con miles de documentos, la factura crece rápido. Un documento largo puede representar decenas de miles de tokens de entrada y, si procesas cientos o miles de documentos, el coste acumulado empieza a importar. Por eso existen herramientas como tiktoken, para modelos de OpenAI, que permiten estimar cuántos tokens tendrá un texto antes de enviarlo a la API.

Más allá del precio, los tokens condicionan lo que puedes pedir. Si intentas meter en una sola consulta un PDF largo o un código extenso, te puedes quedar corto de contexto sin darte cuenta. Y los modelos locales también pueden ofrecer ventanas muy grandes, aunque usar todo ese contexto aumenta considerablemente el consumo de RAM/VRAM y el tiempo de procesamiento.

Diferentes idiomas, diferente cuenta

El mismo contenido puede requerir distintos números de tokens según el idioma y el tokenizer. Históricamente, muchos tokenizers eran más eficientes con inglés porque estaba especialmente representado en sus datos, aunque los modelos modernos han reducido bastante esa diferencia. No existe una regla universal: hay que medirlo con el tokenizer concreto del modelo. Lo que sí es cierto es que el diseño del tokenizer influye directamente en cuántos tokens genera un texto dado, por lo que comparar facturas entre plataformas requiere tener en cuenta estas diferencias.

-IA Crew dice: Es como medir el mismo objeto con reglas que tienen divisiones diferentes: el objeto no cambia, pero cada regla puede darte un número distinto de unidades. Esa es la diferencia entre un tokenizer y otro.

Tokens que no ves

Algunos modelos de razonamiento utilizan también tokens de razonamiento internos antes de generar la respuesta. Esos tokens no tienen por qué aparecer en el texto que recibes, pero forman parte del procesamiento y pueden contar para el consumo de la API. OpenAI distingue explícitamente input tokens, cached input tokens, output tokens y reasoning tokens. Por eso una respuesta aparentemente corta puede haber utilizado más tokens de los que ves en pantalla. Si trabajas con APIs, vigila esa línea en tus facturas: el coste visible no siempre refleja el uso total.

Tokens en la práctica

Para quien programa, la cuenta de tokens es una variable más del diseño. Un LLM con gran ventana de contexto no siempre es mejor: procesar más tokens consume más tiempo y más dinero. Muchos sistemas de agentes gestionan conversaciones largas resumiendo información, recuperando lo relevante o descartando partes antiguas del contexto. Elige bien qué envías, porque cada fragmento tiene un precio. Y si la respuesta se genera por streaming, la respuesta va llegando en pequeños fragmentos mientras el modelo la genera, sin que haya una correspondencia visual entre cada fragmento mostrado y un token concreto.

Diccionario de la Crew

Token — Unidad básica en la que un modelo de lenguaje divide y procesa el texto. Puede representar una palabra completa, una parte de una palabra, un carácter o un signo de puntuación.

LLM — Large Language Model. Modelo de lenguaje de gran tamaño, entrenado con miles de millones de parámetros para generar texto.

Contexto — En IA, la ventana de contexto es el conjunto máximo de tokens que un modelo puede considerar en una sola ejecución. No es memoria a largo plazo: cada nueva interacción depende de los sistemas externos que gestionan qué información vuelve a entrar en ese límite.