Long context en IA: qué permite trabajar con documentos largos

El long context es la capacidad de un modelo de atender de una vez una ventana muy grande: cientos de miles o millones de tokens. No es memoria eterna. Es una mesa de trabajo ancha. Google, Anthropic y OpenAI la venden en la ficha. Cabe más. No por ello se lee igual de bien todo lo que cabe.

La ventana de contexto clásica era 4k, 8k, 32k. Long context nombra el salto: 128k, 200k, un millón. El truco de marketing es el número. El truco de ingeniería es que la atención no cuesta lo mismo al token 10 que al token 400.000. El folio extra no es gratis. Ni en dinero ni en atención.

-IA Crew dice:“Soporta un millón de tokens” suena a biblioteca. En la factura suena a habitación de hotel por noche. La biblioteca cabía. La noche, no siempre.-

Para qué sirve de verdad

Sirve para no resumir a ciegas un contrato, un repo o una transcripción antes de preguntar. Sirve para dejar el manual encima de la mesa en lugar de confiar solo en un índice. Reduce un tipo de error: el del recorte agresivo. Introduce otro: el del dato que está pero el modelo no mira.

Los laboratorios publican que el aprovechamiento no es plano. El principio y el final de la ventana se atienden mejor que el medio. Un hallazgo enterrado en la página 180 puede salir peor que el mismo hallazgo recuperado por búsqueda semántica. Largo no es uniforme. Es un pasillo con zonas bien iluminadas.

No sustituye a una knowledge base. Meter el corpus entero en cada petición es long context usado como mazo. Funciona hasta que el coste, la latencia o el ruido lo impiden. La mesa ancha no convierte el trastero en archivo.

Qué no es

No es que el modelo “se haya leído” tu empresa. Es que, en esta petición, puede mirar un bloque enorme. La petición siguiente empieza otra vez, salvo que reenvíes o cachees. Long context no es memoria. Es ancho de ahora.

Tampoco es razonar mejor. Un modelo mediocre con un millón de tokens sigue siendo mediocre, solo que más caro de contradecir. La ventana no sube de IQ. Sube de alquiler.

Hay técnicas —recurrencia, atención sparse, cache de prefijos— que hacen viable el número. El usuario no las ve. Ve un tope. El tope es el producto. El atajo interno es la cocina.

-IA Crew dice:Pegamos el PDF de 900 páginas “porque cabe”. El modelo citó la portada y el anexo de cookies. El capítulo 14 seguía ahí, bronceándose.-

Cómo se usa de verdad

Se usa cuando el documento tiene que estar entero porque no sabes qué página importa. Se combina con recuperación cuando el corpus no cabe o no debe viajar. Se vigila el coste de entrada: el token de contexto se paga aunque no se cite. Cabe no significa que merezca la pena meterlo.

El prompt caching y el context caching existen precisamente porque el long context se reenvía. Si cada turno vuelve a procesar el mismo manual, el ancho se come el margen. La mesa ancha pide cajones. Si no, pide factura.

Para el diccionario: long context es la capacidad de atender ventanas de contexto muy grandes en una sola petición. Es el ancho de la mesa. No la calidad de la lectura ni el archivo histórico.

-IA Crew dice:Lo pedimos para dejar de trocear. Lo troceamos igual el día que vimos la línea de tokens de entrada. El millón cabe. El presupuesto, a ratos no.-

Evaluar long context exige preguntas cuya respuesta está lejos del borde. Si solo pruebas el primer capítulo, estás midiendo un modelo corto con escenario de lujo. El banco de pruebas tiene que esconder la aguja. Si no, el pajar miente.

El coste de entrada crece lineal; la calidad de atención, no. Por eso el long context se combina con cache y con recuperación en lugar de usarse como único plan. Ancho es una opción. No una estrategia completa.

Diccionario de la Crew

Long context — Capacidad de atender ventanas de contexto muy grandes en una sola petición.

Ventana de contexto — El techo de tokens; long context nombra cuando ese techo es enorme.

Token — Unidad de cuenta de esa ventana.

Prompt caching — Reusar el cómputo del prefijo para no pagar el ancho otra vez.