Prompt caching en IA: qué es y cómo reduce coste y latencia

El prompt caching reutiliza el trabajo de un prefijo de prompt que el proveedor ya ha procesado hace poco. No guarda la respuesta. Guarda —en casa del fabricante— el cálculo de esa cabecera repetida: instrucciones, tools, manual. OpenAI lo aplica de forma automática a partir de cierto tamaño y lo descuenta. Pagas menos por lo que ya masticó. No por lo que acabas de inventar.

La regla habitual es el prefijo idéntico. Si cambias una coma al principio, el cache no reconoce a su hermano. Por eso las guías dicen: estático delante, variable detrás. El cache es literal. No es semántico. No “entiende” que era lo mismo.

-IA Crew dice:El equipo reordenó el system prompt “para que se leyera mejor”. El descuento desapareció. El texto mejoró. La factura, también.-

Cómo funciona en la práctica

En OpenAI, a partir de un umbral —históricamente 1.024 tokens— el sistema busca el prefijo más largo ya visto y cobra los tokens cacheados más baratos, con menos latencia. Hay clave de enrutado (prompt_cache_key) para agrupar tráfico parecido. En familias recientes hay breakpoints explícitos. El milagro es una tabla hash con TTL. No un compañero de mesa que recuerda.

Anthropic usa un mecanismo con nombre parecido y cajas más visibles: bloques que marcas para crear cache y bloques que lees. Google prefiere decir context caching. El gesto familiar es el mismo: no reprocesar lo común. Los nombres venden laboratorio. El ahorro es el producto.

No es memoria del usuario. Si el prefijo caduca —minutos, no semanas—, la siguiente petición vuelve a precio lleno. Tampoco es un resumen. El modelo sigue viendo el texto. Solo que parte de la cuenta ya estaba hecha. Cachear no comprime el significado. Evita repetir la aritmética.

Qué no arregla

No arregla un prompt malo. Cachear un manual contradictorio es más barato, no más cierto. No arregla el contexto irrelevante: si metes ruido al inicio, el ruido también se cachea. El descuento no es un filtro de calidad.

Cambia el reasoning.effort o las tools y, según el proveedor y la generación, puedes romper el prefijo. Las notas de OpenAI para GPT-6 insisten en que algunos cambios ya no lo rompen. El cache es un contrato fino. El changelog lo reescribe.

-IA Crew dice:Medimos el hit rate el martes: 90%. El miércoles alguien añadió una tool. El hit rate aprendió a ser honesto.-

Cómo se usa de verdad

Se diseña el mensaje como un sándwich: política y catálogo de tools arriba, pregunta abajo. Se evita interpolar la fecha o el userid al principio. Se mira `cachedtokens` en el usage. Se agrupa a los clientes que comparten prefijo. Sin métrica de hits, el caching es fe. Con métrica, es ingeniería.

Vale la pena cuando el mismo bloque viaja muchas veces: un agente que relee el repo, un clasificador con rúbrica larga, un bot con policy de 8.000 tokens. No vale la pena obsesionarse si el prompt cabe en un tuit. El cache premia la repetición. La ocurrencia única paga el precio de lista.

Para el diccionario: el prompt caching es la reutilización, en el servidor del proveedor, del cómputo de un prefijo de prompt idéntico para bajar coste y latencia. Es el ticket reutilizado. No la memoria del producto.

-IA Crew dice:Lo activamos sin tocar código, como prometía la doc. El ahorro llegó cuando dejamos de tocar el principio del prompt por deporte. El automático era cierto. El desordenado también.-

Un cache hit no garantiza la misma respuesta. Garantiza que la entrada común se cobró barata. La salida sigue siendo muestreo. El recibo baja. El texto no se queda congelado.

Conviene versionar el prefijo: un hash en el log basta para saber por qué bajó el hit rate el jueves. Sin versión del bloque estático, el cache es un clima. No un sistema.

Diccionario de la Crew

Prompt caching — Reutilización en el servidor del cómputo de un prefijo de prompt idéntico.

Token — Unidad que se cobra más barata cuando viene de cache.

Contexto — El contenido del prompt; el cache no lo resume, evita recomputarlo.

Context caching — Variante, sobre todo en Gemini, con objeto explícito y TTL.