¿Qué es una ventana de contexto?

La ventana de contexto es la cantidad máxima de texto que un modelo de IA puede considerar a la vez, incluyendo tu entrada y su respuesta. Todo lo que quede fuera de ese límite es invisible para el modelo. Se mide en tokens, que son trozos de palabras y no palabras enteras.

La ventana abarca todo lo que está en juego: la conversación hasta el momento, los documentos pegados y la respuesta que se va generando. Los tamaños se expresan en tokens, unos tres cuartos de palabra cada uno en inglés, y varían muchísimo: 128.000 tokens es habitual, y algunos modelos anuncian un millón, que equivale a varias novelas largas. Cuando un chat desborda la ventana, los mensajes más antiguos caen primero, y por eso una sesión larga olvida las instrucciones dadas al principio. Las ventanas grandes también cuestan más, porque el modelo compara cada token con todos los demás, así que duplicar el texto multiplica ese trabajo por cuatro aproximadamente. Además, los modelos flojean en el medio de entradas muy largas y recuerdan mucho mejor el inicio y el final, un efecto medido que se conoce en inglés como lost in the middle.

Una pizarra en una sala de reuniones. Todo lo que el equipo necesita debe caber en ella, y cuando se llena, alguien borra la esquina más vieja para hacer sitio a notas nuevas. El plan dibujado en el minuto uno ya no está a la tercera hora, no porque alguien decidiera olvidarlo, sino porque a la pizarra se le acabó la superficie.