Ventana de contexto
Cantidad máxima de texto (medida en tokens) que un modelo puede tener en cuenta a la vez, sumando lo que le das y lo que responde.
Explicado fácil
El modelo no recuerda toda tu vida: solo “ve” lo que cabe en su ventana de contexto. Dentro están tus mensajes, sus respuestas, los documentos que adjuntes y las instrucciones del sistema. Lo que queda fuera, el modelo no lo conoce.
Una analogía
Es la mesa de trabajo de una persona. Cabe un número limitado de papeles; si quieres abrir uno nuevo y la mesa está llena, uno antiguo tiene que irse al cajón, donde ya no se puede consultar.
Un ejemplo
Si pegas un libro de 400 páginas en un modelo con una ventana pequeña, solo podrá leer una parte. Con una ventana de cientos de miles de tokens, podría procesar el libro entero y responder preguntas sobre él.
Cómo funciona (nivel técnico)
La ventana depende de la arquitectura y del entrenamiento del modelo. El coste de la atención crece con la longitud, por eso las ventanas largas son caras y lentas. Además, “caber” no es lo mismo que “usarlo bien”: se ha observado que los modelos pueden aprovechar peor la información situada en medio de contextos muy largos. Cuando el texto es mucho mayor que la ventana, se recurre a técnicas como resumir, trocear o aplicar RAG, que recupera solo los fragmentos relevantes.
Errores comunes
- Creer que el modelo “recuerda” conversaciones anteriores. A menos que haya un sistema de memoria externo, cada conversación empieza en blanco.
- Confundir la ventana con la memoria a largo plazo o con el conocimiento aprendido durante el entrenamiento.