Das Kontextfenster ist die maximale Menge an Informationen, die ein großes Sprachmodell (Large Language Model, LLM) bei einer einzigen Anfrage berücksichtigen kann. Gemessen wird es in Token, das sind Texteinheiten wie Wörter, Wortteile, Zahlen oder Satzzeichen. Aktuelle Modelle verarbeiten mehrere Hunderttausend bis über eine Million Token und damit mehrere hundert Seiten Text. Belegt wird das Fenster nicht nur durch das Dokument. Es enthält auch die Anfrage, die verdeckten Grundregeln des Modellanbieters (System-Prompts), den bisherigen Gesprächsverlauf, bei Systemen mit Wissensdatenbank (Retrieval-Augmented Generation, RAG) die gefundenen Textstellen und die erzeugte Antwort. Informationen außerhalb des Fensters kann das Modell nicht direkt einbeziehen. Mehr Kontext ist nicht automatisch besser: Mit wachsender Token-Zahl kann die Genauigkeit wieder sinken (Lost-in-the-Middle-Effekt), außerdem steigen Rechenaufwand, Kosten pro Anfrage und Antwortzeit. Für Banken und Versicherer, die KI auf Verträge, Akten oder Richtlinien ansetzen, lohnt vor dem Einsatz eine einfache Prüfung: Passt das Material samt Anfrage und Antwort ins Fenster, und welche Textstellen braucht das Modell tatsächlich?