Naar de inhoud

Start hierLerenGratis e-mailcursusAI voor je beroepPlaygroundAI-WerkplaatsAI-geletterdheid voor organisaties
PromptsWorkflowsToolsVeiligheidBegrippenBlog
Mijn dashboard
↑↓ kiezenEnter openenCtrlK overal openenEsc sluiten

Begrip, basis

Contextvenster

context window

Het contextvenster is de hoeveelheid tekst, gemeten in tokens, die een taalmodel in één keer kan meenemen: je vraag, het gesprek tot nu toe en de documenten die je toevoegt.

Een taalmodel heeft geen geheugen zoals een mens. Bij elk antwoord krijgt het opnieuw alles te zien wat in het contextvenster staat: de systeemprompt, het gesprek tot nu toe, je vraag en de documenten die je hebt toegevoegd. Alles wat buiten dat venster valt, bestaat voor het model niet. Moderne modellen hebben grote vensters, waar hele rapporten in passen.

Groter is niet altijd beter. Hoe meer ruis in het venster, hoe slechter het model de belangrijke details terugvindt. Informatie in het midden van een heel lange tekst wordt soms over het hoofd gezien. Een lang, rommelig gesprek levert daardoor vaak slechtere antwoorden op dan een nieuw gesprek met een korte samenvatting van wat ertoe doet.

Een beleidsmedewerker die een notitie van tachtig pagina's wil laten toetsen aan een nieuwe regeling, kan beter de relevante hoofdstukken en de tekst van de regeling meegeven dan het hele dossier met alle bijlagen. Wie een kennisbank met duizenden documenten heeft, krijgt die niet in het venster; daar zoekt een systeem met RAG eerst de relevante stukken op.

Veel mensen denken dat een chat-app alles onthoudt wat ze ooit hebben gezegd. Binnen één gesprek lijkt dat zo, maar bij een heel lang gesprek valt het begin er soms af of wordt het ingekort. Sommige apps hebben een apart geheugen voor voorkeuren, maar dat is iets anders dan het contextvenster. En wat je in het venster zet, gaat naar de aanbieder, dus let op vertrouwelijke gegevens.