Naar de inhoud

Start hierLerenGratis e-mailcursusAI voor je beroepPlaygroundAI-WerkplaatsAI-geletterdheid voor organisaties
PromptsWorkflowsToolsVeiligheidBegrippenBlog
Mijn dashboard
↑↓ kiezenEnter openenCtrlK overal openenEsc sluiten

Begrip, basis

Token

Een token is een stukje tekst, vaak een deel van een woord, waarin een taalmodel tekst opdeelt om het te kunnen verwerken. Prijs, snelheid en limieten van AI-diensten worden meestal in tokens gemeten.

Een model leest geen woorden maar tokens. Een tokenizer knipt tekst in stukjes die het model kent. Korte, veelgebruikte woorden zijn vaak één token; lange of zeldzame woorden worden in meerdere stukjes geknipt. Ook spaties, leestekens en cijfers tellen mee. Nederlandse tekst kost daardoor meestal iets meer tokens dan dezelfde tekst in het Engels, omdat de meeste tokenizers vooral op Engels zijn afgestemd.

Tokens bepalen drie dingen. De prijs: bij betaalde AI via een API betaal je per token, zowel voor wat je erin stopt (input) als voor wat eruit komt (output), en output is meestal duurder. De limiet: het contextvenster wordt in tokens gemeten. En de snelheid: een model schrijft token voor token, dus een lang antwoord duurt langer.

Stel dat je een automatisering bouwt die elke binnenkomende klantmail samenvat. Stuur je bij elke mail ook de hele voorgaande correspondentie en een lange instructie mee, dan betaal je daar elke keer voor. Door alleen de laatste mail en een korte, vaste instructie mee te sturen, daalt het aantal tokens per verzoek flink, en daarmee de kosten.

Een veelgehoord misverstand is dat een token gelijk is aan een woord. Dat klopt alleen bij benadering. Een ander misverstand is dat je met een chat-abonnement niets met tokens te maken hebt: ook daar gelden limieten, zoals een maximum aan berichten of aan de lengte van wat je uploadt, en die zijn onder de motorkap in tokens uitgedrukt. Dat het model woorden in stukjes ziet, verklaart ook waarom het soms moeite heeft met letters tellen of woorden achterstevoren schrijven.