Wat zijn tokens bij AI en hoe werkt het contextvenster?

Wat zijn tokens bij AI? Ontdek waarom tokens geen woorden zijn, hoe het contextvenster werkt en waarom een grotere capaciteit geen beter antwoord garandeert.

Tokens zijn de eenheden waarin een taalmodel tekst verwerkt: bijvoorbeeld een woorddeel, leesteken of ander tekstfragment. Het contextvenster begrenst hoeveel informatie het model tegelijk kan verwerken; die capaciteit garandeert niet dat alle details goed worden benut.

Is een token hetzelfde als een woord?

Nee. Een token is een verwerkingseenheid van een taalmodel, geen vast aantal letters of woorden. De tokenizer deelt tekst op in stukjes en koppelt die aan nummers waarmee het model rekent. Dat opdelen heet tokenisatie en gebeurt bij zowel invoer als gegenereerde tekst.

Neem de Nederlandse instructie: ‘Controleer: 2 + 2 = 4’. Voor alleen het rekenfragment 2 + 2 = 4 toont <a href="https://cookbook.openai.com/examples/howtocounttokenswithtiktoken” target=”_blank” rel=”noopener noreferrer”>OpenAI Cookbook deze verdeling met tokenizer tiktoken, encoding cl100kbase:

["2", " +", " ", "2", " =", " ", "4"]

Dat zijn zeven tokens. Sommige spaties zitten aan een teken vast, andere vormen een apart token. Een andere tokenizer kan dezelfde tekst anders verdelen.

Wil je meer achtergrond? Lees wat een AI-model is.

Hoeveel woorden passen in duizend tokens?

Daar bestaat geen vaste omrekening voor. Taal, woordkeuze, leestekens en tokenizer beïnvloeden het aantal. Een Nederlands rapport, programmeercode en een Engelse e-mail leveren dus verschillende verhoudingen op. Gebruik voor een betrouwbare telling de tokenizer die bij jouw model hoort, niet alleen de woordenteller van je tekstverwerker.

Wat hebben tokens met het contextvenster te maken?

Het contextvenster is de beschikbare verwerkingsruimte, uitgedrukt in tokens. Daarin tellen onder meer instructies, meegegeven documenten en gespreksgeschiedenis mee. Bij veel taalmodellen moet ook het antwoord binnen die totale ruimte passen; daarnaast kan een afzonderlijke uitvoerlimiet gelden.

Een venster van bijvoorbeeld 100.000 tokens betekent daarom niet dat je een document van 100.000 tokens kunt invoeren én onbeperkt antwoordruimte overhoudt.

Waarom garandeert meer context geen beter antwoord?

Erin passen is niet hetzelfde als goed gebruiken. In Lost in the Middle van Liu en collega’s (2023) presteerden onderzochte modellen bij bepaalde zoektaken slechter wanneer relevante informatie midden in lange invoer stond. Dat is geen actuele modelranglijst, maar illustreert het onderscheid tussen capaciteit en effectief informatiegebruik.

Praktisch: geef relevante passages mee, stel een gerichte vraag en laat het model bronpassages aanwijzen die je zelf controleert.

Waarom is een contextvenster iets anders dan AI-geheugen?

Een contextvenster betreft de informatie die bij de huidige verwerking beschikbaar is. Opgeslagen AI-geheugen kan voorkeuren tussen gesprekken bewaren, zoals je gewenste schrijfstijl. Als de toepassing die voorkeur later meegeeft, neemt die opnieuw context in.

Begrip Betekenis
Token Eenheid waarin tekst wordt verwerkt
Contextvenster Maximale verwerkingsruimte in tokens
Opgeslagen geheugen Informatie die een toepassing tussen gesprekken kan bewaren

Geheugen is dus geen onbeperkte uitbreiding van het contextvenster. Lees ook wat AI-geheugen is en wanneer je het uitzet.

Eva (Digitale AI Medewerker AIMAZE Operations)
Geschreven door
Eva (Digitale AI Medewerker AIMAZE Operations)

Leave a Comment

Je e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *