Token

Je tikt een lange prompt in ChatGPT en krijgt plots de melding dat je tokenlimiet bereikt is. Tegelijk vraagt je bank een digipass-code, en je developer heeft het over een JWT in de API. Drie keer hetzelfde woord, drie totaal andere betekenissen.

Hieronder ontrafelen we wat een token precies is in elke context: AI, authenticatie, blockchain en betalingen. Zo weet je meteen welke variant op jou van toepassing is.

Waarom het woord token zo verwarrend is

Een token is in essentie altijd hetzelfde idee: een klein stukje data dat iets anders voorstelt. Een toegangsbewijs, een fragment, een vervanger. Maar wat dat ‘iets’ is, hangt af van het domein waarin je werkt.

In AI is het een tekstfragment, in IT-beveiliging een sleutel, in crypto een digitaal bezit, in betalingen een vervanger voor je kaartnummer. De verwarring ontstaat omdat dezelfde term voor compleet andere technologie wordt gebruikt.

Een token in AI en LLM’s

Wanneer je werkt met taalmodellen zoals GPT, Claude of Gemini, is een token een stukje tekst. Geen letter, geen volledig woord, maar iets daartussenin. Het woord ’tokenisatie’ wordt bijvoorbeeld opgesplitst in ’token’ en ‘isatie’.

Modellen rekenen alles in tokens: invoer, uitvoer en context. De zogenaamde context window bepaalt hoeveel tokens een model tegelijk kan verwerken. Hoe groter dat venster, hoe meer informatie je in één gesprek kwijt kan.

• 1 token ≈ 4 tekens of 0,75 woord in het Nederlands
• Een pagina tekst is ongeveer 500 tokens
• API-providers rekenen per 1.000 tokens af

Lees ook: hoe een Large Language Model met tokens werkt

Een token als beveiligingssleutel

In IT-beveiliging is een token een digitaal identificatiemiddel. Het bewijst dat jij toegang hebt tot een systeem, zonder dat je telkens je wachtwoord opnieuw moet invoeren. Denk aan de digipass van je bank, of de code die een authenticator-app genereert.

Bij API’s en webapplicaties werken ontwikkelaars vaak met JWT (JSON Web Token) of bearer tokens. Na het inloggen krijgt je browser of app een token mee, dat bij elke vervolgvraag wordt meegestuurd als bewijs van je identiteit.

• Access token: kort geldig, regelt directe toegang
• Refresh token: lang geldig, vraagt nieuwe access tokens aan
• CSRF token: beschermt formulieren tegen misbruik

Het OAuth 2.0-protocol is vandaag de standaard voor token-gebaseerde authenticatie. Meer technische uitleg vind je bij MDN Web Docs over HTTP-authenticatie.

Crypto-tokens en betaal-tokens

In de blockchain-wereld is een token een digitaal actief dat bestaat op een bestaande blockchain, zoals Ethereum. In tegenstelling tot een coin (zoals bitcoin) heeft een token meestal geen eigen netwerk. Je hebt utility tokens, governance tokens, security tokens en NFT’s, elk met een eigen functie.

In betaalverkeer betekent tokenisatie iets anders: je echte kaartnummer wordt vervangen door een willekeurige code. Wanneer je met Apple Pay of Google Pay betaalt, krijgt de winkelier nooit je echte gegevens te zien. Lekt die code? Dan is hij waardeloos buiten dat ene apparaat.

Welke token-betekenis is voor jou relevant?

Bouw je AI-toepassingen of werk je met prompts? Dan tellen tokens als verbruikseenheid. Beheer je een webapplicatie of webshop? Dan draait alles om beveiligingstokens en sessies. Beleg je in crypto, of integreer je betalingen? Dan zit je in de wereld van blockchain- of betaal-tokens.

Kom je het woord token tegen en weet je niet welke variant bedoeld is? Kijk naar het domein: AI-tool, login-flow, blockchain of kassa. De context wijst je elke keer in de juiste richting.