Et token er den enhed, en sprogmodel deler tekst op i, når den læser og skriver. Et token kan være et helt ord, en del af et ord eller et tegn.
Korte og almindelige engelske ord er ofte ét token, mens lange danske sammensatte ord typisk bliver delt i flere. Modellen arbejder token for token: Den beregner, hvilket token der mest sandsynligt kommer efter de foregående, og skriver sig på den måde frem til et svar.
Tokens er også den enhed, der bruges til pris og grænser. Mange AI-tjenester afregner pr. token, og kontekstvinduet angiver, hvor mange tokens modellen kan arbejde med på én gang.
I praksis
Som almindelig bruger behøver man ikke tælle tokens. Men det forklarer, hvorfor meget lange dokumenter kan blive afkortet, og hvorfor modellen indimellem staver forkert til navne og fagord, den sjældent har set.
Begreberne i ordlisten går igen i mine AI-kurser og workshops, hvor vi arbejder med dem i jeres egne opgaver.