Segment textual (token)
En intel·ligència artificial, un token (en català, segment textual) és la unitat mínima en què un model divideix un text per poder processar-lo. És la «moneda» amb què treballen els models de llenguatge.
Què és un token?
Quan escrius una frase a un model d’IA, aquest no la llegeix tal com ho fem nosaltres. La parteix en fragments anomenats tokens, que poden ser una paraula sencera, un tros de paraula o un signe de puntuació. Després converteix cada token en números, que és l’únic que una màquina sap processar de debò.
Per què són importants?
- El cost de moltes eines d’IA es calcula per tokens consumits
- La quantitat de text que un model pot tenir en compte de cop (la finestra de context) es mesura en tokens
- Com més tokens, més temps i més recursos de càlcul
Un exemple senzill
Una paraula curta i freqüent com «casa» sol ser un sol token. En canvi, una de llarga com «intel·ligència» es pot dividir en diversos. Com a regla aproximada, un token equival a una paraula curta o a una part d’una de llarga, però el nombre exacte depèn del model i de l’idioma.