24 september 2026

Hur mycket data en AI-modell tränats på — bit för bit

15 biljoner tokens. Det är ungefär 11 biljoner ord — mer text än du hinner läsa på 3000 livstider.

En modern AI har "läst" mer än du hinner på 3000 livstider. Inte bildligt. Rent matematiskt. Här är siffrorna.

Vad en token egentligen är

AI läser inte ord. Den läser tokens — små textbitar som en tokenizer delar upp allt i. En tumregel som OpenAI själva anger: en token är ungefär 4 tecken, eller ungefär tre fjärdedelar av ett ord. "Stockholm" kan bli en token, "fotbollsmatch" blir två. Det låter tekniskt, men det är måttet som allt mäts i — både träningsdata och pris.

15 biljoner tokens

Meta tränade sin modell Llama 3 på över 15 biljoner tokens (15 000 000 000 000). Räkna om till ord: gånger 0,75 blir det ungefär 11 biljoner ord. Det är inte en uppskattning från någon blogg — det är siffran Meta publicerat själva.

Vad det betyder i praktiken

En genomsnittlig läsare klarar ungefär 250 ord i minuten. Läser du 8 timmar om dagen, varje dag, i 80 år, hinner du med ungefär 3,5 miljarder ord. Det låter mycket. Det är en tusendel av vad Llama 3 tränats på. Eller böcker: räknar man 90 000 ord per bok blir 11 biljoner ord ungefär 125 miljoner böcker.

Det har exploderat på fem år

År 2020 tränades GPT-3 på 300 miljarder tokens — den gången var det en rekordsiffra. Dagens modeller tränas på 50 gånger mer. Varför? För att språkmodeller fortsätter bli bättre ju mer data de får. Forskningen visar att prestandan stiger log-linjärt — varje fördubbling av data ger stadigt bättre resultat.

Var kommer allt ifrån?

Det mesta kommer från den öppna webben. Common Crawl är ett projekt som regelbundet laddar ner stora delar av internet. Redan till GPT-3 använde OpenAI 41 månatliga versioner av Common Crawl: 45 terabyte komprimerad text — som efter rensning blev 570 gigabyte och ungefär 400 miljarder tokens. Där ligger miljontals webbplatser, forum, böcker och Wikipedia.

Slutsats

En AI-modell är i grunden en sammanfattning av en ofattbar mängd mänsklig text — 15 biljoner tokens, 11 biljoner ord, 125 miljoner böcker. Nästa gång du ställer en fråga och får ett svar på en sekund: det är vad den bygger på.

Källor: Meta — "Introducing Meta Llama 3" (Llama 3 förtränad på över 15T tokens, ai.meta.com). Brown et al. 2020, "Language Models are Few-Shot Learners" (GPT-3 tränad på 300 miljarder tokens; Common Crawl 45 TB komprimerad text, 570 GB efter filtrering ≈ 400 mdr tokens, arXiv:2005.14165). OpenAI Help Center — "What are tokens and how to count them" (1 token ≈ 4 tecken ≈ ¾ ord).