Andrej Karpathy heeft zojuist een van de meest "ongelimiteerde" repos die hij ooit heeft geschreven gedropt — NanoChat.
Het is een volledig van de grond af aan opgebouwd, minimaal maar compleet ChatGPT-achtig systeem dat je leert hoe je je eigen LLM kunt trainen en draaien voor minder dan $100.
Met slechts ~8 k regels schone code, dekt het alles, tokenizer (op Rust gebaseerd), voortraining op FineWeb, tussentijdse training op SmolTalk, SFT op MMLU / GSM8K / HumanEval, optionele RL via GRPO, efficiënte inferentie met KV-cache + prefill/decode, en een ChatGPT-stijl WebUI. (1/n)
Opgewonden om nieuwe repo uit te brengen: nanochat!
(het is een van de meest ongebreidelde die ik heb geschreven).
In tegenstelling tot mijn eerdere vergelijkbare repo nanoGPT, die alleen pretraining behandelde, is nanochat een minimale, vanaf nul, full-stack training/inference pipeline van een eenvoudige ChatGPT-kloon in een enkele, afhankelijkheidsminimale codebase. Je start een cloud GPU-box op, draait een enkel script en binnen slechts 4 uur later kun je met je eigen LLM praten in een ChatGPT-achtige web UI.
Het weegt ~8.000 regels imo vrij schone code om:
- De tokenizer te trainen met een nieuwe Rust-implementatie
- Een Transformer LLM voor te trainen op FineWeb, CORE-score te evalueren over een aantal metrics
- Midtrain op gesprekken tussen gebruiker en assistent van SmolTalk, meerkeuzevragen, toolgebruik.
- SFT, het chatmodel te evalueren op wereldkennis meerkeuze (ARC-E/C, MMLU), wiskunde (GSM8K), code (HumanEval)
- RL het model optioneel op GSM8K met "GRPO"
- Efficiënte inferentie van het model in een Engine met KV-cache, eenvoudige prefill/decode, toolgebruik (Python-interpreter in een lichte sandbox), erover praten via CLI of ChatGPT-achtige WebUI.
- Een enkele markdown rapportkaart schrijven, die het geheel samenvat en gamificeert.
Zelfs voor zo laag als ~$100 aan kosten (~4 uur op een 8XH100-node), kun je een kleine ChatGPT-kloon trainen waarmee je een soort van kunt praten, en die verhalen/gedichten kan schrijven, eenvoudige vragen kan beantwoorden. Ongeveer ~12 uur overschrijdt de GPT-2 CORE-metric. Naarmate je verder opschaalt naar ~$1000 (~41,6 uur training), wordt het snel veel coherenter en kan het eenvoudige wiskunde/codeproblemen oplossen en meerkeuzetests afleggen. Bijv. een diepte 30 model dat 24 uur is getraind (dit is ongeveer gelijk aan de FLOPs van GPT-3 Small 125M en 1/1000ste van GPT-3) komt in de 40s op MMLU en 70s op ARC-Easy, 20s op GSM8K, enz.
Mijn doel is om de volledige "sterke baseline" stack in één samenhangende, minimale, leesbare, hackbare, maximaal forkbare repo te krijgen. nanochat zal het kroonproject zijn van LLM101n (dat nog steeds in ontwikkeling is). Ik denk dat het ook potentieel heeft om uit te groeien tot een onderzoeksframework, of een benchmark, vergelijkbaar met nanoGPT daarvoor. Het is geenszins af, afgestemd of geoptimaliseerd (eigenlijk denk ik dat er waarschijnlijk nog best veel laaghangend fruit is), maar ik denk dat het op een plek is waar het algemene skelet goed genoeg is dat het op GitHub kan worden geplaatst waar alle onderdelen ervan kunnen worden verbeterd.
Link naar repo en een gedetailleerde walkthrough van de nanochat speedrun is in de reactie.
Je kunt een GPU opstarten, het script uitvoeren en binnen ~4 uur je eigen chatbot laten chatten.
Karpathy zegt dat het $100-model al gedichten en verhalen kan schrijven en GPT-2 op CORE kan overtreffen; $1000 brengt het dicht bij GPT-3 Small 125M FLOPs met 40 + MMLU en 70 + ARC-Easy scores.
Het doel is een verenigde, leesbare, hackbare repo die de volledige "sterke baseline pipeline" bundelt: een opvolger van nanoGPT en de ruggengraat voor zijn aankomende LLM101n-cursus.
Zelfs met een klein budget zijn de resultaten verrassend.
• $100 run (8×H100, 4 uur): verslaat GPT-2 op CORE, kan gedichten en korte verhalen schrijven.
• $1000 run (≈24 uur, GPT-3 Small 125 M FLOPs, 1/1000 schaal):
– MMLU 40 +
– ARC-Easy 70 +
– GSM8K 20 +
het is een echte onderzoeksgrade mini-pijplijn.
Toen iemand vroeg of NanoChat kon worden gebruikt om een persoonlijke LLM te trainen (op Notion-notities, gezondheidsgegevens, enz.), gooide Karpathy koud water over het idee:
"Dit is geen goede repo daarvoor... Denk aan deze micro-modellen als zeer jonge kinderen; ze missen de rauwe intelligentie van hun grotere neven."
Als je ze fijnstemt op persoonlijke gegevens, krijg je misschien "schattig herhalen" dat je schrijfstijl imiteert, maar het blijft rommel. 🪿
Waarom personalisatie moeilijk is
Om een echt gepersonaliseerd model te bouwen, moet je:
• Hoogwaardige basisgegevens voorbereiden
• Hoeveelheden synthetische gegevens genereren (complex + divers)
• Fijn afstemmen op een sterke open LLM (bijv. Tinker)
• Mogelijk grote pre-trainingsgegevens mixen om algemene intelligentie te behouden
Dat is vandaag de dag nog steeds onderzoeksniveau, geen weekendproject.
Groter geheel
Karpathy ziet NanoChat als de nieuwe nanoGPT—
een minimale maar complete structuur die kan uitgroeien tot een standaardbasis voor LLM-onderzoek, samenwerking binnen de gemeenschap en educatie.
Op dit moment is het nog niet volledig geoptimaliseerd, maar de architectuur is solide—klaar voor GitHub-bijdragers om het verder te ontwikkelen, module voor module.
4,62K
15
De inhoud op deze pagina wordt geleverd door derden. Tenzij anders vermeld, is OKX niet de auteur van het (de) geciteerde artikel(en) en claimt geen auteursrecht op de materialen. De inhoud is alleen bedoeld voor informatieve doeleinden en vertegenwoordigt niet de standpunten van OKX. Het is niet bedoeld als een goedkeuring van welke aard dan ook en mag niet worden beschouwd als beleggingsadvies of een uitnodiging tot het kopen of verkopen van digitale bezittingen. Voor zover generatieve AI wordt gebruikt om samenvattingen of andere informatie te verstrekken, kan deze door AI gegenereerde inhoud onnauwkeurig of inconsistent zijn. Lees het gelinkte artikel voor meer details en informatie. OKX is niet verantwoordelijk voor inhoud gehost op sites van een derde partij. Het bezitten van digitale activa, waaronder stablecoins en NFT's, brengt een hoge mate van risico met zich mee en de waarde van deze activa kan sterk fluctueren. Overweeg zorgvuldig of de handel in of het bezit van digitale activa geschikt voor je is in het licht van je financiële situatie.