Andrej Karpathy tocmai a lansat unul dintre cele mai "dezechilibrate" repo-uri pe care le-a scris vreodată – NanoChat.
Este un sistem de la zero, minimal, dar complet, asemănător ChatGPT, care vă învață cum să vă antrenați și să vă conduceți propriul LLM pentru mai puțin de 100 USD.
Cu doar ~8 mii de linii de cod curat, acoperă totul, tokenizer (bazat pe Rust), pre-antrenament pe FineWeb, mid-train pe SmolTalk, SFT pe MMLU / GSM8K / HumanEval, RL opțional prin GRPO, inferență eficientă cu cache KV + precompletare / decodare și o interfață web în stil ChatGPT. (1/n)
Încântat să lansăm un nou depozit: nanochat!
(este printre cele mai dezechilibrate pe care le-am scris).
Spre deosebire de depozitul meu similar anterior nanoGPT, care a acoperit doar preantrenamentul, nanochat este o conductă minimă, de la zero, completă de antrenament/inferență a unei simple clone ChatGPT într-o singură bază de cod cu dependență minimă. Porniți o cutie GPU în cloud, rulați un singur script și în doar 4 ore mai târziu puteți vorbi cu propriul LLM într-o interfață web asemănătoare ChatGPT.
Cântărește ~ 8.000 de linii de cod destul de curat pentru:
- Antrenați tokenizatorul folosind o nouă implementare Rust
- Antrenați în prealabil un Transformer LLM pe FineWeb, evaluați scorul CORE pe o serie de valori
- Midtrain pe conversațiile utilizator-asistent de la SmolTalk, întrebări cu răspunsuri multiple, utilizarea instrumentelor.
- SFT, evaluează modelul de chat pe cunoașterea lumii cu alegere multiplă (ARC-E/C, MMLU), matematică (GSM8K), cod (HumanEval)
- RL modelul opțional pe GSM8K cu "GRPO"
- Deducerea eficientă a modelului într-un motor cu cache KV, precompletare/decodare simplă, utilizarea instrumentului (interpret Python într-un sandbox ușor), vorbiți cu el prin CLI sau WebUI de tip ChatGPT.
- Scrieți un singur raport de remarcare, rezumând și gamificând totul.
Chiar și pentru un cost de până la ~ 100 USD (~ 4 ore pe un nod 8XH100), puteți antrena o mică clonă ChatGPT cu care puteți vorbi și care poate scrie povești/poezii, răspunde la întrebări simple. Aproximativ ~12 ore depășește metrica GPT-2 CORE. Pe măsură ce creșteți în continuare la ~ 1000 USD (~41,6 ore de instruire), devine rapid mult mai coerent și poate rezolva probleme simple de matematică/cod și poate susține teste cu răspunsuri multiple. De exemplu, un model de adâncime 30 antrenat timp de 24 de ore (acest lucru este aproximativ egal cu FLOP-urile GPT-3 Small 125M și 1/1000 din GPT-3) ajunge la 40 de secunde pe MMLU și 70 pe ARC-Easy, 20 de secunde pe GSM8K etc.
Scopul meu este să obțin întregul stack "strong baseline" într-un depozit coeziv, minimal, lizibil, hackable, maxim forkable. nanochat va fi proiectul de bază al LLM101n (care este încă în curs de dezvoltare). Cred că are, de asemenea, potențialul de a deveni un cablon de cercetare sau un punct de referință, similar cu nanoGPT înaintea lui. Nu este în niciun caz terminat, reglat sau optimizat (de fapt cred că există probabil destul de multe fructe la îndemână), dar cred că este într-un loc în care scheletul general este suficient de ok încât să poată urca pe GitHub, unde toate părțile acestuia pot fi îmbunătățite.
Link către depozit și o prezentare detaliată a speedrun nanochat se află în răspuns.
Puteți porni un GPU, rula scriptul și puteți avea propriul chatbot care să discute în ~4 ore.
Karpathy spune că modelul de 100 de dolari poate scrie deja poezii și povești și poate depăși GPT-2 pe CORE; 1000 USD îl apropie de GPT-3 Small 125M FLOP-uri cu scoruri 40 + MMLU și 70 + ARC-Easy.
Scopul este un depozit unificat, lizibil și hackabil, care grupează întreaga "conductă de bază puternică": un succesor al nanoGPT și coloana vertebrală pentru viitorul său curs LLM101n.
Chiar și cu un buget mic, rezultatele sunt surprinzătoare.
• Alergare de 100 USD (8×H100, 4 ore): bate GPT-2 pe CORE, poate scrie poezii și povestiri scurte.
• Rulare de 1000 USD (≈24 ore, GPT-3 Small 125 M FLOPs, scară 1/1000):
– MMLU 40+
– ARC-Easy 70 +
– GSM8K 20 +
este un adevărat mini-conductă de cercetare.
Când cineva a întrebat dacă NanoChat ar putea fi folosit pentru a antrena un LLM personal (pe note Notion, date de sănătate etc.), Karpathy a turnat apă rece pe idee:
"Acesta nu este un repo bun pentru asta... Gândiți-vă la aceste micro-modele ca la niște copii foarte mici; le lipsește inteligența brută a verișorilor lor mai mari."
Dacă le ajustați pe datele personale, s-ar putea să obțineți "papagal drăguț" care vă imită stilul de scriere, dar va fi totuși neglijent. 🪿
De ce personalizarea este dificilă
Pentru a construi un model cu adevărat personalizat, ar trebui să:
• Pregătiți date de bază de înaltă calitate
• Generați tone de date sintetice (complexe + diverse)
• Finetune pe un LLM puternic deschis (de exemplu, Tinker)
• Eventual amestecați date mari de pre-antrenament pentru a păstra inteligența generală
Acesta este încă un teritoriu de cercetare astăzi, nu un proiect de weekend.
Imagine de ansamblu
Karpathy vede NanoChat ca pe noul nanoGPT-
un cadru minimal, dar complet, care poate deveni o bază standard pentru cercetarea LLM, colaborarea comunitară și educația.
În acest moment nu este complet optimizat, dar arhitectura este solidă - gata pentru ca contribuitorii GitHub să o împingă mai departe, modul cu modul.
4,62 K
15
Conținutul de pe această pagină este furnizat de terți. Dacă nu se menționează altfel, OKX nu este autorul articolului citat și nu revendică niciun drept intelectual pentru materiale. Conținutul este furnizat doar pentru informare și nu reprezintă opinia OKX. Nu este furnizat pentru a fi o susținere de nicio natură și nu trebuie să fie considerat un sfat de investiție sau o solicitare de a cumpăra sau vinde active digitale. În măsura în care AI-ul de generare este utilizat pentru a furniza rezumate sau alte informații, astfel de conținut generat de AI poate să fie inexact sau neconsecvent. Citiți articolul asociat pentru mai multe detalii și informații. OKX nu răspunde pentru conținutul găzduit pe pagini terțe. Deținerile de active digitale, inclusiv criptomonedele stabile și NFT-urile, prezintă un grad ridicat de risc și pot fluctua semnificativ. Trebuie să analizați cu atenție dacă tranzacționarea sau deținerea de active digitale este adecvată pentru dumneavoastră prin prisma situației dumneavoastră financiare.