Andrej Karpathy 剛剛發布了他寫過的最「失控」的代碼庫之一——NanoChat。
這是一個從零開始的、簡約但完整的類 ChatGPT 系統，教你如何以不到 100 美元的成本訓練和運行自己的 LLM。
僅用約 8 千行乾淨的代碼，它涵蓋了所有內容，包括分詞器（基於 Rust）、在 FineWeb 上的預訓練、在 SmolTalk 上的中期訓練、在 MMLU / GSM8K / HumanEval 上的 SFT、通過 GRPO 的可選 RL、高效的推理與 KV 緩存 + 預填/解碼，以及一個類 ChatGPT 的 WebUI。 (1/n)
很高興推出新的代碼庫：nanochat！
（這是我寫過的最瘋狂的之一）。
與我之前的類似代碼庫nanoGPT僅涵蓋預訓練不同，nanochat是一個從零開始的簡單ChatGPT克隆的全棧訓練/推理管道，代碼庫依賴最小。你啟動一個雲GPU盒子，運行一個腳本，最少4小時後，你就可以在類似ChatGPT的網頁UI中與自己的LLM對話。
它大約有8000行我認為相當乾淨的代碼來：
- 使用新的Rust實現訓練分詞器
- 在FineWeb上預訓練一個Transformer LLM，評估多個指標的CORE分數
- 在SmolTalk的用戶-助手對話中進行中期訓練，進行多選題，工具使用。
- SFT，評估聊天模型在世界知識多選題（ARC-E/C，MMLU）、數學（GSM8K）、代碼（HumanEval）上的表現
- 可選地在GSM8K上對模型進行RL，使用"GRPO"
- 在引擎中高效推理模型，使用KV緩存，簡單的預填充/解碼，工具使用（輕量級沙箱中的Python解釋器），通過CLI或類似ChatGPT的WebUI與其對話。
- 撰寫一份單一的Markdown報告卡，總結並遊戲化整個過程。
即使成本低至約100美元（約4小時在8XH100節點上），你也可以訓練一個小型的ChatGPT克隆，能夠進行對話，並且可以寫故事/詩，回答簡單問題。約12小時超過GPT-2的CORE指標。當你進一步擴展到約1000美元（約41.6小時的訓練）時，它迅速變得更加連貫，能夠解決簡單的數學/代碼問題並參加多選測試。例如，一個深度30的模型訓練24小時（這大約等於GPT-3 Small 125M的FLOPs和GPT-3的1/1000）在MMLU上達到40分，在ARC-Easy上達到70分，在GSM8K上達到20分，等等。
我的目標是將完整的"強基線"堆棧整合成一個連貫、簡約、可讀、可駭客、最大限度可分叉的代碼庫。nanochat將是LLM101n的壓軸項目（該項目仍在開發中）。我認為它也有潛力發展成為一個研究工具或基準，類似於之前的nanoGPT。它絕不是完成的、調整過的或優化的（實際上我認為可能還有很多低垂的果實），但我認為它已經達到了一個整體框架足夠好的地方，可以上傳到GitHub，讓所有部分都可以改進。
代碼庫的鏈接和nanochat快速運行的詳細步驟在回覆中。
你可以啟動一個 GPU，運行腳本，並在大約 4 小時內擁有自己的聊天機器人。
Karpathy 說，這個 $100 的模型已經可以寫詩和故事，並在 CORE 上超越 GPT-2；$1000 的模型接近 GPT-3 Small 125M FLOPs，擁有 40 + MMLU 和 70 + ARC-Easy 分數。
目標是一個統一、可讀、可駭的代碼庫，捆綁完整的「強基線管道」：nanoGPT 的繼任者，以及他即將推出的 LLM101n 課程的骨幹。
即使預算微薄，結果也令人驚訝。
• $100 執行（8×H100，4 小時）：在 CORE 上超越 GPT-2，能夠寫詩和短篇故事。
• $1000 執行（約 24 小時，GPT-3 Small 125 M FLOPs，1/1000 比例）：
– MMLU 40 +
– ARC-Easy 70 +
– GSM8K 20 +
這是一個真正的研究級迷你管道。
當有人問到 NanoChat 是否可以用來訓練個人 LLM（在 Notion 筆記、健康數據等上），Karpathy 對這個想法潑了冷水：
“這不是一個好的庫來做這個……把這些微型模型想像成非常年幼的孩子；它們缺乏更大表親的原始智慧。”
如果你在個人數據上進行微調，你可能會得到“可愛的模仿”，模仿你的寫作風格，但它仍然會是雜亂的。 🪿
為什麼個性化很難
要建立一個真正個性化的模型，你需要：
• 準備高品質的基礎數據
• 生成大量合成數據（複雜 + 多樣）
• 在強大的開放式 LLM 上進行微調（例如 Tinker）
• 可能混合大量的預訓練數據以保留一般智能
這在今天仍然是研究級的領域，而不是一個週末項目。
更大的圖景
Karpathy 將 NanoChat 視為新的 nanoGPT——一個簡約而完整的框架，可以發展成為 LLM 研究、社區合作和教育的標準基準。
目前它尚未完全優化，但架構穩固——隨時準備好讓 GitHub 貢獻者逐步推進。
4,597
15
本頁面內容由第三方提供。除非另有說明，OKX 不是所引用文章的作者，也不對此類材料主張任何版權。該內容僅供參考，並不代表 OKX 觀點，不作為任何形式的認可，也不應被視為投資建議或購買或出售數字資產的招攬。在使用生成式人工智能提供摘要或其他信息的情況下，此類人工智能生成的內容可能不準確或不一致。請閱讀鏈接文章，瞭解更多詳情和信息。OKX 不對第三方網站上的內容負責。包含穩定幣、NFTs 等在內的數字資產涉及較高程度的風險，其價值可能會產生較大波動。請根據自身財務狀況，仔細考慮交易或持有數字資產是否適合您。