Andrej Karpathy acaba de lanzar uno de los repos más "desquiciados" que ha escrito — NanoChat.
Es un sistema similar a ChatGPT, minimalista pero completo, que te enseña cómo entrenar y ejecutar tu propio LLM por menos de 100 dólares.
Con solo ~8 k líneas de código limpio, cubre todo: tokenizador (basado en Rust), pre-entrenamiento en FineWeb, entrenamiento intermedio en SmolTalk, SFT en MMLU / GSM8K / HumanEval, RL opcional a través de GRPO, inferencia eficiente con caché KV + prellenado/decodificación, y una interfaz web estilo ChatGPT. (1/n)
¡Emocionado de lanzar un nuevo repositorio: nanochat!
(es uno de los más desquiciados que he escrito).
A diferencia de mi repositorio anterior, nanoGPT, que solo cubría el preentrenamiento, nanochat es un pipeline de entrenamiento/inferencia de pila completa, minimalista y desde cero, de un simple clon de ChatGPT en una única base de código con mínimas dependencias. Inicias una caja GPU en la nube, ejecutas un único script y en tan solo 4 horas puedes hablar con tu propio LLM en una interfaz web similar a ChatGPT.
Pesa ~8,000 líneas de código que considero bastante limpio para:
- Entrenar el tokenizador utilizando una nueva implementación en Rust
- Preentrenar un LLM Transformer en FineWeb, evaluar la puntuación CORE a través de una serie de métricas
- Entrenamiento intermedio en conversaciones usuario-asistente de SmolTalk, preguntas de opción múltiple, uso de herramientas.
- SFT, evaluar el modelo de chat en conocimiento general de opción múltiple (ARC-E/C, MMLU), matemáticas (GSM8K), código (HumanEval)
- RL del modelo opcionalmente en GSM8K con "GRPO"
- Inferencia eficiente del modelo en un motor con caché KV, prellenado/decodificación simple, uso de herramientas (intérprete de Python en un sandbox ligero), hablar con él a través de CLI o WebUI similar a ChatGPT.
- Escribir un único informe en markdown, resumiendo y gamificando todo.
Incluso por tan solo ~$100 en costo (~4 horas en un nodo 8XH100), puedes entrenar un pequeño clon de ChatGPT con el que puedes hablar, y que puede escribir historias/poemas, responder preguntas simples. Aproximadamente ~12 horas superan la métrica CORE de GPT-2. A medida que escalas hacia ~$1000 (~41.6 horas de entrenamiento), rápidamente se vuelve mucho más coherente y puede resolver problemas simples de matemáticas/código y realizar pruebas de opción múltiple. Por ejemplo, un modelo de profundidad 30 entrenado durante 24 horas (esto es aproximadamente igual a los FLOPs de GPT-3 Small 125M y 1/1000 de GPT-3) alcanza 40s en MMLU y 70s en ARC-Easy, 20s en GSM8K, etc.
Mi objetivo es obtener toda la pila de "baseline fuerte" en un repositorio cohesivo, minimalista, legible, hackeable y maximalmente bifurcable. nanochat será el proyecto culminante de LLM101n (que aún se está desarrollando). Creo que también tiene potencial para crecer en un arnés de investigación, o un benchmark, similar a nanoGPT antes que él. No está en absoluto terminado, ajustado u optimizado (de hecho, creo que probablemente hay bastante fruta fácil de alcanzar), pero creo que está en un lugar donde el esqueleto general es lo suficientemente bueno como para que pueda subirse a GitHub donde todas las partes pueden ser mejoradas.
El enlace al repositorio y un recorrido detallado del speedrun de nanochat está en la respuesta.
Puedes activar una GPU, ejecutar el script y tener tu propio chatbot conversando en ~4 horas.
Karpathy dice que el modelo de $100 ya puede escribir poemas e historias y superar a GPT-2 en CORE; $1000 lo acerca a GPT-3 Small 125M FLOPs con más de 40 en MMLU y más de 70 en puntuaciones de ARC-Easy.
El objetivo es un repositorio unificado, legible y hackeable que agrupe el "pipeline de referencia fuerte" completo: un sucesor de nanoGPT y la columna vertebral para su próximo curso LLM101n.
Incluso con un presupuesto pequeño, los resultados son sorprendentes.
• Ejecución de $100 (8×H100, 4 horas): supera a GPT-2 en CORE, puede escribir poemas e historias cortas.
• Ejecución de $1000 (≈24 horas, GPT-3 Small 125 M FLOPs, 1/1000 de escala):
– MMLU 40 +
– ARC-Easy 70 +
– GSM8K 20 +
es una auténtica mini-pipeline de grado de investigación.
Cuando alguien preguntó si NanoChat podría usarse para entrenar un LLM personal (en notas de Notion, datos de salud, etc.), Karpathy echó agua fría sobre la idea:
"Este no es un buen repositorio para eso... Piensa en estos micro-modelos como niños muy pequeños; carecen de la inteligencia básica de sus primos más grandes."
Si los ajustas con datos personales, podrías obtener un "lindo loro" que imita tu estilo de escritura, pero seguirá siendo un desastre. 🪿
Por qué la personalización es difícil
Para construir un modelo genuinamente personalizado, necesitarías:
• Preparar datos base de alta calidad
• Generar toneladas de datos sintéticos (complejos + diversos)
• Ajustar finamente en un LLM abierto fuerte (por ejemplo, Tinker)
• Posiblemente mezclar grandes datos de preentrenamiento para retener la inteligencia general
Eso sigue siendo territorio de investigación hoy en día, no un proyecto de fin de semana.
Perspectiva general
Karpathy ve a NanoChat como el nuevo nanoGPT—
un marco mínimo pero completo que puede convertirse en una base estándar para la investigación de LLM, la colaboración comunitaria y la educación.
En este momento no está completamente optimizado, pero la arquitectura es sólida—lista para que los contribuyentes de GitHub la impulsen, módulo por módulo.
4,62 mil
15
El contenido de esta página lo proporcionan terceros. A menos que se indique lo contrario, OKX no es el autor de los artículos citados y no reclama ningún derecho de autor sobre los materiales. El contenido se proporciona únicamente con fines informativos y no representa las opiniones de OKX. No pretende ser un respaldo de ningún tipo y no debe ser considerado como un consejo de inversión o una solicitud para comprar o vender activos digitales. En la medida en que la IA generativa se utiliza para proporcionar resúmenes u otra información, dicho contenido generado por IA puede ser inexacto o incoherente. Lee el artículo vinculado para obtener más detalles e información. OKX no es responsable del contenido alojado en sitios de terceros. El holding de activos digitales, incluyendo stablecoins y NFT, implican un alto grado de riesgo y pueden fluctuar en gran medida. Debes considerar cuidadosamente si el trading o holding de activos digitales es adecuado para ti a la luz de tu situación financiera.