🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля  
В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа:  
> • токенизатор  (написан на Rust)
> • pretraining
> • SFT (supervised fine-tuning)  
> • RL (reinforcement learning)  
> • оценка модели (eval)  
Всего 8 000 строк кода, без лишних зависимостей -  идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей.
💡 Это  проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике.  
Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску.
Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score).
А если тренировать около 40 часов (затраты ~1000 $),  решает простые задачи по математике и коду, набирая:
- 40+ на MMLU
- 70+ на ARC-Easy
- 20+ на GSM8K
🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать.
🟠GitHub:https://github.com/karpathy/nanochat
🟠Технические детали: https://github.com/karpathy/nanochat/discussions/1
@ai_machinelearning_big_data
#LLM #nanochat #MachineLearning #DeepLearning #AI #GPT