Vaibhaav-Tiwari/deepseek-v3-jax (⭐ 258)
Репозиторий показывает архитектуру DeepSeek V3 примерно в 190 строках на чистом JAX: без Flax, Equinox и PyTorch, с параметрами в виде словарей массивов. В коде есть Multi-head Latent Attention, DeepSeekMoE с одним общим и 16 маршрутизируемыми экспертами, балансировка нагрузки на экспертов и multi-token prediction. Автор обучил на MacBook Air модель с 36,2 млн параметров на детективной прозе, но называет проект демонстрацией архитектуры, а не сильной языковой моделью. Чекпойнт — Python pickle, который при загрузке может исполнять код, поэтому загружать его стоит только из доверенного источника.
🐙 GitHub избранное
Просмотры: 4