Vaibhaav-Tiwari/deepseek-v3-jax (⭐ 258)



Репозиторий показывает архитектуру DeepSeek V3 примерно в 190 строках на чистом JAX: без Flax, Equinox и PyTorch, с параметрами в виде словарей массивов. В коде есть Multi-head Latent Attention, DeepSeekMoE с одним общим и 16 маршрутизируемыми экспертами, балансировка нагрузки на экспертов и multi-token prediction. Автор обучил на MacBook Air модель с 36,2 млн параметров на детективной прозе, но называет проект демонстрацией архитектуры, а не сильной языковой моделью. Чекпойнт — Python pickle, который при загрузке может исполнять код, поэтому загружать его стоит только из доверенного источника.

🐙 GitHub избранное
Просмотры: 4
Открыть в MAX Сообщить о неточности

Репосты публикации

Публикация канала

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти