Один человек, $320 своих денег и бесплатный TPU-грант. Kisoku 1.6B — языковая модель, обученная с нуля.

1,6 млрд параметров и 524 млрд токенов, в 17 раз меньше данных, чем у Llama 3.2 1B (Meta*). По математике обходит его в 2,5 раза, в среднем почти наравне (43,7 против 44,9).

Это не «лучшая маленькая модель», SmolLM2 1.7B и Qwen2.5 1.5B обходят её почти везде. Ценно другое: открыто всё — веса, код, техотчёт и сырые ответы бенчмарков.

* Meta Platforms Inc. признана экстремистской организацией, её деятельность в РФ запрещена. Facebook и Instagram принадлежат Meta.