ВеняТех

Воу, как-то всё внезапно всё посыпалось, полностью отсюда выпал. Но сейчас, надеюсь, дела налаживаются и можно будет вернуться к экспериментам с нейроночками.

Я на нейроночную вечеринку опоздал года на два три - самые шарящие давно уже экспериментировали, а я только сейчас добрался и поглотило оно меня масштабно - за прошлую неделю переварил наверное несколько мегабайт текста:)

Что вкратце хочу сказать полезного:
- Когда читаем чужое бахвальство на реддите, написанному размеру токенс пер секонд не верим. Можно на тостере запустить уквантованную в сопли модель и она будет выдавать 100тпсов, но абсолютно бесполезной чуши.
- В деле инференса нейронок важны одновременно три параметра, причём чуть ли не в равной степени: вычислительная мощность чипа (терафлопсы), объём памяти, скорость передачи данных этой самой памяти.
- Объём памяти - самая простая часть - нет памяти - моделька не лезет. Есть конечно многочисленные уровни сжатия (квантования), но умные люди говорят, что ниже Q4 лучше по возможности не ходить. В идеале - если получается Q8 запускать.
- Терафлопсы - скорость чтения любых входящих данных нейронкой. На новых модных классных (и просто запредельно дорогих) нвидиях - на 5090 до 3000-5000 токенов в секунду на более-менее серьёзных моделях типа Qwen 3.6 27b. Для сравнения, на крестьянской 7900xtx префил - 500-1000(в лучшем случае) тпс.
- Скорость памяти - скорость генерации выходных токенов нейронкой. Основная единица членомерянья в тусовке. Механика в двух словах - на генерацию одного токена один раз читается вся моделька. Берём скорость памяти, делим на размер модели в ней - получаем теоретический максимум выходного TPS. Что радует, в отличие от вычислительных чипов, чипы памяти более-менее равномерно размазаны по индустрии. Крестьянско-доступный максимум - 900-1000ГБайт/сек. 5080 и 5090 с их 1700ГБ/с оставлю за скобками потому что ну камон, пол миллиона за одну видяху, вы там совсем что ли

И шо получается, вот взяли мы где-то гору старых Nvidia P100 (на авите 10-15к за плашку) - вроде как есть 16гиг VRAM, даже скорость памяти прям неплохая, 700, но чип такой, что скорость префилла - 20 тпс на Qwen 3.6 27b. Берём с потолка длину системного промпта Opencode в 10к токенов - при такой скорости чтения видяха начнёт уверенно строчить тебе ответ на твой "Привет!" через восемь минут:)) быстро начнёт строчить, уверенно, почти 40 токенов в секунду на Q4. Но через восемь минут:)

ffmpeg'ом видосы конвертит)

Очевидно пытаться запускать на одной видяхе даже сильно порезанный Qwen-3.8 Flash Next было не самой лучшей идеей, но это всё равно дало понять, что чего-то добиться можно, надо просто пробовать)

Плюс, долгое время мне было лень разбираться, как к NixOS приколачивать все эти модные погремушки, которые зачастую собираются напрямую с гитхаба, но тут помогло то, что я пару недель назад наконец-то включил у себя Flakes и сейчас просто ткнул дипсик и сказал - давай, сделай мне новый флейк, хочу запускать модельки. Заодно, посоветуй мне что-нибудь под моё железо.

В итоге пока остановился на Qwen3.5-35B-A3B (Q3_K_M) и оно прям даже печатает. 10-15 токенов в секунду канеш, но это не чувствуется как совсем провал для локального то инференса. Отправил его исходники толмача читать, а он даже что-то не совсем глупое предлагает.

Как минимум, можно завести бота, который PR'чики будет ревьювить.

Или может быть в OpenCode задачи ставить какому-нибудь умному дипсику за токены, а он пускай запускает моего дурилку и заставляет его кодить. Правда, слышал, у некоторых так бабок на токены горит больше, чем если напрямую большой нейронке ставить задачи:)

Расскажите, пробовали ли такое, вышло ли что хорошего?

Подвернулась сейчас на реддите репа с обвязкой какого-то квена для крестьян с одной видяхой - https://github.com/Niko1221/Strata

Наконец-то решил попробовать заселфхостить свою нейроночку. А то страсть как горит карман просадить кучу бабла на жирный Mac Studio, но не попробовав, чего можно добиться на имеющемся железе, было бы очень странно) (да и нет таких денег, надо будет долго и по-чучуть откладывать)

На работе свежий сезонный утепляющий мерч выдали:)