Очевидно пытаться запускать на одной видяхе даже сильно порезанный Qwen-3.8 Flash Next было не самой лучшей идеей, но это всё равно дало понять, что чего-то добиться можно, надо просто пробовать)

Плюс, долгое время мне было лень разбираться, как к NixOS приколачивать все эти модные погремушки, которые зачастую собираются напрямую с гитхаба, но тут помогло то, что я пару недель назад наконец-то включил у себя Flakes и сейчас просто ткнул дипсик и сказал - давай, сделай мне новый флейк, хочу запускать модельки. Заодно, посоветуй мне что-нибудь под моё железо.

В итоге пока остановился на Qwen3.5-35B-A3B (Q3_K_M) и оно прям даже печатает. 10-15 токенов в секунду канеш, но это не чувствуется как совсем провал для локального то инференса. Отправил его исходники толмача читать, а он даже что-то не совсем глупое предлагает.

Как минимум, можно завести бота, который PR'чики будет ревьювить.

Или может быть в OpenCode задачи ставить какому-нибудь умному дипсику за токены, а он пускай запускает моего дурилку и заставляет его кодить. Правда, слышал, у некоторых так бабок на токены горит больше, чем если напрямую большой нейронке ставить задачи:)

Расскажите, пробовали ли такое, вышло ли что хорошего?