Воу, как-то всё внезапно всё посыпалось, полностью отсюда выпал. Но сейчас, надеюсь, дела налаживаются и можно будет вернуться к экспериментам с нейроночками.
Я на нейроночную вечеринку опоздал года на два три - самые шарящие давно уже экспериментировали, а я только сейчас добрался и поглотило оно меня масштабно - за прошлую неделю переварил наверное несколько мегабайт текста:)
Что вкратце хочу сказать полезного:
- Когда читаем чужое бахвальство на реддите, написанному размеру токенс пер секонд не верим. Можно на тостере запустить уквантованную в сопли модель и она будет выдавать 100тпсов, но абсолютно бесполезной чуши.
- В деле инференса нейронок важны одновременно три параметра, причём чуть ли не в равной степени: вычислительная мощность чипа (терафлопсы), объём памяти, скорость передачи данных этой самой памяти.
- Объём памяти - самая простая часть - нет памяти - моделька не лезет. Есть конечно многочисленные уровни сжатия (квантования), но умные люди говорят, что ниже Q4 лучше по возможности не ходить. В идеале - если получается Q8 запускать.
- Терафлопсы - скорость чтения любых входящих данных нейронкой. На новых модных классных (и просто запредельно дорогих) нвидиях - на 5090 до 3000-5000 токенов в секунду на более-менее серьёзных моделях типа Qwen 3.6 27b. Для сравнения, на крестьянской 7900xtx префил - 500-1000(в лучшем случае) тпс.
- Скорость памяти - скорость генерации выходных токенов нейронкой. Основная единица членомерянья в тусовке. Механика в двух словах - на генерацию одного токена один раз читается вся моделька. Берём скорость памяти, делим на размер модели в ней - получаем теоретический максимум выходного TPS. Что радует, в отличие от вычислительных чипов, чипы памяти более-менее равномерно размазаны по индустрии. Крестьянско-доступный максимум - 900-1000ГБайт/сек. 5080 и 5090 с их 1700ГБ/с оставлю за скобками потому что ну камон, пол миллиона за одну видяху, вы там совсем что ли
И шо получается, вот взяли мы где-то гору старых Nvidia P100 (на авите 10-15к за плашку) - вроде как есть 16гиг VRAM, даже скорость памяти прям неплохая, 700, но чип такой, что скорость префилла - 20 тпс на Qwen 3.6 27b. Берём с потолка длину системного промпта Opencode в 10к токенов - при такой скорости чтения видяха начнёт уверенно строчить тебе ответ на твой "Привет!" через восемь минут:)) быстро начнёт строчить, уверенно, почти 40 токенов в секунду на Q4. Но через восемь минут:)
Я на нейроночную вечеринку опоздал года на два три - самые шарящие давно уже экспериментировали, а я только сейчас добрался и поглотило оно меня масштабно - за прошлую неделю переварил наверное несколько мегабайт текста:)
Что вкратце хочу сказать полезного:
- Когда читаем чужое бахвальство на реддите, написанному размеру токенс пер секонд не верим. Можно на тостере запустить уквантованную в сопли модель и она будет выдавать 100тпсов, но абсолютно бесполезной чуши.
- В деле инференса нейронок важны одновременно три параметра, причём чуть ли не в равной степени: вычислительная мощность чипа (терафлопсы), объём памяти, скорость передачи данных этой самой памяти.
- Объём памяти - самая простая часть - нет памяти - моделька не лезет. Есть конечно многочисленные уровни сжатия (квантования), но умные люди говорят, что ниже Q4 лучше по возможности не ходить. В идеале - если получается Q8 запускать.
- Терафлопсы - скорость чтения любых входящих данных нейронкой. На новых модных классных (и просто запредельно дорогих) нвидиях - на 5090 до 3000-5000 токенов в секунду на более-менее серьёзных моделях типа Qwen 3.6 27b. Для сравнения, на крестьянской 7900xtx префил - 500-1000(в лучшем случае) тпс.
- Скорость памяти - скорость генерации выходных токенов нейронкой. Основная единица членомерянья в тусовке. Механика в двух словах - на генерацию одного токена один раз читается вся моделька. Берём скорость памяти, делим на размер модели в ней - получаем теоретический максимум выходного TPS. Что радует, в отличие от вычислительных чипов, чипы памяти более-менее равномерно размазаны по индустрии. Крестьянско-доступный максимум - 900-1000ГБайт/сек. 5080 и 5090 с их 1700ГБ/с оставлю за скобками потому что ну камон, пол миллиона за одну видяху, вы там совсем что ли
И шо получается, вот взяли мы где-то гору старых Nvidia P100 (на авите 10-15к за плашку) - вроде как есть 16гиг VRAM, даже скорость памяти прям неплохая, 700, но чип такой, что скорость префилла - 20 тпс на Qwen 3.6 27b. Берём с потолка длину системного промпта Opencode в 10к токенов - при такой скорости чтения видяха начнёт уверенно строчить тебе ответ на твой "Привет!" через восемь минут:)) быстро начнёт строчить, уверенно, почти 40 токенов в секунду на Q4. Но через восемь минут:)
Просмотры: 9