🤖 Память вместо математики: как KV-кэш решает экономику ИИ

Принято считать, что скорость ИИ меряется террафлопсами: чип мощнее — модель быстрее. На практике инференс больших языковых моделей чаще всего буксует не на вычислениях, а на памяти. Виновник — KV-кэш, скромная служебная структура, которую модель вынуждена держать для каждого токена контекста и, что важнее, отдельно для каждого запроса. Звучит как тема лекции по архитектуре ЭВМ, которую все прогуляли, однако вокруг этих данных крутятся цены на токены, гонка за длинными окнами контекста и бизнес-планы стартапов с лозунгом «тот же интеллект за меньшие деньги». Смотрим, что на самом деле происходит внутри GPU, когда вы отправляете промпт.

📄 Полная статья

#ИИ #технологии

📢 Канал: Цифровой Кортекс