В своём предыдущем посте я писал про то, что многие модели машинного…

В своём предыдущем посте я писал про то, что многие модели машинного обучения намного эффективнее работают на видеокарте - за счёт того, что на видеокарте тысячи небольших процессоров, которые работают параллельно. Это называется массивно-параллельные вычисления. Именно поэтому сейчас, в эпоху развития ИИ, такой спрос на видеокарты. Я провёл эксперимент: выполнял распознавание речи на своём ноутбуке с i5, а затем на видеокарте NVIDIA L4. Ускорение получилось примерно в 20 раз!

Не всегда модели доступны в облаке, как было, например с GigaAM от Сбера. И возникает выбор: либо покупать свою видеокарту, либо арендовать у провайдера. В нашем случае первый вариант был невыгоден: карта стоит около 500 тысяч рублей, необходимо серверное оборудование для её размещения, что ещё увеличивает затраты, а большую часть времени она будет простаивать.

Поэтому я рассмотрел вариант аренды выделенного сервера с видеокартой у провайдера Selectel. Selectel был выбран потому, что позволяет гибко управлять потреблением ресурсов: когда видеокарта не нужна, сервер можно заморозить. При этом на время заморозки тарифицируется только диск и сеть. Этот вариант оказался самым выгодным. Правда в процессе экспериментов я столкнулся с тем, что вместо заморозки сделал выключение сервера, и у меня тарификация шла как с GPU всю ночь. Но зато после этого стал аккуратнее.

Так что если для вас не подходит использование облачного API (например, чувствительные данные не должны уходить во внешний контур) и если не хотите разворачивать собственный сервер с видеокартой, вариант аренды GPU с опцией заморозки - отличный выбор!