Сэм Альтман: "Оперативная память в вашем компьютере — ужасная трата дефицитных ресурсов"

Сэм Альтман, руководитель компании OpenAI:
"

Локальный инференс — это крайне неэффективное распределение дефицитных ресурсов. Многие хотят использовать локальный инференс, полагая, что раз появились модели с открытым исходным кодом, которые можно запускать на собственных компьютерах, то необходимость в мощностях дата‑центров отпадает. Однако, если смотреть на ситуацию в глобальном масштабе, это крайне нерационально: значительная часть мирового запаса оперативной памяти (DRAM) стоит на пользовательских компьютерах, где она используется лишь пять процентов времени. В условиях жесткого дефицита ресурсов необходимо стремиться к максимальной загрузке мощностей в облаке.

Удивительно, но интуиция многих людей подсказывает им ровно обратное.

"

Видимо, Альтман намекает на то, что вместо локальных моделей лучше купить подписку у OpenAI. Ну что ж, хорошая идея. Но проверять мы ее конечно же не будем.

https://www.tomsguide.com/ai/sam-altman-says-your-laptop-ram-is-a-terrible-allocation-of-scarce-resources-why-i-think-the-ai-bubble-is-about-to-prove-him-wrong