DeepSeek открыла исходный код DeepInfer, движка инференса, который она использует для масштабного запуска V4.1-Flash.

https://github.com/deepseek-ai/DeepInfer

Именно этот код помогает быстрее обслуживать запросы к моделям и снижать затраты на их работу.

Для компаний, развёртывающих собственные ИИ-сервисы, DeepInfer может оказаться даже ценнее самих весов модели.

Ещё одна важная деталь: движок работает не только на чипах Nvidia, но и на Huawei.

👍👍👍