На этой неделе было выпущено несколько обновлений библиотек и инструментов для работы с LLM. Например, версия 3.4.1 библиотеки DSPy добавила поддержку Python 3.15 и исправила различные ошибки. Также была выпущена версия 0.7.0 библиотеки llama.cpp, в которой добавлена поддержка новой техники декодирования LiliCorr и кэша для MoE-экспертов на GPU. Кроме того, была выпущена версия 2.56.0 библиотеки pydantic-ai, в которой добавлена поддержка Gemini 4 Argon и Python 3.15.
Месяц назад мы писали про модель Gemini 4 Argon от Google, которая обеспечивает передовую производительность в сложных задачах. Теперь эта модель уже используется внутри Google и поддерживается в различных библиотеках, таких как pydantic-ai и cline. Это говорит о том, что модель Gemini 4 Argon становится все более популярной и широко используется в различных приложениях.
Гипотеза недели: учитывая выпуск новой версии библиотеки llama.cpp с поддержкой кэша для MoE-экспертов на GPU, можно предположить, что скоро будет выпущена версия, которая позволит использовать эту технику для ускорения inference на устройствах с ограниченной памятью, таких как ноутбуки. Это может привести к значительному увеличению производительности и расширению возможностей для использования LLM на различных устройствах.
ai-digest