Timeweb.Cloud News

Показываем расходы и переключаем модели в AI Gateway

В AI Gateway сразу два обновления — теперь можно посмотреть стоимость и статус каждого запроса, а еще настроить резервные модели для AI-ключа на случай, если основная не ответит.

1. Логи запросов — чтобы проверять результаты и следить за расходами

В AI Gateway появилась вкладка «Логи». Для каждого запроса по AI-ключу можно посмотреть модель, токены, стоимость и статус запроса.

Логи доступны только владельцу аккаунта и содержат запросы начиная с 9 октября. Тексты промптов и ответов не сохраняются.

2. Резервные модели — на случай, если основная модель не отвечает

Для AI-ключа можно выбрать до двух резервных моделей. Если основная недоступна — AI Gateway сам отправит запрос на одну из двух запасных.

Сработает при сбое у провайдера, таймауте модели или ограничении частоты запросов.

Где включить: ИИ-сервисы → AI Gateway → нужный ключ → «Управление» → «Резервные модели».

Оплата считается только за модель, которая ответила. Запасная может стоить дороже основной — учитывайте при выборе. 

Подстраховать запросы к моделям →

Больше фреймворков и контроля над деплоями

В App Platform выкатили два релиза для разных этапов деплоя: от создания приложения до проверки изменений. 

1. Выбираем фреймворк 

Расширили список поддерживаемых фронтенд-фреймворков и добавили еще шесть:

• Astro — для блогов, лендингов и контентных сайтов.

• TanStack Start — для веб-приложений с обработкой данных на сервере. 

• Solid — для интерактивных интерфейсов с частым обновлением данных.

• SolidStart — для приложений на Solid с серверным рендерингом.

• Remix — для приложений на React с формами и работой с данными.

• SvelteKit — для сайтов и приложений на Svelte.

Для всех, кроме Solid, доступны SSR (рендеринг страниц на сервере). Для Solid — только фронтенд.

2. Управляем деплоями на стенде

В стендах появился селектор деплоев — такой же, как в родительском приложении. Теперь прямо в стенде можно:

— Посмотреть все запущенные в нем деплои и их статусы.

— Остановить текущий деплой, если заметили ошибку.

— Вернуться к любому коммиту, по которому уже запускался деплой.

Так удобнее проверять работу разных версий приложения на стенде до правок. Как откатиться к нужному коммиту — подробнее в доке.

Выбрать фреймворк и запустить проект →

Меньше кликов для нужных опций

Проверить нагрузку серверов или переключиться на дополнительного пользователя стало проще. В последних обновлениях убрали лишние действия в этих задачах.

1. Нагрузка всех серверов перед глазами

Больше не нужно открывать серверы по очереди — все видно в новой колонке с графиками CPU и RAM за последние 24 часа и актуальной нагрузкой в процентах.

— Если текущая загрузка превышает 90%, график становится красным — серверу пора уделить внимание.

— При наведении курсора на график появятся среднее и максимальное значения за сутки, а также время пика.

2. Сменить пользователя не выходя из панели

Добавляйте дополнительного пользователя в меню аккаунта и переключайтесь на него без повторного входа.

Как настроить: меню аккаунта → «Добавить аккаунт» → емейлl доп. пользователя и его пароль. Для переключения нажмите на новый пункт в меню, для возврата — на свой логин.

Сравнить, что стало удобнее →

Два релиза для вашей экономии

Выкатили два обновления в AI-сервисах, чтобы вы могли платить меньше за запросы и заранее определять бюджет:

1. Batch API — запросы за полцены

Если ответ не нужен сразу — отправляйте запросы единым пакетом через Batch API в AI Gateway. Входные и исходящие токены обойдутся вдвое дешевле, чем при обычном обращении.

Как использовать: соберите до 50 000 запросов в файл, отправьте через API и получите файл с ответами в течение 24 часов.

Подробная инструкция → в документации.

2. Лимиты в рублях — без пересчета токенов 

Добавили лимиты в рублях для AI-сервисов и AI-ключей — теперь вы сами фиксируете траты.

Можно настроить дневной бюджет для AI-сервиса / общий дневной лимит для AI-ключа / отдельные суммы для выбранных моделей AI-ключа.

Например, задайте лимит для ключа — 3 000 ₽ в день, а для самой дорогой модели — 1 000 ₽. Когда лимит закончится, новые запросы не пройдут.

Где настроить:  «Управление» в настройках агента или AI-ключа → «Установить лимиты» → указать сумму в рублях.

Сэкономить на AI по максимуму →