Обновление маршрутизации в OpenRouter

Платформа OpenRouter обновила алгоритм маршрутизации запросов для хостинга открытых моделей. Новая система учитывает баланс между стоимостью, скоростью и надежностью выполнения задач.

Согласно результатам тестирования на 24 млн запросов, изменения обеспечили снижение времени до первого токена на 16,9% и рост пропускной способности на 16,3% при увеличении стоимости запроса на 6%. Пользователи могут переключиться на режим маршрутизации по минимальной цене в настройках сервиса. ⚡

📰 Подписаться на канал