🧪 Проверили альтернативы LLM от OpenAI на наших рабочих задачахМы в ИнтерЛабс используем нейросети при подготовке коммерческих предложений и визуальных брифов. Решили посмотреть, насколько хорошо с этими задачами справляются альтернативы OpenAI: китайские Kimi 3 и DeepSeek и российский GigaChat Ultra 3.5.
Сравнивали именно качество результата. Стоимость API в этом исследовании не учитывали.
📄 Что проверялиВзяли четыре реальных коммерческих предложения на разработку сайтов. Проверили все текстовые этапы: описание проекта, структуру сайта, техническое описание работ, смету, сроки и описание подходящих кейсов из портфолио.
Плюс два визуальных брифа. Здесь цепочка сложнее: анализ существующего сайта со скриншотами, объединение результатов с расшифровкой разговора с клиентом и комментариями менеджера, формирование требований к будущему сайту. Затем — содержание блоков и креативы для них.
Результаты сопоставили с нашей прежней цепочкой GPT 5.4/5.5 и отдельно проверили GPT 6.1.
⚙️ Как оценивалиДля каждой модели сначала разобрали ошибки и доработали промпты, затем оценили результаты с учётом этих адаптаций.
Сверяли ответы с исходными материалами и предыдущими этапами: не появились ли выдуманные факты, сохранились ли требования клиента, не добавились ли лишние работы и не потерялись ли нужные. Отдельно смотрели на расчёты, согласованность документа и необходимость ручной правки.
📊 Что получилось•
GPT 6.1 показал лучший средний результат на наших задачах.
•
Kimi 3 в целом хорошо справился и с КП, и с брифами, особенно со сметами. Для наших целей это рабочая альтернатива OpenAI.
•
DeepSeek дал близкие к GPT оценки за креативы, но содержательные ошибки сохранились.
•
GigaChat заметно лучше справился с коммерческими предложениями, чем с визуальными брифами. При этом КП он готовил на основе брифов, уже сделанных GPT. Если и исходный бриф готовить на GigaChat, ошибки могут перейти дальше и ухудшить качество КП. Это пока гипотеза: такую сквозную цепочку мы не проверяли.
📌 Сравнение показывает качество полученных рабочих результатов для наших документов, а не универсальное преимущество одной модели над всеми остальными.
На первой картинке — оценки по каждому типу контента и общий итог. На второй — объём документов и критерии качества.
#LLM
•
Мы в Telegram•
Наш сайт
