🤖 Алексей Лобанов (директор по инновациям Tangl) на форуме 100+…
🤖 Алексей Лобанов (директор по инновациям Tangl) на форуме 100+ поделился методикой выбора LLM для работы со сложными BIM-данными. Главная мысль: важна не мощность модели, а её способность к самостоятельному исследованию.
🏗 Кейс: «Свайное поле» (тест на эвристику)
Агенту нужно было собрать таблицу свай из BIM-модели. Сложность: сваи были замаскированы под несущие колонны, среди которых были и обычные колонны.
🔹 Плохие модели (Mini/Nano): Не смогли выстроить логику исследования.
🔹 Рабочие модели (Flash): Справились, но с разным количеством шагов.
🔹 Процесс: Агент не знал, где лежат данные. Он изучил все свойства модели, нашел подходящие параметры, сформировал гипотезу, проверил её и уточнил выборку.
🚗 Классы моделей (как автомобили)
1. Класс C (Повседневный): Luna, DeepSeek Flash. Справляются с поиском и агрегацией данных, где цель понятна, но путь к ней не задан. Базовый рабочий уровень.
2. Класс E (Сложный): Нужен, если класс C теряет контекст в длинных задачах или ошибается в неоднозначных данных.
3. Класс F (Премиум): Оправдан только если он реально сокращает число ошибок или шагов по сравнению с классом E.
💸 Экономика: цена токена vs стоимость результата
Разница в цене токенов между моделями — от 20 до 100 раз. Но дешевая модель может делать 10 запросов там, где дорогая делает 2.
🔹 Критерий: Считайте стоимость успешной задачи (все расходы на тесты / количество удачных результатов).
🔹 Ловушка: Дорогая модель может быть выгоднее, если она убирает необходимость ручного исправления ошибок агентом.
⏱️ Время и контекст
🔹 Скорость: OpenAI и Gemini обычно быстрее Anthropic. Китайские модели (DeepSeek, Qwen) сильно зависят от провайдера.
🔹 Длинные задачи: BIM-данные быстро забивают контекст. Важно смотреть, замедляется ли модель и не «забывает» ли она условия в конце. Luna в тестах Tangl замедлялась меньше, чем DeepSeek Flash.
🖥 On-Premises (Закрытый контур)
Для локального развертывания Алексей рекомендует Qwen3.8-27B.
🔹 Математика памяти: 27 млрд параметров × 2 байта = ~54 ГБ только на веса.
🔹 Реальность: С учетом KV-кеша (память для внимания) и буферов нужно ориентироваться на 60+ ГБ видеопамяти. Квантование поможет сэкономить, но его нужно тестировать на ваших задачах.
Итог: Для большинства задач Tangl основным кандидатом остается Luna (баланс цены и скорости). DeepSeek Flash — альтернатива для open-source, а переход в старшие классы (E/F) требует строгого экономического обоснования.
Наш Telegram | Наш ВКонтакте
🏗 Кейс: «Свайное поле» (тест на эвристику)
Агенту нужно было собрать таблицу свай из BIM-модели. Сложность: сваи были замаскированы под несущие колонны, среди которых были и обычные колонны.
🔹 Плохие модели (Mini/Nano): Не смогли выстроить логику исследования.
🔹 Рабочие модели (Flash): Справились, но с разным количеством шагов.
🔹 Процесс: Агент не знал, где лежат данные. Он изучил все свойства модели, нашел подходящие параметры, сформировал гипотезу, проверил её и уточнил выборку.
🚗 Классы моделей (как автомобили)
1. Класс C (Повседневный): Luna, DeepSeek Flash. Справляются с поиском и агрегацией данных, где цель понятна, но путь к ней не задан. Базовый рабочий уровень.
2. Класс E (Сложный): Нужен, если класс C теряет контекст в длинных задачах или ошибается в неоднозначных данных.
3. Класс F (Премиум): Оправдан только если он реально сокращает число ошибок или шагов по сравнению с классом E.
💸 Экономика: цена токена vs стоимость результата
Разница в цене токенов между моделями — от 20 до 100 раз. Но дешевая модель может делать 10 запросов там, где дорогая делает 2.
🔹 Критерий: Считайте стоимость успешной задачи (все расходы на тесты / количество удачных результатов).
🔹 Ловушка: Дорогая модель может быть выгоднее, если она убирает необходимость ручного исправления ошибок агентом.
⏱️ Время и контекст
🔹 Скорость: OpenAI и Gemini обычно быстрее Anthropic. Китайские модели (DeepSeek, Qwen) сильно зависят от провайдера.
🔹 Длинные задачи: BIM-данные быстро забивают контекст. Важно смотреть, замедляется ли модель и не «забывает» ли она условия в конце. Luna в тестах Tangl замедлялась меньше, чем DeepSeek Flash.
🖥 On-Premises (Закрытый контур)
Для локального развертывания Алексей рекомендует Qwen3.8-27B.
🔹 Математика памяти: 27 млрд параметров × 2 байта = ~54 ГБ только на веса.
🔹 Реальность: С учетом KV-кеша (память для внимания) и буферов нужно ориентироваться на 60+ ГБ видеопамяти. Квантование поможет сэкономить, но его нужно тестировать на ваших задачах.
Итог: Для большинства задач Tangl основным кандидатом остается Luna (баланс цены и скорости). DeepSeek Flash — альтернатива для open-source, а переход в старшие классы (E/F) требует строгого экономического обоснования.
Наш Telegram | Наш ВКонтакте
Просмотры: 53