На работе у меня это, по сути, уже случилось. Там можно только корпоративные модели и ограниченный набор разрешённых агентов. Я перенёс туда личный харнес - и он перестал работать.
Корпоративные модели open-source, слабее топовых - примерно уровень Haiku. Топовому агенту даёшь задачу, и он сам всё исследует, сделает, прогонит тесты и проверки. Корпоративная модель уходила в бесконечный цикл на часы, а потом выдавала результат, который не соответствовал постановке. Все мои скиллы просто перестали работать.
Я разбирался, как объяснять задачу конкретной модели. Но больше всего помогла декомпозиция. Разработка и так проходит стадии - я их и ввёл: системный анализ, имплементация, приёмка и тестирование, релиз-менеджмент - вместе с DevOps и всей эксплуатацией. Скоуп сузил до технического долга и инфраструктуры: продуктовые задачи с нахрапа слишком раздувают объём.
Сначала была ещё роль проджект-менеджера - двигать тикеты по статусам на доске. Процесс запустился, но задачи то и дело застревали: не те статусы, не те переводы. Я удалил эту роль, и всё заработало. Теперь следующая роль берёт задачу не по статусу тикета, а по состоянию, которое выставила предыдущая. У живого проджект-менеджера работы куда больше - у моего она была одна, и это оказалось лишним звеном.
Сильная модель прощает отсутствие архитектуры. Слабая - нет.
Теперь переношу это обратно. Личный харнес был заточен под одного агента и одну модель, а сейчас работает минимум на двух агентах от двух вендоров - примерно с одинаковым качеством.
А у вас что сломается первым, если завтра останется только модель послабее?