Станислав Лялин | Инженерия с ИИ

В последнее время обратил внимание, что многие люди стали ответственнее относиться к своему здоровью: отказываются от вредных привычек, занимаются спортом, следят за питанием, регулярно проходят обследования.

Мне нравится такой осознанный подход к жизни: хочется надолго сохранить здоровье и активность. Мы в семье тоже стараемся жить здоровой и интересной жизнью. Что-то даётся легко, над чем-то приходится потрудиться, а к чему-то ещё только предстоит привыкнуть. Решил разобраться, какие полезные привычки уже стали частью моей жизни. Список получился немаленький.

1. Каждое утро в нашей семье начинается с чайной церемонии. Она длится около 30 минут и помогает спокойно проснуться, настроиться на день, спланировать его и поговорить о важных вещах, на которые в дневной суете редко находится время.
2. Я много хожу пешком. До работы идти около 30 минут, и эти прогулки мне в радость: специально выбираю разные маршруты, обычно хожу энергично, иногда слушаю книги или музыку.
3. Моё рабочее место на 13-м этаже, и я уже несколько лет поднимаюсь и спускаюсь по лестнице. Начал ходить пешком во времена ковида, чтобы реже пользоваться лифтом, а потом это вошло в привычку. Заметил, что в походах поднимаюсь в горы без одышки.
4. После энергичной прогулки до работы я принимаю контрастный душ. Это уже ежедневный ритуал. В последние годы простуды в межсезонье, если и случаются, проходят легко и не выбивают меня из рабочего ритма.
5. Я часто купаюсь. В этом сезоне насчитал восемь разных мест, в некоторых купался неоднократно.
6. В течение рабочего дня занимаюсь на турнике и делаю самомассаж. Так что турник у меня - не вешалка для одежды 😊 Составил программу занятий с постепенно растущей нагрузкой, следую ей и отслеживаю повторения в приложении. Чувствую себя как заведённая пружина. Отличное чувство!
7. Отдельно занимаюсь растяжкой. Упражнения, особенно для спины, подбирал под себя, прислушиваясь к ощущениям. Записал 16-минутное аудио с зарядкой: оно помогает не пропускать упражнения и выполнять их в нужном ритме. Первое время было ощущение, будто расшевелил что-то древнее, застоявшееся. Но с каждым разом тело становилось гибче и податливее. Даже в зеркале вижу, что амплитуда многих движений выросла, а самочувствие улучшилось.

А про остальные полезные привычки расскажу в следующем посте.

Для себя я понял, что главное - постоянство. Полезные занятия нужно разумно встроить в свой день, и тогда не придётся каждый раз себя заставлять. И ещё одно важное понимание: стоит прислушиваться к себе и выбирать привычки, которые помогают поддерживать здоровье и придают сил. У каждого они будут свои.

С появлением ИИ-агентов стало возможным строить сложные и эффективные информационные системы даже с небольшими ресурсами, поэтому такие решения становятся доступны среднему и малому бизнесу. На примере одной своей задачи - распознавания телефонных звонков - расскажу, как была построена такая система. Бизнесу нужно было, чтобы результат распознавания был качественным, недорогим, минимально зависел от внешних факторов, и была возможность мониторинга работы.

Поэтому я разделил систему на оркестратор и GPU-worker.

• Worker выполняет тяжёлую работу: запускает ML-модели, распознаёт записи и возвращает результат. На GPU такие задачи идут кратно быстрее, но постоянно арендовать GPU-сервер дорого. Поэтому worker включается только при наличии очереди и после обработки выключается.

• Оркестратор живёт отдельно на обычном недорогом сервере. Он постоянно доступен: ведёт очередь, управляет запуском GPU, принимает результаты, публикует их и показывает статус. Размещать эту логику на временной GPU-машине нельзя: замороженный сервер не сможет сам себя разбудить, а работающий в простое GPU будет создавать ненужные расходы.

• Сервисы развёрнуты в Docker. Это даёт переносимость: систему можно поднять у другого хостинга без ручной сборки окружения. Контейнеры также упрощают мониторинг, перезапуск и восстановление после сбоев.

• PostgreSQL - единый источник истины. В нём хранятся задания, попытки обработки, результаты, публикации и состояние GPU. Задание выдаётся worker-у атомарно, поэтому два worker-а не получат одну работу. Уникальные ограничения и идемпотентные ключи защищают от повторов при сетевых сбоях. Публикация работает через паттерн outbox: сначала намерение надёжно записывается в БД, затем отдельный процесс доставляет результат с повторами без дублей.

• Наблюдаемость нужна не для отчёта, а для повышения надёжности системы. Дашборд показывает очередь, статусы worker-а и GPU, ошибки и производительность. В Telegram сразу приходят сообщения о потере worker-а, ошибке запуска или остановки. По идентификатору события можно быстро найти связанные журналы, разобраться в причине и быстро принять меры по перезапуску или доработке.

• Внешний контур контроля работает независимо от worker-а: следит за работоспособностью worker-а. Если worker завис или не остановился, он отправляет уведомление и запускает аварийную заморозку GPU. Это защищает бюджет от незаметных списаний и не оставляет систему без сигнала о проблеме.

На первой схеме - путь задания от очереди до публикации результата. На второй - слайд из моей презентации, где я рассказывал про защиту от бесконтрольных списаний средств на сервере с видеокартой.

В прошлом посте я рассказывал о том, почему полезно хранить контекст вне памяти сессии. Сегодня продолжаем тему и поговорим, почему контекст проекта полезно раскладывать не в одну огромную папку, а как дерево.

На верхнем уровне - короткая сводка: цель проекта, текущий этап, главные ограничения и ссылки. Она нужна агенту почти в каждой задаче или новой сессии в браузере, чтобы быстро понять о чём речь, но без деталей.

Ниже - отдельные ветки: исследования, планы, принятые решения. Внутри - исходные материалы: результаты экспериментов, детальные планы, записи обсуждений.

Зачем это нужно? В новую сессию не надо загружать всю историю. Достаточно передать карту проекта и нужную ветку. Агент быстрее находит важное, а мы не тратим контекстное окно на старые детали.

Плоская папка из сотен файлов превращается в архив. Иерархия делает её рабочей памятью: от общего к конкретному. И ещё одна причина, почему я начал организовывать память именно таким образом - в браузерной версии ChatGPT есть ограничение на количество файлов контекста. Чтобы уложиться в это ограничение и чтобы не переполнять контекстное окно чата, я и начал изначально использовать такой подход.

На фото - диаграмма такой структуры и скриншот из моего реального рабочего каталога контекстов.

Сегодня хочу рассказать про то, почему необходимо контексты для агента хранить отдельно вне сессии. Это часть моего доклада в Герценке, про который я писал в прошлом посте.

Память современных агентов - так называемое контекстное окно - составляет 200-400 тысяч токенов или примерно 1 том "Войны и мира". Это объём текста, который модель может держать в памяти. И кажется, что этого много. Но бывает, что сессия изобилует блоками кода, обсуждениями разных, порой не связанных друг с другом вопросов. И тогда контекстное окно может переполниться, модель что-то потеряет из виду, а что-то может ошибочно посчитать важным или, наоборот, неважным. Это может привести к неоптимальным решениям, и именно такое поведение я стал наблюдать во время сессий общения с ChatGPT.

Тогда я решил перестроить процесс и вести работу во временных чатах, а в конце дня выгружать контекст беседы в markdown-файлы, которые у меня упорядочены по дате, а в имени содержат суть диалога. И теперь, если мне нужно было продолжить общение с какой-то начальной точки, я просто отдавал модели нужные контексты, и мы продолжали работу.

Такой подход дал мне 2 преимущества:
1. контекстное окно не переполнялось и модель не начинала "сходить с ума".
2. история общения сохранялась в постоянной памяти на диске, и я мог использовать её дальше в работе, например, для создания презентаций, постанализа агентом.