Продолжая вчерашнюю тему с Brendan Gregg, захотел сделать небольшую выжимку из его последнего выступления. Для начала поручил это ChatGPT. Результат, как обычно, не понравился, поэтому пишу сам.
🔹Пример промпта для анализа производительности
Соберите профиль использования CPU для <приложения> с помощью <непрерывного профилировщика> за последний час и найди 10 мест, которые можно оптимизировать. Не пишите код, составь таблицу с оптимизациями и ожидаемым приростом производительности на основе профиля использования CPU, отсортированную по приросту производительности, и добавь столбец с компромиссами и недостатками. Выполни поиск <какая-то ваша внутренняя база> и не добавляй предложения, если над ними уже работает кто-то другой или если по ним недавно было выпущено исправление. Используй субагентов.
После составления таблицы оцениваем результаты и даём команду на написание кода:
Реализуй варианты 2,3,7. Используй субагенты. Тестируй на <тестовая машина> и исправляй проблемы, если появятся. Посоле этого используй тесты с прода, и если они все проходят, создавай PRs. Закончи ссылками на PRs.
🔹Структура промптов для оптимизации
1⃣ Когда. Указываем, когда наблюдаются проблемы: прямо сейчас, по уведомлениям, по метрикам из мониторинга, постоянно.
2⃣ Откуда берём данные. Указываем инструменты для сбора данных: трейсы из мониторинга, sysstat, perf, Ftraces, утилиты eBPF и т.д.
3⃣ Методы анализа. Используемые методологии: временные корреляции, метод USE, анализ задержек и т.д.
4⃣ Что делаем: предлагаем изменения, пишем фиксы, уведомляем.
🔹Ещё примеры промптов
Запусти perf stat -d -a -- sleep 10 и обобщи вывод для новичка, внеси рекомендуемые исправления, как-будто ты специалист по perf. Будь краток. Приведи результаты perf.
Запусти klockstat (/usr/share/bcc/tools) на 10 секунд и интерпретируй вывод: объясни, что означают полученные данные, почему они важны и насколько. Приведи необработанный результат.
При передаче данных агенту, учитывайте их формат и необходимые токены на обработку. Например, Flame Graphs можно передать как PNG, SVG или обычный TXT.
🔹Промт для вывода инфографики
Проанализируй производительность диска на тестовом сервере с помощью стандартных утилит и eBPF, нарисуй инфографику, чтобы представить состояние и активность диска. Соотношение сторон 3:1.
На картинках слишком много текста, трудно воспринимать. (Я, кстати, замечаю эту особенность ChatGPT. Не люблю его инфографику. Сразу обращаю внимание, если кто-то использует. Особенно на сайтах и роликах, где все превью сделаны в ChatGPT и находятся на одной странице.)
🔹Использование tools
Зачем нужны tools:
- Повторяемость
- Точность, безопасность, надёжность
- Понятны накладные расходы от использования
- Снижение потребления токенов
При оптимизации вывода tools стоит учитывать:
- Чем выше детализация, тем больше вероятность решить проблему
- Чем ниже детализация, тем проще воспринимается человеком
- Затраты токенов на обработку
🔹Проблемы с автоматической работой агентов
Не решены многие моменты с работой агентов:
- Не замедлит ли он во время тестов продакшн?
- Может ли какой-то инструмент привести к сбою в работе?
- Нет ли в тулах какой-нибудь вирусни?
- Не соберёт ли он чувствительные данные?
Как это решать:
- Проверка перед запуском команд?
- Изолированные контейнеры?
- Передавать заранее собранные данные?
🔹 Как измерять качество самого ИИ?
Оценить работу агента очень важно и сложно. На более чем 100 учебных задачах точность разных skills составила 17,4%, 41,3% и 79,8%. После улучшений один вариант показал 86,2%, но результаты оказались некорректными. То есть без надёжных проверок результатов агент может выглядеть умнее, чем он есть.
💡 Будущее Linux performance engineering - не замена perf и eBPF чат-ботом, а автоматизированный цикл «собрать данные → объяснить → предложить → проверить → исправить». Пока без инженера не обойтись. Выбор методологии, ограничений по безопасности и проверка человеком результатов пока ещё актуальны.
#ai #perfomance