Продолжая вчерашнюю тему с Brendan Gregg, захотел сделать небольшую выжимку из его последнего выступления. Для начала поручил это ChatGPT. Результат, как обычно, не понравился, поэтому пишу сам.



🔹Пример промпта для анализа производительности

Соберите профиль использования CPU для <приложения> с помощью <непрерывного профилировщика> за последний час и найди 10 мест, которые можно оптимизировать. Не пишите код, составь таблицу с оптимизациями и ожидаемым приростом производительности на основе профиля использования CPU, отсортированную по приросту производительности, и добавь столбец с компромиссами и недостатками. Выполни поиск <какая-то ваша внутренняя база> и не добавляй предложения, если над ними уже работает кто-то другой или если по ним недавно было выпущено исправление. Используй субагентов.

После составления таблицы оцениваем результаты и даём команду на написание кода:

Реализуй варианты 2,3,7. Используй субагенты. Тестируй на <тестовая машина> и исправляй проблемы, если появятся. Посоле этого используй тесты с прода, и если они все проходят, создавай PRs. Закончи ссылками на PRs.

🔹Структура промптов для оптимизации

1⃣ Когда. Указываем, когда наблюдаются проблемы: прямо сейчас, по уведомлениям, по метрикам из мониторинга, постоянно.
2⃣ Откуда берём данные. Указываем инструменты для сбора данных: трейсы из мониторинга, sysstat, perf, Ftraces, утилиты eBPF и т.д.
3⃣ Методы анализа. Используемые методологии: временные корреляции, метод USE, анализ задержек и т.д.
4⃣ Что делаем: предлагаем изменения, пишем фиксы, уведомляем.

🔹Ещё примеры промптов

Запусти perf stat -d -a -- sleep 10 и обобщи вывод для новичка, внеси рекомендуемые исправления, как-будто ты специалист по perf. Будь краток. Приведи результаты perf.



Запусти klockstat (/usr/share/bcc/tools) на 10 секунд и интерпретируй вывод: объясни, что означают полученные данные, почему они важны и насколько. Приведи необработанный результат.

При передаче данных агенту, учитывайте их формат и необходимые токены на обработку. Например, Flame Graphs можно передать как PNG, SVG или обычный TXT.

🔹Промт для вывода инфографики

Проанализируй производительность диска на тестовом сервере с помощью стандартных утилит и eBPF, нарисуй инфографику, чтобы представить состояние и активность диска. Соотношение сторон 3:1.

На картинках слишком много текста, трудно воспринимать. (Я, кстати, замечаю эту особенность ChatGPT. Не люблю его инфографику. Сразу обращаю внимание, если кто-то использует. Особенно на сайтах и роликах, где все превью сделаны в ChatGPT и находятся на одной странице.)

🔹Использование tools

Зачем нужны tools:
- Повторяемость
- Точность, безопасность, надёжность
- Понятны накладные расходы от использования
- Снижение потребления токенов

При оптимизации вывода tools стоит учитывать:
- Чем выше детализация, тем больше вероятность решить проблему
- Чем ниже детализация, тем проще воспринимается человеком
- Затраты токенов на обработку

🔹Проблемы с автоматической работой агентов

Не решены многие моменты с работой агентов:
- Не замедлит ли он во время тестов продакшн?
- Может ли какой-то инструмент привести к сбою в работе?
- Нет ли в тулах какой-нибудь вирусни?
- Не соберёт ли он чувствительные данные?

Как это решать:
- Проверка перед запуском команд?
- Изолированные контейнеры?
- Передавать заранее собранные данные?

🔹 Как измерять качество самого ИИ?

Оценить работу агента очень важно и сложно. На более чем 100 учебных задачах точность разных skills составила 17,4%, 41,3% и 79,8%. После улучшений один вариант показал 86,2%, но результаты оказались некорректными. То есть без надёжных проверок результатов агент может выглядеть умнее, чем он есть.

💡 Будущее Linux performance engineering - не замена perf и eBPF чат-ботом, а автоматизированный цикл «собрать данные → объяснить → предложить → проверить → исправить». Пока без инженера не обойтись. Выбор методологии, ограничений по безопасности и проверка человеком результатов пока ещё актуальны.

#ai #perfomance
Просмотры: 922
Открыть в MAX Сообщить о неточности

Репосты публикации

Публикация канала

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти