Библиотека тестировщика

Нагрузочное тестирование NDR: как проверить реальную производительность


Наша группа продуктовых исследований регулярно тестирует классические средства сетевой защиты информации — NGFW, IPS. Для этого существуют давно отработанные практики. Например, практически все методики проверки NGFW в зарубежных и отечественных компаниях опираются на стандарты RFC 9411 и RFC 2544 от Internet Engineering Task Force.К сожалению, с NDR всё иначе: открытых стандартов нагрузочного тестирования для этого класса СЗИ, кажется, просто не существует, а готовые сценарии от NGFW для них не совсем подходят. Поэтому мы разработали собственную методику и делимся ею с ИБ-сообществом.В этой статье мы не сравниваем конкретные NDR между собой и не доказываем, что один продукт «быстрее» другого. Цель другая: показать воспроизводимый подход к нагрузочному тестированию NDR. Материал пригодится инженерам ИБ, архитекторам SOC, специалистам по тестированию СЗИ, пресейлам и техлидам — всем, кому нужно получить реальные цифры устойчивости NDR под нагрузками, а не «маркетинговую» пропускную способность.Разберем, чем такое тестирование отличается от классических испытаний NGFW и IPS, как собрать стенд, какие метрики снимать на стороне самого NDR и почему недостаточно статистики генератора трафика. Покажем, как формулировать критерии прохождения теста и как отделять ограничения продукта от ограничений стенда. В конце покажем практический пример того, как методика помогает найти узкое место в производительности NDR.  Читать далее

https://habr.com/ru/companies/bastion/articles/1097820/?utm_campaign=1097820&utm_source=habrahabr&utm_medium=rss

Почему нельзя просто заменить зарубежную систему на российский аналог


При замене промышленной информационной системы обычно проверяют, перенесены ли данные и работают ли функции. Сложнее понять, смогут ли подразделения после замены по-прежнему делать общую работу. Разбираю это на двух примерах из своей практики: замена ERP и ТОиР, где незаметные связи всплыли только при переходе, и согласование ремонтного графика АЭС с программой неразрушающего контроля, где сотни тысяч элементов металла нужно увязать с ремонтными окнами. Читать далее

https://habr.com/ru/articles/1100414/?utm_campaign=1100414&utm_source=habrahabr&utm_medium=rss

ИИ не только пишет тесты: как ручной QA использовал агента для аудита автотестов


Перед переездом автотестов с Java на .NET мы решили разобраться, что действительно стоит переносить. Я ручной QA и для этой задачи подключил ИИ-агента: дал ему доступ к репозиториям и TestIT, задал критерии и проверял его рекомендации. За две недели мы провели аудит примерно 2600 тестов и собрали статистику по базе из 6500. Расскажу, как устроили процесс, находили дубли и выбирали приоритеты с помощью P85. Читать далее

https://habr.com/ru/articles/1099782/?utm_campaign=1099782&utm_source=habrahabr&utm_medium=rss

ИИ не только пишет тесты: как ручной QA использовал агента для аудита автотестов


Перед переездом автотестов с Java на .NET мы решили разобраться, что действительно стоит переносить. Я ручной QA и для этой задачи подключил ИИ-агента: дал ему доступ к репозиториям и TestIT, задал критерии и проверял его рекомендации. За две недели мы провели аудит примерно 2600 тестов и собрали статистику по базе из 6500. Расскажу, как устроили процесс, находили дубли и выбирали приоритеты с помощью P85. Читать далее

https://habr.com/ru/articles/1099782/?utm_campaign=1099782&utm_source=habrahabr&utm_medium=rss

Синтетические данные для тестирования: пошаговый гайд


Как построить конвейер обезличенных синтетических данных и убедиться, что они не врут? Собрал полезную статью для руководителей разработки и QA, продакт-менеджеров и всех, кто работает с тестовым контуром.Я уже более 10 лет работаю с тестовыми средами, и раньше делал ошибку: выгружал из прода 200 000 строк, менял фамилии на обезличенные шаблоны, и считал, что все окей. А затем как-то заметил, что в выгрузке остались номера договоров. Мне повезло, что именно я нашел их первым, особенно учитывая всё более суровую регуляторку. С тех пор я отношусь к тестовым данным также серьезно, как к проду. Читать далее

https://habr.com/ru/articles/1100276/?utm_campaign=1100276&utm_source=habrahabr&utm_medium=rss

Синтетические данные для тестирования: пошаговый гайд


Как построить конвейер обезличенных синтетических данных и убедиться, что они не врут? Собрал полезную статью для руководителей разработки и QA, продакт-менеджеров и всех, кто работает с тестовым контуром.Я уже более 10 лет работаю с тестовыми средами, и раньше делал ошибку: выгружал из прода 200 000 строк, менял фамилии на обезличенные шаблоны, и считал, что все окей. А затем как-то заметил, что в выгрузке остались номера договоров. Мне повезло, что именно я нашел их первым, особенно учитывая всё более суровую регуляторку. С тех пор я отношусь к тестовым данным также серьезно, как к проду. Читать далее

https://habr.com/ru/articles/1100276/?utm_campaign=1100276&utm_source=habrahabr&utm_medium=rss

ИИ-агенты в QA: как я выстроил процесс от анализа требований до CI


Как версионируемый QA-репозиторий помогает маршрутизировать контекст, повторно использовать процессы и сохранять обоснование выбора тестов. Читать далее

https://habr.com/ru/articles/1099374/?utm_campaign=1099374&utm_source=habrahabr&utm_medium=rss

Проходим тесты hh.ru с помощью локального ИИ


На сайте Хэдхантер можно пройти тесты навыков, результаты которых должны выделять успешных кандидатов среди «основной массы». Эти же тесты входят в национальную систему подтверждения ИТ‑компетенций, а на Госуслугах за них можно получить электронный сертификат. Звучит солидно и крайне полезно, но насколько вообще репрезентативны эти тесты в современных условиях бума ИИ? Давайте разберемся. Меня зовут Виктор, я разработчик с многолетним опытом (про качество опыта говорить ничего не буду, оставим это за скобками). Знаю Delphi, C++ и Java/Kotlin, но особо не разбираюсь в веб‑разработке, JavaScript, Python и искусственном интеллекте. Весь описанный ниже результат я получил с помощью браузерной версии Gemini: просто следовал советам ИИ, запускал скрипты, отчитывался об ошибках, и так по кругу. Мои личные правки минимальны. В целом ничего сложного здесь нет: хоть «домохозяйки» едва ли повторят, но любой начинающий айтишник справится, а более опытные ребята и девчата смогут сделать во сто крат лучше. Читать далее

https://habr.com/ru/articles/1099994/?utm_campaign=1099994&utm_source=habrahabr&utm_medium=rss

Как я без опыта разработки написал первые автотесты на Kotlin за месяц


Сейчас встречаю много тестировщиков, которые работают только руками и пока не представляют, как писать автотесты. Я сам был одним из них. Но время такое — нейронки прут во все дела, и подход «я только мануальщик» потихоньку устаревает. Если ты QA и до сих пор не притронулся к автоматизации, то самое время задуматься, пока за тебя не задумались другие. Особенно если ты в Сбере: у тебя под рукой те же самые инструменты, которыми пользуюсь я, банк их одобряет и активно пилит дальше, чтобы все работали быстрее и качественнее. Короче, надеюсь, мой опыт кого-то подтолкнет попробовать то же самое.Работаю в Сбере и Домклике, занимаюсь тестированием. Кодить меня никто не учил — максимум, что я знал, это базовые штуки на Python, и то не фонтан. Но за месяц я умудрился разобраться с Platform V Autotest Framework — платформой для автоматизации как бэкенда, так и фронтенда, — въехал в основы Java и Kotlin и накатал первые 12 автотестов. Благодаря им критический регресс сжался с часа до десяти минут.В этой статье расскажу, как это получилось, что помогло и с какими трудностями я столкнулся. Читать далее

https://habr.com/ru/companies/domclick/articles/1092854/?utm_campaign=1092854&utm_source=habrahabr&utm_medium=rss

Автоматизация тестирования: возьми от IT всё


Привет! Меня зовут Антон, я специалист по автоматизации тестирования (AQA) в 2ГИС.В автоматизацию я пришёл из Python backend-разработки. Так вышло, что среди обычных задач мне захотелось попробовать написать e2e-тесты. В итоге тестирование стало моей основной работой. Обычно про карьерный путь рассказывают в обратном направлении: начал с тестирования, а потом перешёл в разработку. У меня получилось иначе. Поэтому я хочу ответить себе и вам на вопрос: «Почему я продолжаю работать в тестировании, не переходя обратно в разработку?»Для этого расскажу, из чего складывается моя работа и что обычно остаётся незримым за формулировкой «пишет автотесты». Надеюсь, что после этой статьи вы посмотрите на AQA немного иначе 🙃 Читать далее

https://habr.com/ru/companies/2gis/articles/1097934/?utm_campaign=1097934&utm_source=habrahabr&utm_medium=rss