Александр Краснобаев написал об а/б-тестах на малом трафике.

— Нельзя выбирать один из вариантов, если он показал рост конверсии с 1,5 до 2% при 200 визитах (из 3 заявок стало 4);
— Надо тестировать изменения, при которых рост может быть в разы. Например, конкретное обещание: вы продаёте бесплатную консультацию или разбор с понятным результатом;
— Структура страницы и тип медиа (когда посетитель увидит цену и отзывы, живое видео продукта недалеко от первого экрана), отзывы (нужны, вопрос в формате: текст и фото, скриншот переписки, видео), оффер (цена, гарантия, бонусы);
— Тестируйте не меньше 2 недель, чтобы захватить будние и выходные, новых и вернувшихся посетителей;
— Смотрите на результаты сразу, чтобы отловить баги в настройках;
— Не прерывайте тест, увидев, что какой-то вариант побеждает, так как лидер может измениться;
— Оба варианта тестируйте одновременно, случайно распределяя по ним трафик. Если пробовать их по очереди, результат могут исказить непредсказуемые кратковременные факторы вроде погоды;
— Бесплатный способ провести тест: 2 лендинга с разными адресами и эксперимент в Яндекс Директе, либо «Эксперименты» в Метрике, которые работают на Вариокубе;
— Оценивайте результаты отдельно для десктопа и мобайла. Важно, какой из вариантов выигрывает для основного канала трафика;
— В один момент времени на одном пути пользователя проводите один тест, чтобы понять, что именно сработало;
— Если гипотез много, придётся приоритизировать по влиянию на результат, уверенности, что сработает, и простоте реализации;
— Оценивайте результат комплексно. На «бесплатный аудит» будет больше заявок, но меньше людей, готовых заплатить. Скидки могут снизить прибыль;
— Дополнительно можно смотреть сессии в Вебвизоре и карты скролинга (докручивают ли люди вообще до конкретного блока);
— Также при малом трафике по каждой заявке можно выяснить у клиента, кто это, что ему нужно и сколько он готов заплатить.

#ab_testing