Как найти в интернет-магазине падение конверсии на 96% и превратить его в рост
Падение конверсии обычно требует одного: быстро найти причину и вернуть её к обычному уровню. На примере интернет-магазина разберём, как не остановиться на устранении сбоя и в ходе того же анализа обнаружить дополнительную точку роста, которую можно проверить A/B-тестом.
Нужно было быстро вернуть конверсию пользователей Android к обычному уровню
Продуктовой команде интернет-магазина нужно было не только найти причину падения покупок на Android, но и быстро решить проблему: определить место сбоя, устранить его и вернуть конверсию с 0,57% к обычному уровню.
Такая ситуация произошла в магазине электроники и бытовой техники с сайтом, приложением и аудиторией около 3 млн активных пользователей в месяц. Когда в «Динамике» — платформе продуктовой аналитики — обновились данные о покупках за предыдущий день, встроенный ИИ-ассистент Дина сама обнаружила аномалию и сразу предупредила команду: пользователи Android совершили 2 покупки вместо ожидаемых 51 — на 96,1% меньше. Падение уже начало влиять на выручку.
Как распределились роли Дины, «Динамики» и аналитика
В этом кейсе у платформы и встроенного в неё ИИ-ассистента разные роли.
«Динамика» — платформа продуктовой аналитики, которая собирает и показывает данные продукта и предоставляет инструменты для исследования поведения пользователей: воронки, записи сессий, корреляционный анализ, A/B-тесты и другие возможности.
Дина — встроенный в платформу ИИ-ассистент. Она непрерывно анализирует данные в фоне, самостоятельно обнаруживает аномалии, объясняет причины изменений, помогает находить точки роста и предлагает следующий шаг исследования. Дина работает с контекстом конкретного продукта — его бизнес-моделью, метриками и историей исследований.
Поскольку Дина работает с данными внутри «Динамики», её выводы можно сразу проверить с помощью инструментов той же платформы — без отдельной выгрузки данных и повторной сборки контекста.
При таком разделении ролей Дина предлагает, что проверить дальше, а аналитик проверяет её выводы и принимает решения. Это помогает команде быстрее перейти от обнаружения проблемы к действию.
Дина сама обнаружила аномалию и нашла основное падение на Android
Утром после обновления данных о покупках за предыдущий день Дина обнаружила аномалию: число покупок оказалось на 39,3% ниже ожидаемого. Разбивка по операционным системам показала, что основное падение приходится на Android. Через «Динамику» Дина сразу предупредила аналитика.
Так вместо самостоятельного поиска источника проблемы аналитик получил конкретную отправную точку для анализа — проблемный Android-сегмент.
На вопрос «Что произошло?» Дина ответила, опираясь на данные интернет-магазина:
Основное отклонение приходится на Android: 2 покупки вместо ожидаемых 51 — на 96,1% меньше. Падение началось вчера утром. Похоже на технический сбой на финальном этапе оформления заказа. Показать воронку по этому сегменту?
Воронка и записи сессий помогли найти сбой оплаты
После этого «Динамика» построила воронку только по проблемному сегменту. Анализ показал, что пользователи без проблем доходили до оформления заказа, а основные потери приходились на переход «Оформление — Оплата».
Вместо общей задачи «разобраться с падением конверсии» команда получила конкретную область проверки — переход от оформления заказа к оплате. В Android-сегменте покупку завершили только 2 пользователя, а 213 выбыли на финальном этапе. Итоговая конверсия составила 0,57% против 8,40% в базовой группе, с которой сравнивали Android-сегмент.
Чтобы увидеть, что именно происходило на этом шаге, аналитик просмотрел записи нескольких пользовательских сессий. Пользователи Android в мобильном браузере нажимали кнопку «Оплатить», но она не реагировала. Так была установлена непосредственная причина падения конверсии.
Корреляционный анализ вывел на гипотезу о доставке
На этом анализ причины резкого падения был завершён. Но во время просмотра записей сессий аналитик заметил ещё один повторяющийся сценарий: после заполнения адреса пользователи переходили на страницу «Доставка», а некоторые затем покидали сайт, хотя корзина уже была собрана.
У аналитика возникло предположение, что информация о доставке может влиять на решение пользователя о покупке.
Чтобы проверить это предположение и понять, был ли замеченный сценарий единичным или устойчивым, аналитик перешёл к корреляционному анализу в «Динамике». Отчёт показал, какие действия чаще совершали пользователи, завершившие покупку:
- просматривали отзывы — в 25 раз чаще;
- увеличивали изображения товаров — в 2,6 раза чаще;
- открывали информацию о доставке — в 21 раз чаще.
Среди найденных связей внимание команды больше всего привлекла доставка: пользователи, завершившие покупку, открывали информацию о ней в 21 раз чаще. Это указывало на то, что информация о доставке может быть важна при принятии решения о покупке.
На тот момент магазин показывал только интервал «Доставка 1–3 дня». Сопоставив эту формулировку с результатами анализа, Дина предложила гипотезу: если вместо широкого интервала указать точную дату доставки, пользователю будет проще принять решение о покупке.
Корреляционный анализ показал направление для дальнейшей проверки, но не доказывал влияние точной даты на конверсию. Поэтому гипотезу Дины предстояло проверить с помощью A/B-теста.
Два решения: исправить оплату и проверить гипотезу о доставке
По итогам анализа команда приняла два решения: устранить технический сбой и проверить продуктовую гипотезу, предложенную Диной.
Первое — техническое. Команда оперативно исправила ошибку в работе кнопки «Оплатить» у пользователей Android в мобильном браузере.
Второе — продуктовое. Команда решила проверить предложенную Диной гипотезу: повлияет ли точная дата доставки на вероятность покупки. Для этого в «Динамике» запустили A/B-тест.
Контрольная группа продолжала видеть сообщение:
Доставка 1–3 дня.
В тестовой группе отображалась конкретная дата доставки, рассчитанная для каждого пользователя:
Доставим послезавтра, 21 июля.
Так один анализ привёл сразу к двум решениям: команда устранила технический сбой и проверила дополнительную продуктовую гипотезу.
Точная дата доставки повысила конверсию на 26,24%
После исправления кнопки «Оплатить» пользователи Android в мобильном браузере снова смогли завершать покупки, а конверсия вернулась к обычному для интернет-магазина уровню.
Дополнительно команда проверила гипотезу о точной дате доставки. A/B-тест продолжался 14 дней, в нём участвовали 154 976 пользователей. Тест показал:
- конверсия в контрольной группе составила 0,96%, в тестовой — 1,21%;
- абсолютный прирост составил 0,25 процентного пункта, относительный — 26,24%;
- вероятность того, что тестовый вариант действительно лучше контрольного, превысила 99,9%. Результат был статистически значимым.
Дина интерпретировала результаты эксперимента: тестовый вариант победил, а полученный эффект был статистически значимым. ИИ-ассистент рекомендовал показывать точную дату доставки всем пользователям.
Таким образом, команда решила исходную задачу и получила дополнительный результат: устранила техническую причину падения конверсии, а A/B-тест подтвердил, что указание точной даты доставки повышает конверсию в покупку на 26,24% относительно контрольного варианта.
Обычный дашборд показывает изменение метрики, но дальнейший результат зависит от того, насколько быстро команда поймёт причину и начнёт действовать. В этом кейсе Дина работала с продуктовыми данными компании внутри «Динамики» и предлагала, что проверить дальше, аналитик проверял её выводы, а решения принимала команда. Такой подход помог не только вернуть потерянную конверсию, но и проверить новую точку роста.
