Фича подтверждения выхода из урока увеличила конверсию завершения на 5-8%

1. Краткое содержание

Мы внедрили механизм удержания пользователей в уроках и улучшили метрику CR_lessons_end. Проведенные A/B тесты на iOS и Android показали следующие результаты: на iOS конверсия в завершение урока увеличилась на +5%. Из тех, кто видел поп-ап, 41,11% хотя бы раз нажали на кнопку «продолжить урок», а 68,69% хотя бы раз нажали на кнопку «выйти». Для Android выросла конверсия в завершения урока на +8% для новых юзеров и +2% для платящих.

2. О проекте

Мы хотили значительно повлиять на конверсию завершения урока, уменьшив количество прерываний во время его прохождения. Для этого мы решили пересмотреть текущее поведение выхода из урока на Android и iOS.

2.1. Текущее поведение

На экране урока расположена кнопка выхода “X”. При её нажатии пользователь выходит из урока без дополнительных препятствий и при возвращении продолжает с того места, на котором остановился. Однако, такой подход может вводить пользователя в заблуждение, так как одни уроки будут начинаться сначала, а другие продолжаться с места остановки.

2.2. Гипотеза

Если мы перестанем сохранять прогресс урока и заранее предупредим об этом пользователя, это может значимо повысить метрику CR_lessons_end.

Для проверки данной гипотезы мы хотим запустить A/B тест, в котором:

1. Контрольная группа (А) осталась без изменений: сохранится текущая логика сохранения прогресса урока при выходе, отсутствие подтверждения выхода из урока.
2. Тестовая группа (B) не будет сохранять прогресс пользователя, при выходе из урока пользователи увидят модальное окно с предупреждением.

Контролирующие метрики:

1. lessons_end (среднее количество законченных уроков)
2. lessons_start (среднее количество начатых уроков)
3. count_days (среднее количество активных дней)

3. Дизайн

Пользователи увидят окно с предупреждением, что при выходе они потеряют весь прогресс и им придётся начинать сначала. Это должно остановить часть пользователей и изменить их решение о прекращении занятий. Если пользователь вышел сразу с первого экрана задания, мы отпустим его без предупреждения, так как он не сделал полезного действия и не вовлёкся в урок. Модальное окно с предупреждением будет появляться только при нажатии на иконку выхода, начиная со второго урока.

5. Вывод

Потратив минимум ресурсов команды разработки и внедрив небольшое изменение, мы смогли улучшить основные метрики нашей команды.