Фича подтверждения выхода из урока увеличила конверсию завершения на 5-8%
Моя роль: Senior Product Designer.
Команда: PM, QA, iOS Developer, Back-end, Analyst.
Инструменты: Figma, ProtoPie, Confluence, Jira, Tableau.
Год: 2023
1. Краткое содержание
Мы внедрили механизм удержания пользователей в уроках и улучшили метрику CR_lessons_end. Проведенные A/B тесты на iOS и Android показали следующие результаты: на iOS конверсия в завершение урока увеличилась на +5%. Из тех, кто видел поп-ап, 41,11% хотя бы раз нажали на кнопку «продолжить урок», а 68,69% хотя бы раз нажали на кнопку «выйти». Для Android выросла конверсия в завершения урока на +8% для новых юзеров и +2% для платящих.
2. О проекте
Мы хотили значительно повлиять на конверсию завершения урока, уменьшив количество прерываний во время его прохождения. Для этого мы решили пересмотреть текущее поведение выхода из урока на Android и iOS.
2.1. Текущее поведение
На экране урока расположена кнопка выхода “X”. При её нажатии пользователь выходит из урока без дополнительных препятствий и при возвращении продолжает с того места, на котором остановился. Однако, такой подход может вводить пользователя в заблуждение, так как одни уроки будут начинаться сначала, а другие продолжаться с места остановки.
2.2. Гипотеза
Если мы перестанем сохранять прогресс урока и заранее предупредим об этом пользователя, это может значимо повысить метрику CR_lessons_end.
Для проверки данной гипотезы мы хотим запустить A/B тест, в котором:
- Контрольная группа (А) осталась без изменений: сохранится текущая логика сохранения прогресса урока при выходе, отсутствие подтверждения выхода из урока.
- Тестовая группа (B) не будет сохранять прогресс пользователя, при выходе из урока пользователи увидят модальное окно с предупреждением.
Контролирующие метрики:
- lessons_end (среднее количество законченных уроков)
- lessons_start (среднее количество начатых уроков)
- count_days (среднее количество активных дней)
3. Дизайн
Пользователи увидят окно с предупреждением, что при выходе они потеряют весь прогресс и им придётся начинать сначала. Это должно остановить часть пользователей и изменить их решение о прекращении занятий. Если пользователь вышел сразу с первого экрана задания, мы отпустим его без предупреждения, так как он не сделал полезного действия и не вовлёкся в урок. Модальное окно с предупреждением будет появляться только при нажатии на иконку выхода, начиная со второго урока.

4. Итог A/B тестов
Мы провели два идентичных эксперимента для Android и iOS. На обеих платформах мы не ухудшили контролирующие метрики.
На iOS конверсия в завершение урока увеличилась на +5%. Из тех, кто видел поп-ап, 41,11% хотя бы раз нажали на кнопку «продолжить урок», а 68,69% хотя бы раз нажали на кнопку «выйти».
iOS Расчёты на новых пользователей

>Для Android выросла конверсия в завершения урока на +8% для новых юзеров и +2% для платящих.
Android расчёты для новых пользователей

Android расчёты для платящих пользователей

5. Вывод
Потратив минимум ресурсов команды разработки и внедрив небольшое изменение, мы смогли улучшить основные метрики нашей команды.