Улучшение конверсии изучения слов в читалке

1. Краткое содержание

Улучшили функцию добавления слов из книг, новый дизайн статистически значимо повлиял на конверсию тапа по словам в читалке на +3%, на добавление слов в изучение +6.8% для новых юзеров, на +10.4% для старых юзеров и +8.9% для платных пользователей. Также улучшили конверсию в старт изучения слов на +29% для старых пользователей, на 17.8% для платных пользователей, а для новых пользователей выросла на +7.5%.

2. О задаче

Мы в команде “Книги” начали активно заниматься функционалом изучения слов, до этого у нас были другие приоритеты.

2.1. Текущее поведение

При открытии любой книги пользователь перейдет к чтению её содержимого. На этом экране в правом верхнем углу есть кнопка со счётчиком добавленных слов. Сейчас её функционал не очевиден, и мы никак не информируем пользователей о логике работы этой функции и о возможности изучения слов. Между тем, 40% пользователей на этапе онбординга отметили, что хотят изучать иностранный язык через изучение слов.

Кнопка, отвечающая за переход к разделу изучения новых слов, еле заметна и не выделяется на общем фоне. Это может создавать сложности для пользователей при попытке найти нужный раздел.

2.2. Гипотеза

Если мы подсветим пользователям момент, когда им будет доступен функционал изучения слов при наборе 5 слов, мы конвертируем больше пользователей в изучение новых слов.

Для проверки данной гипотезы мы запустили A/B тест, в котором:

1. Контрольная группа (А) осталась без изменений
2. Тестовая группа (B) получила новый дизайн фичи кнопки изучения слов + онбординг.

Метрики для отслеживания:

Целевые

1. CR_learning_tapped — предположительно, вырастет
2. CR 5 words LearnTapped — предположительно, вырастет

Контролирующие:

1. CR_1min_read — предположительно, не изменится
2. CR_20min_read — предположительно, снизится
3. Среднее количество активных дней — предположительно, не изменится
4. ARPU — предположительно, изменений не произойдет

Дополнительно:

1. Время сессии на экране книг — важно посмотреть, будут ли возвращаться в читалку после изучения

3. Новый дизайн

Теперь при первом открытии книги пользователи увидят онбординг, рассказывающий о функции добавления слов для изучения и о минимальных требованиях для перехода к изучению слов. Мы изменили верхнюю кнопку, увеличили зону тапа и добавили состояния “Disabled” и “Active” для неё.

Мы сделали процесс добавления слов более прозрачным для пользователя. Теперь при нажатии на кнопку мы покажем онбординг, если добавлено менее пяти слов. Как только пользователь добавит 5 и более слов, кнопка станет активной, появится мотивирующая подсказка и разблокируется переход из читалки в изучение слов.

4. Результаты A/B теста

Новый дизайн статистически значимо повлиял на конверсию тапа по словам в читалке на +3%, на добавление слов в изучение +6.8% для новых юзеров, на +10.4% для старых юзеров и +8.9% для платных пользователей. Также улучшили конверсию в старт изучения слов на +29% для старых пользователей, на 17.8% для платных пользователей, а для новых пользователей выросла на +7.5%. Метрики активности не выросли, метрики книг и курсов не просели.

Расчёты для Android

5. Вывод

Изменив точку входа для начала изучения слов и сделав этот функционал понятнее для пользователей, мы смогли значимо повлиять на метрики и в целом на судьбу этого функционала. Также мы решили постепенно сделать его сквозным по всему приложению, и уже команда “Геймификация” переняла его в раздел игр.