Ухудшающий тест на удаление пользовательских книг
Моя роль: Senior Product Designer.
Команда: PM, QA, iOS / Android Developers, Learning Designer
Инструменты: Figma, Confluence, Jira.
Год: 2023.
1. Краткое содержание
Удалили невостребованный функционал загрузки пользовательских книг без критичных последствий для бизнеса и снизили нагрузку на отдел разработки.
2. О задаче
В разделе «Библиотека» помимо книг приложения, у пользователей есть возможность загружать свои текстовые файлы, которые преобразовываются в книжный формат. Изучив эту функциональность, я выдвинул предложение проверить, с помощью ухудшающего теста, как лишение пользователей загружать файлы повлияет на метрики.
2.1. Проблема
Поддержка и отладка этой функциональности занимает большой ресурс разработки. Изучив аналитику по использованию пользовательских книг, мы увидели, что конверсия в загрузку была 2,6% (2 тыс. пользователей) для платящих и 4% (2,3 тыс. пользователей) для неплатящих пользователей, от тех, кто заходил в раздел «Библиотека». Причём успешно хотя бы раз загрузили файл только 12% (250 пользователей).

2.2. Гипотеза
Если убрать кнопку «Свои книги», так как она не влияет на покупку/продление подписки и ретеншн, и требует значительных ресурсов на поддержку и отладку, то основные метрики не изменятся, что позволит более эффективно распределить ресурсы разработки.
Для проверки данной гипотезы мы запустили A/B тест, в котором:
- Контрольная группа (А) осталась без изменений: остается кнопка «Свои книги».
- Тестовая группа (B): лишена кнопка «Свои книги».
P.S: Сама функциональность в тестовых группах не была удалена, только точка входа.
Целевые метрики:
- сount_days (среднее кол-во активных дней в приложении)
- Конверсия в покупку (для новых пользователей)
- count_days (среднее количество активных дней)
- Дополнительно смотрим на жалобы в Support.
3. Итоги теста
По результатам эксперимента мы не получили статистически значимых изменений в денежных метриках и активности, а также разницы в количестве отмен подписок. Жалобы были единичные. В итоге, мы приняли решение по удалению пользовательских книг.
Денежные метрики
Статистически значимых изменений в денежных метриках нет

Метрики активности
Среднее кол-во активных дней в приложение не изменилось. Ретеншн статистически значимо не изменился.

Книжные метрики
Просело среднее количество начатых аудиокниг на −6%. Но скорее это ложное прокрашивание, так как необходимо в три раза больше пользователей, чтобы корректно зафиксировать статистически значимое изменение.

Жалобы
