Ухудшающий тест на удаление пользовательских книг

1. Краткое содержание

Удалили невостребованный функционал загрузки пользовательских книг без критичных последствий для бизнеса и снизили нагрузку на отдел разработки.

2. О задаче

В разделе «Библиотека» помимо книг приложения, у пользователей есть возможность загружать свои текстовые файлы, которые преобразовываются в книжный формат. Изучив эту функциональность, я выдвинул предложение проверить, с помощью ухудшающего теста, как лишение пользователей загружать файлы повлияет на метрики.

2.1. Проблема

Поддержка и отладка этой функциональности занимает большой ресурс разработки. Изучив аналитику по использованию пользовательских книг, мы увидели, что конверсия в загрузку была 2,6% (2 тыс. пользователей) для платящих и 4% (2,3 тыс. пользователей) для неплатящих пользователей, от тех, кто заходил в раздел «Библиотека». Причём успешно хотя бы раз загрузили файл только 12% (250 пользователей).

2.2. Гипотеза

Если убрать кнопку «Свои книги», так как она не влияет на покупку/продление подписки и ретеншн, и требует значительных ресурсов на поддержку и отладку, то основные метрики не изменятся, что позволит более эффективно распределить ресурсы разработки.

Для проверки данной гипотезы мы запустили A/B тест, в котором:

1. Контрольная группа (А) осталась без изменений: остается кнопка «Свои книги».
2. Тестовая группа (B): лишена кнопка «Свои книги».

P.S: Сама функциональность в тестовых группах не была удалена, только точка входа.

Целевые метрики:

1. сount_days (среднее кол-во активных дней в приложении)
2. Конверсия в покупку (для новых пользователей)
3. count_days (среднее количество активных дней)
4. Дополнительно смотрим на жалобы в Support.

3. Итоги теста

По результатам эксперимента мы не получили статистически значимых изменений в денежных метриках и активности, а также разницы в количестве отмен подписок. Жалобы были единичные. В итоге, мы приняли решение по удалению пользовательских книг.

Денежные метрики

Статистически значимых изменений в денежных метриках нет

Метрики активности

Среднее кол-во активных дней в приложение не изменилось. Ретеншн статистически значимо не изменился.

Книжные метрики

Просело среднее количество начатых аудиокниг на −6%. Но скорее это ложное прокрашивание, так как необходимо в три раза больше пользователей, чтобы корректно зафиксировать статистически значимое изменение.

Жалобы