TG Telegram Group & Channel
ML Advertising | United States America (US)
Create: Update:

Как A/B тестить, когда трафика мало? 🅰️🅱️

Допустим, с сайта/ приложения идут не миллионы пользователей и показов, а всего пара тысяч MAU, но АБтестировать фичи все равно надо. Разберем несколько лайфхаков

- Долгие тесты - плохая идея. Пока будем ждать стат. значимости, пройдет полгода, РК и трафик уже успеют поменяться

- Делаем больший упор на инсайты от рекламодателой. Вместо слепого следования CPM/ CPV, participation rate, media cost, опрашиваем рекламодателей. Они очень чутко реагируют на смену KPI, и по увеличенным/ уменьшенным бюджетам, сегментам пользователей можно косвенно определить, работает фича или нет

- Bayesian > Frequentist. Байесовская статистика быстрее дает результаты на малых выборках

- Не ленимся сегментировать пользователей. Иногда важнее сузить скоуп фичи и тестить внутри конкретных групп (например, только платящие, или только определенное гео, или только мобилки), чем пытаться разогнать общий трафик

В конечном итоге при низком трафике больше исследуем вторичные сигналы и делаем упор на сбор обратной связи извне платформы

Пример для случая InApp трафика разобран у RevenueCat

Как A/B тестить, когда трафика мало? 🅰️🅱️

Допустим, с сайта/ приложения идут не миллионы пользователей и показов, а всего пара тысяч MAU, но АБтестировать фичи все равно надо. Разберем несколько лайфхаков

- Долгие тесты - плохая идея. Пока будем ждать стат. значимости, пройдет полгода, РК и трафик уже успеют поменяться

- Делаем больший упор на инсайты от рекламодателой. Вместо слепого следования CPM/ CPV, participation rate, media cost, опрашиваем рекламодателей. Они очень чутко реагируют на смену KPI, и по увеличенным/ уменьшенным бюджетам, сегментам пользователей можно косвенно определить, работает фича или нет

- Bayesian > Frequentist. Байесовская статистика быстрее дает результаты на малых выборках

- Не ленимся сегментировать пользователей. Иногда важнее сузить скоуп фичи и тестить внутри конкретных групп (например, только платящие, или только определенное гео, или только мобилки), чем пытаться разогнать общий трафик

В конечном итоге при низком трафике больше исследуем вторичные сигналы и делаем упор на сбор обратной связи извне платформы

Пример для случая InApp трафика разобран у RevenueCat


>>Click here to continue<<

ML Advertising






Share with your best friend
VIEW MORE

United States America Popular Telegram Group (US)