Привет! Меня зовут Ярощук Ирина, я системный маркетолог. Попробую максимально понятно объяснить,как использовать классный инструмент — статистический калькулятор. Он поможет проводить маркетинговые тесты более организованно, четко и экономно.

Какой вариант лучше: зеленая или красная кнопка, короткий или длинный заголовок, большая форма или маленькая, этот текст/картинка или тот— решает не спор, а A/B тест. Он требует выборки, необходимого количества проверок. Если мы сделаем маленькую выборку, получим неверный результат. Если слишком большую — потратим лишние деньги.

Вот как за две минуты определить размер выборки без математических формул.

У нас есть 2 почти одинаковые страницы. Они отличаются только цветом кнопки: на одной странице кнопка зеленая, на второй - красная. Определим, есть ли разница между двумя вариантами и какая она — для нашей целевой аудитории. Это позволяет отсечь наши домыслы и опираться на реальные факты. Мы должны привести на каждую страницу посетителей и определить, сколько из них нажмет кнопку.

Чтобы определить размер выборки, мы не будем разбираться в статистическом анализе и заниматься расчетами по формулам вручную. Воспользуемся вот этим калькулятором и рассчитаем все буквально за минуту.

Смотрим на калькулятор и видим цифры. Что они значат и как их использовать?

Baseline conversion rate – изначальный уровень конверсии. Допустим, конверсия страницы с красной кнопкой была 20%. Подставьте свой уровень конверсии до тестирования.

Minimum Detectable Effect – это желаемая конверсия. Допустим, мы хотим повысить конверсию на 5% и для этого проводим эксперимент с кнопкой зеленого цвета.

Первый красный горизонтальный столбик это средняя конверсия. Калькулятор считает ее самостоятельно.

Второй красный горизонтальный столбик это доверительный интервал — если результаты контрольного варианта находятся в пределах интервала, возможно, это погрешность, а не достоверный результат. Если результаты контрольного варианта выходят за пределы интервала, значит, он существенно лучше или хуже изначального варианта. Калькулятор считает доверительный интервал самостоятельно.

Отдельно оговорим переключатель «абсолютное/относительное».

Если вы хотите выяснить разницу между изначальным показателем конверсии в 5% и переменным показателем конверсии в 6%, он составит 1% в абсолютном выражении (6-5=1) или 20% в относительном выражении (6/5=1,2). Мы ставим галочку напротив параметра "абсолютный".

Обратите внимание на бегунки внизу.

Statistical power 1−β – это статистическая мощность. Она показывает, что между результатами двух страниц (с красной и зеленой кнопкой) действительно есть разница.

Проверим гипотезу, что мужчины выше женщин. Если мы измерим одного мужчину и одну женщину, то результат недостоверен. Вдруг нам попадутся баскетболистка и невысокий мужчина. Но если мы измерим 100 000 мужчин и женщин, средний результат будет ближе к реальности. Примечание. Можно выбрать любой уровень статистической мощности, но я рекомендую 80%.

Significance level α – это статистическая значимость. Она показывает, что разница между двумя вариантами неслучайна.

Допустим, красную кнопку нажимают на 3% чаще зеленой. Если мы проведем А/А-тест, то какова вероятность получить такой же результат? Если выше 5−7%, то результатам теста нельзя доверять. Я рекомендую статистическую значимость 1-5%.

Так мы узнаем необходимое количество посещений для достижения 80%-ного шанса сделать статически значимый вывод и успешно провести тест.

В итоге мы получаем Sample size — это требуемый размер выборки. Именно столько трафика нужно привлечь на каждый вариант (один с зеленой и один с красной кнопкой), чтобы проверить гипотезу и получить достоверный результат.

6 шагов, как использовать статистический калькулятор:

1. Подставьте уровень конверсии страницы с красной кнопкой. Допустим, 20% посетителей нажимали на нее.
2. Напишите, на сколько % вы хотите увеличить конверсию. Например. на 5%.
3. Поставьте галочку напротив параметра "абсолютный".
4. Выбирайте статистическую мощность 80-90%, чтобы результат был достоверный. Предположим, 90%.
5. Установите статистическую значимость, что результат не случаен (шанс увидеть результат там, где его на самом деле нет). Допустим, 1%.
6. Проверьте, что результаты страниц больше доверительного интервала. Наш интервал по расчетам 15-25%.

Получаем: 1958 человек должны увидеть страницу с красной или зеленой кнопкой.

Фактически достаточно внести 2 цифры и поставить на нужное деление всего 2 колесика. 1-2 минуты — и вы точно знаете, как провести тестирование вариантов и получить статистически точный результат.

Понравилась статья? Не согласны? Пользовались калькулятором? Пишите комментарии!