p-value

p-value (p-значення) — це ймовірність отримати спостережуване або ще більш екстремальне значення тестової статистики за умови, що нульова гіпотеза та інші припущення статистичної моделі правильні. Менше p-value означає більшу несумісність даних із нульовою гіпотезою, але не доводить автоматично істинність альтернативної.

У маркетингу p-value використовують під час A/B-тестування, досліджень бренду, перевірки рекламних креативів, моделей атрибуції та аналізу експериментів. Показник допомагає оцінити роль випадкової варіативності, але бізнес-рішення не повинно залежати лише від порога 0,05.

Що саме перевіряє p-value

Спочатку формулюють нульову гіпотезу H0, наприклад: нова посадкова сторінка не змінює conversion rate. Потім обчислюють тестову статистику. p-value відповідає на умовне питання: якби різниці на рівні генеральної сукупності не було, наскільки незвичними були б наші дані або ще сильніше відхилення?

p-value і рівень значущості

Рівень значущості alpha встановлюють до аналізу, а p-value отримують із даних. Якщо p-value не перевищує alpha, H0 відхиляють за правилами обраного тесту. Якщо p-value більше alpha, H0 не відхиляють. Це не означає, що нульову гіпотезу доведено: даних могло бути недостатньо, а тест — мати низьку потужність.

Чого p-value не показує

• ймовірність того, що нульова гіпотеза правильна;
• ймовірність випадкового виникнення результату в побутовому сенсі;
• розмір або економічну важливість ефекту;
• якість дизайну експерименту й коректність збору даних;
• імовірність успішного повторення тесту;
• відсутність систематичної помилки.

Практичний приклад

Сервіс доставки тестує новий екран оформлення замовлення. Conversion rate зростає з 8,0% до 8,3%, p-value дорівнює 0,03. За alpha = 0,05 результат формально статистично значущий. Проте приріст лише 0,3 процентного пункта. Команда має додатково оцінити довірчий інтервал, додаткові замовлення, маржу, вартість упровадження й можливі зміни середнього чека. Статистична значущість ще не дорівнює бізнес-доцільності.

Множинні перевірки

Якщо одночасно перевірити багато аудиторій, метрик і варіантів, імовірність випадково знайти «значущий» результат зростає. Потрібно заздалегідь визначати основну метрику та гіпотезу, обмежувати незаплановане сегментування або застосовувати коригування для множинних порівнянь. Інакше команда може видати статистичний шум за інсайт.

Що аналізувати разом із p-value

• абсолютний і відносний розмір ефекту;
• довірчий інтервал;
• обсяг вибірки та статистичну потужність;
• тривалість і репрезентативність експерименту;
• основну та захисні метрики;
• якість рандомізації й стабільність трекінгу;
• економічний результат і ризик помилкового рішення.

Типові помилки

• читати p = 0,04 як «гіпотеза правильна на 96%»;
• зупиняти тест, щойно показник перетнув 0,05;
• ігнорувати малий або практично неважливий ефект;
• шукати значущість у десятках сегментів після завершення тесту;
• плутати відсутність доказу з доказом відсутності ефекту;
• застосовувати тест, припущення якого не відповідають даним.

Професорська і директорська перевірка

З наукового погляду висновок має відповідати дизайну, моделі та заздалегідь сформульованій гіпотезі. З погляду маркетинг-директора потрібне друге питання: чи достатній ефект, щоб змінити бюджет, продукт або процес? Добре рішення поєднує статистичну невизначеність із бізнес-цінністю.

Пов’язані поняття

Статистична значущість · Нульова гіпотеза · Довірчий інтервал · Statistical power · A/B-тестування · Incrementality test · Розмір ефекту

Висновок

p-value є корисним інструментом перевірки сумісності даних із нульовою гіпотезою, але не універсальним сертифікатом істини. Його потрібно інтерпретувати разом із розміром ефекту, довірчим інтервалом, дизайном дослідження та економічними наслідками.

Джерела

American Statistical Association: Statement on Statistical Significance and P-Values
Penn State: Hypothesis Testing — P-Value Approach