SEMrush vs SimilarWeb — хто точніший?

Коли аналізуєш ефективність маркетингу та сайту загалом, важливо не просто збирати власну статистику, але й порівнювати її з трендами ринку. Наприклад, команда маркетингу не досягла до плану 5%. Якщо саме тоді ринок просів на 15%, то результат хороший, а якщо навпаки зріс — значить, є над чим замислитися.

Є безліч інструментів для дослідження сайтів конкурентів. Усі вони збирають інформацію про трафік різними способами й обробляють її за власним алгоритмом. Зрозуміло, що такі сервіси надають дані з певною похибкою. Питання в тому, якою є ця похибка та наскільки можна довіряти отриманим результатам.

Ми вирішили провести невелике дослідження й дізнатися, наскільки точні у своїх показниках два популярних сервіси для аналізу вебтрафіку сайтів конкурентів — SEMrush Traffic Analytics і SimilarWeb. Для порівняння ми використовували дані Google Analytics із 787 сайтів, доступні нам в OWOX BI.

Перш, ніж переходити до самого дослідження, розберімось, звідки бере дані кожен із сервісів.

Звідки беруться дані

Код відстеження Google Analytics збирає дані про поведінку користувачів безпосередньо із сайту. Ця інформація недоступна для третіх осіб.

SimilarWeb використовує такі джерела:

• Дані, отримані безпосередньо від деяких власників сайтів.
• Дані від партнерів, інтернет-провайдерів із мільйонами підписників.
• Публічні джерела даних: запатентовані технології та механізми індексування, які постійно сканують загальнодоступні дані.
• Панельні дані з розширень для браузерів. Це анонімна інформація, яка не дозволяє ідентифікувати користувача, але дає зрозуміти, які сайти він відвідував.

Звіти SEMrush Traffic Analytics ґрунтуються на тих же даних клікстріма, що й SimilarWeb, вони надходять із власних і сторонніх джерел, й обробляються за допомогою AI алгоритмів SEMrush. Дані накопичуються та апроксимуються на основі анонімної поведінки мільйонів реальних користувачів Інтернету.

Крім того, за понад 10 років роботи SEMrush випустив безліч інструментів, які дають змогу дізнаватися не тільки дані з пошукових позицій конкурентів, але й що вони роблять у контекстній рекламі, PR, контент-маркетингу, соціальних мережах, а також і детальні дані по трафіку їхніх вебсайтів. Для кожного напрямку (SEO, контент, PPC, SMM) сервіс використовує спеціальні максимально релевантні джерела даних.

Як ми порівнювали сервіси та рахували похибки

Обидва сервіси, й SEMrush, й SimilarWeb можна використовувати для оцінювання вхідного трафіку конкурентів, лідів або партнерів. Через те, що в OWOX BI є доступ до анонімних знеособлених даних в Google Analytics наших користувачів, ми припускаємо, що знаємо близьку до істини відвідуваність низки проєктів. Відштовхуючись від даних GA, як від істини, ми вирішили порівняти, наскільки точні у своїх даних SEMrush і SimilarWeb. Наше завдання — показати, у яких сегментах і наскільки відхиляється кожен із цих сервісів.

Що порівнювали?

Загальна кількість сесій за січень 2020 року версіями Google Analytics, SEMrush і SimilarWeb. У вибірці брало участь 787 сайтів з Австралії, Канади, США, Великобританії та Німеччини.

Сайти були згруповані за нішами:

1. Computers Electronics and Technology
2. Entertainment
3. Finance
4. Health & Beauty
5. Jobs and Education
6. News and Media
7. Professional services
8. Retail
9. Telecom
10. Travel

Як порівнювали?

Щоб обчислити похибку, з якою сервіси рахують відвідуваність конкурентів, ми звели в одну таблицю:

• Знеособлені дані 787 сайтів із відвідуваністю понад 100 тис. сесій на місяць, до яких є доступ у OWOX BI.
• Дані про кількість сесій для цих же сайтів з SEMrush і SimilarWeb.

Водночас ми виключили сайти, для яких в GA були аномально низькі значення. Якщо за даними Google Analytics кількість сесій значно менша, ймовірно, у систему потрапили неповні дані через фільтри в поданні.

Потім ми розрахували відхилення за модулем у процентах для даних SEMrush і SimilarWeb. Чому ми працювали саме з цією величиною?

Відхилення може бути як у плюс, так і в мінус, тобто сервіс може показувати більше сесій, ніж є насправді, або менше. Під час підрахунку середнього відхилення плюс на мінус може дати значення близьке до нуля. Щоби цього не сталося, ми використовували відхилення за модулем. Іншими словами, тут нам важливо було знати, наскільки в загальному відхиляється сервіс, а не в який бік.

Потім ми виділили 10 основних ніш бізнесу та згрупували всі сайти за середньою відвідуваністю в три основні групи:

• Від 100 тис. до 500 тис. сесій на місяць.
• Від 500 тис. до 1 млн сесій на місяць.
• Від 1 млн і більше сесій на місяць.

Результати

Чим вище стандартне відхилення, тим більше показник відрізняється від даних GA, і навпаки. Стандартне відхилення у SimilarWeb коливається від 57% до 61% і не сильно залежить від відвідуваності сайту. У SEMrush навпаки — чим більші сайти (1 млн сесій і вище), тим точніші дані та нижче стандартне відхилення (45%) від даних GA.

Для сайтів із трафіком понад 500 тис. точніші результати (на 9–12%) показує SEMrush. Для проєктів із невеликим трафіком трохи краще спрацював SimilarWeb, хоча обидва сервіси показали в цій групі високу похибку.

Чому так відбувається? Через особливості алгоритмів збору та аналізу подій в обох сервісах, а також через особливості даних клікстріма, на яких працюють обидва сервіси. Клікстрім передбачає використання даних за вибіркою відвідувачів сайту. Далі компанії за допомогою своїх AI / ME алгоритмів роблять апроксимацію цих даних на всю сукупність аудиторії сайту. Відповідно, чим менший сайт, тим менша точність висновків із клікстріма.

Що робити, якщо ваш сайт і сайти ваших прямих конкурентів невеликі, і точність даних за ними маленька? У такому випадку вам варто проводити бенчмаркінг із більшими конкурентами на вашому ринку. Якщо ви порівняєте кілька великих гравців на ринку, то не тільки побачите їхній перформанс, але і зможете відстежити тренди розвитку ринку загалом. У такий спосіб, порівнявши перформанс та тренди розвитку зі своїми досягненнями, ви зможете визначити ефективність власного маркетингу.

Другий графік показує, для якої частини сайтів був більш точним кожен із сервісів. Наприклад, у сегменті від 1 млн сесій для 57% розглянутих сайтів SEMrush показав дані більш наближені до значень Google Analytics:

А для 52% сайтів із відвідуваність від 500 тис. до 1 млн точнішим був SimilarWeb.

Якщо порівняти групу від 100 тис. до 500 тис. сесій на цьому та на першому графіку, ми побачимо цікаву річ — у SEMrush вище стандартне відхилення, тобто він на більший відсоток сесій помиляється, але водночас він однаково залишається точнішим у 53% випадків. Іншими словами — помиляється рідко, але влучно.

Чому так виходить? Точність даних сильно залежить від декількох чинників:

• Як налаштована система Google Analytics, на яких сторінках сайту стоїть лічильник GA і що вимірює.
• Наскільки «живий» сайт у пошуку Google. Якщо це редіректний сайт (домен рекламної сітки) або промо-сайт, на який ллється в основному рекламний трафік, то в SEMrush числа для нього будуть занижені.
• Для сайтів із великою часткою органічного трафіку алгоритм SEMrush спрацьовує краще та точніше, ніж для сайтів із невеликою кількістю органіки.
• Від регіону та ніші бізнесу. Припустимо, у SEMrush багато проєктів у США або в якій-небудь ніші. І для цих проєктів сервіс усе визначає точно. А для тих проєктів, за якими в нього менше даних, він визначає відвідуваність гірше, ніж SimilarWeb.

Наступні два графіки показують стандартне відхилення та частку точніших відповідей для обох сервісів у розрізі різних бізнес-ніш.

Як бачимо, що у SEMrush, що у SimilarWeb відхилення дуже сильно залежить від ніші:

І частка сайтів, для яких сервіси дали вірніші показники, також залежить від спеціалізації бізнесу:

Цей графік показує, для якої частини сайтів кожен із сервісів видав значення, наближені до GA. Наприклад, у ніші Computers SimilarWeb був точнішим для 58% сайтів, а SemRush — для 42% (перші стовпці на графіку).

На точковій діаграмі нижче ми показали відхилення мінусом і плюсом із SEMrush і SimilarWeb:

Візуально можна визначити, що в нижній частині графіка накопичилося більше червоних точок, це означає, що SimilarWeb частіше, ніж SEMrush занижує дані в порівнянні з Google Analytics.

Резюме проведеного дослідження:

Рівень точності в обох сервісів приблизно однаковий.

SEMrush показує кращі результати для невеликих сайтів — помиляється рідко, а там, де не помиляється, показує точніше конкурента.

У сегменті від 1 млн сесій SEMrush частіше ніж SimilarWeb показує дані, наближені до значень Google Analytics.

SimilarWeb частіше, ніж SEMrush, занижує дані в порівнянні з Google Analytics.

Ні SimilarWeb, ні SEMrush не дають 100% точні дані, але вони й не мусять — для аналізу власного сайту та трафіку у вас є Google Analytics.

Ці сервіси добре підходять для незалежного порівняння сайтів між собою і відстеження трендів. Але використовувати їх треба, як і будь-який аналітичний інструмент, з розумінням природи зібраних даних і похибки вимірювання.

Джерело: habr.com

Автор: Margo Berger , Маркетинг-аналітик в OWOX BI