Jak dokładne są narzędzia estymujące ruch organiczny? [Badanie na bazie 200+ stron]

Cel badania

Dane, dane, dane… wszyscy opieramy się na danych. Bez nich ciężko jest podjąć jakąkolwiek decyzję, no chyba że lubimy te z cyklu „a, jakoś to będzie”. Ponadto, nierzadko spotykamy się z sytuacjami, w których ktoś porównuje swój realny ruch, z estymacjami ruchu konkurencyjnych stron. W tym tekście postaramy się pokazać, że mogą tu wystąpić pewne rozbieżność i mniej więcej z jaką skalą błędu możemy się tu spotkać, w zależności od tego, z którego narzędzia korzystamy.

Problemem jest dostęp do rzetelnego źródła, które dostarczy nam w miarę dokładnych statystyk. SEO ma na celu generowanie wartościowego ruchu organicznego, więc korzystanie z narzędzi, które nam ten ruch monitorują, jest absolutną podstawą codziennej pracy. I tutaj sytuacja jest klarowna – najczęściej weryfikujemy stronę w Google Search Console, Google Analytics czy instalujemy Matomo (dawny Piwik) i posiadamy dostęp do narzędzia, które oferuje nam dokładne statystyki.

Jeśli mówimy o analizie własnych serwisów, posiadamy dostęp do rzetelnego źródła danych, jakim jest Google Search Console. Co jednak w przypadku, gdy chcemy odnieść się do wyników innych domen? Jak sprawdzić ruch na stronie konkurencji i rzetelnie się z nimi porównać? Z pomocą przychodzą tu narzędzia zewnętrzne, takie jak Ahrefs, Semrush, SENUTO czy Semstorm, które na bazie aktualnej widoczności strony starają się szacować ruch z organicznych wyników wyszukiwania. W jakim stopniu są one dokładne? Postanowiliśmy to sprawdzić, porównując ich wyniki z danymi Google Search Console, analizując ponad 200 polskojęzycznych stron!

Jak narzędzia zewnętrzne szacują ruch organiczny?

W skrócie cały proces wygląda następująco:

1. analiza wszystkich słów kluczowych, na które strona jest widoczna w Google,
2. sprawdzenie miesięcznej liczby wyszukiwań każdego słowa kluczowego,
3. oszacowanie, jaki powinien być CTR na tej pozycji dla danej frazy kluczowej,
4. obliczenie ruchu dla każdej frazy, a następnie
5. zsumowanie ruchu ze wszystkich fraz kluczowych.

Jak można łatwo się domyślić, miejsc, w których może dojść do pomyłki, jest dość sporo, m.in.:

• narzędzie może nie zauważyć wszystkich słów kluczowych, na które strona jest widoczna w Google,
• rozbieżność w miesięcznej liczbie wyszukiwań, która może być uzależniona od wielu czynników, takich jak święta, wydarzenia na świecie itd.,
• szacowany CTR – tutaj możliwość nieścisłości jest bardzo duża, ponieważ każda fraza ma inną intencję, co znacząco wpływa na ten wynik. Dodajmy do tego np. dość dużą zmienność wyglądu SERPów i tak oto mamy środowisko, w którym ciężko szacować średnią klikalność w konkretny wynik.

Jednak narzędzia estymujące ruch nie poddają się i przynajmniej podejmują próbę przedstawienia jak najrzetelniejszych danych. Jedną z ciekawszych form udoskonalania wyliczeń stosuje Ahrefs – stworzył dodatkowe narzędzie o nazwie Ahrefs Webmaster Tools, które jest darmowe, ale tylko dla właścicieli stron, którzy połączą swoje konto z kontem Google Search Console lub Analytics.

Dajemy mu wówczas dostęp do wewnętrznych danych, które oprócz wykorzystania ich dla Twoich potrzeb w Ahrefs Webmaster Tools, wykorzystywane są również w inny sposób. Jak możemy przeczytać na stronie twórców narzędzia:

Źródło: https://ahrefs.com/blog/webmaster-tools/

Tak więc, bazując na danych zebranych bezpośrednio z GSC, udoskonalają swoje wewnętrzne wyliczenia, m.in. współczynnik CTR. Czy to dobry ruch, który faktycznie wpływa na dokładność danych? Czas to sprawdzić!

Metodologia badania

• Analizie podlegało 211 stron,
• Aby strona mogła wziąć udział w badaniu, musiała mieć przynajmniej 100 kliknięć wg Google Search Console. Znaczna część stron posiadała ruch na poziomie powyżej 1000 kliknięć miesięcznie (66%), natomiast 19% badanych stron generowało powyżej 10.000 kliknięć miesięcznie,
• Badaniu podlegały w większości serwisy usługowe oraz e-commerce. Serwisy typowo contentowe stanowiły ok. 1% badanych stron, natomiast wiele stron posiadało blog,
• Dane dotyczyły ruchu pozyskanego w listopadzie 2023 r.,
• Dane z narzędzi zewnętrznych pobrano w dniach 29-30 listopada,
• Uwzględniano całkowity ruch organiczny dla stron polskojęzycznych,
• W ostatnich tygodniach SENUTO oraz Semstorm zaktualizowały swoje bazy słów kluczowych, więc w badaniu uwzględniliśmy obie wersje, w celu zweryfikowania, czy aktualizacja zwiększyła dokładność estymacji.

Jak mierzymy efektywność?

Jeśli jedna strona internetowa generuje więcej ruchu niż druga strona internetowa (według danych GSC), powinno to być widoczne również w danych drugiego narzędzia (bez względu na dokładność szacunków). Czyli, jeśli wg GSC witryna X generuje 1000 wejść, a witryna Y 2000 wejść, w danych drugiego narzędzia powinieneś również zauważyć przewagę ruchu strony Y nad stroną X. Jak można to zweryfikować? Z pomocą przychodzi tu współczynnik korelacji Pearsona, który obliczyliśmy dla każdego zestawu danych. Ponadto prezentujemy, jak wyglądają dane dot. ruchu (GSC vs każde narzędzie) na wykresie punktowym (na który nałożyliśmy skalę logarytmiczną, dla czytelniejszego zaprezentowania danych).

Co zdecydowaliśmy się zaprezentować jako miarę efektywności?

• wspomniany już współczynnik korelacji Pearsona (jako „korelacja”),
• największą procentową różnicę (jako „najgorszy wynik”),
• średnią z procentowych różnic (jako „średnia”),
• odchylenie standardowe z procentowych różnic (jako „odch. st.”) – odchylenie standardowe mówi, jak szeroko wartości jakiejś wielkości są rozrzucone wokół jej średniej. Im mniejsza wartość odchylenia, tym obserwacje są bardziej skupione wokół średniej.

Jak dokładne są narzędzia estymujące ruch? [Wyniki]

1) Korelacja estymacji ruchu z danymi GSC

Poniżej prezentujemy zestawienie estymacji ruchu poszczególnych narzędzi w porównaniu z danymi Google Search Console. Na wykresie punktowym wyświetlane są punkty na przecięciu wartości liczbowej x i y, łącząc te wartości w pojedyncze punkty danych. Te punkty danych mogą być rozmieszczone równomiernie lub nierówno na osi poziomej w zależności od danych. Wykres ma za zadanie zobrazować zależności pomiędzy dwoma zestawami danych.

Ahrefs

Jak interpretować współczynnik korelacji? Im wynik bliższy „1”, tym dane są bardziej zsynchronizowane z danymi GSC.

Korelacja na poziomie 0.92 to bardzo dobry wynik, który potwierdza się również na wykresie punktowym – wartości znajdują się dość blisko siebie, co świadczy o niewielkim rozproszeniu danych. Najgorszy wynik na poziomie 424% wstępnie wygląda dość niepokojąco, jednak w praktyce wygląda to zdecydowanie lepiej. Strony biorące udział w badaniu często posiadały skromny wolumen ruchu (ok. 100 wejść miesięcznie), stąd wysoki wynik procentowy jest zrozumiały. Średnia na poziomie 15% oraz odchylenie standardowe na poziomie 83% to również bardzo dobry wynik, który świadczy o dość znaczącej dokładności danych.

Semrush

Na wykresie punkty są nieco bardziej rozrzucone niż w przypadku Ahrefsa, co odzwierciedla się również we współczynniku korelacji, który jednak w dalszym ciągu jest bardzo wysoki. Śr. procentowych różnic na poziomie 41% oraz odchylenie standardowe na poziomie 131% to również dobry wynik, który świadczy o dość znaczącej zbieżności z danymi z Google Search Console.

SENUTO (Baza 1.0 & 2.0)

W przypadku SENUTO sytuacja wygląda nieco inaczej, ponieważ w październiku 2023 r. wprowadzono nową, zdecydowanie pokaźniejszą bazę słów kluczowych, która mocno wpływa na estymacje ruchu organicznego.

Zgodnie z tym, co piszą sami twórcy, wiązało się to z szeregiem zmian i udoskonaleń, m.in.:

• baza 2.0 zawiera jedynie ok. 25% fraz z bazy 1.0,
• nowa baza posiada o ok. 2 mln mniej fraz o zerowym wyszukiwaniu,
• aktualnie znajduje się w niej ok. 700 tys. mniej duplikatów fraz,
• zredukowano liczbę fraz o sumie wyszukiwań mniejszej niż 50,
• itd.

Czy wpłynęło to pozytywnie na estymacje ruchu? Postanowiliśmy to sprawdzić, najpierw weryfikując dokładność bazy 1.0:

Punkty na wykresie są wyraźnie bardziej rozrzucone niż w przypadku Ahrefsa czy Semrusha, co świadczy o dużej rozbieżności względem danych z GSC. Bardzo dużą różnicę widać również w najgorszym wyniku procentowym, który wynosi ponad 3000%! Ten konkretny przypadek wynika z faktu, że fraza brandowa, na którą serwis posiada TOP1, jest w SENUTO wyraźnie zawyżona. Wg bazy 1.0, fraza ta posiada ok. 1,8 mln wyszukiwań, natomiast wg Ahrefsa jest to 2500 wyszukiwań, co jest zdecydowanie bliższe prawdzie. Odchylenie standardowe na poziomie 284% również potwierdza te spostrzeżenia. Czy w wersji 2.0 uzyskano wyższą jakość danych?

Współczynnik korelacji wzrósł z 0.78 na 0.83, co jest wyraźną poprawą i znacząco zbliża się do wyniku Semrusha (0.86). Zmienił się też „najgorszy wynik”, który z 3057% spadł do 1282%. Średnia różnica co prawda nieznacznie wzrosła, jednak bardziej miarodajne jest odchylenie standardowe, które spadło z 284% do 159%, co jest zdecydowanie bliżej wyniku Semrusha (131%). Krótko podsumowując – nowa wersja bazy danych SENUTO to wyraźny skok jakościowy.

Semstorm (Baza V1 & V2)

Podobnie jak w przypadku SENUTO, Semstorm zaktualizował swoją bazę słów kluczowych, co miało miejsce pod koniec listopada 2023 roku. Jak wpłynęło to na wyniki? Zacznijmy od bazy V1:

Korelacja na poziomie 0.80 to wynik lepszy niż w przypadku bazy SENUTO 1.0 (0.78), podobnie jak odchylenie standardowe (154% vs 284%). Nieco gorszy wynik prezentowała Średnia na poziomie 64% w porównaniu do 53% starej bazy SENUTO. Jak to wygląda w nowej bazie?

Poprawie uległ współczynnik korelacji (z 0.80 na 0.81), jednak różnica jest jedynie symboliczna, wynikająca z zaokrąglenia do drugiego miejsca po przecinku. Jeśli spojrzymy głębiej, to widzimy obraz dość niewielkiej zmiany, dokładnie wzrost z 0,80441873 do 0,805594973. Wyniki są jednak dokładniejsze, a współczynnik korelacji niewiele ustępujący temu z nowej bazy SENUTO (0.83). Co ciekawe, pogorszeniu uległa Średnia (z 64% na 111%) czy Odchylenie standardowe (z 154% na 181%).

2) Mediana

W tym rozdziale skupiamy się na różnicach procentowych, jakie wynikają z rozbieżności pomiędzy danymi poszczególnych narzędzi, a danymi Google Search Console oraz znalezieniu ich mediany. Ma to na celu pokazanie, w którym miejscu znajdowała się wartość środkowa zbioru, co pozwoli określić, czy dane narzędzie częściej niedoszacowuje czy przeszacowuje ruch.

Ahrefs

Mediana na poziomie -7.2% mówi o tym, że dane z Ahrefsa minimalnie częściej niedoszacowują ruchu organicznego. Co warte zauważenia, szacunki nie schodzą poniżej wartości -100%, natomiast przy przeszacowaniu mówimy nawet o +400%, jednak najczęściej ma to miejsce do +250%. Najwięcej stron (aż 44, co stanowi ok. 21% całego zbioru!) znalazło się w przedziale od -25% do 0%, natomiast aż 21 stron znalazło się w jeszcze węższym przedziale, którego nie oznaczyliśmy na wykresie, czyli od -10% do 0%.

Semrush

Mediana różnic procentowych w przypadku Semrusha to niewiele ponad 8% (8.02%). Najczęściej wyniki oscylują w przedziałach -75% do 25%, a dokładniej mówiąc, znajduje się tam 116 stron, co stanowi 55% całego zbioru. Najwięcej stron (33) znajduje się od -50% do -25%, co również jest bardzo dobrym wynikiem.

SENUTO (Baza 1.0 & 2.0)

W tym przypadku mediana jest zdecydowanie dalej od wyników Ahrefsa (-7.2%) czy Semrusha (8%) i najczęściej mogliśmy zauważyć niedoszacowanie ruchu organicznego. Najwięcej stron (35) znalazło się w przedziale -75% do -50%, natomiast w szerszym przedziale od -100% do -25% znalazło się aż 97 stron, co stanowi 46% całego zbioru.

Mediana z -18.2% zmieniła się na 25.1%, co teoretycznie może świadczyć o pogorszeniu wyniku. Jednak jest to złudne wrażenie, ponieważ wykres uległ wyraźnemu wypłaszczeniu i zauważalne jest przesunięcie w kierunku przeszacowywania wyników. W poprzedniej bazie zdecydowanie więcej stron znajdowało się po stronie niedoszacowania, natomiast w tej wersji można mówić o większym wyrównaniu wyników, zwłaszcza w przedziałach -100% do 100%. W dwóch środkowych przedziałach (-25% do 25%) znajduje się 59 stron, co stanowi ok. 28% całego zbioru i świadczy o dość dużej zbieżności z danymi GSC. Co warte podkreślenia, SENUTO posiada najwyższą liczbę stron przeszacowującą wynik ponad 500%, jednak baza 2.0 zanotowała w tym przypadku pewien progres (z 10 stron w starej bazie do 8 w nowej).

Semstorm (Baza V1 & V2)

Przedziały znajdujące się w środkowej części wykresu posiadają stosunkowo wyrównane wartości, natomiast mediana na poziomie 20.1% wskazuje, że stara baza Semstorma ma tendencję do przeszacowywania wyników. Najwięcej stron (79) znalazło się co prawda w przedziałach ujemnych od 0% do -75%, co stanowi 37% całego zbioru. Jednak dość duża grupa stron (52) posiadała wyniki wyższe niż 100% przeszacowania, co stanowiło 25% całego zbioru i to one w dużej mierze zaważyły na tym, gdzie znalazła się mediana.

Mediana wyraźnie wzrosła i zdecydowanie większa pula stron wykazywała zawyżone wyniki względem danych GSC. Zarówno nowa, jak i stara baza stron Semstorma w przedziałach od 100% do 500% posiada znaczącą ilość stron (odpowiednio 48 w starej i 68 stron w nowej), co jest najwyższym wynikiem ze wszystkich analizowanych narzędzi. Na kolejnym miejscu w tym zestawieniu jest SENUTO (Baza 2.0) z wynikiem 43 stron.

Podsumowanie

Dla ułatwienia przedstawiamy wszystkie dotychczasowe wyniki w jednym miejscu:

Podsumowując wyniki poszczególnych narzędzi:

• Ahrefs – osiągnął zdecydowanie najdokładniejsze wyniki w całym zestawieniu. Widać, że posiadanie dostępu do szerokiej puli kont Google Search Console pozytywnie wpływa na jakość ich danych,
• Semrush – wyniki nieznacznie gorsze od Ahrefsa, w dalszym ciągu bardzo dokładne względem tych z GSC,
• SENUTO – po zaktualizowaniu bazy do wersji 2.0 wyniki estymacji znacząco się poprawiły, stając się o wiele bliższe GSC. Dane są nieco mniej dokładne niż te z Semrusha czy Ahrefsa, jednak prezentują stosunkowo dużą zbieżność z danymi GSC,
• Semstorm – aktualizacja bazy wiązała się z delikatną poprawą wyników, głównie w kontekście korelacji z danymi GSC. Na plus należy zaliczyć znacznie większą pulę słów kluczowych (z 26 mln na 34 mln), jednak nie wiązało się to z tak znaczącym skokiem jakościowym, jak w przypadku SENUTO (choć warto podkreślić, że Baza 1.0 SENUTO dawała najmniej dokładne dane, dlatego poprawa była tak znacząca).

Narzędzia bazujące na szacunkach nigdy nie będą w stanie określić jaki ruch generuje dana strona. Rozbieżności mogą być różne, natomiast wiele zależy od samego charakteru strony, branży czy siły brandu. Badanie przeprowadziliśmy na bazie 200 stron, które generowały mniej niż 100.000 wejść miesięcznie, więc jeśli przeprowadzono by badanie na stronach generujących znacznie większy ruch, wówczas wyniki mogłyby być zupełnie inne.

Jak sprawdzić ruch na stronie konkurencji? Wskazówka

Wersja uproszczona

Oprócz zweryfikowania dokładności estymacji poszczególnych narzędzi, z powyższego badania warto wyciągnąć jeden wniosek – każde zewnętrzne narzędzie może znacząco pomylić się w estymacji ruchu dla Twojej strony. Różnicę może zrobić branża, w której działasz, charakter zapytań, na które rankujesz, i wiele innych czynników. Jeśli jednak porównujesz ruch w tej samej branży dla stron o podobnym charakterze, możesz posłużyć się wzorem, który względnie dokładnie pozwoli Ci oszacować dokładny ruch na stronie konkurencji:

Twój ruch wg GSC / Twój ruch wg narzędzia (np. Ahrefs) = Ruch konkurencji wg GSC / Ruch konkurencji wg narzędzia (np. Ahrefs)

Znając 3 z 4 liczb, możesz w sprawny sposób oszacować, jaki realny ruch generuje Twoja konkurencja, ponieważ różnica danych z GSC, a tych z narzędzia powinna być podobna do tej, którą wykazują dane dot. Twojej strony. 

Wersja rozbudowana 

(wskazówka podesłana przez Szymona Słowika)

Narzędzia szacujące ruch nierzadko mają duże problemy z określaniem ruchu z fraz brandowych – tak było choćby w przypadku SENUTO, w którym wynik zawyżono o ponad 3000%. Dlatego warto zminimalizować potencjalną rozbieżność i jeśli masz czas na pogłębioną analizę, zastosuj się do poniższego wzoru:

[Twój ruch wg GSC – (ruch brandowy)] / [Twój ruch wg narzędzia – (ruch brandowy)] = [Ruch konkurencji wg GSC – (ruch brandowy)] / [Ruch konkurencji wg narzędzia – (ruch brandowy)]