Ogromny wzrost bezpośredniego ruchu z jednego konkretnego miasta

W zeszłym miesiącu zauważyłem, że bezpośrednie odwiedziny na naszej stronie wzrosły o prawie 150%, podczas gdy współczynnik odrzuceń również znacznie wzrasta.

Po dokładniejszych poszukiwaniach widzę, że mieliśmy prawie 2000 bezpośrednich wizyt z jednego miasta w Connecticut o nazwie Stamford, ze współczynnikiem odrzuceń wynoszącym 100%!

Szukałem odpowiedzi, ale mogę tylko stwierdzić, że może to mieć związek z naszym narzędziem monitorowania czasu pracy; Pingdom

Czy ktoś wie / ma jakieś doświadczenie z tego rodzaju problemami, każda pomoc jest mile widziana

• Właśnie zauważyłem, że otrzymujemy identyczny ruch w mieście w Anglii i mieście w Szkocji ... To zdecydowanie sprawia, że ​​myślę, że ma to związek z naszym narzędziem monitorowania czasu pracy.

Ustalenie przyczyny dziwnych zlokalizowanych skoków ruchu, które nie wydają się pochodzić od ludzi, wymaga cierpliwości i pracy detektywistycznej, ale podstawowe kroki to:

1. Dowiedz się, skąd się bierze, korzystając z dostępnych narzędzi (patrz poniżej).

2. Sprawdź, czy jest to niebezpieczne, czy nie, analizując źródła żądania, częstotliwość, same nagłówki żądania oraz wpływ na sieć i serwer (y).

3. Zdecyduj, czy zablokować go tylko w Google Analytics, aby zapobiec pojawianiu się go w statystykach (za pomocą filtra Google Analytics), czy zablokować go na serwerze, aby nie mógł w przyszłości dotrzeć do Twojej witryny (za pomocą zapory ogniowej lub usługi takiej jak Cloudflare ) lub całkowicie go zignorować.

Nie będę tutaj szczegółowo opisywał wpływu na bezpieczeństwo, ponieważ wydajesz się bardziej zaniepokojony wpływem, jaki ma on na twoje dane analityczne. Oto kilka spostrzeżeń na temat tego konkretnego przypadku, wraz ze wskazówkami umożliwiającymi określenie możliwego źródła i odfiltrowanie niepożądanego ruchu w Google Analytics:

Prawdopodobnie nie jest to Pingdom

Skoki Google Analytics prawdopodobnie nie będą odwiedzane przez Pingdom z dwóch powodów:

• Testy HTTP Pingdom nie analizują kodu JavaScript , więc nie wyzwalają wbudowanych skryptów Google Analytics. (Wczoraj dwukrotnie sprawdziłem to z zespołem pomocy technicznej Pingdom, ponieważ ja również używam Pingdom i byłem ciekawy. Oto bezpośredni cytat z ich e-maila: „Ponieważ nasz test HTTP nie wykonuje żadnego kodu JavaScript, Google Analytics nie będzie miał żadnego zapisy naszych wizyt wykonanych przez nasze serwery sondujące na twojej stronie internetowej. ” )

• Pingdom nie ma obecnie serwerów w Edynburgu. Wyświetlają listę wszystkich swoich serwerów Probe wraz z adresem IP i lokalizacją na stronie w panelu sterowania (link o nazwie „Serwery sond” w prawym dolnym rogu wszystkich stron administracyjnych Pingdom, gdy jesteś zalogowany). Obecnie tylko dwie wymienione w Wielkiej Brytanii znajdują się w Manchesterze i Londynie.

Ale nie musisz mi wierzyć na słowo. Jeśli skoki trwają i chcesz potwierdzić, że Pingdom nie jest przyczyną nagłych odwiedzin i skoków wskaźnika odrzuceń, możesz:

1. Wstrzymaj żądania Pingdom na swojej stronie i sprawdź, czy znikają trafienia z tych obszarów. (Podejrzewam, że to nie będzie miało znaczenia).

   - lub -

2. Skonfiguruj stronę w example.com/pingdom/any-url-you-like, skieruj żądania Pingdom do tej strony zamiast do strony głównej i wyklucz /pingdom/podkatalog z wyników Google Analytics, (a) usuwając kod śledzenia Analytics na tej stronie lub (b) używając filtru, aby wykluczyć stronę w Google Analytics, jeśli nie możesz usunąć kodu śledzenia dla poszczególnych stron (np. jeśli korzystasz z CMS, który zawiera kod na każdej stronie i nie masz wystarczającego dostępu, aby zmienić to zachowanie).

Jak filtrować żądania za pomocą Google Analytics

Jest to konieczne tylko wtedy, gdy istnieje podejrzenie, że Pingdom robi parse JavaScriptu, a tam nic nie wskazuje, że to robi, ale filtrowanie wizyt Pingdom jak to jest jeden sposób, aby sprawdzić, czy chcesz, aby uspokoić się. Warto również dowiedzieć się, jak to zrobić, aby móc odfiltrować inne rodzaje wizyt w przyszłości, jeśli musisz:

1. Zaloguj się do Google Analytics i kliknij link „Administrator” (w prawym górnym rogu, obok „Pomoc”)

2. Kliknij nazwę domeny lub nazwę witryny dla profilu, który chcesz filtrować. (np. example.com)

3. Kliknij kartę „filtry”.

4. Kliknij „+ Nowy filtr”.

5. Nadaj filtrowi nazwę i pozostaw zaznaczony „Predefiniowany filtr”.

6. Wybierz „Wyklucz… ruch do podkatalogów…, które są równe” z menu rozwijanych.

7. Wpisz /pingdom/w polu podkatalogu i pozostaw „Uwzględniaj wielkość liter” na „Nie”.

Powinno to być wynikiem, gdy skończysz:

Zapisz te ustawienia, a następnie ponownie przeprowadź kontrole Pingdom na example.com/pingdom/any-page-or-url-that-exists, a Google Analytics będzie teraz filtrował wizyty pod tym adresem URL. (W ten sposób nadal będziesz otrzymywać podstawowe raporty o czasie pracy serwera, nawet jeśli Pingdom nie wskazuje już Twojej strony głównej).

Jeśli to nie Pingdom, skąd pochodzą te hity?

Możesz spróbować dowiedzieć się na kilka sposobów:

1. Spójrz, która sieć wysyła ci najczęściej odbijany ruch. Aby to zrobić za pomocą Google Analytics, spójrz na sekcję Raportowanie standardowe swojej witryny, a następnie wybierz Odbiorcy> Technologia> Sieć z lewej strony. Na koniec, gdy wybrany jest tryb wykresu kołowego (domyślny), wybierz „Wkład w całkowitą liczbę ... Odrzuceń” z rozwijanego menu po prawej:

Zobaczysz listę dostawców usług internetowych lub dostawców sieci, których użytkownicy przyczynili się do Twojego współczynnika odrzuceń. Czasami będzie to mały, konkretny dostawca usług internetowych, który można prześledzić do jednego obszaru lub firmy. Uzbrojony w nazwę operatora sieci wysyłającego ruch odbijający, możesz wybrać filtrowanie tej konkretnej sieci z Google Analytics, jak opisano powyżej, ale filtrowanie według sieci zamiast według poddomeny.

Innym razem na liście najlepszych dostawców usług internetowych będzie duży dostawca krajowy, który może mieć miliony klientów, a ty nie będziesz mądrzejszy. W tym momencie Google Analytics nie może pomóc w szczegółowym ustaleniu, który z klientów tego dostawcy wysyła wielokrotnie odrzucany ruch (ponieważ Analytics nie zawiera już informacji o adresie IP ani innych danych identyfikujących). Aby uzyskać tego rodzaju dane, możesz użyć innego dostawcy statystyk, który rejestruje adresy IP (np. Clicky ), lub możesz przeanalizować dzienniki serwera, które również rejestrują dostęp według adresu IP:

2. Sprawdź dzienniki dostępu do serwera WWW, aby poznać wizyty znanych robotów i poszukać powtarzającego się dostępu z tego samego adresu IP. Pomoże Ci w tym internetowe narzędzie do statystyk, takie jak AWStats. Jest dość popularny wśród niektórych hostów internetowych, którzy już go zainstalowali.

Oto kilka przykładowych danych wyjściowych z AWStats . Dwie odpowiednie sekcje to „Gospodarze” i „Roboty / goście pająków”.

W sekcji Hosty mogą znajdować się wskazówki, które adresy IP uzyskiwały dostęp do witryny, powodując odesłania (a następnie możesz odfiltrować te adresy IP w Google Analytics). Sekcja robotów / pająków może zawierać wskazówki na temat wszelkich robotów indeksujących lub skryptów automatycznych uzyskujących dostęp do Twojej witryny, które mogą korzystać z JavaScript. Jeśli nie masz pewności, jak odczytać dzienniki serwera lub uzyskać do nich dostęp, poproś dostawcę usług hostingowych o pomoc.

Masz adres IP? Dowiedz się, kto go używa.

Jeśli uda ci się uzyskać adres IP z sekcji Hosty w AWStats lub w innym miejscu, możesz wykonać odwrotne wyszukiwanie adresu IP, aby ustalić, kto może go używać.

Odwrotne wyszukiwanie adresu IP często podaje nazwę dostawcy hostingu, do którego możesz zgłosić nadużycie, jeśli uważasz, że żądania są złośliwe. Lub może podać nazwę krajowego usługodawcy internetowego, którego klient korzysta ze skryptowej automatyzacji, próbując wykorzystać witrynę. Zwykle możesz wysyłać raporty o nadużyciach do [email protected], gdzie example.comjest nazwa dostawcy hostingu lub dostawcy usług internetowych. Czasami poda nazwę konkretnej firmy, z którą możesz się skontaktować, aby uzyskać więcej informacji.

To, czy jest to Pingdom, zależy od ustawień określonych dla usługi pingdom.

Jeśli jest ustawione na wysyłanie żądań HTTP, wówczas tak, prawdopodobnie jest to Pingdom. Jeśli nie używa żądań HTTP (tylko ping lub inne usługi), nie będzie to Pingdom, ale zakładam, że używasz żądań HTTP.

Nie używam pingdom, więc nie wiem, czy masz kontrolę nad częstotliwością ich testów. Jeśli możesz, to świetnie. Jeśli nie, możesz przełączyć się na używanie testów ping, ale nie gwarantuje to, że strona jest uruchomiona - tylko serwer jest uruchomiony.

Jeśli nie możesz zmniejszyć częstotliwości testów pingdom, a generowany przez nią ruch jest problematyczny, musisz po prostu go porzucić. Jednak 2000 żądań miesięcznie prawdopodobnie nie będzie dużym problemem - po prostu po królewsku zepsują informacje analityczne witryny.

Możesz spróbować obejść ten problem, izolując żądania Pingdom i szukając wzorca. Następnie, jeśli masz niestandardowe skrypty analityczne, możesz wykryć wzorzec i usunąć z wyników analitycznych adresy IP, które przylegają do wzorca. Możesz jednak zdecydować, że nie jest to kłopotliwe i pamiętaj tylko o liczbie fałszywych trafień generowanych przez Pingdom każdego miesiąca.

Mam nadzieję, że to pomoże.

Jest dobry artykuł na temat identyfikowania i filtrowania ruchu botów do Twojej witryny Pingdom zawiera artykuł http://www.blastam.com/blog/index.php/2012/06/block-web-monitoring-bots-in -google-analytics / za długo, aby skopiować tutaj

Czy wiesz, że jeśli korzystasz z usługi takiej jak Keynote do monitorowania wydajności witryny, ma ona wpływ na Twoje dane sieciowe? Usługi takie jak Keynote, Gomez, AlertSite, Pingdom i wiele innych używają prawdziwej przeglądarki do wielokrotnego odwiedzania Twojej witryny w ciągu dnia w celu pomiaru wydajności w czasie ładowania. Wczytują twoją witrynę z wielu lokalizacji na całym świecie za pomocą prawdziwych przeglądarek wykonujących javascript śledzący Google Analytics.

To prawdopodobnie Site Confidence, inaczej NCC Group.

W przypadku naszej witryny trochę dochodzenia z filtrami GA ujawniło wszystkie tajemnicze hity z Edynburga i Stamford pochodzą z komputera z systemem Windows 7, IE8, ale w rozdzielczości 800x600, która wyglądała nieco podejrzanie.

Sprawdziliśmy nasze dzienniki pod kątem wszelkich trafień w IE 8 i szybko znaleźliśmy wzorzec trafień co 5 minut; odwróć DNS na tych adresach IP i pochodzą one z funkcji Site Confidence - co ma duży sens, ponieważ poprosiliśmy ich o to.

Jest to prawdopodobnie oczywiste, ale jest całkiem prawdopodobne, że jest to niewykryta zautomatyzowana aktywność. Każda aktywność, która tak mocno wypacza (100% współczynnik odrzuceń), jest prawdopodobnie zachowaniem bota, które w jakiś sposób przeszło przez filtry bota GA.

Jeśli możesz, pokrój te wizyty według przeglądarki / agenta; jeśli wszyscy są pojedynczym agentem (tak sądzę), zwiększyłoby to szanse na zautomatyzowaną aktywność.