Czy powinienem blokować boty z mojej strony i dlaczego?

Moje logi są pełne gości botów, często z Europy Wschodniej i Chin. Boty są identyfikowane jako Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou i tak dalej. Czy powinienem blokować te boty z mojej strony i dlaczego?

Które mają uzasadniony cel polegający na zwiększeniu ruchu na mojej stronie? Wiele z nich to SEO.

Muszę powiedzieć, że widzę mniejszy ruch, odkąd cokolwiek botów przybyło w dużych ilościach.

Nie byłoby to trudne do zablokowania, ponieważ wszyscy przyznają się w swoim User Agent, że są botami.

Możesz blokować boty, ale zależy to od tego, czego chcesz dla swojej witryny.

Możesz zablokować boty wyszukiwarek, jeśli nie chcesz, aby Twoja witryna była indeksowana w określonej wyszukiwarce.
Przykład: Yandex to rosyjska wyszukiwarka. Możesz zablokować jego bota, jeśli Twoja firma nie jest ukierunkowana na Rosję.

Możesz zablokować boty SEO, jeśli nie chcesz korzystać z ich rozwiązania do analityki internetowej.
Przykład: Ahrefs to rozwiązanie do analityki internetowej. Możesz zablokować bota, jeśli nie korzystasz z tego rozwiązania do analityki internetowej.

Powód blokowania botów:

• mniej robotów trafia na twoją stronę internetową, a większa przepustowość jest przypisywana prawdziwym odwiedzającym
• bądź bezpieczny przed botami złośliwymi
• rozmiar kłody

Powód, aby nie blokować botów:

• boty, takie jak boty wyszukiwarek, mogą zwiększyć ruch, indeksując witrynę.

Możesz dowiedzieć się więcej o botach, czytając FAQ na robotstxt.org .

Jeśli chcesz określić kilka robotów do zablokowania, możesz czerpać inspirację z tej strony robots.txt .

Uważaj, niektóre boty mogą zignorować plik robots.txt , więcej informacji tutaj .

Wniosek : możesz przeszukać funkcję robotów internetowych, aby ustalić, czy ich zablokowanie może być przydatne.

Próba zablokowania botów może pomóc w uwolnieniu zasobów i oczyszczeniu dzienników, należy jednak pamiętać, że plik robots.txt, a nawet użycie metatagu na stronach, noindex tak naprawdę nie powstrzymuje botów odwiedzających twoją witrynę. Nadal mogą od czasu do czasu indeksować Twoją witrynę, aby sprawdzić, czy odmowa dostępu do robotów została usunięta. Wiele botów nawet nie używa agenta użytkownika i używa standardowego agenta użytkownika. Boty, o których mówię, to zazwyczaj boty zbierające SEO, które skanują w poszukiwaniu linków zwrotnych, a nie te ogólne, które można znaleźć w wyszukiwarkach.

Zamiast blokować boty, powinieneś wziąć pod uwagę te boty podczas liczenia użytkowników, po pewnym czasie aktywnego monitorowania swojej witryny ustalasz przybliżoną liczbę botów. Większość ludzi zależy na wyjątkowych wizytach, co wyklucza boty, ponieważ ciągle wracają. W dzisiejszych czasach istnieje wiele serwerów, hosting współdzielony, który może obsługiwać te boty, inne niż strony, których nie chcesz indeksować. Nie widzę powodu, aby blokować te typy botów. Oczywiście masz również szkodliwe boty, ale z pewnością nie będą one korzystać z klienta użytkownika;).

Osobiście uważam, że blokowanie robotów to strata czasu, ponieważ w ogóle nie zużywają tak dużo zasobów, roboty SEO mogą pomóc, ponieważ wyświetlają Twoją witrynę na stronach PR0, co oczywiście zwiększa Twój PageRank i jest zautomatyzowany, abyś nie został ukarany przez nich.

Problem z dziennikami

Należy użyć odpowiedniej przeglądarki dzienników, która umożliwia odfiltrowanie określonych żądań, co ułatwia przeglądanie dzienników. Dobrzy widzowie mogą odfiltrować wiele rzeczy, takich jak normalne odwiedziny, 404 i tak dalej.