W przeszłości mieliśmy poważne problemy z (niewiarygodnie) źle napisanym pająkiem Yahoo , w wyniku czego je zablokowaliśmy. Marco Arment z Tumblr również podzielił się z nami swoimi frustracjami w dniu 8/31/2009, co było czynnikiem, który nas zablokował. [Yahoo's Spider] zalewa nas 70-200...
Istnieje bot bot, który ustawia ten nagłówek: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Biorąc to pod uwagę, mam następujące pytania: Jeśli piszę przeszukiwacz sieciowy o nazwie Goofy, jakiego klienta użytkownika powinienem użyć? Jaka jest różnica, jeśli wstawię Mozilla/2.0lub...
Jak mam interpretować pustego klienta użytkownika? Mam jakiś niestandardowy kod analityczny, który musi analizować tylko ruch ludzki. Mam działającą listę programów klienckich oznaczających ruch ludzi i botów, ale pusty agent użytkownika okazuje się problematyczny. Dostaję duży ruch z pustym...
Moje logi są pełne gości botów, często z Europy Wschodniej i Chin. Boty są identyfikowane jako Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou i tak dalej. Czy powinienem blokować te boty z mojej strony i dlaczego? Które mają uzasadniony cel polegający na zwiększeniu ruchu na mojej stronie? Wiele...
Czy klient użytkownika w jakiejkolwiek zwykłej przeglądarce zawiera „bot” lub „crawl”? Sprawdzam agenta użytkownika w mojej witrynie, aby sprawdzić, czy pochodzi on od bota, czy nie. Jeśli tak, mogę wykonać kilka drobnych optymalizacji, ponieważ się nie logują. (W ogóle nie zmieniam treści) Po...
Czy programy klienckie mogą być wymienione razem, a ich wspólne reguły, takie jak w pliku robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask...
Prowadzę mały przeszukiwacz sieci i musiałem zdecydować, jakiego klienta użytkownika użyć. Listy agentów przeszukiwaczy oraz Wikipedia sugerują następujący format: examplebot/1.2 (+http://www.example.com/bot.html) Jednak niektóre boty pomijają znak plus przed adresem URL. Zastanawiam się, co to...
Wpisy dziennika dostępu Apache w mojej witrynie są zwykle takie: 207.46.13.174 - - [31 października 2016: 10: 18: 55 +0100] „GET / contact HTTP / 1.1” 200 256 ”-„ ”Mozilla / 5.0 (kompatybilny; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 dzięki czemu...
Mam witrynę, która ze względów prawnych może nie być indeksowana lub wyszukiwana automatycznie. Oznacza to, że musimy trzymać wszystkie roboty z daleka i zapobiegać pająkowi witryny. Oczywiście mieliśmy plik robots.txt, który od samego początku uniemożliwia. Jednak obserwowanie pliku robots.txt...