Program komputerowy, który uzyskuje dostęp do stron internetowych w różnych celach (do pobierania treści, dostarczania wyszukiwarkom informacji o Twojej witrynie itp.)
Na serwerze muszę teraz przyznać, że zauważyłem, że plik robots.txt jest pusty. Zastanawiałem się, czy istnieje różnica między pustym plikiem robots.txt a żadnym plikiem. Czy roboty indeksujące zachowują się inaczej w tych dwóch przypadkach? Czy bezpieczne jest zatem usunięcie pustego pliku...
Jako webmaster odpowiedzialny za małą witrynę, która ma forum, regularnie otrzymuję skargi od użytkowników, że zarówno wewnętrzna wyszukiwarka, jak i zewnętrzne wyszukiwania (np. Podczas korzystania z Google) są całkowicie zanieczyszczone przez podpisy moich użytkowników (używają długich podpisy i...
Dzienniki witryny, którą zarządzam, pokazują żądanie nieistniejącego pliku przez Bingbot. Szczegóły żądania są następujące Ścieżka: /trafficbasedsspsitemap.xml Useragent: „Mozilla / 5.0 (kompatybilny; bingbot / 2.0; + http://www.bing.com/bingbot.htm )” Adres IP: 65.55.213.244 (wyszukiwanie...
W przeszłości mieliśmy poważne problemy z (niewiarygodnie) źle napisanym pająkiem Yahoo , w wyniku czego je zablokowaliśmy. Marco Arment z Tumblr również podzielił się z nami swoimi frustracjami w dniu 8/31/2009, co było czynnikiem, który nas zablokował. [Yahoo's Spider] zalewa nas 70-200...
To pytanie zostało przeniesione z Stack Overflow, ponieważ można na nie odpowiedzieć na Webmasters Stack Exchange. Migrował 9 lat temu . Czy pająk Google wie, jak renderować JavaScript, czy tylko
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym wymiany stosów przez webmasterów. Zamknięte 6 lat temu . Mam dość dużą starą witrynę z dosłownie...
Istnieje bot bot, który ustawia ten nagłówek: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Biorąc to pod uwagę, mam następujące pytania: Jeśli piszę przeszukiwacz sieciowy o nazwie Goofy, jakiego klienta użytkownika powinienem użyć? Jaka jest różnica, jeśli wstawię Mozilla/2.0lub...
Wiele zrobiono z częstotliwości czołgania się pająków Baidu. To prawda: „Baiduspider czołga się jak szalony”. Doświadczyłem tego zjawiska w witrynach, z którymi pracuję. W co najmniej jednym przypadku odkryłem, że Baiduspider indeksuje się z mniej więcej taką samą częstotliwością jak Googlebot,...
Ilekroć tworzę responsywną stronę internetową, zwykle tworzę 2 menu: 1 ukryte i używane na urządzenia mobilne, a drugie wyświetlane jako menu główne, a następnie ukryte, aby wyświetlić menu mobilne. Ilekroć chodzi o SEO i pająki poruszające się po stronie, czy mam ochotę mieć duplikaty menu? Czy...
Mam podkatalog, który chciałbym ukryć przed robotami indeksującymi wyszukiwarki. Jednym ze sposobów jest skorzystanie robots.txtz katalogu głównego serwera (standardowy sposób). Jednak każdy, kto zna adres URL witryny i ma podstawową wiedzę o sieci, może uzyskać dostęp do zawartości pliku...
Pamiętam stronę zamkniętą z powodu niewłaściwego użytkowania i zastanawiam się, czy boty mają tę część. Jeśli bot publikuje coś na mojej stronie, w jaki sposób mogę z tym walczyć? Myślałem o ustawieniu niektórych plików cookie i zmianie plików cookie za pomocą JavaScript + sygnatury czasowej i...
Większość moich wizyt pochodzi od pająków baidu. Nie wydaje mi się, żeby to w ogóle pomogło wyszukiwarkom, więc myślę o tym, jak je zablokować. Czy można to zrobić za pomocą iptables? Używam nginx jako mojego
Mam witrynę wielojęzyczną i wielodomenową. Działa poprzez unikalną instalację CMS (Drupal), więc mam jeden katalog główny. Więc jeśli mam statyczny plik robots.txt, tam, o ile wiem, mogę wyświetlać pliki tylko dla jednej domeny. Czy mogę umieścić linię w .htaccess Redirect 301 /robots.txt...
Niedawno zarejestrowałem nową domenę, wskazałem ją na mój istniejący serwer i skonfigurowałem minimalną stronę, mówiąc tylko „test” i nic więcej. Właśnie dziś wieczorem odkryłem, że strona jest już zaindeksowana w Google! Brak linków do strony (nawet nikomu nie powiedziałem o tej domenie, ponieważ...
Kiedy sprawdzam dziennik apache, widzę, że baidu indeksuje moją witrynę 10 razy dziennie przez ostatnie 2 tygodnie. Nie zależy mi na tym, ale jestem naprawdę ciekawy, dlaczego on to robi. To naprawdę niewielka, jednostronicowa strona internetowa z niewielką liczbą linków przychodzących. Czy kryje...
Moje logi są pełne gości botów, często z Europy Wschodniej i Chin. Boty są identyfikowane jako Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou i tak dalej. Czy powinienem blokować te boty z mojej strony i dlaczego? Które mają uzasadniony cel polegający na zwiększeniu ruchu na mojej stronie? Wiele...
Moja witryna liczy wyświetlenia odwiedzających na niektórych stronach. Zauważyłem, że Google i inne boty „klikają” na mojej stronie jak szalone, a niektóre strony uzyskują nierealistyczną liczbę wyświetleń (w porównaniu do tych wytwarzanych przez ludzi). Proszę o najlepsze praktyki, aby wykluczyć...
Widziałem, że Google ma fajną propozycję / standard umożliwiający indeksowanie aplikacji Ajax za pośrednictwem #! (hash bang). http://googlewebmastercentral.blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html Moje pytania to: Czy obecnie używają już tej „propozycji” w prawdziwym...
Mam teraz witrynę, która uzyskuje obecnie około 7 000 - 10 000 wyświetleń strony dziennie. Począwszy od około 1 rano w dniu 7/1/12 zauważyłem, że CTR gwałtownie rośnie. Te kliknięcia zostaną zaksięgowane, a następnie cofnięte wkrótce. Były to oczywiście fałszywe kliknięcia. Następnego dnia miałem...
Po napisaniu wielu botów i zobaczeniu ogromnej liczby losowych botów, które zdołały zaindeksować witrynę, zastanawiam się, jako webmaster, jakie boty naprawdę warto wpuścić na witrynę? Moją pierwszą myślą jest to, że zezwalanie botom na witrynę może potencjalnie przynieść prawdziwy ruch. Czy...