Zauważyłem, że Narzędzia Google dla webmasterów zgłaszają wiele zablokowanych zasobów w mojej witrynie. W tej chwili wszystkie „zablokowane zasoby” to .css, .js i obrazy (.jpg, .png), które obsługuję z Cloudfront CDN. Spędziłem dużo czasu testując i próbując dowiedzieć się, dlaczego Google nie...
Czy programy klienckie mogą być wymienione razem, a ich wspólne reguły, takie jak w pliku robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask...
Po napisaniu wielu botów i zobaczeniu ogromnej liczby losowych botów, które zdołały zaindeksować witrynę, zastanawiam się, jako webmaster, jakie boty naprawdę warto wpuścić na witrynę? Moją pierwszą myślą jest to, że zezwalanie botom na witrynę może potencjalnie przynieść prawdziwy ruch. Czy...
Dzisiaj natknąłem się na ten artykuł w moich wiadomościach SEO. Wydaje się to sugerować, że możesz używać Noindex:dyrektyw oprócz standardowych Disallow:dyrektyw w pliku robots.txt . Disallow: /page-one.html Noindex: /page-two.html Wygląda na to, że uniemożliwiłoby to wyszukiwarkom indeksowanie...
Na stronie naszego klienta znajduje się strona lokalizatora sklepu. Użytkownik końcowy wprowadza swój kod pocztowy i promień wyszukiwania, a my wyświetlamy wyniki na mapie Google. Ostatnio zaczęliśmy zauważać, że strona osiąga limit bezpłatnego wyszukiwania mapy (około 25 000 na 24 godziny) bez...
Używam następującego pliku robots.txt dla witryny: Celem jest umożliwienie googlebotowi i bingbotowi dostępu do witryny z wyjątkiem strony /bedven/bedrijf/*i zablokowanie indeksowania witryny przez inne boty. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent:...
Mam stronę internetową, w której przeważnie nie chcę być indeksowana przez wyszukiwarki, ale chcę ją zachować na wieczność na archive.org. Więc robots.txtzaczynam od tego: User-agent: * Disallow: / Dzisiaj, zgodnie z archive.org, muszę dodać następujące w moim, robots.txtaby pozwolić ich...
Prowadzę mały przeszukiwacz sieci i musiałem zdecydować, jakiego klienta użytkownika użyć. Listy agentów przeszukiwaczy oraz Wikipedia sugerują następujący format: examplebot/1.2 (+http://www.example.com/bot.html) Jednak niektóre boty pomijają znak plus przed adresem URL. Zastanawiam się, co to...
Miałem kilka prywatnych plików w katalogu w moim szkolnym folderze. Możesz zobaczyć, że pliki istniały, przechodząc do myschool.edu/myusername/myfolder, ale próba uzyskania dostępu do samych plików przez myschool.edu/myusername/myfolder/myfile.html zwraca błąd 403. A jednak Google jakoś udało się...
Migrowałem witrynę do nowej domeny. Sama strona jest dość prosta (używa Jekyll) i wszystko poszło dobrze - z wyjątkiem migracji wątków Disqus. Miałem częściowy sukces - niektóre wątki zostały pomyślnie migrowane, ale nie wszystkie. Wypróbowałem kreatora migracji domeny (który przechwycił kilka),...
Używam Ask.comjako jednej z wyszukiwarek do pingowania mojej mapy witryny. Kiedy poszedłem dzisiaj pingować mapę witryny, aby ją ponownie zaindeksować, strona internetowa ( http://submissions.ask.com/ping ) twierdzi, że już nie istnieje? Zrobiłem wyszukiwanie DNS submissions.ask.comi wygląda na to,...
Więc teraz Google wycofał schemat indeksowania AJAX . Mówią, że nie zawracają sobie głowy wdrażaniem go w nowych witrynach, ponieważ nie jest to już potrzebne, ponieważ Googlebot nie ma teraz problemu z oglądaniem dynamicznych treści. Czy powinniśmy natychmiast zaufać temu stwierdzeniu, czy lepiej...
Mam witrynę, która ze względów prawnych może nie być indeksowana lub wyszukiwana automatycznie. Oznacza to, że musimy trzymać wszystkie roboty z daleka i zapobiegać pająkowi witryny. Oczywiście mieliśmy plik robots.txt, który od samego początku uniemożliwia. Jednak obserwowanie pliku robots.txt...