Googlebot to bot, którego Google używa do indeksowania ponad 20 miliardów stron każdego dnia, a dane uzyskane podczas indeksowania są następnie analizowane i klasyfikowane w wyszukiwarce Google.
Śledzę geolokalizację każdego członka (używając db-ip) i wszystko jest w porządku, z wyjątkiem telefonów komórkowych z przeglądarką Chrome. Zawsze dają mi wynik US Mountain View California ip:66.249.xxx.xxx. To jest Google; Jestem tego w 100% pewien. Ale osobą, która odwiedza stronę internetową,...
Jak zapobiec wyświetlaniu moich plików map witryn XML w wynikach wyszukiwania Google, takich jak wynik site:zapytania: Nie rozumiem, dlaczego Google miałoby na początku wyświetlać pliki map witryn w wynikach wyszukiwania. Te pliki nie są przeznaczone do spożycia przez ludzi. Google musi być w...
Wiele zrobiono z częstotliwości czołgania się pająków Baidu. To prawda: „Baiduspider czołga się jak szalony”. Doświadczyłem tego zjawiska w witrynach, z którymi pracuję. W co najmniej jednym przypadku odkryłem, że Baiduspider indeksuje się z mniej więcej taką samą częstotliwością jak Googlebot,...
Dodałem plik robots.txt do jednej z moich witryn tydzień temu, co powinno uniemożliwić Googlebotowi próby pobrania niektórych adresów URL. Jednak w ten weekend widzę, że Googlebot ładuje te dokładne adresy URL. Czy Google buforuje plik robots.txt, a jeśli tak, to
Ilekroć tworzę responsywną stronę internetową, zwykle tworzę 2 menu: 1 ukryte i używane na urządzenia mobilne, a drugie wyświetlane jako menu główne, a następnie ukryte, aby wyświetlić menu mobilne. Ilekroć chodzi o SEO i pająki poruszające się po stronie, czy mam ochotę mieć duplikaty menu? Czy...
Oto jeden z moich klientów, który wykonuje pewne czynności po zalogowaniu się na swoje konto. Unikalny token to po prostu zaszyfrowany identyfikator użytkownika + znacznik czasu. 94.254.xxx.xxx - - [02 / lip / 2011: 22: 25: 46 +0200] „GET / some-action / unique-token-123abc HTTP / 1.1„ 200 410...
Widziałem kod uniemożliwiający Google zaindeksowanie części strony: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> czy to...
Obecnie przekierowuję wszystkie połączenia inne niż HTTPS do HTTPS i obsługuję TLS v1, TLS v1.1 i TLS v1.2. Skonfigurowałem ponownie mój serwer testowy, aby akceptował tylko bardzo ograniczony i bezpieczny pakiet szyfrów oraz tylko TLSv1.2. Po uruchomieniu testu SSL Labs zauważyłem, że ich tabela...
Kontekst: Mamy stronę internetową, która jest dostępna w wielu wersjach językowych. Jednak treść jest taka sama. Każda przetłumaczona wersja witryny jest dostępna w osobnej subdomenie. Na niektórych stronach używamy <link rel="canonical" />do wskazywania wersji kanonicznej w tym samym języku...
Po napisaniu wielu botów i zobaczeniu ogromnej liczby losowych botów, które zdołały zaindeksować witrynę, zastanawiam się, jako webmaster, jakie boty naprawdę warto wpuścić na witrynę? Moją pierwszą myślą jest to, że zezwalanie botom na witrynę może potencjalnie przynieść prawdziwy ruch. Czy...
Zauważyłem, że Narzędzia Google dla webmasterów zgłaszają wiele zablokowanych zasobów w mojej witrynie. W tej chwili wszystkie „zablokowane zasoby” to .css, .js i obrazy (.jpg, .png), które obsługuję z Cloudfront CDN. Spędziłem dużo czasu testując i próbując dowiedzieć się, dlaczego Google nie...
Jeśli mam treść za formularzem POST (w moim przypadku pole wyboru), czy Googlebot lub inne roboty wyszukiwarek będą w stanie zaindeksować treść za tym formularzem? Na przykład, jeśli miałbym mieć 4 tłumaczenia jednej strony, a wybór języka byłby formularzem POST na ten sam adres URL, który...
Dzisiaj natknąłem się na ten artykuł w moich wiadomościach SEO. Wydaje się to sugerować, że możesz używać Noindex:dyrektyw oprócz standardowych Disallow:dyrektyw w pliku robots.txt . Disallow: /page-one.html Noindex: /page-two.html Wygląda na to, że uniemożliwiłoby to wyszukiwarkom indeksowanie...
Miałem kilka prywatnych plików w katalogu w moim szkolnym folderze. Możesz zobaczyć, że pliki istniały, przechodząc do myschool.edu/myusername/myfolder, ale próba uzyskania dostępu do samych plików przez myschool.edu/myusername/myfolder/myfile.html zwraca błąd 403. A jednak Google jakoś udało się...
Jeśli osadzę obraz na stronie jako img- srcz identyfikatorem URI danych base64, czy metadane obrazu (EXIF, IPTC, XMP) są nadal dostępne dla imagebota
Czy gdy witryna SPDY jest dostępna dla witryny, Googlebot z niej korzysta? Jeśli tak, witryny z włączoną funkcją SPDY będą szybciej wyświetlane
Więc teraz Google wycofał schemat indeksowania AJAX . Mówią, że nie zawracają sobie głowy wdrażaniem go w nowych witrynach, ponieważ nie jest to już potrzebne, ponieważ Googlebot nie ma teraz problemu z oglądaniem dynamicznych treści. Czy powinniśmy natychmiast zaufać temu stwierdzeniu, czy lepiej...