Jak zachęcić Google do odczytu nowego pliku robots.txt?

22

Właśnie zaktualizowałem mój plik robots.txt w nowej witrynie; Google Webmaster Tools zgłasza, że ​​przeczytał mój plik robots.txt 10 minut przed moją ostatnią aktualizacją.

Czy mogę w jakiś sposób zachęcić Google do ponownego przeczytania mojego pliku robots.txt tak szybko, jak to możliwe?

AKTUALIZACJA: W obszarze Konfiguracja strony | Dostęp dla robota | Testuj plik robots.txt:

Dostęp do strony głównej pokazuje:

Googlebot jest zablokowany na http://my.example.com/

FYI: Plik robots.txt, który ostatnio czytano w Google, wygląda następująco:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

Czy postrzeliłem się w stopę, czy czy w końcu przeczytam: http: ///robots.txt (tak jak ostatnio czytał)?

Jakieś pomysły na to, co muszę zrobić?

google robots.txt google-webmaster-tools qxotk
źródło
FYI: Witryna jest nowa, a ten komunikat pojawia się w Ustawieniach | Szybkość indeksowania: „Do Twojej witryny przypisano specjalne ustawienia szybkości indeksowania. Nie będziesz w stanie zmienić szybkości indeksowania”.
qxotk
FYI: Znalazłem post w grupach Google, w którym napisano, że Google przeczyta plik robots.txt „przynajmniej raz dziennie” - czy ktoś może to potwierdzić? [publikowanie w grupach google jest tutaj: groups.google.com/group/google_webmaster_help-indexing/… ]
qxotk
Do Twojej wiadomości: minął 1 dzień, a Google nie przeczytał jeszcze mojego zaktualizowanego pliku robots.txt.
qxotk,
Ten sam problem tutaj, nie jest to „funkcja” ...
mate64

Odpowiedzi:

25

Jeśli ktoś napotka ten problem, istnieje sposób, aby zmusić google-bot do ponownego pobrania pliku robots.txt.

Przejdź do Zdrowie -> Pobierz jako Google [1] i poproś o pobranie /robots.txt

Spowoduje to ponowne pobranie pliku, a Google ponownie go przeanalizuje.

[1] w poprzednim interfejsie Google był to „Diagnostyka -> Pobierz jako GoogleBot”.

Matt
źródło
11
Niestety to nie zadziała, jeśli plik robots.txt jest ustawiony na Disallow: /. Zamiast tego raporty pobierania „Odmowa przez robots.txt”: /.
studgeek
3
Następnym razem dodaj ten wiersz. Allow: /robots.txt
jrosell
Nie mogę znaleźć „Diagnostyka”, może interfejs użytkownika się zmienił?
David Riccitelli,
2
Ok, teraz jest Zdrowie> Pobierz jako Google.
David Riccitelli,
Nie działa dla mnie, gdy próbuję pobrać plik robots.txt. BŁĄD: „W tej chwili nie można zaindeksować strony, ponieważ jest ona zablokowana przez najnowszy plik robots.txt pobrany przez Googlebota. Pamiętaj, że jeśli niedawno zaktualizowałeś plik robots.txt, może upłynąć dwa dni, zanim zostanie odświeżony. Więcej informacji można znaleźć w artykule Centrum pomocy o pliku robots.txt. ”
Indrek
4

Wiem, że to jest bardzo stare, ale ... Jeśli przesłałeś niewłaściwy plik robots.txt (blokowanie wszystkich stron), możesz spróbować:

  • najpierw popraw plik robots.txt, aby umożliwić prawidłowe strony
  • prześlij sitemap.xml ze swoimi stronami

gdy Google próbuje odczytać mapę witryny xml, sprawdzi, czy plik robots.txt ponownie, co zmusi google do ponownego przeczytania pliku robots.txt.

Hussam
źródło
To mi nie zadziałało. Mówi, że mapa witryny została zablokowana przez plik robots.txt
James
1

DOBRZE. Oto co zrobiłem iw ciągu kilku godzin Google ponownie przeczytał moje pliki robots.txt.

Mamy 2 witryny na 1 witrynę, którą prowadzimy. Nazwijmy je stroną kanoniczną (www.mysite.com) i witryną bez domeny (mysite.com).

Mamy skonfigurowane nasze witryny, aby mysite.com zawsze zwracało przekierowanie 301 na stronę www.mysite.com.

Po skonfigurowaniu obu witryn w narzędziach Google dla webmasterów powiedziałem, że www.mysite.com jest witryną kanoniczną, wkrótce po przeczytaniu pliku robots.txt na stronie kanonicznej.

Naprawdę nie wiem dlaczego, ale tak się stało.

qxotk
źródło
3
Wiem, że to stare, ale zaakceptowanie własnej odpowiedzi jest w 100% uzasadnione
Mark Henderson
0

Skróć interwał skanowania Google o kilka dni.

Widziałem też przycisk do weryfikacji pliku robots.txt, może to zmusić go do Google, ale nie jestem pewien.

BarsMonster
źródło
Czy mógłbyś to sprecyzować? Widzę: Konfiguracja strony | Dostęp dla robota | Testuj plik robots.txt, ale testuje on tekst, który wklejasz w polu, a nie Twój plik robots.txt na żywo - w tym miejscu informuje mnie też, kiedy został ostatnio pobrany. Gdzie jest przycisk „weryfikuj”, o którym mówisz?
qxotk