Gdzie jest przechowywany plik robots.txt do instalacji WordPress Multisite?

9

Narzędzia Google dla webmasterów mogą to zobaczyć, ale nie mogę jej znaleźć. Masz pomysł na to, jak jest generowany lub gdzie jest struktura plików? Nie widzę pliku w moim katalogu głównym. Moja witryna znajduje się pod adresem http://mikewills.me, a adres URL pliku robots.txt to http://mikewills.me/robots.txt .

Ostatecznie Google nie indeksuje mojej witryny i próbuję wymyślić, jak edytować plik robots.txt, aby umożliwić indeksowanie. Zmieniłem opcję prywatności, aby umożliwić indeksowanie, ale to nie zaktualizowało pliku robots.txt.

multisite Mike Wills
źródło
Link do strony?
plik

Odpowiedzi:

11

Jest generowany dynamicznie przez funkcję do_robots(), która ma zarówno akcję ( do_robotstxt), jak i filtr ( robots_txt). Jeśli utworzysz robots.txtplik w katalogu głównym WordPress, zostanie (prawdopodobnie) dostarczony na /robots.txtżądanie, w przeciwnym razie przetwarzanie spadnie na WordPress.

Twój aktualny plik wygląda następująco:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

Pierwsze dwa ustawienia są odpowiednie dla blogu indeksowanego. W tym momencie możesz po prostu czekać na Google. Być może musisz poprosić o ponowne rozpatrzenie zgłoszenia witryny .

Annika Backstrom
źródło
Dzięki za informację. Miałem takie założenie. Bałam się zobaczyć Disallow. Więc to jest w porządku?
Mike Wills
2
@ Mike: Tak, to jest OK. To, co teraz mówisz, brzmi: „Hej roboty, których User-agentdopasowanie *(czyli wszystkie roboty), lista stron, do których nie można uzyskać dostępu, [empty]”. Co oznacza, że ​​mogą uzyskać dostęp do wszystkich stron.
Jan Fabry
Dodanie pliku robots.txt do katalogu głównego nie działa, nadal obsługuje on wygenerowany przez WordPress. Czy nie ma sposobu, aby dodać lub zmodyfikować plik robots.txt bez instalacji wtyczki?
Nick
3

Plik robots.txt jest tworzony dynamicznie. Nie ma pliku robots.txt. Zainstaluj wtyczkę robot.txt rozwiąże twój problem. Mam nadzieję że to pomoże

użytkownik1167
źródło