Co to jest minimalny prawidłowy plik robots.txt?

Nie podoba mi się to, że widzę dużo błędów 404 w access.log mojego serwera. Otrzymuję te błędy, ponieważ roboty indeksujące próbują otworzyć plik robots.txt , ale nie mogą go znaleźć. Chcę więc umieścić prosty plik robots.txt , który zapobiegnie pojawieniu się błędów 404 w moim pliku dziennika.

Jaki jest minimalny prawidłowy plik robots.txt , który pozwoli na indeksowanie wszystkiego w witrynie?

Jak wskazano tutaj , utwórz plik tekstowy o nazwie robots.txt w katalogu najwyższego poziomu serwera WWW. Możesz zostawić to puste lub dodać:

User-agent: *
Disallow:

Jeśli chcesz, aby roboty indeksowały wszystko . Jeśli nie, zobacz powyższy link, aby uzyskać więcej przykładów.

Najlepszym minimum robots.txtjest całkowicie pusty plik.

Wszelkie inne „zerowe” dyrektywy, takie jak puste Disallowlub Allow: *są nie tylko bezużyteczne, ponieważ nie działają, ale dodają niepotrzebnej złożoności.

Jeśli nie chcesz, aby plik był całkowicie pusty - lub chcesz, aby był bardziej czytelny dla człowieka - po prostu dodaj komentarz rozpoczynający się od #znaku, na przykład # blank file allows all. Roboty ignorują linie zaczynające się od #.

Powiedziałbym to;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Umożliwi to Googleowi indeksowanie wszystkiego, ale nie zezwoli Google na indeksowanie Twojego panelu administracyjnego. To idealna sytuacja dla Ciebie.