My robots.txt
w Narzędziach Google dla webmasterów pokazuje następujące wartości:
User-agent: *
Allow: /
Co to znaczy? Nie mam wystarczającej wiedzy na ten temat, więc szukam twojej pomocy. Chcę zezwolić wszystkim robotom na indeksowanie mojej witryny. Czy to właściwa konfiguracja?
robots.txt
Raajpoot
źródło
źródło
Odpowiedzi:
Ten plik umożliwi dostęp wszystkim robotom
Zasadniczo umożliwia to wszystkim agentom użytkownika (*) dostęp do wszystkich części witryny (znak /).
źródło
Jeśli chcesz, aby każdy bot mógł indeksować wszystko, jest to najlepszy sposób na określenie tego w pliku robots.txt:
Zauważ, że
Disallow
pole ma pustą wartość, co oznacza zgodnie ze specyfikacją :Twój sposób (z
Allow: /
zamiastDisallow:
) też działa, aleAllow
nie jest częścią oryginalnej specyfikacji pliku robots.txt , więc nie jest obsługiwany przez wszystkie boty (obsługuje go jednak wiele popularnych, na przykład Googlebot ). To powiedziawszy, nierozpoznane pola muszą zostać zignorowane, a dla botów, które nie rozpoznająAllow
, wynik i tak byłby taki sam w tym przypadku: jeśli nic nie jest zabronione do przeszukiwania (zDisallow
), wszystko jest dozwolone.Jednak formalnie (zgodnie z oryginalną specyfikacją) jest to nieprawidłowy rekord, ponieważ
Disallow
wymagane jest co najmniej jedno pole:źródło
Rozumiem, że jest to dość stare pytanie i ma całkiem dobre odpowiedzi. Ale oto moje dwa centy ze względu na kompletność.
Zgodnie z oficjalną dokumentacją istnieją cztery sposoby zezwolenia na pełny dostęp robotów do Twojej witryny.
Czysty:
Określ globalny element dopasowujący z segmentem zakazu, jak wspomniano w @unor. Więc twój
/robots.txt
wygląd wygląda tak.Hack:
Utwórz
/robots.txt
plik bez zawartości. Które domyślnie zezwalają na wszystkie dla wszystkich typówBots
.Nie obchodzi mnie sposób:
Nie twórz
/robots.txt
całkowicie. Co powinno dać dokładnie takie same wyniki jak powyższe dwa.Brzydki:
Z dokumentacji robotów dotyczącej metatagów można użyć następującego metatagu na wszystkich swoich stronach w witrynie, aby poinformować
Bots
, że te strony nie powinny być indeksowane.Aby zastosować to w całej witrynie, musisz dodać ten metatag do wszystkich swoich stron. Ten tag powinien być ściśle umieszczony pod
HEAD
tagiem strony. Więcej o tym metatagu tutaj .źródło
Oznacza to, że zezwalasz każdemu (
*
) agentowi użytkownika / robotowi indeksującemu na dostęp do katalogu głównego (/
) witryny. Jesteś w porządku.źródło