Jak zablokować cały katalog w pliku robots.txt?

19

Mam dwie witryny, nad którymi obecnie pracuję, a mianowicie koszyk na zakupy i inny klient. Oba są pod tą samą nazwą domeny, na przykład

http://example.com/first_url 
http://example.com/second_url

Oba te adresy URL mają pod sobą mnóstwo stron 

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Jak zabronić głównego adresu URL, /first_urla /second_urltakże wszystkich podstron i podkatalogów? Myślałem o czymś takim, ale nie wiem, czy to działa, czy nie i czy to była poprawna składnia

Disallow: /first_url/*/
Disallow: /second_url/*/
seo robots.txt Stephen Ostermiller
źródło
1
Myślę, że twoja składnia jest poprawna, ale nie jestem pewien co do dodatkowego /

Odpowiedzi:

-1

Możesz użyć tego jako domyślnego robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

Gwiazda pozwoli na niedopuszczenie wszystkiego w tej kategorii. Możesz nawet zabronić jednej konkretnej rzeczy w tej kategorii, wpisując ten konkretny adres URL.

SAF
źródło
4
Nie różni się to od przyjętej odpowiedzi innej niż brak początkowego ukośnika. Nie zezwalaj na reguły w pliku robots.txt powinny zaczynać się od ukośnika. Tak wszystkie przykłady znajdują się w dokumentacji
Stephen Ostermiller