Właśnie zaktualizowałem mój plik robots.txt w nowej witrynie; Google Webmaster Tools zgłasza, że przeczytał mój plik robots.txt 10 minut przed moją ostatnią aktualizacją. Czy mogę w jakiś sposób zachęcić Google do ponownego przeczytania mojego pliku robots.txt tak szybko, jak to...
W celu: Zwiększ bezpieczeństwo mojej strony Zmniejsz wymagania dotyczące przepustowości Zapobiegaj gromadzeniu adresów
Próbuję ustawić robots.txtdla wszystkich wirtualnych hostów na serwerze http nginx. Byłem w stanie to zrobić w Apache, umieszczając następujące w głównym httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Próbowałem zrobić coś...
Mamy konfigurację serwera WWW rozwoju Apache XAMPP z wirtualnymi hostami i chcemy powstrzymać serps przed indeksowaniem wszystkich naszych stron. Można to łatwo zrobić za pomocą pliku robots.txt. Jednak wolelibyśmy nie umieszczać pliku disallow robots.txt na każdym vhostie, a następnie musielibyśmy...