Czy w pliku robots.txt można użyć względnego adresu URL mapy witryny?

191

Czy w pliku robots.txt mogę napisać następujący względny adres URL pliku mapy witryny?

sitemap: /sitemap.ashx

Czy też muszę użyć pełnego (bezwzględnego) adresu URL pliku mapy witryny, na przykład:

sitemap: http://subdomain.domain.com/sitemap.ashx

Dlaczego zastanawiam się:

  • Posiadam nową usługę blogową, www.domain.com, która pozwala użytkownikom na blogowanie na accountname.domain.com.
  • Używam symboli wieloznacznych, więc wszystkie subdomeny (konta) wskazują na: „blog.domain.com”.

W blog.domain.com umieściłem plik robots.txt, aby umożliwić wyszukiwarkom znalezienie mapy witryny. Jednak ze względu na symbole wieloznaczne wszystkie konta użytkowników korzystają z tego samego pliku robots.txt, dlatego nie mogę użyć drugiej alternatywy. I na razie nie mogę używać przepisywania adresów URL dla plików TXT. (Myślę, że późniejsze wersje IIS mogą sobie z tym poradzić?)

seo sitemap robots.txt Easyrider
źródło

Odpowiedzi:

318

Zgodnie z oficjalną dokumentacją sitemaps.org musi to być pełny adres URL:

Możesz określić lokalizację mapy witryny za pomocą pliku robots.txt. Aby to zrobić, po prostu dodaj do mapy witryny następujący wiersz, w tym pełny adres URL :

Sitemap: http://www.example.com/sitemap.xml
unor
źródło
31
Uwaga: przykład @ unor zawiera: Mapa witryny z wielką literą S. Jest to ważne, ponieważ w pliku Robots.txt rozróżniana jest wielkość liter.
BodgeIT
19
I na temat sprawy, robotstxt.org określa plik, który ma być nazwany robots.txtbez
dużej litery
jeśli witryna ładuje https, adres URL mapy witryny wymieniony za pomocą http. Czy to w porządku? Czy też musimy umieścić adres URL mapy witryny na podstawie protokołu?
Shams
4
@Shams: adresy URL wymienione w mapie witryny muszą używać tego samego protokołu i tego samego hosta co plik mapy witryny. Jeśli witryna jest dostępna w ramach http i https , należy podać tylko jedną mapę witryny (z wariantem kanonicznym) .
Unor
2

Przeszukiwacze Google nie są wystarczająco inteligentne, nie mogą indeksować względnych adresów URL, dlatego zawsze zaleca się stosowanie bezwzględnych adresów URL w celu lepszej indeksowalności i możliwości indeksowania.

Dlatego nie możesz użyć tej odmiany

> sitemap: /sitemap.xml

Zalecana składnia to

Sitemap: https://www.yourdomain.com/sitemap.xml

Uwaga:

  • Nie zapomnij napisać wielką literą w „mapie witryny”
  • Nie zapomnij wstawić spacji po „Sitemap:”
Deepak Mathur
źródło
-2

Dobre techniczne i logiczne pytanie, mój drogi przyjacielu. Nie w pliku robots.txt nie można przejść ze względnym adresem URL mapy witryny; musisz podać pełny adres URL mapy witryny.

Lepiej jest użyć „mapy witryny: https://www.example.com/sitemap_index.xml ”

W powyższym adresie URL po dwukropku jest spacja. Lubię też wspierać Deepak.

cstpl123
źródło