Jak działa „Noindex:” w pliku robots.txt?

10

Dzisiaj natknąłem się na ten artykuł w moich wiadomościach SEO. Wydaje się to sugerować, że możesz używać Noindex:dyrektyw oprócz standardowych Disallow:dyrektyw w pliku robots.txt .

Disallow: /page-one.html
Noindex: /page-two.html

Wygląda na to, że uniemożliwiłoby to wyszukiwarkom indeksowanie strony pierwszej, a także indeksowanie strony drugiej.

Czy ta dyrektywa robots.txt jest obsługiwana przez Google i inne wyszukiwarki? Czy to działa? Czy to jest udokumentowane?

web-crawlers robots.txt googlebot noindex Stephen Ostermiller
źródło
Nie wiem ... ale to może być dla niektórych bardzo pomocne. Chciałbym również, aby mapa witryny została rozszerzona, aby była bardziej komunikatywna. Pomiędzy robotami i mapami witryn powinna to być świetna okazja do przekazania wyszukiwarkom i innym osobom informacji o witrynie. Opowiadam się także za tekstową możliwością informowania wyszukiwarek o witrynie w inny sposób, niezależnie od dostępności w wyszukiwarce, np. O stronie o, tak jakbyś miał okazję porozmawiać bezpośrednio z recenzentem witryny Google. Może uratować niektóre bóle serca i nieporozumienia. Szansa, by powiedzieć Ooopppsss, wygłupiałem- Przepraszam.
closetnoc
Mam wrażenie, że disallowGoogle nie odkrywa linków na stronach nadrzędnych i podrzędnych, jeśli takie istnieją. Chociaż noindexpo prostu zatrzymuje wyświetlanie strony, nie przerywa odkrywania, podczas gdy nie zezwala.
Simon Hayter
@ SimonHayter Wiem, że tak nofollowdziała metatagi. Byłoby miło wiedzieć, czy dotyczy to również pliku robots.txt .
Stephen Ostermiller
Hej @StephenOstermiller nie tylko metatagi, ale i to samo <a rel="no-follow">. Nie widzę powodu, dla którego byłby traktowany inaczej. Oczywiście nie jest to oficjalne i John Muller zaleca nawet, aby nie używać go w pliku robots.txt, ale poza jego tweetem nie udało mi się znaleźć wielu informacji na jego temat.
Simon Hayter
Warto zauważyć, że Google nie oznacza już błędu Noindexdyrektywy w robots.txtplikach jako błędu.
Aran

Odpowiedzi:

9

Google nieoficjalnie wspierało Noindexdyrektywę w pliku robots.txt, jednak w 2019 r . Ogłosili, że dyrektywa przestanie działać.

Oto co Google John Mueller mówi o Noindex:w pliku robots.txt :

Kiedyś wspieraliśmy dyrektywę bez indeksu w pliku robots.txt jako funkcję eksperymentalną. Ale to coś, na czym nie mógłbym polegać. I nie sądzę, że inne wyszukiwarki w ogóle z tego korzystają.

Zanim Google ogłosiło wycofanie tej funkcji, deepcrawl.com przeprowadził pewne testy tej funkcji i stwierdził, że:

  • Przed 2019 rokiem nadal działał z Google
  • Zapobiegło pojawianiu się adresów URL w indeksie wyszukiwania
  • Adresy URL, które nie zostały indeksowane w pliku robots.txt, zostały oznaczone jako takie w Google Search Console

Ponieważ Google zaprzestało korzystania z tej funkcji, nie należy jej już używać.

Zamiast tego użyj metatagów robotów, które są dobrze obsługiwane i udokumentowane, aby zapobiec indeksowaniu:

<meta name="robots" content="noindex" />
Stephen Ostermiller
źródło