Czy programy klienckie mogą być wymienione razem, a ich wspólne reguły, takie jak w pliku robots.txt ?
User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/
web-crawlers
robots.txt
user-agent
Davidcondrey
źródło
źródło
user-agent: *a następnie nie zezwalasz? Czy lista „dozwolonych” programów klienckich jest dłuższa niż lista, której chcesz zabronić?Odpowiedzi:
Tak. Zakładając, że nazwy agentów są określone poprawnie, wygląda na to, że powinno to działać. Oto zasób, jeśli chcesz przeczytać więcej. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
źródło