Pytania oznaczone «internet-archive»

Kontrola nad archiwum internetowym oprócz „Disallow /”?

Czy istnieją jakieś mechanizmy kontrolujące, co archiwum archiwum internetowego w witrynie? Wiem, że nie zezwalam na dodawanie wszystkich stron : User-agent: ia_archiver Disallow: / Czy mogę powiedzieć botowi, że chcę, aby indeksowali moją witrynę raz w miesiącu lub raz w roku? Mam witrynę /...

Jak poprawnie (nie) zezwolić botowi archive.org? Czy coś się zmieniło, jeśli tak, to kiedy?

Mam stronę internetową, w której przeważnie nie chcę być indeksowana przez wyszukiwarki, ale chcę ją zachować na wieczność na archive.org. Więc robots.txtzaczynam od tego: User-agent: * Disallow: / Dzisiaj, zgodnie z archive.org, muszę dodać następujące w moim, robots.txtaby pozwolić ich...