Chcę zeskrobać wszystkie strony i podstrony witryny internetowej (przez scrape mam na myśli zapisanie całej zawartości online w lokalnych plikach HTML).
Jakie jest najlepsze narzędzie do indeksowania wszystkich stron? Idealnie chciałbym określić, ile warstw należy zeskrobać.
Masz dwie opcje:
Możesz użyć wgetnarzędzia wiersza polecenia, takiego jak:
wget -rl 10Zamień na 10liczbę poziomów, na które chciałbyś powrócić.
Lub możesz użyć SiteSucker . Aplikacja GUI, która rekurencyjnie pobiera strony internetowe. Możesz także określić, jak daleko ma się powtarzać za pomocą SiteSucker.
DeepVacuum
GUI dla wget, 15 USD.
kokosowy
(darmowy)
źródło