Mam stronę internetową i chcę pobrać wszystkie strony / linki w tej witrynie. Chcę zrobić wget -r
pod tym adresem URL. Żaden z linków nie wykracza poza ten konkretny katalog, więc nie martwię się o pobranie całego Internetu.
Jak się okazuje, strony, które chcę, znajdują się za sekcją strony chronioną hasłem. Chociaż mógłbym użyć wget do ręcznego przeprowadzenia negocjacji dotyczących plików cookie, byłoby mi łatwiej po prostu „zalogować się” z przeglądarki i użyć wtyczki Firefox do rekurencyjnego pobierania wszystkiego.
Czy istnieje rozszerzenie lub coś, co pozwoli mi to zrobić? Wiele rozszerzeń koncentruje się na pobieraniu multimediów / zdjęć ze strony (heh. Heh.), Ale interesuje mnie cała zawartość - HTML i wszystko.
Propozycje?
Dzięki!
Edytować
DownThemAll wydaje się fajną sugestią. Czy można pobierać rekurencyjne ? Jak w, pobierz wszystkie linki na stronie, a następnie pobierz wszystkie linki zawarte na każdej z tych stron itp.? Czy w zasadzie odbieram kopię lustrzaną całego drzewa katalogów za pomocą linków? Trochę jak -r
opcja wget
?
źródło
Możesz używać
wget -r
plików cookie z przeglądarki, wyodrębnionych po autoryzacji.Firefox ma opcję „Kopiuj jako cURL” w menu kontekstowym żądania strony na karcie Sieć w Narzędziach dla webmasterów, skrót Ctrl + Shift + Q (może być konieczne ponowne załadowanie strony po otwarciu narzędzi):
Zamień flagę nagłówka curl na
-H
wget--header
, a masz wszystkie potrzebne nagłówki, w tym pliki cookie, aby kontynuować sesję przeglądarki za pomocą wget.źródło