Pobieranie rekurencyjne (`wget -r`) równoważne dla Firefoksa?

15

Mam stronę internetową i chcę pobrać wszystkie strony / linki w tej witrynie. Chcę zrobić wget -rpod tym adresem URL. Żaden z linków nie wykracza poza ten konkretny katalog, więc nie martwię się o pobranie całego Internetu.

Jak się okazuje, strony, które chcę, znajdują się za sekcją strony chronioną hasłem. Chociaż mógłbym użyć wget do ręcznego przeprowadzenia negocjacji dotyczących plików cookie, byłoby mi łatwiej po prostu „zalogować się” z przeglądarki i użyć wtyczki Firefox do rekurencyjnego pobierania wszystkiego.

Czy istnieje rozszerzenie lub coś, co pozwoli mi to zrobić? Wiele rozszerzeń koncentruje się na pobieraniu multimediów / zdjęć ze strony (heh. Heh.), Ale interesuje mnie cała zawartość - HTML i wszystko.

Propozycje?

Dzięki!

Edytować

DownThemAll wydaje się fajną sugestią. Czy można pobierać rekurencyjne ? Jak w, pobierz wszystkie linki na stronie, a następnie pobierz wszystkie linki zawarte na każdej z tych stron itp.? Czy w zasadzie odbieram kopię lustrzaną całego drzewa katalogów za pomocą linków? Trochę jak -ropcja wget?

zgrzyt
źródło

Odpowiedzi:

7

DownThemAll nie pobiera rekurencyjnie. Pobiera tylko linki z bieżącej strony. Pobierana jest tylko strona HTML połączonych adresów URL. Obrazy i media połączonych stron nie są pobierane.

Shibu
źródło
6

SpiderZilla ma to zrobić - ale jest trochę stary (2006).
Opiera się na kopiarce internetowej HTTrack .
Który zaktualizował wersje dla wszystkich platform.

Istnieje również inny starszy dodatek, który może pozwolić ci na wgetsamodzielne podłączenie się (między innymi).

Jednak również uważam, że DownThemAll jest prawdopodobnie dobrym wyborem.
Jeśli wiesz, co chcesz dublować, wybranie odpowiednich linków nie powinno stanowić problemu.
I zawsze możesz zaznaczyć pole wyboru „Wszystkie”.

Więc +1 dla DownThemAll, jeśli chcesz trzymać się przeglądarki.
I użyj HTTrack, jeśli chcesz samodzielnego narzędzia (a wget nie jest przydatny).

Aktualizacja: możesz również spojrzeć na głosy HTTrack przy tym pytaniu o nagrodę:
Jak mogę pobrać całą stronę internetową .

nik
źródło
DTA nie obsługuje rekurencji
Hayden Thring
4

Możesz używać wget -rplików cookie z przeglądarki, wyodrębnionych po autoryzacji.

Firefox ma opcję „Kopiuj jako cURL” w menu kontekstowym żądania strony na karcie Sieć w Narzędziach dla webmasterów, skrót Ctrl + Shift + Q (może być konieczne ponowne załadowanie strony po otwarciu narzędzi): zrzut ekranu

Zamień flagę nagłówka curl na -Hwget --header, a masz wszystkie potrzebne nagłówki, w tym pliki cookie, aby kontynuować sesję przeglądarki za pomocą wget.

użytkownik
źródło