Pobierz działającą lokalną kopię strony internetowej [zamknięta]

211

Chciałbym pobrać lokalną kopię strony internetowej i uzyskać wszystkie css, obrazy, javascript itp.

W poprzednich dyskusjach (np. Tu i tutaj , które mają więcej niż dwa lata), generalnie wysuwa się dwie sugestie: wget -pi httrack . Jednak oba te sugestie zawodzą. Byłbym bardzo wdzięczny za pomoc w korzystaniu z jednego z tych narzędzi do wykonania zadania; alternatywy są również piękne.


Opcja 1: wget -p

wget -ppomyślnie pobiera wszystkie wymagania wstępne strony internetowej (css, obrazy, js). Jednak gdy ładuję kopię lokalną w przeglądarce internetowej, strona nie może załadować wymagań wstępnych, ponieważ ścieżki do tych wymagań wstępnych nie zostały zmodyfikowane z wersji w Internecie.

Na przykład:

  • W html strony <link rel="stylesheet href="https://stackoverflow.com/stylesheets/foo.css" />należy go poprawić, aby wskazywał na nową ścieżkę względnąfoo.css
  • W pliku css background-image: url(/images/bar.png)będzie podobnie trzeba dostosować.

Czy istnieje sposób na modyfikację, wget -paby ścieżki były poprawne?


Opcja 2: httrack

httrackwydaje się świetnym narzędziem do tworzenia kopii lustrzanych całych stron internetowych, ale nie jest dla mnie jasne, jak używać go do tworzenia lokalnej kopii pojedynczej strony. Na forach httrack jest wiele dyskusji na ten temat (np. Tutaj ), ale wydaje się, że nikt nie ma kuloodpornego rozwiązania.


Opcja 3: inne narzędzie?

Niektórzy sugerują płatne narzędzia, ale po prostu nie mogę uwierzyć, że nie ma tam darmowego rozwiązania.

Brahn
źródło
19
Jeśli odpowiedź nie działa, spróbuj: wget -E -H -k -K -p http://example.com- tylko to zadziałało dla mnie.
Źródło
Do tego celu służy także oprogramowanie Teleport Pro .
pbies
3
wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com
davidcondrey

Odpowiedzi:

262

wget potrafi robić to, o co prosisz. Spróbuj wykonać następujące czynności:

wget -p -k http://www.example.com/

-pBędzie Ci wszystkie niezbędne elementy do prawidłowego wyświetlania strony (CSS, obrazów, itp). -kZmieni wszystkie linki (w tym tych, dla CSS i obrazów), co pozwala, aby wyświetlić stronę w trybie offline, jak wyglądał w Internecie.

Z dokumentów Wget:

‘-k’
‘--convert-links’
After the download is complete, convert the links in the document to make them
suitable for local viewing. This affects not only the visible hyperlinks, but
any part of the document that links to external content, such as embedded images,
links to style sheets, hyperlinks to non-html content, etc.

Each link will be changed in one of the two ways:

    The links to files that have been downloaded by Wget will be changed to refer
    to the file they point to as a relative link.

    Example: if the downloaded file /foo/doc.html links to /bar/img.gif, also
    downloaded, then the link in doc.html will be modified to point to
    ‘../bar/img.gif’. This kind of transformation works reliably for arbitrary
    combinations of directories.

    The links to files that have not been downloaded by Wget will be changed to
    include host name and absolute path of the location they point to.

    Example: if the downloaded file /foo/doc.html links to /bar/img.gif (or to
    ../bar/img.gif), then the link in doc.html will be modified to point to
    http://hostname/bar/img.gif. 

Because of this, local browsing works reliably: if a linked file was downloaded,
the link will refer to its local name; if it was not downloaded, the link will
refer to its full Internet address rather than presenting a broken link. The fact
that the former links are converted to relative links ensures that you can move
the downloaded hierarchy to another directory.

Note that only at the end of the download can Wget know which links have been
downloaded. Because of that, the work done by ‘-k’ will be performed at the end
of all the downloads. 
serk
źródło
2
Próbowałem tego, ale jakoś wewnętrzne linki, takie jak index.html#link-to-element-on-same-pageprzestały działać.
rhand
12
Niektóre serwery odpowiedzą kodem 403, jeśli użyjesz wget bez agenta użytkownika, możesz dodać-U 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.6) Gecko/20070802 SeaMonkey/1.1.4'
nikoskip 30.04.2014
45
Jeśli zauważysz, że wciąż brakuje Ci obrazów itp., Spróbuj dodać to: -e robots = off ..... wget faktycznie czyta i szanuje plik robots.txt - naprawdę trudno mi było zrozumieć, dlaczego nic pracował!
John Hunt
24
aby uzyskać zasoby od zagranicznych hostów użyj-H, --span-hosts
davidhq