Sprawienie, by `wget` nie zapisał strony

Korzystam z wgetprogramu, ale chcę, aby nie zapisywał pliku HTML, który pobieram. Chcę, aby została odrzucona po otrzymaniu. W jaki sposób mogę to zrobić?

Możesz przekierować wyjście wget do / dev / null (lub NUL w Windows):

wget http://www.example.com -O /dev/null

Plik nie zostanie zapisany na dysku, ale zostanie pobrany.

Jeśli nie chcesz zapisać pliku i zaakceptowałeś rozwiązanie pobierania strony /dev/null, to chyba używasz wget, aby nie pobierać i analizować zawartości strony .

Jeśli twoją prawdziwą potrzebą jest uruchomienie jakiejś zdalnej akcji, sprawdź, czy strona istnieje i tak dalej. Myślę, że lepiej byłoby w ogóle nie pobierać strony HTML.

Graj z wgetopcjami, aby odzyskać tylko to, czego naprawdę potrzebujesz, tj. Nagłówki http, status żądania itp.

• zakładając, że musisz sprawdzić, czy strona jest w porządku (tzn. zwracany status to 200), możesz wykonać następujące czynności:

  wget --no-cache --spider http://your.server.tld/your/page.html
  

• jeśli chcesz przeanalizować zwrócone przez serwer nagłówki, wykonaj następujące czynności:

  wget --no-cache -S http://your.server.tld/your/page.html
  

Zobacz stronę manuala wget, aby uzyskać dalsze opcje gry.
Zobacz lynxteż, jako alternatywę dla wget.

$ wget http://www.somewebsite.com -O foo.html --delete-after

Jeśli chcesz również wydrukować w konsoli, możesz:

wget -qO- http://www.example.com

Inną alternatywą jest użycie takiego narzędzia curl, które domyślnie wyświetla zdalną zawartość stdoutzamiast zapisywać ją w pliku.

Sprawdź opcję „-spider”. Używam go, aby upewnić się, że moje strony internetowe działają, i jeśli nie, wyślą mi e-mail. To typowy wpis z mojego crontab:

46 */2 * * * if ! wget -q --spider http://www.rochesterflyingclub.com/ >/dev/null 2>&1; then echo "Rochester Flying Club site is down" ; fi

Jeśli musisz zaindeksować witrynę za pomocą programu wget i chcesz zminimalizować liczbę operacji dyskowych ...

W przypadku pola * NIX i używania wgetsugeruję pominięcie zapisu do pliku. Zauważyłem na moim urządzeniu Ubuntu 10.04, które wget -O /dev/nullspowodowało , że wget przerwał pobieranie po pierwszym pobraniu.
Zauważyłem również, że wget -O real-filepowoduje to, że wget zapomina o rzeczywistych linkach na stronie. Nalega na index.htmlobecność na każdej stronie. Takie strony nie zawsze mogą być obecne i wget nie pamięta linków, które widział wcześniej.

Do przeszukiwania bez zapisywania na dysk najlepiej wymyśliłem następujące rzeczy

 mkdir /dev/shm/1   
 cd /dev/shm/1
 wget --recursive --relative --no-parent ...

Zauważ, że nie ma -O fileopcji. wget zapisze w katalogu $ PWD. W tym przypadku jest to system plików tmpfs zawierający tylko pamięć RAM . Pisząc tutaj, należy ominąć rezygnację z dysku (w zależności od przestrzeni wymiany) ORAZ śledzić wszystkie linki. To powinno zindeksować całą stronę.

Potem oczywiście

 rm --recursive --force /dev/shm/1/*

Użyj opcji --delete-after, która usuwa plik po pobraniu.

Edycja: Ups, właśnie zauważyłem, że odpowiedź została już udzielona.

Zgodnie z dokumentem pomocy (wget -h) możesz użyć opcji --spider, aby pominąć pobieranie (wersja 1.14).

Download:
  -S,  --server-response         print server response.
       --spider                  don't download anything.