Czy mogę użyć wget do sprawdzenia, ale nie do pobrania

Question 1

Czy mogę użyć wget do sprawdzenia błędu 404, a nie do pobrania zasobu? Jeśli tak to jak? Dzięki

Question 2

Do tego celu służy parametr wiersza poleceń --spider. W tym trybie wget nie pobiera plików, a jego wartość zwracana wynosi zero, jeśli zasób został znaleziony, i niezerowy, jeśli nie został znaleziony. Spróbuj tego (w swojej ulubionej powłoce):

wget -q --spider address
echo $?

Lub jeśli chcesz uzyskać pełną wydajność, zostaw -qwyłączone, więc po prostu wget --spider address. -nvpokazuje niektóre dane wyjściowe, ale nie tak bardzo, jak domyślne.

Question 3

Jeśli chcesz sprawdzić cicho przez $? bez kłopotów z grep'owaniem wyjścia wget możesz użyć:

wget -q "http://blah.meh.com/my/path" -O /dev/null

Działa nawet w przypadku adresów URL zawierających tylko ścieżkę, ale ma tę wadę, że coś jest naprawdę pobierane, więc nie jest to zalecane podczas sprawdzania istnienia dużych plików.

Question 4

Możesz użyć następującej opcji, aby sprawdzić pliki:

wget --delete-after URL

Question 5

Tak łatwo.

wget --spider www.bluespark.co.nz

To ci da

Resolving www.bluespark.co.nz... 210.48.79.121
Connecting to www.bluespark.co.nz[210.48.79.121]:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
200 OK

Question 6

Jeśli jesteś w katalogu, w którym tylko root ma dostęp do zapisu w systemie. Następnie możesz używać bezpośrednio wget www.example.com/wget-testprzy użyciu standardowego konta użytkownika. Więc trafi na adres URL, ale z powodu braku uprawnień do zapisu plik nie zostanie zapisany. Ta metoda działa dobrze, ponieważ używam tej metody dla cronjob. Dzięki.

sthx

Answer 1

83

Czy mogę użyć wget do sprawdzenia błędu 404, a nie do pobrania zasobu? Jeśli tak to jak? Dzięki

wget mike628
źródło

możliwy duplikat Utwórz plik tylko wtedy, gdy status http 200 z wget?

Joris Meys

Answer 2

możliwy duplikat Utwórz plik tylko wtedy, gdy status http 200 z wget?

Joris Meys

Answer 3

116

Do tego celu służy parametr wiersza poleceń --spider. W tym trybie wget nie pobiera plików, a jego wartość zwracana wynosi zero, jeśli zasób został znaleziony, i niezerowy, jeśli nie został znaleziony. Spróbuj tego (w swojej ulubionej powłoce):

wget -q --spider address
echo $?

Lub jeśli chcesz uzyskać pełną wydajność, zostaw -qwyłączone, więc po prostu wget --spider address. -nvpokazuje niektóre dane wyjściowe, ale nie tak bardzo, jak domyślne.

Shadikka
źródło

29

Zauważ, że wget --spiderwysyła żądanie HEAD, a nie GET.

hammar,

3

@hammer, nie jestem pewien, jakiej wersji mogłeś używać, ale z 1.14 wget --spiderwykonuje HEAD i, jeśli się powiedzie, następuje z GET do tego samego adresu URL. Dlatego z opcją rekurencyjną jest przydatna do budowania pamięci podręcznej dla witryny sieci Web po stronie serwera.

danorton

Answer 4

29

Zauważ, że wget --spiderwysyła żądanie HEAD, a nie GET.

hammar,

Answer 5

3

@hammer, nie jestem pewien, jakiej wersji mogłeś używać, ale z 1.14 wget --spiderwykonuje HEAD i, jeśli się powiedzie, następuje z GET do tego samego adresu URL. Dlatego z opcją rekurencyjną jest przydatna do budowania pamięci podręcznej dla witryny sieci Web po stronie serwera.

danorton

Answer 6

27

Jeśli chcesz sprawdzić cicho przez $? bez kłopotów z grep'owaniem wyjścia wget możesz użyć:

wget -q "http://blah.meh.com/my/path" -O /dev/null

Działa nawet w przypadku adresów URL zawierających tylko ścieżkę, ale ma tę wadę, że coś jest naprawdę pobierane, więc nie jest to zalecane podczas sprawdzania istnienia dużych plików.

3ronco
źródło

--spiderArg ma ustawić kod zwrotny. Ale może dlatego, że po 4 latach, 3 miesiącach i 7 dniach, pająk stał się mądrzejszy.

John Red

Nie sprawdzałem tego ostatnio, ale nie zdziwiłbym się, gdyby w międzyczasie to naprawili.

3ronco

Answer 7