Wget: konwersja linków i unikanie ponownego pobierania już pobranych plików?

12

Pobieram dane rozproszone wśród wielu plików, które nie zmieniają się po opublikowaniu.

Dlatego --timestampingnie jest wystarczająco dobry, ponieważ stale sprawdza, który zasób jest zmieniany, co w moim przypadku jest całkowicie bezcelowe.

--no-clobberpasuje idealnie. Niestety z --convert-links jakiegoś powodu nie działa .

Podano zarówno --no-clobber, jak i --convert-links, zostaną użyte tylko --convert-links.

Miałem nadzieję, że --backup-convertedto pomoże, ale nic nie zmieniło (działa --timestamping).

Dlaczego wget --convert-links --backup-converted --no-clobber --wait 1 https://example.comignoruje --no-clobberi jak można to naprawić?

wget download ograniczenie aktywności
źródło
Dotknięcie tego samego problemu dzisiaj. Jak to rozwiązałeś?
Angelo Fuchs,
1
@AngeloFuchs Nigdy tego nie rozwiązałem (wysłałbym odpowiedź, gdyby tak się stało). W końcu w moim przypadku ponowne pobieranie pobranych linków było prostsze niż łatanie wgeta lub przejście na coś innego.
ograniczenie aktywności
próbowałeś --continue? zwykle ma to na celu kontynuowanie wcześniej przerwanego pobierania. ale jeśli plik został już pobrany, nic nie robi.
JPT

Odpowiedzi:

1

Czy jest jakaś możliwość korzystania z rsync? Będziesz musiał mieć dostęp ssh do systemu. (Nigdy nie widziałem rsync używanego do pobierania http: //).

Coś takiego spowoduje otrzymanie plików, których nigdy nie otrzymałeś i ponowne pobranie plików, które z jakiegoś powodu zostały zatrzymane. 

rsync -avzheP ssh [email protected]:/remotefolder/ /localfolder/

To może nie działać dla ciebie. Za mało informacji o tym, co próbujesz zrobić.

Mark Stewart
źródło
-2

Nie możesz używać obu --convert-linksi --no-clobber. Otrzymasz tę wiadomość:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetmoże osiągnąć to, co chcesz, jeśli określisz --convert-linksi --timestamping. Działa to jednak tylko wtedy, gdy witryna docelowa poda informacje o znaczniku czasu pliku w nagłówkach odpowiedzi.

RashaMatt
źródło
W tej odpowiedzi nie ma nic, o czym nie wspomniałem w pierwszej wersji ( unix.stackexchange.com/posts/177330/revisions ) mojego pytania.
ograniczenie aktywności