Pobieranie Firefoksa z wiersza poleceń

Chcę pobrać zawartość z witryny. Początkowo użyłem curl / wget, jednak strona zażądała pliku cookie sesji + miała wiele przekierowań. Administrator strony powiedział mi, żebym użył Firefoksa do pobrania zawartości. Jest to oczywiście dość trudne, ponieważ chcę wywołać pobieranie ze skryptu.

Zrozumiałem to

firefox https://url.to.page.com/download_content

działa i pojawia się okno dialogowe pobierania pliku. Jestem już prawie na miejscu. Oczywiście, ponieważ chcę wywołać pobieranie ze skryptu, nie chcę naciskać przycisku „ok”, ale pobierz go natychmiast. Czy są jakieś dodatkowe ustawienia wiersza poleceń, aby zignorować okno dialogowe pobierania pliku w Firefoksie i natychmiast pobrać plik?

command-line firefox download Syd Amerikaner
źródło

Nie ma żadnych dodatkowych flag, które można ustawić do automatycznego pobierania, ale można spróbować zautomatyzować w innej przeglądarce (np. Chromium) lub xdotoolnacisnąć przycisk Zapisz.

dsstorefile1

Dziękuję za sugestię, jednak korzystanie z dodatkowych programów nie jest możliwe ...

Syd Amerikaner

Czy używanie curl z ciasteczkami pomaga?

Andrew Morton

Nie, to nie działa. Brzmiał również administrator strony, z którą się skontaktowałem, ponieważ bardzo trudno było go zrealizować za pomocą curl / wget i zalecił to zrobić w przeglądarce Firefox.

Syd Amerikaner,

Więc nie musisz logować się na konto, aby pobrać plik? W takim razie zwijanie może rzeczywiście działać. A może skrypt Pythona.

SpiderPig

Odpowiedzi:

Ten sam problem rozwiązano za pomocą przeglądarki Firefox:

Otwórz kartę „Sieć” narzędzia „Web Developer”: Ctrl-Shift-E
Odwiedź stronę, którą chcesz zapisać (np. Zdjęcie za loginem)
Kliknij żądanie prawym przyciskiem myszy i wybierz „Kopiuj” -> „Kopiuj jako cURL”

To da ci polecenie, które ma wszystkie dane uwierzytelniające, np

curl 'https://mysite.test/my-secure-dir/picture1.jpg' \ 
-H 'User-Agent: Mozilla/5.0 ...' \
-H 'Cookie: SESSIONID=abcdef1234567890'

Możesz zmodyfikować adres URL w poleceniu, aby pobrać cokolwiek chcesz i uruchomić go w powłoce.

BlackShift
źródło

Już zrezygnowałem z tego problemu, ale to rozwiązało! Wielkie dzięki!!!!!! To jest po prostu świetne!

Syd Amerikaner,

Miło, że mogłem pomóc! Naprawdę byłem sfrustrowany i poświęciłem znacznie więcej czasu na automatyzację tego, niż byłoby to kosztem, aby pobrać wszystko ręcznie. I to jest takie proste. Mam nadzieję, że umieszczenie tutaj rozwiązania pozwoli innym (i mojej przyszłej jaźni) je znaleźć. Dzięki za pytanie.

BlackShift,