Jak używać curl za McAfee Web Gateway?

1

curl wydaje się, że niektóre adresy URL są w porządku, podczas gdy inne są blokowane odpowiedzią wskazującą na konieczność uwierzytelnienia i brak prawidłowego pliku cookie.

Mogę pobrać ten sam adres URL w Chrome. W przeglądarce Chrome nie jest skonfigurowany żaden serwer proxy.

CrashCodes
źródło
Czy możemy uzyskać przykładowy adres URL, który działa dobrze w Chrome, ale nie zwija się?
Erikster
1
Oto odpowiedni link.
Erikster
Rozumiem, dlaczego pytasz. Przepraszamy, ale naprawdę wolę nie ujawniać żadnych konkretnych adresów URL. Mogę dodać, że wiadomości wymagające uwierzytelnienia pochodzą z adresu IP McAfee Web Gateway, a nie z adresów URL hosta.
CrashCodes
Czy próbowałeś uzyskać curl, aby zmienić jego ciąg User-Agent? (np. curl -A 'Mozilla / 5.0 (Windows NT 6.1; WOW64) AppleWebKit / 537.36 (KHTML, jak Gecko) Chrome / 38.0.2125.104 Safari / 537.36' http://example.com ) Niektóre witryny blokują określone ciągi agenta użytkownika, więc zawsze warto spróbować.
Adam Thompson
@AdamThompson Tak, ale bez powodzenia. Świetna sugestia.
CrashCodes,

Odpowiedzi:

1

Z tego, czego nauczyłem się podczas przeglądania StackOverflow w ciągu ostatnich kilku minut, jest kilka sposobów, aby sprawdzić, czy ktoś używa curl zamiast przeglądarki. Typowe sposoby obejmują sprawdzanie, czy „przeglądarka” obsługuje javascript, sprawdzanie klienta użytkownika i szukanie brakujących pól żądań.

Próbowałem użyć curl, aby uzyskać dostęp do strony http://yahoo.com, która zwróciła stronę „Zaraz wracam ...”. Ale potem użyłem wget z agentem użytkownika pożyczonym z Firefoksa i otrzymałem zwykłą stronę internetową. Spróbuj użyć wget, aby zobaczyć, czy to robi różnicę.

Erikster
źródło