Jak pobrać stronę internetową z innym klientem użytkownika niż domyślny w witrynie urllib2.urlopen?
Jak pobrać stronę internetową z innym klientem użytkownika niż domyślny w witrynie urllib2.urlopen?
Ustawianie agenta użytkownika z ulubionego przez wszystkich Dive Into Python .
Krótka historia: Możesz użyć Request.add_header, aby to zrobić.
Możesz również przekazać nagłówki jako słownik podczas tworzenia samego żądania, jak zauważają w dokumentacji :
nagłówki powinny być słownikiem i będą traktowane tak, jakby
add_header()
były wywoływane z każdym kluczem i wartością jako argumentami. Jest to często używane do „fałszowania”User-Agent
nagłówka, który jest używany przez przeglądarkę do identyfikacji - niektóre serwery HTTP dopuszczają tylko żądania pochodzące z popularnych przeglądarek, a nie skrypty. Na przykład Mozilla Firefox może identyfikować się jako"Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11"
, podczas gdyurllib2
domyślnym ciągiem agenta użytkownika jest"Python-urllib/2.6"
(w Pythonie 2.6).
I odpowiedział na podobne pytanie kilka tygodni temu.
W tym pytaniu jest przykładowy kod, ale zasadniczo możesz zrobić coś takiego: (Zwróć uwagę na wielkie litery User-Agent
od RFC 2616 , sekcja 14.43.)
opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')
User-agent
w rzeczywistości powinno byćUser-Agent
(litera A jest pisana wielką literą).Lub trochę krócej:
źródło
req = urllib2.Request('www.example.com', headers={'User-Agent': 'Mozilla/5.0'})
. Wolę ten formularz do składania tylko jednej prośby.html = urlopen(Request('http://www.example.com', headers={'User-Agent': 'Mozilla/5.0'})).read()
W przypadku Pythona 3 urllib jest podzielony na 3 moduły ...
źródło
data=b'None'
parametr z odpowiedzi. Przekształcił przykładowe żądanie w POST z nieprawidłowymi danymi. Prawdopodobnie przyczyna niepowodzenia w twoim przypadku, @MaksimWszystko to powinno działać w teorii, ale (przynajmniej z Pythonem 2.7.2 w systemie Windows) za każdym razem, gdy wysyłasz niestandardowy nagłówek User-agent, urllib2 nie wysyła tego nagłówka. Jeśli nie spróbujesz wysłać nagłówka User-agent, wyśle on domyślny Python / urllib2
Żadna z tych metod nie wydaje się działać w przypadku dodawania klienta użytkownika, ale działają one w przypadku innych nagłówków:
źródło
opener.addheaders
prawdopodobnie powinno być[('User-agent', 'Custom user agent')]
. W przeciwnym razie wszystkie te metody powinny działać (testowałem na Pythonie 2.7.3 (Linux)). W twoim przypadku może się zepsuć, ponieważ użyjesz nieprawidłowego argumentu proxy.Dla
urllib
można użyć:źródło
Inne rozwiązanie w
urllib2
i Python 2.7:źródło
Spróbuj tego :
źródło
urllib2
a nie inne moduły.istnieją dwie właściwości
urllib.URLopener()
mianowicie:addheaders = [('User-Agent', 'Python-urllib/1.17'), ('Accept', '*/*')]
iversion = 'Python-urllib/1.17'
.Aby oszukać witrynę, musisz zmienić obie te wartości na akceptowanego User-Agent. np.
przeglądarka Chrome:
'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.149 Safari/537.36'
Google bot: w
'Googlebot/2.1'
ten sposób
zmiana tylko jednej właściwości nie działa, ponieważ witryna oznacza to jako podejrzane żądanie.
źródło