Jak mogę zobaczyć całe żądanie HTTP wysyłane przez moją aplikację Python?

263

W moim przypadku używam requestsbiblioteki do wywoływania interfejsu API PayPal przez HTTPS. Niestety dostaję błąd z PayPal, a obsługa PayPal nie może ustalić, jaki jest błąd lub co go powoduje. Chcą, żebym „Podał całą prośbę wraz z nagłówkami”.

Jak mogę to zrobić?

Chris B.
źródło

Odpowiedzi:

498

Prosta metoda: włącz logowanie w najnowszych wersjach Żądań (1.xi wyższych).

Żądania używają konfiguracji http.clienti loggingmodułu do kontrolowania szczegółowości rejestrowania, jak opisano tutaj .

Demonstracja

Kod zaczerpnięty z powiązanej dokumentacji:

import requests
import logging

# These two lines enable debugging at httplib level (requests->urllib3->http.client)
# You will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# The only thing missing will be the response.body which is not logged.
try:
    import http.client as http_client
except ImportError:
    # Python 2
    import httplib as http_client
http_client.HTTPConnection.debuglevel = 1

# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://httpbin.org/headers')

Przykładowy wynik

$ python requests-logging.py 
INFO:requests.packages.urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org
send: 'GET /headers HTTP/1.1\r\nHost: httpbin.org\r\nAccept-Encoding: gzip, deflate, compress\r\nAccept: */*\r\nUser-Agent: python-requests/1.2.0 CPython/2.7.3 Linux/3.2.0-48-generic\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Content-Type: application/json
header: Date: Sat, 29 Jun 2013 11:19:34 GMT
header: Server: gunicorn/0.17.4
header: Content-Length: 226
header: Connection: keep-alive
DEBUG:requests.packages.urllib3.connectionpool:"GET /headers HTTP/1.1" 200 226
Nieaktywny
źródło
1
Dzięki, @ EmmettJ.Butler =) Chociaż nie jestem pewien, czy te informacje były dostępne w momencie pierwotnego zapytania.
Dezaktywista
9
Zauważ, że httplib nie jest dostępna w Pythonie 3. Aby uczynić kod przenośny, wymienić import httplibz import requests.packages.urllib3.connectionpool as httpliblub użyć sześć i from six.moves import http_client as httplib.
Jason R. Coombs
W requests2.18.1 i Python 3 program rejestrujący logging.getLogger("requests.packages.urllib3")nie istnieje lub nie działa.
Flimm,
1
dla Python3 patrz tutaj - docs.python-requests.org/en/latest/api/?highlight=debug from http.client import HTTPConnection
shershen
Niestety wiersze „send:”, „reply:” i „header:” nie są faktycznie rejestrowane, a jedynie drukowane na standardowe wyjście. Ale chcę mieć te informacje w plikach dziennika!
lesnik
145
r = requests.get('https://api.github.com', auth=('user', 'pass'))

rjest odpowiedzią. Ma atrybut żądania, który zawiera potrzebne informacje.

r.request.allow_redirects  r.request.headers          r.request.register_hook
r.request.auth             r.request.hooks            r.request.response
r.request.cert             r.request.method           r.request.send
r.request.config           r.request.params           r.request.sent
r.request.cookies          r.request.path_url         r.request.session
r.request.data             r.request.prefetch         r.request.timeout
r.request.deregister_hook  r.request.proxies          r.request.url
r.request.files            r.request.redirect         r.request.verify

r.request.headers daje nagłówki:

{'Accept': '*/*',
 'Accept-Encoding': 'identity, deflate, compress, gzip',
 'Authorization': u'Basic dXNlcjpwYXNz',
 'User-Agent': 'python-requests/0.12.1'}

Następnie r.request.datama ciało jako mapowanie. Możesz to przekonwertować, urllib.urlencodejeśli wolą:

import urllib
b = r.request.data
encoded_body = urllib.urlencode(b)

w zależności od typu odpowiedzi .datamoże brakować .bodyatrybutu -trybut, zamiast niego może być .

Skylar Saveland
źródło
14
Które z nich daje mi „całą prośbę, łącznie z nagłówkami”?
Chris B.
1
dodał trochę więcej. Czego jeszcze potrzebujesz oprócz nagłówków i ciała?
Skylar Saveland
8
Nie jestem do końca pewien, czego szukają. Miałem nadzieję, że uda mi się uchwycić wszystko, co przeszło po nich, w tym dokładnie formacie, bajt po bajcie.
Chris B.
18
W moim przypadku jest to preferowany sposób. Tylko jedna uwaga: response.requestwydaje się, że PreparedRequestw moim przypadku jest; nie ma, .dataale .bodyzamiast tego.
Antti Haapala,
2
dla pełnego adresu URL (z parametrami kwerendy) możesz również użyć response.url (co jest nieco inne, ponieważ nie jestresponse.request...
Chuck van der Linden
6

Aby to zrobić, możesz użyć zestawu narzędzi HTTP .

Jest to szczególnie przydatne, jeśli musisz to zrobić szybko, bez zmian kodu: możesz otworzyć terminal z HTTP Toolkit, uruchomić dowolny kod Pythona z tego miejsca jak zwykle, a będziesz mógł zobaczyć pełną zawartość każdego HTTP / HTTPS poprosić natychmiast.

Jest darmowa wersja, która może zrobić wszystko, czego potrzebujesz, i jest w 100% open source.

Jestem twórcą HTTP Toolkit; Zrobiłem to sam, aby rozwiązać ten sam problem dla mnie jakiś czas temu! Ja także próbowałem debugować integrację płatności, ale ich SDK nie działało, nie mogłem powiedzieć dlaczego i musiałem wiedzieć, co się właściwie dzieje, aby to naprawić. To bardzo frustrujące, ale możliwość zobaczenia surowego ruchu naprawdę pomaga.

Tim Perry
źródło
5

Jeśli używasz języka Python 2.x, spróbuj zainstalować moduł otwierający urllib2 . To powinno wydrukować twoje nagłówki, chociaż być może będziesz musiał połączyć to z innymi otwieraczami, których używasz do uderzenia w HTTPS.

import urllib2
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1)))
urllib2.urlopen(url)
Kafonek
źródło
2

Opcja verbosekonfiguracji może pozwolić ci zobaczyć, co chcesz. Jest to przykład w dokumentacji .

UWAGA: Przeczytaj poniższe komentarze: Pełne opcje konfiguracji wydają się już niedostępne.

Bruno
źródło
3
Jest? Naprawdę nie mogę tego znaleźć.
BastiBen,
3
@zły kot. W tym czasie istniała sekcja „Pełne rejestrowanie” . Wygląda na to, że został usunięty w grudniu .
Bruno
2
Ach, to by to wyjaśniało. :) Mimo to teraz to pytanie jest znowu trochę poprawne, ponieważ nie mogłem znaleźć sposobu na wydrukowanie całego ruchu między serwerem a klientem w celu debugowania.
BastiBen
1
Czy istnieje zalecany „nowy sposób” uzyskania takiego samego efektu jak pełne rejestrowanie?
cbare
1
Moja odpowiedź pokazuje prawidłową metodę dla żądań 1.x i wyższych.
Inaktywista