Jak grepować wyjście cURL?

70

Muszę pobrać datę wygaśnięcia certyfikatu SSL. curlAplikacja ma dostarczyć następujące informacje:

$ curl -v https://google.com/
* Hostname was NOT found in DNS cache
*   Trying 212.179.180.121...
* Connected to google.com (212.179.180.121) port 443 (#0)
* successfully set certificate verify locations:
*   CAfile: none
  CApath: /etc/ssl/certs
* SSLv3, TLS handshake, Client hello (1):
* SSLv3, TLS handshake, Server hello (2):
* SSLv3, TLS handshake, CERT (11):
* SSLv3, TLS handshake, Server key exchange (12):
* SSLv3, TLS handshake, Server finished (14):
* SSLv3, TLS handshake, Client key exchange (16):
* SSLv3, TLS change cipher, Client hello (1):
* SSLv3, TLS handshake, Finished (20):
* SSLv3, TLS change cipher, Client hello (1):
* SSLv3, TLS handshake, Finished (20):
* SSL connection using ECDHE-ECDSA-AES128-GCM-SHA256
* Server certificate:
*        subject: C=US; ST=California; L=Mountain View; O=Google Inc; CN=*.google.com
*        start date: 2014-10-22 13:04:07 GMT
*        expire date: 2015-01-20 00:00:00 GMT
*        subjectAltName: google.com matched
*        issuer: C=US; O=Google Inc; CN=Google Internet Authority G2
*        SSL certificate verify ok.
> GET / HTTP/1.1
> User-Agent: curl/7.35.0
> Host: google.com
> Accept: */*
> 
< HTTP/1.1 302 Found
< Cache-Control: private
< Content-Type: text/html; charset=UTF-8
< Location: https://www.google.co.il/?gfe_rd=cr&ei=HkxbVMzCM-WkiAbU6YCoCg
< Content-Length: 262
< Date: Thu, 06 Nov 2014 10:23:26 GMT
* Server GFE/2.0 is not blacklisted
< Server: GFE/2.0
< 
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>302 Moved</TITLE></HEAD><BODY>
<H1>302 Moved</H1>
The document has moved
<A HREF="https://www.google.co.il/?gfe_rd=cr&amp;ei=HkxbVMzCM-WkiAbU6YCoCg">here</A>.
</BODY></HTML>
* Connection #0 to host google.com left intact

Jednak podczas przesyłania strumieniowego wyników przez grepwynik nie jest mniej informacji na ekranie, ale raczej znacznie więcej :

$ curl -v https://google.com/ | grep expire
* Hostname was NOT found in DNS cache
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0*   Trying 212.179.180.84...
* Connected to google.com (212.179.180.84) port 443 (#0)
* successfully set certificate verify locations:
*   CAfile: none
  CApath: /etc/ssl/certs
* SSLv3, TLS handshake, Client hello (1):
} [data not shown]
* SSLv3, TLS handshake, Server hello (2):
{ [data not shown]
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0* SSLv3, TLS handshake, CERT (11):
{ [data not shown]
* SSLv3, TLS handshake, Server key exchange (12):
{ [data not shown]
* SSLv3, TLS handshake, Server finished (14):
{ [data not shown]
* SSLv3, TLS handshake, Client key exchange (16):
} [data not shown]
* SSLv3, TLS change cipher, Client hello (1):
} [data not shown]
* SSLv3, TLS handshake, Finished (20):
} [data not shown]
* SSLv3, TLS change cipher, Client hello (1):
{ [data not shown]
* SSLv3, TLS handshake, Finished (20):
{ [data not shown]
* SSL connection using ECDHE-ECDSA-AES128-GCM-SHA256
* Server certificate:
*        subject: C=US; ST=California; L=Mountain View; O=Google Inc; CN=*.google.com
*        start date: 2014-10-22 13:04:07 GMT
*        expire date: 2015-01-20 00:00:00 GMT
*        subjectAltName: google.com matched
*        issuer: C=US; O=Google Inc; CN=Google Internet Authority G2
*        SSL certificate verify ok.
> GET / HTTP/1.1
> User-Agent: curl/7.35.0
> Host: google.com
> Accept: */*
> 
< HTTP/1.1 302 Found
< Cache-Control: private
< Content-Type: text/html; charset=UTF-8
< Location: https://www.google.co.il/?gfe_rd=cr&ei=IkxbVMy4K4OBbKuDgKgF
< Content-Length: 260
< Date: Thu, 06 Nov 2014 10:23:30 GMT
* Server GFE/2.0 is not blacklisted
< Server: GFE/2.0
< 
{ [data not shown]
100   260  100   260    0     0    714      0 --:--:-- --:--:-- --:--:--   714
* Connection #0 to host google.com left intact

I podejrzewam, że curlwykryje, że nie drukuje na terminalu, a zatem daje różne wyniki, z których nie wszystkie są uznane przez grepjako istota stdouta zatem przeniesione na terminalu. Jednak najbliższą rzeczą, którą mogłem znaleźć man curl (nigdy google na to!) Jest:

PROGRESS METER
   curl  normally  displays  a  progress meter during operations, indicating the amount of transferred data, transfer speeds and estimated time
   left, etc.

   curl displays this data to the terminal by default, so if you invoke curl to do an operation and it is about to write data to the  terminal,
   it disables the progress meter as otherwise it would mess up the output mixing progress meter and response data.

   If you want a progress meter for HTTP POST or PUT requests, you need to redirect the response output to a file, using shell redirect (>), -o
   [file] or similar.

   It is not the same case for FTP upload as that operation does not spit out any response data to the terminal.

   If you prefer a progress "bar" instead of the regular meter, -# is your friend.

Jak mogę uzyskać tylko expirywyjście z curlwyjścia? Ponadto, co powinienem czytać, aby lepiej zrozumieć sytuację?

Wydaje się, że byłby to dobry przypadek użycia deskryptora pliku „stdmeta” .

bash command-line curl dotancohen
źródło
superuser.com/a/1007898/429721
@EladKarako: Dziękuję. To ładna odpowiedź, ale nie dotyczy tej sytuacji. Być może powłoka systemu Windows nie ma pojęcia oddzielnych programów obsługi plików wyjściowych, ale jest inaczej w przypadku powłok systemu Linux.
dotancohen,
1
Czuję się zmuszony rzucić ostrożność na wiatr i zawijać się człowiek Google. Jestem pewien, że to zwróci kilka wartościowych wyników.
JeremyCanfield

Odpowiedzi:

105

curl zapisuje dane wyjściowe do stderr, więc przekieruj to, a także powstrzymaj postęp:

curl -v --silent https://google.com/ 2>&1 | grep expire

Powodem, dla którego curlzapisuje informacje do stderr, jest to, co możesz zrobić:
curl <url> | someprgrambez tych informacji blokujących wejściesomeprogram

Anthon
źródło
2
-v robi trick verbose .. dzięki
astroanu
2
nie trzeba -vprzesyłać dużo tekstu .. szczególnie w przypadku wielokrotnych przekierowań i uzgadniania SSL oraz wymiany certyfikatów !! powinieneś użyć albo, --includeaby po prostu dodać nagłówki do treści odpowiedzi, albo lepiej jeszcze użyć --head, lepiej też usuń \rna końcu, jeśli planujesz zapisać wartość w zmiennej, a nawet wysłać ją później do wyniku (patrz mój komentarz powyżej z Content-Lengthprzykładem)
19

Można użyć --stderr -jako parametru do przekierowania wyjścia ze stderr (domyślnie) na stdout. Z tą opcją powinieneś również użyć, --silentaby ukryć pasek postępu.

$ curl -v --silent https://google.com/ --stderr - | grep expire
*    expire date: 2015-09-01 00:00:00 GMT
Alexander
źródło