Czy curl ma limit czasu?

250

Jak dotąd nie mogłem znaleźć niczego naprawdę, ale czy to prawda, że curltak naprawdę wcale nie ma czasu?

 user@host:~# curl http://localhost/testdir/image.jpg

Pytam, ponieważ przekierowuję każde żądanie obrazów testdirdo osobnego modułu Apache, który generuje te zdjęcia w locie. Może minąć do 15 minut, zanim zdjęcie będzie gotowe i dostarczone do klienta.

Czy curlzawsze będzie czekać (czy to zależy od konfiguracji), czy może jest jakiś limit czasu?

Preexo
źródło
3
Spodziewałbym się , że curl ma limit czasu połączenia (jeśli nic więcej, system operacyjny i jego stos TCP / IP prawie na pewno tak nie robi), ale może nie mieć limitu czasu odczytu po ustanowieniu połączenia.
CVn

Odpowiedzi:

339

Tak.

Parametry limitu czasu

curlma dwie opcje: --connect-timeouti --max-time.

Cytowanie ze strony man:

--connect-timeout <seconds>
    Maximum  time  in  seconds  that you allow the connection to the
    server to take.  This only limits  the  connection  phase,  once
    curl has connected this option is of no more use.  Since 7.32.0,
    this option accepts decimal values, but the actual timeout  will
    decrease in accuracy as the specified timeout increases in deci‐
    mal precision. See also the -m, --max-time option.

    If this option is used several times, the last one will be used.

i:

-m, --max-time <seconds>
    Maximum  time  in  seconds that you allow the whole operation to
    take.  This is useful for preventing your batch jobs from  hang‐
    ing  for  hours due to slow networks or links going down.  Since
    7.32.0, this option accepts decimal values, but the actual time‐
    out will decrease in accuracy as the specified timeout increases
    in decimal precision.  See also the --connect-timeout option.

    If this option is used several times, the last one will be used.

Domyślne

Tutaj (na Debianie) przestaje próbować połączyć się po 2 minutach, niezależnie od czasu określonego za pomocą --connect-timeouti chociaż domyślna wartość limitu czasu połączenia wydaje się wynosić 5 minut, zgodnie z DEFAULT_CONNECT_TIMEOUTmakrem w lib / connect.h .

--max-timeWydaje się, że domyślna wartość nie istnieje, co oznacza, że curloczekiwanie na odpowiedź będzie trwało wiecznie.

Czego używać?

Prawdopodobnie jesteś zainteresowany w tym drugim wariancie --max-time. W twoim przypadku ustaw na 900(15 minut).

Dobrym pomysłem może być również określenie opcji --connect-timeoutczegoś takiego jak 60(jedna minuta). W przeciwnym razie curlspróbuje połączyć się ponownie, najwyraźniej używając jakiegoś algorytmu wycofywania.

scai
źródło
2
Dziękuję za to! --max-time nie mówi nic o wartościach domyślnych, więc myślę, że nie ma i dlatego nie ma limitu czasu oprócz domyślnego limitu czasu połączenia ...?
Preexo,
4
Tak, jeśli połączenie się powiedzie, to curl wydaje się czekać wiecznie na odpowiedź.
scai
Zauważ, że oba maksimum jest problemem, jeśli odpowiedź jest dużym pobieraniem, które trwa dłużej niż „maksymalny czas”.
user92979,
1
Limit 2 minut również pachnie jak limit czasu serwera. Właśnie miałem ten sam problem z serwerem http aplikacji Node.js, który ma domyślny limit czasu 2 minuty. Aby go zwiększyć, zobacz HTTP.server.setTimeout () .
Thalis K.,
17

Istnieje timelimit: / usr / bin / timelimit - skutecznie ogranicza bezwzględny czas wykonywania procesu

 Options:

 -p      If the child process is terminated by a signal, timelimit
         propagates this condition, i.e. sends the same signal to itself. 
         This allows the program executing timelimit to determine 
         whether the child process was terminated by a signal or 
         actually exited with an exit code larger than 128.
 -q      Quiet operation - timelimit does not output diagnostic 
         messages about signals sent to the child process.
 -S killsig
         Specify the number of the signal to be sent to the 
         process killtime seconds after warntime has expired.  
         Defaults to 9 (SIGKILL).
 -s warnsig
         Specify the number of the signal to be sent to the 
         process warntime seconds after it has been started.  
         Defaults to 15 (SIGTERM).
 -T killtime
         Specify the maximum execution time of the process before 
         sending killsig after warnsig has been sent.  Defaults to 120 seconds.
 -t warntime
         Specify the maximum execution time of the process in 
         seconds before sending warnsig.  Defaults to 3600 seconds.

 On systems that support the setitimer(2) system call, the 
 warntime and killtime values may be specified in fractional 
 seconds with microsecond precision.
wieczność
źródło
1
Niedostępne domyślnie przynajmniej w systemie macOS 10.13.4.
Thorbjørn Ravn Andersen
14

Lepsze niż --max-time--speed-limiti --speed-timeopcje. Krótko mówiąc, --speed-limitokreśla minimalną średnią prędkość, którą jesteś gotów zaakceptować, i --speed-timeokreśla, jak długo prędkość transferu może pozostać poniżej tego limitu, zanim upłynie limit czasu przesyłania i zostanie przerwana.

Alex D.
źródło
9
Myślę, że żadne nie jest lepsze, ale w moim przypadku - maksymalny czas jest właściwie bardziej odpowiedni, ponieważ cokolwiek dłuższego niż 10 sekund uczyniłoby mój program bezużytecznym.
Jorge Bucaran,
Używam curl jako biblioteki w aplikacji komputerowej (nie tylko wywoływania go z CLI) i dla mnie twoja opcja była najlepsza. Moja aplikacja musi obsługiwać długie pobieranie, więc prosty - maksymalny czas nie był odpowiedni do wykrycia „zablokowanych pobrań” (co ma miejsce na przykład, gdy użytkownik przechodzi w tryb offline podczas pobierania postęp), więc wybrałem limit prędkości 1024 i czas 30, aby je wykryć.
André Morujão,
1
Przydatny? Na pewno. Lepszy? Myślę, że to bardzo zależy od twoich wymagań
Brian Agnew
Przekroczenia czasu stanowią problem, jeśli odpowiedzią może być duże pobranie nieznanego (lub nawet znanego!) Rozmiaru. maksymalny limit czasu zostanie przekroczony, jeśli duże pobieranie trwa np. dłużej niż 15 minut. Ograniczenia prędkości mogą zostać przekroczone przez serwery proxy, które najpierw buforują całą odpowiedź przed przekazaniem czegokolwiek dalej. Czasami wydaje się, że przesyłają 1 bajt na minutę, ale skąd masz wiedzieć, czy jest to proxy buforujące w szybkiej sieci, czy bardzo wolne połączenie, które należy ponowić? W końcu zrezygnowałem i wyłączyłem limity czasu na zapytania dotyczące pobierania. Nie jestem pewien, czy istnieje lepszy sposób.
user92979,
3

Jeśli masz zainstalowany coreutils na MacOS, możesz użyć polecenia limitu czasu GNU, które jest dołączone do tego pakietu. Narzędzia GNU są poprzedzone przedrostkiem gCLI gtimeout.

gtimeout --help
Usage: gtimeout [OPTION] DURATION COMMAND [ARG]...
 or:  gtimeout [OPTION]
Start COMMAND, and kill it if still running after DURATION.

Przykład

$ gtimeout 1s curl -I http://www.google.com/
HTTP/1.1 200 OK
Date: Wed, 31 Oct 2018 03:36:08 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=ISO-8859-1
P3P: CP="This is not a P3P policy! See g.co/p3phelp for more info."
Server: gws
X-XSS-Protection: 1; mode=block
X-Frame-Options: SAMEORIGIN
Set-Cookie: 1P_JAR=2018-10-31-03; expires=Fri, 30-Nov-2018 03:36:08 GMT; path=/; domain=.google.com
HttpOnly
Transfer-Encoding: chunked
Accept-Ranges: none
Vary: Accept-Encoding
slm
źródło
0

Kilka rozwiązań w BASH4 +

# -- server available to check via port xxx ?  --
function isServerAvailableNC() {
    max_secs_run="${3}"
    if timeout $max_secs_run nc -z ${1} ${2} 2>/dev/null >/dev/null; then
        #echo "${1} ✓"
        true
   else
        #echo "${1} ✗"
        return
   fi
}


# -- server available to check via port xxx ?  --
# -- supported protocols (HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP or FILE) --
#/usr/bin/curl -sSf --max-time 3 https://ifwewanted.to.confirm.https.com/ --insecure

function isServerAvailableCURL() {

    max_secs_run="${3}"

    proto="http://"
    if [ ! -z ${2} ] || [ ${2} -gt 80 ] ;then
        proto="https://"
    fi

    if /usr/bin/curl -sSf --max-time "${max_secs_run}" "${1}" --insecure 2>/dev/null >/dev/null; then
        #echo "${1} ✓"
        true
    else
        #echo "${1} ✗"
        false
    fi
}

Przykładowe użycie:

POLECAM, ŻE NC użył, jeśli potrzebujemy określonego portu

host="1.2.3.4"
if isServerAvailableCURL "$host" "80" "3";then
    check_remote_domain_cert "$host"
fi


host="1.2.3.4"
if isServerAvailableNC "$host" "80" "3";then
    check_remote_domain_cert "$host"
fi
Mike Q
źródło