Moja baza danych MongoDB napotkała problemy pod obciążeniem, z następującymi błędami spamującymi dzienniki:
[initandlisten] pthread_create failed: errno:11 Resource temporarily unavailable
[initandlisten] can't create new thread, closing connection
Doszedłem do wniosku, że muszę podnieść ustawienie „ulimit -u” lub „Max procesy”, które wynosiły 1024, a użycie mogło przekroczyć to, biorąc pod uwagę uruchomione nakładki sieciowe (nie jestem pewien, jak to sprawdzić) .
Edytowałem /etc/security/limits.conf, aby dodać ostatnie dwa wiersze (pierwsze dwa już tam były):
* soft nofile 350000
* hard nofile 350000
* soft nproc 30000
* hard nproc 30000
Następnie zrestartowałem system (BTW powinienem to zrobić, czy może wystarczy restart usługi mongod?)
Po ponownym uruchomieniu, przeglądając limity procesu dla procesu mongod, wydaje się, że miękki limit został zignorowany:
$ cat /proc/2207/limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size 0 unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 1024 30000 processes
Max open files 350000 350000 files
Max locked memory 65536 65536 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 273757 273757 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
$ whoami
mongod
$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 273757
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 350000
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 1024
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
Spodziewałem się, że „maksymalne procesy” zarówno twardych, jak i miękkich limitów będą wynosić 30000, jak w pliku /etc/security/limits.conf, ale tylko trudny.
Co ja robię źle?
Używam Amazon Linux na AWS EC2.
bash-4.1$ cat /etc/*-release
Amazon Linux AMI release 2012.09
Odpowiedzi:
Sprawdź plik /etc/security/limits.d/90-nproc.conf, ponieważ prawdopodobnie przesłania to twoje ustawienia. O tym samym problemie pisałem w zeszłym roku http://scott.cm/max-processes-1024-limits-conf/
źródło
/etc/security/limits.d/
który zaczyna się od99_local
(aby pokazać, że go utworzyłeś) i zastępuje tam wszystko, co chcesz.Możesz spróbować zmienić wartość ulimit na początku skryptu, który uruchamia bazę danych mongodb.
Proces potomny dziedziczy limity zasobów po procesie wywołującym.
źródło