Transakcja PostgreSQL Zatwierdzanie godzin

11

Występuje problem polegający na tym, że mam dwa połączenia między użytkownikiem a moim serwerem PostgreSQL, które działały przez około 4 godziny i były w stanie zatwierdzenia od dłuższego czasu (przynajmniej 1 godzina, gdy je oglądałem) . Połączenia te blokują uruchamianie innych zapytań, ale same nie są blokowane.

Oto dwa omawiane połączenia.

postgres=# select * from pg_stat_activity where usename = 'xxxxx';
 datid | datname | procpid | usesysid | usename | current_query | waiting |          xact_start           |          query_start          |         backend_start         |  client_addr  | client_port
-------+---------+---------+----------+---------+---------------+---------+-------------------------------+-------------------------------+-------------------------------+---------------+-------------
 20394 | xxxxxx  |   17509 |    94858 | xxxxx   | COMMIT        | f       | 2014-01-30 05:51:11.311363-05 | 2014-01-30 05:51:12.042515-05 | 2014-01-30 05:51:11.294444-05 | xx.xx.xxx.xxx |       63531
 20394 | xxxxxx  |    9593 |    94858 | xxxxx   | COMMIT        | f       | 2014-01-30 06:45:17.032651-05 | 2014-01-30 06:45:17.694533-05 | 2014-01-30 06:45:16.992576-05 | xx.xx.xxx.xxx |       63605

PID 9593 jest najbardziej problematyczny, który blokują inni użytkownicy. O ile użytkownik się do tego przyznał, obciął swój stół, a następnie wstawiał partie po 1000, zatwierdzając po każdej partii.

Obecnie ten PID pokazuje następujące blokady:

postgres=# select * from pg_locks where pid = 9593;
   locktype    | database | relation | page | tuple | virtualxid | transactionid | classid | objid | objsubid | virtualtransaction | pid  |        mode         | granted
---------------+----------+----------+------+-------+------------+---------------+---------+-------+----------+--------------------+------+---------------------+---------
 relation      |    20394 | 29173472 |      |       |            |               |         |       |          | 261/0              | 9593 | AccessExclusiveLock | t
 relation      |    20394 | 27794470 |      |       |            |               |         |       |          | 261/0              | 9593 | RowExclusiveLock    | t
 relation      |    20394 | 27794470 |      |       |            |               |         |       |          | 261/0              | 9593 | ShareLock           | t
 relation      |    20394 | 27794470 |      |       |            |               |         |       |          | 261/0              | 9593 | AccessExclusiveLock | t
 virtualxid    |          |          |      |       | 261/503292 |               |         |       |          | 261/0              | 9593 | ExclusiveLock       | t
 transactionid |          |          |      |       |            |     503213304 |         |       |          | 261/0              | 9593 | ExclusiveLock       | t

Nie mogę zabić tego PID (nic się nie dzieje po wydaniu polecenia zabicia). Nie jestem pewien, co zrobić, aby zdiagnozować to dalej i oczywiście to rozwiązać.

Ktoś coś komentuje?

Uruchamianie PostgreSQL 8.4 na serwerze Ubuntu Linux.

EDYTOWAĆ:

Ponieważ znalazłem inne połączenia w podobnym stanie, w którym zatwierdzenie się zawiesiło, spojrzałem dalej i znalazłem następujące informacje w dziennikach serwera:

Jan 30 02:29:45 server001 kernel: [3521062.240540] postgres      D 0000000000000000     0 23220   8154 0x00000004
Jan 30 02:29:45 server001 kernel: [3521062.240550]  ffff8800174c9d08 0000000000000082 ffff88041cd24728 0000000000015880
Jan 30 02:29:45 server001 kernel: [3521062.240559]  ffff8806c678b110 0000000000015880 0000000000015880 0000000000015880
Jan 30 02:29:45 server001 kernel: [3521062.240567]  0000000000015880 ffff8806c678b110 0000000000015880 0000000000015880
Jan 30 02:29:45 server001 kernel: [3521062.240575] Call Trace:
Jan 30 02:29:45 server001 kernel: [3521062.240582]  [<ffffffff810da010>] ? sync_page+0x0/0x50
Jan 30 02:29:45 server001 kernel: [3521062.240590]  [<ffffffff81528488>] io_schedule+0x28/0x40
Jan 30 02:29:45 server001 kernel: [3521062.240596]  [<ffffffff810da04d>] sync_page+0x3d/0x50
Jan 30 02:29:45 server001 kernel: [3521062.240603]  [<ffffffff815289a7>] __wait_on_bit+0x57/0x80
Jan 30 02:29:45 server001 kernel: [3521062.240610]  [<ffffffff810da1be>] wait_on_page_bit+0x6e/0x80
Jan 30 02:29:45 server001 kernel: [3521062.240618]  [<ffffffff81078540>] ? wake_bit_function+0x0/0x40
Jan 30 02:29:45 server001 kernel: [3521062.240627]  [<ffffffff810e4480>] ? pagevec_lookup_tag+0x20/0x30
Jan 30 02:29:45 server001 kernel: [3521062.240634]  [<ffffffff810da665>] wait_on_page_writeback_range+0xf5/0x190
Jan 30 02:29:45 server001 kernel: [3521062.240644]  [<ffffffff81053668>] ? try_to_wake_up+0x118/0x340
Jan 30 02:29:45 server001 kernel: [3521062.240651]  [<ffffffff810da727>] filemap_fdatawait+0x27/0x30
Jan 30 02:29:45 server001 kernel: [3521062.240659]  [<ffffffff811431b4>] vfs_fsync+0xa4/0xf0
Jan 30 02:29:45 server001 kernel: [3521062.240667]  [<ffffffff81143239>] do_fsync+0x39/0x60
Jan 30 02:29:45 server001 kernel: [3521062.240674]  [<ffffffff8114328b>] sys_fsync+0xb/0x10
Jan 30 02:29:45 server001 kernel: [3521062.240682]  [<ffffffff81012042>] system_call_fastpath+0x16/0x1b
ETL
źródło
Widziałem podobne wpisy po dużym obciążeniu I / O. Nadal nie jestem pewien, czy pech, czy naprawdę jakieś połączenie.
frlan
2
Zdecydowanie podejrzewam awarię dysku lub podsystemu we / wy na serwerze.
Craig Ringer
@CraigRinger - Myślę, że masz rację. Dziwne jest to, że o 2 nad ranem dostałem te alerty w pliku dziennika i od tego czasu przez cały dzień nie otrzymałem więcej wiadomości w logach - jednak połączenia z bazą danych są nadal zawieszone, jakby PostgreSQL nie odzyskał po tych błędach. Zamierzam zrobić aktualizację systemu operacyjnego i takie dzisiaj (działające jądro 4-letnie).
ETL
Sprawdzanie @ETL dmesgteż - szukaj błędów we / wy, przekroczeń limitu czasu, błędów HBA itp. Zrób nową kopię zapasową i sprawdź dyski, podsystem rajdowy itp.
Craig Ringer
Musi być inny komunikat tuż powyżej, że postgres D ... call trace printk, ten, który powiedziałby np. Blokada procesora, proces utknął na ponad 120 sekund itp. Które wyraźniej wskażą na czym polega problem, chociaż ślad jest już dość jasne - to wygląda jak fsync (2). Wygląda na to, że podstawowe urządzenie jest zepsute lub zbyt wolne?
Josip Rodin

Odpowiedzi:

1

Od tego czasu zaktualizowałem do wersji 9.4 i zupełnie nowy serwer, więc nie mogę dalej debugować. Ale uważam, że problem dotyczył napędu. Znalazłem zły dysk, który nie został zgłoszony przez maszynę jako zły.

ETL
źródło