Uszkodzenie MySQL INNODB po awarii serwera podczas równoczesnej komendy obcinania

9

Wydaje mi się, że mój serwer się dzisiaj zawiesił z powodu równoczesnego polecenia skracania tabeli w jednej z naszych tabel INNODB. Serwer można zrestartować, ale po uruchomieniu za każdym razem, gdy próbuję wydać polecenie SQL, pojawia się następujący błąd:

ERROR 2006 (HY000): MySQL server has gone away

Oto, co stało się w dziennikach:

121206 01:11:12  mysqld restarted
121206  1:11:13  InnoDB: Started; log sequence number 275 559321759
InnoDB: !!! innodb_force_recovery is set to 1 !!!
121206  1:11:13 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.0.95-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution
InnoDB: Error: trying to load index PRIMARY for table 
InnoDB: but the index tree has been freed!
121206  1:11:37 - mysqld got signal 11 ;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
We will try our best to scrape up some info that will hopefully help diagnose
the problem, but since we have already crashed, something is definitely wrong
and this may fail.

key_buffer_size=134217728
read_buffer_size=1048576
max_used_connections=1
max_connections=400
threads_connected=1
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 950272 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

thd=0x9900950
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x46353fa0, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
(nil)
New value of fp=0x9900950 failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/using-stack-trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort...
thd->query at 0x993e500 =
thd->thread_id=1
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.

Szukałem online i dostaję wskazówkę, że jest to błąd MySQL, ale nie mam pojęcia, jak go rozwiązać. Korzystam z MySQL w wersji 5.0.95.

Wygląda na to, że muszę utworzyć nową bazę danych i zrzucić stare dane do nowej, ale jak mogę to zrobić, jeśli nie mogę wydać żadnych poleceń SQL do bieżącej?

--- AKTUALIZACJA ---
Wersja: gniazdo „5.0.95-log”: port „/var/lib/mysql/mysql.sock”: 3306 Dystrybucja źródła InnoDB: Błąd: próba załadowania indeksu PODSTAWOWY dla tabeli InnoDB: drzewo indeksowe zostało uwolnione! 121206 4:13:41 - mysqld dostał sygnał 11; Przyczyną może być błąd. Możliwe jest również, że ten plik binarny lub jedna z bibliotek, z którymi był połączony, jest uszkodzony, niepoprawnie zbudowany lub źle skonfigurowany. Ten błąd może być również spowodowany nieprawidłowym działaniem sprzętu. Dołożymy wszelkich starań, aby zebrać trochę informacji, które, mam nadzieję, pomogą zdiagnozować problem, ale ponieważ już się rozbiliśmy, coś jest zdecydowanie nie tak i może się nie powieść.

key_buffer_size=134217728
read_buffer_size=1048576
max_used_connections=1
max_connections=400
threads_connected=1
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 950272 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

thd=0x17fb8950
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x464a3fa0, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
(nil)
New value of fp=0x17fb8950 failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/using-stack-trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort...
thd->query at 0x17ff6500 =
thd->thread_id=3
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.

Number of processes running now: 0
121206 04:13:41  mysqld restarted
InnoDB: The log sequence number in ibdata files does not match
InnoDB: the log sequence number in the ib_logfiles!
121206  4:13:42  InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
121206  4:13:43  InnoDB: Started; log sequence number 275 559323148
121206  4:13:43 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.0.95-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution
Andrzej
źródło

Odpowiedzi:

6

ASPEKT nr 1

Pierwszą rzeczą, która wpadła mi w oko, była ta linia

InnoDB: Błąd: próba załadowania indeksu PRIMARY dla tabeli /

Oznacza to, że masz tabelę korzystającą z InnoDB Storage Engine

Ciekawe w InnoDB jest sposób przechowywania klucza podstawowego. Jest on przechowywany w strukturze o nazwie gen_clust_index lub bardziej powszechnie znany jako Indeks klastrowany.

Moje bezpośrednie przypuszczenie jest takie, że pewne hasło KLUCZ PODSTAWOWY jest zbyt duże

Proszę wziąć pod uwagę kilka artykułów na temat dobrych, złych i brzydkich sposobów używania długich KLUCZÓW PODSTAWOWYCH:

następnie sprawdź, czy <DB Hidden>.<Table Hidden>należy go przeprojektować.

ASPEKT nr 2

Jeśli chodzi o twoją hipotezę o równoległym stole obcinanym, brzmi to trochę niebezpiecznie. Dlaczego? InnoDB wykonuje TRUNCATE TABLE jako DDLnie DML. Pisałem o tym wcześniej:

ASPEKT nr 3

Kilka sugestii dotyczących tuningu

Dodaj następujące informacje do my.ini

[mysqld]
max_allowed_packet=1G
innodb_fast_shutdown=0

Uruchom mysql

W innej sesji uruchom tail -f <errorlogfile>i obejrzyj InnoDB Crash Recovery.

Jeśli mysql zostanie w pełni uruchomiony, a odzyskiwanie po awarii programu InnoDB zakończyło się, spróbuj natychmiast wyłączyć mysql. Może być konieczna zmiana rozmiaru dzienników transakcji InnoDB.

Przepraszam za te dzikie sugestie, ale jestem tu ślepy.

Proszę zamieścić następujące w pytaniu:

  • twoja cała my.cnf
  • ile pamięci RAM jest na pokładzie

AKTUALIZACJA 2012-12-05 12:09 EDT

Wykonaj następujące czynności:

KROK 01) Dodaj te zmiany do my.cnf

[mysqld]
max_allowed_packet=1G
innodb_fast_shutdown=0
innodb_thread_concurrency=0

KROK 02) service mysql restart

aby upewnić się, że pojawi się mysql

KROK 03) Musisz zmienić rozmiar ib_logfile0 i ib_logfile1 (24M może być za mały)

service mysql stop
cd /var/lib/mysql
mv ib_logfile0 ib_logfile0.bak
mv ib_logfile1 ib_logfile1.bak

KROK 04) Dodaj te zmiany do my.cnf

[mysqld]
innodb_log_file_size=512M
innodb_log_buffer_size=8M

KROK 05) service mysql start

mysqld odtworzy ib_logfile0 i ib_logfile1 512M każdy

Teraz spróbuj zobaczyć, co się stanie ...

AKTUALIZACJA 2012-12-05 12:18 EDT

Tymczasem proszę przeczytaj mój post ServerFault na pakiecie mysql i jego implikację dotyczącą rozmiaru w odniesieniu do innodb_log_file_size i innodb_log_buffer_size, jak dowiedziałem się z posta ServerFault innej osoby .

AKTUALIZACJA 2012-12-05 14:28 EDT

Z tego pytania zredagowałem wszystkie odniesienia do tabel klientów.

Główną przyczyną była uszkodzona strona ibdata1z mieszanymi stronami danych i indeksów. Pomogłem Andrew migrować dane, odtworzyć ibdata1 z innodb_file_per_table , a Andrew ponownie załadował dane.

RolandoMySQLDBA
źródło
Dzięki za komentarze Rolando. Zdecydowanie ponownie rozważę strukturę klucza podstawowego. W międzyczasie przejrzę twoje artykuły i sprawdzę, czy mogę przywrócić nasz serwer do działania i jak najszybciej.
Andrew,
Część ibdata1 ma uszkodzoną stronę. Widziałem ten stan wiele razy u moich klientów hostingowych.
RolandoMySQLDBA,
niech nam kontynuować tę dyskusję w czacie
RolandoMySQLDBA
Zgodnie z prośbą usunąłem wszystkie moje komentarze, aby ukryć poufne informacje.
RolandoMySQLDBA,
@RolandoMySQLDBA, czy mógłbyś wyjaśnić, w jaki sposób wykryłeś przyczynę, to znaczy, jak to wymyśliłeś? A jakie kroki podjąłeś, aby to naprawić?
Bhupesh Pant