Corrupção do MySQL INNODB após falha do servidor durante o comando truncado simultâneo

9

Meu servidor travou hoje, devido a um comando de tabela truncada simultâneo em uma de nossas tabelas INNODB. O servidor pode ser reiniciado, mas após a inicialização, sempre que tento emitir um comando SQL, recebo o seguinte erro:

ERROR 2006 (HY000): MySQL server has gone away

Foi o que aconteceu nos logs:

121206 01:11:12  mysqld restarted
121206  1:11:13  InnoDB: Started; log sequence number 275 559321759
InnoDB: !!! innodb_force_recovery is set to 1 !!!
121206  1:11:13 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.0.95-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution
InnoDB: Error: trying to load index PRIMARY for table 
InnoDB: but the index tree has been freed!
121206  1:11:37 - mysqld got signal 11 ;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
We will try our best to scrape up some info that will hopefully help diagnose
the problem, but since we have already crashed, something is definitely wrong
and this may fail.

key_buffer_size=134217728
read_buffer_size=1048576
max_used_connections=1
max_connections=400
threads_connected=1
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 950272 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

thd=0x9900950
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x46353fa0, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
(nil)
New value of fp=0x9900950 failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/using-stack-trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort...
thd->query at 0x993e500 =
thd->thread_id=1
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.

Eu pesquisei online e recebo a dica de que é um bug do MySQL, mas não tenho idéia de como resolvê-lo. Estou usando o MySQL versão 5.0.95.

Parece que eu tenho que criar um novo banco de dados e despejar os dados antigos no novo, mas como posso fazer isso se nem consigo emitir nenhum comando SQL para o atual?

--- UPDATE ---
Versão: '5.0.95-log' socket: '/var/lib/mysql/mysql.sock' port: 3306 Distribuição da fonte InnoDB: Erro: ao tentar carregar o índice PRIMARY para a tabela InnoDB: mas o árvore de índice foi liberada! 121206 4:13:41 - o mysqld recebeu o sinal 11; Pode ser porque você atingiu um inseto. Também é possível que esse binário ou uma das bibliotecas às quais foi vinculado esteja corrompido, construído de maneira inadequada ou configurado incorretamente. Este erro também pode ser causada por hardware com defeito. Faremos o possível para coletar algumas informações que, com sorte, ajudarão a diagnosticar o problema, mas como já travamos, algo está definitivamente errado e isso pode falhar.

key_buffer_size=134217728
read_buffer_size=1048576
max_used_connections=1
max_connections=400
threads_connected=1
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 950272 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

thd=0x17fb8950
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x464a3fa0, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
(nil)
New value of fp=0x17fb8950 failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/using-stack-trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort...
thd->query at 0x17ff6500 =
thd->thread_id=3
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.

Number of processes running now: 0
121206 04:13:41  mysqld restarted
InnoDB: The log sequence number in ibdata files does not match
InnoDB: the log sequence number in the ib_logfiles!
121206  4:13:42  InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
121206  4:13:43  InnoDB: Started; log sequence number 275 559323148
121206  4:13:43 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.0.95-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution
Andrew
fonte

Respostas:

6

ASPECTO Nº 1

A primeira coisa que chamou minha atenção foi essa linha

InnoDB: Erro: tentando carregar o índice PRIMARY para a tabela /

Isso indica que você possui uma tabela usando o InnoDB Storage Engine

O que é interessante no InnoDB é a maneira como uma PRIMARY KEY é armazenada. Ele é armazenado em uma estrutura chamada gen_clust_index , ou mais comumente conhecido como Índice Clusterizado.

Meu palpite imediato é que uma certa entrada PRIMARY KEY é muito grande

Considere alguns artigos sobre o que é bom, o que é ruim e o que é feio ao usar CHAVES PRIMÁRIAS longas:

veja se as <DB Hidden>.<Table Hidden>necessidades precisam ser redesenhadas.

ASPECTO Nº 2

Em termos de sua conjectura sobre uma tabela truncada paralela, isso parece meio perigoso. Por quê? O InnoDB executa TRUNCATE TABLE como DDLnão DML. Eu escrevi sobre isso antes:

ASPECTO Nº 3

Algumas sugestões de ajuste

Adicione o seguinte a my.ini

[mysqld]
max_allowed_packet=1G
innodb_fast_shutdown=0

Inicie o mysql

Em outra sessão, execute tail -f <errorlogfile>e assista ao InnoDB Crash Recovery.

Se o mysql for totalmente iniciado e a recuperação de falhas do InnoDB for concluída, tente desligar o mysql imediatamente. Pode ser necessário redimensionar seus logs de transações do InnoDB.

Desculpe por essas sugestões malucas, mas estou voando às cegas aqui.

Poste o seguinte na pergunta:

  • todo o seu my.cnf
  • quanta RAM há a bordo

UPDATE 2012-12-05 12:09 EDT

Faça o seguinte:

PASSO 01) Adicione essas alterações ao my.cnf

[mysqld]
max_allowed_packet=1G
innodb_fast_shutdown=0
innodb_thread_concurrency=0

PASSO 02) service mysql restart

para garantir que o mysql apareça

PASSO 03) É necessário redimensionar ib_logfile0 e ib_logfile1 (24 milhões podem ser muito pequenos)

service mysql stop
cd /var/lib/mysql
mv ib_logfile0 ib_logfile0.bak
mv ib_logfile1 ib_logfile1.bak

PASSO 04) Adicione essas alterações ao my.cnf

[mysqld]
innodb_log_file_size=512M
innodb_log_buffer_size=8M

PASSO 05) service mysql start

o mysqld recriará ib_logfile0 e ib_logfile1 512M cada

Agora, tente e veja o que acontece ....

UPDATE 2012-12-05 12:18 EDT

Enquanto isso, leia minha postagem ServerFault no pacote mysql e suas implicações de tamanho em relação ao innodb_log_file_size e innodb_log_buffer_size, como aprendi na publicação ServerFault de outra pessoa .

UPDATE 2012-12-05 14:28 EDT

Eu editei todas as referências a tabelas de clientes fora desta pergunta.

A causa raiz foi uma página danificada, ibdata1com dados e páginas de índice misturadas. Ajudei Andrew a migrar dados, recriar ibdata1 com innodb_file_per_table , e Andrew recarregou os dados.

RolandoMySQLDBA
fonte
Obrigado por seus comentários Rolando. Definitivamente vou reconsiderar a estrutura da chave primária. Enquanto isso, examinarei seus artigos e verificarei se meu servidor pode voltar a funcionar o mais rápido possível.
Andrew
Alguma parte do ibdata1 tem uma página danificada. Eu já vi essa condição muitas vezes com meus clientes de hospedagem.
RolandoMySQLDBA
vamos continuar esta discussão no chat
RolandoMySQLDBA 5/12/12
Conforme solicitado, limpei todos os meus comentários para ocultar informações confidenciais.
RolandoMySQLDBA
@RolandoMySQLDBA, Poderia, por favor, explicar como você detectou a causa raiz, quero dizer, como você descobriu isso? E que medidas você tomou para corrigir isso?
Bhupesh Pant