Como alterar o CHARACTER SET (e COLLATION) em um banco de dados?

Nosso programador anterior definiu o agrupamento errado em uma tabela (Mysql). Ele o configurou com agrupamento em latim, quando deveria ser UTF8, e agora tenho problemas. Todos os discos com caracteres chineses e japoneses passam para ??? personagem.

É possível alterar o agrupamento e recuperar os detalhes do personagem?

alterar agrupamento do banco de dados:

ALTER DATABASE <database_name> CHARACTER SET utf8 COLLATE utf8mb4_0900_ai_ci;

alterar agrupamento da tabela:

ALTER TABLE <table_name> CONVERT TO CHARACTER SET utf8 COLLATE utf8mb4_0900_ai_ci;

alterar o agrupamento da coluna:

ALTER TABLE <table_name> MODIFY <column_name> VARCHAR(255) CHARACTER SET utf8 COLLATE utf8mb4_0900_ai_ci;

O que utf8mb4_0900_ai_cisignificam as partes ?

3 bytes -- utf8
4 bytes -- utf8mb4 (new)

v4.0 --   _unicode_
v5.20 --  _unicode_520_
v9.0 --   _0900_ (new)

_bin      -- just compare the bits; don't consider case folding, accents, etc
_ci       -- explicitly case insensitive (A=a) and implicitly accent insensitive (a=á)
_ai_ci    -- explicitly case insensitive and accent insensitive
_as (etc) -- accent-sensitive (etc)

_bin         -- simple, fast
_general_ci  -- fails to compare multiple letters; eg ss=ß, somewhat fast
...          -- slower
_0900_       -- (8.0) much faster because of a rewrite

Mais informações:

• Quais são as diferenças entre utf8_general_ci e utf8_unicode_ci?
• Qual é a diferença entre utf8_general_ci e utf8_unicode_ci?
• Como alterar o agrupamento de banco de dados, tabela, coluna?
• Qual é a diferença entre utf8_general_ci e utf8_unicode_ci?

Aqui está como alterar todos os bancos de dados / tabelas / colunas. Execute essas consultas e elas produzirão todas as consultas subsequentes necessárias para converter todo o esquema em utf8. Espero que isto ajude!

- Alterar agrupamento padrão do DATABASE

SELECT DISTINCT concat('ALTER DATABASE `', TABLE_SCHEMA, '` CHARACTER SET utf8 COLLATE utf8_unicode_ci;')
from information_schema.tables
where TABLE_SCHEMA like  'database_name';

- Alterar TABELA agrupamento / conjunto de caracteres

SELECT concat('ALTER TABLE `', TABLE_SCHEMA, '`.`', table_name, '` CHARACTER SET utf8 COLLATE utf8_unicode_ci;')
from information_schema.tables
where TABLE_SCHEMA like 'database_name';

- Alterar conjunto de agrupamento / conjunto de caracteres COLUMN

SELECT concat('ALTER TABLE `', t1.TABLE_SCHEMA, '`.`', t1.table_name, '` MODIFY `', t1.column_name, '` ', t1.data_type , '(' , t1.CHARACTER_MAXIMUM_LENGTH , ')' , ' CHARACTER SET utf8 COLLATE utf8_unicode_ci;')
from information_schema.columns t1
where t1.TABLE_SCHEMA like 'database_name' and t1.COLLATION_NAME = 'old_charset_name';

Cuidado que no Mysql, o utf8conjunto de caracteres é apenas um subconjunto do conjunto de caracteres UTF8 real. Para salvar um byte de armazenamento, a equipe do Mysql decidiu armazenar apenas três bytes de caracteres UTF8 em vez dos quatro bytes completos. Isso significa que alguns idiomas e emoji do leste asiático não são totalmente suportados. Para garantir que você possa armazenar todos os caracteres UTF8, use o utf8mb4tipo de dados e / utf8mb4_binou utf8mb4_general_cino Mysql.

Adicionando ao que David Whittaker postou, criei uma consulta que gera a declaração completa de alteração de tabela e colunas que converterá cada tabela. Pode ser uma boa ideia executar

SET SESSION group_concat_max_len = 100000;

primeiro para garantir que o concat do seu grupo não ultrapasse o limite muito pequeno, como visto aqui .

     SELECT a.table_name, concat('ALTER TABLE ', a.table_schema, '.', a.table_name, ' DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_unicode_ci, ',
        group_concat(distinct(concat(' MODIFY ',  column_name, ' ', column_type, ' CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci ', if (is_nullable = 'NO', ' NOT', ''), ' NULL ',
        if (COLUMN_DEFAULT is not null, CONCAT(' DEFAULT \'', COLUMN_DEFAULT, '\''), ''), if (EXTRA != '', CONCAT(' ', EXTRA), '')))), ';') as alter_statement
    FROM information_schema.columns a
    INNER JOIN INFORMATION_SCHEMA.TABLES b ON a.TABLE_CATALOG = b.TABLE_CATALOG
        AND a.TABLE_SCHEMA = b.TABLE_SCHEMA
        AND a.TABLE_NAME = b.TABLE_NAME
        AND b.table_type != 'view'
    WHERE a.table_schema = ? and (collation_name = 'latin1_swedish_ci' or collation_name = 'utf8mb4_general_ci')
    GROUP BY table_name;

Uma diferença aqui entre a resposta anterior é que o uso de utf8 em vez de ut8mb4 e o uso de t1.data_type com t1.CHARACTER_MAXIMUM_LENGTH não funcionaram para enumerações. Além disso, minha consulta exclui visualizações, pois elas terão que ser alteradas separadamente.

Eu simplesmente usei um script Perl para retornar todos esses alteradores como uma matriz e iterou sobre eles, corrigi as colunas que eram muito longas (geralmente elas eram varchar (256) quando os dados geralmente tinham apenas 20 caracteres nelas, o que era uma solução fácil )

Encontrei alguns dados corrompidos ao alterar de latin1 -> utf8mb4. Parecia que os caracteres latin1 codificados em utf8 nas colunas seriam enganados na conversão. Simplesmente retive os dados das colunas que sabia que seriam um problema na memória antes e depois da alteração e os comparei e gerei instruções de atualização para corrigir os dados.

aqui descreve bem o processo. No entanto, alguns dos personagens que não se encaixavam no espaço latino se foram para sempre. UTF-8 é um SUPERSET de latin1. Não é o contrário. A maioria caberá no espaço de byte único, mas nenhum indefinido não (verifique uma lista de latin1 - nem todos os 256 caracteres são definidos, dependendo da definição latin1 do mysql)