Como copiar com eficiência milhões de linhas de uma tabela para outra no Postgresql?

Eu tenho duas tabelas de banco de dados. Um contém centenas de milhões de registros. Vamos chamar assim history. O outro é calculado diariamente e quero copiar todos os seus registros para historyesse.

O que eu fiz foi correr:

INSERT INTO history SELECT * FROM daily

E fez o truque por um tempo, mas começou a ficar cada vez mais lento à medida que o número de registros continuava crescendo. Agora, tenho cerca de 2 milhões de registros que precisam ser copiados de dailypara uma historyúnica operação e leva muito tempo para ser concluído.

Existe outra maneira mais eficiente de copiar dados de uma tabela para outra?

Se você planeja manter o histórico por longos períodos (muitos meses), sugiro dar uma olhada nas opções de particionamento - pode haver uma partição para cada dia ou semana e assim por diante. Depende também dos padrões de acesso da sua tabela de histórico (você executa consultas que acessam dados através de datas? Você faz muitas agregações etc.). Dê uma olhada nas visualizações materializadas para armazenar agregados / resumos. http://www.postgresql.org/docs/9.3/static/ddl-partitioning.html http://www.postgresql.org/docs/9.3/static/sql-creatematerializedview.html

Despejar a tabela no formato csv

COPY table TO '/tmp/table.csv' DELIMITER ',';

use o comando COPY, que é muito mais eficiente para grandes quantidades de dados.

COPY table FROM '/tmp/table.csv' DELIMITER ',';

Verifique os documentos do postgres em http://www.postgresql.org/docs/current/static/sql-copy.html para obter mais informações

O problema estava com os índices. A historytabela tinha 160 milhões de linhas indexadas. Ao executar um COPY FROMou INSERT INTO .. SELECTlevava muito tempo, não para inserir linhas, mas para atualizar índices. Quando desabilitei os índices, ele importou 3 milhões de linhas em 10 segundos. Agora, preciso encontrar uma maneira mais rápida de reindexar a grande mesa.

Você pode usar a ferramenta psql , posso ser eficiente, como a seguir,

psql -h ${DAILY_HOST_IP} -p ${PG_PORT} ${DB_NAME} ${USER_NAME} -c "copy daily to stdout " | psql -h ${HISTORY_HOST_IP} -p ${PG_PORT} ${DB_NAME} ${USER_NAME}  -c "copy history from stdin"

Além disso, você pode escrever um script de shell.

Obviamente, essa não é uma resposta exata para sua pergunta, mas se você não precisar acessar a historytabela, também poderá gerar um dump SQL:

pg_dump -h host -p port -w -U user db > dump.sql

Então, pode-se usar uma ferramenta como gitcalcular a diferença e armazená-la com eficiência.

git add dump.sql
git commit -m "temp dump"
git gc --aggressive

Isso é útil porque a maioria das partes de um banco de dados não muda todos os dias. Em vez de armazenar uma cópia inteira para todos os dias, é possível armazenar a diferença entre dois dias.

Você pode usar um crontabtrabalho para que o despejo seja processado todos os dias.