Usando o PG 9.1 no Ubuntu 12.04. Atualmente, leva até 24 horas para executarmos um grande conjunto de instruções UPDATE em um banco de dados, que estão no formato: UPDATE table SET field1 = constant1, field2 = constant2, ... WHERE id = constid (Estamos apenas substituindo os campos dos objetos...
Gostaria de saber qual seria a maneira mais eficiente de excluir um grande número de linhas do PostgreSQL, esse processo faria parte de uma tarefa recorrente todos os dias para importar dados em massa (um delta de inserções + exclusões) em uma tabela. Pode haver milhares, potencialmente milhões de...
Eu li um artigo que mencionou que podemos obter 60.000 inserções por segundo usando a LOAD DATA IN FILEinstrução que lê arquivos csv e insere os dados em um banco de dados. Por que deveria diferir das pastilhas normais? EDIT: reduzi a viagem de ida e volta chamando apenas uma INSERTdeclaração:...
Para resumir os detalhes: Precisamos colocar aproximadamente 5 milhões de linhas em um banco de dados do fornecedor (Oracle). Tudo corre bem para lotes de 500 mil linhas usando OracleBulkCopy(ODP.NET), mas quando tentamos escalar até 5 milhões, o desempenho começa a desacelerar depois que atinge a...
Estou procurando encontrar uma maneira de gerar uma nova tabela MySQL exclusivamente com base no conteúdo de um CSV especificado. Os arquivos CSV que vou usar possuem as seguintes propriedades; "|" delimitado. Primeira linha especifica os nomes das colunas (cabeçalhos), também "|" delimitado. Os...
Preciso importar cerca de 500.000 registros contendo dados de pesquisa IP (referência somente leitura) uma vez por semana (apenas três colunas int / bigint). Eu realmente não quero me preocupar em mesclar os dados com a tabela existente. Prefiro limpar a antiga e reimportar. O ideal é que as...
Estamos trabalhando em um projeto que requer dados de importação da planilha do Excel diariamente. Os dados serão importados do modelo pré-definido e o que estamos pensando, primeiro enviaremos os dados na tabela temporária e executaremos a operação de limpeza (removendo informações desnecessárias,...