Como importo arquivo CSV para uma tabela MySQL?

Eu tenho um CSV de diário de eventos não normalizado de um cliente que estou tentando carregar em uma tabela MySQL para que eu possa refatorar em um formato saudável. Criei uma tabela chamada 'CSVImport' que possui um campo para cada coluna do arquivo CSV. O CSV contém 99 colunas, portanto, essa foi uma tarefa bastante difícil:

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

Não há restrições na tabela e todos os campos mantêm valores VARCHAR (256), exceto as colunas que contêm contagens (representadas por INT), sim / não (representadas por BIT), preços (representados por DECIMAL) e sinopse de texto ( representado por TEXT).

Eu tentei carregar dados no arquivo:

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

A mesa inteira está cheia NULL.

Eu acho que o problema é que os anúncios de texto contêm mais de uma linha, e o MySQL está analisando o arquivo como se cada nova linha correspondesse a uma linha do banco de dados. Eu posso carregar o arquivo no OpenOffice sem problemas.

O arquivo clientdata.csv contém 2593 linhas e 570 registros. A primeira linha contém nomes de colunas. Eu acho que é delimitado por vírgula, e o texto é aparentemente delimitado com aspas duplas.

ATUALIZAR:

Em caso de dúvida, leia o manual: http://dev.mysql.com/doc/refman/5.0/en/load-data.html

Adicionei algumas informações à LOAD DATAdeclaração de que o OpenOffice era inteligente o suficiente para inferir e agora carrega o número correto de registros:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

Mas ainda existem muitos NULLregistros completos e nenhum dos dados que foram carregados parece estar no lugar certo.

O núcleo do seu problema parece corresponder as colunas no arquivo CSV com as da tabela.

Muitos clientes gráficos do mySQL têm diálogos de importação muito bons para esse tipo de coisa.

O meu favorito para o trabalho é o HeidiSQL baseado no Windows . Ele fornece uma interface gráfica para criar o LOAD DATAcomando; você pode reutilizá-lo programaticamente mais tarde.

Captura de tela: caixa de diálogo "Importar arquivo de texto"

Para abrir a caixa de diálogo Importar arquivo de texto ", vá para Tools > Import CSV file:

Use mysqlimport para carregar uma tabela no banco de dados:

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

Encontrei-o em http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/

Para tornar o delimitador uma guia, use --fields-terminated-by='\t'

A maneira mais simples de importar mais de 200 linhas está abaixo do comando na janela phpmyadmin sql

Eu tenho uma tabela simples do país com duas colunas CountryId, CountryName

aqui estão os dados .csv

aqui está o comando:

LOAD DATA INFILE 'c:/country.csv' 
INTO TABLE country 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS

Lembre-se de uma coisa, nunca apareça, na segunda coluna; caso contrário, sua importação será interrompida

Eu sei que a pergunta é antiga , mas eu gostaria de compartilhar isso

Usei esse método para importar mais de 100 mil registros ( ~ 5 MB ) em 0,046 s

Aqui está como você faz isso:

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

É muito importante incluir a última linha, se você tiver mais de um campo, ou seja, normalmente ele pula o último campo (MySQL 5.6.17)

LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

Então, supondo que você tenha a primeira linha como título para seus campos, inclua essa linha também

IGNORE 1 ROWS

É assim que parece se seu arquivo tiver uma linha de cabeçalho.

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(field_1,field_2 , field_3);

O phpMyAdmin pode lidar com a importação de CSV. Aqui estão os passos:

1. Prepare o arquivo CSV para ter os campos na mesma ordem que os campos da tabela MySQL.

2. Remova a linha do cabeçalho do CSV (se houver), para que apenas os dados estejam no arquivo.

3. Vá para a interface do phpMyAdmin.

4. Selecione a tabela no menu esquerdo.

5. Clique no botão de importação na parte superior.

6. Vá para o arquivo CSV.

7. Selecione a opção "CSV usando LOAD DATA".

8. Digite "," nos "campos terminados por".

9. Digite os nomes das colunas na mesma ordem em que estão na tabela do banco de dados.

10. Clique no botão ir e pronto.

Esta é uma observação que eu preparei para meu uso futuro e que compartilhe aqui se alguém puder se beneficiar.

Você pode corrigir isso listando as colunas na instrução LOAD DATA. Do manual :

LOAD DATA INFILE 'persondata.txt' INTO TABLE persondata (col1,col2,...);

... portanto, no seu caso, você precisa listar as 99 colunas na ordem em que aparecem no arquivo csv.

Tente isso, funcionou para mim

    LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' IGNORE 1 ROWS;

IGNORE 1 ROWS aqui ignora a primeira linha que contém os nomes de campo. Observe que, para o nome do arquivo, você deve digitar o caminho absoluto do arquivo.

A linha de comando do mysql é propensa a muitos problemas na importação. Aqui está como você faz isso:

• use o excel para editar os nomes dos cabeçalhos para não ter espaços
• salvar como .csv
• use o navegador Navicat Lite Sql gratuito para importar e criar automaticamente uma nova tabela (dê um nome)
• abra a nova tabela e insira uma coluna de número automático principal para identificação
• altere o tipo das colunas conforme desejado.
• feito!

Se você estiver usando o MySQL Workbench (versão 6.3), você pode fazer isso:

1. Clique com o botão direito do mouse em "Tabelas";
2. Assistente de Importação de Dados de Tabela Escolhida;
3. Escolha seu arquivo csv e siga as instruções (JSON também pode ser usado); O bom é que você pode criar uma nova tabela com base no arquivo csv que deseja importar ou carregar dados em uma tabela existente

Eu vejo algo estranho. Você está usando para ESCAPAR o mesmo caractere usado para ENCLOSING. Portanto, o mecanismo não sabe o que fazer quando encontra um '"' e acho que é por isso que nada parece estar no lugar certo. Acho que se você remover a linha de ESCAPING, deve executar muito bem.

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

A menos que você analise (manualmente, visualmente, ...) seu CSV e descubra qual personagem usa para escapar. As vezes é '\'. Mas se você não o tiver, não o use.

Outra solução é usar a ferramenta csvsql da incrível suíte csvkit .

Exemplo de uso:

csvsql --db mysql://$user:$password@localhost/$database --insert --tables $tablename  $file

Essa ferramenta pode inferir automaticamente os tipos de dados (comportamento padrão), criar tabela e inserir os dados na tabela criada. --overwriteA opção pode ser usada para descartar a tabela, se ela já existir. --insertopção - para preencher a tabela do arquivo.

Para instalar o conjunto

pip install csvkit

Pré-requisitos: python-dev , libmysqlclient-dev,MySQL-python

apt-get install python-dev libmysqlclient-dev
pip install MySQL-python

Como importar arquivos csv para tabelas sql

Arquivo de exemplo: arquivo Overseas_trade_indexCSV de dados

Passos:

1. Precisa criar tabela para overseas_trade_index.

2. Precisa criar colunas relacionadas ao arquivo csv.

   Consulta SQL:

   ( id int not null primary key auto_increment,
   series_reference varchar (60),
   period varchar (60),
   data_value decimal(60,0),
   status varchar (60),
   units varchar (60),
   magnitude int(60),
   subject text(60),
   group text(60),
   series_title_1 varchar (60),
   series_title_2 varchar (60),
   series_title_3 varchar (60),
   series_title_4 varchar (60),
   series_title_5 varchar (60),
    );

3. Precisa conectar o banco de dados mysql no terminal.

   =>show databases;
   =>use database;
   =>show tables;

4. Por favor, insira este comando para importar os dados csv para tabelas mysql.

   load data infile '/home/desktop/Documents/overseas.csv' into table trade_index fields terminated by ',' lines terminated by '\n' (series_reference,period,data_value,status,units,magnitude,subject,series_title1,series_title_2,series_title_3,series_title_4,series_title_5);

5. Encontre esses dados de índice de comércio exterior no sqldatabase:

   select * from trade_index;

Se você estiver usando uma máquina Windows com a planilha do Excel carregada, o novo plug-in mySql no Excel é fenomenal. O pessoal da Oracle realmente fez um bom trabalho nesse software. Você pode fazer a conexão com o banco de dados diretamente do Excel. Esse plug-in analisará seus dados e configurará as tabelas para você em um formato consistente com os dados. Eu tinha alguns arquivos csv monstruosos de dados para converter. Essa ferramenta economizou muito tempo.

http://dev.mysql.com/downloads/windows/excel/

Você pode fazer atualizações no Excel que serão preenchidas no banco de dados online. Isso funcionou muito bem com arquivos mySql criados em hospedagem compartilhada GoDaddy ultra barata. (Observe que quando você cria a tabela no GoDaddy, é necessário selecionar algumas configurações fora do padrão para ativar o acesso externo ao banco de dados ...)

Com este plugin, você tem pura interatividade entre sua planilha XL e o armazenamento de dados mySql online.

Eu uso o mysql workbench para fazer o mesmo trabalho.

1. criar novo esquema
2. abrir esquema recém-criado
3. clique com o botão direito do mouse em "Tabelas" e selecione "Assistente de importação de dados de tabela"
4. forneça o caminho do arquivo csv e o nome da tabela e, finalmente, configure seu tipo de coluna porque o assistente define o tipo de coluna padrão com base em seus valores.

Nota: verifique se há erros no arquivo de log do mysql workbench usando "tail -f [mysqlworkbenchpath] /log/wb*.log"

Aqui está um exemplo de captura de tela do arquivo excel:

Salve como e escolha .csv.

E você terá como mostrado abaixo a captura de tela de dados .csv se abrir usando o bloco de notas ++ ou qualquer outro bloco de notas.

Certifique-se de remover o cabeçalho e ter alinhamento de coluna em .csv como na tabela mysql. Substitua nome_da_pasta pelo nome da sua pasta

CARREGAR DADOS
INFÍLICOS LOCAIS 'D: /folder_name/myfilename.csv' NA TABELA E-mail CAMPOS TERMINADOS POR ',' (fname, lname, email, phone);

Se for grande volume de dados, você pode tomar café e carregá-lo !.

É tudo o que você precisa.

Caso você esteja usando o Intellij https://www.jetbrains.com/datagrip/features/importexport.html

Consulta PHP para importar arquivo csv para banco de dados mysql

$query = <<<EOF
            LOAD DATA LOCAL INFILE '$file'
             INTO TABLE users
             FIELDS TERMINATED BY ','
             LINES TERMINATED BY '\n'
             IGNORE 1 LINES
            (name,mobile,email)
    EOF;
if (!$result = mysqli_query($this->db, $query))
   {
        exit(mysqli_error($this->db));
   }

** Dados do arquivo CSV de amostra **

name,mobile,email
Christopher Gritton,570-686-3439,ChristopherKGritton@inbound.plus
Brandon Wilson,541-309-5149,BrandonMWilson@inbound.plus
Craig White,516-795-8065,CraigJWhite@inbound.plus
David Whitney,713-214-3966,DavidCWhitney@inbound.plus

Altere servername, nome de usuário, senha, dbname, caminho do seu arquivo, tablename e o campo que está no seu banco de dados que você deseja inserir

<?php
    $servername = "localhost";
    $username = "root";
    $password = "";
    $dbname = "bd_dashboard";
    //For create connection
    $conn = new mysqli($servername, $username, $password, $dbname);

    $query = "LOAD DATA LOCAL INFILE 
                'C:/Users/lenovo/Desktop/my_data.csv'
                INTO TABLE test_tab
                FIELDS TERMINATED BY ','
                LINES TERMINATED BY '\n'
                IGNORE 1 LINES
                (name,mob)";
    if (!$result = mysqli_query($conn, $query)){
        echo '<script>alert("Oops... Some Error occured.");</script>';
        exit();
            //exit(mysqli_error());
       }else{
        echo '<script>alert("Data Inserted Successfully.");</script>'
       }
    ?>