Como posso importar automaticamente arquivos csv para o SQL Server?

1

Meu gol

  • Agregação automatizada de dados para que eu possa usar uma ferramenta (Microsoft Power BI ou equivalente) para atualizar automaticamente os painéis e ou relatórios com os novos dados.

A situação

Eu trabalho com um LMS que só permite duas opções para extrair dados do banco de dados:

  • Transferindo relatórios manualmente

ou

  • agendando esses relatórios para serem enviados por e-mail.

Queremos poder olhar para um conjunto específico de dados, mas realmente não temos tempo para limpar e agregar todos esses dados toda vez que precisarmos.

Eu quero entender se eu posso enviar por e-mail os arquivos csv para um banco de dados e tê-lo de importação automática (eu não acredito que isso seja possível) ou ter um banco de dados auto-importar novos arquivos em uma pasta.

O que eu tenho

  • Relatórios construídos com os dados que precisamos
    • Apenas não no formato que queremos

O que eu não tenho

  • Acesso back-end ao banco de dados do LMS

É provável que este seja um SQL Server que seria usado, é possível.

microsoft-excel csv sql-server import Odinson
fonte
Encontre uma VM ou estação de trabalho dedicada, etc., você pode dedicar-se à automação do download manual e usar o AutoIT para criar um script para executar o movimento a partir do navegador da Web etc. quando alguém faz isso manualmente, emulando os cliques e movimentos e os toques de tecla no teclado. Em seguida, você padroniza e automatiza a cópia desses arquivos e, em seguida, importa com instruções BCP ou TSQL BULK INSERT talvez. Com um pouco de tentativa e erro, pesquisa, etc. você poderia descobrir ... apenas uma idéia rápida de uma abordagem que eu consideraria se fosse absolutamente necessário.
Pimp Juice IT
O que LMS? Eu faço o mesmo, mas em ambas as direções - arquivos CSV do Crystal Reports em um banco de dados mysql local, gerar arquivos CSV e importá-los para o LMS. Ou use a API do LMS para enviar / receber alguns dados para gerar relatórios personalizados, etc. Eu também não uso o Excel para isso - eu uso o PHP como uma linguagem de processamento de texto / consulta db rápida, muito fácil de fazer . Pode ser uma boa desculpa para aprender PHP, Python, etc ...
ivanivan
@ivanivan O LMS é IBM Kenexa (não Brassring). Eu adoraria poder usar a API, no entanto, é bastante limitada e só permite acesso a informações e organizações de membros. Se eu pudesse usar a API, ficaria muito feliz :)
Odinson
@ Spittin'IT Interessante opção e eu com certeza não quero dizer "não" sem olhar mais para ele. Enquanto isso não é exatamente o que eu estou procurando, eu concordo que é uma opção. Obrigado! :)
Odinson
Com qual tipo de servidor de e-mail você está trabalhando e se é o administrador de e-mail do domínio ou pode falar com ele sobre a opção de ter o servidor de e-mail usando um script externo ou funcionalidade incorporada, etc. e colocar algumas regras? de xe enviado para x e tem um anexo de .csv, copie esse arquivo .csv para esse caminho UNC e, a partir daí, você pode verificar algo periodicamente e se um arquivo for encontrado, importação em massa, etc. seu administrador de e-mail ou alguns lendo sobre a funcionalidade do seu servidor SMTP para tais opções.
Pimp Juice IT