Estou escrevendo um arquivo CSV. Preciso escrever carimbos de data / hora precisos pelo menos no segundo e, de preferência, no milissegundo. Qual é o melhor formato para carimbos de data / hora em um arquivo CSV, de forma que possam ser analisados com precisão e sem ambigüidade pelo Excel com...
Sou novo no Spark e estou tentando ler dados CSV de um arquivo com o Spark. Aqui está o que estou fazendo: sc.textFile('file.csv') .map(lambda line: (line.split(',')[0], line.split(',')[1])) .collect() Eu esperaria que esta chamada me desse uma lista das duas primeiras colunas do meu arquivo,...
Estou gerando um arquivo CSV (delimitado por vírgulas em vez de tabulações). Provavelmente meus usuários abrirão o arquivo CSV no Excel clicando duas vezes nele. Meus dados podem conter vírgulas e sinais de fala, então estou escapando deles da seguinte maneira. Reference, Title, Description 1, "My...
import csv with open('v.csv', 'w') as csvfile: cwriter = csv.writer(csvfile, delimiter=' ', quotechar='|', quoting=csv.QUOTE_MINIMAL) for w, c in p.items(): cwriter.writerow(w + c) Aqui, pestá um dicionário we cambos são strings. Quando tento gravar no arquivo, ele relata o...
Estou usando o python (Django Framework) para ler um arquivo CSV. Eu retiro apenas 2 linhas deste CSV, como você pode ver. O que venho tentando fazer é armazenar em uma variável o número total de linhas do CSV também. Como posso obter o número total de linhas? file = object.myfilePath fileObject...
Estou tentando especificar as colClassesopções na read.csvfunção em R. Em meus dados, a primeira coluna "tempo" é basicamente um vetor de caracteres, enquanto o resto das colunas são numéricas. data <- read.csv("test.csv", comment.char="" , colClasses=c(time="character", "numeric"),...
Estou usando https://github.com/databricks/spark-csv , estou tentando escrever um único CSV, mas não consigo, estou criando uma pasta. Precisa de uma função Scala que pegará parâmetros como caminho e nome de arquivo e escreverá esse arquivo
Atualmente, estou tentando ler dados de arquivos .csv no Python 2.7 com até 1 milhão de linhas e 200 colunas (os arquivos variam de 100 MB a 1,6 GB). Posso fazer isso (muito lentamente) para os arquivos com menos de 300.000 linhas, mas quando vou além disso, recebo erros de memória. Meu código é...
Como está atualmente, esta pergunta não se encaixa em nosso formato de perguntas e respostas. Esperamos que as respostas sejam apoiadas por fatos, referências ou experiência, mas esta pergunta provavelmente irá solicitar debate, argumentos, pesquisas ou discussão extensa. Se você...
Alguém pode gentilmente fornecer um código para criar uma matriz a partir de um arquivo CSV usando fgetcsv? Usei o código a seguir para criar uma matriz a partir de um arquivo CSV simples, mas ele não funciona direito quando um dos meus campos tem várias vírgulas - como endereços. $lines...
Eu tenho um arquivo CSV e quero importar em massa esse arquivo para meu banco de dados sqlite3 usando Python. o comando é ".import .....". mas parece que não pode funcionar assim. Alguém pode me dar um exemplo de como fazer isso no sqlite3? Estou usando o Windows apenas no caso....
Estou importando alguns dados de 20.000 linhas de um arquivo CSV para o Mysql. As colunas no CSV estão em uma ordem diferente das colunas da tabela do MySQL. Como atribuir automaticamente colunas correspondentes às colunas da tabela Mysql? Quando eu executo LOAD DATA INFILE'abc.csv' INTO TABLE...
Usando jq , como a codificação JSON arbitrária de uma matriz de objetos superficiais pode ser convertida em CSV? Há uma abundância de perguntas e respostas neste site que cobrem modelos de dados específicos que codificam os campos, mas as respostas a esta pergunta devem funcionar em qualquer JSON,...
Dado 2,1016,7 / 31/2008 14: 22, Geoff Dalgas , 5/6/2011 22:21, http://stackoverflow.com , "Corvallis, OR", 7679,351,81, b437f461b3fd27387c5d8ab47a293d35,34 Como usar C # para dividir as informações acima em strings da seguinte maneira: 2 1016 7/31/2008 14:22 Geoff Dalgas 6/5/2011...
Como posso converter um arquivo XLS em um arquivo CSV na linha de comando do Windows. A máquina possui o Microsoft Office 2000 instalado. Estou aberto para instalar o OpenOffice se não for possível usando o Microsoft
Estou tentando converter uma série de produtos em um arquivo CSV, mas não parece estar indo como planejado. O arquivo CSV é uma longa linha, aqui está meu código: for($i=0;$i<count($prods);$i++) { $sql = "SELECT * FROM products WHERE id = '".$prods[$i]."'"; $result =
Estou trabalhando com alguns arquivos CSV, com o seguinte código: reader = csv.reader(open(filepath, "rU")) try: for row in reader: print 'Row read successfully!', row except csv.Error, e: sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e)) E um arquivo está gerando este erro:...
Tenho dados que estão sendo acessados via solicitação http e são devolvidos pelo servidor em formato separado por vírgulas, tenho o seguinte código: site= 'www.example.com' hdr = {'User-Agent': 'Mozilla/5.0'} req = urllib2.Request(site,headers=hdr) page = urllib2.urlopen(req) soup =...
Questão: Existe uma maneira de especificar o formato de Data ao usar o argumento colClasses em read.table / read.csv? (Sei que posso converter após a importação, mas com muitas colunas de data como esta, seria mais fácil fazer isso na etapa de importação) Exemplo: Eu tenho um .csv com colunas...
Existe uma maneira integrada de read_csvler apenas as primeiras nlinhas de um arquivo sem saber o comprimento das linhas com antecedência? Tenho um arquivo grande que leva muito tempo para ler e, ocasionalmente, só quero usar as primeiras, digamos, 20 linhas para obter uma amostra dele (e prefiro...