Comecei a usar o Spark SQL e os DataFrames no Spark 1.4.0. Estou querendo definir um particionador personalizado no DataFrames, no Scala, mas não vendo como fazer isso. Uma das tabelas de dados com as quais estou trabalhando contém uma lista de transações, por conta, silimar no exemplo a...
Eu tenho um Spark DataFrame (usando o PySpark 1.5.1) e gostaria de adicionar uma nova coluna. Eu tentei o seguinte sem sucesso: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col =...
Suponha que eu tenha uma variável de resposta e dados que contenham três covariáveis (como um exemplo de brinquedo): y = c(1,4,6) d = data.frame(x1 = c(4,-1,3), x2 = c(3,9,8), x3 = c(4,-4,-2)) Quero ajustar uma regressão linear aos dados: fit = lm(y ~ d$x1 + d$x2 + d$y2) Existe uma maneira de...
Existe uma maneira interna de pandas para aplicar duas funções agregadoras diferentes f1, f2na mesma coluna df["returns"], sem precisar chamar agg()várias vezes? Exemplo de quadro de dados: import pandas as pd import datetime as dt pd.np.random.seed(0) df = pd.DataFrame({ "date" :...
Meus dados podem ter vários eventos em uma determinada data ou NENHUM evento em uma data. Pego esses eventos, conto por data e os traço. No entanto, quando os traço, minhas duas séries nem sempre correspondem. idx = pd.date_range(df['simpleDate'].min(), df['simpleDate'].max()) s =...
Estou lendo em um arquivo csv com várias colunas datetime. Eu precisaria definir os tipos de dados após a leitura no arquivo, mas às vezes parece ser um problema. Por exemplo: headers = ['col1', 'col2', 'col3', 'col4'] dtypes = ['datetime', 'datetime', 'str', 'float'] pd.read_csv(file, sep='\t',...
Eu tenho um DataFrame do Pandas e quero combinar as colunas 'lat' e 'long' para formar uma tupla. <class 'pandas.core.frame.DataFrame'> Int64Index: 205482 entries, 0 to 209018 Data columns: Month 205482 non-null values Reported by 205482 non-null values Falls within 205482 non-null...
Eu tenho um DataFrame do pandas que desejo enviar para um novo arquivo CSV. O problema é que não quero salvar o arquivo localmente antes de transferi-lo para o s3. Existe algum método como to_csv para gravar o dataframe em s3 diretamente? Estou usando o boto3. Aqui está o que tenho até...
Eu tenho um data.frame que gostaria de converter em uma lista por linhas, o que significa que cada linha corresponderia aos seus próprios elementos de lista. Em outras palavras, eu gostaria de uma lista que contenha o data.frame com linhas. Até agora, lidei com esse problema da seguinte maneira,...
Eu sei que se eu usar randn, import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(100, 4), columns=list('ABCD')) dá-me o que procuro, mas com elementos de uma distribuição normal. Mas e se eu quisesse apenas números inteiros aleatórios? randintfunciona fornecendo um...
Eu sou novo em pandas e estou tentando descobrir como adicionar várias colunas a pandas simultaneamente. Qualquer ajuda aqui é apreciada. Idealmente, gostaria de fazer isso em uma etapa, em vez de várias etapas repetidas ... import pandas as pd df = {'col_1': [0, 1, 2, 3], 'col_2': [4, 5, 6,...
Tenho um DataFrame como este: In [7]: frame.head() Out[7]: Communications and Search Business General Lifestyle 0 0.745763 0.050847 0.118644 0.084746 0 0.333333 0.000000 0.583333 0.083333 0 0.617021 0.042553 0.297872 0.042553 0 0.435897 0.000000 0.410256 0.153846 0 0.358974 0.076923 0.410256...
Tenho um dataframe e gostaria de contar o número de linhas dentro de cada grupo. Eu regularmente uso a aggregatefunção para somar os dados da seguinte forma: df2 <- aggregate(x ~ Year + Month, data = df1, sum) Agora, eu gostaria de contar observações, mas não consigo encontrar o argumento...
Examinei o StackOverflow, mas não consigo encontrar uma solução específica para o meu problema, que envolve anexar linhas a um quadro de dados R. Estou inicializando um quadro de dados de 2 colunas vazio, da seguinte maneira. df = data.frame(x = numeric(), y = character()) Então, meu objetivo é...
Estou tentando acessar o índice de uma linha em uma função aplicada em todo o DataFramePandas. Eu tenho algo assim: df = pandas.DataFrame([[1,2,3],[4,5,6]], columns=['a','b','c']) >>> df a b c 0 1 2 3 1 4 5 6 e vou definir uma função que acessa elementos com uma determinada linha def...
Eu tenho um vetor de nomes de colunas diferentes e quero poder fazer um loop em cada um deles para extrair essa coluna de um data.frame. Por exemplo, considere o conjunto de dados mtcarse alguns nomes de variáveis armazenados em um vetor de caracteres cols. Quando tento selecionar uma variável...
Estou tentando escrever uma função para aceitar um data.frame ( x) e um columndele. A função executa alguns cálculos em xe posteriormente retorna outro data.frame. Estou preso no método de práticas recomendadas para passar o nome da coluna para a função. Os dois exemplos mínimos fun1e fun2abaixo...
Usando Python Pandas estou tentando encontrar o Country& Placecom o valor máximo. Isso retorna o valor máximo: data.groupby(['Country','Place'])['Value'].max() Mas como obtenho o correspondente Countrye o
Eu gostaria de acrescentar uma string ao início de cada valor em uma coluna de um dataframe pandas (elegantemente). Já descobri como fazer isso e atualmente estou usando: df.ix[(df['col'] != False), 'col'] = 'str'+df[(df['col'] != False), 'col'] Isso parece uma coisa muito deselegante de se fazer...
Existe alguma função que seria equivalente a uma combinação de df.isin()e df[col].str.contains()? Por exemplo, digamos que eu tenha a série s = pd.Series(['cat','hat','dog','fog','pet'])e desejo encontrar todos os lugares onde scontenha qualquer um de ['og', 'at'], gostaria de obter tudo, exceto...