Eu tenho um dataframe de pandas e desejo dividi-lo em 3 conjuntos separados. Eu sei que usando train_test_split de sklearn.cross_validation, é possível dividir os dados em dois conjuntos (train e test). No entanto, não consegui encontrar nenhuma solução para dividir os dados em três conjuntos. De...
Tenho dados salvos em um banco de dados postgreSQL. Estou consultando esses dados usando Python2.7 e transformando-os em um DataFrame do Pandas. No entanto, a última coluna desse quadro de dados possui um dicionário (ou lista?) De valores. O DataFrame fica assim: [1] df Station ID Pollutants 8809...
Quadro de dados: c_os_family_ss c_os_major_is l_customer_id_i 0 Windows 7 90418 1 Windows 7 90418 2 Windows 7 90418 Código: print df for name, group in df.groupby('l_customer_id_i').agg(lambda x: ','.join(x)): print name print group Estou tentando apenas fazer um loop sobre os dados...
Quais são as maneiras mais comuns dos pandas de selecionar / filtrar linhas de um quadro de dados cujo índice é um MultiIndex ? Fatiar com base em um único valor / rótulo Fatiar com base em vários rótulos de um ou mais níveis Filtrando condições e expressões booleanas Quais métodos são aplicáveis...
Eu estou tentando preencher nenhum valor em um dataframe do Pandas com 0 para apenas alguns subconjuntos de colunas. Quando eu faço: import pandas as pd df = pd.DataFrame(data={'a':[1,2,3,None],'b':[4,5,None,6],'c':[None,None,7,8]}) print df df.fillna(value=0, inplace=True) print df A saída: a...
Estou tentando ler um arquivo do Excel desta maneira: newFile = pd.ExcelFile(PATH\FileName.xlsx) ParsedData = pd.io.parsers.ExcelFile.parse(newFile) que gera um erro que diz dois argumentos esperados, não sei qual é o segundo argumento e também o que estou tentando obter aqui é converter um...
A nova versão do Pandas usa a seguinte interface para carregar arquivos do Excel: read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA']) mas e se eu não souber as folhas disponíveis? Por exemplo, estou trabalhando com arquivos do Excel que as folhas a seguir Dados 1,...
Dado um quadro de dados de pandas contendo possíveis valores de NaN espalhados aqui e ali: Pergunta: Como determino quais colunas contêm valores de NaN? Em particular, posso obter uma lista dos nomes de colunas que contêm
O que estou tentando fazer é extrair dados de elevação de uma API do google maps ao longo de um caminho especificado pelas coordenadas de latitude e longitude da seguinte maneira: from urllib2 import Request, urlopen import json path1 =
Suponha que eu tenho um DataFrame do pandas com duas colunas, A e B. Eu gostaria de modificar esse DataFrame (ou criar uma cópia) para que B seja sempre NaN sempre que A for 0. Como eu conseguiria isso? Eu tentei o seguinte df['A'==0]['B'] = np.nan e df['A'==0]['B'].values.fill(np.nan) sem...
Eu tentei: x=pandas.DataFrame(...) s = x.take([0], axis=1) E sobtém um DataFrame, não uma
Eu fiz algumas pesquisas e não consigo descobrir como filtrar um dataframe df["col"].str.contains(word), no entanto, estou me perguntando se existe uma maneira de fazer o inverso: filtrar um dataframe pelo elogio desse conjunto. por exemplo: para o efeito de !(df["col"].str.contains(word)). Isso...
Eu tenho um arquivo csv sem cabeçalho, com um índice DateTime. Quero renomear o nome do índice e da coluna, mas com df.rename () apenas o nome da coluna é renomeado. Erro? Estou na versão 0.12.0 In [2]: df = pd.read_csv(r'D:\Data\DataTimeSeries_csv//seriesSM.csv', header=None, parse_dates=[[0]],...
Estou tentando substituir os valores em uma coluna de um dataframe. A coluna ('feminino') contém apenas os valores 'feminino' e 'masculino'. Eu tentei o seguinte: w['female']['female']='1' w['female']['male']='0' Mas receba exatamente a mesma cópia dos resultados anteriores. Idealmente,...
Suponha que eu tenha um DataFrame com alguns NaNs: >>> import pandas as pd >>> df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]]) >>> df 0 1 2 0 1 2 3 1 4 NaN NaN 2 NaN NaN 9 O que eu preciso fazer é substituir todos os itens NaNcom o primeiro não...
Estou certo de que existe uma maneira óbvia de fazer isso, mas não consigo pensar em nada liso no momento. Basicamente, em vez de gerar exceção, gostaria de obter Trueou Falsever se existe um valor no dfíndice de pandas . import pandas as pd df = pd.DataFrame({'test':[1,2,3,4]},...
Tenho um problema ao visualizar o seguinte DataFrame: n = 100 foo = DataFrame(index=range(n)) foo['floats'] = np.random.randn(n) foo O problema é que ele não imprime todas as linhas por padrão no bloco de notas ipython, mas eu tenho que cortar para visualizar as linhas resultantes. Mesmo a...
Estou usando o Python 3.4 com IPython e tenho o seguinte código. Não consigo ler um arquivo csv a partir do URL fornecido: import pandas as pd import requests url="https://github.com/cs109/2014_data/blob/master/countries.csv" s=requests.get(url).content c=pd.read_csv(s) Eu tenho o seguinte...
Eu tenho um dataframe de pandas com colunas de tipo misto e gostaria de aplicar o min_max_scaler do sklearn a algumas das colunas. Idealmente, eu gostaria de fazer essas transformações no local, mas ainda não descobri uma maneira de fazer isso. Eu escrevi o seguinte código que funciona: import...
Eu tenho pandas DataFramecomo seguir. df = pd.DataFrame({'id' : [1,1,1,2,2,3,3,3,3,4,4,5,6,6,6,7,7], 'value' : ["first","second","second","first", "second","first","third","fourth", "fifth","second","fifth","first", "first","second","third","fourth","fifth"]}) Quero agrupar isso por ["id",...