Eu tenho um dataframe com coluna como String. Eu queria alterar o tipo de coluna para tipo duplo no PySpark. A seguir está o caminho, eu fiz: toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType()) changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show'])) Só queria saber se...
Eu tenho uma coluna Data Frame com valores numéricos: df['percentage'].head() 46.5 44.2 100.0 42.12 Quero ver a coluna como contagens de bin: bins = [0, 1, 5, 10, 25, 50, 100] Como posso obter o resultado em caixas com os seus value counts? [0, 1] bin amount [1, 5] etc [5, 10] etc...
Qual é a maneira do Python de ler um arquivo CSV em um DataFrame do pandas (que posso usar para operações estatísticas, pode ter colunas com tipos diferentes, etc.)? Meu arquivo CSV "value.txt"tem o seguinte
Eu tenho um quadro de dados do pandas com várias colunas e gostaria de construir um dict a partir de duas colunas: uma como as chaves do dict e a outra como os valores do dict. Como eu posso fazer isso? Quadro de dados: area count co tp DE Lake 10 7 Forest 20 5 FR Lake 30 2 Forest 40...
Eu tenho um dataframe com algumas colunas como esta: A B C 0 4 5 6 7 7 6 5 O intervalo possível de valores em A é apenas de 0 a 7 . Além disso, tenho uma lista de 8 elementos como esta: List=[2,5,6,8,12,16,26,32] //There are only 8 elements in this list Se o elemento na coluna A é n ,...
Estou tentando filtrar um dataframe PySpark que tem Nonecomo valor de linha: df.select('dt_mvmt').distinct().collect() [Row(dt_mvmt=u'2016-03-27'), Row(dt_mvmt=u'2016-03-28'), Row(dt_mvmt=u'2016-03-29'), Row(dt_mvmt=None), Row(dt_mvmt=u'2016-03-30'), Row(dt_mvmt=u'2016-03-31')] e posso...
Olá, tenho o seguinte dataframe. Group Size Short Small Short Small Moderate Medium Moderate Small Tall Large Quero contar a frequência de quantas vezes a mesma linha aparece no dataframe. Group Size Time Short Small 2 Moderate Medium 1 Moderate Small 1 Tall Large 1...
Eu tenho o seguinte dataframe: Index_Date A B C D =============================== 2015-01-31 10 10 Nan 10 2015-02-01 2 3 Nan 22 2015-02-02 10 60 Nan 280 2015-02-03 10 100 Nan 250 Requer: Index_Date A B C D =============================== 2015-01-31 10 10 10 10 2015-02-01 2 3 23...
Temos um quadro de dados de um arquivo CSV. O quadro de dados DFpossui colunas que contêm valores observados e uma coluna ( VaR2) que contém a data em que uma medição foi realizada. Se a data não foi registrada, o arquivo CSV contém o valor NA, para dados ausentes. Var1 Var2 10 2010/01/01 20...
Eu tenho um quadro de dados do pandas e gostaria de plotar os valores de uma coluna em relação aos valores de outra coluna. Felizmente, existe um plotmétodo associado aos data-frames que parece fazer o que preciso: df.plot(x='col_name_1', y='col_name_2') Infelizmente, parece que entre os estilos...
Tendo um quadro de dados, como faço para substituir todos os valores particulares ao longo de todas as linhas e colunas. Digamos, por exemplo, que eu queira substituir todos os registros vazios por NA's (sem digitar as posições): df <- data.frame(list(A=c("", "xyz", "jkl"), B=c(12, "",...
Eu quero deixar todos os cabeçalhos de coluna no meu quadro de dados do pandas em letras minúsculas Exemplo Se eu tiver: data = country country isocode year XRAT tcgdp 0 Canada CAN 2001 1.54876 924909.44207 1 Canada CAN 2002 1.56932 957299.91586 2 Canada CAN 2003 1.40105 1016902.00180 .... Eu...
Tenho um dataframe muito grande (cerca de 1 milhão de linhas) com dados de um experimento (60 entrevistados). Eu gostaria de dividir o dataframe em 60 dataframes (um dataframe para cada participante). No dataframe,, datahá uma variável chamada 'name', que é o código exclusivo de cada...
Estou muito confuso sobre como os eixos Python são definidos e se eles se referem às linhas ou colunas de um DataFrame. Considere o código abaixo: >>> df = pd.DataFrame([[1, 1, 1, 1], [2, 2, 2, 2], [3, 3, 3, 3]], columns=["col1", "col2", "col3", "col4"]) >>> df col1 col2 col3...
Eu tenho uma coluna em meu dataframe como esta: range "(2,30)" "(50,290)" "(400,1000)" ... e desejo substituir a ,vírgula por -travessão. Atualmente, estou usando este método, mas nada foi alterado. org_info_exc['range'].replace(',', '-', inplace=True) Alguém pode ajudar?
Fechadas. Esta pergunta não atende às diretrizes do Stack Overflow . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que esteja no tópico do Stack Overflow. Fechado há 3 anos . Melhore esta questão...
No Pandas, quando seleciono um rótulo que tem apenas uma entrada no índice, recebo uma série, mas quando seleciono uma entrada que tem mais de uma entrada, recebo um quadro de dados. Por que é que? Existe uma maneira de garantir que sempre recebo um quadro de dados? In [1]: import pandas as...
Eu estava procurando uma maneira de anotar minhas barras em um gráfico de barras do Pandas com os valores numéricos arredondados do meu DataFrame. >>> df=pd.DataFrame({'A':np.random.rand(2),'B':np.random.rand(2)},index=['value1','value2'] ) >>> df A B value1 0.440922...
Eu tenho uma série Pandas sf: email [email protected] [1.0, 0.0, 0.0] [email protected] [2.0, 0.0, 0.0] [email protected] [1.0, 0.0, 0.0] [email protected] [4.0, 0.0, 0.0] [email protected] [1.0, 0.0, 3.0] [email protected] [1.0, 5.0, 0.0] E eu gostaria de transformá-lo no seguinte...
Eu quero criar DataFramecom um esquema especificado no Scala. Tentei usar a leitura JSON (quero dizer, ler um arquivo vazio), mas não acho que seja a melhor