Como dinamizar um quadro de dados

358
  • O que é pivô?
  • Como eu giro?
  • Isso é um pivô?
  • Formato longo para formato amplo?

Eu já vi muitas perguntas sobre tabelas dinâmicas. Mesmo que eles não saibam que estão perguntando sobre tabelas dinâmicas, geralmente o são. É praticamente impossível escrever uma pergunta e resposta canônica que abranja todos os aspectos da rotação.

... Mas eu vou tentar.

O problema com as perguntas e respostas existentes é que, muitas vezes, a pergunta é focada em uma nuance que o OP tem dificuldade em generalizar para usar várias das boas respostas existentes. No entanto, nenhuma das respostas tenta dar uma explicação abrangente (porque é uma tarefa assustadora)

Veja alguns exemplos da minha pesquisa no google

  1. Como dinamizar um dataframe no Pandas?
    • Boa pergunta e resposta. Mas a resposta responde apenas à pergunta específica com poucas explicações.
  2. tabela dinâmica pandas para quadro de dados
    • Nesta questão, o PO está preocupado com a saída do pivô. Ou seja, a aparência das colunas. O OP queria que parecesse R. Isso não é muito útil para usuários de pandas.
  3. pandas girando um quadro de dados, linhas duplicadas
    • Outra pergunta decente, mas a resposta se concentra em um método, a saber pd.DataFrame.pivot

Portanto, sempre que alguém procura pivot, obtém resultados esporádicos que provavelmente não responderão a perguntas específicas.

Configuração

Você pode notar que nomeei minhas colunas e os valores relevantes das colunas para corresponder à forma como vou articular as respostas abaixo. 

import numpy as np
import pandas as pd
from numpy.core.defchararray import add

np.random.seed([3,1415])
n = 20

cols = np.array(['key', 'row', 'item', 'col'])
arr1 = (np.random.randint(5, size=(n, 4)) // [2, 1, 2, 1]).astype(str)

df = pd.DataFrame(
    add(cols, arr1), columns=cols
).join(
    pd.DataFrame(np.random.rand(n, 2).round(2)).add_prefix('val')
)
print(df)

     key   row   item   col  val0  val1
0   key0  row3  item1  col3  0.81  0.04
1   key1  row2  item1  col2  0.44  0.07
2   key1  row0  item1  col0  0.77  0.01
3   key0  row4  item0  col2  0.15  0.59
4   key1  row0  item2  col1  0.81  0.64
5   key1  row2  item2  col4  0.13  0.88
6   key2  row4  item1  col3  0.88  0.39
7   key1  row4  item1  col1  0.10  0.07
8   key1  row0  item2  col4  0.65  0.02
9   key1  row2  item0  col2  0.35  0.61
10  key2  row0  item2  col1  0.40  0.85
11  key2  row4  item1  col2  0.64  0.25
12  key0  row2  item2  col3  0.50  0.44
13  key0  row4  item1  col4  0.24  0.46
14  key1  row3  item2  col3  0.28  0.11
15  key0  row3  item1  col1  0.31  0.23
16  key0  row0  item2  col3  0.86  0.01
17  key0  row4  item0  col3  0.64  0.21
18  key2  row2  item2  col0  0.13  0.45
19  key0  row2  item0  col4  0.37  0.70

Questões)

  1. Por que eu recebo ValueError: Index contains duplicate entries, cannot reshape

  2. Como faço a rotação de dfforma que os colvalores sejam colunas, os rowvalores sejam o índice e a média de val0sejam os valores?

    col   col0   col1   col2   col3  col4
row                                  
row0  0.77  0.605    NaN  0.860  0.65
row2  0.13    NaN  0.395  0.500  0.25
row3   NaN  0.310    NaN  0.545   NaN
row4   NaN  0.100  0.395  0.760  0.24

  3. Como faço a rotação para dfque os colvalores sejam colunas, os rowvalores sejam o índice, a média de val0sejam os valores e os valores ausentes 0?

    col   col0   col1   col2   col3  col4
row                                  
row0  0.77  0.605  0.000  0.860  0.65
row2  0.13  0.000  0.395  0.500  0.25
row3  0.00  0.310  0.000  0.545  0.00
row4  0.00  0.100  0.395  0.760  0.24

  4. Posso conseguir algo diferente mean, como talvez sum?

    col   col0  col1  col2  col3  col4
row                               
row0  0.77  1.21  0.00  0.86  0.65
row2  0.13  0.00  0.79  0.50  0.50
row3  0.00  0.31  0.00  1.09  0.00
row4  0.00  0.10  0.79  1.52  0.24

  5. Posso fazer mais de uma agregação por vez?

           sum                          mean                           
col   col0  col1  col2  col3  col4  col0   col1   col2   col3  col4
row                                                                
row0  0.77  1.21  0.00  0.86  0.65  0.77  0.605  0.000  0.860  0.65
row2  0.13  0.00  0.79  0.50  0.50  0.13  0.000  0.395  0.500  0.25
row3  0.00  0.31  0.00  1.09  0.00  0.00  0.310  0.000  0.545  0.00
row4  0.00  0.10  0.79  1.52  0.24  0.00  0.100  0.395  0.760  0.24

  6. Posso agregar várias colunas de valor?

          val0                             val1                          
col   col0   col1   col2   col3  col4  col0   col1  col2   col3  col4
row                                                                  
row0  0.77  0.605  0.000  0.860  0.65  0.01  0.745  0.00  0.010  0.02
row2  0.13  0.000  0.395  0.500  0.25  0.45  0.000  0.34  0.440  0.79
row3  0.00  0.310  0.000  0.545  0.00  0.00  0.230  0.00  0.075  0.00
row4  0.00  0.100  0.395  0.760  0.24  0.00  0.070  0.42  0.300  0.46

  7. Pode subdividir por várias colunas?

    item item0             item1                         item2                   
col   col2  col3  col4  col0  col1  col2  col3  col4  col0   col1  col3  col4
row                                                                          
row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.605  0.86  0.65
row2  0.35  0.00  0.37  0.00  0.00  0.44  0.00  0.00  0.13  0.000  0.50  0.13
row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.000  0.28  0.00
row4  0.15  0.64  0.00  0.00  0.10  0.64  0.88  0.24  0.00  0.000  0.00  0.00

  8. Ou 

    item      item0             item1                         item2                  
col        col2  col3  col4  col0  col1  col2  col3  col4  col0  col1  col3  col4
key  row                                                                         
key0 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.86  0.00
     row2  0.00  0.00  0.37  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.50  0.00
     row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.00  0.00  0.00
     row4  0.15  0.64  0.00  0.00  0.00  0.00  0.00  0.24  0.00  0.00  0.00  0.00
key1 row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.81  0.00  0.65
     row2  0.35  0.00  0.00  0.00  0.00  0.44  0.00  0.00  0.00  0.00  0.00  0.13
     row3  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.28  0.00
     row4  0.00  0.00  0.00  0.00  0.10  0.00  0.00  0.00  0.00  0.00  0.00  0.00
key2 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.40  0.00  0.00
     row2  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.13  0.00  0.00  0.00
     row4  0.00  0.00  0.00  0.00  0.00  0.64  0.88  0.00  0.00  0.00  0.00  0.00

  9. Posso agregar a frequência em que a coluna e as linhas ocorrem juntas, também conhecida como "tabulação cruzada"?

    col   col0  col1  col2  col3  col4
row                               
row0     1     2     0     1     1
row2     1     0     2     1     2
row3     0     1     0     2     0
row4     0     1     2     2     1

  10. Como converter um DataFrame de longo para amplo, girando apenas em duas colunas? Dado,

    np.random.seed([3, 1415])
df2 = pd.DataFrame({'A': list('aaaabbbc'), 'B': np.random.choice(15, 8)})        
df2        
   A   B
0  a   0
1  a  11
2  a   2
3  a  11
4  b  10
5  b  10
6  b  14
7  c   7

    O esperado deveria parecer algo como

          a     b    c
0   0.0  10.0  7.0
1  11.0  10.0  NaN
2   2.0  14.0  NaN
3  11.0   NaN  NaN

  11. Como aplainar o índice múltiplo ao único índice após pivot

    De

       1  2   
   1  1  2        
a  2  1  1
b  2  1  0
c  1  0  0

    Para 

       1|1  2|1  2|2               
a    2    1    1
b    2    1    0
c    1    0    0
python pandas group-by pivot pandas-groupby piRSquared
fonte

Respostas:

301

Começamos respondendo à primeira pergunta:

Questão 1

Por que eu recebo ValueError: Index contains duplicate entries, cannot reshape

Isso ocorre porque os pandas estão tentando reindexar um objeto columnsou indexcom entradas duplicadas. Existem vários métodos para usar que podem executar um pivô. Alguns deles não são adequados para quando há duplicatas das chaves nas quais está sendo solicitado a girar. Por exemplo. Considere pd.DataFrame.pivot. Eu sei que existem entradas duplicadas que compartilham os valores rowe col:

df.duplicated(['row', 'col']).any()

True

Então, quando eu estou pivotusando

df.pivot(index='row', columns='col', values='val0')

Eu recebo o erro mencionado acima. De fato, recebo o mesmo erro ao tentar executar a mesma tarefa com:

df.set_index(['row', 'col'])['val0'].unstack()

Aqui está uma lista de idiomas que podemos usar para girar

  1. pd.DataFrame.groupby + pd.DataFrame.unstack
    • Boa abordagem geral para executar praticamente qualquer tipo de pivô
    • Você especifica todas as colunas que constituirão os níveis de linha dinâmica e os níveis de coluna em um grupo por. Você segue isso selecionando as colunas restantes que deseja agregar e as funções que deseja executar a agregação. Por fim, unstackos níveis que você deseja que estejam no índice da coluna.
  2. pd.DataFrame.pivot_table
    • Uma versão glorificada da groupbyAPI mais intuitiva. Para muitas pessoas, essa é a abordagem preferida. E é a abordagem pretendida pelos desenvolvedores.
    • Especifique o nível da linha, níveis da coluna, valores a serem agregados e funções para executar agregações.
  3. pd.DataFrame.set_index + pd.DataFrame.unstack
    • Conveniente e intuitivo para alguns (inclusive eu). Não é possível manipular chaves agrupadas duplicadas.
    • Semelhante ao groupby paradigma, especificamos todas as colunas que eventualmente serão de linha ou níveis de coluna e as definimos como o índice. Nós, então, unstackos níveis que queremos nas colunas. Se os níveis de índice restantes ou os níveis de coluna não forem exclusivos, esse método falhará.
  4. pd.DataFrame.pivot
    • Muito semelhante ao set_indexque compartilha a limitação de chave duplicada. A API também é muito limitada. Leva apenas valores escalares para index, columns, values.
    • Semelhante ao pivot_table método em que selecionamos linhas, colunas e valores nos quais girar. No entanto, não podemos agregar e, se as linhas ou colunas não forem exclusivas, esse método falhará.
  5. pd.crosstab
    • Esta é uma versão especializada do pivot_table e, na sua forma mais pura, é a maneira mais intuitiva de executar várias tarefas.
  6. pd.factorize + np.bincount
    • Essa é uma técnica altamente avançada, muito obscura, mas muito rápida. Ele não pode ser usado em todas as circunstâncias, mas quando puder ser usado e você estiver confortável em usá-lo, colherá as recompensas de desempenho.
  7. pd.get_dummies + pd.DataFrame.dot
    • Eu uso isso para executar tabulação cruzada inteligente.

Exemplos

O que vou fazer para cada resposta e pergunta subsequente é respondê-lo usando pd.DataFrame.pivot_table. Então, fornecerei alternativas para executar a mesma tarefa.

Questão 3

Como faço a rotação para dfque os colvalores sejam colunas, os rowvalores sejam o índice, a média de val0sejam os valores e os valores ausentes 0?

  • pd.DataFrame.pivot_table

    • fill_valuenão está definido por padrão. Costumo defini-lo adequadamente. Neste caso, eu o configurei 0. Observe que pulei a pergunta 2 , pois é a mesma que esta resposta sem afill_value

    • aggfunc='mean'é o padrão e não precisei defini-lo. Eu o incluí para ser explícito.

      df.pivot_table(
    values='val0', index='row', columns='col',
    fill_value=0, aggfunc='mean')

col   col0   col1   col2   col3  col4
row                                  
row0  0.77  0.605  0.000  0.860  0.65
row2  0.13  0.000  0.395  0.500  0.25
row3  0.00  0.310  0.000  0.545  0.00
row4  0.00  0.100  0.395  0.760  0.24

  • pd.DataFrame.groupby

    df.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)

  • pd.crosstab

    pd.crosstab(
    index=df['row'], columns=df['col'],
    values=df['val0'], aggfunc='mean').fillna(0)

Pergunta 4

Posso conseguir algo diferente mean, como talvez sum?

  • pd.DataFrame.pivot_table

    df.pivot_table(
    values='val0', index='row', columns='col',
    fill_value=0, aggfunc='sum')

col   col0  col1  col2  col3  col4
row                               
row0  0.77  1.21  0.00  0.86  0.65
row2  0.13  0.00  0.79  0.50  0.50
row3  0.00  0.31  0.00  1.09  0.00
row4  0.00  0.10  0.79  1.52  0.24

  • pd.DataFrame.groupby

    df.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)

  • pd.crosstab

    pd.crosstab(
    index=df['row'], columns=df['col'],
    values=df['val0'], aggfunc='sum').fillna(0)

Questão 5

Posso fazer mais de uma agregação por vez?

Observe que para pivot_tablee crosstabeu precisava passar pela lista de chamadas. Por outro lado, groupby.aggé capaz de receber strings para um número limitado de funções especiais. groupby.aggtambém aceitaria as mesmas chamadas que passamos para os outros, mas geralmente é mais eficiente aproveitar os nomes das funções das strings, pois existem eficiências a serem obtidas.

  • pd.DataFrame.pivot_table

    df.pivot_table(
    values='val0', index='row', columns='col',
    fill_value=0, aggfunc=[np.size, np.mean])

     size                      mean                           
col  col0 col1 col2 col3 col4  col0   col1   col2   col3  col4
row                                                           
row0    1    2    0    1    1  0.77  0.605  0.000  0.860  0.65
row2    1    0    2    1    2  0.13  0.000  0.395  0.500  0.25
row3    0    1    0    2    0  0.00  0.310  0.000  0.545  0.00
row4    0    1    2    2    1  0.00  0.100  0.395  0.760  0.24

  • pd.DataFrame.groupby

    df.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)

  • pd.crosstab

    pd.crosstab(
    index=df['row'], columns=df['col'],
    values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')

Pergunta 6

Posso agregar várias colunas de valor?

  • pd.DataFrame.pivot_tablepassamos, values=['val0', 'val1']mas poderíamos ter deixado isso de fora completamente

    df.pivot_table(
    values=['val0', 'val1'], index='row', columns='col',
    fill_value=0, aggfunc='mean')

      val0                             val1                          
col   col0   col1   col2   col3  col4  col0   col1  col2   col3  col4
row                                                                  
row0  0.77  0.605  0.000  0.860  0.65  0.01  0.745  0.00  0.010  0.02
row2  0.13  0.000  0.395  0.500  0.25  0.45  0.000  0.34  0.440  0.79
row3  0.00  0.310  0.000  0.545  0.00  0.00  0.230  0.00  0.075  0.00
row4  0.00  0.100  0.395  0.760  0.24  0.00  0.070  0.42  0.300  0.46

  • pd.DataFrame.groupby

    df.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)

Pergunta 7

Pode subdividir por várias colunas?

  • pd.DataFrame.pivot_table

    df.pivot_table(
    values='val0', index='row', columns=['item', 'col'],
    fill_value=0, aggfunc='mean')

item item0             item1                         item2                   
col   col2  col3  col4  col0  col1  col2  col3  col4  col0   col1  col3  col4
row                                                                          
row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.605  0.86  0.65
row2  0.35  0.00  0.37  0.00  0.00  0.44  0.00  0.00  0.13  0.000  0.50  0.13
row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.000  0.28  0.00
row4  0.15  0.64  0.00  0.00  0.10  0.64  0.88  0.24  0.00  0.000  0.00  0.00

  • pd.DataFrame.groupby

    df.groupby(
    ['row', 'item', 'col']
)['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)

Pergunta 8

Pode subdividir por várias colunas?

  • pd.DataFrame.pivot_table

    df.pivot_table(
    values='val0', index=['key', 'row'], columns=['item', 'col'],
    fill_value=0, aggfunc='mean')

item      item0             item1                         item2                  
col        col2  col3  col4  col0  col1  col2  col3  col4  col0  col1  col3  col4
key  row                                                                         
key0 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.86  0.00
     row2  0.00  0.00  0.37  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.50  0.00
     row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.00  0.00  0.00
     row4  0.15  0.64  0.00  0.00  0.00  0.00  0.00  0.24  0.00  0.00  0.00  0.00
key1 row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.81  0.00  0.65
     row2  0.35  0.00  0.00  0.00  0.00  0.44  0.00  0.00  0.00  0.00  0.00  0.13
     row3  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.28  0.00
     row4  0.00  0.00  0.00  0.00  0.10  0.00  0.00  0.00  0.00  0.00  0.00  0.00
key2 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.40  0.00  0.00
     row2  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.13  0.00  0.00  0.00
     row4  0.00  0.00  0.00  0.00  0.00  0.64  0.88  0.00  0.00  0.00  0.00  0.00

  • pd.DataFrame.groupby

    df.groupby(
    ['key', 'row', 'item', 'col']
)['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)

  • pd.DataFrame.set_index porque o conjunto de chaves é exclusivo para linhas e colunas

    df.set_index(
    ['key', 'row', 'item', 'col']
)['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)

Pergunta 9

Posso agregar a frequência em que a coluna e as linhas ocorrem juntas, também conhecida como "tabulação cruzada"?

  • pd.DataFrame.pivot_table

    df.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size')

    col   col0  col1  col2  col3  col4
row                               
row0     1     2     0     1     1
row2     1     0     2     1     2
row3     0     1     0     2     0
row4     0     1     2     2     1

  • pd.DataFrame.groupby

    df.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)

  • pd.crosstab

    pd.crosstab(df['row'], df['col'])

  • pd.factorize + np.bincount

    # get integer factorization `i` and unique values `r`
# for column `'row'`
i, r = pd.factorize(df['row'].values)
# get integer factorization `j` and unique values `c`
# for column `'col'`
j, c = pd.factorize(df['col'].values)
# `n` will be the number of rows
# `m` will be the number of columns
n, m = r.size, c.size
# `i * m + j` is a clever way of counting the 
# factorization bins assuming a flat array of length
# `n * m`.  Which is why we subsequently reshape as `(n, m)`
b = np.bincount(i * m + j, minlength=n * m).reshape(n, m)
# BTW, whenever I read this, I think 'Bean, Rice, and Cheese'
pd.DataFrame(b, r, c)

      col3  col2  col0  col1  col4
row3     2     0     0     1     0
row2     1     2     1     0     2
row0     1     0     1     2     1
row4     2     2     0     1     1

  • pd.get_dummies

    pd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col']))

      col0  col1  col2  col3  col4
row0     1     2     0     1     1
row2     1     0     2     1     2
row3     0     1     0     2     0
row4     0     1     2     2     1

Pergunta 10

Como converter um DataFrame de longo para amplo, girando apenas em duas colunas?

A primeira etapa é atribuir um número a cada linha - esse número será o índice de linha desse valor no resultado dinâmico. Isso é feito usando GroupBy.cumcount:

df2.insert(0, 'count', df.groupby('A').cumcount())
df2

   count  A   B
0      0  a   0
1      1  a  11
2      2  a   2
3      3  a  11
4      0  b  10
5      1  b  10
6      2  b  14
7      0  c   7

A segunda etapa é usar a coluna recém-criada como o índice a ser chamado DataFrame.pivot.

df2.pivot(*df)
# df.pivot(index='count', columns='A', values='B')

A         a     b    c
count                 
0       0.0  10.0  7.0
1      11.0  10.0  NaN
2       2.0  14.0  NaN
3      11.0   NaN  NaN

Pergunta 11

Como aplainar o índice múltiplo ao único índice após pivot

Se columnsdigitar objectcom stringjoin 

df.columns = df.columns.map('|'.join)

outro format

df.columns = df.columns.map('{0[0]}|{0[1]}'.format)
piRSquared
fonte
43
Você poderia considerar a extensão de documentos oficiais ?
MaxU
o que aconteceu com a resposta à pergunta nº 10? Eu entendo KeyError: 'A'. Existe mais para a resposta?
Monica Heddneck 27/09/19
@MonicaHeddneck Vou revisar novamente e atualizar, se necessário. No entanto, 'A'supõe-se que exista uma coluna 'A'no seu quadro de dados para agrupar.
piRSquared
Posso agregar várias colunas de valor? a resposta para isso funcionará para colunas de diferentes tipos de dados. para ex: values ​​= ['val0', 'val1'], aqui val0 é int e val1 é string
Anil Kumar
11
não é necessário inserir a coluna na pergunta 10, ela pode ser passada diretamente como um argumento na tabela dinâmica
ansev
4

Para estender a resposta do @ piRSquared, outra versão da Questão 10

Pergunta 10.1

Quadro de dados:

d = data = {'A': {0: 1, 1: 1, 2: 1, 3: 2, 4: 2, 5: 3, 6: 5},
 'B': {0: 'a', 1: 'b', 2: 'c', 3: 'a', 4: 'b', 5: 'a', 6: 'c'}}
df = pd.DataFrame(d)

   A  B
0  1  a
1  1  b
2  1  c
3  2  a
4  2  b
5  3  a
6  5  c

Resultado:

   0     1     2
A
1  a     b     c
2  a     b  None
3  a  None  None
5  c  None  None

Usando df.groupbyepd.Series.tolist

t = df.groupby('A')['B'].apply(list)
out = pd.DataFrame(t.tolist(),index=t.index)
out
   0     1     2
A
1  a     b     c
2  a     b  None
3  a  None  None
5  c  None  None

Ou Uma alternativa muito melhor usando pd.pivot_tablecomdf.squeeze.

t = df.pivot_table(index='A',values='B',aggfunc=list).squeeze()
out = pd.DataFrame(t.tolist(),index=t.index)
Ch3steR
fonte