Como agrupar linhas de dataframe na lista de grupos de pandas?

274

Eu tenho um quadro de dados de pandas dfcomo:

a b
A 1
A 2
B 5
B 5
B 4
C 6

Quero agrupar pela primeira coluna e obter a segunda coluna como listas em linhas :

A [1,2]
B [5,5,4]
C [6]

É possível fazer algo assim usando o grupo pandas?

Abhishek Thakur
fonte

Respostas:

394

Você pode fazer isso usando groupbypara agrupar na coluna de interesse e depois apply listpara cada grupo:

In [1]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6]})
        df

Out[1]: 
   a  b
0  A  1
1  A  2
2  B  5
3  B  5
4  B  4
5  C  6

In [2]: df.groupby('a')['b'].apply(list)
Out[2]: 
a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object

In [3]: df1 = df.groupby('a')['b'].apply(list).reset_index(name='new')
        df1
Out[3]: 
   a        new
0  A     [1, 2]
1  B  [5, 5, 4]
2  C        [6]
EdChum
fonte
7
Isso leva muito tempo se o conjunto de dados for enorme, digamos 10 milhões de linhas. Existe alguma maneira mais rápida de fazer isso? No entanto, o número de únicos em 'a' é de cerca de 500k
Abhishek Thakur
6
groupby é notoriamente lenta e memória com fome, o que você poderia fazer é classificar por coluna A, em seguida, encontrar o idxmin e idxmax (provavelmente armazenar isso em um dicionário) e usar isso para cortar sua trama de dados seria mais rápido eu acho
EdChum
1
Quando tentei esta solução com meu problema (ter várias colunas para agruparBy e agrupar), ela não funcionou - os pandas enviaram 'Função não reduz'. Então eu usei a tupleseguir a segunda resposta aqui: stackoverflow.com/questions/19530568/… . Consulte a segunda resposta em stackoverflow.com/questions/27439023/… para obter explicações.
Andarin 24/06
Esta solução é boa, mas existe uma maneira de armazenar o conjunto de listas, ou seja, posso remover as duplicatas e armazená-las?
Sriram Arvind Lakshmanakumar
1
@PoeteMaudit Desculpe, eu não entendo o que você está fazendo e fazendo perguntas nos comentários. Você está perguntando como concatenar várias colunas em uma única lista?
EdChum 07/07/19
47

Se o desempenho for importante, desça para o nível numpy:

import numpy as np

df = pd.DataFrame({'a': np.random.randint(0, 60, 600), 'b': [1, 2, 5, 5, 4, 6]*100})

def f(df):
         keys, values = df.sort_values('a').values.T
         ukeys, index = np.unique(keys, True)
         arrays = np.split(values, index[1:])
         df2 = pd.DataFrame({'a':ukeys, 'b':[list(a) for a in arrays]})
         return df2

Testes:

In [301]: %timeit f(df)
1000 loops, best of 3: 1.64 ms per loop

In [302]: %timeit df.groupby('a')['b'].apply(list)
100 loops, best of 3: 5.26 ms per loop
BM
fonte
8
Como poderíamos usar isso se estamos agrupando por duas ou mais chaves, por exemplo, com ao .groupby([df.index.month, df.index.day])invés de apenas .groupby('a')?
ru111
25

Uma maneira útil de conseguir isso seria:

df.groupby('a').agg({'b':lambda x: list(x)})

Procure escrever Aggregations personalizadas: https://www.kaggle.com/akshaysehgal/how-to-group-by-aggregate-using-py

Anamika Modi
fonte
5
lambda args: f(args)é equivalente af
BallpointBen #
6
Na verdade, basta agg(list). Veja também aqui .
cs95
!! Eu estava apenas pesquisando em busca de alguma sintaxe e percebi que meu próprio notebook foi referenciado para a solução lol. Obrigado por vincular isso. Apenas para adicionar, como 'list' não é uma função em série, você terá que usá-lo com apply df.groupby('a').apply(list)ou use com agg como parte de um dict df.groupby('a').agg({'b':list}). Você também pode usá-lo com o lambda (que eu recomendo), pois você pode fazer muito mais com ele. Exemplo: df.groupby('a').agg({'c':'first', 'b': lambda x: x.unique().tolist()})que permite aplicar uma função de série à col c e uma função exclusiva e uma lista à col b.
Akshay Sehgal
21

Como você estava dizendo, o groupbymétodo de um pd.DataFrameobjeto pode fazer o trabalho.

Exemplo

 L = ['A','A','B','B','B','C']
 N = [1,2,5,5,4,6]

 import pandas as pd
 df = pd.DataFrame(zip(L,N),columns = list('LN'))


 groups = df.groupby(df.L)

 groups.groups
      {'A': [0, 1], 'B': [2, 3, 4], 'C': [5]}

que fornece uma descrição dos grupos em índice.

Para obter elementos de grupos únicos, você pode fazer, por exemplo

 groups.get_group('A')

     L  N
  0  A  1
  1  A  2

  groups.get_group('B')

     L  N
  2  B  5
  3  B  5
  4  B  4
Acorbe
fonte
21

Para resolver isso em várias colunas de um quadro de dados:

In [5]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6],'c'
   ...: :[3,3,3,4,4,4]})

In [6]: df
Out[6]: 
   a  b  c
0  A  1  3
1  A  2  3
2  B  5  3
3  B  5  4
4  B  4  4
5  C  6  4

In [7]: df.groupby('a').agg(lambda x: list(x))
Out[7]: 
           b          c
a                      
A     [1, 2]     [3, 3]
B  [5, 5, 4]  [3, 4, 4]
C        [6]        [4]

Esta resposta foi inspirada na resposta de Anamika Modi . Obrigado!

Markus Dutschke
fonte
12

Use qualquer um dos seguintes groupbye aggreceitas.

# Setup
df = pd.DataFrame({
  'a': ['A', 'A', 'B', 'B', 'B', 'C'],
  'b': [1, 2, 5, 5, 4, 6],
  'c': ['x', 'y', 'z', 'x', 'y', 'z']
})
df

   a  b  c
0  A  1  x
1  A  2  y
2  B  5  z
3  B  5  x
4  B  4  y
5  C  6  z

Para agregar várias colunas como listas, use um dos seguintes:

df.groupby('a').agg(list)
df.groupby('a').agg(pd.Series.tolist)

           b          c
a                      
A     [1, 2]     [x, y]
B  [5, 5, 4]  [z, x, y]
C        [6]        [z]

Para listar em grupo apenas uma única coluna, converta o grupo em um SeriesGroupByobjeto e, em seguida, chame SeriesGroupBy.agg. Usar,

df.groupby('a').agg({'b': list})  # 4.42 ms 
df.groupby('a')['b'].agg(list)    # 2.76 ms - faster

a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object
cs95
fonte
Os métodos acima são garantidos para preservar a ordem? o que significa que os elementos de uma mesma linha (mas diferentes colunas, b e c no seu código acima) terá o mesmo índice nas listas resultantes?
Kai
@ Kai oh, boa pergunta. Sim e não. GroupBy classifica a saída pelos valores-chave da garoupa. No entanto, a classificação geralmente é estável, portanto a ordem relativa por grupo é preservada. Para desativar completamente o comportamento de classificação, use groupby(..., sort=False). Aqui, não faria diferença, pois estou agrupando a coluna A, que já está classificada.
cs95
me desculpe, eu não entendo sua resposta. Você pode explicar com mais detalhes? Eu acho que isso merece a sua própria pergunta ..
Kai
1
Esta é uma resposta muito boa! Existe também uma maneira de tornar os valores da lista exclusivos? algo como .agg (pd.Series.tolist.unique) talvez?
Federico Gentile
1
@FedericoGentile você pode usar um lambda. Aqui está uma maneira:df.groupby('a')['b'].agg(lambda x: list(set(x)))
cs95
7

Se procurar uma lista exclusiva ao agrupar várias colunas, isso provavelmente poderá ajudar:

df.groupby('a').agg(lambda x: list(set(x))).reset_index()
Vanshika
fonte
2

Vamos usar df.groupbycom lista e Seriesconstrutor

pd.Series({x : y.b.tolist() for x , y in df.groupby('a')})
Out[664]: 
A       [1, 2]
B    [5, 5, 4]
C          [6]
dtype: object
YOBEN_S
fonte
2

É hora de usar em aggvez de apply.

Quando

df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6], 'c': [1,2,5,5,4,6]})

Se você deseja que várias colunas sejam empilhadas na lista, resulte em pd.DataFrame

df.groupby('a')[['b', 'c']].agg(list)
# or 
df.groupby('a').agg(list)

Se você quiser uma coluna única na lista, resulte em ps.Series

df.groupby('a')['b'].agg(list)
#or
df.groupby('a')['b'].apply(list)

Observe que o resultado em pd.DataFrameé cerca de 10x mais lento do que o resultado em ps.Seriesquando você agrega apenas uma coluna, use-a no caso de várias colunas.

Mithril
fonte
0

Aqui eu agrupei elementos com "|" como separador

    import pandas as pd

    df = pd.read_csv('input.csv')

    df
    Out[1]:
      Area  Keywords
    0  A  1
    1  A  2
    2  B  5
    3  B  5
    4  B  4
    5  C  6

    df.dropna(inplace =  True)
    df['Area']=df['Area'].apply(lambda x:x.lower().strip())
    print df.columns
    df_op = df.groupby('Area').agg({"Keywords":lambda x : "|".join(x)})

    df_op.to_csv('output.csv')
    Out[2]:
    df_op
    Area  Keywords

    A       [1| 2]
    B    [5| 5| 4]
    C          [6]
Ganesh Kharad
fonte
0

A maneira mais fácil de ver não conseguir a maioria das mesmas coisas, pelo menos para uma coluna que é semelhante à resposta de Anamika apenas com a sintaxe da tupla para a função agregada.

df.groupby('a').agg(b=('b','unique'), c=('c','unique'))
Metrd
fonte