Dataframe do Pandas obtém a primeira linha de cada grupo

137

Eu tenho pandas DataFramecomo seguir.

df = pd.DataFrame({'id' : [1,1,1,2,2,3,3,3,3,4,4,5,6,6,6,7,7],
                'value'  : ["first","second","second","first",
                            "second","first","third","fourth",
                            "fifth","second","fifth","first",
                            "first","second","third","fourth","fifth"]})

Quero agrupar isso por ["id", "value"] e obter a primeira linha de cada grupo.

        id   value
0        1   first
1        1  second
2        1  second
3        2   first
4        2  second
5        3   first
6        3   third
7        3  fourth
8        3   fifth
9        4  second
10       4   fifth
11       5   first
12       6   first
13       6  second
14       6   third
15       7  fourth
16       7   fifth

Resultado esperado

    id   value
     1   first
     2   first
     3   first
     4  second
     5  first
     6  first
     7  fourth

Eu tentei seguir o que só dá a primeira linha do DataFrame. Qualquer ajuda sobre isso é apreciada.

In [25]: for index, row in df.iterrows():
   ....:     df2 = pd.DataFrame(df.groupby(['id','value']).reset_index().ix[0])
Nilani Algiriyage
fonte
2
Sei que essa pergunta é bastante antiga, mas eu sugiro aceitar a resposta do @vital_dml porque o comportamento first()em relação às nans é muito surpreendente e algo que acho que a maioria das pessoas não espera.
user545424

Respostas:

238
>>> df.groupby('id').first()
     value
id        
1    first
2    first
3    first
4   second
5    first
6    first
7   fourth

Se você precisar idcomo coluna:

>>> df.groupby('id').first().reset_index()
   id   value
0   1   first
1   2   first
2   3   first
3   4  second
4   5   first
5   6   first
6   7  fourth

Para obter os primeiros registros, você pode usar head ():

>>> df.groupby('id').head(2).reset_index(drop=True)
    id   value
0    1   first
1    1  second
2    2   first
3    2  second
4    3   first
5    3   third
6    4  second
7    4   fifth
8    5   first
9    6   first
10   6  second
11   7  fourth
12   7   fifth
Roman Pekar
fonte
1
Muito obrigado! Funcionou bem :) Não é possível obter a segunda linha da mesma maneira, certo? Você pode apenas explicar isso também?
Nilani Algiriyage
g = df.groupby (['sessão']) g.agg (lambda x: x.iloc [0]) isso também está funcionando, não tem idéia de obter o segundo valor? :(
Nilani Algiriyage
suponha que contando a partir do topo que você deseja obter o número da linha top_n, então dx = df.groupby ('id'). head (top_n) .reset_index (drop = True) e suponha que contando a partir da parte inferior que você deseja obter o número da linha bottom_n, então dx = df.groupby ('id'). tail (bottom_n) .reset_index (drop = True)
Quetzalcoatl
3
Caso deseje as últimas n linhas, use tail(n)(o padrão é n = 5) ( ref. ). Para não ser confundido last(), cometi esse erro.
Rocarvaj 5/05
groupby('id',as_index=False)também mantém idcomo uma coluna
Richard DiSalvo
50

Isso fornecerá a segunda linha de cada grupo (zero indexado, enésimo (0) é o mesmo que primeiro ()):

df.groupby('id').nth(1) 

Documentação: http://pandas.pydata.org/pandas-docs/stable/groupby.html#taking-the-nth-row-of-each-group

wij
fonte
8
Se você deseja múltiplos, como os três primeiros, por exemplo, use uma sequência como nth((0,1,2))ou nth(range(3)).
Ronan Paixão
@ RonanPaixão: De alguma forma, quando dou intervalo, gera um erro:TypeError: n needs to be an int or a list/set/tuple of ints
Peaceful
@ Peaceful: você está usando Python 3? Nesse caso, range(3)não retorna uma lista, a menos que você digite list(range(3)).
29518 Ben
41

Eu sugiro usar em .nth(0)vez de .first()se você precisar obter a primeira linha.

A diferença entre eles é como eles lidam com NaNs; portanto .nth(0), retornará a primeira linha do grupo, independentemente de quais são os valores nessa linha, enquanto .first(), eventualmente, retornará o primeiro valor não NaN em cada coluna.

Por exemplo, se o seu conjunto de dados for:

df = pd.DataFrame({'id' : [1,1,1,2,2,3,3,3,3,4,4],
            'value'  : ["first","second","third", np.NaN,
                        "second","first","second","third",
                        "fourth","first","second"]})

>>> df.groupby('id').nth(0)
    value
id        
1    first
2    NaN
3    first
4    first

E

>>> df.groupby('id').first()
    value
id        
1    first
2    second
3    first
4    first
vital_dml
fonte
1
bom ponto. .head(1)também parece comportar-se como .nth(0), com exceção do índice
Richard DiSalvo
1
Outra diferença é que o enésimo (0) preservará o índice original (se as_index = False), enquanto o primeiro () não. Uma vez, para mim, houve uma diferença substancial, pois eu precisava do próprio índice.
Oleg O
7

talvez seja isso que você quer

import pandas as pd
idx = pd.MultiIndex.from_product([['state1','state2'],   ['county1','county2','county3','county4']])
df = pd.DataFrame({'pop': [12,15,65,42,78,67,55,31]}, index=idx)
                pop
state1 county1   12
       county2   15
       county3   65
       county4   42
state2 county1   78
       county2   67
       county3   55
       county4   31
df.groupby(level=0, group_keys=False).apply(lambda x: x.sort_values('pop', ascending=False)).groupby(level=0).head(3)

> Out[29]: 
                pop
state1 county3   65
       county4   42
       county2   15
state2 county1   78
       county2   67
       county3   55
Siraj S.
fonte
7

Se você precisar apenas da primeira linha de cada grupo drop_duplicates, observe o método padrão da função keep='first'.

df.drop_duplicates('id')
Out[1027]: 
    id   value
0    1   first
3    2   first
5    3   first
9    4  second
11   5   first
12   6   first
15   7  fourth
YOBEN_S
fonte