Como acessar o grupo de pandas por dataframe por chave

154

Como acesso a chave groupby dataframe em um objeto groupby pela chave?

Com o seguinte grupo por:

rand = np.random.RandomState(1)
df = pd.DataFrame({'A': ['foo', 'bar'] * 3,
                   'B': rand.randn(6),
                   'C': rand.randint(0, 20, 6)})
gb = df.groupby(['A'])

Eu posso percorrer para obter as chaves e os grupos:

In [11]: for k, gp in gb:
             print 'key=' + str(k)
             print gp
key=bar
     A         B   C
1  bar -0.611756  18
3  bar -1.072969  10
5  bar -2.301539  18
key=foo
     A         B   C
0  foo  1.624345   5
2  foo -0.528172  11
4  foo  0.865408  14

Eu gostaria de poder acessar um grupo por sua chave:

In [12]: gb['foo']
Out[12]:  
     A         B   C
0  foo  1.624345   5
2  foo -0.528172  11
4  foo  0.865408  14

Mas quando tento fazer isso gb[('foo',)], recebo esse pandas.core.groupby.DataFrameGroupByobjeto estranho que parece não ter nenhum método que corresponda ao DataFrame que eu quero.

O melhor que pude pensar é:

In [13]: def gb_df_key(gb, key, orig_df):
             ix = gb.indices[key]
             return orig_df.ix[ix]

         gb_df_key(gb, 'foo', df)
Out[13]:
     A         B   C
0  foo  1.624345   5
2  foo -0.528172  11
4  foo  0.865408  14  

mas isso é meio desagradável, considerando como os pandas geralmente são bons nessas coisas.
Qual é a maneira integrada de fazer isso?

barba
fonte

Respostas:

192

Você pode usar o get_groupmétodo:

In [21]: gb.get_group('foo')
Out[21]: 
     A         B   C
0  foo  1.624345   5
2  foo -0.528172  11
4  foo  0.865408  14

Nota: Isso não requer a criação de um dicionário / cópia intermediário de cada subdataframe para cada grupo; portanto, será muito mais eficiente em termos de memória do que a criação do dicionário ingênuo dict(iter(gb)). Isso ocorre porque ele usa estruturas de dados já disponíveis no objeto groupby.


Você pode selecionar colunas diferentes usando o fatiamento agrupado:

In [22]: gb[["A", "B"]].get_group("foo")
Out[22]:
     A         B
0  foo  1.624345
2  foo -0.528172
4  foo  0.865408

In [23]: gb["C"].get_group("foo")
Out[23]:
0     5
2    11
4    14
Name: C, dtype: int64
Andy Hayden
fonte
72

Wes McKinney (autor dos pandas) em Python for Data Analysis fornece a seguinte receita:

groups = dict(list(gb))

que retorna um dicionário cujas chaves são os rótulos de seu grupo e cujos valores são DataFrames, ou seja,

groups['foo']

produzirá o que você está procurando:

     A         B   C
0  foo  1.624345   5
2  foo -0.528172  11
4  foo  0.865408  14
JD Margulici
fonte
1
Obrigado, isso é muito útil. Como posso modificar o código para criar groups = dict(list(gb))apenas uma coluna de armazenamento C? Digamos que não estou interessado nas outras colunas e, portanto, não quero armazená-las.
Zhubarb 14/01
5
Resposta:dict(list( df.groupby(['A'])['C'] ))
Zhubarb 15/01
4
Nota: é mais eficiente (mas equivalente) de usar dict(iter(g)). (embora get_groupé a melhor maneira / as que não envolve a criação de um dicionário / mantém você em pandas: D!)
Andy Hayden
Eu não era capaz de usar grupos (dict (lista (gb)), mas você pode criar um dicionário da seguinte forma: gb_dict = {str(indx): str(val) for indx in gb.indx for val in gb.some_key}e, em seguida, recuperar o valor viagb_dict[some_key]
user2476665
Basta usar get_group(), esta receita não é necessária há anos.
SMCI
20

Ao invés de

gb.get_group('foo')

Eu prefiro usar gb.groups

df.loc[gb.groups['foo']]

Porque dessa maneira você também pode escolher várias colunas. por exemplo:

df.loc[gb.groups['foo'],('A','B')]
LegitMe
fonte
4
Nota: Você pode selecionar diferentes colunas usando gb[["A", "B"]].get_group("foo").
Andy Hayden
6
gb = df.groupby(['A'])

gb_groups = grouped_df.groups

Se você estiver procurando objetos de grupo seletivos, faça: gb_groups.keys () e insira a chave desejada na seguinte lista de chaves.

gb_groups.keys()

key_list = [key1, key2, key3 and so on...]

for key, values in gb_groups.iteritems():
    if key in key_list:
        print df.ix[values], "\n"
Surya
fonte
1

Eu estava procurando uma maneira de fazer uma amostra de alguns membros do grupo GroupBy - tive que responder à pergunta postada para fazer isso.

criar objeto groupby

grouped = df.groupby('some_key')

escolha N dataframes e pegue suas indicações

sampled_df_i  = random.sample(grouped.indicies, N)

pegue os grupos

df_list  = map(lambda df_i: grouped.get_group(df_i), sampled_df_i)

opcionalmente - transforme tudo novamente em um único objeto de quadro de dados

sampled_df = pd.concat(df_list, axis=0, join='outer')
meyerson
fonte
1
Isso não funciona:sampled_df_i = random.sample(grouped.indicies, N)
irene
@irene - você pode fornecer um link para um exemplo mais longo / mais contexto?
meyerson 27/03
Eu recebo o seguinte erro:AttributeError: 'DataFrameGroupBy' object has no attribute 'indicies'
irene