pandas valores únicos várias colunas

134
df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

Qual é a melhor maneira de retornar os valores exclusivos de 'Col1' e 'Col2'?

A saída desejada é

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'
user2333196
fonte
3
Veja também combinações únicas de valores nas colunas selecionadas no quadro de dados do pandas e conte para uma pergunta diferente, mas relacionada. A resposta selecionada lá usadf1.groupby(['A','B']).size().reset_index().rename(columns={0:'count'})
Paul Rougieux 20/06/19

Respostas:

198

pd.unique retorna os valores exclusivos de uma matriz de entrada, coluna ou índice DataFrame.

A entrada para esta função precisa ser unidimensional, portanto, várias colunas precisarão ser combinadas. A maneira mais simples é selecionar as colunas desejadas e exibir os valores em uma matriz NumPy achatada. Toda a operação é assim:

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

Observe que ravel()é um método de matriz que retorna uma visualização (se possível) de uma matriz multidimensional. O argumento 'K'diz ao método para nivelar a matriz na ordem em que os elementos são armazenados na memória (os pandas normalmente armazenam matrizes subjacentes na ordem contígua ao Fortran ; colunas antes das linhas). Isso pode ser significativamente mais rápido do que usar a ordem 'C' padrão do método.


Uma maneira alternativa é selecionar as colunas e passá-las para np.unique:

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

Não há necessidade de usar ravel()aqui, pois o método manipula matrizes multidimensionais. Mesmo assim, é provável que isso seja mais lento do que pd.uniquequando usa um algoritmo baseado em classificação, em vez de uma hashtable para identificar valores únicos.

A diferença de velocidade é significativa para DataFrames maiores (especialmente se houver apenas alguns valores exclusivos):

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop
Alex Riley
fonte
2
Como você recupera um quadro de dados em vez de uma matriz?
Lisle
1
@Lisle: ambos os métodos retornam um array NumPy, então você terá que construí-lo manualmente, por exemplo pd.DataFrame(unique_values),. Não há uma boa maneira de recuperar um DataFrame diretamente.
Alex Riley
@Lisle desde que ele usou o pd.unique, ele retorna um numpy.ndarray como saída final. É isso que você estava perguntando?
Ash Upadhyay
1
@Lisle, talvez este df = df.drop_duplicates (subconjunto = ['C1', 'C2', 'C3'])?
tickly potato
14

Eu configurei um DataFramecom algumas seqüências de caracteres simples em suas colunas:

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

Você pode concatenar as colunas nas quais está interessado e chamar a uniquefunção:

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)
Mike
fonte
7
In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

Ou:

set(df.Col1) | set(df.Col2)
James Little
fonte
1

Não pandassolução: usando set ().

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

Resultado:

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])
NullDev
fonte
1

para aqueles de nós que amam todas as coisas que os pandas aplicam, e claro, as funções lambda:

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)
Lisle
fonte
1

aqui está outra maneira


import numpy as np
set(np.concatenate(df.values))
muon
fonte
0
list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

A saída será ['Mary', 'Joe', 'Steve', 'Bob', 'Bill']

smishra
fonte