Python Pandas substitui NaN em uma coluna pelo valor da linha correspondente da segunda coluna

103

Estou trabalhando com este DataFrame Pandas em Python.

File    heat    Farheit Temp_Rating
   1    YesQ         75         N/A
   1    NoR         115         N/A
   1    YesA         63         N/A
   1    NoT          83          41
   1    NoY         100          80
   1    YesZ         56          12
   2    YesQ        111         N/A
   2    NoR          60         N/A
   2    YesA         19         N/A
   2    NoT         106          77
   2    NoY          45          21
   2    YesZ         40          54
   3    YesQ         84         N/A
   3    NoR          67         N/A
   3    YesA         94         N/A
   3    NoT          68          39
   3    NoY          63          46
   3    YesZ         34          81

Preciso substituir todos os NaNs na Temp_Ratingcoluna pelo valor da Farheitcoluna.

Isto é o que eu preciso:

File        heat    Temp_Rating
   1        YesQ             75
   1         NoR            115
   1        YesA             63
   1        YesQ             41
   1         NoR             80
   1        YesA             12
   2        YesQ            111
   2         NoR             60
   2        YesA             19
   2         NoT             77
   2         NoY             21
   2        YesZ             54
   3        YesQ             84
   3         NoR             67
   3        YesA             94
   3         NoT             39
   3         NoY             46
   3        YesZ             81

Se eu fizer uma seleção booleana, posso escolher apenas uma dessas colunas por vez. O problema é que, se eu tentar me juntar a eles, não poderei fazer isso enquanto preservo a ordem correta.

Como posso encontrar apenas Temp_Ratinglinhas com os NaNe substituí-los pelo valor na mesma linha da Farheitcoluna?

Edesz
fonte

Respostas:

165

Supondo que seu DataFrame esteja em df:

df.Temp_Rating.fillna(df.Farheit, inplace=True)
del df['Farheit']
df.columns = 'File heat Observations'.split()

Primeiro, substitua quaisquer NaNvalores pelo valor correspondente de df.Farheit. Exclua a 'Farheit'coluna. Em seguida, renomeie as colunas. Aqui está o resultado DataFrame:

DataFrame resultante

Jonathan Eunice
fonte
como trabalhar com isso se as duas colunas do tipo de dados são objeto e em vez de N / A, é célula vazia nessa linha?
Cinza
Uma possível abordagem a ser considerada: você pode primeiro substituir a string vazia por NaN(veja aqui ) e então usar esta abordagem.
edesz
A resposta é perfeita. Se você quiser se manter mais na sintaxe do pandas, sugiro excluir as colunas por df.drop("Farheit", axis=1), mas essa é provavelmente a preferência pessoal
MichaelA
1
@MichaelA Agree dropagora prefere delna terra dos Pandas. Se estiver usando um Pandas recente, recomendaria df = df.drop(columns='Farheit')a numeração do eixo numérico.
Jonathan Eunice
35

As soluções mencionadas acima não funcionaram para mim. O método que usei foi:

df.loc[df['foo'].isnull(),'foo'] = df['bar']
zsad512
fonte
3
Ele gerou uma exceção ou simplesmente não funcionou? Tente isna () em vez de isnull ().
RufusVS
4

Outra forma de resolver este problema,

import pandas as pd
import numpy as np

ts_df = pd.DataFrame([[1,"YesQ",75,],[1,"NoR",115,],[1,"NoT",63,13],[2,"YesT",43,71]],columns=['File','heat','Farheit','Temp'])


def fx(x):
    if np.isnan(x['Temp']):
        return x['Farheit']
    else:
        return x['Temp']
print(1,ts_df)
ts_df['Temp']=ts_df.apply(lambda x : fx(x),axis=1)

print(2,ts_df)

retorna:

(1,    File  heat  Farheit  Temp                                                                                    
0     1  YesQ       75   NaN                                                                                        
1     1   NoR      115   NaN                                                                                        
2     1   NoT       63  13.0                                                                                        
3     2  YesT       43  71.0)                                                                                       
(2,    File  heat  Farheit   Temp                                                                                   
0     1  YesQ       75   75.0                                                                                       
1     1   NoR      115  115.0
2     1   NoT       63   13.0
3     2  YesT       43   71.0)
felix_as
fonte