DataFrame do pandas: substitua os valores nan pela média de colunas

Eu tenho um DataFrame de pandas preenchido principalmente com números reais, mas também existem alguns nanvalores.

Como posso substituir os nans com médias de colunas onde eles estão?

Essa pergunta é muito semelhante a esta: matriz numpy: substitui os valores nan pela média de colunas , mas, infelizmente, a solução fornecida não funciona para um DataFrame do pandas.

Você pode simplesmente usar DataFrame.fillnapara preencher os nanitens diretamente:

In [27]: df 
Out[27]: 
          A         B         C
0 -0.166919  0.979728 -0.632955
1 -0.297953 -0.912674 -1.365463
2 -0.120211 -0.540679 -0.680481
3       NaN -2.027325  1.533582
4       NaN       NaN  0.461821
5 -0.788073       NaN       NaN
6 -0.916080 -0.612343       NaN
7 -0.887858  1.033826       NaN
8  1.948430  1.025011 -2.982224
9  0.019698 -0.795876 -0.046431

In [28]: df.mean()
Out[28]: 
A   -0.151121
B   -0.231291
C   -0.530307
dtype: float64

In [29]: df.fillna(df.mean())
Out[29]: 
          A         B         C
0 -0.166919  0.979728 -0.632955
1 -0.297953 -0.912674 -1.365463
2 -0.120211 -0.540679 -0.680481
3 -0.151121 -2.027325  1.533582
4 -0.151121 -0.231291  0.461821
5 -0.788073 -0.231291 -0.530307
6 -0.916080 -0.612343 -0.530307
7 -0.887858  1.033826 -0.530307
8  1.948430  1.025011 -2.982224
9  0.019698 -0.795876 -0.046431

A doutrina de fillnadiz que valuedeveria ser um escalar ou um ditado, no entanto, parece funcionar também com um Series. Se você quiser passar um ditado, você pode usar df.mean().to_dict().

Experimentar:

sub2['income'].fillna((sub2['income'].mean()), inplace=True)

In [16]: df = DataFrame(np.random.randn(10,3))

In [17]: df.iloc[3:5,0] = np.nan

In [18]: df.iloc[4:6,1] = np.nan

In [19]: df.iloc[5:8,2] = np.nan

In [20]: df
Out[20]: 
          0         1         2
0  1.148272  0.227366 -2.368136
1 -0.820823  1.071471 -0.784713
2  0.157913  0.602857  0.665034
3       NaN -0.985188 -0.324136
4       NaN       NaN  0.238512
5  0.769657       NaN       NaN
6  0.141951  0.326064       NaN
7 -1.694475 -0.523440       NaN
8  0.352556 -0.551487 -1.639298
9 -2.067324 -0.492617 -1.675794

In [22]: df.mean()
Out[22]: 
0   -0.251534
1   -0.040622
2   -0.841219
dtype: float64

Aplique por coluna a média dessas colunas e preencha

In [23]: df.apply(lambda x: x.fillna(x.mean()),axis=0)
Out[23]: 
          0         1         2
0  1.148272  0.227366 -2.368136
1 -0.820823  1.071471 -0.784713
2  0.157913  0.602857  0.665034
3 -0.251534 -0.985188 -0.324136
4 -0.251534 -0.040622  0.238512
5  0.769657 -0.040622 -0.841219
6  0.141951  0.326064 -0.841219
7 -1.694475 -0.523440 -0.841219
8  0.352556 -0.551487 -1.639298
9 -2.067324 -0.492617 -1.675794

# To read data from csv file
Dataset = pd.read_csv('Data.csv')

X = Dataset.iloc[:, :-1].values

# To calculate mean use imputer class
from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer = imputer.fit(X[:, 1:3])
X[:, 1:3] = imputer.transform(X[:, 1:3])

Se você deseja imputar valores ausentes com média e deseja ir coluna por coluna, isso só imputará a média dessa coluna. Isso pode ser um pouco mais legível.

sub2['income'] = sub2['income'].fillna((sub2['income'].mean()))

Use diretamente df.fillna(df.mean())para preencher todo o valor nulo com média

Se você desejar preencher um valor nulo com a média dessa coluna, poderá usar este

suponha que x=df['Item_Weight']aqui Item_Weightesteja o nome da coluna

aqui estamos atribuindo (preencha valores nulos de x com média de x em x)

df['Item_Weight'] = df['Item_Weight'].fillna((df['Item_Weight'].mean()))

Se você deseja preencher o valor nulo com alguma string, use

aqui Outlet_sizeestá o nome da coluna

df.Outlet_Size = df.Outlet_Size.fillna('Missing')

Outra opção além das acima é:

df = df.groupby(df.columns, axis = 1).transform(lambda x: x.fillna(x.mean()))

É menos elegante que as respostas anteriores para média, mas pode ser mais curto se você desejar substituir nulos por alguma outra função de coluna.

Pandas: Como substituir os nanvalores de NaN ( ) pela média (média), mediana ou outras estatísticas de uma coluna

Digamos que seu DataFrame seja dfe você tem uma coluna chamada nr_items. Isto é: df['nr_items']

Se você deseja substituir os NaNvalores da sua coluna df['nr_items']pela média da coluna :

Use o método .fillna():

mean_value=df['nr_items'].mean()
df['nr_item_ave']=df['nr_items'].fillna(mean_value)

Eu criei uma nova dfcoluna chamada nr_item_avepara armazenar a nova coluna com os NaNvalores substituídos pelo meanvalor da coluna.

Você deve ter cuidado ao usar o mean. Se você tiver discrepâncias, é mais recomendável usar omedian

usando a classe de pré-processamento da biblioteca sklearn

from sklearn.impute import SimpleImputer
missingvalues = SimpleImputer(missing_values = np.nan, strategy = 'mean', axis = 0)
missingvalues = missingvalues.fit(x[:,1:3])
x[:,1:3] = missingvalues.transform(x[:,1:3])

Nota: Na versão recente, missing_valuesaltere o valor do parâmetro para np.nandeNaN