Substituindo Pandas ou Numpy Nan por Nenhum para usar com MysqlDB

Eu estou tentando escrever um quadro de dados do Pandas (ou pode usar uma matriz numpy) em um banco de dados mysql usando o MysqlDB. O MysqlDB não parece entender 'nan' e meu banco de dados gera um erro dizendo que nan não está na lista de campos. Preciso encontrar uma maneira de converter o 'nan' em um NoneType.

Alguma ideia?

O @bogatron está certo, você pode usar where, vale a pena notar que você pode fazer isso nativamente nos pandas:

df1 = df.where(pd.notnull(df), None)

Nota: isso altera o tipo de todas as colunas para object.

Exemplo:

In [1]: df = pd.DataFrame([1, np.nan])

In [2]: df
Out[2]: 
    0
0   1
1 NaN

In [3]: df1 = df.where(pd.notnull(df), None)

In [4]: df1
Out[4]: 
      0
0     1
1  None

Nota: o que você não pode fazer reformula os DataFrames dtypepara permitir todos os tipos de tipos de dados, usando astypee, em seguida, o fillnamétodo DataFrame :

df1 = df.astype(object).replace(np.nan, 'None')

Infelizmente nem este, nem usar replace, funciona com Nonever esta questão (fechado) .

Como um aparte, vale a pena notar que, para a maioria dos casos de uso, você não precisa substituir o NaN por Nenhum, consulte esta pergunta sobre a diferença entre NaN e Nenhum nos pandas .

No entanto, neste caso específico, parece que você faz (pelo menos no momento desta resposta).

df = df.replace({np.nan: None})

O crédito é para esse cara aqui nesta questão do Github .

Você pode substituir nanpor Noneem sua matriz numpy:

>>> x = np.array([1, np.nan, 3])
>>> y = np.where(np.isnan(x), None, x)
>>> print y
[1.0 None 3.0]
>>> print type(y[1])
<type 'NoneType'>

Depois de tropeçar, isso funcionou para mim:

df = df.astype(object).where(pd.notnull(df),None)

Apenas uma adição à resposta de @Andy Hayden:

Como DataFrame.maské o gêmeo oposto de DataFrame.where, eles têm exatamente a mesma assinatura, mas com significado oposto:

• DataFrame.whereé útil para substituir valores em que a condição é falsa .
• DataFrame.maské usado para Substituir valores em que a condição é True .

Portanto, nesta questão, o uso df.mask(df.isna(), other=None, inplace=True)pode ser mais intuitivo.

Outra adição: tenha cuidado ao substituir múltiplos e converter o tipo da coluna de volta ao objeto para flutuar . Se você quiser ter certeza de que o seu Nonenão voltará para np.NaNa sugestão de @ andy-hayden de usar pd.where. Ilustração de como a substituição ainda pode dar errado:

In [1]: import pandas as pd

In [2]: import numpy as np

In [3]: df = pd.DataFrame({"a": [1, np.NAN, np.inf]})

In [4]: df
Out[4]:
     a
0  1.0
1  NaN
2  inf

In [5]: df.replace({np.NAN: None})
Out[5]:
      a
0     1
1  None
2   inf

In [6]: df.replace({np.NAN: None, np.inf: None})
Out[6]:
     a
0  1.0
1  NaN
2  NaN

In [7]: df.where((pd.notnull(df)), None).replace({np.inf: None})
Out[7]:
     a
0  1.0
1  NaN
2  NaN

Muito velho, mas me deparei com o mesmo problema. Tente fazer isso:

df['col_replaced'] = df['col_with_npnans'].apply(lambda x: None if np.isnan(x) else x)