Qual é a diferença entre NaN e None?

Estou lendo duas colunas de um arquivo csv usando o pandas readcsv()e, em seguida, atribuindo os valores a um dicionário. As colunas contêm sequências de números e letras. Ocasionalmente, há casos em que uma célula está vazia. Em minha opinião, o valor lido para essa entrada do dicionário deveria ser, Nonemas em vez disso nané atribuído. Certamente Noneé mais descritivo de uma célula vazia, pois tem um valor nulo, enquanto nanapenas diz que o valor lido não é um número.

O meu entendimento está correto, qual é a diferença entre Nonee nan? Por que é nanatribuído em vez de None?

Além disso, minha verificação de dicionário para quaisquer células vazias tem usado numpy.isnan():

for k, v in my_dict.iteritems():
    if np.isnan(v):

Mas isso me dá um erro dizendo que não posso usar esse cheque para v. Eu acho que é porque uma variável inteira ou flutuante, não uma string, deve ser usada. Se isso for verdade, como posso verificar se vhá uma "célula vazia" / nancaso?

NaN é usado como um espaço reservado para dados ausentes de forma consistente em pandas , a consistência é boa. Eu geralmente leio / traduzo NaN como "ausente" . Consulte também a seção 'trabalhando com dados ausentes' nos documentos.

Wes escreve nos documentos 'escolha da representação de NA' :

Após anos de produção, o uso [NaN] provou, pelo menos na minha opinião, ser a melhor decisão considerando o estado das coisas em NumPy e Python em geral. O valor especial NaN (Not-A-Number) é usado em todos os lugares como o valor NA, e há funções API isnulle notnullque podem ser usadas entre os dtypes para detectar valores NA.
...
Assim, eu escolhi a abordagem Pythônica "praticidade bate pureza" e negociei a capacidade de NA inteiros para uma abordagem muito mais simples de usar um valor especial em matrizes flutuantes e de objetos para denotar NA, e promover matrizes inteiras para flutuantes quando NAs devem ser introduzido.

Nota: o "pegadinho" de que Séries inteiras contendo dados ausentes são convertidas em flutuantes .

Na minha opinião, a principal razão para usar NaN (em vez de None) é que ele pode ser armazenado com o dtype float64 de numpy, em vez do dtype de objeto menos eficiente, consulte as promoções de tipo NA .

#  without forcing dtype it changes None to NaN!
s_bad = pd.Series([1, None], dtype=object)
s_good = pd.Series([1, np.nan])

In [13]: s_bad.dtype
Out[13]: dtype('O')

In [14]: s_good.dtype
Out[14]: dtype('float64')

Jeff comenta (abaixo) sobre isso:

np.nanpermite operações vetorizadas; é um valor flutuante, enquanto None, por definição, força o tipo de objeto, o que basicamente desativa toda a eficiência em numpy.

Portanto, repita 3 vezes rápido: objeto == ruim, flutuante == bom

Dizendo isso, muitas operações ainda podem funcionar tão bem com None vs NaN (mas talvez não sejam suportadas, ou seja, às vezes podem dar resultados surpreendentes ):

In [15]: s_bad.sum()
Out[15]: 1

In [16]: s_good.sum()
Out[16]: 1.0

Para responder à segunda pergunta:
Você deve estar usando pd.isnulle pd.notnullpara testar se há dados ausentes (NaN).

NaNpode ser usado como um valor numérico em operações matemáticas, enquanto Nonenão pode (ou pelo menos não deveria).

NaNé um valor numérico, conforme definido no padrão de ponto flutuante IEEE 754 . Noneé um tipo interno do Python ( NoneType) e seria mais "inexistente" ou "vazio" do que "numericamente inválido" neste contexto.

O principal "sintoma" disso é que, se você executar, digamos, uma média ou uma soma em uma matriz contendo NaN, mesmo que seja um único, você obtém NaN como resultado ...

Por outro lado, você não pode realizar operações matemáticas usando Nonecomo operando.

Então, dependendo do caso, você pode usar Nonecomo uma forma de dizer ao seu algoritmo para não considerar valores inválidos ou inexistentes nos cálculos. Isso significa que o algoritmo deve testar cada valor para ver se é None.

Numpy tem algumas funções para evitar que valores NaN contaminem seus resultados, como nansume nan_to_numpor exemplo.

A função isnan()verifica se algo é "Não é um número" e retornará se uma variável é ou não um número, por exemplo isnan(2), retornaria falso

O condicional myVar is not Noneretorna independentemente de a variável estar ou não definida

Seu numpy array usa isnan()porque se destina a ser um array de números e inicializa todos os elementos do array para que NaNesses elementos sejam considerados "vazios"

Abaixo estão as diferenças:

• nan pertence à classe float
• None pertence à classe NoneType

Achei o artigo abaixo muito útil: https://medium.com/analytics-vidhya/dealing-with-missing-values-nan-and-none-in-python-6fc9b8fb4f31

NaNstants para NÃO um número .
Nonepode significar qualquer .