Limitações do Pandas e suas alternativas em Python

Eu li em algum lugar que o Pandas foi desenvolvido pela primeira vez para o mundo financeiro, pelo menos não especialmente para as ciências naturais (física, biologia e assim por diante), então existe algum pacote Python de análise de dados semelhante mais "orientado para as ciências naturais"?

Comecei a usar o Pandas e já encontrei dois problemas que não consegui resolver sem usar outros pacotes ou soluções caseiras:

• Como gerenciar incertezas?
• Como definir facilmente as unidades dos meus dados?

Talvez haja outras questões, mas me falta experiência para ser mais preciso. No momento, penso no pacote de incertezas para resolver o primeiro ponto, mas não tenho certeza de que funcione bem com o Pandas e não diminua a velocidade da computação. Na verdade, não estou procurando uma maneira de computar com incertezas, apenas uma maneira simples de armazenar incertezas junto com meus dados importados. Para o segundo ponto, não encontrei uma solução melhor do que criar um dicionário separado do meu DataFrame para gerenciar as unidades associadas a cada dado.

Se você já teve os mesmos problemas, como o resolveu ou quais outros pacotes você usa para manipulação / armazenamento / análise de dados no Python em ciências naturais?

Concordo com Davidmh que o cálculo das incertezas não deve ser tratado por uma biblioteca automática. Você encontrará rapidamente um caso em que a automação falha (tente fazer uma transformação de Fourier, por exemplo).

Você diz, no entanto, que deseja apenas manter as incertezas com seus dados. Por que não adicioná-los como uma coluna extra no seu quadro de dados? É assim que eu normalmente gerencio incertezas com pandas.

O Pandas não suporta unidades, no entanto, qualquer coisa pode entrar em um quadro de dados para que você possa usar o pacote de quantidades diretamente. No entanto, nem todas as funcionalidades funcionam em pandas (embora uma quantidade surpreendente ainda funcione) e haverá uma penalidade de desempenho.

Houve alguma discussão para permitir a anexação de metadados em pandas, mas até agora nada parece ter resultado disso.

Com a possível exceção do C ++ 11, não conheço nenhuma linguagem ou biblioteca que daria a você um suporte de unidade de primeira classe realmente bom. Sempre há perda de desempenho e falta de compatibilidade

.

Gerenciar incertezas é na verdade um problema estatístico bastante delicado. A expressão conhecida para propagação de erro usando derivadas parciais ao quadrado é boa quando os erros são normalmente distribuídos, independentes e pequenos. Este é geralmente o caso; e, de fato, mesmo que a normalidade ou independência não sejam totalmente satisfeitas, na maioria dos casos práticos o resultado pode ser razoavelmente próximo do real, desde que você esteja interessado apenas em uma estimativa razoável do intervalo.

$\sin(2\pm0.1) = \sin(2)^{\sin(2.1)}_{\sin(1.9)}$

Nos casos em que é necessária mais precisão, se você tiver um bom modelo analítico para suas incertezas, existem métodos, como probabilidade máxima, que podem ser usados ​​para derivar os estimadores corretos.

Mas se você deseja um resultado correto válido para qualquer entrada possível (imagine modelar analiticamente um detector de ruídos, onde o ruído é da mesma ordem que a precisão), levando em consideração todas as correlações e explorando todo o espaço de parâmetros relevante , você precisa dos métodos de Monte Carlo. Adicione ruído aleatório a várias instâncias de suas entradas e execute a análise completa. Obviamente, isso pode significar que você deve multiplicar seu tempo computacional por centenas ou milhares, mas é sempre paralelizável.

Portanto, no final, tudo depende do que você deseja fazer, com que grau de precisão e quantos recursos você possui.