EDA significa "Análise de dados exploratória". Desenvolvido por Tukey para contrastar com a Análise Confirmatória de Dados ou CDA (o teste formal de hipóteses). A EDA normalmente se preocupa em descrever dados numericamente e graficamente para facilitar a compreensão e gerar novos insights.
Gosto do livro de G van Belle sobre Regras de Estatística , e em menor grau Erros Comuns em Estatística (e Como Evitá-las) de Phillip I Good e James W. Hardin. Eles abordam as armadilhas comuns na interpretação dos resultados de estudos experimentais e observacionais e fornecem recomendações...
Eu tenho lido o livro de Tukey "Análise Exploratória de Dados". Sendo escrito em 1977, o livro enfatiza os métodos de papel / lápis. Existe um sucessor mais "moderno" que leva em conta que agora podemos traçar instantaneamente grandes conjuntos de dados?
Tenho certeza de que já deparei com uma função como essa em um pacote R antes, mas depois de pesquisar bastante no Google, não consigo encontrá-la em lugar algum. A função em que estou pensando produziu um resumo gráfico para uma variável dada a ela, produzindo resultados com alguns gráficos (um...
Muitas vezes me deparei com avisos informais contra "espionagem de dados" (aqui está um exemplo divertido ), e acho que tenho uma ideia intuitiva do que isso significa e por que pode ser um problema. Por outro lado, "análise exploratória de dados" parece ser um procedimento perfeitamente...
A ideia da análise adaptativa dos dados é que você altere seu plano para analisar os dados à medida que aprende mais sobre eles. No caso da análise exploratória de dados (EDA), geralmente é uma boa ideia (você geralmente procura padrões imprevistos nos dados), mas, para um estudo confirmatório,...
A análise exploratória de dados (EDA) geralmente leva a explorar outras "trilhas" que não pertencem necessariamente ao conjunto inicial de hipóteses. Eu enfrento essa situação no caso de estudos com um tamanho de amostra limitado e muitos dados coletados através de diferentes questionários (dados...
Eu estava lendo este artigo na Nature, no qual algumas falácias são explicadas no contexto da análise de dados. Percebi que a falácia do atirador de elite do Texas era particularmente difícil de evitar: Uma armadilha cognitiva que aguarda durante a análise dos dados é ilustrada pela fábula do...
Ao construir um modelo preditivo usando técnicas de aprendizado de máquina, qual é o sentido de fazer uma análise exploratória de dados (EDA)? Não há problema em ir direto à geração de recursos e à construção de seus modelos? Como as estatísticas descritivas usadas na EDA são...
Sou um estudante de matemática pura, com pouco conhecimento em matemática aplicada. Desde o outono passado, tenho estudado o livro de Casella e Berger e já terminei centenas (230+) de páginas de problemas de exercícios no livro. Agora estou no capítulo 10. No entanto, como não me formei em...
Quando inicio uma análise exploratória em um grande conjunto de dados (muitas amostras, muitas variáveis), geralmente me encontro com centenas de variáveis derivadas e toneladas de gráficos diferentes, e nenhuma maneira real de acompanhar o que está acontecendo para onde. O código acaba como...
Existem muitas técnicas em estatísticas ecológicas para análise exploratória de dados multidimensionais. Essas são chamadas técnicas de 'ordenação'. Muitos são iguais ou estão intimamente relacionados a técnicas comuns em outras partes da estatística. Talvez o exemplo prototípico seja a análise de...
Portanto, este é um ajuste estranho, embora realmente eu pense que seja um ajuste estranho para qualquer site, então pensei em experimentar aqui, entre meus irmãos que processam dados. Cheguei à epidemiologia e bioestatística da biologia e ainda tenho alguns hábitos desse campo. Um deles é manter...
Estamos estudando o aprendizado de máquina via Machine Learning: uma perspectiva probabilística (Kevin Murphy). Embora o texto explique a fundamentação teórica de cada algoritmo, ele raramente diz em qual caso o algoritmo é melhor e, quando o faz, não diz como saber em qual caso estou. Por...
Estou fazendo análise exploratória de dados (EDA) em um conjunto de dados. Depois, selecionarei alguns recursos para prever uma variável dependente. A pergunta é: Devo fazer a EDA apenas no meu conjunto de dados de treinamento? Ou devo juntar os conjuntos de dados de treinamento e teste juntos,...
Estou trabalhando em um projeto que envolve 14 variáveis e 345.000 observações para dados de habitação (itens como ano construído, metragem quadrada, preço vendido, município de residência, etc.). Estou preocupado em tentar encontrar boas técnicas gráficas e bibliotecas R que contenham boas...
Simplificando: existem diferenças nas abordagens bayesiana e freqüentista da análise exploratória de dados? Não conheço nenhum viés inerente nos métodos de EDA, pois um histograma é um histograma, um gráfico de dispersão é um gráfico de dispersão etc., nem encontrei exemplos de diferenças em como...
Como alguém que precisa de conhecimento estatístico, mas não é um estatístico formalmente treinado, acho útil ter um fluxograma (ou algum tipo de árvore de decisão) para me ajudar a escolher a abordagem correta para resolver um problema específico (por exemplo, "você precisa disso, saiba disso e...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 4 anos . Existe um pacote R que eu possa usar para...
Tendo recentemente começado a me ensinar Machine Learning e Análise de Dados, estou me deparando com uma parede de tijolos sobre a necessidade de criar e consultar grandes conjuntos de dados. Gostaria de pegar os dados que agreguei na minha vida profissional e pessoal e analisá-los, mas não tenho...
Os pesquisadores costumam usar duas medidas que possuem itens muito semelhantes e argumentam que medem coisas diferentes (por exemplo, "sempre me preocupo quando estou perto de carros"; "tenho medo de carros"). Vamos chamar as medidas hipotéticas de Medição e Ansiedade do Medo dos Carros na Escala...