Parece que muitas pessoas (inclusive eu) gostam de fazer análise exploratória de dados no Excel. Algumas limitações, como o número de linhas permitido em uma planilha, são dolorosas, mas na maioria dos casos não tornam impossível o uso do Excel para brincar com dados. Um artigo de McCullough e...
Uma distribuição gaussiana padronizada em pode ser definida fornecendo explicitamente sua densidade: RR\mathbb{R}12π−−√e−x2/212πe−x2/2 \frac{1}{\sqrt{2\pi}}e^{-x^2/2} ou sua função característica. Como lembrado nesta pergunta, também é a única distribuição para a qual a média e a variância da...
A página da Wikipedia na ANOVA lista três suposições , a saber: Independência de casos - esta é uma suposição do modelo que simplifica a análise estatística. Normalidade - as distribuições dos resíduos são normais. Igualdade (ou "homogeneidade") de variações, chamada homoscedasticidade ... O...
Qual é a diferença entre um problema de várias classes e um problema de várias
Para o problema do laço minβ(Y−Xβ)T(Y−Xβ)minβ(Y−Xβ)T(Y−Xβ)\min_\beta (Y-X\beta)^T(Y-X\beta) tal que ∥β∥1≤t‖β‖1≤t\|\beta\|_1 \leq t . Muitas vezes, vejo o resultado do limiar suave βlassoj=sgn(βLSj)(|βLSj|−γ)+βjlasso=sgn(βjLS)(|βjLS|−γ)+ \beta_j^{\text{lasso}}=...
Eu tenho lido o livro de Tukey "Análise Exploratória de Dados". Sendo escrito em 1977, o livro enfatiza os métodos de papel / lápis. Existe um sucessor mais "moderno" que leva em conta que agora podemos traçar instantaneamente grandes conjuntos de dados?
Muitos autores de artigos que li afirmam que os SVMs são uma técnica superior para enfrentar seu problema de regressão / classificação, cientes de que não puderam obter resultados semelhantes por meio de NNs. Frequentemente, a comparação afirma que SVMs, em vez de NNs, Tenha uma forte teoria...
Se eu executar um randomForestmodelo, posso fazer previsões com base no modelo. Existe uma maneira de obter um intervalo de previsão de cada uma das previsões, de modo que eu saiba o quão "seguro" o modelo é de sua resposta. Se isso é possível, é simplesmente baseado na variabilidade da variável...
Uma boa prática comum no Machine Learning é apresentar normalização ou padronização de dados das variáveis preditoras, é isso, centralizar os dados subtraindo a média e normalizá-los dividindo pela variação (ou desvio padrão também). Para auto-contenção e para minha compreensão, fazemos isso para...
Estou construindo modelos de regressão. Como uma etapa de pré-processamento, dimensiono meus valores de recurso para ter média 0 e desvio padrão 1. É necessário normalizar também os
Suponho que fico frustrado toda vez que ouço alguém dizer que a não normalidade de resíduos e / ou heterocedasticidade viola as suposições do OLS. Para estimar parâmetros em um modelo OLS, nenhuma dessas suposições é necessária pelo teorema de Gauss-Markov. Vejo como isso é importante no Teste de...
Eu entendo como um artificial neural network (ANN), pode ser treinado de maneira supervisionada usando a retropropagação para melhorar o ajuste, diminuindo o erro nas previsões. Ouvi dizer que uma RNA pode ser usada para aprendizado não supervisionado, mas como isso pode ser feito sem uma função de...
Eu tenho um conjunto de dados na forma de (recursos, saída binária 0 ou 1), mas 1 acontece muito raramente, portanto, sempre prevendo 0, obtenho precisão entre 70% e 90% (dependendo dos dados específicos que vejo) ) Os métodos de ML me dão a mesma precisão e, acredito, deve haver alguns métodos...
Eu tenho lido o artigo de 2008 de Geoff Cumming, Replication Intervalos: os valores de prevêem o futuro apenas vagamente, mas os intervalos de confiança são muito melhores pppppp p p[~ 200 citações no Google Scholar] - e estou confuso com uma de suas alegações centrais. Este é um dos artigos em que...
Um filtro de partículas e um filtro de Kalman são estimadores Bayesianos recursivos . Muitas vezes encontro filtros Kalman em meu campo, mas raramente vejo o uso de um filtro de partículas. Quando um seria usado sobre o
Em seu artigo de 1984 "Statistics and Causal Inference" , Paul Holland levantou uma das questões mais fundamentais em estatística: O que um modelo estatístico pode dizer sobre causalidade? Isso levou ao seu lema: SEM CAUSA SEM MANIPULAÇÃO que enfatizava a importância de restrições em...
Eu já vi vários tratamentos teóricos de gráficos, como a Gramática dos Gráficos . Mas não vi nada equivalente em relação às tabelas. Ao longo do tempo, desenvolvi um modelo informal de boas práticas em design de tabelas. No entanto, eu gostaria de poder fornecer uma boa referência aos alunos. O...
Eu sei, isso pode parecer estranho, mas ouça. No Stack Overflow e aqui obtemos votos nas postagens, tudo isso é armazenado em forma de tabela. Por exemplo: ID da postagem ID do eleitor tipo de voto datetime ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3 3 2000-1-1 10:00:01...
Alguns materiais que eu vi sobre aprendizado de máquina disseram que é uma má idéia abordar um problema de classificação por meio de regressão. Mas acho que sempre é possível fazer uma regressão contínua para ajustar os dados e truncar a previsão contínua para produzir classificações discretas....
Eu tenho os dados de um teste que poderia ser usado para distinguir células normais e tumorais. De acordo com a curva ROC, parece bom para esse propósito (a área sob a curva é 0,9): Minhas perguntas são: Como determinar o ponto de corte para este teste e seu intervalo de confiança em que as...