Para resolver problemas de seleção de modelos, vários métodos (LASSO, regressão de crista, etc.) reduzirão os coeficientes das variáveis preditivas em direção a zero. Estou procurando uma explicação intuitiva sobre por que isso melhora a capacidade preditiva. Se o verdadeiro efeito da variável...
Eu li muito sobre o PCA, incluindo vários tutoriais e perguntas (como este , este , este e este ). O problema geométrico que o PCA está tentando otimizar é claro para mim: o PCA tenta encontrar o primeiro componente principal minimizando o erro de reconstrução (projeção), que maximiza...
Eu li sobre decomposição de valor singular (SVD). Em quase todos os livros didáticos, é mencionado que ela fatoriza a matriz em três matrizes com determinada especificação. Mas qual é a intuição por trás da divisão da matriz dessa forma? O PCA e outros algoritmos para redução de dimensionalidade...
Como você explicaria o iid (independente e identicamente distribuído) a pessoas não
Extraído de Estatísticas Práticas para Pesquisa Médica, onde Douglas Altman escreve na página 285: ... para quaisquer duas quantidades X e Y, X será correlacionado com XY. De fato, mesmo que X e Y sejam amostras de números aleatórios, esperaríamos que a correlação de X e XY fosse 0,7 Eu tentei...
Eu aprendi sobre a intuição por trás da divergência KL quanto o quanto uma função de distribuição de modelo difere da distribuição teórica / verdadeira dos dados. A fonte Estou lendo continua a dizer que a compreensão intuitiva de 'distância' entre estas duas distribuições é útil, mas não deve ser...
Sou completamente cego e venho de um background de programação. O que estou tentando fazer é aprender aprendizado de máquina e, para fazer isso, primeiro preciso aprender sobre regressão linear. Todas as explicações na Internet que estou descobrindo sobre esse assunto traçam os dados primeiro....
O exemplo de Stein mostra que a estimativa de máxima verossimilhança de nnn variáveis normalmente distribuídas com médias μ1,…,μnμ1,…,μn\mu_1,\ldots,\mu_n e variâncias 111 é inadmissível (sob uma função de perda quadrada) se n≥3n≥3n\ge 3 . Para uma prova clara, consulte o primeiro capítulo de...
Vejo o conceito de 'permutabilidade' sendo usado em diferentes contextos (por exemplo, modelos bayesianos), mas nunca entendi o termo muito bem. O que esse conceito significa? Em que circunstâncias esse conceito é invocado e por
Da Wikipedia: Suponha que você esteja em um game show e tenha a opção de três portas: Atrás de uma porta está um carro; atrás dos outros, cabras. Você escolhe uma porta, digamos o número 1, e o anfitrião, que sabe o que está por trás das portas, abre outra porta, digamos o número 3, que tem uma...
Suponha que é uma variável aleatória com pdf . Então a variável aleatória tem o pdfXXXfX(x)fX(x)f_X(x)Y=X2Y=X2Y=X^2 fY(y)={12y√(fX(y√)+fX(−y√))0y≥0y<0fY(y)={12y(fX(y)+fX(−y))y≥00y<0f_Y(y)=\begin{cases}\frac{1}{2\sqrt{y}}\left(f_X(\sqrt{y})+f_X(-\sqrt{y})\right) & y \ge 0 \\ 0 & y \lt...
Uma versão muito simples do teorema limitado central, como abaixo que é o CLT de Lindeberg – Lévy. Não entendo por que existe um no lado esquerdo. E o Lyapunov CLT diz mas por que não \ sqrt {s_n} ? Alguém me diria quais são esses fatores, como \ sqrt {n} e \ frac {1} {s_n} ? como os colocamos...
Recentemente, aprendi sobre um princípio do raciocínio probabilístico chamado " explicação " e estou tentando entender uma intuição para isso. Deixe-me montar um cenário. Seja o evento de um terremoto. Seja o evento o evento que o gigante verde alegre passeia pela cidade. Seja o evento que o chão...
Atualmente, esta mensagem no artigo de Reuter de 25.02.2019 está em todas as notícias: Evidências do aquecimento global causado pelo homem atingem o 'padrão ouro' [Os cientistas] disseram que a confiança de que as atividades humanas estavam aumentando o calor na superfície da Terra havia...
Qual é a diferença entre variância finita e infinita? Meu conhecimento de estatísticas é bastante básico; Wikipedia / Google não foi de muita ajuda
A fórmula para a probabilidade condicional de acontecer, dado que aconteceu é:UMAUMA\text{A}BB\text{B}P( A | B ) = P( A ∩ B )P(B).P(A | B)=P(A∩B)P(B). P\left(\text{A}~\middle|~\text{B}\right)=\frac{P\left(\text{A} \cap \text{B}\right)}{P\left(\text{B}\right)}. Meu livro explica a intuição por...
Modelos aditivos generalizados são aqueles em que por exemplo. as funções são suaves e devem ser estimadas. Geralmente por splines penalizados. MGCV é um pacote em R que faz isso, e o autor (Simon Wood) escreve um livro sobre seu pacote com exemplos de R. Ruppert et al. (2003) escrevem um livro...
Suponha que tenhamos uma variável aleatória . Se fosse o parâmetro true, a função de verossimilhança deveria ser maximizada e a derivada igual a zero. Esse é o princípio básico por trás do estimador de probabilidade máxima.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Pelo que entendi, as...
Estou tentando entender um artigo sobre previsão de carga elétrica, mas estou lutando com os conceitos internos, especialmente o modelo SARIMAX . Esse modelo é usado para prever a carga e usa muitos conceitos estatísticos que eu não entendo (eu sou um estudante de ciências da computação - você pode...
Citando a grande resposta de Gung Alegadamente, um pesquisador abordou Fisher com resultados "não significativos", perguntando o que ele deveria fazer e Fisher disse: "vá buscar mais dados". De uma perspectiva de Neyman-Pearson, este é flagrante -hacking, mas há um caso de uso onde ir buscar...