Suponha que tenhamos um conjunto de dados com milhões de linhas e milhares de colunas e a tarefa seja a classificação binária. Quando executamos um modelo de regressão logística, o desempenho é muito melhor que o esperado, por exemplo, classificação quase perfeita. Suspeitamos que existem algumas...
Eu sou um estudante de estatística de doutorado. Estou trabalhando com um conjunto de dados de contagem. É a contagem de usuários envolvidos em uma conversa de bate-papo em tempo real. O número de usuários varia de 1 a 6 e existem aproximadamente 300 dados no conjunto. Minha motivação inicial era...
Temos algumas perguntas e respostas sobre quando alguém prefere uma estimativa tendenciosa a uma imparcial, mas não encontrei nada na pergunta inversa: Em que situações é importante considerar apenas estimadores imparciais ? Muita ênfase é colocada no conceito de imparcialidade, nos cursos...
Entendo o conceito de compensação de desvio e desvio. O viés baseado no meu entendimento representa o erro devido ao uso de um classificador simples (por exemplo: linear) para capturar um limite de decisão não linear complexo. Então, eu esperava que o estimador OLS tivesse alto viés e baixa...
Sou autodidata sobre probabilidade usando R, modelos lineares e cálculos de probabilidade. Atualmente, estou preso em como comparar duas previsões de um modelo. Os dados que estou usando são baixados (grátis) a partir daqui: wmbriggs.com/public/sat.csv df <- read.csv("sat.csv") # Load data lm...
Estou tentando entender como as pessoas derivam a probabilidade de regressão linear simples. Digamos que temos apenas um recurso x e o resultado y. Eu não duvido que a expressão com a própria densidade normal e eu também não tenho dúvida de que se pode levar o produto para fatores mais simples...
Tendo lido sobre resíduos estudantis, não entendo como a ideia de diferentes variações residuais depende de certos valores de um preditor XXX (como está implícito no conceito de resíduos estudantilizados) não é inerentemente conflitante com a suposição de homoscedasticidade em modelos de regressão...
Estou trabalhando em uma distribuição específica cujo cdf inverso não existe na forma fechada. O cdf da distribuição é dado por F( x ; d, m , p , α , β) =1 - ( 1 +xm)- dexp( - βxα)1 - p ( 1 +xm)- dexp( - βxα)F(x;d,m,p,α,β)=1 1-(1 1+xm)-dexp(-βxα)1 1-p(1 1+xm)-dexp(-βxα)F(x; d, m, p, \alpha,...
Existem várias versões dos algoritmos adaptáveis do Metropolis Hastings. Um é implementado na função Metro_Hastingsdo Rpacote MHadaptive, veja aqui . A referência listada lá, Spiegelhalter et al. (2002), infelizmente, não contém uma descrição de nenhum algoritmo adaptativo, até onde posso ver. No...
O código abaixo gera um conjunto de dados de teste que consiste em uma série de probabilidades de "sinal" com ruído binomial ao seu redor. O código então usa 5000 conjuntos de números aleatórios como séries "explicativas" e calcula o valor p da regressão logística para cada um. Acho que as séries...
Eu tenho uma pergunta sobre como obter os erros padrão dos coeficientes no meu modelo GLM. Eu tenho a matriz de informações de fisher que calculei manualmente, mas não é dimensionada. Como posso escalar a matriz de informações do fisher para obter os mesmos erros padrão da função...
library(datasets) library(nlme) n1 <- nlme(circumference ~ phi1 / (1 + exp(-(age - phi2)/phi3)), data = Orange, fixed = list(phi1 ~ 1, phi2 ~ 1, phi3 ~ 1), random = list(Tree = pdDiag(phi1 ~ 1)), start = list(fixed = c(phi1 = 192.6873, phi2 = 728.7547, phi3 = 353.5323))) Eu ajustei um...
Considere um planejamento fatorial dentro do sujeito e dentro do item, onde a variável de tratamento experimental possui dois níveis (condições). Seja m1o modelo máximo e m2o modelo sem correlações aleatórias. m1: y ~ condition + (condition|subject) + (condition|item) m2: y ~ condition +...
Eu estava lendo a Introdução à Aprendizagem Estatística. Aqui é mostrado que: - Em um exemplo posterior, o trem e o teste MSE são plotados. Eu queria saber se o viés ^ 2 e a variação são quantidades positivas, então como o MSE pode ser menor que o
Se meu qqplot é linear, mas o gradiente não é o mesmo da linha de 45 graus, o que isso sugere? Estou tentando examinar o ajuste da distribuição laplace aos meus dados de amostra, por isso gerei aleatoriamente observações distribuídas de laplace (com parâmetros estimados a partir da minha amostra)...
Eu tenho um conjunto de pontos de dados onde são as variáveis independentes e acredito que cada pode ser modelado como sendo extraído de uma distribuição exponencial com os parâmetros .XEu,yEuXEu,yEuX_i, y_ixxxyEuyEuy_iλEuλEu\lambda_i Se eu usar o para prever , como posso avaliar a qualidade das...
Em R, os parâmetros estimados por glm()e seus erros padrão são fornecidos na escala de links, como alguém recentemente me esclareceu aqui . Faz sentido fornecer os parâmetros e seus erros padrão na mesma escala, mas por que não exibi-los na escala original dos dados? Eu imagino que a maioria das...
Tenho uma série temporal um tanto barulhenta que paira em diferentes níveis. Por exemplo, os seguintes dados: Eu tenho os dados de linha sólida disponíveis e gostaria de obter uma estimativa para a linha tracejada. Deve ser constante por partes. Quais algoritmos são apropriados para testar...
Estou tentando usar o método KNN para classificação binária. Ao tentar encontrar o melhor parâmetro 'k' (a quantidade de vizinhos que o algoritmo analisa), treino um modelo no meu conjunto de treinamento e analiso sua precisão em um conjunto de validação separado que obtive com meus dados. Este...
Eu sei que este é o sistema de solução de problemas de equações lineares. Mas minha pergunta é por que é um problema o número de observações ser menor que o número de preditores, como isso pode acontecer? A coleta de dados não provém do delicado projeto de pesquisa ou do experimento, na medida em...