Considere um problema de regressão OLS padrão : Eu tenho matrizes e \ X e quero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. A solução é dada por \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf...
Minha pergunta é: Qual é a relação matemática entre a distribuição Beta e os coeficientes do modelo de regressão logística ? Para ilustrar: a função logística (sigmóide) é dada por f(x)=11+exp(−x)f(x)=11+exp(−x)f(x) = \frac{1}{1+\exp(-x)} e é usado para modelar probabilidades no modelo de...
O que é modelo nulo em regressão e qual a relação entre modelo nulo e hipótese nula? Para meu entendimento, isso significa Usando "média da variável de resposta" para prever a variável de resposta contínua? Usando a "distribuição de etiquetas" na previsão de variáveis de resposta...
Eu tenho um conjunto de 150 recursos, e muitos deles estão altamente correlacionados entre si. Meu objetivo é prever o valor de uma variável discreta, cujo intervalo é de 1 a 8 . O tamanho da minha amostra é 550 e estou usando a validação cruzada 10 vezes . AFAIK, entre os métodos de regularização...
Na prática, o uso de um teste T padrão para verificar a significância de um coeficiente de regressão linear é prática comum. A mecânica do cálculo faz sentido para mim. Por que a distribuição T pode ser usada para modelar a estatística de teste padrão usada no teste de hipótese de regressão...
Estou tentando ler as pesquisas na área de regressão de alta dimensão; quando ppp é maior do que nnn , isto é, p>>np>>np >> n . Parece que o termo logp/nlogp/n\log p/n aparece frequentemente em termos de taxa de convergência para estimadores de
http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Se você olhar para o início deste post, o escritor menciona que a norma L2 tem uma solução única e a norma L1 tem possivelmente muitas soluções. Entendo isso em termos de regularização, mas não em termos do...
Eu encontrei alguns estatísticos que nunca usam modelos diferentes de regressão linear para previsão porque acreditam que "modelos de ML", como floresta aleatória ou aumento de gradiente, são difíceis de explicar ou "não interpretáveis". Em uma regressão linear, considerando que o conjunto de...
Há um tempo, um usuário da lista de discussão R-help perguntou sobre a integridade do uso de pontuações PCA em uma regressão. O usuário está tentando usar algumas pontuações do PC para explicar a variação em outro PC (consulte a discussão completa aqui ). A resposta foi que não, isso não é válido...
Atualmente, estou avaliando a multicolinearidade em meus conjuntos de dados. Quais valores limite de VIF e índice de condição abaixo / acima sugerem um problema? VIF: Ouvi dizer que VIF é um problema.≥10≥10\geq 10 Após remover duas variáveis problemáticas, o VIF é para cada variável. As...
Em "Os elementos do aprendizado estatístico" (2ª ed), p63, os autores apresentam as duas formulações a seguir do problema de regressão de crista: β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} =...
Dadas duas matrizes x e y, ambas de comprimento n, ajustei um modelo y = a + b * x e quero calcular um intervalo de confiança de 95% para a inclinação. Este é (b - delta, b + delta) onde b é encontrado da maneira usual e delta = qt(0.975,df=n-2)*se.slope e se.slope é o erro padrão na inclinação....
Fiz essa pergunta no site matemathics stackexchange e foi recomendado fazer aqui. Estou trabalhando em um projeto de hobby e precisaria de ajuda com o seguinte problema. Um pouco de contexto Digamos que haja uma coleção de itens com uma descrição dos recursos e um preço. Imagine uma lista de...
Estou tentando entender como as funções de influência funcionam. Alguém poderia explicar no contexto de uma regressão OLS simples yi=α+β⋅xi+εiyi=α+β⋅xi+εi\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation} onde eu quero a função de influência para...
Existe alguma razão do que eu possa pensar, para transformar os dados com uma raiz quadrada? Quero dizer, o que sempre observo é que o R ^ 2 aumenta. Mas isso é provavelmente apenas por causa da centralização dos dados! Qualquer pensamento é
Eu estaria interessado em encontrar maneiras em R para atualizar eficientemente um modelo linear quando uma observação ou um preditor é adicionado. O biglm possui um recurso de atualização ao adicionar observações, mas meus dados são pequenos o suficiente para residir na memória (embora eu tenha um...
A página de ajuda do Prism fornece a seguinte explicação sobre como ele calcula as bandas de previsão para regressão não linear. Por favor, desculpe a citação longa, mas não estou seguindo o segundo parágrafo (que explica como é definido ed d Y / d P é calculado). Qualquer ajuda seria muito...
Digamos que eu tenha N observações, possivelmente vários fatores, e repito cada observação duas vezes (ou M vezes). Como uma regressão nesse novo conjunto de tamanho NM se compara a uma regressão apenas nas observações
Estou trabalhando com um conjunto de dados com N em torno de 200.000. Nas regressões, estou vendo valores de significância muito pequenos << 0,001 associados a tamanhos de efeito muito pequenos, por exemplo, r = 0,028. O que eu gostaria de saber é: existe uma maneira baseada em princípios de...
Fiquei me perguntando, por que os métodos de seleção de modelos LASSO e LARS são tão populares, mesmo que sejam basicamente apenas variações da seleção direta passo a passo (e, portanto, sofram da dependência do caminho)? Da mesma forma, por que os métodos General to Specific (GETS) para seleção...