Atualmente, estou ajustando florestas aleatórias para um problema de classificação usando o randomForestpacote em R e não tenho certeza sobre como relatar erros de treinamento para esses modelos. Meu erro de treinamento é próximo de 0% quando o computo usando as previsões que recebo com o...
Existem algoritmos documentados para separar seções de um determinado conjunto de dados em diferentes curvas de melhor ajuste? Por exemplo, a maioria dos humanos que olha para esse gráfico de dados o divide rapidamente em três partes: um segmento sinusoidal, um segmento linear e o segmento...
Existe uma técnica de modelagem como LOESS que permite zero, uma ou mais descontinuidades, em que o momento das descontinuidades não é conhecido a priori? Se existe uma técnica, existe uma implementação existente no
Estou tentando reproduzir um algoritmo de previsão existente, transmitido por um pesquisador aposentado. O primeiro passo é ajustar alguns dados observados a uma distribuição Weibull, para obter uma forma e escala que serão usadas para prever valores futuros. Estou usando R para fazer isso. Aqui...
Quando você é quem faz o trabalho, tendo consciência do que está fazendo, desenvolve uma sensação de quando superajustou o modelo. Por um lado, você pode acompanhar a tendência ou deterioração no quadrado R ajustado do modelo. Também é possível rastrear uma deterioração semelhante nos valores de p...
Eu tenho os seguintes dados e gostaria de ajustar um modelo de crescimento exponencial negativo a ele: Days <- c( 1,5,12,16,22,27,36,43) Emissions <- c( 936.76, 1458.68, 1787.23, 1840.04, 1928.97, 1963.63, 1965.37, 1985.71) plot(Days, Emissions) fit <- nls(Emissions ~ a* (1-exp(-b*Days)),...
Minha principal pergunta é com relação à tentativa de entender como a validação cruzada k-fold se encaixa no contexto de ter conjuntos de treinamento / validação / teste (se é que se encaixa nesse contexto). Geralmente, as pessoas falam em dividir os dados em um conjunto de treinamento, validação...
Eu li que o teste de Kolmogorov-Smirnov não deve ser usado para testar a qualidade do ajuste de uma distribuição cujos parâmetros foram estimados a partir da amostra. Faz sentido dividir minha amostra em duas e usar a primeira metade para estimativa de parâmetros e a segunda para o teste...
Eu já ouvi a seguinte expressão antes: "Otimização é a raiz de todo mal nas estatísticas". Por exemplo, a resposta principal neste tópico faz essa afirmação em referência ao perigo de otimizar de forma muito agressiva durante a seleção do modelo. Minha primeira pergunta é a seguinte: Essa...
Digamos que temos os pontos de dados de entrada (preditor) e de saída (resposta) A, B, C, D, E e queremos ajustar uma linha através dos pontos. Este é um problema simples para ilustrar a pergunta, mas também pode ser estendido para dimensões superiores. Declaração do Problema O melhor ajuste ou...
Na minha opinião, os dados de entrada correlacionados devem levar ao sobreajuste nas redes neurais, porque a rede aprende a correlação, por exemplo, ruído nos dados. Isso está
No R (2.15.2), ajustei uma vez um ARIMA (3,1,3) em uma série temporal e uma vez um ARMA (3,3) em séries temporais que diferiam uma vez. Os parâmetros ajustados diferem, o que eu atribuí ao método de ajuste no ARIMA. Além disso, o ajuste de um ARIMA (3,0,3) nos mesmos dados que o ARMA (3,3) não...
No livro de Bishop sobre aprendizado de máquina, ele discute o problema de ajustar uma função polinomial a um conjunto de pontos de dados. Seja M a ordem do polinômio ajustado. Ele afirma que Vemos que, à medida que M aumenta, a magnitude dos coeficientes geralmente aumenta. Em particular para...
Eu tenho um modelo para prever uma trajetória (x em função do tempo) com vários parâmetros. No momento, calculo o erro quadrático médio da raiz (RMSE) entre a trajetória prevista e a trajetória registrada experimentalmente. Atualmente, minimizo essa diferença (o RMSE) usando simplex (fminsearch no...
Estou modelando 15000 tweets para previsão de sentimentos usando uma única camada LSTM com 128 unidades ocultas usando uma representação do tipo word2vec com 80 dimensões. Recebo uma precisão de descida (38% com aleatório = 20%) após 1 época. Mais treinamento faz com que a precisão da validação...
Sou relativamente novo em estatística e gostaria de ajudar a entender melhor isso. No meu campo, há um modelo comumente usado do formulário: Pt= Po( Vt)αPt=Po(Vt)αP_t = P_o(V_t)^\alpha Quando as pessoas ajustam o modelo aos dados, elas geralmente o linearizam e ajustam os seguintes registro(...
Então, eu tenho um processo aleatório gerando variáveis aleatórias normalmente distribuídas em log XXX. Aqui está a função de densidade de probabilidade correspondente: Eu queria estimar a distribuição de alguns momentos dessa distribuição original, digamos o primeiro momento: a média...
Parece haver conselhos conflitantes por aí sobre como lidar com a comparação de erro de teste de trem versus teste, principalmente quando há uma lacuna entre os dois. Parece haver duas escolas de pensamento que, para mim, parecem conflitar. Estou procurando entender como conciliar os dois (ou...
Digamos que tenho um problema de seleção de modelos e estou tentando usar o AIC ou o BIC para avaliar os modelos. Isso é direto para modelos que possuem algum número kkk de parâmetros com valor real. No entanto, e se um de nossos modelos (por exemplo, o modelo de Mallows ) tiver uma permutação,...
Primeiro de tudo: eu sei, não há um número geral de tamanho de amostra necessário para treinar uma rede neural. Depende de muitos fatores, como complexidade da tarefa, ruído nos dados e assim por diante. E quanto mais amostras de treinamento eu tiver, melhor será minha rede. Mas eu estava...