Aprendizado por Reforço: Uma Introdução. Segunda edição, em andamento ., Richard S. Sutton e Andrew G. Barto (c) 2012, pp. 67-68. Resolver uma tarefa de aprendizado por reforço significa, basicamente, encontrar uma política que obtenha muitas recompensas a longo prazo. Para MDPs finitos, podemos...
Estou procurando um pacote R geral, limpo e rápido (ou seja, usando rotinas C ++) para simular caminhos de uma difusão não-linear não homogênea como (1) usando o esquema de Euler-Maruyama, o esquema de Milstein (ou qualquer outro). Isso está destinado a ser incorporado a um código de estimativa...
Qual seria a maneira comum de estimar a matriz de transição de MC, considerando as séries temporais? Existe função R para fazer
Tenho alguns problemas para entender a propriedade da cadeia de Markov irredutível . Diz-se que irredutível significa que o processo estocástico pode "ir de qualquer estado para qualquer estado". Mas o que define se ele pode passar do estado para o estado ou não pode ir?jEuiijjj A página da...
Eu acho que entendo a equação da condição de equilíbrio detalhado, que afirma que, para probabilidade de transição e distribuição estacionária , uma Cadeia de Markov satisfaz um balanço detalhado seqqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), isso faz mais sentido...
Dada uma série (observada) com , existe um teste estatístico para testar a hipótese nula de que (ou seja, a propriedade
Eu tenho um modelo estocástico usado para simular séries temporais de algum processo. Estou interessado no efeito de alterar um parâmetro para um valor específico e quero mostrar a diferença entre as séries temporais (por exemplo, modelo A e modelo B) e algum tipo de intervalo de confiança baseado...
Estou lutando para fazer a conexão matemática entre uma rede neural e um modelo gráfico. Nos modelos gráficos, a ideia é simples: a distribuição de probabilidade é fatorada de acordo com as cliques no gráfico, com os potenciais sendo geralmente da família exponencial. Existe um raciocínio...
Gostaria de resolver o Projeto Euler 213, mas não sei por onde começar, porque sou um leigo no campo da Estatística, observe que é necessária uma resposta precisa para que o método de Monte Carlo não funcione. Você poderia recomendar alguns tópicos estatísticos para eu ler? Por favor, não publique...
Atualmente, estou analisando um site que exige a criação de um diagrama em árvore de decisão que mostre a rota provável que as pessoas seguem sempre que chegam ao site. Estou lidando com um data.frameque mostra os caminhos de todos os clientes para o site, começando na página inicial. Por exemplo,...
A Interviewstreet teve seu segundo CodeSprint em janeiro, que incluía a pergunta abaixo. A resposta programática é publicada, mas não inclui uma explicação estatística. (Você pode ver o problema original e a solução publicada fazendo login no site do Interviewstreet com creds do Google e, em...
\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}} O Teorema do Limite Central (CLT) afirma que, para X1,X2,…X1,X2,…X_1,X_2,\dots independentes e distribuídos de forma idêntica (iid) com E[Xi]=0E[Xi]=0\E[X_i]=0 e Var(Xi)<∞Var(Xi)<∞\operatorname{ Var}
Alguém pode esclarecer como os modelos de Markov ocultos estão relacionados à maximização de expectativas? Passei por muitos links, mas não consegui ter uma visão
Eu tenho um GLMM do formulário: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Quando uso drop1(model, test="Chi"), obtenho resultados diferentes dos que utilizo Anova(model, type="III")na embalagem do carro ou summary(model). Estes dois...
Agrupei meu conjunto de dados de vários milhares de cadeias de Markov de primeira ordem em cerca de 10 clusters. Existe alguma maneira recomendada de como avaliar esses clusters e descobrir o que os itens nos clusters compartilham e como eles diferem de outros clusters? Para que eu possa fazer uma...
Primeiro, permita-me reconhecer de antemão que não sou tão versado em estatística e matemática quanto gostaria de ser. Alguns podem dizer ter conhecimento suficiente para ser perigoso. : Vou pedir desculpas se não estiver usando a terminologia corretamente. Estou tentando modelar as probabilidades...
Existe muita literatura sobre os diagnósticos de convergência Monte Carlo (MCMC) da cadeia de Markov, incluindo o diagnóstico Gelman-Rubin mais popular. No entanto, todos eles avaliam a convergência da cadeia de Markov e, portanto, abordam a questão da queima. Depois de descobrir o burn-in, como...
Este é apenas um exemplo que encontrei várias vezes, portanto não tenho dados de amostra. Executando um modelo de regressão linear em R: a.lm = lm(Y ~ x1 + x2) x1é uma variável contínua. x2é categórico e possui três valores, por exemplo, "Baixo", "Médio" e "Alto". No entanto, a saída fornecida...
Q1: Existem métodos comuns ou aceitos para lidar com o ambiente não estacionário na aprendizagem por reforço em geral? P2: No meu mundo da grade, a função de recompensa muda quando um estado é visitado. A cada episódio, as recompensas são redefinidas para o estado inicial. Tudo o que eu quero que...
Atualmente, estou trabalhando com cadeias de Markov e calculei a Estimativa de Máxima Verossimilhança usando probabilidades de transição, conforme sugerido por várias fontes (ou seja, número de transições de a para b dividido pelo número de transições gerais de a para outros nós). Agora eu quero...