Q1: Existem métodos comuns ou aceitos para lidar com o ambiente não estacionário na aprendizagem por reforço em geral? P2: No meu mundo da grade, a função de recompensa muda quando um estado é visitado. A cada episódio, as recompensas são redefinidas para o estado inicial. Tudo o que eu quero que...
Eu quero gerar uma série temporal sintética. A série temporal precisa ser uma cadeia de markov com uma distribuição marginal gama e um parâmetro AR (1) de ρρ\rho . Posso fazer isso simplesmente usando uma distribuição gama como termo de ruído em um modelo AR (1) ou preciso usar uma abordagem mais...
Uma maçã está localizado no vértice AAA do pentágono ABCDEABCDEABCDE , e um sem-fim está localizado dois vértices de distância, em CCC . Todos os dias o verme rasteja com igual probabilidade a um dos dois vértices adjacentes. Assim, depois de um dia, o sem-fim é no vértice BBB ou DDD , cada um...
Frequentemente, na literatura, os autores têm se interessado em encontrar a distribuição estacionária de um processo de série temporal. Por exemplo, considere o seguinte processo simples AR ( ) : que .{ X t } X t = α X t - 1 + e t , e t i i d ∼ f111{Xt}{Xt}\{X_t\}Xt=αXt−1+et,Xt=αXt−1+et,X_t =...
Tenho problemas para encontrar uma solução sobre como executar um teste post-hoc (Tukey HSD) após uma ANOVA de medidas repetidas de dois fatores (ambos em indivíduos) em R. Para a ANOVA, usei a função aov: summary(aov(dv ~ x1 * x2 + Error(subject/(x1*x2)), data=df1)) Depois de ler as respostas...
Os algoritmos de iteração de política e valor podem ser usados para resolver problemas no processo de decisão de Markov. É difícil entender as condições necessárias para a convergência. Se a política óptima não se altera durante dois passos (ou seja, durante as iterações i e i + 1 ), pode-se...
Eu tenho uma matriz empírica de contagem de transições Q. Eu tenho uma cadeia de Markov teórica de primeira ordem P. Digamos que N é o número de transições. Gostaria de testar se Q é compatível com P. É correto encontrar a matriz de transição de contagem teórica (N * P) calculando as estatísticas...
O teorema é "Se uma matriz de transição para uma cadeia de Markov irredutível com um espaço de estados finito S é duplamente estocástica, sua (invulgar) medida invariante é uniforme sobre S." Se uma cadeia de Markov tem uma matriz de transição duplamente estocástica, li que suas probabilidades...
Suponha que a Terra tenha sido atacada por naves espaciais marcianas e suponha que temos mísseis para lançar contra as naves espaciais. A probabilidade de atingir e destruir cada nave espacial por cada míssil é (independente do resto).nnnm=k⋅nm=k⋅nm=k \cdot nnnnppp Qual é a probabilidade de...
Eu implementei os algoritmos Viterbi e Forward , mas, estranhamente, não consigo entender como o algoritmo Backward funciona. Intuitivamente, sinto que preciso fazer a mesma coisa que no Forward apenas para trás, usando os valores calculados durante a propagação do Forward . Minha intuição está...
Seja a distribuição de destino em que é absolutamente continuamente escrita na medida de Lebesgue dimensional, ou seja:ππ\pi(Rd,B(Rd))(Rd,B(Rd))(\mathbb{R}^d,\mathcal{B}(\mathbb{R^d}))ddd ππ\pi admite uma densidade em
Eu tenho uma máquina de estado com entradas positivas e negativas. O tempo entre as entradas positivas segue uma distribuição gama ( ), e o tempo entre as entradas negativas segue uma distribuição gama diferente ( ). Assim, as probabilidades de receber positivo e entradas negativas sobre algum...
Considere um processo estocástico seguindo o modelo que .{Xt,t=1,2,…}{Xt,t=1,2,…}\{X_t, t = 1, 2, \ldots\}Xt=αXt−1+et,Xt=αXt−1+et,X_t = \alpha X_{t-1} + e_t,et∼fet∼fe_t \thicksim f Posso dizer que a distribuição do ponto inicial, , é a mesma que ?X1X1X_1fff Posso dizer que a densidade...