Recentemente, tive uma rápida discussão com um amigo experiente que mencionou que os SVMs são o limite de temperatura zero da regressão logística. A lógica envolvia polítopos marginais e dualidade de fenchel. Eu não fui capaz de seguir. Esta afirmação sobre SVMs é o limite de temperatura zero da...
Suponha que a quantidade que queremos deduzir seja uma distribuição de probabilidade. Tudo o que sabemos é que a distribuição vem de um conjunto EEE determinado, digamos, por alguns de seus momentos e temos um anterior .QQQ O princípio da entropia máxima (MEP) diz que que possui menos entropia...
Deixei XXXser uma variável aleatória que aceita valores em um conjunto . A distribuição de não é uniforme, mas existe um subconjunto que é "uniforme": todos os eventos em ocorrem com igual probabilidade.XX\mathcal{X}XXXA∈XA∈XA\in\mathcal{X}AAA Podemos relacionar a entropia de com o tamanho do...
Digamos, (com ) tem uma densidade . O que podemos dizer sobre a distribuição de X∈RnX∈RnX \in \mathbb{R}^nn > 1n>1n > 1fX( X )fX(x)f_X(x)Y= - logfX( X) ?Y=−logfX(X)? Y = -\log
"Entropia" captura aproximadamente o grau de "informação" em uma distribuição de probabilidade. Para distribuições discretas, há uma interpretação muito mais exata: A entropia de uma variável aleatória discreta é um limite inferior ao número esperado de bits necessários para transferir o...
Dada uma proporção e seu erro padrão, que premissa distributiva minimiza suposições / maximiza entropia? É o beta (e posso usar o método dos momentos para estimar seus parâmetros)? Ou alguma outra