Estou trabalhando com muitos algoritmos: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear e rbf), KNN, LDA e XGBoost. Todos eles foram bem rápidos, exceto o SVM. Foi quando soube que ele precisa de redimensionamento de recursos para funcionar mais rapidamente. Então comecei a me...
Em um pequeno problema de classificação de texto que eu estava olhando, o Naive Bayes exibia um desempenho semelhante ou superior a um SVM e fiquei muito confuso. Eu queria saber quais fatores decidem o triunfo de um algoritmo sobre o outro. Existem situações em que não faz sentido usar o Naive...
Eu sou novo no Machine Learning. No momento, estou usando um classificador Naive Bayes (NB) para classificar textos pequenos em 3 classes como positivos, negativos ou neutros, usando NLTK e python. Depois de realizar alguns testes, com um conjunto de dados composto de 300.000 instâncias (16.924...
Estou estudando este tutorial sobre auto-codificadores variacionais de Carl Doersch . Na segunda página, afirma: Um dos frameworks mais populares é o Autoencoder Variacional [1, 3], o assunto deste tutorial. As suposições deste modelo são fracas e o treinamento é rápido via retropropagação. Os...
Pelo que vi, a fórmula de suavização Kneser-Ney (de segunda ordem) é, de uma maneira ou de outra, dada como P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{...
Eu acho que uma boa maneira de lembrar a fórmula é pensar na fórmula assim: A probabilidade de algum evento A ter um resultado específico, dado o resultado de um evento independente B = a probabilidade de ambos os resultados ocorrerem simultaneamente / o que quer que disséssemos que a...
Assim, na modelagem de texto (não supervisionada), a Alocação de Dirichlet Latente (LDA) é uma versão bayesiana da Análise Semântica Latente Probabilística (PLSA). Essencialmente, LDA = PLSA + Dirichlet anteriormente sobre seus parâmetros. Meu entendimento é que o LDA agora é o algoritmo de...
Eu li sobre o truque log-soma-exp em muitos lugares (por exemplo , aqui e aqui ), mas nunca vi um exemplo de como ele é aplicado especificamente ao classificador Naive Bayes (por exemplo, com recursos discretos e duas classes) Como exatamente alguém evitaria o problema de subfluxo numérico usando...
Para meu entendimento (muito básico), Naive Bayes estima probabilidades com base nas frequências de classe de cada recurso nos dados de treinamento. Mas como calcula a frequência de variáveis contínuas? E ao fazer previsões, como classifica uma nova observação que pode não ter os mesmos valores...
Eu tenho que lidar com um problema de classificação de texto. Um rastreador da Web rastreia páginas de um determinado domínio e, para cada página da Web, quero descobrir se ele pertence a apenas uma classe específica ou não. Ou seja, se eu chamar essa classe de Positivo , cada página da Web...
Existe uma maneira de executar a regressão gaussiana de processo na saída multidimensional (possivelmente correlacionada) usando GPML ? No script de demonstração, só consegui encontrar um exemplo 1D. Uma pergunta semelhante no CV que trata de casos de entrada multidimensional. Examinei o livro...
Por exemplo, em redes contraditórias generativas, geralmente ouvimos que a inferência é fácil porque a distribuição condicional de x dada a variável latente z é 'tratável'. Além disso, li em algum lugar que a máquina Boltzmann e o autoencoder variacional são usados onde a distribuição posterior...
Não entendo como essa equação foi derivada. P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M_{1}\cap M_{2}) \leq \frac{P(I)}{P(I')}\cdot \frac{P(M_{1}|I)P(M_{2}|I)}{P(M_{1}|I')P(M_{2}|I')} Esta equação foi do artigo "Trial by...
O classificador Naive Bayes é o classificador que atribui itens a uma classe base na maximização do posterior para associação à classe e assume que os recursos dos itens são independentes.CxxxCCCP(C|x)P(C|x)P(C|x) A perda de 0-1 é a perda que atribui a qualquer classificação incorreta uma perda de...
Estou lendo sobre a inferência bayesiana e me deparei com a frase "a integração numérica da probabilidade marginal é muito cara" Eu não tenho formação em matemática e queria saber o que exatamente significa caro aqui? É apenas em termos de poder computacional ou há algo mais....
Estou prototipando meu próprio modelo de saco de palavras Naive Bayes e tive uma pergunta sobre o cálculo das probabilidades de recurso. Digamos que eu tenho duas classes, vou usar spam e não spam, já que é isso que todo mundo usa. E vamos tomar a palavra "viagra" como exemplo. Tenho 10 e-mails no...
Você consideraria o HBM vs EB como duas alternativas nas quais os hiperparâmetros estão "no jogo" de serem amostrados / estimados / etc.? Existe claramente uma conexão entre esses dois. Você consideraria a HBM mais "totalmente bayesiana" que a EB? Existe algum lugar onde eu possa ver quais são as...
Qual é a relação entre a análise discriminante linear e a regra de Bayes? Entendo que o LDA é usado na classificação, tentando minimizar a taxa de variação dentro do grupo e entre a variação no grupo, mas não sei como a regra de Bayes é usada
Recentemente, li sobre Bayes empírico (Casella, 1985, Uma introdução à análise de dados empíricos de Bayes) e parecia muito com o modelo de efeitos aleatórios; em que ambos têm estimativas reduzidas à média global. Mas eu não li completamente ... Alguém tem alguma idéia sobre a semelhança e as...
Para meu entendimento (muito modesto) da inferência variacional, tenta-se aproximar uma distribuição desconhecida encontrando uma distribuição que otimiza o seguinte:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Sempre que...