Em uma tarefa recente, fomos instruídos a usar o PCA nos dígitos do MNIST para reduzir as dimensões de 64 (8 x 8 imagens) para 2. Em seguida, tivemos que agrupar os dígitos usando um Modelo de Mistura Gaussiana. O PCA que usa apenas dois componentes principais não produz clusters distintos e, como...
Caro pessoal, notei algo estranho que não sei explicar, não é? Em resumo: a abordagem manual para calcular um intervalo de confiança em um modelo de regressão logística e a função R confint()fornecem resultados diferentes. Eu tenho passado pela regressão logística aplicada de Hosmer & Lemeshow...
Sou programador sem formação estatística e atualmente estou procurando métodos de classificação diferentes para um grande número de documentos diferentes que quero classificar em categorias predefinidas. Eu tenho lido sobre kNN, SVM e NN. No entanto, tenho alguns problemas para começar. Quais...
Existe uma implementação popular de campos aleatórios condicionais em Python ? Não consigo encontrar nenhum que seja amplamente usado e
Estou usando o SVM para classificação e estou tentando determinar os parâmetros ideais para os núcleos linear e RBF. Para o kernel linear, utilizo a seleção de parâmetros com validação cruzada para determinar C e, para o kernel RBF, uso a pesquisa em grade para determinar C e gama. Eu tenho 20...
Eu gostaria de determinar a importância relativa de conjuntos de variáveis para um randomForestmodelo de classificação em R. A importancefunção fornece a MeanDecreaseGinimétrica para cada preditor individual - é tão simples quanto resumir isso em cada preditor de um conjunto? Por exemplo: #...
Eu já vi o outro tópico aqui, mas não acho que a resposta tenha satisfeito a pergunta real. O que eu tenho lido continuamente é que Naive Bayes é um classificador linear (por exemplo: aqui ) (de modo que traça um limite de decisão linear) usando a demonstração de log odds. No entanto, simulei duas...
Dado um conjunto de dados com instâncias juntamente com classes em que cada instância pertence exatamente a uma classexixix_iNNNxixix_iyiyiy_i um classificador multiclasse Após o treinamento e o teste, basicamente tenho uma tabela com a classe verdadeira e a classe prevista para cada instância...
Em matemática, existem ramos como álgebra, análise, topologia, etc. No aprendizado de máquina, há aprendizado supervisionado, não supervisionado e de reforço. Dentro de cada uma dessas ramificações, existem ramificações mais refinadas que dividem ainda mais os métodos. Estou tendo problemas para...
Ultimamente, tenho pensado muito sobre o "problema de desequilíbrio de classe" no aprendizado de máquina / estatística, e estou me aprofundando cada vez mais em um sentimento de que simplesmente não entendo o que está acontecendo. Primeiro, deixe-me definir (ou tentar) definir meus termos: O...
Eu tenho dois classificadores A: rede bayesiana ingênua B: rede bayesiana em árvore (conectada individualmente) Em termos de precisão e outras medidas, A tem um desempenho comparativamente pior que B. No entanto, quando eu uso os pacotes R ROCR e AUC para realizar análises ROC, verifica-se que...
Já lidei com o classificador Naive Bayes . Ultimamente tenho lido sobre Multinomial Naive Bayes . Também Probabilidade Posterior = (Prioridade * Probabilidade) / (Evidência) . A única diferença principal (ao programar esses classificadores) que encontrei entre Naive Bayes e Multinomial Naive...
Estou um pouco confuso sobre a Área sob curva (AUC) do ROC e a precisão geral. A AUC será proporcional à precisão geral? Em outras palavras, quando tivermos uma precisão geral maior, obteremos uma AUC cada vez maior? Ou eles são, por definição, correlacionados positivamente? Se eles estão...
Com base na precisão estimada da classificação, quero testar se um classificador é estatisticamente melhor em um conjunto básico do que outro classificador. Para cada classificador, seleciono uma amostra de treinamento e teste aleatoriamente no conjunto base, treino o modelo e testo o modelo. Faço...
Eu tive um curso on-line, onde aprendi, que as classes desequilibradas nos dados de treinamento podem levar a problemas, porque os algoritmos de classificação seguem a regra da maioria, pois produz bons resultados se o desequilíbrio for excessivo. Em uma tarefa, era necessário equilibrar os dados...
Qual é a seleção de variável / recurso que você prefere para a classificação binária quando há muito mais variáveis / recurso do que observações no conjunto de aprendizado? O objetivo aqui é discutir qual é o procedimento de seleção de recurso que reduz melhor o erro de classificação. Podemos...
Acabei de me deparar com este artigo , que descreve como calcular a repetibilidade (também conhecida como confiabilidade, também conhecida como correlação intraclasse) de uma medição via modelagem de efeitos mistos. O código R seria: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the...
Ao construir um modelo CART (especificamente árvore de classificação) usando rpart (em R), geralmente é interessante saber qual é a importância das várias variáveis introduzidas no modelo. Assim, minha pergunta é: Que medidas comuns existem para classificar / medir a importância das variáveis...
Sabemos que algumas funções objetivas são mais fáceis de otimizar e outras são difíceis. E há muitas funções de perda que queremos usar, mas difíceis de usar, por exemplo, perda de 0-1. Portanto, encontramos algumas funções de perda de proxy para fazer o trabalho. Por exemplo, usamos perda de...
Na classificação de texto, tenho um conjunto de treinamento com cerca de 800 amostras e um conjunto de testes com cerca de 150 amostras. O conjunto de teste nunca foi usado e aguarda para ser usado até o final. Estou usando todo o conjunto de treinamento de 800 amostras, com validação cruzada de...