Em duas bibliotecas populares de identificação de idiomas, o Compact Language Detector 2 para C ++ e o detector de idiomas para java, ambos usavam n-gramas (baseados em caracteres) para extrair recursos de texto. Por que um pacote de palavras (única palavra / dicionário) não é usado e qual é a...
Estou executando uma tarefa de classificação binária em que a probabilidade de resultado é baixa (cerca de 3%). Estou tentando decidir se deve otimizar por AUC ou perda de log. Tanto quanto eu entendi, a AUC maximiza a capacidade do modelo de discriminar entre classes, enquanto o logloss penaliza a...
Eu tenho um conjunto de dados muito grande e faltam cerca de 5% de valores aleatórios. Essas variáveis estão correlacionadas entre si. O exemplo a seguir do conjunto de dados R é apenas um exemplo de brinquedo com dados correlatos simulados. set.seed(123) # matrix of X variable xmat <-...
Estou trabalhando com dados desequilibrados, onde existem cerca de 40 casos de classe = 0 para cada classe = 1. Eu posso discriminar razoavelmente entre as classes usando recursos individuais, e treinar um classificador ingênuo de Bayes e SVM em 6 recursos e dados balanceados gerou uma melhor...
Sou um pouco novo na mineração de dados e estou trabalhando em um modelo de classificação para previsão de classificação de filmes. Eu coletei conjuntos de dados do IMDB e planejo usar árvores de decisão e abordagens de vizinhos mais próximos para o meu modelo. Gostaria de saber qual ferramenta...
Este documento no Adaboost fornece algumas sugestões e códigos (página 17) para estender os modelos de 2 classes para problemas da classe K. Gostaria de generalizar esse código, para que eu possa conectar facilmente diferentes modelos de 2 classes e comparar os resultados. Como a maioria dos...
Suponha que duas classes e C 2 tenham um atributo x e tenham distribuição N ( 0 , 0,5 ) e N ( 1 , 0,5 ) . se tivermos igual P anterior ( C 1 ) = P ( C 2 ) = 0,5 para a seguinte matriz de custo:C1C1C_1C2C2C_2xxxN(0,0.5)N(0,0.5) \cal{N} (0, 0.5)N(1,0.5)N(1,0.5) \cal{N} (1,
Estou tentando fazer um detector de objetos que ocorrem muito raramente (em imagens), planejando usar um classificador binário da CNN aplicado em uma janela deslizante / redimensionada. Eu construí conjuntos de teste e treinamento positivo-negativos equilibrados 1: 1 (é a coisa certa a se fazer...
O mgcvpacote para Rpossui duas funções para ajustar as interações do produto tensorial: te()e ti(). Entendo a divisão básica do trabalho entre os dois (ajustando uma interação não linear versus decompondo essa interação em efeitos principais e uma interação). O que não entendo é o porquê te(x1,...
Gostaria de comparar dois classificadores diferentes para um problema de classificação de texto em várias classes que usa grandes conjuntos de dados de treinamento. Duvido que eu deva usar curvas ROC ou curvas de aprendizado para comparar os dois classificadores. Por um lado, as curvas de...
Suponha que eu tenha um classificador (pode ser um dos classificadores padrão, como árvore de decisão, floresta aleatória, regressão logística etc. etc.) para detecção de fraudes usando o código abaixo library(randomForest) rfFit = randomForest(Y ~ ., data = myData, ntree = 400) # A very basic...
A Wikipedia diz que: A dimensão VC é a cardinalidade do maior conjunto de pontos que um algoritmo pode quebrar. Por exemplo, um classificador linear tem uma cardinalidade n + 1. Minha pergunta é por que nos importamos? A maioria dos conjuntos de dados nos quais você classifica linearmente...
Estou trabalhando em um problema de classificação binária em que é muito mais importante não ter falsos positivos; muitos falsos negativos estão ok. Eu usei vários classificadores no sklearn, por exemplo, mas acho que nenhum deles tem a capacidade de ajustar explicitamente o tradeoff de recall de...
Digamos que eu tenha um conjunto de instâncias com rótulos de classe associados. Não importa como essas instâncias foram rotuladas, mas quão certa é a associação de classe. Cada instância pertence a exatamente uma classe. Digamos que eu possa quantificar a certeza de cada associação de classe com...
É considerado o caso ideal em que a estrutura de probabilidade subjacente às categorias é conhecida perfeitamente. Por que com o classificador Bayes alcançamos o melhor desempenho possível? Qual é a prova formal / explicação para isso? Como sempre usamos o classificador Bayes como referência para...
Executei o PCA em 17 variáveis quantitativas para obter um conjunto menor de variáveis, que são os principais componentes, para serem usadas no aprendizado de máquina supervisionado para classificar instâncias em duas classes. Após o PCA, o PC1 responde por 31% da variação nos dados, o PC2...
Estou trabalhando em um problema de classificação que calcula uma métrica de similaridade entre duas imagens de raios-x de entrada. Se as imagens forem da mesma pessoa (rótulo de 'right'), uma métrica maior será calculada; imagens de entrada de duas pessoas diferentes (rótulo de 'errado')...
Eu tenho 100.000 observações (9 variáveis indicadoras fictícias) com 1000 positivos. A regressão logística deve funcionar bem neste caso, mas a probabilidade de corte me intriga. Na literatura comum, escolhemos um ponto de corte de 50% para prever 1s e 0s. Não posso fazer isso, pois meu modelo...
Estou trabalhando no desenvolvimento de um modelo preditivo de risco de seguro. Esses modelos são de "eventos raros", como previsão de não comparência de companhias aéreas, detecção de falhas de hardware etc. Ao preparar meu conjunto de dados, tentei aplicar a classificação, mas não consegui obter...
De acordo com algum artigo que estou lendo, a distância de Jeffries e Matusita é comumente usada. Mas não consegui encontrar muita informação, exceto a fórmula abaixo JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} É semelhante à distância...