Estou estudando árvores de classificação e regressão, e uma das medidas para a localização da divisão é a pontuação GINI. Agora, estou acostumado a determinar a melhor localização de divisão quando o log da razão de probabilidade dos mesmos dados entre duas distribuições é zero, o que significa...
Gostaria de saber se a floresta aleatória de Breiman (floresta aleatória no pacote R randomForest) usa como critério de divisão (critério para seleção de atributo) o ganho de informações ou o índice Gini? Tentei descobrir isso em http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm e na...
A concorrência da Kaggle A Safe Driver Prediction da Porto Seguro usa a Pontuação Gini Normalizada como métrica de avaliação e isso me deixou curioso sobre os motivos dessa escolha. Quais são as vantagens de usar a pontuação gini normalizada em vez das métricas mais comuns, como AUC, para...
Treinei dois modelos (classificadores binários usando o h2o AutoML) e quero selecionar um para usar. Eu tenho os seguintes resultados: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685...
costumávamos criar curva GINI usando a elevação criada com a ajuda da porcentagem de bom e ruim para a modelagem de scorecard. Mas o que eu estudei é que a curva ROC é criada usando a matriz Confusion com Especificidade (1 - Verdadeiro Negativo) como eixo xe sensibilidade (verdadeiro positivo) como...
Existem várias estatísticas de resumo. Quando você deseja descrever a dispersão de uma distribuição, pode usar, por exemplo, o desvio padrão ou o coeficiente de Gini . Eu sei que o desvio padrão é baseado na tendência central, ou seja, desvio da média, e o coeficiente de Gini é uma medida geral da...
Eu tenho uma série temporal de dados com N = 14 contagens em cada ponto do tempo e quero calcular o coeficiente de Gini e um erro padrão para essa estimativa em cada ponto do tempo. Como tenho apenas N = 14 contagens em cada momento, procedi calculando a variação do canivete, ou seja, da equação 7...
Estou tentando calcular o índice Gini na distribuição de reputação do SO usando o SO Data Explorer. A equação que estou tentando implementar é a seguinte: Onde: = número de usuários no site; = ID de série do usuário (1 - 1.225.000); = reputação do usuário .niyiiG ( S) = 1n - 1( n + 1 - 2 ( ∑ni =...
Como quantificar a quantidade de dispersão em um vetor de contagem de palavras? Estou procurando uma estatística que seja alta para o documento A, porque contém muitas palavras diferentes que ocorrem com pouca frequência e baixa para o documento B, porque contém uma palavra (ou algumas palavras)...
Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências observadas dos meus quatro eventos (18), posso calcular as...
Em um contexto de divisão da árvore de decisão, não é óbvio ver por que a impureza de Gini i ( t ) = 1 -∑j = 1kp2( j | t )i(t)=1−∑j=1kp2(j|t) i(t)=1-\sum\limits_{j=1}^k p^2(j|t) é uma medida da impureza do nó t . Existe uma explicação fácil para