Como reduzir o número de falsos positivos?

12

Estou tentando resolver uma tarefa chamada detecção de pedestres e treino clasifer binário em duas categorias positivas - pessoas, negativos - antecedentes.

Eu tenho um conjunto de dados:

  • número de positivos = 3752
  • número de negativo = 3800

Eu uso train \ test split 80 \ 20% e RandomForestClassifier forma scikit-learn com parâmetros:

RandomForestClassifier(n_estimators=100, max_depth=50, n_jobs= -1)

Eu recebo pontuação: 95.896757%

teste em dados de treinamento (funciona perfeitamente):

true positive:  3005
false positive:  0
false negative:  0
true negative:  3036

teste em dados de teste:

true positive:  742
false positive:  57
false negative:  5
true negative:  707

Minha pergunta é como reduzir o número de falsos positivos (antecedentes classificados como pessoas)? Também por que tenho mais erros de falso positivo do que de falso negativo?

Tentei usar o class_weightparâmetro, mas em algum momento o desempenho diminui (como você pode ver em class_weight = {0: 1,1: 4}).

class_weight= {0:1,1:1}
true positive:  3005
false positive:  0
false negative:  0
true negative:  3036

true positive:  742
false positive:  55
false negative:  5
true negative:  709
score: 96.029120 %

class_weight= {0:1,1:2}
true positive:  3005
false positive:  0
false negative:  0
true negative:  3036

true positive:  741
false positive:  45
false negative:  6
true negative:  719
score: 96.624752 %

class_weight= {0:1,1:3}
true positive:  3005
false positive:  0
false negative:  0
true negative:  3036

true positive:  738
false positive:  44
false negative:  9
true negative:  720
score: 96.492389 %

class_weight= {0:1,1:4}
true positive:  3005
false positive:  13
false negative:  0
true negative:  3023

true positive:  735
false positive:  46
false negative:  12
true negative:  718
score: 96.161482 %

class_weight= {0:1,1:5}
true positive:  3005
false positive:  31
false negative:  0
true negative:  3005

true positive:  737
false positive:  48
false negative:  10
true negative:  716
score: 96.161482 %

class_weight= {0:1,1:6}
true positive:  3005
false positive:  56
false negative:  0
true negative:  2980

true positive:  736
false positive:  51
false negative:  11
true negative:  713
score: 95.896757 %

class_weight= {0:1,1:7}
true positive:  3005
false positive:  87
false negative:  0
true negative:  2949

true positive:  734
false positive:  59
false negative:  13
true negative:  705
score: 95.234944 %

Também vale a pena notar que o RandomForest parece não sofrer com o conjunto de dados desequilibrado:

pos = 3752 neg = 10100

class_weight = {0: 1,1: 1} verdadeiro positivo: 3007 falso positivo: 0 falso negativo: 0 verdadeiro negativo: 8074

true positive:  729
false positive:  71
false negative:  16
true negative:  1955
score: 96.860339 %

class_weight= {0:1,1:2}
true positive:  3007
false positive:  0
false negative:  0
true negative:  8074

true positive:  728
false positive:  59
false negative:  17
true negative:  1967
score: 97.257308 %

class_weight= {0:1,1:3}
true positive:  3007
false positive:  0
false negative:  0
true negative:  8074

true positive:  727
false positive:  58
false negative:  18
true negative:  1968
score: 97.257308 %
Mrgloom
fonte

Respostas:

7

Não sou especialista em florestas aleatórias, li-as recentemente. Mas pelo que me parece, você está adaptando demais a floresta aleatória. O que eu faria é usar a técnica em que você usa as observações prontas para fazer previsões. Você pode encontrar o procedimento nesses slides: https://lagunita.stanford.edu/c4x/HumanitiesScience/StatLearning/asset/trees.pdf

Outra coisa que eu sugeriria também é mencionada nesses slides, denominada máquina de aumento de gradiente (GBM) também mencionada nesta seção. Eu sinto que o GBM é mais intuitivo que a floresta aleatória.

Edit1 : verifiquei novamente e parece que o bootstrap é o primeiro passo do GBM. Além disso, não tenho problemas com o bootstrapping por si só, é bom e bom. O único problema é que ele pode ser usado muito mal.

Nitin Aggarwal
fonte