Estou usando o XGboost para prever uma variável de destino de 2 classes em reivindicações de seguro. Eu tenho um modelo (treinamento com validação cruzada, ajuste de hiper parâmetros etc ...) eu corro em outro conjunto de dados.
Minha pergunta é :
existe uma maneira de saber por que uma determinada afirmação foi afetada para uma classe, ou seja, os recursos que explicam a escolha feita pelo modelo?
O objetivo é justificar a escolha feita pela máquina a terceiros.
Obrigado pela sua resposta.
Eu sugiro que você vá para Shap . Ele usa os valores de Shapley (conceito emprestado da Teoria dos Jogos) para descrever o comportamento do modelo e, com isso, pode explicar uma única previsão.
Sua interface gráfica usa gráficos de força, como o que você vê abaixo. 
A barra vermelha é construída pelos recursos que levam a previsão a valores positivos e a azul pelos outros.
No seu caso (um classificador), o número em negrito será o número imediatamente antes da função sigmóide , que limitará o valor de saída entre zero e um (uma classe ou outra). Portanto, não se assuste se, em alguns casos, for maior que um, ou negativo.
O tamanho dos segmentos representa quanto esse recurso contribui para a previsão e, sob os segmentos, você vê o nome do recurso (por exemplo, LSTAT) e seu valor real (por exemplo, 4.98). Portanto, neste caso, LSTAT é o recurso médio que leva a previsão para esse elemento do conjunto de dados ao valor de 24,41 (o número em negrito).
Desfrutar!
Você pode usar a biblioteca ELI5 para explicar as contribuições dos recursos às previsões individuais dos modelos XGBoost.
Consulte Explicação de previsões nos documentos, copiados abaixo:
Para ter uma idéia melhor de como nosso classificador funciona, vamos examinar as previsões individuais com
eli5.show_prediction():from eli5 import show_prediction show_prediction(clf, valid_xs[1], vec=vec, show_feature_values=True)
Obrigado pelas respostas.
Este pacote R parece fazer o trabalho:
https://medium.com/applied-data-science/new-r-package-the-xgboost-explainer-51dd7d1aa211
